Uno strumento AI può leggere un foglio di calcolo, generare diversi grafici e spiegare il risultato prima che la maggior parte delle persone abbia controllato la prima formula. Quella velocità è utile. Rende anche una risposta sicura facile da accettare troppo presto.
Per vedere cosa deve ancora essere controllato, abbiamo caricato un set di dati di e-commerce controllato di sei mesi su ChartGen e gli abbiamo chiesto quale mese ha funzionato meglio e cosa ha causato il cambiamento.
Il risultato non è stato un semplice successo o fallimento. ChartGen ha trovato il principale movimento delle entrate, lo ha collegato agli ordini e al valore medio degli ordini e ha notato l'unica metrica che ha complicato la storia. Un secondo prompt ha reso i calcoli molto più facili da verificare.
Anche allora, alcune etichette e ipotesi avevano bisogno di una revisione umana prima che il risultato fosse pronto per un rapporto.
Il set di dati utilizzato nel test
Il file conteneva sei record mensili e sei campi:
Il set di dati era volutamente piccolo. Ogni percentuale poteva essere ricalcolata manualmente e non c'erano campi cliente, campagna, prodotto o motivo del rimborso che potessero spiegare perché una metrica fosse cambiata.
Prima abbiamo chiesto:
"Analizza questi dati mensili sulle prestazioni dell'e-commerce. Quale mese ha funzionato meglio e cosa ha causato il cambiamento?"
La prima risposta è stata migliore di un semplice riepilogo delle entrate
ChartGen ha descritto l'aumento delle entrate di giugno come un "sollevamento a doppio motore" perché il volume degli ordini e il valore medio degli ordini sono aumentati insieme. Ha anche suggerito diverse possibili spiegazioni, tra cui una campagna di upsell, un cambiamento nel mix di prodotti o una promozione.
Ancora più importante, non si è fermato alle metriche positive. Ha definito il tasso di rimborso una bandiera rossa e ha concluso che giugno ha avuto la migliore performance lorda mentre il quadro netto era meno chiaro.
ChartGen ha collegato l'aumento delle entrate di giugno agli ordini e al valore medio degli ordini, quindi ha qualificato il risultato a causa del picco di rimborso.
Questo è stato un primo passo utile. La descrizione di un doppio ascensore corrispondeva ai dati e termini come "suggerisce" chiarivano che le cause proposte erano possibilità piuttosto che fatti confermati.
Una frase andava ancora oltre il file. La risposta diceva che la crescita simultanea degli ordini e il valore medio degli ordini erano "relativamente rari". I record semestrali non potevano stabilire quanto fosse raro quel modello. Tale affermazione avrebbe avuto bisogno di un set di dati storici più ampio o di una fonte esterna.
Anche le possibili spiegazioni rimanevano ipotesi. Nulla nel foglio di calcolo mostrava se ChartGen stesse guardando una promozione, una nuova categoria di prodotto, un cambiamento di prezzo o un diverso mix di clienti.
Le entrate erano corrette, ma l'asse ha cambiato l'impressione
Il primo grafico generato mostrava entrate mensili da gennaio a giugno. Tutti e sei i valori erano corretti e giugno era chiaramente contrassegnato a $120.000.
Il grafico delle entrate generate ha utilizzato una linea di base di $80.000, facendo apparire la differenza tra le barre mensili più grande.
L'asse verticale è iniziato a $80.000 anziché zero. Quella scelta ha fatto apparire la barra di giugno circa due volte più alta della barra di gennaio sopra la linea di base visibile.
Le entrate effettive sono aumentate da $100.000 a $120.000, che è un aumento del 20%. Il grafico non ha cambiato i valori, ma ha dato alla differenza visiva più peso rispetto ai soli numeri giustificati.
Questa è una distinzione importante nell'analisi del grafico AI. Un'etichetta corretta non garantisce una scala visiva neutrale. La guida al grafico grafico della funzione di analisi del governo britannicorileva che la rottura di un asse numerico può aiutare i lettori a vedere una tendenza ristretta, ma non è sempre appropriata. Qui, la linea di base $80.000 ha dato un aumento del 20% più peso visivo di quanto meritasse.
Due linee in aumento non significavano che le scale fossero comparabili
ChartGen ha anche inserito ordini e valore medio degli ordini su un grafico a linee a doppio asse.
Gli ordini utilizzano l'asse sinistro, mentre il valore medio dell'ordine utilizza una scala separata a destra.
Il grafico ha mostrato correttamente che entrambe le misure sono aumentate a giugno. Tuttavia, le due linee utilizzavano unità diverse e assi diversi: ordini a sinistra e dollari per ordine a destra.
Le loro posizioni verticali non potevano essere confrontate direttamente. Le linee vicine non significavano che le due metriche avessero la stessa dimensione, spostate della stessa percentuale o avessero una relazione causale.
Il grafico ha anche mantenuto etichette in stile foglio di calcolo come Average \_ Order \_ Value, e la legenda ha abbreviato il nome del campo. Si tratta di problemi di presentazione minori, ma contano una volta che un grafico lascia un'area di lavoro di analisi ed entra in un report del cliente.
La versione più sicura userebbe due grafici allineati con lo stesso asse mensile, o etichetterebbe chiaramente la variazione percentuale per ogni metrica invece di invitare i lettori a confrontare l'altezza della linea.
Un grafico generato non era pronto per la pubblicazione
La terza uscita era destinata a mostrare l'andamento del tasso di rimborso mensile. Il suo titolo indicava correttamente che giugno aveva raggiunto il 5,02%, ma l'immagine esportata mostrava solo una linea di riferimento media a circa il 2,48%. I valori semestrali e il picco di giugno non erano visibili nel grafico.
Abbiamo escluso quell'immagine dalle immagini dell'articolo.
Questo non era un problema con il calcolo sottostante. Era un problema con le prove renderizzate. Un lettore poteva vedere l'affermazione nel sottotitolo ma non poteva verificarla dal grafico stesso.
Questo controllo è facile da trascurare quando l'analisi scritta suona già bene: confermare che ogni grafico esportato visualizzi effettivamente la serie descritta nel titolo e nella didascalia.
Un secondo prompt ha reso il ragionamento più facile da controllare
Abbiamo quindi chiesto a ChartGen di utilizzare solo i dati caricati, mostrare i suoi calcoli, separare le osservazioni dalle spiegazioni e identificare qualsiasi metrica che contraddicesse la conclusione principale.
La seconda risposta calcolata:
Crescita dei ricavi da maggio a giugno: 9,09%
Crescita degli ordini: 3,40%
Crescita media del valore degli ordini: 5,49%
Crescita dei rimborsi: 161,9%
Tasso di rimborso: 1,98% a 5,02%
Ha anche verificato se le entrate erano coerenti con gli ordini moltiplicati per il valore medio degli ordini. Le piccole differenze sono state spiegate dai valori AOV memorizzati con due cifre decimali.
La risposta di follow-up ha esposto i calcoli e controllato se i campi correlati si riconciliavano. \[/ caption\]
Questo è stato più utile di un altro riassunto generale. Ha mostrato da dove provengono le percentuali e ha reso visibili le differenze di arrotondamento.
ChartGen ha anche separato le possibili spiegazioni dalle sue osservazioni. Promozioni, nuove categorie di prodotti, problemi di qualità e tempi di rimborso sono stati esplicitamente presentati come ipotesi che il set di dati non poteva confermare.
La seconda risposta ha chiaramente contrassegnato la campagna, il prodotto, la realizzazione e le spiegazioni contabili come ipotesi non confermate.
Questa separazione ha reso la risposta più sicura da usare. Ha impedito che una storia aziendale plausibile venisse scambiata per un risultato contenuto nel foglio di calcolo.
La risposta di verifica ancora bisogno di verifica
La seconda risposta ha migliorato l'analisi, ma non era pronta per essere copiata in un rapporto invariato.
La "media del dataset" ha usato la linea di base sbagliata
Ha chiamato 1,99% il tasso di rimborso "medio del set di dati". In tutti e sei i mesi, la media è stata di circa 2,48%. La cifra 1,99% rappresentava la linea di base da gennaio a maggio, prima del picco di giugno. Il numero era utile, ma l'etichetta era sbagliata.
La stima delle entrate nette dipendeva da tre ipotesi
La risposta ha anche stimato le entrate nette di giugno moltiplicando il numero di rimborsi per il valore medio degli ordini e sottraendo il risultato dalle entrate lorde. L'aritmetica era comprensibile, ma il file di origine non conteneva i valori effettivi dei rimborsi. Inoltre non mostrava se i rimborsi di giugno appartenevano agli ordini di giugno.
Tale stima dipendeva da almeno tre ipotesi:
- Ogni ordine rimborsato aveva lo stesso valore dell'ordine medio mensile.
- Tutti i rimborsi registrati nel mese di giugno si riferiscono alle vendite di giugno.
- Il campo Entrate non era già stato adeguato per i rimborsi.
Potrebbe essere presentato come uno scenario, ma non come un'osservazione di fatto.
L'aumento del 164% ha utilizzato una linea di base poco chiara
La risposta ha anche descritto l'aumento del tasso di rimborso al 164% senza specificare il periodo di confronto. Dall '1,98% di maggio al 5,02% di giugno, l'aumento relativo è stato di circa il 153,5%. Un aumento del 164% utilizzerebbe una linea di base diversa, vicina all' 1,90% di gennaio.
Sei mesi non sono stati sufficienti per un reclamo formale outlier
Infine, chiamare giugno un outlier statistico basato su osservazioni semestrali era più forte del necessario. Giugno era chiaramente un'anomalia relativa all'intervallo da gennaio a maggio. Una conclusione statistica formale avrebbe bisogno di più storia e di un metodo adatto al processo sottostante.
Nessuno di questi problemi ha reso inutile la seconda risposta. Hanno mostrato perché un prompt di verifica migliora il lavoro senza sostituire il revisore.
La conclusione che in realtà pubblicheremmo
Dopo aver controllato i dati di origine, i calcoli, le etichette e le ipotesi, il risultato può essere dichiarato in modo più chiaro:
Giugno ha registrato il più alto fatturato lordo, volume degli ordini e valore medio degli ordini nel set di dati semestrali. I ricavi sono aumentati del 9,09% rispetto a maggio, mentre gli ordini sono aumentati del 3,40% e il valore medio degli ordini è aumentato del 5,49%.
Il risultato non è stato un miglioramento incondizionato. Le restituzioni sono aumentate da 42 a 110 e il tasso di restituzione è aumentato dall '1,98% al 5,02%, con un aumento di 3,04 punti percentuali.
Il set di dati non include valori di rimborso, record a livello di prodotto, informazioni sulla campagna o motivi di rimborso. Pertanto non può confermare le entrate nette di giugno o spiegare cosa ha causato il picco di rimborso.
Questa versione mantiene i risultati che possono essere riprodotti e rimuove le spiegazioni che il file non può fornire.
Cosa è cambiato tra la prima risposta e la versione finale?
La prima risposta di ChartGen è stata direzionalmente forte. Ha trovato il mese più importante, ha identificato i due contributori alla crescita delle entrate e ha notato l'anomalia del rimborso senza essere stato chiesto.
Il secondo prompt ha migliorato la risposta esponendo i calcoli e separando i fatti dalle ipotesi.
La revisione umana ha ancora cambiato quattro cose:
Il grafico delle entrate aveva bisogno di una linea di base più appropriata.
Il grafico dei rimborsi doveva essere rigenerato perché la sua serie mensile non era visibile.
La linea di base del tasso di rimborso aveva bisogno di un'etichetta corretta.
La stima delle entrate nette e le spiegazioni causali dovevano rimanere al di fuori dei risultati verificati.
Questo è un modo pratico per utilizzare un generatore di grafici AI. Lascia che esegua il primo passaggio veloce, quindi controlla le parti che richiedono contesto o giudizio.
Un breve processo di revisione per gli insight grafici generati dall'IA
Inizia controllando se il grafico contiene i campi, le date, le unità e l'aggregazione corretti. Ricalcola la modifica del titolo dal file di origine anziché dall'etichetta del grafico.
Successivamente, ispezionare la visuale stessa. Controllare la linea di base dell'asse, confermare che ogni serie promessa è visibile e fare attenzione quando due misure utilizzano scale diverse.
Quindi separa tre tipi di affermazioni:
Valori copiati direttamente dai dati
Risultati calcolati da tali valori
Spiegazioni che richiedono informazioni esterne al file
Infine, fai una seconda domanda progettata per sfidare la prima risposta. Richiedi le formule, le metriche contraddittorie, le ipotesi e le prove mancanti. Anche la seconda risposta dovrebbe essere rivista;una risposta più dettagliata può introdurre nuove ipotesi insieme a controlli utili.
Il risultato può essere attendibile, ma solo con una corretta verifica
Questo test ha raggiunto una chiara conclusione. ChartGen ha trovato il modello principale, ma il suo output non era pronto per la pubblicazione senza revisione.
Le cifre delle entrate, i calcoli da maggio a giugno e il picco dei rimborsi corrispondevano ai dati di origine. Le entrate nette stimate e le cause proposte non avevano prove sufficienti.
L'analisi del grafico AI è utile per una prima revisione veloce, non come prova finale. Verifica i valori, i calcoli, la progettazione del grafico e le affermazioni causali prima di utilizzare il risultato in un report.
Prova ChartGen con il tuo file CSV o Excel, quindi usa un secondo prompt per verificare il risultato prima di pubblicarlo.