I test A / B spesso terminano con due percentuali: una per la versione di controllo e una per la variante. Una variante può mostrare un tasso di conversione più elevato, ma la differenza visibile da sola non spiega se il miglioramento è grande, stabile o abbastanza affidabile da supportare una decisione.
L'uso dell'IA grafica può rendere i risultati degli esperimenti più facili da presentare, ma il grafico deve preservare un contesto importante. La dimensione del campione, il cambiamento assoluto, l'ascensore relativo, il periodo di prova e l'incertezza statistica non dovrebbero scomparire dietro una visuale lucidata.
I grafici di prova A / B hanno bisogno di più di due percentuali
Supponiamo che la versione di controllo converta all '8,0% e la variante converte all' 8,4%. Un grafico può mostrare che la variante è più alta, ma non dimostra automaticamente che il cambiamento è significativo.
La differenza può essere basata su migliaia di visitatori o solo su un piccolo numero di sessioni. Può rimanere coerente durante il test o apparire a causa di una giornata insolitamente forte. Il grafico dovrebbe quindi riassumere l'esperimento senza pretendere di sostituire l'analisi statistica.
Le piattaforme di test A / B o i sistemi di analisi dovrebbero rimanere responsabili dell'assegnazione degli esperimenti, dei calcoli dei campioni, degli intervalli di confidenza e dei test di significatività. Uno strumento di creazione di grafici è più utile dopo che tali risultati sono stati esportati per la revisione, il reporting o la presentazione.
Preparare i risultati dell'esperimento prima della creazione di grafici
Ogni riga dovrebbe rappresentare una versione di prova, un segmento di pubblico o un periodo di riferimento. I dati dovrebbero conservare sia il risultato che le informazioni necessarie per interpretarlo.
Visitatori e conversioni
Registra il numero di visitatori o utenti idonei assegnati a ciascuna versione, insieme al numero che ha completato l'azione prevista.
Un tasso di conversione senza la dimensione del campione può essere fuorviante. Un tasso del 10% basato su 20 utenti non fornisce lo stesso livello di evidenza di un tasso del 10% basato su 20.000 utenti.
Tasso di conversione
Calcola il tasso di conversione in modo coerente:
Tasso di conversione = conversioni ÷ visitatori × 100
Entrambe le versioni devono utilizzare la stessa definizione di conversione. Una versione non dovrebbe contare gli acquisti completati mentre un'altra conta i clic sul pulsante di checkout.
Differenza assoluta
La differenza assoluta mostra la variazione percentuale tra la variante e il controllo:
Differenza assoluta = tasso variabile − tasso di controllo
Quando il controllo converte a 8,0%, e la variante converte a 8,4%, il miglioramento assoluto è 0,4 punti percentuali .
Ascensore relativo
Il sollevamento relativo confronta il miglioramento con il tasso di controllo originale:
Sollevamento relativo = \(tasso variabile − tasso di controllo\) ÷ tasso di controllo × 100
Lo stesso cambiamento dall '8,0% all' 8,4% rappresenta un aumento relativo del 5%. I rapporti non dovrebbero descrivere questo solo come un "aumento del 5%" senza mostrare anche la differenza assoluta di 0,4 punti.
Quando il tasso di conversione del controllo è zero, l'aumento relativo non è definito. In tal caso, segnala la differenza assoluta invece di calcolare un aumento percentuale.
Risultati dei test statistici
Mantieni l'intervallo di confidenza, il risultato significativo o lo stato decisionale prodotto dalla piattaforma dell'esperimento.
Il National Institute of Standards and Technologydocumenta gli intervalli di confidenza per le differenze tra le proporzioni. Questo è un utile promemoria che due tassi di conversione dovrebbero essere valutati con incertezza, non solo dal divario visibile tra loro.
Scegli un grafico che corrisponda alla domanda di revisione
Diversi grafici rispondono a domande diverse. Il formato dovrebbe essere scelto in base a ciò che il team deve rivedere.
Barre raggruppate Confronta i tassi di conversione finali
Un grafico a barre raggruppato può posizionare il controllo e i tassi di conversione delle varianti fianco a fianco.
Questo funziona bene per un riepilogo finale dell'esperimento, specialmente quando il rapporto mostra anche visitatori, conversioni, differenza assoluta e aumento relativo nelle vicinanze.
Evita di accorciare l'asse verticale semplicemente per far sembrare drammatico un piccolo miglioramento. Quando le barre rappresentano la grandezza, una linea di base zero fornisce il confronto più onesto.
Quando gli intervalli di confidenza sono disponibili dalla piattaforma dell'esperimento, includili nel grafico o nelle note di accompagnamento invece di presentare solo i tassi di conversione.
Grafici a linee mostrano stabilità durante il test
Un grafico a linee può mostrare i tassi di conversione giornalieri o settimanali per entrambe le versioni.
Questo aiuta i revisori a vedere se la variante è rimasta costantemente più forte o se il risultato finale dipendeva da un picco temporaneo. Tuttavia, le fluttuazioni giornaliere non dovrebbero essere trattate come conclusioni separate.
I grafici delle serie temporali sono descrittivi. I team non dovrebbero dichiarare un vincitore dalle fluttuazioni giornaliere prima che il periodo di test pianificato e i requisiti del campione siano completi.
Grafici separati chiariscono i segmenti di pubblico
I risultati possono differire tra utenti nuovi e di ritorno, visitatori desktop e mobili o diverse fonti di traffico.
Creare grafici separati quando i risultati dei segmenti contano. Aggiungere troppi gruppi di pubblico a una visualizzazione può rendere l'esperimento più difficile da interpretare.
Anche l'analisi dei segmenti dovrebbe essere pianificata con attenzione. Selezionare solo il gruppo più forte dopo aver esaminato i risultati può creare una conclusione fuorviante sul test nel suo complesso.
Costruire il grafico di reporting con AI Graph Generator
Una volta che la piattaforma di esperimento ha prodotto i dati finali, un flusso di lavoro con grafico IA può trasformare i risultati esportati in un report visivo più chiaro.
Organizzare i dati esportati
Le colonne utili includono:
- Versione
- Visitatori
- Conversioni
- Tasso di conversione
- Differenza assoluta
- Ascensore relativo
- Intervallo di fiducia
- Stato del test
Mantieni i valori in punti percentuali e le variazioni percentuali in colonne separate. Descrivono diversi tipi di cambiamento e non dovrebbero condividere un'etichetta poco chiara come "Miglioramento".
Descrivi il confronto richiesto
Un prompt chiaro potrebbe essere:
Crea un grafico a barre raggruppato confrontando i tassi di conversione del controllo e delle varianti. Visualizza il conteggio dei visitatori e la differenza assoluta in punti percentuali e non esagerare la scala verticale.
Un produttore di grafici può creare la struttura visiva, ma il prompt non dovrebbe chiedergli di inventare significatività statistica, intervalli di confidenza o informazioni campione mancanti.
Rivedi il risultato generato
L'AI Graph Generator di ChartGen supporta caricamenti CSV ed Excel, richieste di grafi in linguaggio naturale, più tipi di grafi e regolazioni di titoli, assi, etichette, leggende e stile.
Dopo la generazione, confermare che:
- il controllo e la variante non sono stati invertiti;
- le dimensioni del campione corrispondono al rapporto di origine;
- i punti percentuali e le relative percentuali sono etichettati correttamente;
- l'asse non esagera una differenza minore;
- il periodo di prova e il pubblico sono identificati;
- gli intervalli di confidenza corrispondono all'analisi originale;
- il grafico non rivendica una certezza statistica che l'analisi della fonte non ha stabilito.
Scelte di grafici comuni Esagerare i risultati dei test
Un asse troncato può far apparire una piccola differenza di tasso di conversione molto più grande di quanto non sia. Mostrare solo un aumento relativo può creare lo stesso problema quando il cambiamento assoluto è piccolo.
La rimozione della dimensione del campione nasconde anche se il confronto si basa su osservazioni sufficienti. Un grafico che etichetta una versione come "vincitrice" prima che la piattaforma dell'esperimento raggiunga una decisione valida può trasformare una fluttuazione iniziale in una falsa conclusione.
Un altro errore è selezionare solo il segmento di pubblico più forte. Quando la variante migliora le conversioni mobili ma riduce le conversioni desktop, il rapporto non dovrebbe presentare il risultato mobile come risultato per l'intero test.
I team dovrebbero anche evitare di trattare il grafico di reporting come il test statistico stesso. Il grafico comunica il risultato;non determina se il disegno dell'esperimento, l'assegnazione del campione, la durata del test o il calcolo della significatività erano validi.
Piccoli cambiamenti di conversione richiedono un contesto onesto
Immagina un test di pagina di iscrizione in cui il controllo converte all '8,0% e la variante converte all' 8,4%.
La variante ha un aumento relativo del 5%, che può sembrare sostanziale. Tuttavia, il miglioramento assoluto è di soli 0,4 punti percentuali. Il team deve ancora considerare il numero di utenti inclusi, l'intervallo di confidenza, la durata del test e se il cambiamento è rimasto stabile in segmenti importanti.
Un grafico chiaro visualizza entrambi i tassi senza sovrastimare la loro differenza visiva. Le etichette di supporto forniscono quindi il cambiamento assoluto, l'aumento relativo, la dimensione del campione, l'intervallo di confidenza e lo stato del test.
Chiari grafici di prova A / B supportano la revisione piuttosto che sostituirlo
I grafici dei test A / B dovrebbero aiutare i team a comprendere le dimensioni, la direzione e la coerenza di un risultato senza presentare una piccola differenza visibile come prova automatica del successo.
L'IA grafica può ridurre il lavoro manuale necessario per trasformare i risultati degli esperimenti esportati in un rapporto. L'interpretazione finale dipende ancora da calcoli corretti, campioni adeguati, metodi di esperimento affidabili e un'attenta revisione.
Un grafico forte mostra quindi cosa è cambiato pur rimanendo onesto su ciò che le prove disponibili possono e non possono dimostrare.