A/B-Tests enden häufig mit zwei Prozentwerten: einem für die Kontrollversion und einem für die Variante. Eine Variante kann eine höhere Konversionsrate aufweisen, aber allein die sichtbare Unterschiedshöhe reicht nicht aus, um zu erklären, ob die Verbesserung groß, stabil oder zuverlässig genug ist, um eine Entscheidung zu stützen.
Die Verwendung von Graphik-KI kann die Darstellung von Versuchsergebnissen vereinfachen, jedoch muss das Diagramm wichtige Kontextinformationen beibehalten. Stichprobenumfang, absolute Veränderung, relativer Anstieg, Testzeitraum und statistische Unsicherheit dürfen nicht hinter einer aufpolierten Visualisierung verborgen bleiben.
A/B-Test-Diagramme brauchen mehr als zwei Prozentwerte
Nehmen wir an, die Konversionsrate der Kontrollgruppe liegt bei 8,0 % und die der Variante bei 8,4 %. Ein Diagramm kann zeigen, dass die Variante einen höheren Wert aufweist, dies beweist aber nicht automatisch, dass die Änderung signifikant ist.
Der Unterschied kann auf Tausenden von Besuchern oder nur einer geringen Anzahl von Sitzungen beruhen. Er kann während des gesamten Tests konsistent bleiben oder aufgrund eines ungewöhnlich starken Tages auftreten. Daher sollte das Diagramm das Experiment zusammenfassen, ohne vorzugeben, die statistische Analyse zu ersetzen.
A/B-Testplattformen oder Analysesysteme sollten weiterhin für die Zuweisung von Experimenten, Stichprobenberechnungen, Konfidenzintervalle und Signifikanztests verantwortlich sein. Ein Diagrammtool ist am nützlichsten, nachdem diese Ergebnisse zur Überprüfung, Berichterstattung oder Präsentation exportiert wurden.
Vorbereiten der Versuchsergebnisse vor der Diagrammerstellung
Jede Zeile sollte eine Testversion, ein Zielgruppensegment oder einen Berichtszeitraum darstellen. Die Daten sollten sowohl das Ergebnis als auch die zu dessen Interpretation erforderlichen Informationen beibehalten.
Besucher und Conversions
Erfassen Sie die Anzahl der Besucher oder qualifizierten Nutzer, die jeder Version zugewiesen sind, sowie die Anzahl der Personen, die die vorgesehene Aktion abgeschlossen haben.
Eine Konversionsrate ohne Angabe der Stichprobengröße kann irreführend sein. Eine 10-prozentige Rate, die auf 20 Nutzern basiert, liefert nicht das gleiche Maß an Beweiskraft wie eine 10-prozentige Rate, die auf 20.000 Nutzern basiert.
Conversion Rate
Berechne die Conversion-Rate konsistent:
Conversion Rate = Conversions ÷ Besucher × 100
Beide Versionen müssen dieselbe Conversion-Definition verwenden. Eine Version darf keine abgeschlossenen Käufe zählen, während eine andere Klicks auf die Checkout-Schaltfläche zählt.
Absolute Differenz
Die absolute Differenz gibt die Veränderung in Prozentpunkten zwischen der Variante und der Kontrollgruppe an:
Absolute Differenz = Variantenrate − Kontrollrate
Wenn die Konversionsrate der Kontrollgruppe bei 8,0 % liegt und die der Variante bei 8,4 %, beträgt die absolute Verbesserung 0,4 Prozentpunkte.
Relativer Lift
Der relative Lift vergleicht die Verbesserung mit der ursprünglichen Kontrollrate:
Relativer Lift = \(Variantenrate − Kontrollrate\) ÷ Kontrollrate × 100
Die entsprechende Änderung von 8,0 % auf 8,4 % entspricht einer relativen Steigerung von 5 %. In Berichten sollte dies nicht lediglich als „5 %ige Erhöhung“ beschrieben werden, ohne gleichzeitig die absolute Differenz von 0,4 Prozentpunkten anzugeben.
Wenn die Kontrollumwandlungsrate null ist, ist der relative Lift nicht definiert. In diesem Fall melden Sie stattdessen die absolute Differenz, anstatt einen prozentualen Lift zu berechnen.
Ergebnisse statistischer Tests
Behalten Sie das Konfidenzintervall, das Signifikanzresultat oder den Entscheidungsstatus bei, die von der Versuchsplattform erzeugt wurden.
Das National Institute of Standards and Technology dokumentiert Konfidenzintervalle für Unterschiede zwischen Anteilen. Dies ist eine nützliche Erinnerung daran, dass zwei Konversionsraten unter Berücksichtigung von Unsicherheit bewertet werden sollten – und nicht nur anhand der sichtbaren Differenz zwischen ihnen.
Wählen Sie ein Diagramm, das zur Review-Frage passt
Verschiedene Diagramme beantworten unterschiedliche Fragen. Das Format sollte danach ausgewählt werden, was das Team überprüfen muss.
Gruppierte Balken vergleichen die endgültigen Konversionsraten
Ein gruppiertes Balkendiagramm kann die Konversionsraten der Kontrollgruppe und der Variante nebeneinander darstellen.
Dies eignet sich gut für eine abschließende experimentelle Zusammenfassung, insbesondere wenn im Bericht in der Nähe auch Besucher, Conversions, absolute Differenz und relativer Lift angezeigt werden.
Verkürzen Sie die vertikale Achse nicht einfach, um eine kleine Verbesserung dramatisch erscheinen zu lassen. Wenn Balken Größenordnungen darstellen, liefert eine Null-Baseline den ehrlichsten Vergleich.
Wenn auf der Experimentierplattform Konfidenzintervalle verfügbar sind, sollten diese in das Diagramm oder die dazugehörigen Anmerkungen aufgenommen werden, anstatt nur die Konversionsraten darzustellen.
Liniendiagramme zeigen Stabilität während des Tests
Ein Liniendiagramm kann die täglichen oder wöchentlichen Konversionsraten für beide Versionen anzeigen.
Dies hilft Gutachtern zu erkennen, ob die Variante durchgehend stärker blieb oder ob das Endergebnis von einem vorübergehenden Spitzenwert abhängt. Dennoch sollten tägliche Schwankungen nicht als eigenständige Schlussfolgerungen betrachtet werden.
Zeitreihendiagramme sind beschreibender Natur. Teams sollten keine Gewinner auf Basis täglicher Schwankungen ermitteln, bevor der geplante Testzeitraum abgeschlossen ist und die Anforderungen an die Stichproben erfüllt sind.
Separate Diagramme verdeutlichen Zielgruppensegmente
Die Ergebnisse können zwischen neuen und wiederkehrenden Nutzern, Desktop- und Mobilbesuchern oder verschiedenen Traffic-Quellen variieren.
Wenn segmentierte Ergebnisse von Bedeutung sind, erstellen Sie separate Diagramme. Wenn zu viele Zielgruppengruppen in einer einzigen Visualisierung zusammengefasst werden, wird die Interpretation des Experiments erschwert.
Auch die Segmentanalyse sollte sorgfältig geplant werden. Wenn nach der Auswertung der Ergebnisse nur die stärkste Gruppe ausgewählt wird, kann dies zu einer irreführenden Schlussfolgerung über den Test als Ganzes führen.
Erstellen Sie das Berichtschart mit KI-Grafikgenerator
Sobald die Versuchsplattform die endgültigen Daten erzeugt hat, kann ein KI-Graph-Workflow die exportierten Ergebnisse in eine klarere Berichtsvisualisierung umwandeln.
Exportierte Daten organisieren
Nützliche Spalten umfassen:
- Version
- Besucher
- Conversions
- Conversion Rate
- Absolute Differenz
- Relativer Lift
- Konfidenzintervall
- Teststatus
Behalten Sie Prozentpunktwerte und prozentuale Veränderungen in getrennten Spalten bei. Sie beschreiben unterschiedliche Arten von Veränderungen und sollten keine unklare Bezeichnung wie „Verbesserung“ gemeinsam verwenden.
Beschreiben Sie den erforderlichen Vergleich
Ein eindeutiger Prompt könnte lauten:
Erstellen Sie ein gruppiertes Balkendiagramm, das die Konversionsraten der Kontrollgruppe und der Variante vergleicht. Zeigen Sie die Besucherzahl sowie die absolute Differenz in Prozentpunkten an und übertreiben Sie die vertikale Skalierung nicht.
Ein Diagrammersteller kann die visuelle Struktur erstellen, aber die Eingabeaufforderung sollte ihn nicht auffordern, statistische Signifikanz, Konfidenzintervalle oder fehlende Stichprobeninformationen zu erfinden.
Überprüfen Sie das generierte Ergebnis
ChartGens KI-Grafikgenerator unterstützt das Hochladen von CSV- und Excel-Dateien, natürliche Sprachabfragen für Grafiken, mehrere Grafiktypen sowie Anpassungen an Titeln, Achsen, Beschriftungen, Legenden und Stil.
Nach der Generierung ist Folgendes zu bestätigen:
- Kontrollgruppe und Versuchsgruppe wurden nicht vertauscht;
- die Stichprobenumfänge stimmen mit dem Quellbericht überein;
- Prozentpunkte und relative Prozentsätze sind korrekt beschriftet;
- Die Achse übertreibt keinen kleinen Unterschied;
- der Testzeitraum und die Zielgruppe werden festgelegt;
- die Konfidenzintervalle stimmen mit der ursprünglichen Analyse überein;
- Das Diagramm beansprucht keine statistische Sicherheit, die die Quellanalyse nicht ergeben hat.
Übliche Diagrammauswahl übertreibt Testergebnisse
Eine gekürzte Achse kann einen kleinen Unterschied in der Konversionsrate weit größer erscheinen lassen, als er tatsächlich ist. Wenn die absolute Veränderung gering ist, kann die ausschließliche Darstellung des relativen Anstiegs das gleiche Problem verursachen.
Wird die Stichprobengröße entfernt, lässt sich zudem nicht mehr erkennen, ob der Vergleich auf ausreichend vielen Beobachtungen basiert. Ein Diagramm, das eine Version bereits als „Gewinner“ kennzeichnet, bevor die Experimentplattform eine gültige Entscheidung getroffen hat, kann eine frühe Schwankung zu einer falschen Schlussfolgerung werden lassen.
Ein weiterer Fehler besteht darin, nur das stärkste Zielgruppensegment auszuwählen. Wenn die Variante die Conversions auf Mobilgeräten verbessert, aber die Conversions auf Desktop-Computern verringert, sollte der Bericht das mobile Ergebnis nicht als Ergebnis des gesamten Tests darstellen.
Teams sollten zudem vermeiden, das Berichtschart als den statistischen Test selbst zu behandeln. Das Chart vermittelt das Ergebnis; Es wird nicht festgestellt, ob das Versuchsdesign, die Stichprobenzuweisung, die Versuchsdauer oder die Signifikanzberechnung gültig waren.
Kleine Änderungen bei der Conversion erfordern einen ehrlichen Kontext
Stellen Sie sich einen Test für eine Anmeldeseite vor, bei der die Kontrollvariante eine Conversion-Rate von 8,0 % und die Testvariante eine Conversion-Rate von 8,4 % aufweist.
Die Variante weist einen relativen Anstieg von 5 % auf, was zunächst beträchtlich klingt. Die absolute Verbesserung beträgt jedoch nur 0,4 Prozentpunkte. Das Team muss zudem die Anzahl der einbezogenen Nutzer, das Konfidenzintervall, die Testdauer sowie die Frage berücksichtigen, ob die Änderung über alle wichtigen Segmente hinweg stabil geblieben ist.
Ein übersichtliches Diagramm zeigt beide Raten, ohne ihren visuellen Unterschied zu übertreiben. Die zugehörigen Beschriftungen liefern anschließend die absolute Veränderung, die relative Steigerung, die Stichprobengröße, das Konfidenzintervall und den Teststatus.
Klare A/B-Test-Diagramme unterstützen die Überprüfung, anstatt sie zu ersetzen
A/B-Test-Diagramme sollten Teams dabei unterstützen, Größe, Richtung und Konsistenz eines Ergebnisses zu verstehen, ohne einen kleinen sichtbaren Unterschied automatisch als Beweis für den Erfolg darzustellen.
Graphing-KI kann den manuellen Aufwand reduzieren, der erforderlich ist, um exportierte Versuchsergebnisse in einen Bericht umzuwandeln. Die endgültige Interpretation hängt nach wie vor von korrekten Berechnungen, ausreichenden Stichproben, zuverlässigen Versuchsmethoden und einer sorgfältigen Überprüfung ab.
Ein aussagekräftiges Diagramm zeigt daher, was sich verändert hat, und bleibt gleichzeitig ehrlich darüber, was die verfügbaren Beweise belegen können – und was nicht.