Ein KI-Tool kann eine Tabellenkalkulation einlesen, mehrere Diagramme erstellen und die Ergebnisse erläutern, bevor die meisten Menschen auch nur die erste Formel überprüft haben. Diese Geschwindigkeit ist nützlich. Sie führt aber auch dazu, dass eine scheinbar überzeugende Antwort allzu leicht vorzeitig akzeptiert wird.
Um zu sehen, was noch überprüft werden muss, haben wir einen kontrollierten sechsmonatigen E-Commerce-Datensatz in ChartGen hochgeladen und es gefragt, welcher Monat die beste Leistung erbracht hat und was die Veränderung verursacht hat.
Das Ergebnis war kein einfacher Erfolg oder Misserfolg. ChartGen identifizierte die Hauptumsatzbewegung, stellte einen Bezug zu Bestellungen und durchschnittlichem Bestellwert her und erkannte die eine Kennzahl, die die Sachlage komplizierte. Eine zweite Eingabeaufforderung machte die Berechnungen wesentlich einfacher zu prüfen.
Selbst dann mussten einige Kennzeichnungen und Annahmen noch von Menschen überprüft werden, bevor das Ergebnis für einen Bericht bereit war.
Der im Test verwendete Datensatz
Die Datei enthielt sechs monatliche Datensätze und sechs Felder:
Der Datensatz war bewusst klein gehalten. Jeder prozentuale Wert ließ sich manuell neu berechnen, und es gab keine Felder zu Kunden, Kampagnen, Produkten oder Rückerstattungsgründen, die erklären könnten, warum sich eine Kennzahl verändert hat.
Zuerst haben wir gefragt:
„Analysieren Sie diese monatlichen E-Commerce-Leistungsdaten. Welcher Monat hat die beste Leistung erbracht und was hat die Veränderung verursacht?“
Die erste Antwort war besser als eine einfache Umsatzübersicht
ChartGen beschrieb den Umsatzanstieg im Juni als „Antrieb durch zwei Motoren“, da sowohl das Auftragsvolumen als auch der durchschnittliche Auftragswert gleichzeitig gestiegen sind. Das Unternehmen nannte zudem mehrere mögliche Erklärungen dafür, darunter eine Upsell-Kampagne, eine Veränderung des Produktmixes oder eine Werbeaktion.
Vor allem blieb man nicht bei den positiven Kennzahlen stehen. Man bezeichnete die Rückerstattungsrate als Warnzeichen und kam zu dem Schluss, dass der Juni die beste Bruttoleistung aufwies, während das Nettobild weniger eindeutig war.
ChartGen führte den Umsatzanstieg im Juni auf die Bestellungen und den durchschnittlichen Bestellwert zurück, schränkte die Aussage zu diesem Ergebnis jedoch aufgrund des sprunghaften Anstiegs von Rückerstattungen ein.
Dies war ein nützlicher erster Durchgang. Die Beschreibung eines doppelten Anstiegs stimmte mit den Daten überein, und Begriffe wie „deutet darauf hin“ machten deutlich, dass die vorgeschlagenen Ursachen Möglichkeiten und keine bestätigten Fakten waren.
Eine Aussage ging über den Inhalt der Unterlagen hinaus. In der Antwort hieß es, dass ein gleichzeitiges Wachstum von Auftragsvolumen und durchschnittlichem Auftragswert „relativ selten“ sei. Anhand der sechs monatlichen Datensätze ließ sich nicht belegen, wie selten dieses Muster tatsächlich ist. Für diese Behauptung wäre ein größerer historischer Datensatz oder eine externe Quelle erforderlich.
Die möglichen Erklärungen blieben ebenfalls Hypothesen. Nichts in der Tabellenkalkulation zeigte an, ob ChartGen eine Werbeaktion, eine neue Produktkategorie, eine Preisänderung oder eine andere Kundenstruktur betrachtete.
Der Umsatz war korrekt, aber die Achse hat den Eindruck verändert
Das erste erstellte Diagramm zeigte die monatlichen Einnahmen von Januar bis Juni. Alle sechs Werte waren korrekt, und der Wert für Juni war eindeutig mit 120.000 $ angegeben.
Das erstellte Umsatzdiagramm verwendete eine Basislinie von 80.000 $, wodurch der Unterschied zwischen den monatlichen Balken größer erscheint.
Die vertikale Achse beginnt nicht bei Null, sondern bei 80.000. Durch diese Wahl wirkt der Balken für Juni etwa doppelt so hoch wie der Balken für Januar über der sichtbaren Basislinie.
Der tatsächliche Umsatz stieg von 100.000 $ auf 120.000 $, was einer Steigerung von 20 % entspricht. In der Grafik wurden die Werte nicht verändert, aber der visuelle Unterschied wurde stärker gewichtet, als es die Zahlen allein rechtfertigen würden.
Dies ist eine wichtige Unterscheidung bei der Analyse von KI-Diagrammen. Eine korrekte Beschriftung garantiert keine neutrale visuelle Skala. Die Diagrammleitfäden der britischen Regierungsanalysefunktion weisen darauf hin, dass das Unterbrechen einer numerischen Achse den Lesern helfen kann, einen engen Trend zu erkennen, dies ist jedoch nicht immer angemessen. Hier verlieh die Baseline von 80.000 $ einer 20-prozentigen Steigerung ein größeres visuelles Gewicht, als ihr eigentlich zustand.
Zwei ansteigende Kurven bedeuteten nicht, dass die Skalen vergleichbar waren
ChartGen hat Orders und Average Order Value zudem in einem Liniendiagramm mit zwei Achsen dargestellt.
Die Aufträge werden auf der linken Achse dargestellt, während der durchschnittliche Auftragswert eine separate Skala auf der rechten Seite verwendet.
Die Grafik zeigte korrekt, dass beide Kennzahlen im Juni angestiegen sind. Allerdings verwendeten die beiden Linien unterschiedliche Einheiten und unterschiedliche Achsen: Aufträge auf der linken Achse und Dollar pro Auftrag auf der rechten Achse.
Ihre vertikalen Positionen ließen sich nicht direkt vergleichen. Die nahe beieinander liegenden Linien bedeuteten nicht, dass die beiden Messgrößen die gleiche Größe hatten, sich um den gleichen Prozentsatz veränderten oder eine kausale Beziehung zueinander aufwiesen.
Das Diagramm behielt zudem tabellenkalkulationsartige Beschriftungen wie Average\_Order\_Value bei, und die Legende kürzte den Feldnamen. Dies sind zwar kleinere Darstellungsprobleme, sie werden jedoch relevant, sobald ein Diagramm einen Analysearbeitsbereich verlässt und in einen Kundenbericht übergeht.
Die sicherste Variante wäre die Verwendung von zwei ausgerichteten Diagrammen mit derselben monatlichen Achse, oder eine klare Beschriftung der prozentualen Veränderung für jede Kennzahl, anstatt die Leser dazu aufzufordern, die Höhe der Linien zu vergleichen.
Ein generiertes Diagramm war noch nicht bereit zur Veröffentlichung
Die dritte Ausgabe sollte den monatlichen Trend der Erstattungsquote darstellen. In ihrem Titel wurde korrekt angegeben, dass im Juni ein Wert von 5,02 % erreicht wurde, aber das exportierte Bild zeigte nur eine durchschnittliche Referenzlinie von etwa 2,48 %. Die sechs monatlichen Werte und der Ausschlag im Juni waren in der Grafik nicht sichtbar.
Wir haben dieses Bild aus den visuellen Elementen des Artikels ausgeschlossen.
Dies lag nicht an der zugrundeliegenden Berechnung, sondern an der aufbereiteten Darstellung der Belege. Leser konnten die Behauptung zwar in der Unterüberschrift erkennen, aber nicht anhand der Grafik selbst überprüfen.
Diese Prüfung lässt sich leicht übersehen, wenn die schriftliche Analyse bereits stimmig klingt: Stellen Sie sicher, dass jedes exportierte Diagramm tatsächlich die Reihen anzeigt, die in seinem Titel und seiner Bildunterschrift beschrieben sind.
Ein zweiter Prompt erleichterte die Überprüfbarkeit der Argumentation
Anschließend haben wir ChartGen angewiesen, ausschließlich die hochgeladenen Daten zu verwenden, seine Berechnungen darzustellen, Beobachtungen von Erklärungen zu trennen und alle Kennzahlen zu ermitteln, die der Hauptschlussfolgerung widersprechen.
Die zweite Antwort berechnete:
Umsatzwachstum von Mai bis Juni: 9,09 %
Auftragswachstum: 3,40 %
Wachstum des durchschnittlichen Bestellwerts: 5,49 %
Wachstum der Rückerstattungen: 161,9 %
Rückerstattungsrate: 1,98 % bis 5,02 %
Es wurde zudem überprüft, ob der Umsatz mit dem Produkt aus Bestellungen und durchschnittlichem Bestellwert übereinstimmte. Die geringfügigen Abweichungen ließen sich dadurch erklären, dass die AOV-Werte auf zwei Dezimalstellen gespeichert wurden.
Die Folgeantwort legte die Berechnungen offen und prüfte, ob die zugehörigen Felder übereinstimmten.
Dies war nützlicher als eine andere allgemeine Zusammenfassung. Es zeigte, woher die Prozentsätze stammten, und machte Rundungsunterschiede sichtbar.
ChartGen trennte zudem mögliche Erklärungen von seinen Beobachtungen. Sonderaktionen, neue Produktkategorien, Qualitätsprobleme und der Zeitpunkt von Rückerstattungen wurden explizit als Hypothesen dargestellt, die der Datensatz nicht bestätigen konnte.
In der zweiten Antwort wurden die Erläuterungen zu Kampagne, Produkt, Abwicklung und Buchhaltung eindeutig als unbestätigte Hypothesen gekennzeichnet.
Diese Trennung machte die Antwort sicherer in der Anwendung. Sie verhinderte, dass eine plausible Geschäftsgeschichte mit einem in der Tabelle enthaltenen Ergebnis verwechselt wurde.
Die Verifizierungsantwort bedarf noch einer Verifizierung
Die zweite Antwort verbesserte die Analyse, war aber noch nicht bereit, unverändert in einen Bericht übernommen zu werden.
„Datensatzdurchschnitt“ verwendete einen falschen Referenzwert
Es bezeichnete 1,99 % als die durchschnittliche Rückerstattungsrate des Datensatzes. Über alle sechs Monate hinweg lag der Durchschnitt bei etwa 2,48 %. Der Wert von 1,99 % entsprach der Baseline von Januar bis Mai, vor dem Anstieg im Juni. Diese Zahl war nützlich, aber die Bezeichnung war falsch.
Die Prognose des Nettoumsatzes beruhte auf drei Annahmen
In der Antwort wurde zudem der Nettoumsatz für Juni geschätzt, indem die Anzahl der Rückerstattungen mit dem durchschnittlichen Bestellwert multipliziert und das Ergebnis vom Bruttoumsatz abgezogen wurde. Die Rechnung war nachvollziehbar, aber die Quelldatei enthielt keine tatsächlichen Werte für die Rückerstattungen. Außerdem ging daraus nicht hervor, ob die Rückerstattungen im Juni zu Bestellungen aus dem Juni gehörten.
Diese Schätzung beruhte auf mindestens drei Annahmen:
- Jede erstattete Bestellung hatte denselben Wert wie die monatliche durchschnittliche Bestellung.
- Alle im Juni erfassten Rückerstattungen beziehen sich auf die Verkäufe im Juni.
- Das Feld „Umsatz“ wurde noch nicht um Rückerstattungen bereinigt.
Es könnte als Szenario dargestellt werden, aber nicht als reine Tatsachenbeobachtung.
Der Anstieg um 164 % verwendete eine unklare Baseline
In der Antwort wurde zudem der Anstieg der Erstattungsquote mit 164 % angegeben, ohne den Vergleichszeitraum zu präzisieren. Von 1,98 % im Mai auf 5,02 % im Juni betrug der relative Anstieg etwa 153,5 %. Ein Anstieg um 164 % würde auf einer anderen Baseline beruhen, die nahe bei dem Wert von Januar \(1,90 %\) liegt.
Sechs Monate reichten nicht für eine formelle Ausreißerbeanstandung
Schließlich war die Einstufung des Junis als statistischer Ausreißer auf Basis von sechs monatlichen Beobachtungen überzogen. Im Vergleich zur Spanne zwischen Januar und Mai stellte der Juni eindeutig eine Anomalie dar. Für eine formelle statistische Schlussfolgerung wäre eine längere Zeitreihe sowie ein Verfahren erforderlich, das auf den zugrundeliegenden Prozess abgestimmt ist.
Keines dieser Probleme machte die zweite Antwort unbrauchbar. Sie zeigten, warum eine Überprüfungsaufforderung die Arbeit verbessert, ohne den Prüfer zu ersetzen.
Die Schlussfolgerung, die wir tatsächlich veröffentlichen würden
Nach Prüfung der Quelldaten, Berechnungen, Beschriftungen und Annahmen lässt sich das Ergebnis präziser formulieren:
Im Juni wurden im Sechsmonats-Datensatz die höchsten Bruttoeinnahmen, Auftragsvolumina und durchschnittlichen Auftragswerte verzeichnet. Die Einnahmen stiegen gegenüber Mai um 9,09 %, während die Auftragszahl um 3,40 % und der durchschnittliche Auftragswert um 5,49 % zunahmen.
Das Ergebnis war keine uneingeschränkte Verbesserung. Die Rücksendungen stiegen von 42 auf 110, und die Rücksendungsquote erhöhte sich von 1,98 % auf 5,02 %, was einem Anstieg von 3,04 Prozentpunkten entspricht.
Dieser Datensatz enthält keine Rückerstattungswerte, Produktlevel-Datensätze, Kampagneninformationen oder Rückerstattungsgründe. Daher lässt sich weder der Nettoumsatz im Juni bestätigen noch die Ursache für den sprunghaften Anstieg der Rückerstattungen erklären.
Diese Version behält die reproduzierbaren Ergebnisse bei und entfernt die Erklärungen, die die Datei nicht liefern kann.
Was hat sich zwischen der ersten Antwort und der endgültigen Version geändert?
Die erste Antwort von ChartGen war in der Tendenz stark: Sie ermittelte den wichtigsten Monat, identifizierte die beiden Treiber des Umsatzwachstums und erkannte die Rückerstattungsanomalie ohne entsprechende Aufforderung.
Der zweite Prompt verbesserte die Antwort, indem er Berechnungen offenlegte und Fakten von Hypothesen trennte.
Die menschliche Überprüfung hat dennoch vier Punkte geändert:
Das Umsatzdiagramm benötigte eine geeignetere Baseline.
Das Rückerstattungsdiagramm musste neu generiert werden, da seine monatliche Reihe nicht sichtbar war.
Die Baseline für die Rückerstattungsrate benötigte eine korrekte Bezeichnung.
Die Schätzung des Nettoumsatzes und die kausalen Erklärungen mussten außerhalb der geprüften Feststellungen verbleiben.
Dies ist eine praktische Methode zur Verwendung eines KI-Diagrammgenerators: Lassen Sie ihn den schnellen ersten Durchgang durchführen, und prüfen Sie anschließend die Teile, die Kontext oder Urteil erfordern.
Ein kurzer Überprüfungsprozess für KI-generierte Diagramm-Insights
Prüfen Sie zunächst, ob das Diagramm die korrekten Felder, Daten, Einheiten und Aggregationen enthält. Berechnen Sie die Änderung der Überschrift neu – und zwar anhand der Quelldatei, nicht anhand der Diagrammbeschriftung.
Als Nächstes prüfen Sie die Visualisierung selbst. Überprüfen Sie die Achsenbasislinie, bestätigen Sie, dass alle angekündigten Datenreihen sichtbar sind, und seien Sie vorsichtig, wenn zwei Messgrößen unterschiedliche Skalen verwenden.
Anschließend trennen Sie drei Arten von Aussagen:
Werte direkt aus den Daten kopiert
Aus diesen Werten berechnete Ergebnisse
Erläuterungen, für die Informationen außerhalb der Datei erforderlich sind
Abschließend stellen Sie eine zweite Frage, die dazu bestimmt ist, die erste Antwort in Frage zu stellen. Fordern Sie die Formeln, widersprüchlichen Kennzahlen, Annahmen und fehlenden Belege an. Die zweite Antwort sollte ebenfalls überprüft werden; Eine detailliertere Antwort kann neue Annahmen sowie nützliche Prüfungen einführen.
Das Ergebnis ist vertrauenswürdig – aber nur bei ordnungsgemäßer Überprüfung
Dieser Test führte zu einem eindeutigen Ergebnis. ChartGen hat das Hauptmuster erkannt, aber seine Ausgabe war ohne vorherige Überprüfung nicht zur Veröffentlichung geeignet.
Die Umsatzzahlen, die Berechnungen für den Zeitraum von Mai bis Juni sowie der sprunghafte Anstieg der Rückerstattungen stimmten mit den Quelldaten überein. Für die geschätzten Nettoumsätze und die vorgeschlagenen Ursachen lagen keine ausreichenden Belege vor.
Die KI-Chartanalyse eignet sich für eine schnelle erste Überprüfung, stellt jedoch keinen endgültigen Beweis dar. Überprüfen Sie die Werte, Berechnungen, das Chart-Design und die kausalen Aussagen, bevor Sie das Ergebnis in einem Bericht verwenden.
Testen Sie ChartGen mit Ihrer CSV- oder Excel-Datei und verwenden Sie dann eine zweite Eingabeaufforderung, um das Ergebnis vor der Veröffentlichung zu überprüfen.