返回部落格
指南9 分鐘閱讀

你能相信人工智能圖表分析嗎?

我們用六個月電商資料集測試 AI 圖表分析,看 ChartGen 找對了什麼、哪些需要人工覆核,以及發布前如何核驗結果。

Steven Cen, 數據可視化實踐者

Steven Cen

數據可視化實踐者

Share:
你能相信人工智能圖表分析嗎

人工智能工具可以在大多數人檢查第一個公式之前讀取電子表格、生成多個圖表並解釋結果。這種速度很有用。它也使得一個自信的答案很容易過早被接受。

爲了查看仍需要檢查的內容,我們將受控的六個月電子商務數據集上傳到ChartGen,並詢問它哪個月表現最好以及是什麼導致了變化。

結果不是簡單的成功或失敗。ChartGen發現了主要的收入變化,將其與訂單和平均訂單價值聯繫起來,並注意到一個使故事複雜化的指標。第二個提示使計算更容易審計。

即便如此,在結果準備好提交報告之前,一些標籤和假設需要人工審查。

測試中使用的數據集

該文件包含六個月度記錄和六個字段:

數據集故意很小。每個百分比都可以手動重新計算,並且沒有客戶、活動、產品或退款原因字段可以解釋指標更改的原因。

我們首先問:

“分析這個月度電子商務表現數據。哪個月表現最好,是什麼導致了變化?”

第一個答案比簡單的收入摘要要好

ChartGen將6月份的收入增長描述爲“雙引擎提升”,因爲訂單量和平均訂單價值同時增長。它還提出了幾種可能的解釋,包括追加銷售活動、產品組合的變化或促銷活動。

更重要的是,它並沒有止步於積極的指標。它稱退款率爲危險信號,並得出結論認爲6月份的總業績最好,而淨狀況不太清楚。

ChartGen 將六月營收與訂單量和客單價關聯的分析
ChartGen 將六月營收與訂單量和客單價關聯的分析

ChartGen將6月份的收入增長與訂單和平均訂單價值聯繫起來,然後由於退款激增而對結果進行了限定。

這是一個有用的第一步。對雙電梯的描述與數據相符,“暗示”等術語清楚地表明,提出的原因是可能性,而不是確鑿的事實。

有一句話仍然超出了文件的範圍。回覆稱,訂單和平均訂單價值同時增長的情況“相對罕見”。六個月的記錄無法確定這種模式有多罕見。這種說法需要更大的歷史數據集或外部來源。

可能的解釋也仍然是假設。電子表格中沒有任何內容表明ChartGen正在考慮促銷、新產品類別、定價變化或不同的客戶組合。

收入是正確的,但軸心改變了印象

第一個生成的圖表顯示了從1月到6月的月收入。所有六個值都是正確的,6月明確標記爲120,000美元。

基線從 8 萬美元起算的月度營收圖
基線從 8 萬美元起算的月度營收圖

生成的收入圖表使用80,000美元的基線,使月柱之間的差異看起來更大。

因座標軸未從零開始而顯得差距更大的營收柱
因座標軸未從零開始而顯得差距更大的營收柱

縱軸從80,000美元開始,而不是零。這一選擇使6月柱看起來大約是可見基線上方1月柱的兩倍。

實際收入從100,000美元增加到120,000美元,增長了20%。圖表沒有改變值,但它給視覺差異的權重超過了數字本身的合理性。

這是人工智能圖表分析中的一個重要區別。正確的標籤並不能保證中性的視覺尺度。英國政府分析功能的圖表指南指出,打破一個數字軸可以幫助讀者看到一個狹窄的趨勢,但並不總是合適的。在這裏,80,000美元的基線給視覺權重增加了20%,超過了它應得的。

兩條上升線並不意味着天平是可比的

ChartGen還在雙軸折線圖上放置訂單和平均訂單價值。

訂單量與客單價的雙軸對比圖
訂單量與客單價的雙軸對比圖

訂單使用左軸,而平均訂單值使用右側的單獨刻度。\[/標題\]

圖表正確地顯示,這兩個指標在6月份都有所增加。然而,兩條線使用了不同的單位和不同的軸:左邊的訂單和右邊的每單美元。

它們的垂直位置無法直接比較。附近的線並不意味着這兩個指標大小相同,移動百分比相同,或者有因果關係。

圖表還保留了電子表格樣式的標籤,如Average\_Order\_Value,圖例縮短了字段名稱。這些都是次要的表示問題,但一旦圖表離開分析工作區並進入客戶報告,它們就很重要。

最安全的版本將使用具有相同月軸的兩個對齊圖表,或者清楚地標記每個指標的百分比變化,而不是邀請讀者比較線高。

一個生成的圖表還沒有準備好發佈

第三個輸出旨在顯示月度退款率趨勢。它的標題正確地說明了6月份已達到5.02%,但導出的圖像僅顯示一條平均參考線,約爲2.48%。六個月的值和6月份的峯值在圖中不可見。

我們從文章視覺對象中排除了該圖像。

這不是基礎計算的問題。這是呈現的證據的問題。讀者可以在副標題中看到聲明,但無法從圖表本身驗證。

當書面分析聽起來正確時,該檢查很容易被忽略:確認每個導出的圖表實際上顯示了其標題和標題中描述的系列。

第二個提示使推理更容易審計

然後,我們要求ChartGen只使用上傳的數據,顯示其計算結果,將觀察結果與解釋分開,並識別任何與主要結論相矛盾的指標。

計算出的第二個響應:

5月至6月收入增長: 9.09%

訂單增長:3.40%

平均訂單價值增長:5.49%

退款增長:161.9%

退款率:1.98%至5.02%

它還檢查收入是否與訂單乘以平均訂單價值一致。傳說對決值存儲到小數點後兩位可以解釋微小的差異。

展示計算過程與欄位核對的二次回答
展示計算過程與欄位核對的二次回答

後續響應公開了計算並檢查了相關字段是否一致。\[/標題\]

這比另一個一般性總結更有用。它顯示了百分比的來源,並使舍入差異顯而易見。

ChartGen還將可能的解釋與其觀察分開。促銷、新產品類別、質量問題和退款時間被明確提出爲數據集無法確認的假設。

二次回答中標示為未證實的活動與產品假設
二次回答中標示為未證實的活動與產品假設

第二個答覆清楚地將活動、產品、履行和會計解釋標記爲未經證實的假設。

這種分離使答案使用起來更安全。它防止了一個看似合理的商業故事被誤認爲電子表格中包含的結果。

驗證答案仍需驗證

第二份答覆改進了分析,但還沒有準備好不加改動地複製到報告中。

“數據集平均值”使用了錯誤的基線

它將1.99%稱爲“數據集平均”退款率。在所有六個月中,平均水平約爲2.48%。1.99%的數字代表了1月至5月的基線,在6月的高峯之前。這個數字很有用,但標籤是錯誤的。

淨收入估計取決於三個假設

該答案還通過將退款數量乘以平均訂單價值並從總收入中減去結果來估計6月份的淨收入。算術可以理解,但源文件不包含實際退款值。它也沒有顯示6月份的退款是否屬於6月份的訂單。

這一估計至少取決於三個假設:

  • 每個退款的訂單都與每月平均訂單的價值相同。
  • 6月份記錄的所有退款都與6月份的銷售有關。
  • 收入字段尚未針對退款進行調整。

它可以作爲一個情景提出,但不能作爲一個僅針對事實的觀察。

164%的增長使用了不明確的基線

回覆還將退款率增加164%,但沒有具體說明比較期。從5月的1.98%到6月的5.02%,相對增幅約爲153.5%。164%的增幅將使用不同的基線,接近1月的1.90%。

六個月的時間不足以證明異常值

最後,根據六個月的觀察結果將6月稱爲統計異常值比必要的要強。相對於1月至5月的範圍,6月顯然是一個異常。正式的統計結論需要更多的歷史和適合基本過程的方法。

這些問題都沒有使第二個答案變得無用。他們展示了爲什麼驗證提示在不更換審閱者的情況下改進了工作。

我們實際上會發表的結論

在檢查了源數據、計算、標籤和假設之後,可以更清晰地陳述結果:

6月錄得6個月數據集中最高的總收入、訂單量和平均訂單價值,收入較5月增長9.09%,而訂單增長3.40%,平均訂單價值增長5.49%。
結果並不是不合格的改善,退款從42筆增加到110筆,退款率從1.98%上升到5.02%,提高了3.04個百分點。
該數據集不包括退款值、產品級別記錄、活動信息或退款原因。因此,它無法確認6月份的淨收入或解釋導致退款飆升的原因。

此版本保留了可以複製的發現,並刪除了文件無法提供的解釋。

第一個答案和最終版本之間發生了什麼變化?

第一個ChartGen的反應在方向上很強烈。它找到了最重要的月份,確定了收入增長的兩個貢獻者,並在沒有被詢問的情況下注意到了退款異常。

第二個提示通過暴露計算和將事實與假設分開來改進答案。

人類評論仍然改變了四件事:

收入圖表需要一個更合適的基線。

退款圖表需要重新生成,因爲它的每月系列不可見。

退款率基線需要一個正確的標籤。

淨收入估計和因果解釋需要保留在經過驗證的發現之外。

這是使用 人工智能圖表生成器 的一種實用方法。讓它執行快速首過,然後檢查需要上下文或判斷的部分。

AI生成的圖表洞察的簡短回顧過程

首先檢查圖表是否包含正確的字段、日期、單位和聚合。從源文件而不是從圖表標籤重新計算標題更改。

接下來,檢查視覺本身。檢查軸基線,確認每個承諾的系列都是可見的,當兩個度量使用不同的尺度時要小心。

然後分離三種語句:

直接從數據複製的值

根據這些值計算出的結果

需要文件外部信息的說明

最後,提出旨在挑戰第一個答案的第二個問題。要求公式、矛盾的指標、假設和缺失的證據。第二個回答也應該被審查;更詳細的答案可以引入新的假設以及有用的檢查。

結果是可信的,但只有經過適當的驗證

這個測試得出了明確的結論,ChartGen找到了主要模式,但它的輸出還沒有準備好在沒有審查的情況下發布。

收入數據、5月至6月的計算和退款高峯與源數據相匹配。估計的淨收入和提出的原因沒有足夠的證據。

AI圖表分析對於快速的首次審查很有用,而不是作爲最終證明。在報告中使用結果之前,請驗證值、計算、圖表設計和因果聲明。

嘗試使用ChartGen 處理您的CSV或Excel文件,然後在發佈之前使用第二個提示來驗證結果。

AI 圖表分析AI 圖表生成器資料核驗ChartGen AI圖表審閱

準備好建立更好的圖表了嗎?

將這些洞察付諸實踐。使用 ChartGen 在幾秒鐘內產生專業的可視化圖表。

免費試用 ChartGen