A/Bテストの結果は多くの場合、2つのパーセンテージで示されます。1つはコントロール版、もう1つはバリアント版の数値です。バリアント版のコンバージョン率が高く見えることがありますが、目に見える差だけでは、その改善が十分に大きく、安定しており、意思決定を支えるのに信頼できるものかどうかを説明することはできません。
グラフ作成AIを活用すると実験結果をより分かりやすく提示できますが、チャートには重要な背景情報を残さなければなりません。サンプルサイズ、絶対変化量、相対的なリフト、テスト期間、統計的不確かさが、洗練されたビジュアルの陰に埋もれて消えてしまってはなりません。
A/Bテストチャートには2つのパーセンテージだけでは不十分
コントロール版のコンバージョン率が8.0%、バリアント版のコンバージョン率が8.4%であると仮定しましょう。グラフでバリアント版の数値が高いことは示せますが、その変化が統計的に意味のあるものであることが自動的に証明されるわけではありません。
この差異は、数千人の訪問者に基づくものである場合もあれば、ごく少数のセッションによるものである場合もあります。テスト全体を通して一貫して現れることもあれば、突出して好調な1日によって突発的に生じることもあります。そのためグラフは、統計分析の代替を装うことなく、実験の内容を要約するものであるべきです。
A/Bテストプラットフォームまたは分析システムは、実験の割り当て、サンプル数の計算、信頼区間、有意性検定について責任を持ち続けるべきである。グラフ作成ツールは、これらの結果がレビュー、報告、またはプレゼンテーション用にエクスポートされた後に最も有用となる。
グラフ作成前に実験結果を準備する
各行は、1つのテストバージョン、対象セグメント、または報告期間を表す必要があります。データには、結果とそれを解釈するために必要な情報の両方が含まれている必要があります。
訪問者とコンバージョン
各バージョンに割り当てられた訪問者数または適格ユーザー数、および意図したアクションを完了した人数を記録してください。
サンプルサイズを伴わないコンバージョン率は、誤解を招く恐れがあります。20人のユーザーを基にした10%の率は、2万人のユーザーを基にした10%の率と同程度の根拠を提供するものではありません。
コンバージョン率
コンバージョン率を一貫して算出する：
コンバージョン率 = コンバージョン数 ÷ 訪問者数 × 100
どちらのバージョンも同じコンバージョン定義を使用する必要があります。一方のバージョンでは完了した購入をカウントし、もう一方のバージョンではチェックアウトボタンのクリックをカウントするといったことがあってはなりません。
絶対差分
絶対差は、バリアントとコントロール間のパーセントポイントの変化量を示します:
絶対差 = バリアントレート − コントロールレート
コントロールのコンバージョン率が8.0%、バリアントのコンバージョン率が8.4%の場合、絶対的な改善幅は0.4パーセントポイントとなります。
相対揚力
相対リフトは、改善幅を元のコントロールレートと比較するものです：
相対リフト = \(バリアントの発生率 − コントロールの発生率\) ÷ コントロールの発生率 × 100
同じ変化である8.0%から8.4%への変更は、相対的な上昇幅が5%となります。レポートでは、絶対差である0.4ポイントを併記せずに、単に「5%の増加」とだけ記載すべきではありません。
コントロールのコンバージョン率がゼロの場合、相対リフトは未定義となります。その場合は、パーセンテージリフトを計算する代わりに、絶対差を報告してください。
統計的検定結果
実験プラットフォームによって生成された信頼区間、有意性の結果、または決定状態を保持してください。
米国国立標準技術研究所は、比率間の差に関する信頼区間について文書化しています。これは、2つのコンバージョン率を評価する際には、単に両者の目に見える差だけでなく、不確かさを考慮すべきであることを思い起こさせる有益な指摘です。
レビューの質問に合ったグラフを選択してください
異なるグラフは異なる質問に答えるものであり、チームが確認する必要のある内容に応じて形式を選択すべきである。
グループ化棒グラフで最終コンバージョン率を比較する
グループ化棒グラフでは、コントロール版とバリアント版のコンバージョン率を並べて表示できます。
これは最終的な実験サマリーに適しています。特に、レポート上で訪問者数、コンバージョン数、絶対差、相対リフトが併せて表示されている場合に有効です。
単に小さな改善を劇的に見せかけるためだけに縦軸を短くしないこと。棒グラフが大きさを表す場合、ゼロ基準線が最も正直な比較を可能にしてくれる。
実験プラットフォームから信頼区間が取得できる場合は、コンバージョン率のみを表示するのではなく、信頼区間をグラフまたは付随する注記に含めてください。
テスト期間中の安定性を示す折れ線グラフ
折れ線グラフでは、両方のバージョンの日次または週次のコンバージョン率を表示できます。
これにより査読者は、当該変異株が一貫して優勢であり続けたのか、それとも最終的な結果が一時的な突出した数値に依存していたのかを把握できます。ただし、日々の変動を個別の結論として扱うべきではありません。
時系列チャートは記述的なものであり、計画された試験期間とサンプル要件が完了する前に、チームは日々の変動から勝者を宣言すべきではない。
個別のチャートでオーディエンスセグメントを明確化
新規ユーザーとリピーター、デスクトップ利用者とモバイル利用者、または異なるトラフィックソースの間で、結果が異なる場合があります。
セグメント別の結果が重要な場合は、個別のグラフを作成してください。1つの可視化グラフに過剰な数のオーディエンスグループを追加すると、実験の解釈が難しくなる可能性があります。
セグメント分析も慎重に計画する必要があります。結果を確認した上で最も好調なグループのみを選定すると、試験全体について誤った結論を導き出す可能性があります。
AIグラフ生成ツールでレポーティングチャートを作成する
実験プラットフォームが最終データを生成した後、AIグラフワークフローによって、エクスポートされた結果をより分かりやすいレポート用のビジュアルに変換できます。
エクスポートしたデータを整理する
有用な列は以下の通りです：
- バージョン
- 訪問者
- コンバージョン
- コンバージョン率
- 絶対差分
- 相対揚力
- 信頼区間
- テスト状況
パーセントポイントの値とパーセント変化量は別々の列に分けて記載してください。これらは異なる種類の変化を表すものであり、「改善」のような曖昧なラベルを共有してはなりません。
必要な比較内容を記述する
明確なプロンプトの例は以下の通りです：
対照群とバリアントのコンバージョン率を比較する積み上げ棒グラフを作成してください。訪問者数と絶対的なパーセンテージポイント差を表示し、縦軸のスケールを誇張しないでください。
チャート作成ツールは視覚的な構造を生成できますが、プロンプトで統計的有意性、信頼区間、欠落したサンプル情報を独自に考案するよう要求してはなりません。
生成された結果を確認する
ChartGenのAIグラフ生成ツールは、CSVおよびExcelのアップロード、自然言語によるグラフ作成リクエスト、複数のグラフ種別に対応しているほか、タイトル、軸、ラベル、凡例、スタイルの調整も可能です。
生成後、以下の点を確認してください：
- 対照群と変異群は反転されていないこと；
- サンプルサイズは出典レポートと一致していること；
- パーセンテージポイントと相対パーセンテージのラベルが正しく付けられていること；
- この軸は微小な差異を誇張しない；
- 試験期間と対象者が特定されていること；
- 信頼区間は元の分析と一致する；
- 本グラフは、元の分析で確認されていない統計的確実性を主張するものではありません。
一般的なグラフ作成の選択肢が検証結果を誇張して表示する
軸を途中で切り詰めると、コンバージョン率のわずかな差が実際よりもはるかに大きく見えてしまいます。絶対的な変化が小さい場合、相対的なリフトのみを表示することも同様の問題を引き起こします。
サンプルサイズを省略すると、比較に十分な観測値が用いられているかどうかも分からなくなってしまう。実験プラットフォームが有効な判定を下す前に、一方のバージョンを「勝者」としてラベル付けするグラフは、初期の変動を誤った結論に変えてしまう可能性がある。
もう一つの誤りは、最も好反応を示すオーディエンスセグメントのみを選択することです。テストバリエーションがモバイル端末でのコンバージョン率を向上させる一方でデスクトップ端末でのコンバージョン率を低下させる場合、レポートにモバイル端末の結果をテスト全体の結果として記載してはなりません。
チームはまた、報告用のグラフを統計的検定そのものとして扱うことを避けるべきです。グラフは結果を伝えるものであり、 実験計画、標本割り当て、試験期間、または有意性の計算が妥当であったかどうかを判断するものではない。
コンバージョンの細微な変更には適切な背景説明が必要
コントロール版のコンバージョン率が8.0%、バリアント版のコンバージョン率が8.4%となる登録ページのテストを想定してみましょう。
このバリアントには5%の相対的な上昇が見られ、一見大きな改善に聞こえるかもしれません。しかし、絶対的な改善幅はわずか0.4パーセントポイントに過ぎません。チームは引き続き、対象ユーザー数、信頼区間、テスト期間、および重要なセグメント全体で変更が安定して維持されているかどうかを考慮する必要があります。
見やすいグラフで両方の値を表示し、視覚的な差を過剰に強調しないようにします。その後、補助ラベルによって絶対変化量、相対的な上昇幅、サンプルサイズ、信頼区間、検証状況が示されます。
明確なA/Bテストのグラフは、レビューを代替するのではなく、レビューを支援するものである
A/Bテストのグラフは、目に見えるわずかな差異を自動的に成功の証拠として提示するのではなく、チームが結果の規模、傾向、一貫性を把握する助けとなるべきである。
グラフ作成AIは、出力された実験結果をレポートにまとめる際に必要な手作業を削減できます。最終的な解釈は依然として、正確な計算、十分なサンプル数、信頼できる実験手法、および慎重なレビューに依存します。
そのため、優れたグラフは、入手可能な証拠が何を証明でき、何を証明できないかを誠実に示しつつ、何が変化したかを明らかにするものである。