غالبًا ما تنتهي اختبارات A / B بنسبتين مئويتين: واحدة لإصدار التحكم والأخرى للمتغير. قد يُظهر المتغير معدل تحويل أعلى ، لكن الاختلاف المرئي وحده لا يفسر ما إذا كان التحسن كبيرًا أو مستقرًا أو موثوقًا بما يكفي لدعم القرار.
يمكن أن يؤدي استخدام الرسوم البيانية ai إلى تسهيل تقديم نتائج التجربة ، ولكن يجب أن يحافظ المخطط على السياق المهم. يجب ألا يختفي حجم العينة والتغيير المطلق والرفع النسبي وفترة الاختبار وعدم اليقين الإحصائي خلف صورة مصقولة.
تحتاج مخططات اختبار A / B إلى أكثر من نسبتين مئويتين
افترض أن إصدار التحكم يحول عند 8.0 ٪ وأن المتغير يحول عند 8.4 ٪. يمكن أن يوضح الرسم البياني أن المتغير أعلى ، لكنه لا يثبت تلقائيًا أن التغيير ذو مغزى.
قد يعتمد الاختلاف على آلاف الزوار أو عدد قليل فقط من الجلسات. قد تظل متسقة طوال الاختبار أو تظهر بسبب يوم واحد قوي بشكل غير عادي. لذلك يجب أن يلخص الرسم البياني التجربة دون التظاهر باستبدال التحليل الإحصائي.
يجب أن تظل منصات اختبار A / B أو أنظمة التحليلات مسؤولة عن تعيين التجربة وحسابات العينات وفترات الثقة واختبار الأهمية. تكون أداة الرسم البياني مفيدة للغاية بعد تصدير هذه النتائج للمراجعة أو إعداد التقارير أو العرض التقديمي.
إعداد نتائج التجربة قبل التخطيط
يجب أن يمثل كل صف إصدارًا تجريبيًا واحدًا أو شريحة جمهور أو فترة إعداد التقارير. يجب أن تحتفظ البيانات بالنتيجة والمعلومات اللازمة لتفسيرها.
الزوار والتحويلات
سجل عدد الزوار أو المستخدمين المؤهلين المعينين لكل إصدار ، إلى جانب عدد الذين أكملوا الإجراء المقصود.
يمكن أن يكون معدل التحويل بدون حجم العينة مضللاً. لا يوفر معدل 10 ٪ استنادًا إلى 20 مستخدمًا نفس مستوى الأدلة مثل معدل 10 ٪ استنادًا إلى 20000 مستخدم.
معدل التحويل
احسب معدل التحويل باستمرار:
معدل التحويل = التحويلات ÷ الزوار × 100
يجب أن يستخدم كلا الإصدارين نفس تعريف التحويل. يجب ألا تحسب إحدى الإصدارات عمليات الشراء المكتملة بينما تحسب أخرى النقرات على زر الخروج.
الفرق المطلق
يوضح الفرق المطلق تغير النقطة المئوية بين المتغير والتحكم:
الفرق المطلق = معدل المتغير - معدل التحكم
عندما يتحول عنصر التحكم عند 8.0 ٪ ، ويتحول المتغير عند 8.4 ٪ ، يكون التحسن المطلق 0.4 نقطة مئوية .
الرفع النسبي
يقارن الرفع النسبي التحسن مع معدل التحكم الأصلي:
الرفع النسبي = \(معدل المتغير - معدل التحكم\) ÷ معدل التحكم × 100
نفس التغيير من 8.0 ٪ إلى 8.4 ٪ يمثل ارتفاعًا نسبيًا بنسبة 5 ٪. يجب ألا تصف التقارير هذا فقط على أنه "زيادة بنسبة 5 ٪" دون إظهار الفرق المطلق البالغ 0.4 نقطة.
عندما يكون معدل تحويل التحكم صفرًا ، يكون الرفع النسبي غير محدد. في هذه الحالة ، أبلغ عن الفرق المطلق بدلاً من حساب النسبة المئوية للرفع.
نتائج الاختبارات الإحصائية
حافظ على فاصل الثقة أو نتيجة الأهمية أو حالة القرار التي تنتجها منصة التجربة.
يوثق المعهد الوطني للمعايير والتكنولوجيافترات الثقة للاختلافات بين النسب. هذا تذكير مفيد بأنه يجب تقييم معدلي تحويل مع عدم اليقين ، وليس فقط من خلال الفجوة المرئية بينهما.
اختر مخططًا يطابق سؤال المراجعة
تجيب المخططات المختلفة على أسئلة مختلفة. يجب اختيار التنسيق وفقًا لما يحتاج الفريق إلى مراجعته.
البارات المجمعة قارن أسعار التحويل النهائية
يمكن للمخطط الشريطي المجمّع وضع معدلات التحكم والتحويل المتغيرة جنبًا إلى جنب.
يعمل هذا بشكل جيد مع ملخص التجربة النهائي ، خاصةً عندما يعرض التقرير أيضًا الزوار والتحويلات والفرق المطلق والرفع النسبي في مكان قريب.
تجنب تقصير المحور الرأسي ببساطة لجعل التحسن الصغير يبدو دراماتيكيًا. عندما تمثل الأشرطة الحجم ، يوفر خط الأساس الصفري المقارنة الأكثر صدقًا.
عند توفر فترات الثقة من النظام الأساسي للتجربة ، قم بتضمينها في المخطط أو الملاحظات المصاحبة بدلاً من تقديم معدلات التحويل وحدها.
تظهر المخططات الخطية الاستقرار أثناء الاختبار
مخطط واسع من الاسفل يمكن أن تظهر معدلات التحويل اليومية أو الأسبوعية لكلا الإصدارين.
يساعد هذا المراجعين في معرفة ما إذا كان المتغير ظل أقوى باستمرار أو ما إذا كانت النتيجة النهائية تعتمد على ارتفاع مؤقت واحد. ومع ذلك ، لا ينبغي التعامل مع التقلبات اليومية على أنها استنتاجات منفصلة.
مخططات السلاسل الزمنية وصفية. يجب ألا تعلن الفرق عن الفائز من التقلبات اليومية قبل فترة الاختبار المخطط لها واكتمال متطلبات العينة.
مخططات منفصلة توضيح شرائح الجمهور
قد تختلف النتائج بين المستخدمين الجدد والعائدين ، وزوار سطح المكتب والجوال ، أو مصادر حركة المرور المختلفة.
قم بإنشاء مخططات منفصلة عندما تكون نتائج المقطع مهمة. يمكن أن تؤدي إضافة عدد كبير جدًا من مجموعات الجمهور إلى تصور واحد إلى جعل تفسير التجربة أكثر صعوبة.
يجب أيضًا التخطيط لتحليل القطاعات بعناية. قد يؤدي اختيار أقوى مجموعة فقط بعد مراجعة النتائج إلى استنتاج مضلل حول الاختبار ككل.
بناء مخطط التقارير مع AI مولد الرسم البياني
بمجرد أن تنتج منصة التجربة البيانات النهائية ، يمكن لسير عمل الرسم البياني بالذكاء الاصطناعي تحويل النتائج المصدرة إلى صورة إبلاغ أوضح.
تنظيم البيانات المصدرة
وتشمل الأعمدة المفيدة:
- الإصدار
- الزوار
- التحويلات
- معدل التحويل
- الفرق المطلق
- الرفع النسبي
- فترة الثقة
- حالة الاختبار
احتفظ بقيم النقطة المئوية والنسبة المئوية للتغييرات في أعمدة منفصلة. يصفون أنواعًا مختلفة من التغيير ويجب ألا يشاركوا تسمية غير واضحة مثل "تحسين".
وصف المقارنة المطلوبة
موجه واضح يمكن أن يكون:
قم بإنشاء مخطط شريطي مجمّع لمقارنة معدلات التحكم والتحويل المتغيرة. اعرض عدد الزوار والفرق المطلق في النسبة المئوية ، ولا تبالغ في المقياس الرأسي.
يمكن لـ صانع المخططات إنشاء البنية المرئية ، ولكن يجب ألا يطلب منه الموجه ابتكار دلالة إحصائية أو فترات ثقة أو معلومات عينة مفقودة.
مراجعة النتيجة الناتجة
يدعم مولد الرسوم البيانية بالذكاء الاصطناعي من ChartGen تحميلات CSV و Excel وطلبات الرسم البياني باللغة الطبيعية وأنواع الرسوم البيانية المتعددة والتعديلات على العناوين والمحاور والتسميات والأساطير والتصميم.
بعد جيل ، تأكد من أن:
- لم يتم عكس التحكم والمتغير ؛
- أحجام العينات تطابق تقرير المصدر ؛
- يتم تصنيف النقاط المئوية والنسب المئوية بشكل صحيح ؛
- المحور لا يبالغ في اختلاف طفيف.
- يتم تحديد فترة الاختبار والجمهور ؛
- فترات الثقة تطابق التحليل الأصلي ؛
- لا يدعي الرسم البياني اليقين الإحصائي الذي لم يثبته تحليل المصدر.
خيارات الرسوم البيانية الشائعة تبالغ في نتائج الاختبار
يمكن للمحور المقطوع أن يجعل فرقًا صغيرًا في معدل التحويل يبدو أكبر بكثير مما هو عليه. يمكن أن يؤدي إظهار الرفع النسبي فقط إلى إنشاء نفس المشكلة عندما يكون التغيير المطلق صغيرًا.
تؤدي إزالة حجم العينة أيضًا إلى إخفاء ما إذا كانت المقارنة تستند إلى ملاحظات كافية. يمكن للمخطط الذي يصنف إصدارًا واحدًا على أنه "الفائز" قبل أن تصل منصة التجربة إلى قرار صحيح أن يحول التذبذب المبكر إلى نتيجة خاطئة.
خطأ آخر هو اختيار أقوى شريحة جمهور فقط. عندما يحسن المتغير تحويلات الأجهزة المحمولة ولكنه يقلل من تحويلات سطح المكتب ، يجب ألا يقدم التقرير نتيجة الهاتف المحمول كنتيجة للاختبار بأكمله.
وينبغي أن تتجنب الأفرقة أيضا معاملة الرسم البياني للتقارير باعتباره الاختبار الإحصائي نفسه ، إذ ينقل الرسم البياني النتيجة ؛لا يحدد ما إذا كان تصميم التجربة أو تخصيص العينة أو مدة الاختبار أو حساب الأهمية صالحًا.
تغييرات التحويل الصغيرة تحتاج إلى سياق صادق
تخيل اختبار صفحة الاشتراك حيث يتم تحويل عنصر التحكم بنسبة 8.0 ٪ ، ويتم تحويل المتغير بنسبة 8.4 ٪.
البديل لديه رفع نسبي 5 ٪ ، والذي قد يبدو كبيرًا. ومع ذلك ، فإن التحسن المطلق هو 0.4 نقطة مئوية فقط. لا يزال الفريق بحاجة إلى النظر في عدد المستخدمين المشمولين ، وفاصل الثقة ، ومدة الاختبار ، وما إذا كان التغيير ظل مستقرًا عبر القطاعات المهمة.
يعرض الرسم البياني الواضح كلا المعدلين دون المبالغة في تقدير الفرق البصري. ثم توفر التسميات الداعمة التغيير المطلق ، والرفع النسبي ، وحجم العينة ، وفاصل الثقة ، وحالة الاختبار.
مسح A / B اختبار الرسوم البيانية مراجعة الدعم بدلا من استبداله
يجب أن تساعد مخططات اختبار A / B الفرق على فهم حجم النتيجة واتجاهها واتساقها دون تقديم فرق مرئي صغير كدليل تلقائي على النجاح.
يمكن أن يقلل Graphing AI من العمل اليدوي المطلوب لتحويل نتائج التجارب المصدرة إلى تقرير. لا يزال التفسير النهائي يعتمد على الحسابات الصحيحة والعينات الكافية وطرق التجربة الموثوقة والمراجعة الدقيقة.
لذلك يُظهر الرسم البياني القوي ما تغير مع الحفاظ على صدقه بشأن ما يمكن للأدلة المتاحة - وما لا يمكن - إثباته.