A / B-тесты часто заканчиваются двумя процентами: один для контрольной версии и один для варианта. Вариант может показать более высокий коэффициент конверсии, но одна только видимая разница не объясняет, является ли улучшение большим, стабильным или достаточно надежным, чтобы поддержать решение.
Использование графического ИИ может упростить представление результатов эксперимента, но диаграмма должна сохранять важный контекст. Размер выборки, абсолютное изменение, относительный подъем, период тестирования и статистическая неопределенность не должны исчезать за полированным визуальным представлением.
Для диаграмм A/B-тестирования недостаточно только двух процентных показателей
Допустим, конверсия в контрольной версии составляет 8,0%, а в тестовой версии — 8,4%. График может показать, что показатель тестовой версии выше, но это само по себе не доказывает, что данное изменение является статистически значимым.
Это расхождение может быть обусловлено тысячами посетителей или лишь небольшим количеством сессий. Оно может сохраняться на протяжении всего теста или возникнуть из-за одного дня с необычно высокими показателями. Поэтому диаграмма должна обобщать результаты эксперимента, не претендуя на замену статистического анализа.
Платформы для A/B-тестирования или аналитические системы должны по-прежнему отвечать за распределение участников эксперимента, расчеты выборки, доверительные интервалы и проверку статистической значимости. Инструмент для построения диаграмм наиболее полезен после того, как эти результаты были экспортированы для анализа, отчетности или презентации.
Подготовка результатов эксперимента перед построением диаграммы
Каждая строка должна соответствовать одной тестовой версии, сегменту аудитории или отчетному периоду. В данных должны сохраняться как сам результат, так и информация, необходимая для его интерпретации.
Посетители и конверсии
Запишите количество посетителей или подходящих пользователей, назначенных на каждую версию, а также количество тех, кто выполнил целевое действие.
Коэффициент конверсии, представленный без указания размера выборки, может вводить в заблуждение. 10%-й показатель, рассчитанный на основе данных 20 пользователей, не дает такого же уровня доказательности, как 10%-й показатель, полученный по результатам 20 000 пользователей.
Коэффициент конверсии
Последовательно рассчитывайте коэффициент конверсии:
Коэффициент конверсии = Конверсии ÷ Посетители × 100
Обе версии должны использовать одно и то же определение конверсии. Недопустимо, чтобы в одной версии учитывались завершенные покупки, а в другой — клики по кнопке оформления заказа.
Абсолютная разность
Абсолютная разница показывает изменение в процентных пунктах между вариантом и контрольной группой:
Абсолютная разница = Частота в варианте − Частота в контроле
Если конверсия в контрольной группе составляет 8,0%, а в тестовой — 8,4%, то абсолютное улучшение равно 0,4 процентных пункта.
Относительный подъем
Относительный прирост сравнивает степень улучшения с исходным базовым показателем:
Относительный прирост = \(Показатель варианта − Показатель контрольной группы\) ÷ Показатель контрольной группы × 100
Аналогичное изменение с 8,0% до 8,4% соответствует относительному росту на 5%. В отчетах не следует описывать это исключительно как «увеличение на 5%», не указывая при этом абсолютную разницу в 0,4 процентных пункта.
Если контрольный коэффициент конверсии равен нулю, относительный прирост не определяется. В этом случае вместо расчета процентного прироста следует указать абсолютную разницу.
Результаты статистического теста
Сохраняйте доверительный интервал, значимый результат или статус решения, полученные на экспериментальной платформе.
В Национальном институте стандартов и технологийдокументируются доверительные интервалы для различий между пропорциями. Это полезное напоминание о том, что два коэффициента конверсии должны оцениваться с неопределенностью, а не только по видимому разрыву между ними.
Выберите диаграмму, соответствующую вопросу обзора
Разные диаграммы отвечают на разные вопросы. Формат следует выбирать в соответствии с тем, что команде необходимо проанализировать.
Сгруппированные столбцы для сравнения итоговых коэффициентов конверсии
Сгруппированная столбчатая диаграмма позволяет разместить коэффициенты конверсии контрольной и тестируемой групп рядом друг с другом.
Это отлично подходит для итогового сводного отчета по эксперименту, особенно если рядом в отчете также отображаются данные о посетителях, конверсиях, абсолютной разнице и относительном приросте.
Не стоит искусственно укорачивать вертикальную ось только для того, чтобы незначительное улучшение выглядело внушительно. Когда столбцы отражают величину показателя, нулевая базовая линия обеспечивает наиболее объективное сравнение.
Если экспериментальная платформа предоставляет доверительные интервалы, включите их в диаграмму или сопроводительные примечания, а не ограничивайтесь только показателями конверсии.
Линейные диаграммы демонстрируют стабильность в ходе тестирования
Линейная диаграмма может отображать ежедневные или еженедельные коэффициенты конверсии для обеих версий.
Это помогает рецензентам понять, оставался ли вариант стабильно более эффективным или же конечный результат был обусловлен одним временным всплеском. При этом суточные колебания не следует рассматривать как отдельные выводы.
Временные диаграммы носят описательный характер. Командам не следует делать выводы о преимуществе того или иного варианта на основе ежедневных колебаний до завершения запланированного периода тестирования и выполнения требований к объему выборки.
Отдельные диаграммы наглядно представляют сегменты аудитории
Результаты могут отличаться для новых и вернувшихся пользователей, посетителей с настольных и мобильных устройств, а также для разных источников трафика.
Если результаты сегментации имеют важное значение, создавайте отдельные диаграммы. Добавление слишком большого количества аудиторных групп в одну визуализацию может затруднить интерпретацию эксперимента.
Анализ сегментов также следует тщательно планировать. Если после изучения результатов выбрать только самую сильную группу, это может привести к ошибочным выводам о тесте в целом.
Создайте отчетную диаграмму с помощью AI-генератора графиков
После того как экспериментальная платформа сгенерирует итоговые данные, рабочий процесс графика ИИ сможет преобразовать экспортированные результаты в более наглядное визуальное представление для отчетности.
Организуйте экспортированные данные
- Версия
- Посетители
- Конверсии
- Коэффициент конверсии
- Абсолютная разность
- Относительный подъем
- Доверительный интервал
- Статус теста
Значения в процентных пунктах и процентные изменения следует размещать в отдельных столбцах. Они описывают разные типы изменений, и для них не следует использовать неясные общие заголовки, например «Улучшение».
Опишите требуемое сравнение
Пример понятного запроса:
Создайте сгруппированную столбчатую диаграмму для сравнения коэффициентов конверсии контрольной и тестовой групп. Отобразите количество посетителей и абсолютную разницу в процентных пунктах, не искажайте вертикальную шкалу.
Инструмент для построения диаграмм позволяет создать визуальную структуру, но в запросе не следует просить его придумывать статистическую значимость, доверительные интервалы или недостающую информацию о выборке.
Проверить полученный результат
Генератор графиков на базе ИИ ChartGen поддерживает загрузку файлов CSV и Excel, запросы на создание диаграмм на естественном языке, несколько типов диаграмм, а также настройку заголовков, осей, меток, условных обозначений и стиля оформления.
После генерации убедитесь, что:
- контрольная группа и группа с вариантом не были поменяны местами;
- размеры выборки соответствуют исходному отчету;
- процентные пункты и относительные проценты помечены корректно;
- ось не преувеличивает незначительную разницу;
- определены тестовый период и целевая аудитория;
- доверительные интервалы соответствуют исходному анализу;
- на диаграмме не утверждается статистическая достоверность, которую не установила исходный анализ.
Распространенные варианты построения графиков искажают результаты тестов
Обрезанная ось может сделать небольшую разницу в коэффициенте конверсии гораздо более выраженной, чем она есть на самом деле. Аналогичная проблема возникает, когда отображается только относительный прирост, а абсолютное изменение при этом незначительно.
Удаление размера выборки также скрывает, основано ли сравнение на достаточном количестве наблюдений. Диаграмма, которая помечает одну версию как "победившую" до того, как экспериментальная платформа примет действительное решение, может превратить раннее колебание в ложный вывод.
Ещё одна ошибка — выбирать только самый активный сегмент аудитории. Если вариант улучшает конверсии на мобильных устройствах, но снижает конверсии на десктопах, в отчёте не стоит представлять результат по мобильным устройствам как итог всего теста.
Командам также не следует воспринимать отчетную диаграмму как сам статистический тест. Диаграмма лишь передает его результат; при этом не определяет, были ли корректными дизайн эксперимента, распределение выборки, длительность теста или расчет статистической значимости.
Незначительные изменения конверсии требуют честного контекста
Представьте себе тест страницы регистрации, в котором конверсия контрольной группы составляет 8,0%, а конверсия тестовой группы — 8,4%.
У этого варианта наблюдается 5%-ный относительный прирост, что может показаться существенным. Однако абсолютное улучшение составляет всего 0,4 процентных пункта. Команде по-прежнему необходимо учитывать количество вовлеченных пользователей, доверительный интервал, длительность тестирования, а также то, оставалось ли изменение стабильным для ключевых сегментов.
Наглядная диаграмма отображает оба показателя, не преувеличивая визуальную разницу между ними. Дополнительные подписи затем содержат данные об абсолютном изменении, относительном приросте, размере выборки, доверительном интервале и статусе теста.
Понятные диаграммы A/B-тестирования поддерживают проверку, а не заменяют её
Диаграммы для A/B-тестирования должны помогать командам понимать масштаб, направление и стабильность результата, не представляя при этом небольшое видимое различие как автоматическое доказательство успеха.
Графический ИИ позволяет сократить объём ручной работы, необходимой для преобразования экспортированных результатов эксперимента в отчёт. Окончательная интерпретация по-прежнему зависит от правильности расчётов, достаточного объёма выборки, надёжности методики эксперимента и тщательной проверки.
Поэтому качественная визуализация данных наглядно демонстрирует произошедшие изменения, при этом честно отражая, что доступные доказательства могут — и не могут — подтвердить.