Инструмент на базе искусственного интеллекта успевает прочитать электронную таблицу, построить несколько диаграмм и объяснить полученные результаты раньше, чем большинство людей успевает проверить первую формулу. Такая скорость — это безусловное преимущество. Но из-за неё мы слишком легко и слишком рано начинаем доверять уверенно сформулированному ответу.
Чтобы проверить, что ещё нужно проверить, мы загрузили в ChartGen контролируемый шестимесячный набор данных электронной коммерции и спросили его, какой месяц показал лучшие результаты и что вызвало это изменение.
Результат не сводился к простому «успех или неудача». ChartGen выявил основное изменение выручки, связал его с показателями количества заказов и средней стоимости заказа, а также заметил тот показатель, который усложнял общую картину. Благодаря второму запросу проверка расчетов стала значительно проще.
Даже в этом случае перед тем как результат можно было использовать в отчёте, несколько меток и предположений требовали проверки человеком.
Набор данных, использованный в тесте
Файл содержал шесть месячных записей и шесть полей:
Набор данных был намеренно небольшим. Любой процент можно было пересчитать вручную, при этом отсутствовали поля, связанные с клиентами, рекламными кампаниями, продуктами или причинами возвратов, которые могли бы объяснить, почему изменился тот или иной показатель.
Сначала мы задали вопрос:
«Проанализируй эти ежемесячные данные о результатах электронной коммерции. В каком месяце показатели были наилучшими, и что вызвало такое изменение?»
Первый ответ был лучше, чем простое резюме по доходам
Компания ChartGen охарактеризовала рост выручки в июне как «подъем на двух двигателях», поскольку объем заказов и средняя стоимость заказа росли одновременно. Также она предложила несколько возможных объяснений, включая кампанию по дополнительным продажам, изменение структуры продуктового ассортимента или проведение промоакции.
Что ещё важнее, анализ не ограничился лишь положительными показателями. Он назвал показатель возвратов тревожным сигналом и пришёл к выводу, что в июне наблюдалась лучшая валовая эффективность, тогда как чистая картина была менее однозначной.
Компания ChartGen связала рост выручки в июне с увеличением объёма заказов и средней стоимости заказа, а затем уточнила полученный результат в связи со всплеском возвратов платежей.
Это был полезный первый проход. Описание двойного подъема соответствовало данным, а такие термины, как «предполагает», ясно давали понять, что предложенные причины являются лишь возможностями, а не подтвержденными фактами.
Одно утверждение всё же выходило за рамки представленных материалов. В ответе отмечалось, что одновременный рост объёма заказов и средней стоимости одного заказа является «относительно редким явлением». Шесть ежемесячных показателей не позволяли определить, насколько редким является такая тенденция — для подтверждения этого утверждения потребовался бы более обширный исторический набор данных или внешний источник информации.
Все возможные объяснения по-прежнему оставались лишь гипотезами. В электронной таблице не было никаких данных, которые бы указывали, анализирует ли ChartGen рекламную акцию, новую категорию товаров, изменение цен или иной состав клиентов.
Показатель выручки был корректным, но ось исказила общее впечатление
Первый сгенерированный график отображал ежемесячную выручку с января по июнь. Все шесть значений были верными, а июнь был четко отмечен суммой в 120 000 долларов США.
На сгенерированной диаграмме доходов использовался базовый уровень в 80 000 долларов, из-за чего разница между месячными столбцами выглядит более выраженной.
Вертикальная ось начиналась не с нуля, а с 80 000 долларов. Из-за этого столбец за июнь на видимой базовой линии выглядел примерно в два раза выше столбца за январь.
Фактическая выручка выросла со 100 000 до 120 000 долларов, что составляет рост на 20%. На диаграмме значения не были изменены, но визуальный разрыв между ними был подан с большим акцентом, чем это обосновывали сами цифры.
Это важное различие при анализе диаграмм в сфере ИИ. Правильная маркировка не гарантирует нейтральную визуальную шкалу. В руководстве по построению диаграмм от Аналитического подразделения правительства Великобритании отмечается, что разрыв числовой оси помогает читателям разглядеть узкий тренд, но подходит не всегда. В данном случае базовый уровень в 80 000 долларов придал 20-процентному росту визуальный вес, который он не заслуживал.
Две восходящие линии не означали, что шкалы можно сопоставлять
В ChartGen также показатели «Количество заказов» и «Средняя стоимость заказа» были представлены на двухосевой линейной диаграмме.
Количество заказов отображается по левой оси, а средняя стоимость заказа — по отдельной шкале справа.
На диаграмме корректно отображено, что оба показателя выросли в июне. При этом две линии на ней используют разные единицы измерения и разные оси: количество заказов — на левой оси, а стоимость одного заказа в долларах — на правой.
Их вертикальные положения невозможно напрямую сравнивать. Расположение линий рядом друг с другом не означает, что эти две метрики имеют одинаковый размер, изменяются на одинаковый процент или находятся в причинно-следственной связи.
В диаграмме также сохранились метки в стиле электронных таблиц, такие как Average\_Order\_Value, а в условных обозначениях название поля было сокращено. Это незначительные проблемы с оформлением, но они становятся важными, когда диаграмма выходит за рамки аналитического рабочего пространства и попадает в отчет для клиента.
Наиболее безопасный вариант — использовать два выровненных графика с одинаковой месячной осью, либо четко пометить процентное изменение для каждого показателя, вместо того чтобы предлагать читателям сравнивать высоту линий.
Один сгенерированный график не готов к публикации
Третий отчетный элемент должен был отображать ежемесячную динамику коэффициента возвратов. В его заголовке корректно указано, что в июне этот показатель достиг 5,02 %, однако в экспортированном изображении отображена только средняя опорная линия на уровне примерно 2,48 %. Шесть ежемесячных значений и пиковый показатель июня не отобразились на графике.
Мы исключили это изображение из визуальных материалов статьи.
Это не было проблемой базового расчёта. Проблема заключалась в представленных данных. Читатель мог видеть утверждение в подзаголовке, но не мог подтвердить его по самой диаграмме.
Когда письменный анализ уже кажется убедительным, эту проверку легко упустить из виду: убедитесь, что на каждой экспортированной диаграмме действительно отображаются ряды данных, описанные в её заголовке и подписи.
Второй запрос упростил проверку обоснования
Затем мы попросили ChartGen использовать только загруженные данные, отобразить свои расчёты, отделить наблюдения от пояснений и выявить любые показатели, которые противоречат основному выводу.
Второй ответ рассчитал:
Рост выручки с мая по июнь: 9,09%
Рост заказов: 3,40%
Рост средней стоимости заказа: 5,49%
Рост возвратов: 161,9%
Процент возвратов: от 1,98% до 5,02%
Кроме того, была проверена соответствие выручки показателю, полученному путем умножения количества заказов на среднюю стоимость заказа. Небольшие расхождения объяснялись тем, что значения средней стоимости заказа \(AOV\) хранятся с точностью до двух знаков после запятой.
В ответе на запрос были раскрыты расчеты и проверено соответствие связанных полей.
Это оказалось полезнее, чем очередное общее резюме: в нем было показано, откуда берутся проценты, и стали видны различия, возникающие при округлении.
ChartGen также отделил возможные объяснения от своих наблюдений. Акции, новые товарные категории, проблемы с качеством и сроки возврата средств были явно представлены в качестве гипотез, которые набор данных не смог подтвердить.
Во втором ответе пояснения по кампании, продукту, выполнению заказов и бухгалтерскому учету были четко обозначены как неподтвержденные гипотезы.
Такое разделение повысило безопасность использования ответа. Это позволило избежать ситуации, когда правдоподобное описание бизнес-процессов ошибочно принимается за результат, содержащийся в электронной таблице.
Ответ на проверку всё ещё требует проверки
Второй ответ улучшил анализ, но он ещё не был готов к тому, чтобы его можно было без изменений скопировать в отчёт.
«Среднее по набору данных» было рассчитано с использованием неверной базовой линии
Оно назвало показатель 1,99% «средним по набору данных» для коэффициента возвратов. За все шесть месяцев среднее значение составило примерно 2,48%. Показатель в 1,99% отражал базовый уровень за период с января по май, до резкого скачка в июне. Эта цифра была полезной, но её обозначение было неверным.
Оценка чистой выручки основывалась на трех предположениях
В ответе также содержалась оценка чистого дохода за июнь, полученная путем умножения количества возвратов на среднюю стоимость заказа и вычитания полученного результата из валового дохода. Приведенные арифметические расчеты были понятны, однако в исходном файле отсутствовали фактические данные о суммах возвратов. Кроме того, в нем не указывалось, относятся ли июньские возвраты к заказам, размещенным в июне.
Эта оценка основывалась как минимум на трех предположениях:
- Все возвращенные заказы имели ту же стоимость, что и среднемесячная стоимость заказа.
- Все возвраты, зарегистрированные в июне, относятся к продажам за июнь.
- Поле «Выручка» еще не было скорректировано с учетом возвратов.
Его можно представить в виде сценария, но не как исключительно фактическое наблюдение.
Рост на 164% был рассчитан на нечёткой исходной базе
В ответе также указано, что рост показателя возвратов составил 164%, при этом не уточнен сравниваемый период. При увеличении с 1,98% в мае до 5,02% в июне относительный рост составил примерно 153,5%. Для роста на 164% потребовался бы иной базовый показатель, близкий к значению января в 1,90%.
Шести месяцев оказалось недостаточно для официального заявления о выбросе
Наконец, называть июнь статистическим выбросом на основе шести месячных наблюдений было необоснованно категорично. Июнь явно выпадал из диапазона значений, наблюдавшихся с января по май. Для формального статистического вывода потребовались бы более длительные исторические данные и метод, адаптированный к базовому процессу.
Ни одна из этих проблем не делает второй ответ бесполезным. Они лишь демонстрируют, почему запрос на проверку улучшает результат работы, не заменяя при этом рецензента.
Вывод, который мы фактически опубликуем
После проверки исходных данных, расчетов, меток и допущений результат можно сформулировать более четко:
За июнь в шестимесячном наборе данных были зафиксированы максимальные общий доход, объём заказов и средняя стоимость заказа. Доход вырос на 9,09% по сравнению с маем, при этом количество заказов увеличилось на 3,40%, а средняя стоимость заказа — на 5,49%.
Результат нельзя назвать безоговорочным улучшением: количество возвратов выросло с 42 до 110, а доля возвратов увеличилась с 1,98% до 5,02%, то есть на 3,04 процентных пункта.
В данный набор данных не включены значения возвратов, записи на уровне продуктов, информация о рекламных кампаниях или причины возвратов. Поэтому невозможно подтвердить чистую выручку за июнь или объяснить, что вызвало резкий рост числа возвратов.
В этой версии сохраняются воспроизводимые результаты и удаляются пояснения, которые не может предоставить данный файл.
Что изменилось между первым ответом и финальной версией?
Первый ответ ChartGen оказался в целом удачным: он определил самый важный месяц, выделил два фактора, способствовавших росту выручки, и без дополнительных указаний заметил аномалию, связанную с возвратами платежей.
Второй запрос улучшил ответ, раскрыв ход расчетов и отделив факты от гипотез.
Четыре момента всё же были изменены по итогам ручной проверки:
Диаграмма доходов нуждалась в более подходящей базовой линии.
Диаграмму возвратов потребовалось перегенерировать, так как её месячный ряд не отображался.
Базовый уровень коэффициента возвратов требовал корректной маркировки.
Оценка чистой выручки и причинно-следственные пояснения должны были остаться за рамками проверенных выводов.
Это практичный способ использования генератора диаграмм на основе ИИ. Пусть он выполнит быструю первичную обработку, а затем проверьте те части, которые требуют учёта контекста или экспертной оценки.
Краткий процесс рецензирования аналитических выводов по диаграммам, сгенерированным ИИ
Сначала проверьте, содержит ли диаграмма правильные поля, даты, единицы измерения и агрегацию. Пересчитайте изменение в заголовке на основе исходного файла, а не на основе подписи к диаграмме.
Далее изучите сам визуальный элемент. Проверьте базовые линии осей, убедитесь, что все заявленные ряды данных отображаются, и будьте внимательны, если две метрики используют разные шкалы.
Затем разделите три типа утверждений:
Значения, скопированные напрямую из данных
Результаты, рассчитанные на основе этих значений
Пояснения, требующие информации за пределами файла
Наконец, задайте второй вопрос, призванный поставить под сомнение первый ответ. Потребуйте предоставить формулы, противоречивые показатели, допущения и недостающие доказательства. Второй ответ также следует проверить; более подробный ответ может содержать новые предположения, а также полезные проверки.
Результату можно доверять, но только при надлежащей проверке
Этот тест позволил сделать однозначный вывод. Инструмент ChartGen выявил основную закономерность, но его результат нельзя было публиковать без предварительной проверки.
Показатели выручки, расчёты за май–июнь и резкий рост возвратов соответствовали исходным данным. Для оценочной чистой выручки и предложенных причин не было достаточных доказательств.
Анализ диаграмм с помощью ИИ полезен для быстрого первичного обзора, но не может служить окончательным доказательством. Перед использованием полученных результатов в отчете обязательно проверьте значения, расчеты, дизайн диаграммы и утверждения о причинно-следственных связях.
Попробуйте ChartGen с вашим файлом в формате CSV или Excel, а затем используйте второй запрос, чтобы проверить результат перед публикацией.