AI가 20개의 실제 데이터셋을 분석했을 때, 예상치 못한 일이 일어났습니다

지난 2년간, AI에 대한 대중의 대화는 대개 한 가지 질문으로 요약되었습니다: 이 모델이 질문에 얼마나 잘 대답하는가?

벤치마크. 리더보드. 추론 점수. 환각 비율.

그 질문은 점점 잘못된 것이 되어가고 있습니다. 더 흥미로운 변화는 모델이 얼마나 잘 *말하는지*가 아니라, 팀이 이미 사용하는 동일한 작업물에서 일할 수 있는지 여부이기 때문입니다.

그래서 우리는 간단한 실험을 진행했습니다. 퍼즐, 수수께끼, 합성 프롬프트 대신, AI에게 실제 생활에 가까운 것을 주었습니다: 데이터.

설정: 챗봇이 아닌 분석가

아이디어는 간단했습니다. 시스템을 챗봇이 아닌 분석가처럼 대우하는 것입니다.

우리는 일반적인 비즈니스 상황에서 20개의 데이터셋을 수집했습니다. 주간 매출, 캠페인 결과, 이탈 테이블, 설문조사 내보내기, 재고 로그, 제품 지표. 특별한 형식은 없었습니다. 큐레이션된 벤치마크 팩도 없습니다. 사람들이 매일 이메일로 주고받는 지저분한 테이블 그 자체였습니다.

그런 다음 요약보다 더 어려운 것을 요청했습니다:

"여기서 중요한 것이 무엇인지 말해주세요."

"열을 설명하라"가 아닙니다. 분석하라.

목표는 AI가 대화형 도우미를 넘어 결론에 도달하려는 사람처럼 행동할 수 있는지 확인하는 것이었습니다.

우리가 예상한 것

우리는 세 가지 결과를 가정했습니다:

1. 차트를 생성할 것이다
2. 추세를 설명할 것이다
3. 가끔 환각을 일으킬 것이다

세 가지 모두 일어났습니다. 그러나 우리가 이 카테고리에 대한 생각을 바꾼 결과는 달랐습니다.

놀라움 1: 시각화부터 시작하지 않았다

인간 분석가는 종종 익숙한 경로를 따릅니다: 스프레드시트 열기, 정리, 차트 작성, 해석.

시스템은 그 순서를 안정적으로 따르지 않았습니다. 대신 불확실성을 표면화하는 것으로 시작했습니다—계절성, 지역 간 비교 가능성, 기간 중 가격 변화, 그리고 차트가 정직할지 여부를 결정하는 다른 컨텍스트 격차에 대한 질문들.

그 행동은 현재 많은 팀이 데이터 에이전트라고 부르는 것과 일치합니다: 분석 워크플로우의 한 단계 이상을 수행할 수 있는 시스템, 단일 프롬프트에 답변하는 것 이상.

다시 말해, 단순히 그리는 것이 아니라 가설을 형성하고 있었습니다.

놀라움 2: 차트가 가장 가치 있는 결과물이 아니었다

우리는 차트가 주요 이점이 될 것으로 예상했습니다. 그렇지 않았습니다.

가장 큰 레버리지 순간은 시스템이 숫자가 움직인 이유를 설명할 때 발생했습니다.

소매 파일의 예: 특정 주의 매출 하락. 인간은 "무언가 떨어졌다"에서 멈출 수 있습니다. 실행은 하락을 전환율 하락, 모바일 트래픽 급증, 특정 캠페인 시작과 연결한 다음 간결한 설명을 생성했습니다: 캠페인이 더 넓은 트래픽을 끌어들인 후 낮은 의도의 방문자가 전환율을 희석시켰습니다.

이는 마법 같은 예측이 아닙니다. 신호 간 추론이며, "AI 분석"이 최적화해야 할 대상을 재구성했습니다.

놀라움 3: 속도가 행동을 바꾸었다—처리량만이 아니라

고전적인 분석 워크플로우는 마찰을 물려받습니다: 요청, 대기, 분석, 회의, 결정.

답변이 며칠이 아닌 초 단위로 도착하면, 사람들은 더 빨리 움직일 뿐만 아니라 더 많은 질문을 합니다. 더 작고 날카로운 질문들:

1. "어제 무엇이 바뀌었나요?"
2. "왜 B 지역이 A 지역을 이겼나요?"
3. "주말을 제외하면 어떻게 되나요?"

병목은 거의 원시 데이터 양이 아니었습니다. 질문하는 비용이었습니다. 그 비용이 무너지면 호기심과 반복이 증가합니다. 이는 팀이 데이터와 관계를 맺는 방식을 완전히 바꿉니다.

도우미에서 분석가로

챗봇은 글쓰기를 돕습니다. 검색은 찾기를 돕습니다. 분석 시스템은 결정을 도와야 합니다.

기업들은 이미 운영 데이터와 워크플로우를 조정하는 더 자율적인 시스템을 실험하고 있습니다. 우리가 작은 규모에서 본 것은 같은 방향의 변화였습니다: AI가 응답에서 해석으로, 그리고 주의 집중 유도로 이동하는 것.

"요청하신 차트입니다." 대신에

"여기에 주목해야 할 것이 있습니다—그리고 그 이유입니다."

실제 의미

수년 동안 BI 문화는 대시보드에 크게 의존했습니다. 대시보드는 사용자가 이미 무엇을 찾아야 하는지, 어떤 뷰가 중요한지, 변화를 읽는 방법을 알고 있다고 가정합니다.

대부분의 팀은 데이터에 접근할 수 없어서 실패하지 않습니다. 이해가 비싸기 때문에 실패합니다.

업계 문제는 결코 시각화만이 아니었습니다. 시간 압박 속의 인지였습니다.

이것이 업무에 의미하는 바

일반적인 두려움은 대체입니다. 실험은 더 좁은 지점을 가리켰습니다.

AI는 분석가 역할을 없애지 않았습니다. 기다림, 반복적인 차트 조립, 기계적 비교의 첫 번째 패스를 대체했습니다.

인간 측에 남은 것:

1. 판단
2. 의사결정
3. 의사소통
4. 이해관계자만이 제공할 수 있는 컨텍스트

일은 사라지지 않았습니다. 업스택으로 이동했습니다.

다른 종류의 도구

우리는 사고 인프라라고 부를 수 있는 것으로의 전환 초기에 있습니다—패턴을 표면화하고, 이상을 설명하며, 주의를 지시하고, 데이터에서 행동까지의 경로를 단축하는 소프트웨어.

차세대 분석은 가장 예쁜 기본 차트로 정의되지 않을 것입니다.

팀이 얼마나 빨리 이동할 수 있는지로 정의될 것입니다:

데이터 → 이해 → 행동

마무리

오랫동안 우리는 AI가 인간처럼 대답할 수 있는지로 평가했습니다.

이와 같은 실행 후, 더 나은 테스트는 더 간단합니다:

인간이 더 빨리 이해하고, 다음 단계를 신뢰할 수 있을 만큼 추적 가능성을 제공하는가?

지속 가능한 혁명은 똑똑하게 말하는 기계가 아니기 때문입니다.

사람을 더 결단력 있게 만드는 기계입니다.

그 전환은 이미 진행 중입니다—조용히, 팀이 이미 가지고 있는 스프레드시트와 내보내기 파일 속에서.