A/B 테스트는 단순해 보이지만, 통계 기초를 모르고 결과를 해석하면 멀쩡한 변경을 적용하지 못하거나 효과 없는 변경을 적용하게 됩니다.
마케터가 가장 자주 놓치는 5가지를 정리합니다.
1. 표본 크기 부족
테스트 시작 전에 "이 차이를 검출하려면 몇 명이 필요한가"를 계산해야 하며, 보통 변환율 5%p 차이를 검출하려면 그룹당 1,000~5,000명이 필요합니다.
표본이 부족한 상태에서 보이는 큰 차이는 대부분 우연이며, 그대로 결정에 쓰면 다음 달에 효과가 사라지는 일이 흔합니다.
2. 조기 종료 (Peeking)
테스트 도중 매일 결과를 들여다보고 "이쯤이면 충분"이라며 일찍 멈추는 것이 가장 흔한 실수이며, 이 경우 5% 유의수준이 사실상 20%까지 올라갑니다.
시작 전에 종료 조건을 정해 두고(예: 1만 명 도달 또는 14일 경과) 그 전에는 결과를 보지 않는 게 안전합니다.
3. 다중 비교
한 번에 여러 지표(전환율·CTR·매출·체류시간)를 비교하면 그중 하나는 우연히 유의미하게 보일 확률이 올라가, 5% 기준이 30%까지 올라갈 수 있습니다.
테스트 시작 전에 "1차 평가 지표 1개"를 정하고, 나머지는 참고용으로만 보는 게 정석입니다.
4. 외부 요인
연휴·블프·뉴스 이슈가 테스트 기간에 끼면 두 그룹의 차이가 사실은 외부 요인이 만든 것일 수 있으므로 기간 선택이 중요합니다.
시즌이 강한 산업은 같은 요일·같은 주차 비교(2주 vs 작년 같은 2주)가 더 정확한 경우도 있습니다.
5. 통계적 vs 실무적 유의성
"95% 유의미"는 통계적으로 차이가 있다는 뜻이지 "비즈니스에 의미 있는 차이"는 아니며, 0.5%p 개선이 통계적으로 유의해도 비용을 들여 변경할 가치는 없을 수 있습니다.
항상 "이 차이가 매출 단위로 얼마인가"를 환산해 의사결정에 사용해야 합니다.
A/B 테스트는 "유의미한가"보다 "어떤 의미인가"를 묻는 도구이고, 통계 기초만 알면 함정 대부분이 사라집니다.
