안녕하세요, 퍼포먼스 마케터 하니쑤입니다. 이번 글에서는 데이터 기반 마케팅의 기본 덕목인 AB테스트에 관해 다루어보려고 합니다.
AB테스트 설계 방법부터 활용하는 방법, 사용 툴 등에 관해 알려드리겠습니다!
AB테스트
- AB테스트 뜻
- AB테스트 설계 방법 및 운영
- 기대효과
AB테스트 뜻
✔️ AB테스트란 무엇일까요?
AB테스트란?
: Split Test를 일컫는 말로, 온라인 환경에서 두 가지 버전을 동시에 사용자들에게 노출시켜, 어떤 버전이 목표 달성에 유리한지를 비교하는 실험 방법입니다.
예를 들어, 할인 프로모션의 성공적인 목표 매출 달성을 위해 A 카피 소재와 B 카피 소재를 동시에 광고 운영하고, 매출 효율이 우수한 카피가 성공적인 소재였다고 확정 짓는 것이죠.
AB테스트 설계 방법 및 운영
목표 달성에 중요한 역할을 하는 AB테스트, 어떻게 진행해야 유의미한 성과를 낼 수 있을까요? AB테스트를 데이터적으로 어떻게 진행하면 될지 아래에서 안내해드리겠습니다.
AB테스트는 크게 아래와 같은 흐름으로 진행됩니다.
데이터 분석 → 문제 정의 → 개선 방안 도출 → 가설 설정 → AB테스트 → 가설 검증
1) 데이터 분석 및 문제 정의
모든 온라인 영역에는 개선해야 할 문제가 있습니다.
예를 들어, “우리 브랜드는 고객님이 장바구니는 많이 담으시는데, 장바구니를 담고 구매를 하지 않아.” 라는 고민이 있을 수 있죠.
그럴 때 상세 페이지 → 장바구니 전환율을 확인하고, 장바구니 → 결제 시작 전환율을 확인해보면 데이터 적으로 문제점이 보일 겁니다.
결제 시작 전환율을 어떻게 개선해야 할지 문제를 정의해보는 것이죠.
이로써 AB테스트는 데이터를 다양한 관점에서 분석해보고, 목표 KPI 달성을 위해 어떤 문제를 해결해야 할지 정의하는 것에서부터 시작합니다.
2) 개선 방안 도출
그렇다면 결제 시작 전환율을 어떻게 개선해야 할까요?
문제점을 해결하기 위해서는 여러 방면의 아이디어가 필요합니다.
그 중 문제점을 해결할 수 있는 개선방안 한 가지를 정해 AB테스트를 진행하게 됩니다.
AB테스트를 진행할 요소를 선정하기 전 유의해야 할 2가지가 있는데요.
1️⃣ 목표 KPI 달성에 연관이 있는가?
2️⃣ 성과가 개선될 만큼 긍정적인 영향을 줄 것 같은가?
바로 목표 KPI 달성에 가까워져야 하고, 성과를 개선시킬 만큼 긍정적인 영향을 주는 요소여야 합니다.
그렇게 개선방안에서 AB테스트 요인을 선정하게 되는 것이죠.
3) 가설 설정
✅ 실험군: 가설을 검증하기 위해 변수가 적용된 집단
✅ 대조군: 실험군과 대조하기 위해 변수가 적용되지 않은 집단
개선 방안을 설정했다면, AB테스트를 진행 할 요인을 변수로 설정하게 됩니다.
쉽게 말해, 변수의 유무에 따라 실험군과 대조군으로 나뉘고, 실험군 vs 대조군의 형태로 AB테스트를 진행하게 됩니다.
가설은 아래와 같이 작성할 수 있는데요, 상황에 따라 양식이 변경될 수 있습니다.
[가설]
“(타겟/대상)에게 (실험군)을 할 경우, (논리적 근거)이기 때문에 (결과)할 것이다.”
예를 들어, ‘50% 할인’ 이라는 카피와 ‘오늘만 50% 할인’ 이라는 카피가 있다고 가정해보겠습니다.
[예시 1]
“구매 의도가 있는 유저에게 ‘오늘만 50% 할인!’ 카피가 포함된 팝업이 뜨면,
‘즉각성의 힘’의 심리 요인이 작용해 구매까지 연계될 것이다.”
[예시 2]
“랜딩 페이지를 방문한 모든 사용자에게 (구매하기) 버튼 컬러를 배경 컬러와 대비되는 빨간색으로 변경하면,
사용자가 다음 행동을 더욱 명확하게 인지할 수 있기 때문에 구매 전환율이 5%p 상승될 것이다.”
위의 예시와 같은 형식으로 가설을 작성해볼 수 있습니다.
가설 설정의 핵심은 [타겟 → 실험 요소 → 논리적 근거 → 결과]로 작성 되어야 한다는 것입니다.
당연히 결과는 목표 KPI에 가까워지는 긍정적인 결과여야 마땅하겠죠?
4) AB테스트 진행
가설을 설정했다면 이제 본격적으로 AB테스트를 진행해 볼 차례입니다.
AB테스트에서 가장 중요한 것은 통계적 유의미성을 확보하는 것입니다.
데이터 적으로 유의미한 성과를 비교하려면 AB테스트의 치밀한 계산이 필요합니다.
AB테스트를 위해 정확한 샘플 사이즈를 측정하고, MDE와 p value에 대해 중점적으로 평가할 수 있어야 합니다.
(1) AB테스트 성과 지표 설정
AB테스트를 진행하려면 실험군과 대조군을 비교하여 우위에 있는 집단을 정해야 하므로, 목표 수치가 필요합니다.
이를 KPI라고도 부르는데요. 성과 비교를 어떤 지표를 중심으로 볼 것인지 KPI를 미리 설정해야 합니다.
(2) MDE 변화 기준 설정
MDE란, A안과 B안의 차이를 유의미하게 감지하기 위해 필요한 최소한의 변화 폭을 일컫는데요.
이는 테스트 샘플 사이즈와도 직접적인 연관성이 높습니다.
MDE를 너무 작게 설정할 경우, 작은 변화라도 감지하겠다는 뜻이니 샘플 사이즈가 커지게 되고요.
MDE를 적정 수치로 설정할 경우 샘플 사이즈는 적당한 수치로도 진행이 가능합니다.
보통은 20~50% 내외에서 진행하면 좋고, 목표 KPI 및 테스트 진행 가능 모수에 따라 MDE는 유동적으로 변경할 수 있으니 참고해주세요.
(3) 통계적 신뢰 수준
통계적 신뢰 수준이란,
귀무가설(A안과 B안에 차이가 없다)이 참인데도 불구하고, 잘못 기각할 확률
즉, 실험 결과가 우연일 확률을 말함
통계적 신뢰 수준이란, 이 데이터를 진정으로 신뢰할 수 있냐를 검증하는 지표인데요.
A안과 B안의 차이가 있다고 결론을 내었지만, 그것이 우연에 해당하는 경우였다면 정확한 테스트라고 볼 수 없겠죠?
그래서 테스트 결과가 우연일 확률이 없고 신뢰도가 높은 데이터를 검증하는 지표가 바로 p-value 값입니다.
통상적으로 95% 지표를 활용하며, p-value 값이 0.05 이하여야 유의미한 데이터라고 볼 수 있습니다.
참고로 검정력은 보통 80%로 설정합니다.
5) 가설 검증
AB테스트가 샘플 사이즈를 충족하는 규모로 진행이 완료되었다면, 종료하기 전에 유의미한 데이터인지 검증을 해보는 것이 좋습니다.
위 AB테스트 가이드 링크에서, 실험군과 대조군의 데이터를 입력하고 통계적으로 유의미한 데이터인지 확인해보세요.
AB테스트 성과 비교는 효율 비교만 가능합니다!
예를 들어 CTR = 클릭수 / 노출수 라던지, 구매 전환율 = 구매 수 / 클릭수 와 같은 % 효율 데이터만 검증이 가능하니 참고해주세요.
기대효과
이렇게 문제를 정의하고 가설을 설정해 AB테스트로 유의미한 개선 방안을 찾아나가는 방법에 대해 알아보았습니다.
문제 정의 → 가설 설정 → AB테스트 진행 → 가설 검증, 이와 같은 사이클을 주기적으로 운영하게 된다면 마케팅 적으로 큰 성장을 이룰 수 있을 거에요.
“지속적인 성장과 최적화” 작업을 통해 근본적인 성장을 이루어내시길 바랍니다.
마케팅 관련 글을 더 읽고 싶다면 위의 버튼을 클릭해보세요!