12_A/B 테스트란 무엇인가?

 

 

 

 

마케팅과 웹 분석에서 새로운 웹 사이트가 기존 사이트에 비해 좋은지 정량적으로 평가하는 방법이다. 해당 웹 사이트 방문자를 임의로 두 집단으로 나눈 후, 한 집단에게는 수정이나 업데이트 전 기존 사이트를, 다른 집단에게는 새로운 웹 사이트를 보여준 후 어떤 집단이 더 높은 평가를 내리는지를 측정한다. 이름의 A, B는 A 버전과 B 버전이라는 느낌으로 생각하면 된다.

 

버전이 붙는 이유는 새로운 사이트와 기존 사이트가 거의 동일하기 때문이다. A/B 테스트에서는 사용자의 행동에 영향을 미칠 수 있는 한 가지 변형을 제외한 모든 부분을 동일하게 유지하는 것이 원칙이다. 자세한 A/B 테스트 진행 과정은 다음과 같다.

 

 

 

1. 조사 수행
   • 구글 애널리틱스나 설문조사 등 분석 도구를 사용하여 웹 사이트를 분석, 방문자의 행동에 대한 데이터를 수집하고 측정항목을 체크한다. 또 방문자가 웹사이트에서 이탈하는 원인, 더 클릭하지 않는 원인 등을 파악한다.
2. 가설 세우기
   • 1의 결과를 바탕으로 방문자→사용자의 전환을 높이기 위한 가설을 세운다.
3. 변형
   • 2의 가설을 기반으로 웹 사이트에 변화를 주고, 기존 버전과 새 버전을 비교하여 테스트한다.
4. 테스트
   • 통계적으로 유의미한 결과를 얻기 위해 일정 기간 동안 대기한다.
5. 결과 분석 및 결론 도출
   • 테스트 결과를 분석하고 차이가 유의미하다면 실적이 더 좋았던 버전을 배포한다. 별다른 차이가 없었다면 다시 데이터를 분석하고 새로운 가설을 세워 후속 테스트를 진행해야 한다.

 

여기서 평가, 실적은 웹 사이트의 성과와 연결되는데, 성과의 기준은 새로운 사이트가 기획 단계에서 어떤 목표를 가지고 있었느냐에 따라 달라진다. 이 기준으로는 회원가입율, 재방문율, 구매전환율, 사용자 응답률, 클릭률 전환 등의 지표가 있다.

 

버킷 테스트 또는 분할-실행 테스트라고도 한다.