ES 검색엔진 만들기 (10) A/B 테스트

검색엔진을 만들고 검색엔진에 대한 효과검증을 A/B 테스트를 통해 검증하고자 한다.

A/B 테스트가 무엇인지 알아보도록 하자.

1. AB 테스트란?

A/B 테스트는 는 A와 B (또는 그 이상)의 변수를 갖는 실험이다. A/B 테스트는 보통 웹사이트의 디자인이나 이메일 마케팅 캠페인, 광고 및 콘텐츠 전략등에서 특정 자산의 여러 버전을 테스트 하여 가장 효과적인 변형을 찾는데 사용된다. (노가다??) 즉, AB 테스트의 목적은 더 가치 있는 변수 를 식별하여 최적의 시안을 선정하기 위함이다.

AB테스트는 1회 시행으로 마무리 되는것이 아닌, 지속해서 반복하는것이 중요하다. 예를 들어 웹 사이트 CTA를 추가할 경우, 팀이 원하는 최상의 결과를 얻을 CTA 설계를 찾을 때까지 AB 테스트를 수행하는것이 필요하다.

CTA (Call to Action)
마케팅이나 판매 촉진 시 타겟 사용자의 반응을 유도하기 위해 요청하는 행위, 타깃이 무엇을 해야할지, 어디를 클릭해야 할지 등을 아려주는 것으로, 관련 웹사이트 내 클릭을 유도하는 문구의 버튼을 통해 타깃의 행동을 유도한다. 

A/B 테스트를 시행할 때 주의할 점은 B가 한 고객 세그먼트에서 가장 효과 적이라는 결과를 얻었다 하더라도 다른 고객 세그먼트에서는 “A”가 더 효과적일수 있따는 것이다. 다시말해, AB테스트는 특정 고객 세그먼트에 최적화된 맞춤 버전을 찾기 위한 방법으로, AB 테스트를 통해 얻은 특정 결과가 모든 상황에 적용되는 정답은 아니다.

A/B 테스트의 정의 (오라클)
분할 테스트 또는 버킷 테스트라고도 하며, A/B 테스트는 두 가지 콘텐츠를 비교하여 방문자/뷰어가 더 높은 관심을 보이는 버전을 확인한다. 
주요 측정지표를 기반으로 가장 성공적인 버전을 측정하기 위해 변형(B) 버전과 비교하여 컨트롤 버전(A) 버전을 검증한다.

2. A/B 테스트가 필요한 이유

비즈니스에서 시간 및 비용 낭비를 최소화하고 올바른 방향으로 나아가기 위해, A/B 테스트는 팀이 제품을 현실적으로 파악하고 개선하기 위해 필요한 중요한 도구이다. 즉 A/B 테스트는 실제 생각을 보여줄수 있기 떄문에 이를 통해 제품 개발 및 개선의 올바른 방향을 알수 있다.

1. 사용자 환경을 개선한다.
   • 한번에 하나의 변경 사항을 테스트 하면 사용자의 행동에 영향을 준 것과 그렇지 않은 것을 확인할 수 있다.
   • 이를 바탕으로 최적의 변경 사항으로 경험을 업데이트 하면 전체적으로 사용자 환경이 개선된다.
2. 콘텐츠를 개선한다.
   • 카피테스트에서 사용자에게 보여줄 잠재적인 개선사항 목록이 필요한데, 이러한 목록을 만들어 개선을 고려하고, 평가하는 과정에서 비효율적인 언어를 찾아낸다.
3. 반송률이 감소한다.
4. 전환율이 증가한다.
   • A/B 테스트는 페이지 방문을 가입 및 구매로 전환할 수 있는 최상의 컨텐츠를 결정하는 가장 간단하고 효과적인 방법이다.
   • A/B 테스트를 통해 무엇이 효과가 있고 없는지를 파악하여 전환율을 향상 시킬수 있다.
5. 전환가치가 향산된다.
   • A/B 테스트를 통한 학습 내용이 한번 성공적으로 적용되면, 그 이후 다른 서비스에도 추가 적용이 가능하다.
6. 분석이 쉬워진다.
   • A/B 테스트는 성공여부 판별이 간단하다.
   • A/B 테스트에서 성공적인 변형 파악하고, 지표를 쉽게 확인 및 분석하고, 사용자에 대한 강력한 인사이트 바탕으로 의사결정을 내릴수 있다.
7. 위험을 줄인다.
   • A/B 테스트를 통해 비효율적인 것으로 판명된 요소를 배제하여 시간과 비용을 최소화 할 수 있다.
8. 구매 포기율이 감소한다.

3. A/B 테스트 프로세스

1. 가설 설정
   • A/B 테스트를 수행하기 앞서 귀무가설 과 대립가설 의 개념을 알아둔다.
   • 귀무 가설 은 대조 그룹(현재 원본) 과 실험 그룹(처리군) 사이에 차이가 없는 가설
   • 대립 가설 은 대조 그룹과 실험 그룹 사이에 차이가 존재하는 가설
   • ex) 소프트웨어 비용을 지불하는 사람 수를 늘릴 방법을 찾고 있는 소프트웨어 회사를 가정,사용자는 소프트웨어가 현재 설정된 방식으로 7일 체험판을 무료로 다운로드 하여 사용할수 있다. 이때, 회사는 홈페이지 레이아웃을 파란색 로고 대신 빨간색 로고로 강조하여 회사 소프트웨어에 7일 동안 사용할수 있도록 변경
   • 기본작업: 파란색 로고를 승인한다.
   • 대체작업: 빨간색 로고를 승인한다.
   • 귀무가설: 파란색 로고는 빨간색 로고보다 10%이상 라이선스 구매를 유발하지 않는다.
   • 대립가설: 빨간색 로고는 파란색 로고보다 라이선스 구매가 최소 10% 더 많다. - A/B 테스트를 수행할 때 주의할 점은 테스트하고자 하는 요소만 변경한 채 그 이외의 다른 모든 변수는 일정하게 유지한다. 이를 변인 통제라 한다.
2. 분할 및 평가 지표 결정
3. 대조 그룹과 실험그룹을 만든다.
   • 귀무가설과 대립가설을 결정한 후, 다음 단계는 대조 그룹과 실험 그룹 을 만드는 것입니다. 이 단계에서 표본 추출과 표본 크기라는 두 가지 중요한 개념을 고려한다.
   • 표본 추출 (샘플링)
   • 랜덤 샘플링은 가장 일반적인 샘플링 기법 중 하나이다.
   • 모집단의 각 표본이 선택될 확률은 동일하다.
   • 랜덤 표본 추출은 표본 추출 편향을 제거하기 떄문에 가설 검정에서 중요하다.
   • A/B 테스트의 결과가 표본 자체보다는 전체 모집단을 나타내기를 원하기 때문에 편향을 제거하는것이 중요하다. - 표본 크기
   • 너무 적은 수의 관측지를 표본 추출할 경우, 탐지 범위 내에서 편향이 발생한다. 이를 제거할 수 있으려면 A/B 테스트를 수행하기 전에 먼저 최소 표본 크기를 결정하는 것이 주요하다.
4. A/B 테스트의 집행 기간을 결정한다.
   • A/B 테스트를 시행하기 앞서, 테스트 집행 기간을 결정한다.
   • 예상 기존 전활율, 탐지 희망 최소 전환 개선율, 대조 군을 포함한 변형/조합의 수, 일평균 방문자 수 등의 요소 고려하여 A/B 테스트에서 실제 유의성을 얻는데 필요한 시간을 계산해 보면 도움이 된다.
5. 테스트를 수행한다.