고객 중심 프로덕트 개선에 ‘A/B 테스트’ 왜 필수일까? | 요즘IT (wishket.com)

선정 이유

이전 회사에서 팀장으로서 프로젝트를 관리하며 실무를 진행한 적이 있었다. 그 과정에서 여러 테스트를 수행하였으나 주로 기능 구현 및 QA에 관련된 테스트였고, 실제 사용자 입장을 고려한 테스트를 진행한 경험은 없었다. PM을 목표로 이런 저런 정보들을 접하며 ‘A/B 테스트’에 대해 알게 되었고, 이전에 진행한 프로젝트가 작은 프로젝트였지만 미리 알고 있었다면 조금 더 완성도 있고 만족도 높은 서비스를 제공할 수 있지 않았을까, 하는 생각이 들었다. 또한 이미 릴리즈 된 서비스더라도 기능을 추가하거나 개선하는 과정에서 구체적인 지표로 삼을 만한 것은 없을까, 하는 고민이 있어 이번 기회에 그 부분에 대해 조금 더 알고 싶어 이 아티클을 선정하게 되었다.


내용 정리

A/B 테스트란?

온라인 통제 실험이란?

![그림 1. A/B 테스트의 흐름 <출처: Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guideData Mining and Knowledge Discovery18(1), 140–181.>

](https://prod-files-secure.s3.us-west-2.amazonaws.com/73326502-8238-43d8-929b-42e4fcdcc061/5c723201-156d-41c5-837c-290d1d54e3be/Untitled.png)

그림 1. A/B 테스트의 흐름 <출처: Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guideData Mining and Knowledge Discovery18(1), 140–181.>

  1. 제품 사용 고객을 무작위(random)로 추출해 두 그룹에 배치
  2. 두 그룹은 각각 실험군(treatment group), 대조군(control group)으로 칭함
  3. 보통 결과의 믿음 정도를 보장해 주는 ‘검정력 분석’과 관련해 실험군과 대조군을 5:5로 설정
  4. 제품에 관한 도메인 지식, 고객 분석 결과, 실험 결과 등을 바탕으로 가설을 세우고 가설에 기반한 실험적 기능(feature)을 제품에 반영 → 실험군 : 새로운 시스템 / 대조군 : 기존 시스템
  5. 실험 기간 동안 각 군의 고객 행동, 거래 데이터 등을 수집