[Article Insights] A/B 테스트에 적정한 표본의 크기와 주의 사항

#1 오늘의 아티클

▼ 11화 A/B 테스트에 적정한 표본의 크기와 주의 사항 (brunch.co.kr)

11화 A/B 테스트에 적정한 표본의 크기와 주의 사항

 

 

#2 아티클 정보 요약

A/B 테스트에 적정한 표본의 크기와 주의 사항

• 목차

1. 그럼 대체 표본, 실험의 트래픽은 얼마나 모아야 하는건가
2. 표본, 트래픽과 관련된 실험 실행 시 주의할 점과 노하우
3. ※ 동일한 신뢰 수준에 따라서도, 표본이 크면 클수록 두 그룹의 결과의 차이가 작아도 유의미하다고 인정해줄 가능성이 생기고, 표본이 작더라도 두 그룹의 결과가 충분히 크다면 유의미하다고 인정해줄 가능성이 있기 때문에 → A/B테스트를 설계하고 실행하는 담당자로서, 우리는 ‘두 방안의 결과가 몇% 정도 차이가 날 것이라고 기대하는가?’와 바꾸어 볼 수 있다.

표본의 크기와 실험의 유의미함 사이의 상관관꼐를 고려했을 때, A/B 테스트의 수행 과정에서 주의할 점

1. 표본이 많으면 많을수록 A안과 B안의 결과 차이가 작더라도 실험 결과가 통계적으로는 유의미할 수 있다.
2. 표본이 작더라도 A안과 B안의 결과 차이가 크다면 마찬가지로 통계적으로 유의미할 수 있다는 사실

1. 내가 미는 방안이 이길 때까지 기다리기? (무작정 트래픽 더 모아보기)

• 실험을 진행하는 동안 기다리는 것도 팀의 리소스가 드는 일
• 이번 실험을 하느라 다른 실험이 대기 중이라면 리소스, 트래픽의 낭비
• 실험 기간 동안 방문한 유저 중 절반에게는 상대적으로 안 좋은 방안이 계속 노출되는 셈

2. 내가 미는 방안이 지기 전에 그만두기?

• 조직이 설계한 B안이 질 것 같이 보인다면 or 이기는 것처럼 보인다면) 실험을 조기에 종료해버리는 것도 우리가 저지를 수 있는 실수, 또는 의도적인 오류

3. A안과 B안을 다른 날짜에 시작시키기?

• A/B테스트의 특징 중 하나는 바로 ‘동시간대에’ 진행한다는 점 → 다른 날짜를 전후 비교하는 경우, 시점 차이가 생긴 동안 외부 요인이 있었는지 없었는지 알 수가 없어 A/B테스트로서의 장범을 잃어버리게 되는 셈

결론

• 지금 당장의 단순한 비교가 아니라, 고객에게 정말로 확실하게, 유의미하게, 더 나은 방안을 제공하고 이를 통해 서비스(의 지표)를 개선시키고 싶은 담당자라면, A/B테스트 위에 숨은 우리의 진짜 질문과 이를 구현하고 제대로 이해하기 위한 통계 지식, 그리고 이를 바탕으로 한 몇 가지 주의 사항은 필 수 이해 사항이라고 생각한다.

 

#3 인사이트

알게된 점

• 표본이 많으면 많을수록 A안과 B안의 결과 차이가 작더라도 실험 결과가 통계적으로는 유의미할 수 있다. / 표본이 작더라도 A안과 B안의 결과 차이가 크다면 마찬가지로 통계적으로 유의미할 수 있다는 사실
• 유의미한 트래픽을 위해 무작정 모을 경우, 조직 내에서 리소스와 실험 기간 동안 방문한 유저 중 절반에게는 상대적으로 안 좋은 방안이 계속 노출되어 부정적인 영향이 끼친다는 것
• A/B 테스트에도 조직의 많은 리소스가 들어가기 때문에, 테스트 결과를 위해 기다리는 모든 과정 또한 리소스가 들어간다는 점.

좋았던 점

• 실제 단가와 비즈니스적으로 접근해서 예시를 들어주었기 때문에 Traffic에 대한 or Sample Size에 대해 이해하기 수월했다.
• {결국 우리의 원래 목표인 ‘고객에게 더 좋은 방안을 제공하기’는 뒷전이 되고, 그 과정에서 비즈니스의 리소스를 효율적으로 이용하는 것 역시 놓치게 된다.}라는 문구
• 여러가지 오류와 문제점들을 언급을 하여 A/B테스트의 본질을 알게해준다는 점

인사이트

• A/B테스트를 통하여 단순한 비교가 아니라 다각도로 보고 해석해야하는 능력을 키워야겠다.
• UX디자이너로서의 본질은 ‘고객에게 더 좋은 방안을 제공하기’라는 것을 다시 한번 깨닫게 되었다.
• 조직 내에서 한정된 자원을 통하여 실무를 하기 때문에 한 가지 오류로 인하여 비효율적인 선택을 하지 않도록 수용성과 넓은 혜안이 필요할 것 같다는 생각이 들었다.