[Article Study] A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석

https://yozm.wishket.com/magazine/detail/1656/

A/B 테스트 제대로 이해하기: ③ A/B 테스트 계산기의 세팅과 해석 | 요즘IT

 

• 요약 : 과학연구가 아닌 ‘비즈니스’ 실험이라는 가설 아래 A/B테스트의 설계, 수행, 해석
• 계산-구글 옵티마이저 같은 A/B테스트 툴에서 전환율 및 표본 크기에 따른 유의미한 결과를 계산해 최종 판단에 도움 준다.
• AB Testquide- A/B 테스트 결과를 제공하는 계산기, 간단한 숫자만 입력해도 유의미한 결과를 낼 수 있음.
• 기초 통계 지식으로 계산기 세팅 및 해석하기

1. Test Data : 각 그룹의 표본 크기와 그룹별 최종 전환 숫자.
2. Setting-Hypthesis : 단측, 양측 검정 결과보기 위한 세팅. (한쪽이 무조건 우세 or 어느 쪽 우세할 지 모르니 열린 결말)
3. Settings-Confidence : 신뢰수준 95% or 99%

보통은 양측 검정이 좀 더 ‘보수적, 안전적 접근

만약 어느 한쪽이 무조건 나올 거란 기대없는 상황에서 단측검정하면, ‘우연’으로 계산되어 버림, 반면 ‘양측검정’이었다면, 차이가 있긴 있으므로 우연이 아니라 결과로 인정가능.

결과 해석은 P-value를 통해 95% 신뢰수준일 경우 유의수준이 0.05%보다 작은 경우 대립가설이 유의미하다고 판별.

A/B 결과에서 정말 차이가 있는건지, 없다면 표본이 부족해서 알 수 없는 건지 등 을 마지막으로 검토해볼 필요 있음.

• 주요 포인트 : 구글 옵티마이저 나 AB Testguide와 같이 A/B 테스트 계산을 해주는 사이트를 활용할 수 있고,
• 어느 한쪽이 무조건 나올 거란 기대나 확신이 없는 실험에선 단측검정보단 양측검정으로 한다면, 차이가 있는 것만으로도 우연이 아닌 유의미한 결과로 인정될 수 있다는 것
• 결과 해석은 P-value를 통해 95% 신뢰수준일 경우 유의수준이 0.05%보다 작은 경우 대립가설이 유의미하다고 판별.
• 마지막으로 A/B테스트 결과에서 정말 차이가 없는 건지, 없다면 표본이 부족해서 알 수 없는 건지 등을 마지막으로 검토해볼 필요가 있음.

 

https://abtestguide.com/calc/

A/B-Test Calculator - Power & Significance - ABTestGuide.com

 

https://www.abtestcalculator.com/

A/B Test Calculator