[Article Study] A/B 테스트 제대로 이해하기: ② A/B 테스트를 위한 기초 통계 이해하기

https://yozm.wishket.com/magazine/detail/1644/

A/B 테스트 제대로 이해하기: ②A/B 테스트를 위한 기초 통계 이해하기 | 요즘IT

 

• 요약 :

1.모집단과 표본

: 정해진 실험기간 동안 만나는 볼 수 있는 ‘일부’에 대해서만 알 수 있다. 즉, 전체에 대해서는 알 수 없다.

2.’일부’를 통해서 ‘전체’에 대해 추론

: ‘일부’일지라도 실험설계에 충분하다면 전체에 대한 추론가능. 이를 전제로 A/B 테스트 진행

4.실험결과도 결국 ‘추측’이다.

: A/B 테스트의 결과 역시 ‘추측’한 것일 뿐. 다만, 이 추측이 유효한 것인지 알아가는 과정에서 A/B 테스트를 활용한 것.

5.그래서 정말 우연이 아닌가?

: P-value를 통해 알 수 있다.

신뢰수준 95% 실험에서 결과로 나온 P-value가 4%라면, 앞서 실험의 유의미함을 판단하는 기준인 5% 안에 들어가므로 대립가설은 우연이 아니라 실제로 유의미한 차이가 있다는 것을 알 수 있다.

A/B 테스트에서 기초 통계가 중요한 이유

• 주요 포인트 : 전체에서 일부를 추출하여 가설을 통해 설계한 실험은 ‘우연’의 발생가능성이 있으므로 기초 통계를 활용해 실험결과의 유효가치를 증명하는 노력이 필요하다. 빅데이터를 통해 전수조사가 가능해지는 상황에서도 사용하게 될까 생각해보게되었음.

• 핵심 개념 :

-귀무가설: 평소의 상태에 대한 가설 (평소에는 우리가 무언가를 하지 않으면 아무런 일이 일어나지 않으므로)

-대립가설: 표본을 나누어 특정 조치를 한 뒤 표본들 간 결과가 차이가 생길 것으로 가정한다. 즉, 평소와 다른 반대되는 상황이 발생할 것으로 가정하는 것.

-단측검정: 정말 더 나은 결과인지 확인하는 실험

ex) A가 B보다 무조건 높을/낮을 것이다

-양측검정: 차이가 있으나 어느 쪽이 더 나을지는 미리 가정할 수 없는 경우 확인하는 실험

ex) A와 B 중 뭐가 더 높을지/ 낮을 지 모르겠지만 일단 차이는 있을 것이다.

• 용어 정리 :

-모집단: 현재, 그리고 앞으로도 우리 서비스를 이용할 동일한 유형의 ‘모든’ 고객

-표본: 이번 실험 기간 동안에만 만날 수 있는 ‘일부’ 고객

-점추정: 정확히 한 점을 콕 짚어 추측하는 것

-구간추정: 특정 범위/구간을 기준으로 추측하는 것.

-표준 오차: 동일하게 설계한 실험을 동일한 기준으로 선발한 서로 다른 표본 집단을 대상으로 진행했을 때 결과가 다를 수 있음. 즉, 각 표본 집단마다 결괏값이 다른 차이

-신뢰 구간: 실험 결과가 실제로 포함될 것을 예측하는 범위

-A/B 테스트: 두 가지 이상의 버전을 비교하여 더 나은 결과를 선택하며 진행하여 최종결과에 도달하는 실험.

 

• 관련 사례 : 넷플릭스 랜딩 페이지

여러 카피들 실험하여 클릭률이 높은 카피가 살아남음

https://elice.io/ko/newsroom/abtest

• 가상 시나리오 : 해외시장진출전략 세울 시, 해당 사례에 대한 최적의 전략 몇 가지를 뽑고 A/B 테스트를 통해 해당 기업의 목표에 맞는 최적의 전략 채택하여 진행.