A/B 테스트 표본 크기 계산기 (두 전환율)

A/B 테스트 표본 크기 계산기 (두 전환율) 사용 안내

계산 과정

기본 입력값으로 계산하면 A·B 각 그룹 필요 표본 근사값은(는) 14,734 명입니다. 항목별 내역은 위 표에서 확인할 수 있습니다.

결과가 실제와 달라지는 경우

• 기준 10%에서 최소 차이 1%p는 목표 전환율 11%를 뜻합니다. 상대 개선율 1%를 찾고 싶다면 차이는 0.1%p이므로, 1을 입력하면 원하는 것보다 훨씬 큰 효과만 검출하는 설계가 됩니다.
• 기본 Z값 1.96은 양측 95% 신뢰수준, 0.84는 약 80% 검정력에 대응합니다. 방향을 미리 정한 단측검정, 3개 이상 변형, 반복 중간확인에는 다른 임계값이나 다중검정 보정이 필요합니다.
• 계정 하나가 여러 기기에서 관측되거나 같은 사용자가 A와 B에 교차 노출되면 독립 표본 가정이 깨집니다. 무작위 배정 단위를 사용자로 고정하고 재설치·로그아웃 시 버킷이 바뀌지 않게 해야 합니다.
• 전환이 구매처럼 7일 뒤 확정되는데 실험을 3일 만에 판정하면 표본 수를 채워도 미성숙 데이터가 섞입니다. 모든 참여자가 동일한 전환 관찰창을 가질 때까지 기다려야 합니다.
• 계절성, 요일, 마케팅 캠페인과 신규·기존 사용자 구성 변화는 순수한 처리 효과처럼 보일 수 있습니다. 필요한 인원 14,000명을 하루에 모았더라도 최소 한 개 이상의 온전한 업무 주기를 포함하는 운영이 흔히 필요합니다.

알아두면 좋은 기준

• 이 계산은 두 비율의 차이에 대한 독립·동일 크기 집단의 정규근사식입니다. 결과가 14,744.2처럼 소수라면 각 그룹을 최소 14,745명으로 올림해야 하며 중도 이탈 예상분은 그 위에 추가합니다.
• 최소 검출 차이를 절반으로 줄이면 필요한 표본은 대체로 약 4배가 됩니다. 분모에 차이의 제곱이 들어가므로 1%p 실험을 0.5%p로 정밀하게 만들 때 트래픽 부담이 급격히 커집니다.
• 표본 수는 실험 기간이 아닙니다. 그룹당 15,000명이 필요하고 적격 사용자가 하루 총 2,000명이며 50:50 배정이면 그룹마다 하루 1,000명씩 들어와 단순 모집에 약 15일이 걸립니다.
• 통계적 유의성과 사업적 중요성은 다릅니다. 이용자가 수백만 명이면 0.05%p도 유의할 수 있지만 개발·운영 비용보다 가치가 작은 변화라면 최소 검출 차이를 제품 의사결정 기준에서 정해야 합니다.

자주 묻는 질문

결과 인원은 방문자 수인가요, 전환 수인가요?

전환 기회를 가진 분석 대상 사용자 수입니다. 기준 전환율 10%에서 그룹당 15,000명이면 전환은 약 1,500건 예상이지만 필요한 표본 자체는 전환자만 세는 숫자가 아닙니다.

매일 유의확률을 보고 이기면 바로 종료해도 되나요?

고정 표본 설계에서 반복 확인 후 유리할 때 멈추면 거짓 양성률이 계획한 5%보다 높아집니다. 순차검정 절차와 중단 경계를 사전에 정하지 않았다면 목표 표본과 관찰창을 채운 뒤 한 번 판정하세요.

A와 B를 70:30으로 배정해도 이 숫자를 쓰나요?

아닙니다. 이 식은 50:50 동일 표본을 가정합니다. 70:30은 작은 B그룹의 정보가 부족해져 같은 검정력을 얻는 총 표본이 증가하므로 불균형 배정 전용 계산이나 통계 검토가 필요합니다.