A/B Test란?

• 대조군(Control Group)과 대조군(Experimental Group)으로 나누어서 테스트

  → 특정 UI나 알고리즘의 효과를 비교하는 방법론

A/B Text에서 사용자를 분리하는 방법은?

(1) 노출 빈도 분산 방식

(2) 사용자 분산 방식

(3) 시간대 분산 방식

A/B Test 사용자 분리 방법

노출 분산 방식

• 특정 비율(50:50, 90:10)에 따라 A안과 B안을 다르게 노출 시키는 방식

• 특정 Heavy User가 많은 Action을 보여주더라도, 노출 빈도에 따라 양쪽에 모두 포함이 될 수 있기 때문에 상대적으로 통계적 유의성은 높음.

• 동일한 사용자여도, 매번 다른 UI/UX가 나올 수 있음 → 결과 값에 Bias를 만들 수 있음

  ⇒ UI/UX Test보다는 알고리즘 테스트에 활용

사용자 분산 방식

• 특정 사용자 ID 값에 따라 사용자 그룹을 나눈 후, A안과 B안을 다르게 노출 시키는 방식

• UI/UX가 사용자 그룹별로 고정되어 있어 Bias가 적음

• 특정 Heavy User의 Outlier들에 의해 전체 값이 왜곡될 가능성이 있음

  → 결과 값 검증 절차를 세심하게 파악해야 함

시분할 방식

• 시스템 설계 상 노출이나 사용자 분산이 아예 불가능한 시스템에서 사용하는 방식