📹영상: [힙데비] 허니토크 - A/B Test by. 핵클 (2021.12.02) - YouTube

배경

• 왜 A/B test를 해야할까?
  • Agile 개발을 하는 이유: 빠른 성장 속도
    • 빠르게 변화하는 환경에서 고객들의 요구 사항을 받아 반영하기 위해
  • 우리의 목적?
    • 고객들이 필요한 것을 제공하고, 불편한 것은 적용하지 않음

📌 A/B test는 빠른 성장을 위해 고객들이 원하는 서비스를 제공하기 위한 테스트 방법

📌온라인에서 진행하는 통제 실험

1. 실험은 무엇인가요?

• 우리가 배웠던 실험을 되돌아보면?

  • 강낭콩 예시

    • 강낭콩을 더 잘 키우기 위해(output) 강낭콩이 원하는 요소(input)를 어떻게 찾을 수 있을까?

    • 햇빛이 중요하지 않을까?

      → 변수(햇빛)의 영향도를 파악하는 것 = 실험

• 가설

  • 빛의 양이 많으면 강낭콩이 더욱 잘 성잘할 것이다.
    • 창가에 둔 강낭콩 vs 그늘에 둔 강낭콩
  • 빛의 양을 제외한 조건은 동일하다.
    • 빛의 양: 영향도를 확인하고 싶은 변수
    • 나머지 조건: 영향도를 위해 통제되는 변수

2. 왜 통제실험이 필요한가요?

• 배민의 홈 화면 UX 변화 (예시)

  • 확인해야 할 것: UX 변화
  • 하지만? 외부요인이 너~무 많아서 원하는 영향도 분석이 어렵다.
    • ex) 코로나, 신규 입점 스토어, 쿠팡이츠 출범 등등등
  • 외부 요인을 고려하지 않으면, 제대로 판단하지 못할 수 있다.
    • ex) 버튼 변경 전 vs 후 그래프
      • 버튼 변경 후 지표가 개선이 되었다는 가정
      • 하지만 마케팅 때문에 올라갔다면?
        • 마케팅 효과는 높지만, 오히려 버튼 변경 효과는 떨어짐

• 그래서! '외부 요인'을 통제하기로 함

  • UX 변경 → 구매전환율 증가 (우리가 확인하고 싶은 인과관계)
    • UX 변경을 제외한 나머지 조건 동일 (외부요인)

• 정확한 인과관계 확인이 필요한 이유

  • 유저를 불편하게 하는 업데이트는 비즈니스 성과 하락으로 이어진다.

  • 정확한 인과관계를 확인하고, 나쁜 영향을 준다면 보완하여 출신한다.

    (결국 A/B test는 학습lesson이 핵심)