카피를 변수로 한 A/B테스트 실패 사례 공유

SaaS 마케터로 근무하며 다양한 퍼널에서 A/B테스트를 하고 있어요. 실패한 사례와 인사이트를 함께 공유할게요. 저의 시행착오가 이 글의  독자에게 도움이 되었으면 해요. 

 

실무에서 A/B테스트를 하고 있나요? 저는 최종 전환을 유도하기 위해, 다양한 퍼널에서 다른 컨셉의 A/B테스트를 진행해요. 성공할 때도 있고 실패할 때도 있죠. 실패에서 배운 게 있고, 그걸 실무에 적용할 수 있다면, 실패로 얻는 게 성공으로 얻은 성과 향상 못지않게 의미 있다고 생각해요. 그래서 본 글에서는 카피를 변수로 한 A/B테스트의 실패 사례와 제가 얻은 인사이트를 공유할게요.

본문으로 들어가기 전에 A/B테스트를 모르는 독자를 위해 간단하게 설명할게요. A/B테스트는 기존의 A안과 새로 적용하고자 하는 B안을 통계적으로 비교하여 어떤 안의 성과가 더 나은지 비교하는 방법이에요. A/B테스트는 UI, 광고 소재, 카피, 타겟 등 다양한 방면에서 활용해죠.

 

1. 무료체험 유도 카피 

2. 서브 카피

---

1. 무료체험 유도 카피

제가 담당하는 서비스는 유료 전환 전에 한 달간의 무료체험을 제공해요. 유료로 전환시키기 위해, 무료체험 가입을 유도해야 하죠. 무료체험 가입을 유도하는 카피를 변수로 A/B테스트를 진행했어요. 서비스의 한 달 구독료는 30만 원이에요. 30만 원이라는 무료체험의 금전적 이득을 강조하면, "무료체험 바로 시작"버튼 클릭률이 증가할 거라 예상했어요. 그래서 무료체험 가입을 유도하는 카피를 아래와 같이 작성하여 A/B테스트를 했어요.

왼쪽: 원본페이지(A안)  //  오른쪽: 대안페이지(B안)

- 가설 : 무료체험의 금전적 가치를 어필하여 무료체험 버튼 클릭률을 증가시킬 수 있다.

- 평가 지표 : "무료체험 바로 시작" 버튼 클릭률

- 변수 : 무료체험 유도 카피

- 결과 : 원본에서 6.9%p 높은 클릭률 발생

	원본 페이지 A안	대안 페이지 B안	증감(B안-A안)
클릭률	12.85%	5.98%	-6.9%p (감소율 -53%)

실험 결과, 원본페이지(A안)의 클릭률이 6.9%p 더 높게 나왔어요. 실험 초기부터 성과 차이가 너무 크게 나서, 실험을 빠르게 종료했죠. 가설이 거짓임을 증명하며 얻은 인사이트는 다음이에요.

"30만 원이라는 금액은 B2B 고객에게 매력적인 금액이 아니다. 게다가 이 금전적 가치는 개인적인 이득이 아닌 회사 차원의 이득이기에 실무자에게 의미가 없다."

추가로 본 실험이 실패한 이유에는 위의 인사이트 이외에도 다른 이유가 있다는 생각도 들어요. 원본페이지(A안)는 1개의 메시지를 전달하지만, 대안페이지(B안)는 2개를 전달하죠. 원본페이지(A안)는 대안페이지(B안)는 "30일 무료"와 "30만 원"을 이야기해요. 그래서 어쩌면 대안페이지(B안)에서 2가지를 동시에 이야기했기 때문에, 메시지의 주목도를 분산시켰고, 클릭률 감소로 이어졌다는 생각도 해요.

"너무 많은 메시지를 한 번에 전달하면, 주요 메시지의 주목도가 떨어져 어떠한 메시지도 전달하지 못한다."

 

2. 페이지 서브 카피

목적 중심의 카피와 기능 중심의 카피를 비교했어요. 기존에는 서브 카피로 "동영상, 라이브 스트리밍은 (서비스명)으로 간편하게"라는 목적 중심의 카피를 쓰고 있었어요. "동영상이나 라이브 이벤트를 스트리밍 하고 싶으면, 우리 서비스를 쓰면 됩니다~"라는 말을 하고 싶었던 거죠. 하지만 특정 기능을 카피에 포함하여, 잠재고객에게 우리 서비스가 구체적으로 어떤 기능을 제공하는지 인지시켜 전환율을 높일 수 있다고 생각했어요. 그래서 카피에 "인코딩부터 배포까지"를 포함했어요.

왼쪽: 원본페이지(A안)  //  오른쪽: 대안페이지(B안)

- 가설 : 구체적인 기능을 언급하여 잠재고객에게 서비스의 기능을 직관적으로 인지시키고, 전환율을 높일 수 있다.

- 평가 지표 : "무료체험 바로 시작" 버튼 클릭률(주), 페이지의 50%까지 스크롤 다운(부)

- 변수 : 페이지 서브카피

- 결과 : 원본"에서 6.9%p 높은 클릭률 발생

	원본 페이지 A안	대안 페이지 B안	증감(B안-A안)
버튼 클릭률(주)	17.41%	15.24%	-2.17%p (감소율 -12%)
페이지의 50%까지 스크롤 다운(부)	31.06%	29.21%	-1.85%p (감소율 -6%)

실험 결과, 목적을 이야기하는 원본페이지(A안)의 클릭률이 2.17%p 더 높게 나왔어요. 페이지의 50%까지 스크롤 다운도 원본페이지(A안)에서 더 높게 나왔어요. 카피가 페이지 상단에 위치하는 만큼 마이크로하게 기능을 설명하기보다, 매크로하게 서비스로 유저가 무엇을 할 수 있는지 목적을 이야기하는 게 더 효과적이라고 해석했어요. 그리고 목적에 부합하는 니즈를 가진에 잠재 고객으로 하여금 스크롤을 내리게 하고, 고객의 목적 달성을 위해 제공하는 세세한 기능은 페이지의 아래 부분에서 이야기하는 게 맞는 거 같아요. 그래서 제가 얻은 인사이트를 정리하면 다음과 같죠.

"상단에 위치한 카피는 서비스의 목적 같은 큰 범주의 이야기를 하고, 세세한 내용은 페이지의 아래 부분에서 이야기하는 게 전환에 더 효과적이다."