SNS 광고 소재 비교 시험(A/B 테스트)에서는 한 번에 한 요소만 바꿔야 성과 차이의 원인을 알 수 있습니다. 판단 지표 하나와 판단 기간, 종료 조건은 집행을 시작하기 전에 기록합니다. 기간은 주 단위로 잡고, 종료 후 전환 집계 기간이 지난 날을 최종 판정일로 정합니다. 중간 수치가 좋거나 나쁘다고 시험을 일찍 끝내지 않습니다.
핵심 요약
- 바꾸는 요소는 하나만 두고, 나머지 조건은 두 소재에서 같게 맞춥니다.
- 판단 지표 하나를 고르고 기간은 주 단위로 잡습니다. 최종 판정은 전환 집계 기간이 지난 뒤에 합니다.
- 시험 순서는 성과 차이가 클 것으로 보는 요소부터 정합니다. 사실을 주장하는 시험 소재는 집행 전에 실증 자료를 준비합니다.
한 번에 몇 가지 요소를 바꿔야 결과를 읽을 수 있나요
비교 시험은 조건을 같게 두고 소재 두 개의 성과를 나란히 비교하는 방법입니다. 결론을 내려면 두 소재의 차이가 하나여야 합니다.
예를 들어 이미지와 제목을 함께 바꾼 소재 B가 클릭을 더 받았다고 가정합니다. 이 결과로는 이미지 덕분인지 제목 덕분인지 구분할 수 없습니다. 다음 소재에서 무엇을 남길지도 정할 수 없습니다.
바꾸지 않을 조건도 함께 고정합니다. 대상(타기팅), 예산, 집행 일정, 게재 위치, 연결 페이지가 두 소재에서 같아야 합니다. 소재 밖의 조건이 다르면 소재 차이가 아니라 조건 차이를 측정하게 됩니다.
여러 요소의 조합을 한꺼번에 비교하는 다변량 시험도 있습니다. 조합 수만큼 노출과 전환이 나뉘므로 예산이 작은 계정은 결론까지 오래 걸립니다. 중소 규모 계정은 한 요소씩 차례로 시험하는 편이 해석하기 쉽습니다.
어떤 요소부터 바꿔 시험하나요
시험 순서에 정답은 없습니다. 실무에서는 성과 차이가 클 것으로 예상되는 요소를 앞에 둡니다. 요소마다 차이가 먼저 드러나는 지표도 다릅니다.
| 바꿀 요소 | 바꾸는 예 | 먼저 볼 지표 |
|---|---|---|
| 제안 내용(혜택·조건·핵심 주장) | 무료 배송 강조와 할인 강조 | 클릭 이후 전환과 전환당 비용 |
| 첫 장면·대표 이미지 | 제품 단독 사진과 사용 장면 | 노출 대비 클릭, 동영상은 초반 시청 유지 |
| 제목·본문 문구 | 문제 제기형과 결과 제시형 | 노출 대비 클릭 |
| 행동 유도 버튼·문구 | 자세히 보기와 구매하기 | 클릭 대비 전환 |
| 광고 형식 | 단일 이미지와 여러 장 넘기기형 | 노출 대비 클릭과 전환 |
제안 내용이 다르면 클릭한 사람이 구매까지 가는지가 달라질 수 있습니다. 그래서 클릭만이 아니라 전환까지 보고 판단합니다. 버튼 문구처럼 작은 차이는 성과 차이도 작게 나타날 수 있어 예산이 작으면 결론이 늦어집니다.
광고 형식을 바꾸면 이미지 배치와 문구 길이가 함께 달라집니다. 형식을 시험할 때는 같은 이미지와 같은 문구를 쓰고 형식만 다르게 만듭니다.
시험을 시작하기 전에 가설을 한 문장으로 적습니다. 다음 문장을 그대로 고쳐 쓸 수 있습니다.
가설 문장 예시: 「(대상)에게 (요소)를 A에서 B로 바꾸면 (판단 지표)가 개선될 것이다.」
비교 시험 기능과 한 광고 묶음에 소재를 여러 개 넣는 방식은 무엇이 다른가요
두 소재를 비교하는 방법은 크게 두 가지입니다. 결과를 원인 판단에 쓰려면 대상을 나눠 보여 주는 방식이 적합합니다.
대상을 나눈 비교 시험
- 대상을 겹치지 않는 집단으로 나눠 집단마다 소재 하나를 보여 줍니다.
- 같은 사람이 두 소재를 모두 보는 일이 줄어듭니다.
- 예산과 기간을 미리 정하므로 결과를 소재 차이로 읽기 쉽습니다.
한 광고 묶음 안의 여러 소재
- 성과가 좋아 보이는 소재에 노출이 자동으로 더 배분될 수 있습니다.
- 소재별 노출 수가 크게 차이 날 수 있습니다.
- 운영 효율에는 쓸 수 있지만 원인 판단 근거로는 약합니다.
기능 이름과 대상을 나누는 방식은 플랫폼마다 다릅니다. 집행 전에 사용하는 플랫폼의 공식 도움말에서 비교 시험 기능의 구조를 확인합니다.
앞 주에 소재 A를, 다음 주에 소재 B를 차례로 집행하는 방식도 피합니다. 계절, 경쟁 광고, 이벤트 같은 시기 차이가 결과에 섞이기 때문입니다. 두 소재는 같은 기간에 동시에 집행합니다.
판단 기간과 판단 기준은 어떻게 정하나요
판단 지표는 광고 목적에 맞춰 하나만 고릅니다. 구매가 목적인데 클릭률로 판정하면, 클릭은 많지만 구매가 적은 소재가 이기는 일이 생깁니다. 구매·문의가 목적이면 전환당 비용을 판단 지표로 둡니다.
기간은 주 단위로 잡으면 두 소재가 요일별 차이를 똑같이 겪습니다. 광고를 본 날과 구매한 날이 다를 수 있다는 점도 고려합니다.
전환 집계 기간(기여 기간: 광고를 보거나 클릭한 뒤 며칠 안의 전환을 광고 성과로 세는지 정한 기간)을 확인합니다. 시험이 끝난 직후에는 아직 잡히지 않은 전환이 있을 수 있습니다. 최종 판정은 종료 후 집계 기간이 지난 뒤에 합니다.
예를 들어 2주 동안 집행하고 계정의 전환 집계 기간이 7일이면, 종료일 7일 뒤를 최종 판정일로 적습니다. 여기서 2주와 7일은 설명을 위한 가상의 값입니다. 실제 집계 기간은 자기 계정의 설정 화면에서 확인합니다.
새로 집행한 광고는 초기 게재가 불안정할 수 있습니다. 플랫폼마다 초기 학습 단계의 기준이 다르므로 공식 안내를 확인하고 그 기간을 판단 기간에 포함합니다.
1단계 · 가설과 바꿀 요소 정하기
가설 문장을 적고 바꿀 요소 하나를 고릅니다. 두 소재의 차이가 그 요소 하나뿐이면 다음 단계로 넘어갑니다.
2단계 · 고정 조건 대조
두 광고의 설정 화면을 나란히 대조합니다. 고정 조건이 같은지 확인되면 완료합니다.
3단계 · 판단 지표와 종료 조건 기록
판단 지표 하나, 시작일과 종료일, 최종 판정일을 기록표에 적습니다.
4단계 · 집행 중 설정 유지
시험 중에는 예산·대상·문구를 고치지 않습니다. 고쳤다면 그 시점부터 새 시험으로 다시 시작합니다.
5단계 · 판정과 다음 시험
판정일에 결과를 옮겨 적고 채택·차이 없음 중 하나로 판정한 뒤 다음 요소를 정합니다.
중간에 결과를 보는 것 자체는 괜찮습니다. 다만 첫날이나 이틀째의 차이는 우연일 수 있으므로 그 숫자로 시험을 끝내지 않습니다.
결과 차이가 작거나 지표가 엇갈리면 어떻게 판정하나요
플랫폼의 결과 화면이 통계적 신뢰 수준(관측된 차이가 우연이 아닐 가능성을 나타낸 값)을 함께 보여 줄 수 있습니다. 그 값의 의미와 기준은 공식 안내에서 확인합니다. 기준에 못 미치는 차이는 승패가 아니라 차이 없음으로 기록합니다.
클릭률은 소재 A가, 전환당 비용은 소재 B가 앞서는 식으로 지표가 엇갈릴 수 있습니다. 이때는 시작 전에 정한 판단 지표를 따릅니다. 다른 지표의 차이는 다음 가설의 재료로 기록합니다.
차이 없음도 쓸모 있는 결과입니다. 그 요소가 이 대상에게 성과를 크게 좌우하지 않는다는 뜻이므로 다음 요소로 넘어갑니다. 채택한 소재는 다음 시험의 기준 소재가 됩니다.
시험 기간이 길어지면 같은 사람에게 같은 소재가 반복해서 보일 수 있습니다. 소재별 1인당 평균 노출 횟수도 함께 확인합니다.
시험을 여러 번 반복하면 무엇을 이미 확인했는지 잊기 쉽습니다. 다음 기록표를 시험마다 한 장씩 작성합니다.
| 기록 항목 | 적을 내용 |
|---|---|
| 시험 번호·기간 | 시작일, 종료일, 최종 판정일 |
| 가설 | 가설 문장 한 줄 |
| 바꾼 요소 | 소재 A와 소재 B의 차이 하나 |
| 고정 조건 대조 | 설정 화면을 대조한 날짜와 결과 |
| 판단 지표 | 지표 이름 하나와 전환 집계 기간 |
| 결과 | 결과 화면의 값을 그대로 옮긴 수치 |
| 판정과 다음 시험 | 채택 또는 차이 없음, 다음에 바꿀 요소 |
시험용 소재에도 표시·광고 기준이 적용되나요
비교 시험을 위해 짧게 집행하는 소재도 소비자에게 보이는 광고입니다. 소재 B에 더 강한 주장을 넣어 반응을 확인하는 방식은 시험 결과와 관계없이 표시·광고 기준의 적용을 받습니다.
공정거래위원회는 2026년 9월 2일 「표시·광고 내용의 실증에 관한 운영 고시」 개정·시행 보도자료를 냈습니다. 개정 고시는 2026년 9월 3일부터 시행됐습니다.
보도자료에 따르면 광고에 AI 등 신기술을 활용했다는 내용을 표시하는 경우에도 사전 실증이 필요합니다. 신기술 제품의 성능을 광고할 때의 실증 의무도 명확히 했습니다.
실증자료 제출 기한의 연장 가능 기간은 기존 30일에서 15일 이내로 줄었습니다. 연장 기간을 포함한 제출 기간 안에 실증자료를 내지 않으면 해당 광고에 중지명령을 내릴 수 있습니다. 사업자가 광고 전과 자료 제출 요청 후 두 단계로 스스로 점검할 체크리스트도 함께 제시됐습니다.
후기·체험담 형식의 소재라면 추천·보증 등에 관한 표시·광고 심사지침도 확인합니다. 이 지침은 체험담을 쓰려면 소비자가 실제로 상품을 사용해 보았어야 하고, 표현이 실제 경험과 맞아야 한다고 정합니다. 실존하지 않는 소비자의 후기를 만들어 넣은 소재는 부당한 광고로 판단될 수 있습니다.
실무에서는 소재 B의 문구가 소재 A보다 사실 주장이 강하다면 근거 자료를 소재 파일과 함께 보관합니다. 시험이 끝나 집행을 멈춘 소재도 근거 자료는 남겨 둡니다.
집행 전에 공식 기준을 먼저 확인합니다
- 성능·효능·품질처럼 사실을 주장하는 문구나 수치를 시험 소재에 넣는 경우
- AI 등 신기술을 활용했다는 문구를 넣는 경우
- 업종별 광고 심의나 표시 기준이 따로 있는지 소관 기관 안내로 확인해야 하는 경우
- 후기·체험담 형식으로 소재를 만드는 경우
정리
- 가설 문장을 적고 이번 시험에서 바꿀 요소 하나를 고릅니다.
- 사용하는 플랫폼의 공식 도움말에서 대상을 나누는 비교 시험 기능을 확인하고, 두 소재를 같은 기간에 동시에 집행합니다.
- 판단 지표 하나, 주 단위 판단 기간, 전환 집계 기간이 지난 최종 판정일을 기록표에 적습니다.
- 시험 중에는 설정을 고치지 않고, 판정일에 채택 또는 차이 없음으로 판정한 뒤 다음 요소를 정합니다.
- 사실을 주장하는 시험 소재는 집행 전에 실증 자료를 준비하고 소재 파일과 함께 보관합니다.
참고 자료
- 공정거래위원회 — 「표시·광고 내용의 실증에 관한 운영 고시」 개정·시행(2026.09.02 보도자료)
- 공정거래위원회(국가법령정보센터) — 추천·보증 등에 관한 표시·광고 심사지침(공정거래위원회예규 제499호, 2026.6.1. 시행)