Incrementality Testing: Cách Thiết Kế, Tính Cỡ Mẫu Và Đọc Kết Quả Để Đo Hiệu Quả Thật Của Quảng Cáo

Cộng số chuyển đổi mà các nền tảng quảng cáo báo cáo, bạn thường được con số lớn hơn số đơn thực tế. Một phần người mua đằng nào cũng mua: họ đã biết thương hiệu, tự tìm tên bạn, hoặc quay lại từ email.

Incrementality testing đo phần kết quả thực sự do marketing tạo ra. Đây là thứ gần nhất với thí nghiệm có đối chứng trong marketing, và là cách duy nhất đáng tin để biết một kênh có xứng đáng được thêm ngân sách hay không.

Phần lớn bài viết dừng ở định nghĩa. Hướng dẫn này đi tiếp: cách chọn loại thử nghiệm, cần bao nhiêu người, cách thiết kế holdout và geo test, công thức lift và incremental ROAS, cách phân biệt kết quả thật với nhiễu, và cách biến kết quả thành quyết định ngân sách.

Incrementality là gì?

Incrementality là kết quả tăng thêm do một hoạt động marketing tạo ra so với khi không có nó. Phần đằng nào cũng xảy ra gọi là mức nền. Cách đo là so sánh nhóm thử nghiệm được tiếp cận với một nhóm đối chứng tương đồng không được tiếp cận.

Attribution trả lời câu hỏi khác: điểm chạm nào được ghi công cho chuyển đổi đã xảy ra. Nó không cho biết chuyển đổi đó có cần quảng cáo hay không.

Câu hỏi incrementality quan trọng nhất ở đâu?

Những kênh tiếp cận người vốn đã sắp mua thường có ROAS nền tảng cao nhất nhưng incrementality thấp nhất: retargeting, từ khóa thương hiệu và chiến dịch nhắm khách cũ. Tìm khách mới thường có ROAS thấp hơn nhưng phần tăng thêm thật lại nhiều hơn.

Một ví dụ thật: trong dự án với thương hiệu merchandise tại Úc, Google Ads đạt ROAS 10x trong quý 1/2024, tỷ lệ chuyển đổi 3,37% trên các truy vấn có ý định mua cao. Kết quả mạnh như vậy là lý do để tăng kênh này, và cũng chính là loại con số nên được kiểm chứng bằng thử nghiệm trước khi mở rộng quá xa mức hiện tại, vì tìm kiếm có ý định cao một phần là bắt lấy nhu cầu đã có sẵn.

Bước 1: Chọn đúng loại thử nghiệm

• Conversion lift study của nền tảng: Meta và Google chạy holdout ngẫu nhiên giúp bạn. Phù hợp khi bạn đủ điều kiện và cần câu trả lời nhanh cho một nền tảng.
• Holdout theo tệp khách: loại ngẫu nhiên một phần tệp, như danh sách email hay tệp retargeting khách cũ. Phù hợp cho kênh sở hữu và retargeting.
• Geo experiment: chạy hoặc tăng quảng cáo ở một số khu vực và không làm ở khu vực tương đương. Phù hợp khi không thể chia ngẫu nhiên theo người dùng, hoặc để thử mức chi tiêu tổng. GeoLift mã nguồn mở của Meta hỗ trợ thiết kế loại này.
• Bật tắt kênh: tạm dừng một kênh rồi so với dự báo. Rẻ nhất nhưng yếu nhất, vì mùa vụ và khuyến mãi dễ làm sai lệch.

Bước 2: Tính cỡ mẫu cần thiết

Thử nghiệm nhỏ tạo ra nhiễu trông giống kết quả. Với thử nghiệm so sánh tỷ lệ chuyển đổi, quy tắc kinh nghiệm phổ biến cho độ mạnh khoảng 80% ở mức ý nghĩa 5% là:

• Số người cần cho mỗi nhóm ≈ 16 × p × (1 trừ p) ÷ (chênh lệch cần phát hiện)².
• p là tỷ lệ chuyển đổi nền, chênh lệch là mức lift tuyệt đối bạn muốn phát hiện được.
• Ví dụ: tỷ lệ nền 2% và muốn phát hiện lift tương đối 10% (từ 2,0% lên 2,2%, chênh lệch 0,002), cần khoảng 16 × 0,02 × 0,98 ÷ 0,000004, tức khoảng 78.000 người mỗi nhóm.
• Muốn phát hiện lift tương đối 20% (từ 2,0% lên 2,4%), chỉ cần khoảng một phần tư, tức khoảng 20.000 người mỗi nhóm.

Bài học: hiệu ứng kỳ vọng càng nhỏ, thử nghiệm càng phải lớn. Nếu tệp quá nhỏ để phát hiện mức lift thực tế, hãy chạy lâu hơn, dùng geo test hoặc lift study của nền tảng thay vì tin vào một kết quả nhỏ.

Bước 3: Thiết kế holdout test

• Chia ngẫu nhiên theo người dùng, trước khi họ thấy quảng cáo, để hai nhóm tương đồng.
• Chọn tỷ lệ holdout: 10 đến 20% là phổ biến, cân bằng giữa độ mạnh của thử nghiệm và doanh thu bạn chấp nhận bỏ lỡ ở nhóm đối chứng.
• Chốt chỉ số thành công từ trước, tốt nhất là đơn hàng hoặc doanh thu đo bằng dữ liệu cửa hàng của bạn.
• Chạy ít nhất một chu kỳ mua đầy đủ, tránh tung khuyến mãi lớn hay creative mới trong lúc thử nghiệm.
• Kiểm tra nhóm đối chứng thực sự không thấy quảng cáo của chiến dịch đang thử.

Bước 4: Thiết kế geo test

• Chọn các khu vực có đủ doanh số và lịch sử ổn định.
• Ghép cặp khu vực thử nghiệm và đối chứng bằng dữ liệu giai đoạn trước: doanh số của chúng phải biến động sát nhau trước khi thử nghiệm.
• Chỉ thay đổi chi tiêu của kênh đang thử ở khu vực thử nghiệm, giữ mọi thứ khác như cũ.
• Chạy đủ dài để bao phủ chu kỳ mua cộng thêm một thời gian ngắn sau đó, vì tác động của quảng cáo có thể đến trễ.
• So doanh số thực tế ở khu vực thử nghiệm với mức mà khu vực đối chứng dự đoán.

Bước 5: Tính lift và incremental ROAS

• Lift = (tỷ lệ chuyển đổi nhóm thử nghiệm trừ tỷ lệ nhóm đối chứng) ÷ tỷ lệ nhóm đối chứng.
• Chuyển đổi tăng thêm = (tỷ lệ thử nghiệm trừ tỷ lệ đối chứng) × số người trong nhóm thử nghiệm.
• Doanh thu tăng thêm = chuyển đổi tăng thêm × giá trị đơn trung bình.
• iROAS = doanh thu tăng thêm ÷ chi phí của chiến dịch được thử.
• CPA tăng thêm = chi phí ÷ chuyển đổi tăng thêm.

Ví dụ minh họa: 200.000 người trong nhóm thử nghiệm chuyển đổi 2,4%, nhóm đối chứng 2,0%. Lift là 20%. Chuyển đổi tăng thêm là 0,004 × 200.000 = 800. Với AOV 600.000 đồng, doanh thu tăng thêm là 480 triệu đồng. Nếu chiến dịch tốn 300 triệu đồng, iROAS là 1,6 và CPA tăng thêm là 375.000 đồng.

Bước 6: Kiểm tra kết quả có thật không

Chênh lệch giữa hai nhóm không tự động là hiệu ứng thật. Trước khi hành động:

• Xem khoảng tin cậy của lift, không chỉ con số ước tính. Nếu khoảng tin cậy chứa số 0, thử nghiệm chưa chứng minh được hiệu ứng.
• Kiểm tra hai nhóm có giống nhau trước khi thử nghiệm bắt đầu.
• Đảm bảo không có gì khác thay đổi trong lúc thử nghiệm, như đợt sale, hết hàng hay website bị lỗi.
• Ưu tiên lặp lại thử nghiệm thay vì tin một kết quả gây ấn tượng. Incrementality thay đổi theo mùa, creative và mức độ cạnh tranh.

Bước 7: Biến kết quả thành quyết định ngân sách

So iROAS với biên lợi nhuận, không chỉ với doanh thu. Chiến dịch thực sự có lãi khi doanh thu tăng thêm × tỷ lệ CM2 lớn hơn chi phí, nên:

• iROAS hòa vốn = 1 ÷ tỷ lệ CM2. Với tỷ lệ CM2 50%, iROAS hòa vốn là 2.
• Trong ví dụ trên, iROAS 1,6 thấp hơn 2, nên chiến dịch lỗ trên chính phần doanh số nó tạo ra, dù nền tảng báo ROAS cao hơn nhiều.
• Nếu iROAS cao hơn hẳn mức hòa vốn, hãy thử tăng chi tiêu từng bước, vì đồng tiền tiếp theo thường kém hiệu quả hơn mức trung bình.

Bài hướng dẫn contribution margin chỉ cách tính tỷ lệ CM2 mà phép tính này dựa vào.

Incrementality và marketing mix modeling

Marketing mix modeling (MMM) ước tính tác động của từng kênh từ dữ liệu lịch sử, với các lựa chọn mã nguồn mở như Robyn của Meta và Meridian của Google. MMM bao phủ mọi kênh cùng lúc nhưng dựa trên giả định mô hình. Thử nghiệm incrementality hẹp hơn nhưng cho quan hệ nhân quả. Cách mạnh nhất là dùng cả hai: MMM để chia ngân sách tổng thể, thử nghiệm để hiệu chỉnh mô hình ở những kênh quan trọng nhất.

Những lỗi thường gặp

• Dừng sớm vì vài ngày đầu trông tốt.
• Chạy thử nghiệm quá nhỏ để phát hiện mức lift thực tế, rồi đọc nhiễu thành kết quả.
• Thay đổi ngân sách, creative hay đối tượng giữa chừng.
• Đánh giá bằng chuyển đổi của nền tảng thay vì dữ liệu bán hàng của chính bạn.
• So iROAS với mục tiêu doanh thu thay vì biên lợi nhuận.

Bắt đầu từ đâu?

Chọn kênh mà bạn nghi báo cáo nền tảng đang phóng đại nhiều nhất, thường là retargeting hoặc từ khóa thương hiệu. Tính cỡ mẫu bằng công thức trên, chạy đủ một chu kỳ mua, và quyết định trước kết quả nào sẽ khiến bạn thay đổi ngân sách.

Nếu bạn muốn creative và nội dung được xây để thử nghiệm và đo lường được, dịch vụ AI content marketing của Growthtrait có thể giúp. Liên hệ với chúng tôi để lên kế hoạch thử nghiệm đầu tiên.