سنجش اثر افزایشی کمپین

گزارش کانال تبلیغاتی می‌گوید کمپین چند فروش «آورده»، ولی بخشی از آن مشتری‌ها بدون کمپین هم می‌خریدند. تنها راه تمیز برای جداکردن این دو، نگه‌داشتن یک گروه کنترل است: کسانی که به‌طور تصادفی کمپین را ندیدند. این ابزار با تعداد افراد و تبدیل دو گروه، اثر افزایشی کمپین، بازهٔ عدم‌قطعیتش و — فقط وقتی داده اجازه می‌دهد — هزینهٔ هر تبدیل افزایشی و سود را حساب می‌کند.

• اثر بر نرخ = نرخ تبدیل گروه کمپین − نرخ گروه کنترل، با بازهٔ ۹۵٪ هیبرید نیوکامب؛ تغییر نسبی با بازهٔ لگاریتمی نسبت.
• تبدیل افزایشی = اثر بر نرخ × تعداد افراد گروه کمپین؛ بازه‌اش همان بازهٔ اثر ضرب در همین تعداد است.
• هزینهٔ هر تبدیل افزایشی = هزینه ÷ تبدیل افزایشی، فقط وقتی کل بازهٔ اثر بالای صفر است؛ بازه‌اش از تقسیم هزینه بر دو سر بازهٔ تبدیل افزایشی.
• درآمد افزایشی = (درآمد سرانهٔ گروه کمپین − درآمد سرانهٔ کنترل) × افراد گروه کمپین؛ سود = درآمد افزایشی × حاشیه − هزینه؛ ROI = سود ÷ هزینه. این‌ها فقط برآورد نقطه‌ای‌اند.

• اگر گروه کنترل تصادفی نباشد، این ابزار اثر کمپین را نمی‌سنجد؛ فقط دو گروه متفاوت را مقایسه می‌کند و نتیجه همین‌طور برچسب می‌خورد.
• اگر کنترل از جای دیگری پیام مشابه گرفته باشد، یا کمپین به گوش کنترل هم رسیده باشد (مثلاً دهان‌به‌دهان)، اثر کمتر از واقع دیده می‌شود.
• درآمد پراکنده است و چند خرید بزرگ می‌تواند نتیجه را جابه‌جا کند؛ بدون درآمد تک‌تک افراد، بازه‌ای برای آن ساخته نمی‌شود.
• اثر کوتاه‌مدت است: اگر کمپین خرید آینده را فقط جلو انداخته باشد، این ابزار آن را نمی‌بیند.