Ad effectiveness experiment planner
Experiment design form (hypothesis, primary metric, groups, duration, guardrail metrics), sample-size calculation for comparing two conversion rates, and a results sheet with a two-proportion z-test and p-value — all with formulas and explanations.
Who it is for
مدیر بازاریابی یا رشدی که می‌خواهد پیش از خرج تبلیغ، یک آزمایش کنترل‌شده طراحی کند و بعد از آن بداند تفاوتی که دیده واقعی است یا نویز.
Main sheet preview
| بخش | پاسخ شما | راهنما |
|---|---|---|
| نام آزمایش | کوتاه و یکتا؛ مثلاً «بنر صفحهٔ اصلی — نسخهٔ قیمت‌محور». | |
| فرضیه | به شکل «اگر … را تغییر دهیم، آنگاه … افزایش می‌یابد، چون …». یک فرضیه، یک تغییر. | |
| شاخص اصلی | یک شاخص که تصمیم را می‌سازد (مثلاً نرخ تبدیل بازدید به سفارش). پیش از شروع ثبت شود و بعداً عوض نشود. | |
| شاخص‌های نگهبان | چیزهایی که نباید بدتر شوند: نرخ مرجوعی، میانگین سبد، شکایت. اگر یکی از این‌ها بدتر شد، برد شاخص اصلی کافی نیست. | |
| گروه کنترل | چه کسانی نسخهٔ فعلی را می‌بینند و چگونه انتخاب می‌شوند. | |
| گروه آزمایش | چه کسانی نسخهٔ جدید را می‌بینند. فقط همان یک چیز باید فرق کند. | |
| واحد تخصیص | کاربر، جلسه، شهر یا بازهٔ زمانی؟ واحد تخصیص باید همان واحد شمارش شاخص باشد. | |
| روش تصادفی‌سازی | چطور تضمین می‌کنید که تخصیص تصادفی است (نه «روزهای زوج و فرد»، نه «هرکس زودتر آمد»). | |
| حجم نمونهٔ لازم در هر گروه | ƒ | از برگهٔ «حجم نمونه» می‌آید. |
| مدت برنامه‌ریزی‌شده (روز) | دست‌کم یک چرخهٔ کامل هفتگی؛ آزمایش را پیش از رسیدن به حجم نمونه متوقف نکنید، حتی اگر نتیجه «به نظر» روشن است. | |
| تاریخ شروع | میلادی یا جلالی، فقط ثابت بماند. | |
| تاریخ پایان |
ƒ means the cell has a formula; yellow cells are inputs.
How to use
- برگهٔ «طرح» را پیش از شروع پر کنید؛ فرضیه و شاخص اصلی بعداً تغییر نکنند.
- در «حجم نمونه» نرخ تبدیل فعلی و کمینهٔ اثری که ارزش تشخیص دارد را بدهید؛ n هر گروه و مدت لازم محاسبه می‌شود.
- آزمایش را تا رسیدن به حجم نمونه ادامه دهید و بعد بازدید و تبدیل هر گروه را در «ثبت نتایج» بنویسید.
- p-value کمتر از آلفای انتخابی (مرسوم ۰٫۰۵) یعنی تفاوت با تصادف به‌سختی توضیح‌پذیر است؛ فاصلهٔ اطمینان و حکم نتیجه از همان آلفای برگهٔ «حجم نمونه» پیروی می‌کنند. اندازهٔ اثر و شاخص‌های نگهبان را هم ببینید.
The "hypothetical sample" sheet in the file is filled with made-up numbers to show how the formulas work. These numbers are hypothetical examples, come from no real business and are not the basis of any claim.
Related online tools
METHOD All calculation cells are open Excel formulas and recalculate when inputs change; no values are pasted. The file is built by code and each version is dated. Decision tools