آزمایشگاه A/B

آزمایش A/B دو بخش دارد و هر دو اینجا هستند. پیش از شروع: با نرخ تبدیل فعلی و کوچک‌ترین بهبودی که برایتان ارزش دارد، چند نفر و چند روز لازم است. بعد از پایان: نسخهٔ جدید واقعاً بهتر بود، چقدر، و آیا خود آزمایش سالم اجرا شد.

این نسخه فقط معیار «تبدیل دودویی» را پشتیبانی می‌کند: هر نفر یا تبدیل شده یا نه (خرید، ثبت‌نام، کلیک). برای درآمد، تعداد سفارش یا زمان تحویل آزمون دیگری لازم است و این ابزار آن را تقریب نمی‌زند.

• حجم نمونه برای آزمون دوطرفهٔ دو نسبت (فلیس، بدون تصحیح پیوستگی): n₁ = [z(1−α/2)·√(p̄(1−p̄)(1+1/k)) + z(1−β)·√(p₁(1−p₁) + p₂(1−p₂)/k)]² ÷ (p₂ − p₁)²، که k نسبت اندازهٔ گروه آزمایشی به کنترل و p̄ میانگین وزنی دو نرخ است.
• با چند نسخهٔ آزمایشی، α بین مقایسه‌ها تقسیم می‌شود (بونفرونی). مدت = کل نمونه ÷ ترافیک روزانه؛ به هفتهٔ کامل گرد کنید تا اثر روزهای هفته متوازن شود.
• تحلیل: تفاوت نرخ‌ها با بازهٔ ۹۵٪ هیبرید نیوکامب، تغییر نسبی با بازهٔ لگاریتمی نسبت، p از آزمون z دو نسبت با واریانس ادغام‌شده، و تعدیل هولم وقتی چند نسخه هست.
• عدم‌تطابق نسبت تخصیص (SRM): آزمون χ² نیکویی برازش بین تعداد افراد هر گروه و نسبت برنامه‌ریزی‌شده؛ p کمتر از ۰٫۰۰۱ هشدار جدی است.
• اهمیت عملی: اگر «کوچک‌ترین تفاوت مهم» را بدهید، خوانش بر اساس جای بازه نسبت به آن آستانه است، نه فقط p.

• فقط معیار دودویی. میانگین درآمد هر بازدیدکننده، تعداد سفارش یا زمان تحویل توزیع دیگری دارند و با این آزمون سنجیده نمی‌شوند.
• اگر نتیجه را هر روز نگاه کنید و هر وقت «معنادار» شد متوقف کنید، احتمال خطا خیلی بیشتر از α می‌شود. حجم را از قبل ثبت کنید.
• آزمایشی که واحد تخصیصش «جلسه» یا «بازدید» است ولی تبدیل را «نفر» می‌شمارد، مشاهده‌های مستقل ندارد و بازه‌ها را زیادی باریک نشان می‌دهد.
• نتیجهٔ دو هفته ممکن است اثر تازگی باشد و در بلندمدت نماند.
• معنادار آماری به معنی مهم یا سودآور نیست؛ و «معنادار نبود» به معنی «بی‌اثر است» نیست.