انتخاب آستانه بر اساس هزینهٔ خطا

مدل‌های پیش‌بینی (ریزش مشتری، تقلب، احتمال خرید) احتمال می‌دهند، ولی تصمیم «اقدام بکنم یا نه» یک آستانه می‌خواهد. آستانهٔ پیش‌فرض ۰٫۵ تقریباً هیچ‌وقت درست نیست، چون هزینهٔ دو خطا برابر نیست: تماس بی‌جا با مشتری‌ای که نمی‌رفت ارزان است، ازدست‌دادن مشتری‌ای که می‌رفت گران.

فایل احتمال و نتیجهٔ واقعی را بدهید، هزینهٔ هر خطا و سقف ظرفیت تیم را بنویسید؛ ابزار آستانه را روی یک بخش داده انتخاب و روی بخش دیگر گزارش می‌کند، تا عدد گزارش‌شده با خود انتخاب تقلب نکرده باشد.

• برای هر آستانهٔ t، روی مواردی با احتمال ≥ t اقدام می‌شود. هزینه برای هر مورد = [مثبت کاذب × هزینهٔ اقدام بی‌جا + منفی کاذب × هزینهٔ ازدست‌دادن − مثبت واقعی × سود + تعداد اقدام × هزینهٔ هر اقدام] ÷ تعداد موارد.
• آستانه‌های نامزد، مقدارهای مشاهده‌شدهٔ احتمال‌اند (حداکثر ۲۰۱ نقطه از چندک‌ها) به‌علاوهٔ «اقدام روی هیچ‌کس». ارزان‌ترین آستانه در بخش انتخاب، با رعایت سقف ظرفیت، انتخاب می‌شود.
• precision = مثبت واقعی ÷ همهٔ اقدام‌ها؛ recall = مثبت واقعی ÷ همهٔ موارد واقعاً مثبت؛ بازه‌ها ویلسون ۹۵٪ روی بخش آزمون.
• آستانهٔ نظری = (هزینهٔ اقدام بی‌جا + هزینهٔ هر اقدام) ÷ (هزینهٔ اقدام بی‌جا + هزینهٔ ازدست‌دادن + سود)؛ فقط برای مدل کالیبره.

• هزینه‌ها فرض شما هستند و نتیجه به آن‌ها حساس است؛ با چند مقدار امتحان کنید.
• این ابزار فرض می‌کند اقدام، زیان مورد مثبت را کاملاً جلوگیری می‌کند. در واقع تماس با مشتری در حال رفتن فقط بخشی از آن‌ها را نگه می‌دارد؛ اثر علّی اقدام را فقط آزمایش با گروه کنترل نشان می‌دهد.
• اگر دادهٔ آزمون از دورهٔ دیگری است یا توزیع عوض شده، آستانه ممکن است دیگر بهینه نباشد؛ از «تغییر توزیع» استفاده کنید.
• احتمال بیرون از ۰ تا ۱ رد می‌شود؛ احتمال درصدی (۰ تا ۱۰۰) هم برای جلوگیری از ابهام پذیرفته نمی‌شود.