بررسی کالیبراسیون مدل

وقتی مدل می‌گوید «۳۰٪ احتمال ریزش»، آیا از چنین مشتری‌هایی واقعاً حدود ۳۰٪ می‌روند؟ اگر نه، احتمال‌ها را نمی‌شود مستقیم در حساب هزینه و سود یا تصمیم آستانه به کار برد. این «کالیبراسیون» است و با «قدرت تفکیک» (اینکه مدل موارد مثبت را بالاتر از منفی‌ها رتبه می‌دهد) فرق دارد: مدلی می‌تواند خوب رتبه بدهد ولی احتمال‌هایش همه دو برابر واقع باشند.

فایل احتمال و نتیجهٔ واقعی را از دادهٔ ارزیابی (نه دادهٔ آموزش مدل) بدهید تا نمودار قابلیت اعتماد، تعداد نمونهٔ هر بازه، امتیاز بریر، ECE و AUC را جدا از هم ببینید؛ و اینکه یک اصلاح ساده، روی دادهٔ جدا سنجیده، چقدر کمک می‌کند.

• موارد بر اساس احتمال در بازه‌ها گروه می‌شوند. برای هر بازه: تعداد، میانگین احتمال، نرخ واقعی و بازهٔ ۹۵٪ ویلسون. بازه با کمتر از ۲۰ مورد «کم‌نمونه» است.
• امتیاز بریر = میانگین (احتمال − نتیجه)². برای مقایسه، بریر مدلی که به همه نرخ پایه را بدهد p̄(1 − p̄) است. تجزیهٔ مورفی (قابلیت اعتماد − تفکیک + عدم‌قطعیت) بر پایهٔ همان بازه‌ها و تقریبی است.
• ECE = مجموع (سهم موارد بازه × |نرخ واقعی − میانگین پیش‌بینی|). عددش به نوع و تعداد بازه بستگی دارد و همیشه کنار آن گفته می‌شود.
• AUC با آمارهٔ من‌ویتنی: احتمال اینکه یک مورد مثبت تصادفی احتمال بالاتری از یک منفی تصادفی بگیرد (تساوی نیم). این قدرت تفکیک است، نه کالیبراسیون.
• اصلاح پلات: رگرسیون لجستیک نتیجه روی لوجیت احتمال (نیوتن‌رافسون)، برازش روی یک نیمهٔ تصادفی و سنجش روی نیمهٔ دیگر.

• کالیبراسیون را روی دادهٔ ارزیابی بسنجید؛ روی دادهٔ آموزش مدل، همیشه بهتر از واقع دیده می‌شود.
• کالیبراسیون خوب امروز تضمین فردا نیست: اگر نرخ پایه یا مشتری‌ها عوض شوند، احتمال‌ها هم از کالیبراسیون می‌افتند.
• کالیبره‌بودن کل داده به معنی کالیبره‌بودن هر گروه (شهر، کانال) نیست؛ برای گروه‌های مهم جدا بسنجید.
• اصلاح پلات ساده است و برای انحراف‌های پیچیده کافی نیست؛ و اگر روی داده‌ای که گزارش می‌کنید برازش شود، بهبودش خوش‌بینانه است — برای همین اینجا جدا سنجیده می‌شود.