زمین بازی مدل‌ها

سه آزمایش کوچک برای اینکه ببینید مدل‌ها چطور یاد می‌گیرند و کجا خطا می‌کنند: یک خط را به داده برازش دهید و خطایش را ببینید؛ آستانهٔ یک طبقه‌بند را جابه‌جا کنید و ببینید کدام خطا جایش را به کدام می‌دهد؛ و پیچیدگی یک مدل را بالا ببرید تا ببینید کی حفظ‌کردن جای یادگرفتن را می‌گیرد.

همهٔ داده‌ها ساختگی و برچسب‌دارند و با صفحه‌کلید (کلیدهای جهت) هم کار می‌کنند.

• خط: ۳۰ نقطه از y = ۳ + ۰٫۸x به‌اضافهٔ نوسان تصادفی؛ «بهترین خط» با کمترین مربعات معمولی حساب می‌شود.
• آستانه: ۲۰۰ امتیاز ساختگی (۶۰ مثبت، ۱۴۰ منفی) که توزیعشان هم‌پوشانی دارد؛ دقت = مثبت درست ÷ همهٔ علامت‌خورده‌ها، بازیابی = مثبت درست ÷ همهٔ مثبت‌های واقعی.
• بیش‌برازش: ۴۰ نقطه از sin(1.5x) + 0.3x با نوسان، نیمی آموزش و نیمی آزمون؛ چندجمله‌ای‌ها با کمترین مربعات روی نقطه‌های آموزش برازش می‌شوند (x در بازهٔ −۱ تا ۱ مقیاس می‌شود).

• داده‌ها کوچک و تمیزند تا ایده دیده شود؛ دادهٔ واقعی گمشده، پرت و وابستگی زمانی هم دارد.
• در آزمایش بیش‌برازش، تقسیم آموزش و آزمون یک بار ثابت انجام شده؛ در کار واقعی چند تقسیم یا اعتبارسنجی متقاطع لازم است.