آزمایشگاه پیش‌بینی

پیش از اعتماد به هر مدل پیش‌بینی، باید دید از ساده‌ترین حدس بهتر است یا نه: «هفتهٔ بعد مثل همین هفته» یا «مثل همین هفته در سال پیش». این ابزار سری فروش، سفارش یا تقاضای شما را می‌گیرد، چند روش را از ساده به پیچیده روی گذشته آزمایش می‌کند — همان‌طور که در واقعیت پیش می‌آید، فقط با داده‌ای که تا آن روز داشتید — و پیش‌بینی را با روشی می‌سازد که واقعاً بهتر بوده است.

• روش‌ها از ساده به پیچیده: بی‌تغییر (آخرین مقدار)، تکرار فصل قبل، روند خطی ساده بین اولین و آخرین نقطه، هموارسازی نمایی ساده، هولت با روند میراشونده (φ = ۰٫۹۸) و هولت-وینترز جمعی. پارامترها با کمینه‌کردن خطای یک‌گام‌جلو روی یک شبکهٔ کوچک انتخاب می‌شوند.
• آزمون عقب‌گرد (rolling origin): تا ۲۰ نقطهٔ زمانی پشت‌سرهم در انتهای سری؛ در هر نقطه هر روش فقط با دادهٔ قبل از آن ساخته و تا افق انتخابی آزموده می‌شود. سری هرگز تصادفی تقسیم نمی‌شود.
• خط مبنا: بهترِ «بی‌تغییر» و «تکرار فصل قبل». روش پیچیده‌تر فقط وقتی برای پیش‌بینی نهایی انتخاب می‌شود که میانگین خطای مطلقش دست‌کم ۵٪ کمتر از خط مبنا باشد.
• سنجه‌ها: MAE، RMSE، MASE (MAE تقسیم بر خطای یک‌گام روش ساده روی دادهٔ پیش از اولین نقطهٔ آزمون) و MAPE فقط وقتی همهٔ مقدارهای واقعی مثبت و دست‌کم ۱٪ میانگین باشند.
• بازهٔ پیش‌بینی: صدک ۱۰ و ۹۰ خطاهای واقعی همان روش در آزمون عقب‌گرد، در هر افق جداگانه؛ فقط وقتی دست‌کم ۱۵ خطا در هر افق وجود دارد.

• همهٔ روش‌ها فرض می‌کنند آینده شبیه گذشته است. تغییر قیمت، کمپین، کمبود موجودی یا شوک بیرونی را نمی‌بینند؛ اگر چنین تغییری در راه است، پیش‌بینی را با قضاوت اصلاح کنید و بنویسید چرا.
• بازهٔ تجربی از ۲۰ نقطهٔ آزمون ساخته می‌شود و تقریبی است؛ در دوره‌های پرنوسان‌تر از گذشته، کم‌تر از واقع نشان می‌دهد.
• فروش ثبت‌شده همان تقاضا نیست: هفته‌هایی که کالا تمام شده بود، فروش کم را به‌جای تقاضای کم نشان می‌دهند.
• برای سری کوتاه‌تر از دو فصل، روش‌های فصلی آزموده نمی‌شوند و فصل دیده نمی‌شود.