بررسی تغییر توزیع

مدل، داشبورد یا قاعده‌ای که روی دادهٔ دیروز ساخته شده، روی دادهٔ امروز فقط وقتی درست کار می‌کند که داده همان جنس باشد. این ابزار یک دورهٔ مرجع (مثلاً دادهٔ ساخت مدل) و یک دورهٔ جدید را ستون‌به‌ستون مقایسه می‌کند: توزیع عددها، سهم دسته‌ها، دسته‌های تازه و خانه‌های خالی.

برای هر ستون، اندازهٔ تغییر و معنی‌داری آماری جدا گزارش می‌شوند تا تفاوت کوچکِ «معنی‌دار» با تغییر مهم اشتباه نشود.

• نوع هر ستون از دورهٔ مرجع تعیین می‌شود: عددی، دسته‌ای (حداکثر ۵۰ مقدار متفاوت) یا متن آزاد و شناسه که مقایسه نمی‌شود.
• عددی: PSI روی ده‌دهک‌های مرجع، تفاوت میانگین استانداردشده (d کوهن با انحراف معیار ادغامی)، تغییر صدک‌های ۱۰، ۵۰ و ۹۰، سهم مقدارهای بیرون از بازهٔ مرجع، و آزمون دونمونه‌ای کولموگروف-اسمیرنوف.
• دسته‌ای: PSI روی دسته‌ها، V کرامر، دسته‌های تازه، و آزمون خی‌دو همگنی (دسته‌هایی با فراوانی مورد انتظار کمتر از ۵ در «سایر» ادغام می‌شوند). خانه‌های خالی: آزمون z دو نسبت.
• همهٔ p‌های صفحه با روش هولم تصحیح می‌شوند. «تغییر بزرگ»: PSI دست‌کم ۰٫۲۵، یا |d| دست‌کم ۰٫۵، یا V دست‌کم ۰٫۳، یا ۱۰ واحد درصد خالیِ بیشتر. «متوسط»: ۰٫۱، ۰٫۲، ۰٫۱ یا ۵ واحد. «معنی‌دار ولی کوچک»: p تصحیح‌شده کمتر از ۰٫۰۵ بدون اثر متوسط.

• تغییر ورودی، افت عملکرد نیست. مدل ممکن است با تغییر بزرگ هم خوب کار کند، یا با ورودی ثابت به‌خاطر تغییر رابطهٔ ورودی و نتیجه خراب شود. برای سنجش عملکرد، برچسب واقعی دورهٔ جدید لازم است.
• هر ستون جدا سنجیده می‌شود؛ تغییر در ترکیب ستون‌ها (مثلاً سبد بزرگ‌تر فقط در یک شهر) دیده نمی‌شود.
• آستانه‌های PSI و d قراردادهای رایج‌اند، نه قانون. برای ستونی که تصمیم مهمی به آن وابسته است، آستانهٔ سخت‌تری بگذارید.
• دورهٔ جدید کوتاه (مثلاً یک هفته) ممکن است فقط فصل یا تعطیلات را نشان دهد؛ مرجع را از همان فصل انتخاب کنید.