ممیزی کیفیت داده

پیش از هر نمودار، میانگین یا مدلی باید دانست خود داده قابل اعتماد است یا نه. این ابزار فایل شما را ستون‌به‌ستون می‌خواند و چیزهایی را که بی‌صدا نتیجه را خراب می‌کنند پیدا می‌کند: خانه‌های خالی، ردیف‌های تکراری، عددی که متن دارد، تاریخ نامعتبر یا در آینده، دو تقویم در یک ستون، درصد بیرون از بازه، نگارش‌های مختلف یک مقدار و احتمال وجود اطلاعات شخصی.

برای هر یافته شدت، شمارهٔ ردیف‌ها، دلیل اهمیت و پیشنهاد بعدی را می‌بینید. اصلاح خودکار نمی‌کند: اگر بخواهید، فقط اصلاح‌هایی را که تیک می‌زنید روی یک نسخهٔ تازه اعمال می‌کند و فهرست تک‌تک تغییرها را هم می‌دهد.

• نوع هر ستون از قالب مقدارهایش حدس زده می‌شود: اگر دست‌کم ۶۰٪ خانه‌های پر تاریخ باشند «تاریخ»، اگر عدد باشند «عددی»، اگر بله/خیر یا ۰/۱ باشند «دودویی»، وگرنه «متنی». خانه‌های خالی و نشانه‌هایی مثل NA، null، «نامشخص» گمشده شمرده می‌شوند.
• شدت: «بالا» یعنی تحلیل را بی‌صدا خراب می‌کند (مقدار ناخوانا در ستون عددی یا تاریخ، ردیف کاملاً تکراری، احتمال اطلاعات شخصی، بیش از نیمی خالی)؛ «متوسط» یعنی نتیجه را منحرف می‌کند (۲۰ تا ۵۰٪ خالی، تاریخ آینده، واحد داخل عدد، دو تقویم، درصد بیرون از بازه)؛ «کم» مرتب‌سازی است (نگارش‌های مختلف، ي و ك عربی)؛ «برای بررسی» خطا نیست ولی ارزش نگاه‌کردن دارد (مقدار پرت، ستون ثابت، تکرار در ستون شناسه).
• مقدار پرت با حصار دور توکی تعریف می‌شود: کمتر از چارک اول منهای سه برابر فاصلهٔ میان‌چارکی یا بیشتر از چارک سوم به‌علاوهٔ همان مقدار. این مقدارها حذف یا علامت خطا نمی‌خورند.
• اطلاعات شخصی با الگو تشخیص داده می‌شود: ایمیل، شمارهٔ موبایل ایران، کد ملی با رقم کنترل معتبر و شمارهٔ کارت ۱۶ رقمی با آزمون لون. مقدارهای مشکوک در نتیجه نمایش داده نمی‌شوند.
• ردیف کاملاً تکراری یعنی همهٔ خانه‌ها پس از حذف فاصلهٔ ابتدا و انتها یکسان باشند. شمارهٔ ردیف‌ها شمارهٔ خط در فایل شماست (با سطر عنوان).
• اصلاح‌ها فقط روی نسخهٔ تازه اعمال می‌شوند؛ خروجی CSV با BOM و UTF-8 است و هر خانه‌ای که با = + − @ شروع شود یک علامت ' می‌گیرد تا اکسل آن را فرمول اجرا نکند.

• این ابزار سازگاری داده را می‌سنجد، نه درستی‌اش را: عددی که غلط ولی خوش‌قالب ثبت شده باشد از این بررسی رد می‌شود.
• تشخیص اطلاعات شخصی کامل نیست: نام و نشانی الگوی ثابت ندارند و فقط از نام ستون حدس زده می‌شوند. «پیدا نشد» به معنی «ندارد» نیست.
• حدس نوع ستون ممکن است اشتباه کند؛ مثلاً ستونی از کدهای عددی (کد پستی) عددی دیده می‌شود. بازه و میانه‌اش را به‌عنوان کمیت تفسیر نکنید.
• مقدار پرت اشتباه نیست تا وقتی با منبع چک نشده؛ حذف پنهانی آن خودش خطاست.
• فایل اکسل (xlsx) مستقیم خوانده نمی‌شود تا هیچ فرمول یا ماکرویی اجرا نشود؛ خروجی CSV بگیرید. سقف: ۲۵ مگابایت، ۲۰۰٬۰۰۰ ردیف، ۲۰۰ ستون.