معرفی مفهموم Bagging و Boosting در داده کاوی

این مفهوم برای تولید مدلهای چندگانه (برای پیش بینی یا رده بندی) به کار می رود. الگوریتم Boosting برای اولین بار توسط Schapire در سال ۱۹۹۰ به کار گرفته شد، به طوری که اثبات کرد که یک کلاسه کننده ضعیف زمانی می‌تواند تبدیل به یک کلاسه‌کننده قوی شود که در قالب (probably approximately correct (PAC قرار گیرد. Adaboost یکی از معروف‌ترین الگوریتم‌های این خانواده می‌باشد که جزء ۱۰ الگوریتم برتر داده کاوی محسوب می‌شود.

در این روش، اریبی در کنار واریانس کاهش می‌یابد و مانند ماشین‌های بردار پشتیبان حاشیه‌ها افزایش می‌یابند. این الگوریتم از کل مجموعه داده به منظور آموزش هر دسته‌کننده استفاده می‌کند، اما بعد از هر بار آموزش، بیشتر بر روی داده‌های سخت تمرکز می‌کند تا به درستی کلاسه بندی شوند. این روش تکراری تغییر انطباقی به توزیع داده ها آموزش با تمرکز بیشتر بر روی نمونه هایی است که قبلا بطور صحیح کلاس بندی نشده اند.

در ابتدا تمام رکوردها وزن یکسانی میگیرند و برخلاف bagging وزن ها در هر تکرار افزایش پیدا خواهند کرد. وزن نمونه هایی که به اشتباه طبقه بندی شده اند افزایش خواهد یافت در حالی که آن دسته از نمونه‌هایی که بدرستی کلاس بندی شده اند وزنشان کاهش خواهد یافت. سپس وزن دیگری به صورت مجزا به هر دسته‌کننده با توجه به دقت کلی آن  اختصاص داده می‌شود که بعدا در فاز تست مورد استفاده قرار می‌گیرد. دسته‌کننده‌های دقیق از ضریب اطمینان بالاتری برخوردار خواهند بود. در نهایت هنگام ارائه یک نمونه جدید هر دسته کننده یک وزن پیشنهاد می‌دهد و لیبل کلاس با رأی اکثریت انتخاب خواهد شد.

معرفی مفهموم Bagging در داده کاوی

این مفهوم برای ترکیب رده بندی های پیش بینی شده از چند مدل به کار می رود. فرض کنید که قصد دارید مدلی برای رده بندی پیش بینی بسازید و مجموعه داده های مورد نظرتان کوچک است. شما می توانید نمونه هایی ( یا جایگزینی ) را از مجموعه داده ها انتخاب و برای نمونه های حاصل ازدرخت رده بندی CHAID و RT&C استفاده نمایید. به طور کلی برای نمونه های مختلف به درخت های متفاوتی خواهید رسید. سپس برای پیش بینی با کمک درخت های متفاوت به دست آمده از نمونه ها ، یک رای گیری ساده انجام دهید. رده بندی نهایی، رده بندی ای خواهد بود که درخت های مختلف آنرا پیش بینی کرده اند .