Statistics and data · Ramin Khavarzadeh · 05 Sep 2023 · 8 min read

معرفی رگرسیون ناپارامتری

Table of contents

هدف از رگرسیون ناپارامتری ، برآورد تابع رگرسیون به صورت مستقیم است. رگرسیون ناپارامتری اثر یک یا چند متغیر مستقل را روی یک متغیر وابسته بررسی می کند، بدون اینکه از قبل تابع ویژه ای را برای ارتباط بین متغیر مستقل و وابسته در نظر گرفته باشد.

رگرسیون ناپارامتری را می توان از لحاظ تعداد متغیرهای مستقل به دو گروه زیر تقسیم بندی کرد:

1- تک متغیره (رگرسیون ساده ناپارامتری) ${Y_i} = m({x_i}) + {\varepsilon _i}$

2- چند متغیره (رگرسیون جمعی ناپارامتری) ${Y_i} = {m_0} + {m_1}({x_{i1}}) + {m_2}({x_{i2}}) + ... + {m_k}({x_{ik}}) + {\varepsilon _i}$

به طوری که ${m_j}(.)$ ها، $j = 1,...,k$ ، تابع های رگرسیونی جزئی گفته می شود و ${\varepsilon _i} \sim (0,\sum {^2)}$ .

رگرسیون ساده ناپارامتری یکی از ساده ترین مدل های رگرسیونی ناپارامتری است که در آن متغیر مستقل به صورت تک متغیره در نظر گرفته می شود. در این مدل، داده ها به صورت $({x_i},{y_i})$ ، $i = 1,2,...,n$ ، هستند که غالباً ها به صورت صعودی مرتب شده اند و داریم:

$m({x_i}) = E({Y_i}|{X_i} = {x_i})$

با توجه به این که در این روش، نمودار پراکنش ${y_i}$ برحسب ${x_i}$ کاربرد زیادی دارد، در برخی از مراجع نام هموارسازی پراکنش نیز برای این روش در نظر گرفته شده است.

توجه کنید که در انواع روش های برازش یک نمودار به داده ها، منظور از هموار سازی، برازش یک نمودار مشتق پذیر به داده هاست.

(m(x در معادله رگرسیونی سادۀ ناپارامتری تابعی است که رفتار ذاتی داده ها را ارائه می دهد و به تصادف یا شانس وابسته نیست. مقدار برآورد شدۀ (m(x را با

$\hat m(x)$ نمایش می دهیم که تابعی هموار از x است.

همانطور که در رگرسیون پارامتری گفتیم همیشه برازش چند جمله ای به روش کمترین مربعات مناسب نیست زیرا در این روش تنها یک چندجمله ای به ناحیه ای که داده ها در درون آن قرار گرفته اند، برازش داده می شود. برازش تنها یک معادله به تعداد زیادی از داده ها با رفتار پیچیده گاهی به نتایج نامطلوبی منجر می شود.. اینکه بدانید رگرسیون ریچ چیست و چه کاربردی دارد نیز می تواند در حل معادلات بسیار به شما کمک کند.

این مشکلات به مفهوم افراز کردن داده ها به چند ناحیه برای برازش منحنی به داده ها در هر ناحیه و عطف آنها به طوری که برآوردگرهای مناسب و مفیدی باشند، منتهی می شود.

در واقع ساده ترین روش، برازش معادلۀ یک منحنی به صورت پاره ای (تکه ای) است به این شرط که برآوردها در انتهای هر زیر ناحیه مقادیر یکسانی را اختیار کنند. انواع روش هایی که در رگرسیون ساده ناپارامتری برای برآورد (m(x وجود دارند، عبارتند از:

1- رگرسیون نادارایا - واتسون (برآوردگر هسته ای)

2- رگرسیون چندجمله ای موضعی

3- اسپلاین هموارساز

4- روش LOESS

اما در رگرسیون جمعی که در بالا معرفی شد، داده های نمونۀ تصادفی به صورت $\left\{ {({x_i},{y_i})} \right\}_{i = 1}^n$ هستند، به طوری که ${y_i} \in \mathbb{R}$ و ${x_i} \in {\mathbb{R}^k}$ . همچنین ${m_0}$ مقداری ثابت است که توسط $E(Y)$ برآورد می شود و تابع های رگرسیونی جزئی $j = 1,2,...,n$ ، که به وسیلۀ داده ها برآورده می شوند، تابع هایی هموار هستند به طوری که برای هر j>0 ، $E\left[ {{m_j}({X_j})} \right] = 0$ .