پایایی و روایی پرسشنامه کرنباخ
دسترسی سریع
پایایی و روایی پرسشنامه کرنباخ
پايايي يكي از مهمترين ويژگی ها براي ابزارهاي سنجشي است كه جهت اندازهگيري متغيرها يا سازههای پنهان طراحي شدهاند. بدون داشتن يك ابزار پايا نميتوان به نتايج پژوهش اعتماد كافي داشت و در صورت تكرار پژوهش، نتايج میتواند دارای تفاوت معنيدار با مرحله اول باشد. هر چند پايایی شرط كافي برای اعتماد و اطمينان به نتايج به بار آمده از يك ابزار سنجش نيست اما شرط ضروری و لازم است.
شيوههای مختلفي برای سنجش پايایی وجود دارد كه عبارتند از: آزمونـ آزمون مجدد، استفاده از فرم های موازی، دو نيمه كردن ابزار سنجش و هماهنگي دروني بين آيتمهای ابزار سنجش. برای سنجش هماهنگی درونی بين آيتمهای مختلف یک ابزار نيز از تکنیکهای مختلفی ميتوان استفاده كرد كه استفاده از ضريب آلفای كرنباخ یکی از آنهاست.
ضريب آلفای كرنباخ در علوم مختلف به ويژه علوم انسانی و پزشکی برای سنجش پايايي ابزارهای مختلف سنجش نگرش و يا آزمون های آموزشی و سنجش دانش دارای كاربرد فراوان است.
در هر حال با توجه به اينكه سنجش نگرشها بخش مهمي از مطالعات اجتماعي و به ويژه پيمايشها را به خود اختصاص داده است، اين مقاله با توجه به اين نوع از كاربرد ضريب آلفاي كرنباخ نگاشته شده است. بررسي برخی از مهمترين ابزارهاي سنجش نگرش نشان ميدهد كه اين ضريب به منظور ساخت ابزار قابل اعتماد مورد استفاده بسياری از پژوهشگران در حوزه مطالعات اجتماعي بوده است. پس از طرح ضريب آلفای كرنباخ به طور متوسط سالانه 131 بار در مقالههاي علمي به نوشته لی جی. كرنباخ در اين باره استناد شده است (Cronbach, 2004: 2).
لي جي. كرنباخ (Cronbach, 1951) كه مهمترين زمينه پژوهشي وي نظريه اندازهگيري يا سنجش مي باشد، در سال 1951 در مقالهاي با عنوان «ضريب آلفا و ساختار درونی آزمونها» اين ضريب را به جامعه علمی معرفی كرد. «ضريب آلفا بر پايه هماهنگي درونی آيتمها با يكديگر طرح شده است» (Cronbach, 1951: 301).
ضريب آلفاي كرنباخ به عنوان يكي از ضرايب پايايي يا قابليت اعتماد شناخته میشود. اين ضريب از عموميترين ضرايبي است كه توسط پژوهشگران علوم اجتماعي براي سنجش پايايي ابزارهاي مختلف جمع آوري دادهها مورد استفاده قرار ميگيرد. مهمترين علت عموميت استفاده از آن، به احتمال زياد ناشي از سادهتر بودن استفاده از اين ضريب در عمل است.
با اين وجود مباحث طرح شده در كتابهاي روش شناسی علوم اجتماعی، اغلب به اختصار از كنار آن گذشتهاند و شايد به همين دليلـ يا دلايل ديگرـ برخي ادراكات نادرست از اين ضريب در بين دانشجويان علوم اجتماعي وجود دارد.
در اين مقاله سعي شده است تا با ارايه مثالهايي از متغيرهاي جامعه شناختي و همچنين تأمل بيشتر در ويژگی های ضريب آلفای كرنباخ، امكان استفاده صحيح تر از آن فراهم شود.
ويژگی های ضريب آلفای كرنباخ
هر چند ضريب آلفا از طريق فرمولهاي مختلفي قابل محاسبه است اما عموميترين فرمول مورد استفاده كه اولين بار توسط كرنباخ ارايه شد، به شرح زير است: فرمول (1)
(Cronbach, 1951: 321; Cronbach, 2004: 9)
كه در آنk نماد تعداد آيتمها (گويه ، سؤال، معرف و…)، نماد مجموع واريانس هر يك از آيتم هاي سازنده ابزار سنجش و نماد واريانس مجموع نمرات آيتمهاي سازنده ابزار است. جمع ماتريس كوواريانس است. اين ماتريس برای داده های صفحه بعد به شرح زير است:
جدول 1: ماتريس كوواريانس، جمع و كاربرد آن در محاسبه ضريب آلفای كرنباخ
گويه چهارم |
گويه سوم |
گويه دوم |
گويه اول |
|
228/1 |
379/1 |
434/1 |
697/1 |
گويه اول |
234/1 |
345/1 |
752/1 |
434/1 |
گويه دوم |
098/1 |
661/1 |
345/1 |
379/1 |
گويه سوم |
344/1 |
098/1 |
234/1 |
228/1 |
گويهچهارم |
890/21S = |
ويژگيهاي مختلف ضريب آلفای كرنباخ به لحاظ روش شناختي و همچنين به لحاظ تكنيكي شامل موارد زير است:
1ـ ضريب آلفاي كرنباخ بر پايه هماهنگي دروني گويهها با يكديگر قرار دارد.
2ـ ضريب آلفاي كرنباخ تابع دو متغير «تعداد آيتمهاي ابزار» و «متوسط ضريب همبستگی بين آيتم ها» است.
3ـ يك ضريب آلفا به تنهايي براي آزمونهايي كه هر خوشه از گويهها در حول و حوش وجه ويژهاي از پديده مورد سنجش قرار دارند مناسب نيست (Cronbach, 2004: 20). ضريب آلفای كرنباخ مناسب براي سنجش پايایی ابزارهای تک بعدی است (SPSS Inc, 1996: 6).
4ـ مقدار ضريب آلفای كرنباخ برابر با ميانگين كليه ضرايب پايايي ممكن از طريق دو نيمه كردن است(Wuensch, 2004: 4) .
5ـ ضريب آلفاي كرنباخ به عنوان يكي از ضرايب محافظه كار شناخته ميشود به نحوي كه ضريب پايايي محاسبه شده از ساير شيوهها (نظير دونيمه كردن) مقاديري بيشتر از آلفا را نشان میدهد.
6ـ در عمل، مقدار ضريب آلفاي كرنباخ از حداقل ¥- تا حداكثر 1+ تغيير مي كند (Nichols, 1999 : 1-8).
7ـ فرمول كرنباخ داراي كاربرد گسترده است و ميتوان از آن در سنجش پايايي آزمونهاي شناختي دوگزينه اي تا مقياسهاي سنجش نگرش چندگزينهاي بهره برد (Shavelson, 2003: 381).
یک مثال
ابزاري براي سنجش متغير «نگرش به دوستي دختر و پسر قبل از ازدواج» تهيه شده است. اين ابزار شامل چهار آيتم به شرح جدول 2 است. به منظور سنجش پايايي ابزار بر اساس روش هماهنگي دروني گويهها و محاسبه ضريب آلفا، گويهها در اختيار30 نمونه تصادفي از جامعه آماري مورد مطالعه گذاشته ميشود. امتياز هر فرد انتخاب شده به عنوان نمونه براي هر يك از گويهها و همچنين جمع امتياز هر فرد پاسخگو در جدول 3 گزارش شده است.
جدول 2: گويههاي سنجش نگرش به دوستي دختر و پسر قبل از ازدواج
و نحوه امتيازدهي به پاسخها
نوع گويه |
گويــه |
گزينهها و امتياز مربوط به آن |
||||
كاملا موافق |
موافق |
بينابين |
مخالف |
كاملا مخالف |
||
مثبت |
قبل از ازدواج، داشتن رابطه با جنس مخالف براي هر فردی ضروری و لازم است. |
2+ |
1+ |
0 |
1- |
2- |
مثبت |
در داشتن رابطه منافع و تجارب زيادي هست كه به خاطر آسيب های احتمالی نبايد آن را محدود كرد. |
2+ |
1+ |
0 |
1- |
2- |
منفي |
رابطه دوستانه قبل از ازدواج، از عوامل اصلی سست شدن پايه های خانواده در حال حاضر است. |
2- |
1- |
0 |
1+ |
2+ |
منفي |
هيچ ضرورتی برای رابطه دوستی دختر و پسر قبل از ازدواج وجود ندارد. |
2- |
1- |
0 |
1+ |
2+ |
جدول 3: امتياز پاسخگويان به هر يك از گويه های طرح شده و مجموع
امتياز از چهار گويه
جمع امتياز |
گويه 4 |
گويه 3 |
گويه 2 |
گويه 1 |
رديف |
جمع امتياز |
گويه 4 |
گويه 3 |
گويه 2 |
گويه 1 |
رديف |
7+ |
1+ |
2+ |
2+ |
2+ |
16 |
5+ |
1+ |
2+ |
1+ |
1+ |
1 |
6- |
1- |
2- |
2- |
1- |
17 |
5+ |
1+ |
1+ |
1+ |
2+ |
2 |
4+ |
1+ |
0 |
2+ |
1+ |
18 |
4+ |
0 |
1+ |
1+ |
2+ |
3 |
8- |
2- |
2- |
2- |
2- |
19 |
2+ |
0 |
1+ |
0 |
1+ |
4 |
5+ |
1+ |
1+ |
2+ |
1+ |
20 |
4- |
0 |
1- |
2- |
1- |
5 |
4+ |
0 |
2+ |
1+ |
1+ |
21 |
4- |
1- |
1- |
1- |
1- |
6 |
4- |
2- |
0 |
1- |
1- |
22 |
6- |
2- |
1- |
1- |
2- |
7 |
4- |
1- |
1- |
1- |
1- |
23 |
3- |
1- |
1- |
1- |
0 |
8 |
3+ |
1+ |
0 |
1+ |
1+ |
24 |
4- |
1- |
2- |
0 |
1- |
9 |
2+ |
1+ |
1+ |
0 |
0 |
25 |
5+ |
1+ |
1+ |
2+ |
1+ |
10 |
5+ |
1+ |
1+ |
1+ |
2+ |
26 |
4+ |
1+ |
1+ |
1+ |
1+ |
11 |
4- |
2- |
1- |
1- |
0 |
27 |
6+ |
1+ |
2+ |
1+ |
2+ |
12 |
2- |
0 |
1- |
0 |
1- |
28 |
5- |
1- |
1- |
2- |
1- |
13 |
3+ |
0 |
1+ |
1+ |
1+ |
29 |
2+ |
1+ |
0 |
0 |
1+ |
14 |
8+ |
2+ |
2+ |
2+ |
2+ |
30 |
4+ |
1+ |
0 |
1+ |
2+ |
15 |
واريانس محاسبه شده برای هر يك از گويهها و مجموع امتياز چهار گويه به شرح جدول شماره 4 است.
جدول 4: واريانس محاسبه شده برای هر یک از گويه ها و مجموع نمرات
واريانس |
مقدار |
گويه اول |
697/1 |
گويه دوم |
752/1 |
گويه سوم |
661/1 |
گويه چهارم |
344/1 |
جمع گويه اول تا چهارم |
454/6 |
مجموع نمره |
890/21 |
بر اساس واريانسهاي محاسبه شده ضريب آلفاي كرنباخ برابر با 94/0 محاسبه شد. در اغلب منابع در رابطه با مقدار مطلوب براي ضريب آلفا، به نوشته نونالي استناد شده است (Nunally, 1978). بر اساس استدلال وي، براي پايا قلمداد كردن يك ابزار، حداقل مقدار 7/0 براي ضريب آلفا لازم است، لذا ميتوان ابزار طرح شده را بر اساس شيوه هماهنگي دروني گويه ها، پايا قلمداد كرد. در هر حال بايد توجه داشت كه صرف ملاك كمي را نميتوان دليل كافي براي پايايي ابزار تلقي كرد و تحليل كيفي گويهها بر اساس گفتگوهاي تخصصي در رابطه با سازه مورد نظر از اهميت بالايي برخوردار است. در اينجا فرض بر اين است كه چنين توجه و دقتي توسط پژوهشگر يا گروه پژوهشي صورت گرفته است.
محاسبه ضريب آلفاي 94/0 حاكي از وجود واريانس مشترک (كوواريانس) بالا و در جهت مثبت بين واريانسهاي چهار گويه طرح شده است. وجود واريانس مشترك بالا باعث مي شود واريانس مجموع نمرات بسيار بيشتر از جمع واريانس تك تك گويهها شود و در نهايت ضريب به مقدار يك نزديك شود. ميتوان چهار حالت اصلی زير را در باره واريانس گويه هاي مختلف در اشكال زير ترسيم نمود:
كوواريانس اندك ـ مثبت ـ و ضريب آلفای نزديك به صفر (ابزار غيرپايا) |
كوواريانس بالا ـ مثبت ـ و ضريب آلفای نزديك به یک (ابزار پايا) |
كوواريانس كامل ـ مثبت ـ و ضريب آلفاي استاندارد یک (ابزار پايا) |
فقدان كوواريانس و ضريب آلفای برابر صفر (ابزار غيرپايا) |
شكل 1: برخی حالات اصلینسبت واريانس مجموع نمرات بهجمع واريانس تک تک آيتمها
آلفای كرنباخ تابع همبستگی بين آيتمها و تعداد آنها
همانطور كه گفته شد ضريب آلفاي كرنباخ، شاخصي از هماهنگي دروني در بين آيتمها قلمداد ميشود. بر اين اساس انتظار داريم كه هر چه همبستگي بين آيتمها بيشتر شود، مقدار ضريب آلفا افزايش يابد. در اين رابطه ميتوان اين موضوع را ذكر كرد كه ضريب آلفاي كرنباخ تابع «متوسط ضرايب همبستگي بين آيتم ها» ست.
همچنين اين ضريب تابع تعداد آيتمهاست. افزايش تعداد آيتمها، اغلب بر مقدار ضريب خواهد افزود. تعداد كم آيتمها (مثلا دو آيتم) باعث ميگردد كه تغييرات كم در نوع پاسخها به شدت بر ضريب همبستگي بين آيتمها اثر گذارد، لذا ثبات آن كمتر است. در برابر با تعداد زيادتر آيتم براي سنجش يك متغير (مثلا ده آيتم)، تغيير اندك در نوع پاسخها اثر قابل توجهي بر مقدار ضرايب همبستگي نخواهد گذاشت، لذا ابزار پاياتر قلمداد خواهد شد.
بر اساس آنچه ذكر شد ضريب آلفاي كرنباخ تابع دو عامل «متوسط ضرايب همبستگي بين آيتمها» و «تعداد آيتمها»ست. در اين رابطه ميتوان فرمول زير را ارايه كرد:
فرمول (2)
(SPSS Inc, 1996: 1)
كه در آن k نماد تعداد آيتمها و r نماد متوسط ضرايب همبستگي بين آيتمهاست. در رابطه با مثال ارايه شده ماتريس همبستگي و متوسط آن به شرح زير است:
جدول 5: ماتريس همبستگي بين چهار گويه سنجش «نگرش به رابطه دوستي
دختر و پسر قبل از ازدواج»
گويهچهارم |
گويه سوم |
گويه دوم |
گويه اول |
|
1 |
گويه اول |
|||
1 |
8321/0 |
گويه دوم |
||
1 |
7884/0 |
8217/0 |
گويه سوم |
|
1 |
7348/0 |
8046/0 |
8131/0 |
گويهچهارم |
متوسط ضرايب هبستگي بين گويهها = 7991/0 |
بر اساس فرمول ارايه شده مقدار ضريب آلفا برابر با 94/0 محاسبه مي شود.
تك بعدي بودن ابزار سنجش
اگر متغير مورد سنجش يك سازه تك بعدي است، انتظار ميرود كه همبستگي بالايي بين آيتمها وجود داشته باشد، لذا مقدار ضريب آلفا بالا خواهد بود. اما چنانچه متغير مورد مطالعه يك سازه چند بعدي است نميتوان انتظار داشت كه بين آيتمهاي متعلق به ابعاد مختلف همبستگي بالايي وجود داشته باشد و در اين حالت مقدار ضريب آلفا، از مقدار 1+ فاصله خواهد گرفت و احتمالا به پايينتر از مقدار 7/0 كاهش خواهد يافت. فرض كنيد كه مايل هستيم متغيري به نام «دين داري» را اندازهگيري كنيم. ابتدا چهار آيتم به شرح زير در نظر گرفته ايم:
جدول 6: گويههاي طرح شده براي سنجش دين داري و نحوه امتياز دهي به پاسخ ها
نوع گويه |
گويـــه |
گزينهها و امتياز مربوط به آن |
||||
كاملا موافق |
موافق |
بينابين |
مخالف |
كاملا مخالف |
||
مثبت |
به وجود خداوند يكتا باور دارم. |
5 |
4 |
3 |
2 |
1 |
منفي |
باورندارمكه فرشتگان وجود داشتهباشند. |
1 |
2 |
3 |
4 |
5 |
مثبت |
نمازم را مرتب می خوانم. |
5 |
4 |
3 |
2 |
1 |
منفي |
در گرفتن روزه چندان مصمم نيستم. |
1 |
2 |
3 |
4 |
5 |
60 نفر پاسخگو كه به طور تصادفي از جامعه آماري تعريف شده انتخاب شده اند، به چهار گويه فوق پاسخ داده اند. ماتريس همبستگي، واريانس هر يك از گويهها و واريانس مجموع نمرات به شرح جداول 6 و 7 است:
جدول 7: واريانس محاسبه شده براي هر يك از گويهها و مجموع نمرات
واريانس |
مقدار |
گويه اول |
823/0 |
گويه دوم |
575/0 |
گويه سوم |
800/0 |
گويه چهارم |
993/0 |
جمع گويه اول تا چهارم |
191/3 |
مجموع نمره |
326/6 |
جدول 8: امتياز پاسخگويان به هر یک از گويه های طرح شده و مجموع
امتياز از چهار گويه
جمع امتياز |
گويه 4 |
گويه 3 |
گويه 2 |
گويه 1 |
رديف |
جمع امتياز |
گويه 4 |
گويه 3 |
گويه 2 |
گويه 1 |
رديف |
13 |
2 |
2 |
5 |
4 |
16 |
13 |
1 |
2 |
5 |
5 |
1 |
13 |
3 |
3 |
4 |
3 |
17 |
10 |
1 |
2 |
4 |
3 |
2 |
16 |
4 |
3 |
5 |
4 |
18 |
10 |
1 |
2 |
4 |
3 |
3 |
16 |
4 |
3 |
5 |
4 |
19 |
14 |
2 |
3 |
5 |
4 |
4 |
14 |
3 |
4 |
3 |
4 |
20 |
12 |
2 |
3 |
4 |
3 |
5 |
11 |
1 |
2 |
3 |
5 |
21 |
13 |
3 |
3 |
4 |
3 |
6 |
19 |
4 |
5 |
5 |
5 |
22 |
10 |
1 |
2 |
4 |
3 |
7 |
17 |
3 |
4 |
5 |
5 |
23 |
13 |
2 |
2 |
5 |
4 |
8 |
11 |
1 |
2 |
4 |
4 |
24 |
15 |
3 |
3 |
5 |
4 |
9 |
13 |
2 |
3 |
4 |
4 |
25 |
13 |
3 |
3 |
4 |
3 |
10 |
13 |
2 |
3 |
4 |
4 |
26 |
14 |
2 |
3 |
5 |
4 |
11 |
13 |
1 |
2 |
5 |
5 |
27 |
15 |
3 |
4 |
5 |
3 |
12 |
13 |
3 |
1 |
5 |
4 |
28 |
8 |
1 |
2 |
3 |
2 |
13 |
14 |
3 |
1 |
5 |
5 |
29 |
9 |
2 |
2 |
3 |
2 |
14 |
13 |
2 |
2 |
5 |
4 |
30 |
8 |
1 |
2 |
3 |
2 |
15 |
ضريب آلفاي كرنباخ با در نظر گرفتن چهار گويه براي سنجش متغير دين داري برابر با 661/0 محاسبه شده است. با توجه به محتواي هر يك از گويهها، چنين به نظر ميرسد كه اين چهار گويه، شايد در دو گروه دوتايي قابل طبقهبندي هستند. به نحوي كه ميتوان گفت دو گويه اول متغير «باورهاي ديني» و دو گويه دوم «انجام مناسك ديني» را اندازهگيري ميكنند. با استفاده از تحليل عاملي ميتوان اين موضوع را به آزمون گذاشت. نتيجه تحليل عاملي نشان ميدهد كه ميتوان دو گويه اول را به عنوان يك عامل يا بعد و دو گويه ديگر را نيز به عنوان عامل يا بعد دوم در نظر گرفت.
جدول 9: نتيجه تحليل عاملی برای تأييد ابعاد دوگانه نهفته در چهار گويه طرح شده
Factor Analysis
بر اساس نتايج به دست آمده، اين راه حل در برابر محقق قرار ميگيرد كه ضريب آلفاي كرنباخ را براي هر يك از ابعاد دوگانه فوق بنحو جداگانه محاسبه نمايد (بحث تك بعدي بودن ضريب آلفاي كرنباخ). واريانس مجموع نمرات گويههاي اول و دوم و همچنين واريانس مجموع نمرات گويه سوم و چهارم در جدول زير گزارش شده است:
جدول 10: واريانس محاسبه شده برای هر یک از گويهها و مجموع نمرات
واريانس |
مقدار |
مجموع گويه اول و دوم |
202/2 |
مجموع گويه سوم و چهارم |
786/2 |
بر اين اساس محاسبه ضريب آلفا براي هر يك از ابعاد دو گانه تعريف شده برابر 73/0 و 71/0 محاسبه مي شود كه نتيجه قابل قبولتري نسبت به وضعيت قبلي است. در واقع، در حالت قبل (تك بعدی در نظر گرفتن یک ابزار دو بعدی) محاسبه ضريب پايايي، با زيربرآورد همراه بود
1ـ بر اساس نظر كرلينجر (1986) در حاليكه آزمون ـ آزمون مجدد بيشتر ويژگي ثبات (Stability) را اندازه ميگيرد استفاده از فرمهاي موازي، دونيمه كردن و هماهنگي دروني گويه هاي به ويژگي دقت (Accuracy) سنجش مرتبط است.
2ـ در اين رابطه رجوع شود به : ميلر، دلبرت. (1380). راهنماي سنجش و تحقيقات اجتماعي (ترجمه هوشنگ نايبي). تهران، نشر ني. تاريخ انتشار به زبان اصلي 1991.
3. Measurement Theory
4. Inter-Item Consistency
1ـ فرمول مربوط به محاسبه ضريب آلفاي كرنباخ غيراستاندارد است.
2ـ اخذ اين ماتريس در بسته نرم افزاری SPSS/Windows از طريق Scale-Statistics-Inter-Iitem Covariances امكان پذير است.
.
1. Inter-Item Correlation
2. Unidimensional Instruments
3ـ مثال ارايه شده از پژوهش انجام شده با عنوان «تحليلي بر روابط دوستانه دانشجويان دختر و پسر در دانشگاه صنعتي اصفهان» كه در سال 1383 توسط نگارنده اجرا شده، اخذ گرديده است.
1ـ در صورت خواست محقق براي كند و كاو بيشتر در دادههاي گردآوري شده ميتوان به آزمون اين فرضيه صفر كه «متغيرهای مورد مطالعه از جامعه آماري يكساني اخذ شده اند» يا اينكه «ميانگين گويههاي مورد مطالعه با يكديگر برابرند» دست زد. در اين رابطه ميتوان از آزمونهاي Friedmann Chi-Square ، Cochran Chi-Square يا F با توجه سطح سنجش متغيرهاي مورد مطالعه و نوع توزيع آنها بهره برد.كليه آزمون های ذكرشده دربسته نرم افزاری SPSS/Windows در دسترس است.
.
1ـ در قسمت پاياني مقاله درباره حالتي كه كوواريانس منفي بين واريانس آيتمهاي مختلف برقرار است، ارايه شده است.
.
1ـ قيد اغلب مربوط به شرط طرح مناسب گويههايي است كه به لحاظ نظري با ساير گويهها مرتبط باشند.
2ـ اين وضعيت در رابطه با تعداد افراد مورد مطالعه براي سنجش پايايي ابزار نيز صادق است. هر چند در فرمول ارايه شده ضريب آلفا تابع تعداد نمونه مورد مطالعه نيست اما كمي تعداد نمونه مورد مطالعه (بعنوان مثال 10 نفر) باعث مي شود كه پاسخگويي با دقت كم تنها يك يا دو پاسخگو بر مقدار واقعي ضريب اثر نامطلوب گذارد. . افزايش تعداد نمونه با صلاحيت براي پاسخگويي به سؤالات منجر به برآورد دقيقتر و واقعيتري از ضريب آلفا ميشود.
.
نقل از مجله پژوهشی دانشگاه اصفهان (علوم انسانی)، جلد نوزدهم ـ شماره 2 ـ سال، 84
نظرات
هیچ نظری وجود ندارد.
افزودن نظر
Sitemap
Copyright © 2017 - 2023 Khavarzadeh®. All rights reserved