
روايی ابزار اندازهگیری (VALIDITY)
روایی ابزار اندازهگیری (Validity) یا اعتبار ابزار اندازهگیری بدین معناست که آیا روش یا ابزاری که برای اندازهگیری یک سازه ساخته شده است میتواند خصیصه مورد نظر را درست اندازه گیری کند. بنابراین روایی میزان انطباق تعریف مفهومی یک متغیر یا سازه با تعریف عملیاتی آن است. مثلا فرض کنید یک محقق پرسشنامهای برای سنجش عزت نفس طراحی کرده است. این پرسشنامه هنگامی از روایی برخوردار است که آیتمهای آن واقعا انعکاس دهنده مفهوم عزت نفس باشند و به گونهای نباشد که سازه دیگری را ارزیابی کند. روایی ابزار اندازهگیری اهمیت بسیاری در نتایج پژوهش دارد. به طوریکه اندازه گیریهای نامناسب میتواند تاثیر منفی در نتایج پژوهش داشته باشد و پژوهش علمی را بی ارزش سازد. زیرا ممكن است ابزار بکار رفته خصيصه ديگری را اندازه گيري کرده باشد که مدنظر این تحقیق نیست.
پايايی ابزار اندازه گيری (RELIABILITY)
پايايي ابزار اندازه گيري (Reliability) یا قابليت اعتماد با اين امر سروكار دارد كه ابزار اندازهگيري در شرايط يكسان تا چه اندازه نتايج يكساني به دست ميدهد. به این معنی که اگر ابزار اندازهگیری را در یک فاصله زمانی کوتاه چندین بار به یک گروه واحد از افراد بدهیم، در نتایج به دست آمده اختلاف چندانی مشاهده نکنیم. برای اندازهگیری پایایی شاخصی به نام ضریب پایایی استفاده میکنیم. دامنه ضریب پایایی از صفر (عدم پایایی) تا ۱+ (کامل كامل) است. ضریب پایایی صفر معرف عدم پایایی و ضریب پایایی یک معرف پایایی کامل است. پایایی کامل به ندرت دیده میشود و در صورت مشاهده باید به دیده تردید به آن نگریست.
روايي ابزار اندازهگیری (VALIDITY)
روایی ابزار اندازهگیری (Validity) یا اعتبار ابزار اندازهگیری بدین معناست که آیا روش یا ابزاری که برای اندازهگیری یک سازه ساخته شده است میتواند خصیصه مورد نظر را درست اندازه گیری کند. بنابراین روایی میزان انطباق تعریف مفهومی یک متغیر یا سازه با تعریف عملیاتی آن است. مثلا فرض کنید یک محقق پرسشنامهای برای سنجش عزت نفس طراحی کرده است. این پرسشنامه هنگامی از روایی برخوردار است که آیتمهای آن واقعا انعکاس دهنده مفهوم عزت نفس باشند و به گونهای نباشد که سازه دیگری را ارزیابی کند. روایی ابزار اندازهگیری اهمیت بسیاری در نتایج پژوهش دارد. به طوریکه اندازه گیریهای نامناسب میتواند تاثیر منفی در نتایج پژوهش داشته باشد و پژوهش علمی را بی ارزش سازد. زیرا ممكن است ابزار بکار رفته خصيصه ديگری را اندازه گيري کرده باشد که مدنظر این تحقیق نیست.
روایی دارای دو جنبه است:
- روایی درونی Internal validity – بیانگر آن است که ابزارها یا روش های مورد استفاده در پژوهش همان چیزی را که فکر میکنیم، اندازه گیری کنند. در واقع روایی درونی بیانگر کنترل متغیرهای ناخواسته یا میزان دقت یافتههای تحقیق است. به عنوان مثال: در بخشی از یک آزمایش برای بررسی استرس افراد، عکسی از جنایات جنگی به آنها نشان داده شده است. پس از مطالعه، از آنها خواسته اند که که احساس خود را درباره تصاویر بازگو نمایند. پاسخ همه افراد این است که تصاویر بسیار ناراحت کننده بودهاند. در این مطالعه تصاویر مورد استفاده از اعتبار درونی خوبی برای ایجاد استرس برخوردارند. روایی درونی، روایی محتوا و روایی همگرا، روایی واگرا و … را در برمیگیرد.
- روایی بیرونی External validity – روایی بیرونی با تعمیم پذیری نتایج سروکار دارد. فرض کنید میخواهیم این ادعا که مطالعه مستمر از مطالعه شب امتحان بهتر است را بررسی کنیم. به منظور برخورداری از روایی بیرونی، این بررسی را باید با بیش از یک درس (مثلا تاریخ و ریاضی) انجام دهیم. همچنین این مطالعه باید برای افرادی فراتر از نمونه مورد بررسی اعمال شود (روایی آماری).
انواع روایی ابزار اندازهگیری (Validity)
در ادبیات از عناوین مختلفی برای توصیف روایی ابزار اندازهگیری (Validity) استفاده شده است. در بسیاری از این ادبیات، روایی سازه نیز به عنوان یکی از انواع مختلف روایی مانند روایی صوری، روای پیشبین و … ارائه میشود. ولی برخی مانند William M.K. Trochim معتقدند که روایی سازه یک ویژگی جامع و فراگیر است که سایر انواع روایی را دربرمیگیرد. وی معتقد است هر زمان که شما یک مفهوم یا سازه را به یک کارکرد یا عملکرد واقعی برگردان میکنید (عملیاتی کردن)، باید نگران خوب بودن یا بد بودن این برگردان باشید. بنابراین در اینجا ما دستهبندی Trochim را ارائه میکنیم که همه اصطلاحات روایی را شامل میشود و هریک به طرق مختلف به بررسی جنبههای گوناگون روایی میپردازند.
روایی سازه، با انجام یک رشته از فعالیتهایی که پژوهشگر از طریق آنها به طور همزمان سازههایی را تعریف و ابزارهایی را برای اندازهگیری آنها میسازد، به دست میآید (شریفی و شریفی، ۱۳۹۳، ص ۲۷۶). روایی سازه در واقع دقت عملیاتی کردن یک سازه را نشان میدهد و همه اصطلاحات دیگر به این قضیه به روشهای مختلف میپردازند.
Trochim بین دو نوع روایی سازه تفاوت قایل میشود که عبارتند از: روایی ترجمه و روایی وابسته به ملاک. تمرکز روایی ترجمه بر این است که آیا تعریف عملیاتی انجام شده، سازه موردنظر را به خوبی انعکاس میدهد. این رویکرد ماهیت تعریفی دارد. به این معنی که شما یک تعریف خوب و دقیق از سازه دارید که عملیاتی کردن سازه را میتوانید برمبنای آن انجام دهید.
در روایی وابسته به ملاک به این مسئله پرداخته میشود که آیا عملیاتی کردن ابزار در همان جهتی پیش رفته که تئوری سازه شما ارائه میکند. روایی ملاكي عبارتست از كارآمدي يك ابزار اندازه گيري در پيش بيني رفتار يك فرد در موقعيت هاي خاص. رویکرد، نگرش رابطهای به روایی سازه دارد. روایی وابسته به ملاک برای مقایسه آزمون با یک یا چند ملاک به کار برده میشود. غالبا این ملاک، آزمون یا ابزار اندازه گیری دیگری است که نزدیک به همان چیزی است که آزمون ما ادعا میکند در حال اندازه گیری آن است. البته آن آزمون دیگر باید از ویژگیهای روان سنجی برخوردار باشد. همبستگی بین نمرات دو آزمون در یک نمونه مرتبط به عنوان ضریب روایی بکار میرود. بعلاوه، این ملاک می تواند در گذشته، حال و یا آینده وجود داشته باشد.
الف) روایی ترجمه
روایی ترجمه شامل روایی صوری و روایی محتوا است. این دو نوع روایی صحت و دقت ترجمه و برگردان یک سازه به تعریف عملیاتی آن است.
-
روایی صوری (face validity):
روایی ظاهری یا صوری بیانگر آن است که سئوالات آزمون تا چه حد از نظر ظاهری شبیه به موضوعی هستند که برای اندازهگیری آن تهیه شدهاند. روایی صوری به قضاوت سازنده آزمون بستگی دارد و زیاد مورد اعتماد نیست. هرچند روایی صوری مطلوب است ولی گاهی بهتر است که وجود نداشته باشد. مثلا برای تشخیص بیماری روانی در افراد، بهتر است آزمون مورد استفاده روایی صوری اندکی داشته باشد. روایی صوری نوع خاصی از روایی محتوایی است. به همین دلیل برای تعین روایی صوری نیز از نظر متخصان استفاده میشود.
-
روایی محتوا (content validity):
یک ابزار اندازه گیری هنگامی دارای روایی محتواست که تمامی جنبههای مختلف سازهی موردنظر را در نظر بگیرد. روایی محتوا اغلب با تکیه بر دانش افراد و متخصصان ذیربط اندازه گیری میشود. ابزار اندازهگیری معمولا در اختیار کارشناسان مرتبط با موضوع قرار داده شده و از آنها خواسته میشود که در رابطه با اینکه آیا هر یک از سوالات قادر به اندازه گیری سازه مربوطه هست یا نه بازخورد دهند. سپس بازخوردهای آنها تجزیه و تحلیل شده و در مورد اثر بخشی هر سوال تصمیم گیری میکنند.
ب) روایی وابسته به ملاک
در روایی وابسته به ملاک، ابزار اندازه گیری ساخته شده با یک یا چند ملاک مقایسه میشود. این نوع روایی تفاوتی با روایی محتوا دارد؟ در روایی محتوا، معیار همان تعریف خود سازه است که این یک مقایسه مستقیم میباشد. در روایی وابسته به ملاک، ما معمولا پیش بینی میکنیم که آیا ابزار ساخته شده با تئوری زیربنایی سازه ما مطابقت دارد. تفاوت میان انواع مختلف روایی وابسته به ملاک در ملاکهایی است که برای قضاوت بکار میبرند. انواع روایی ملاکی عبارتند از:
۱- روایی پيشبين (Predictive Validity):
در روایی پیشبین به ارزیابی توانایی ابزار در پیشبینی چیزی است که به لحاظ نظری باید قادر به پیشبینی آن باشد، میپردازیم. روایی پيشبين ویژه آزمونهایی است که برای پیشبینی موفقیت افراد در امور تحصیلی با شغلی به کار میروند، مانند آزمونهای ورودی دانشگاهها، آزمونهای استخدامی. برای تعیین روایی پیشبین یک آزمون ورودی دانشگاه باید ضريب همبستگي نمرات بین داوطلبان ورود به دانشگاه در این آزمون را با نمرات آنان در درسهایی که بعدا در دانشگاه میگیرند، تعیین کنیم. به عبارت ديگر ضريب همبستگي نمره هاي حاصل از اجراي آزمون با نمره هاي متغير ملاك، نمايانگر اعتبار پيش بين است. هرچه این ضریب بزرگتر باشد، آزمون دارای روایی بیشتر و هرچه این ضریب کوچکتر باشد، آزمون دارای روایی کمتری خواهد بود.
۲- روایی همزمان (Concurrent Validity):
روایی همزمان نوعی روایی پیشبین است که در آن رابطه بین دو آزمون به طور همزمان تعیین میشود. درحالیکه در روای پیشبین متغیر ملاک در آینده یعنی پس از گذشت یک فاصله زمانی اندازهگیری میشود. کاربرد روایی همزمان در مواردی است كه بخواهیم معلوم کنیم آیا میتوان يكی از دو ابزار اندازه گيري را به جاي ديگري مورد استفاده قرار داد. برای مثال اگر در یک درمانگاه روانی، نتایج حاصل از اجرای یک پرسشنامه برای تشخیص نوعی بیماری روانی در بین مراجعان را با نظر متخصصانی که این بیماران را معاینه کردهاند، مقایسه کنیم. در اینصورت روایی همزمان این پرسشنامه را بررسی کردهایم.
۳- روایی همگرا (Convergent Validity):
روایی همگرا از طریق همبستگی نمرههای یک ابزار با با نمرههای ابزارهای دیگری که همان سازه را اندازه میگیرند، به دست میآید. اگر همبستگي بين ابزارهايي كه سازه واحدي را اندازه گيري ميكنند بالا باشد، آن ابزار دارای روایی همگرا ميباشد.
۴- روایی واگرا (divergent Validity) یا افتراقی (Discriminant Validity):
اگر یک ابزار چیزی را اندازهگیری کند که با خصایصی که به وسیله سایر ابزارها اندازهگیری میشود، تفاوت داشته باشد، به آن روایی واگرا یا افتراقی میگویند. روایی واگرا یا افتراقی در واقع اثبات یگانگی یک ابزار اندازهگیری است. چنانچه بين ابزار موردنظر با ابزارهايي كه سازههاي متفاوتي را اندازه گيري ميكنند، همبستگي وجود نداشته باشد یا پايين باشد، آزمون داراي روایی واگرا یا افتراقی است.
روشهای بهبود روایی ابزار اندازهگیری (Validity)
- اطمینان حاصل کنید که اهداف کلی و عینی خود را به وضوح تعریف و عملیاتی نمودهاید. یعنی باید انتظارات خود را بنویسید.
- معیار اندازه گیری را با اهداف کلی و عینی خود مطابقت دهید. علاوه بر این، آزمون یا ابزار اندازه گیری باید جهت دریافت بازخورد توسط افراد خبره یا متخصصانی که در تهیه ابزار شما دخیل نبوده اند، مورد بازنگری قرار گیرد.
- از گروه هدف بخواهید کلمات، جمله بندی های دشوار و یا مشکلات دیگر در ابزار اندازه گیری را مشخص کنند.
منابع:
- شریفی، حسن پاشا و شریفی، نسترن. (۱۳۹۳). اصول روانسنجی و روان آزمایی. تهران: انتشارات رشد. چاپ دوم.
- سیف، علی اکبر. (۱۳۸۴). اندازه گیری، سنجش و ارزشیابی آموزشی. تهران: نشر دوران. چاپ هفدهم.
پايايي ابزار اندازه گيري (RELIABILITY)
پايايي ابزار اندازه گيري (Reliability) یا قابليت اعتماد با اين امر سروكار دارد كه ابزار اندازهگيري در شرايط يكسان تا چه اندازه نتايج يكساني به دست ميدهد. به این معنی که اگر ابزار اندازهگیری را در یک فاصله زمانی کوتاه چندین بار به یک گروه واحد از افراد بدهیم، در نتایج به دست آمده اختلاف چندانی مشاهده نکنیم. برای اندازهگیری پایایی شاخصی به نام ضریب پایایی استفاده میکنیم. دامنه ضریب پایایی از صفر (عدم پایایی) تا ۱+ (کامل كامل) است. ضریب پایایی صفر معرف عدم پایایی و ضریب پایایی یک معرف پایایی کامل است. پایایی کامل به ندرت دیده میشود و در صورت مشاهده باید به دیده تردید به آن نگریست.
پایایی دو جنبه دارد. جنبه اول پایایی، تکرارپذیری ابزار اندازه گيري است. بدین معنی که اگر اگر مطالعه ای در همان گروه نمونه برای بار دوم انجام شود، به همان نتایج قبلی دست یابد. جنبه دیگر پایایی، همسانی یا سازگاری میان سؤالات پرسشنامه یا ابزار اندازه گيري است. به عنوان مثال اگر همه سؤالات پرسشنامه شما رضایت شغلی را میسنجد، انتظار میرود که همه پاسخها تقریباً سازگار و نامتناقض باشند.
بر این اساس، برای محاسبه ضریب پایایی ابزار اندازهگیری، روشهای مختلفی به کار برده میشود که عبارتند از:
الف) آزمون – آزمون مجدد یا روش بازآزمایی (test – retest):
در اين روش آزمون را در نمونه واحدی از آزمودنيها در دو زمان متفاوت تحت شرايط يكسان اجرا میکنیم. سپس ضريب همبستگي بین نمرات بدست آمده از دو آزمون محاسبه ميشود که به آن ضريب ثبات یا پايايي آزمون گفته میشود. روش بازآزمايي براي اندازه گیری خصایصی مانند هوش مناسب است که در طول زمان تغییر نمیکنند. البته به یاد داشته باشید که نتايج دو آزمون عینا مثل هم نمیشوند. زیرا ميتوانند تحت تاثير تمرين (تجربه) و حافظه آزمودنيها و یا افت انگیزه، رغبت، عوامل محیطی و … قرار بگیرند.
ب) روش موازی یا روش آزمونهای همتا (parallel test):
در این روش آزمون دارای دو فرم همتاست. یعنی هر دو برای اندازه گیری خصیصه واحدی تهیه شده اند. این دو آزمون از نظر قدرت تشخیص، سطح دشواری و محتوای درونی یکسان ولی از نظر شکل ظاهری تفاوتهایی با هم دارند. بهترین روش برای ارزيابي قابليت اعتماد در آزمونهای رواني و پیشرفت تحصیلی است.
ضريب پایایی بر اساس همبستگي نمرات دو آزمون همتا به دست ميآيد.
ج) روش دونیمه کردن آزمون (split – half method):
برخلاف روش موازی، این آزمون فقط یک بار در یک گروه نمونه اجرا میشود. بعد آن را به دو نیمه تقسیم و هر نیمه به طور جداگانه نمره گذاری میشود. سپس همبستگي بين نمرات اين دو نيمه محاسبه میشود. براي محاسبه ضريب پایایی كل آزمون از فرمول اسپيرمن- براون استفاده میشود. این روش شکلی از همساني دروني آزمون است و به خصوص زمانی مناسب است که آزمون بسیار طولانی است.
اگر سطح دشواری سوالها در سراسر آزمون یکسان باشد، میتوان همبستگی نیمه اول را با نیمه دوم حساب کرد. اما اگر سطح دشواری یکسان نباشد، ضریب همبستگی بین سوالهای زوج و فرد محاسبه میشود.
د) روش کودر _ ریچاردسون (Kuder – Richardson):
كودر و ريچاردسون روشی را براي محاسبه ضریب همبستگی بین دو نیمه آزمون ابداع کردند که همساني دروني محتوای آزمون را نشان میدهد. این روش برخلاف روش دونیمه کردن و استفاده از فرمول اسپيرمن- براون مستلزم یکسانی واریانس دو نیمه آزمون نمیباشد.
ه) روش آلفای کرونباخ (Cronbach Alpha):
يكي ديگر از روشهاي بررسی همساني دروني فرمول كرونباخ است. اين روش نشان میدهد که سئوالات آزمون تا چه اندازه خصيصه واحدی را اندازه گيري مي كنند. ضریب آلفا برای آزمونهایی مناسب است که پاسخها نگرش افراد را روی یک پیوستار از مخالفت کامل تا موافقت کامل نشان میدهند.
اندازه ضریب پایایی
در تحقیقات علوم اجتماعی غالبا ضریب پایایی بالاتر از ۰.۷۰ قابل قبول است. البته میزان ضریب اعتبار به هدف اندازه گیری نیز بستگی دارد. اگر آزمون برای هدفهای پژوهشی به کار میرود یا آزمونهایی که ریسک بالایی ندارند، ضریب پایایی بین ۰.۷۰ تا ۰.۸۰ کافی است. در حالی که در در مطالعات بالینی یا آزمونهایی که ریسک بالایی دارند، به عنوان مثال پذیرش دانشگاه این مقدار باید بیشتر از ۰.۸۵ باشد. همچنین، به زعم برخی از نویسندگان هنگام تصمیم گیری درباره اینده افراد، این رقم باید بیش از ۰.۹۵ باشد.
عوامل موثر بر ضريب پایایی
ضريب پایایی يك آزمون را میتوان به روشهای زیر افزایش داد:
۱- افزایش تعداد سئوالات: با افزایش تعداد سئوالها، احتمال اینکه آزمون معرف واقعی خصیصه مورد اندازه گیری باشد بیشتر می شود. براي مثال ضريب پایایی يك آزمون ۳۰سوالي ميتواند بيشتر از يك آزمون ۲۰ سوالي باشد.
۲- سوال هاي مشابه از نظر محتوا و با سطح دشواري متوسط، قابليت اعتماد آزمون را افزايش ميدهد.
۳- حذف سئوالات ناهمساز: با حذف سئوالاتی که همبستگی پایینی با کل آزمون دارند، میتوان ضريب پایایی را افزایش داد. زیرا به احتمال زیاد این سئوالات چیزی غیر از خصیصه موردنظر را میسنجند.
لازم به ذكر است كه ضريب قابليت اعتماد در تفسير نتايج مهم بوده و شرط اساسي در انتخاب يك ابزار اندازه گيري است.