انواع روایی در روش تحقیق
روایی (یا اعتبار) و پایایی (یا قابلیت اطمینان) ابزارها پژوهش در پدیده‌های اجتماعی و سازمانی، اکثراً از طریق معرف‌ها صورت می‌گیرد. برای مثال، زمانی که هدف ارزیابی وجهه‌ی یک استاد بین دانشجویان است، گفته می‌شود رعایت نظم، داشتن سواد، بیان درست و… در زمره‌ی معرف‌ها یا شاخص‌های یک معلم خوب‌اند. حال سؤال این است که:
- آیا این شاخص‌ها واقعا نشان از معلمی خوب دارند؟
۲. آیا مجموع این شاخص‌ها در نهایت برای شناخت و ارزیابی معلمی خوب کافی هستند؟
این سؤال‌ها بااعتبار تجربی مرتبط‌اند؛ بنابراین می‌توان گفت که مسئله‌ی شناسایی اعتبار تحقیق، مخصوصاً در دانش‌های اجتماعی – انسانی، از آن رو مطرح می‌شود که تحقیق غال با در زمینه‌ی امر نظری صورت می‌گیرد؛ یعنی پژوهش باواسطه و غیرمستقیم است (از طریق شاخص‌ها صورت می‌گیرد). پس در محاسبه‌ی اعتبار تحقیق، سؤال اصلی که محقق برای خود مطرح می‌کند، چنین است: آیا شخص در حال اندازه گیری درست آن چیزی است که در اندیشه‌ی اندازه گیری آن است؟
مقصود از روایی آن است که وسیله‌ی اندازه گیری بتواند واقعاً خصیصه‌ی مورد نظر را اندازه بگیرد، نه صفت دیگری را. روایی آن خصیصه‌ی ابزار و یا روش جمع آوری داده‌هاست که دانستن آن خصیصه، همان مقولاتی را تعیین می‌کند که برای تعیین آن مقولات طرح ریزی شده است. در این صورت اعتبار یک وسیله‌ی اندازه گیری آن است که اگر خصیصه‌ی مورد سنجش را با همان وسیله (وسیله‌ی مشابه و قابل مقایسه با آن) تحت شرایط مشابه دوباره اندازه گیری کنیم تا چه حد نتایج به دست آمده مشابهت دقیق و قابل اعتماد داشته باشند. یک وسیله (ابزار) معتبر آن است که دارای ویژگی تکرارپذیری و بازیافت پذیری باشد، یعنی بتوان آن را در موارد متعدد به کار برد و در همه‌ی موارد نتایج یکسانی به دست آورد. «اگر روشهای اندازه گیری فاقد اعتبار کافی و معقول باشد، اجرای پژوهش‌های تجربی بی‌معنی خواهد بود» (ساروخانی، ۱۳۸۶، ۱۴۴-۱۴۳).
انواع روایی
در این قسمت صرف روایی ابزار سنجش را بررسی خواهیم کرد؛ یعنی وقتی مجموعه‌ای از سؤال‌ها را می‌پرسیم (تدوین یک ابزار سنجش) امید داریم که مفهوم را انعکاس دهیم، چگونه می‌توان به‌طور معقول مطمئن شد آن چه را که قصد آن داشته‌ایم برای سنجش تعیین کرده‌ایم و نه چیز دیگری؟ این امر می‌تواند با به‌کارگیری آزمونهای خاص روانی تعیین شود. برای آزمون درستی و خوب بودن سنجه‌ها، انواع آزمونهای روانی مورد استفاده قرار می‌گیرد. نویسندگان برای تفهیم آزمونهای روانی اصطلاحات مختلفی به کار می‌گیرند، برای وضوح موضوع، می‌توانیم آزمونهای روایی را تحت سه عنوان کلی گروه بندی کنیم: روایی محتوا، روایی معیار و روایی سازه (دانایی فرد و همکاران، ۱۳۸۳، ۳۱۳).
پیشنهاد موضوع پایان نامه دکتری با مقاله بیس ۲۰۲۱
موضوع رساله دکتریهمراه با مقاله بیس ۲۰۲۱
– روایی محتوا
روانی محتوا ایجاد اطمینان می‌کند که همه ابعاد و مؤلفه‌هایی که می‌توانند مفهوم مورد نظر ما را انعکاس دهند، در آن سنجه وجود دارد. هر چه وجود این ابعاد و مؤلفه‌ها در سنجه، جهت انعکاس مفهوم، بیشتر باشد، روانی محتوا بیشتر می‌شود. در شرایط مختلف، محتوا تابعی است از ترسیم و تعیین خوب ابعاد و مؤلفه‌های مفهوم. «روانی صوری»، شاخصی بسیار جزئی از روایی محتواست. روایی صوری نشان می‌دهد که ابعاد و مؤلفه‌هایی که برای سنجش یک مفهوم مطرح می‌گردند، به‌طور ظاهری نیز این مهم را نشان می‌دهند و می‌بینیم که آنها مفاهیم را مورد سنجش قرار می‌دهند.
– روایی وابسته به معیار
روایی وابسته به معیار وقتی ایجاد می‌شود که سنجه‌ی مورد نظر، افراد را بر اساس معیاری که انتظار پیش بینی آن می‌رود، متمایز سازد. این امر می‌تواند به‌وسیله‌ی ایجاد «روانی همزمان» یا «روایی پیش بین» آن طور که ذیلاً تشریح می‌گردد، انجام شود. روایی همزمان موقعی ایجاد می‌گردد که مقیاس، افرادی که مشخص است نسبت به یکدیگر متفاوتند را از هم متمایز می‌کند؛ یعنی باید در آزمون، نمرات متفاوتی بگیرند. برای مثال، اگر یک سنجه در مورد اخلاق کار تدوین می‌شود و در مورد گروهی از دریافت کنندگان خدمات رفاهی اجرا می‌گردد، مقیاس باید افرادی که مایلند شغلی را بپذیرند و از زیر چتر خدمات رفاهی بیرون آیند را از کسانی که می‌خواهند تحت پوشش خدمات رفاهی باقی بمانند و خواهان شغلی نباشد، متمایز گرداند، زیرا کسانی که برای اخلاق کار ارزش زیاد قائل‌اند، نمی‌خواهند تحت پوشش خدمات رفاهی باشند و خواهان و مشتاق پذیرش شغل هستند. از طرف دیگر کسانی که برای اخلاق کار ارزش کمی قائل‌اند، ممکن است تمایل داشته باشند کماکان از خدمات رفاهی برخوردار باشند ولی اشتغال به کاری نداشته باشند. اگر هر دو نوع از افراد، نمره یکسانی بر اساس مقیاس اخلاق کاری بگیرند، آن گاه آزمون نتوانسته است سنجه‌ای از اخلاق کار باشد، بلکه سنجه‌ای از چیز دیگری بوده است.
روایی پیش بین، توانایی آزمون سنجه برای ایجاد تفکیکی بین افراد، در خصوص یک سنجه است که در آینده رخ می‌دهد. برای مثال، اگر نوعی آزمون استعداد یا توانایی، از کارکنان در زمان استخدام به عمل می‌آید، انتظار می‌رود افراد را بر اساس عملکرد مورد انتظار آینده‌ی آنها تفکیک کند، آن گاه افرادی که نمرات ضعیفی دریافت می‌کنند، باید کارکنان ضعیفی باشند و افرادی که نمرات بالا از روی مقیاس به دست می‌آورند باید کارکنان خوبی باشند. آزمونها ممکن است از روانی پیش بینی کنندگی بالا، متوسط و یا پایینی برخوردار باشند.
– روایی سازه
روایی سازه دلالت بر این دارد که نتایج به دست آمده از کاربرد سنجه‌ها تا چه حد با تئوری‌هایی که آزمون بر اساس آنها طراحی شده، سازگاری دارد. این روایی از طریق «روایی همگرا» و «روایی واگرا (تشخیصی)» ارزیابی می‌شود. روایی همگرا زمانی ایجاد می‌شود که نمرات به دست آمده از دو ابزار مختلف، همان مفهومی را بسنجد که به میزان زیادی به آن مرتبط می‌شود. روایی تشخیصی زمانی ایجاد می‌شود که وقتی بر اساس تئوری پیش بینی می‌شود که دو متغیر همبستگی ندارند، نمرات به دست آمده از طریق سنجش آنها نیز به‌طور تجربی همین امر را تأیید می‌کند.
روایی سازه بیشتر از روایی محتوایی جنبه‌ی نظری دارد. بنا به تعریف، یک آزمون در صورتی دارای روایی سازه است که نمرات حاصل از اجرای آن به مفاهیم یا سازه‌های نظریه‌ی مورد نظر مربوط باشند (کرونباخ، ۱۹۷۰). برای مثال، یک آزمون یا پرسشنامه ی اضطراب در صورتی دارای روایی سازه است که نمرات حاصل از آن، با سازه‌هایی که در نظریه های اضطراب آمده اند ارتباط داشته باشد.
مثال دیگر، آزمون خواندن و فهمیدن درک مطلب است، این آزمون در صورتی دارای روایی سازه است که نمرات آن به‌طور مستقیم به میزان درک و فهم دانش آموزان از مطالب خواندنی (مانند کتاب های درسی) مربوط باشد.
روایی می‌تواند به روشهای مختلف ایجاد شود. سنجه‌های منتشره برای متغیرهای تحقیق مختلف معمولا اشکال گوناگونی از روایی را گزارش می‌دهند که برای سنجش و ارزیابی طراحی شده اند، بطوری که کاربر، استفاده کننده و یا خواننده بتواند در مورد «درستی و خوب بودن» سنجه قضاوت کند (دانایی فرد و همکاران، ۱۳۸۳، ۳۱۳-۳۱۵).
– روایی صوری
روایی صوری به این مطلب اشاره می‌کند که سؤال‌های آزمون تا چه حد در ظاهر شبیه به موضوعی هستند که برای اندازه گیری آن تهیه شده اند. در واقع روایی صوری نمی‌تواند نوعی روایی باشد، بلکه تنها یک ویژگی آزمون است که در پاره ای مواقع وجود آن مفید به نظر می رسد. ثرندایک و هگن (۱۹۷۹) در رد اهمیت روایی صوری گفته اند: در واقع آنچه تعیین می‌کند که یک آزمون چه چیزی را اندازه می‌گیرد، تکالیفی است که به‌وسیله‌ی سؤال آزمون معرفی می شوند و کسی که بخواهد روایی محتوایی یک آزمون را در رابطه با برنامه درسی مورد قضاوت قرار دهد یا قدرت پیش بینی آزمون را تعیین کند، باید سؤال‌های آزمون را به دقت بررسی کند و برای این منظور، به صورت ظاهر آزمون، چندان اعتنایی نمی کنیم.
با وجود اظهارات فوق، ثرندایک و هگن (۱۹۷۹) می گویند که گاه صورت ظاهر یک آزمون (روایی صوری)، از لحاظ قابلیت پذیرش و معقول بودن آزمون برای آزمون شوندگان، دارای اهمیت است. می‌توان گفت تا آن اندازه که ظاهر آزمون بر انگیزش آزمون شونده اثر می گذارد، روایی صوری می‌تواند مهم باشد. در بعضی آزمونها، به ویژه آزمونهای استخدامی، اگر آزمون فاقد روایی صوری باشد، آزمون شونده ممکن است علاقه ای به جواب دادن به سؤال‌های آزمون از خود نشان ندهد، زیرا ممکن است چنین تصور شود که آزمون به تصمیم های مربوط به استخدام او ربطی ندارد. نتیجه اینکه، روایی صوری، هر چند ضامن اندازه گیری دقیق نیست، اما ممکن است بر انگیزش آزمون شونده و در نتیجه بر روایی نمرات حاصل از آزمون تأثیر داشته باشد.
هر چند روایی صوری یک ویژگی مطلوب آزمون است، در بعضی آزمونها این ویژگی نه تنها ضروری نیست، بلکه بهتر است وجود نداشته باشد. برای مثال: اگر کسی بخواهد بیماری روانی را در افراد معین کند، بهتر است آزمونی را مورد استفاده قرار دهد که روایی صوری اندکی دارد (دیک و هگرتی ۱۹۷۹، ص ۹۵).
روایی صوری یک شکل از اشکال روایی محتوا است که معمولا به صورت عددی بیان نمی شوند. گردآوری چنین شواهدی اساسا و ضرورت مبتنی بر داوری است و چنین داوری هایی باید برای هر هدفی به‌طور جداگانه انجام پذیرد. گردآوری این شواهد شامل بازبینی دقیق و موشکافانه است تا تعیین شود آیا محتوا و هدفهایی که آزمون اندازه گیری می‌کند، هدف آن مطالبی است که حیطه ی محتوا را تشکیل می‌دهند یا خیر؟ اگر تمام داوران (خبرگان امر) توافق کنند که پرسش های آزمون حیطه ی محتوایی را به اندازه ی کافی منعکس می‌کنند، می‌توان گفت آزمون، دارای روایی محتوا است. همچنین این نکته نیز باید مشخص شود که آزمون، از عواملی که با هدف اندازه گیری نامرتبط هستند، تاثیر نپذیرفته است.
با این حال، «قضاوتهای مربوط به روایی محتوایی نه قطعی هستند و نه نهایی؛ آزمونها از سطوح مختلف روایی برخوردارند و متخصصان در قضاوت های خود همیشه با هم توافق نظر ندارند» (مرفی و شوفر ۱۱۰، ۱۹۹۴).
تعریف اعتبار درونی و بیرونی
به‌طور کلی طرح تحقیق همانند طرح یک ساختمان است. همانطور که در طرح یک ساختمان، با توجه به ضرورت ایجاد آن، چگونگی رابطه ی اجزاء آن منعکس است، در طرح تحقیق نیز با توجه به هدف آن، چگونگی گردآوری و تنظیم داده ها و نیز تبدیل آنها به اطلاعات و سرانجام دست یافتن به یافته های تحقیقاتی، نمایان می‌شود؛ اما نسبت به یافته های تحقیقاتی یک طرح تا چه اندازه می‌توان اطمینان داشت؟ در پاسخ به این سؤال باید اعتبار درونی تحقیق را مورد نظر قرار دهیم. علاوه بر این تا چه اندازه می‌توان یافته های تحقیق را در محیط های جغرافیایی یا شرایط دیگر تعمیم داد؟ این سؤالی است که با اعتبار بیرونی تحقیق سروکار دارد. در قسمت های قبل به این نکته اشاره شد که به‌وسیله‌ی تحقیق آزمایشی می‌توان به برقراری رابطهی علت – معلولی میان متغیرها پرداخت. برای مثال اگر بخواهیم تأثیر یک متغیر مستقل (روش تدریس) را بر یک متغیر وابسته یادگیری دانش آموزان بررسی کنیم، طرح تحقیق مناسب یک طرح آزمایشی است؛ اما در بررسی یاد شده که منظور آن شناسایی اثرهای یک متغیر بر متغیر دیگر است، در صورتی فرایند تحقیق از دقت لازم برخوردار است که بتوان اثر سایر متغیرهاناخواسته را کنترل کرد. درجهی کنترل متغیرهای ناخواسته را اعتبار درونی تحقیق می نامند؛ به عبارت دیگر، اعتبار درونی تحقیق نمایانگر آن است که تا چه اندازه یافته های تحقیق از صحت و دقت لازم برخوردار است. عوامل چندگانهای اعتبار درونی را خدشه دار می‌کند که در قسمت های بعد به بیان آنها خواهیم پرداخت.
سؤال دیگری که دربارهی یافته های یک طرح تحقیق مطرح است، مربوط به میزان تعمیم پذیری یافته هاست. تا چه اندازه می‌توان تأثیر متغیر مستقل را بر متغیر وابسته تعمیم داد؟ در پاسخ به این سؤال باید اعتبار بیرونی طرح را مورد نظر قرار داد؛ به عبارت دیگر اعتبار بیرونی با این امر سرو کار دارد که تا چه اندازه یافته های تحقیق که با استفاده از یک نمونه به دست آمده است، به گروه وسیع تری از آزمودنی هایا شرایط دیگری قابل تعمیم است. دو نوع اعتبار بیرونی را می‌توان مورد نظر قرار دادن الف) اعتبار بیرونی با توجه به جامعه ی مورد مطالعه، ب) اعتبار بیرونی زیست محیطی (۲۱۰,۱۹۸۴, McMillan & Schumacher). در اعتبار بیرونی جمعیتی، تعمیم یافته ها به جامعه ی آماری مد نظر قرار می‌گیرد. در حالی که در اعتبار بیرونی زیست محیطی، یافته های تحقیق از یک مجموعه شرایط ویژه که پژوهشگر در چارچوب آنها تحقیق خود را به انجام رسانده است، به شرایط طبیعی تعمیم داده می‌شود. در ادامه به بیان عواملی که اعتبار درونی و بیرونی را تحت تأثیر قرار می‌دهند می پردازیم.
عوامل مؤثر بر اعتبار درونی
- انتخاب اختلافی: در برخی از طرح های آزمایشی، ممکن است پژوهشگر ناخواسته افراد قوی تری را برای گروه آزمایشی انتخاب کند. این امر باعث می‌شود که نتیجه ی آزمایش تحت تأثیر قرار گیرد.
۲. افت آزمودنیها: در طول اجرای تحقیق ممکن است برخی از آزمودنیها به دلایل مختلف از ادامه ی مشارکت در تحقیق خودداری کنند. در نتیجه، آزمایش با افت آزمودنیها روبرو خواهد بود. این امر بر نتیجه ی نهایی تحقیق می‌تواند اثر نامطلوب داشته باشد.
٣. پیش آزمون (عامل آزمون): در بسیاری از طرح های آزمایشی که در علوم رفتاری اجرا می‌شود، معمولا قبل از عمل آزمایشی، یک پیش آزمون بر روی آزمودنی ها اجرا می‌شود. پس از پیش آزمون، عمل آزمایشی اجرا شده و سرانجام آزمون نهایی (پس آزمون) اجرا می‌شود. از آنجا که معمولا پیش آزمون و پس آزمون مشابه است، آزمودنیها با گذراندن پیش آزمون تجربه ی بیشتری کسب می‌کنند و در آزمون نهایی پاسخ های بهتری عرضه می‌کنند. این عامل می‌تواند نتیجه ی نهایی را خدشه دار کند.
۴. ابزار اندازه گیری: ابزار اندازه گیری که برای سنجش متغیر وابسته به کار می‌رود، باید از قابلیت اعتماد و اعتبار لازم برخوردار باشد. در صورتی که ابزار به کار رفته از ویژگی های لازم برخوردار نباشد، نتایج تحقیق تحت تأثیر این عامل قرار خواهد گرفت.
۵. تداخل اعمال آزمایشی: اگر آزمودنی های گروه کنترل بدانند که عملکردشان با گروه دیگری مقایسه می‌شود، ممکن است سعی کنند تا برتری خود را نشان دهند؛ به عبارت دیگر اگر آزمودنیها از شرایط آزمایشی یکدیگر با اطلاع باشند، این امر می‌تواند به عدم تفکیک اعمال گروه آزمایشی و کنترل از یکدیگر منجر شود.
۶. همزمانی (تاریخچه): چنانچه طرح تحقیق همزمان با اجرای یک فعالیت مشابه به اجرا درآید، یا رویداد بالقوه مؤثری روی متغیر وابسته اثر بگذارد، در این صورت ممکن است نتیجه ی آزمایش خدشه دار گردد.
برای مثال اگر در یک تحقیق، هدف بررسی تأثیر آموزش برنامه ای در مقایسه با آموزش به روش سخنرانی در یادگیری درس ریاضی در پایه سوم راهنمایی تحصیلی باشد و همزمان با اجرای این تحقیق، برنامه ی آموزش ریاضی از تلویزیون پخش شود، این امر می‌تواند نتیجه ی آزمایش را تحت تأثیر قرار دهد.
۷. بلوغ (پختگی): ممکن است در جریان اجرای تحقیق، آزمودنی ها از نظر جسمانی و روانی تغییر کنند. برای مثال در طول آزمایش، دانش آموزان ممکن است از نظر ذهنی تواناتر شوند. این امر می‌تواند بر نتیجه ی آزمایش اثر نموده و آن را خدشه دار کند.
۸ تعامل (اثر متقابل) انتخاب با سایر عوامل: در برخی از طرحهای آزمایشی، عامل انتخاب آزمودنی ها با برخی از عوامل از جمله رشد آنان تعامل داشته و در نتیجه تحقیق تأثیر می گذارد. برای مثال، اگر هدف یک طرح آزمایشی، بررسی تأثیر فیلم سرگذشت علم بر میزان علاقه ی کودکان زیر هفت ساله به کوشش های علمی باشد، چنانچه در انتخاب آزمودنیها، همسانی گروههای آزمایش و کنترل از لحاظ سن رعایت نشود، گروهی که کودکان آن دارای سن بالاتری هستند ممکن است به جهت بالاتر بودن سن، عکس العمل متفاوتی از گروه دیگر نشان دهند. در این صورت تفاوت مشاهده شده را نمی‌توان ناشی از عمل آزمایشی (نمایش فیلم) قلمداد کرد. بدیهی است در سنینی که سرعت رشد سریع تر است، این تعامل بیشتر وجود دارد.
۹. رگرسیون آماری: بعضی اوقات آزمودنی ها بر اساس نمره ی کسب شده در یک درس (یا صفت متغیر) به گروه های آزمایش و کنترل منتسب میشوند. در این حالت ممکن است افرادی انتخاب شوند که در انتهای طیف مقیاس اندازه گیری باشند (آزمودنی ها با نمرات بسیار بالا یا آزمودنیها با نمرات بسیار پایین در پیش آزمون). در این صورت چنانچه پیش آزمون و پس آزمون اجرا شود، نمره های پس آزمون تحت تأثیر عامل رگرسیون آماری قرار می‌گیرد. چنانچه افراد ضعیف به گروه آزمایشی منتسب شده باشند، نمرهی آنان در پس آزمون به طرف میانگین تمایل پیدا کرده و در موقع مقایسه، نمره های پیش آزمون و پس آزمون ممکن است تفاوت مثبتی را نشان دهد. برعکس چنانچه آزمودنی های قوی انتخاب شده باشند، مقایسه ی نمره های پس آزمون آنان با نمره های پیش آزمون می‌تواند تفاوتی منفی نشان دهد. این امر به علت تمایل نمره های آنان به طرف میانگین نمره ها است؛ بنابراین عامل رگرسیون آماری، در برخی طرح های آزمایشی که انتخاب افراد بر اساس نمره های نهایی دو طرف طیف یک متغیر قرار می‌گیرد، می‌تواند نتایج نهایی را تحت تأثیر قرار دهد. تأثیر این عامل بیشتر در مواردی مشاهده می‌شود که پیش آزمون مورد استفاده قرار گیرد.
۱۰. تحلیل آماری: استفاده از روشهای آماری نامناسب ممکن است باعث نتیجه گیری های غیر دقیق شود.
برای مثال ممکن است تفاوت میان گروه آزمایش و کنترل معنی دار تلقی شود در حالی که معنی دار نباشد و بالعکس. در سایر تحلیل های آماری نیز ممکن است چنین اشتباهی رخ دهد.
۱۱. سوگیری پژوهشگر: در برخی از موارد، پژوهشگر ممکن است انتظارات خود را از نتایج آزمایش به آزمودنیها تلقین کند. این امر خود در نتایج آزمایش تأثیر می گذارد. در برخی از پژوهش ها، از جمله پژوهش‌های پزشکی، با اجرای طرح های مختلفی همچون طرح کور مضاعف از تأثیر این عامل جلوگیری می‌شود.
منابع:
دانایی فرد، حسن.، الوانی، مهدی؛ و آذر، عادل.، (۱۳۸۳)، روش شناسی پژوهش کمی در مدیریت رویکرد جامع: چاپ اول، جلد اول: تهران انتشارات صفار- اشراقی.
دانایی فرد، حسن.، الوانی، مهدی؛ و آذر، عادل.، (۱۳۸۳)، روش شناسی پژوهش کمی در مدیریت رویکرد جامع: چاپ اول، جلد دوم: تهران انتشارات صفار- اشراقی.
ساروخانی، باقر.، (۱۳۸۶)، روشهای تحقیق علوم اجتماعی در مدیریت، چاپ اول، تهران، انتشارات میر.
برگرفته از ریسرچ پروپوزال
