یکی از مواردی که در تحقیقات کیفی باید با آن توجه کرد پایایی می باشد، پایایی در تحقیقات کیفی بر اساس اندازه توافق (بین کد گذاران) سنجیده می شود. شاخصی که به وسیله آن اندازه توافق یا به عبارت دیگر پایایی تحقیقات کیفی سنجیده می شود، ضریب کاپای کوهن (Cohen’s kappa coefficient)نامیده می شود. پس آنچه که در ضریب کاپای کوهن به دنبال آن هستیم ارزیابی اندازه توافق بین دو فرد، پدیده و یا منبع تصمیمگیری است که هر یک به صورت جداگانه دو کمیت اصلی ما را مورد اندازهگیری قرار دادهاند.
ضریب کاپا و تحلیل آماری مبتنی بر آن اندازهای عددی بین ۱- تا ۱+ است، که هر چه به ۱+ نزدیکتر باشد بیانگر وجود توافق متناسب و مستقیم میباشد. اندازههای نزدیک به ۱- نشاندهنده وجود توافق وارون و عکس و اندازههای نزدیک به صفر عدم توافق را نشان میدهد. به عنوان مثال در نظر بگیرید که مصاحبه ای توسط دو نفر به صورت جداگانه کد گذاری می شود، اگر واحد تحلیل در این پژوهش جمله باشد و آن ها جمله ای را کد گذاری کنند میزان توافق بین آن ها مهم می باشد، و این سوالات مطرح می شود آیا هر دو نفر این جمله را کدگذاری کرده اند؟ آیا آن ها جمله را تحت یک مضمون کد گذاری کرده اند یا اینکه مضمون های آن ها متفاوت می باشد؟ محقق با استفاده از ضریب کاپا میتواند به ارزیابی درجه و میزان توافق این دو کدگذار بپردازد. مثال دیگر این است که محققی مصاحبه ای را در دو شرایط مختلف کدگذاری کرده باشد. مثلا اگر متن مصاحبه شده با یک فرد را دوبار توسط یک کدگذار کدگذاری کرده باشد ( یکبار قبلاً از آشنایی کدگذار با مصاحبه شونده و دفعه دیگر بعد از آشنایی کد گذار با مصاحبه شوند) . ممکن است این سوال برایش پیش بیاید که میزان توافق بین کدها در این دو مرحله کد گذاری به چه میزان می باشد.
جاکوب کوهن)۱۹۶۰( شاخص کاپا را معرفی کرد که شباهت زیادی به پی اسکات دارد.
kappa = Pi = (PAo – PAE)/ (1 – PAE )
مقدار PAo نمایانگر میزان توافق دو ارزیاب است.
مقدار PAE نیز نمایانگر میزان توافق مورد انتظار است.
ضریب کاپای کوهن و Pi اسکات در نحوه محاسبه توافق مورد انتظار با هم متفاوت هستند. در حالیکه در فرمول pi اسکات نسبت های مشاهده شده در هر یک از ارزش های یک طبقه به توان ۲ می رسد، در فرمول کاپا، نسبت یک ارزش خاص در یک طبقه که به وسیله کدگذار استفاده شده است، در نسبت استفاده از همان ارزش به وسیله کدگذار دوم ضرب میشود. این نسبت ها سپس با هم جمع میشوند تا توافق مورد انتظار به دست آید. چنانچه مقدار این ضریب از 6/0 بیشتر باشد پایایی وجود دارد.
محاسبه ضریب کاپای کوهن در نرم افزار کمی Spss
فرض کنید از والدین و معلمان این سوال می شود که آیا با تنبیه بدنی در مدارس موافق هستید یا نه؟ بعد از جمع آوری داردها در spss اگر موافق باشند نمره 1 و اگر مخالف باشند نمره صفر می دهیم. حال برای بررسی میزان این توافق و معناداری آن در این نرم افزار باید مسیر زیر را طی کنیم.
Analyze → Descriptive Statistics → Cross Tabs
در پنجره باز شده یکی از گروهها را به ردیف Ros(s) و دیگری را به Column(S) انتقال می دهیم و از تب Statistics با انتخاب ضریب Kappa، نتیجه مورد نظر ارائه می شود.برای مشاهده ی دقیق این عمل و تفسیر آن درSpss توصیه می شود فیلم زیر را مشاهده نمایید.
محاسبه ضریب کاپای کوهن در نرم افزار کیفی Nvivo
برای بررسی میزان توافق بین کد گذاران نرم افزار کیفی Nvivo از منوی Explore باید گزینه Coding cpmparison انتخاب شود و در پنجره باز شده گروه کد گذارها را انتخاب و گزینه Display Kappa Coefficient را انتخاب کنیم.
برای مشاهده ی دقیق این عمل و تفسیر آن در Nvivo توصیه می شود فیلم زیر را مشاهده نمایید.