پایایی بین کدگذاران: ضریب کاپای کوهن و آلفای کریپندورف

بارگذاری داده‌ها

ستون‌ها را مستقیماً از کاربرگ بچسبانید (همراه با سطر عنوان) – در اکسل انتخاب کنید، کپی کنید و اینجا بچسبانید:

انتخاب کدگذاران و سنجه

شاخص‌های توافق بین کدگذاران چه زمانی به کار می‌روند؟

وقتی انسان‌ها ابزار اندازه‌گیری‌اند. پاسخ بازی در پیمایش که در یک موضوع طبقه‌بندی شده، پستی که "خصمانه" یا "خنثی" علامت خورده، بخشی از مصاحبه که کدی از کتابچه کدها گرفته، تشخیص بالینی از میان فهرستی از طبقه‌ها – در همه این‌ها عددی که وارد تحلیل می‌شود یک داوری است. پایایی بین کدگذاران (intercoder reliability) می‌پرسد آیا کدگذار دیگری که همان دستورالعمل‌ها را دریافت کرده بود به همان کدها می‌رسید – و بدون پاسخ مثبت، نمی‌توان دانست که آیا یافته‌ها متن را توصیف می‌کنند یا کسی را که آن را خوانده است. Cohen (1960) این را با تصویر "سنجه دوپا" (two-legged meter) بیان کرد: کدگذاران صورت‌های موازی یک ابزارند، و پرسش این است که تا چه حد با هم توافق دارند. Krippendorff (2019، فصل 11) سوی دیگر را می‌افزاید: پایایی شرط لازم روایی است، نه تضمین آن – دو کدگذار می‌توانند با هم توافق کنند و با هم اشتباه کنند.

این صفحه گام ششم در دستورالعمل کاری صفحه پردازش زبان طبیعی عبری است: پس از کدگذاری دستی یک نمونه (توسط دو نفر، یا توسط یک نفر و یک مدل)، اینجا توافق اندازه‌گیری می‌شود – و فقط اگر کافی باشد، به فراوانی‌ها، خی‌دو و همبستگی‌ها ادامه داده می‌شود.

دو ضریب، دو پرسش: κ کوهن و α کریپندورف

توافق خام (percent agreement) – سهم واحدهایی که کدگذاران درباره آن‌ها توافق داشتند – عدد شهودی است، و گمراه‌کننده: دو کدگذار که سکه می‌اندازند در دو طبقه در 50% موارد توافق خواهند داشت، و اگر یک طبقه بسیار پرتکرار باشد در 80%. همه ضرایب جدی این را به یک شکل اصلاح می‌کنند: (توافق مشاهده‌شده − توافق مورد انتظار تصادفی) / (1 − توافق مورد انتظار تصادفی). تفاوت میان آن‌ها در چیزی است که "تصادف" به شمار می‌آید.

وقتی کدگذاران طبقه‌ها را با فراوانی‌های یکسان به کار می‌برند، دو ضریب تقریباً یکسان‌اند. وقتی نه – از هم جدا می‌شوند، و در جهتی شناخته‌شده: Krippendorff (2019، بخش 11.5) دو جدول را با همان 46 مورد توافق از 100 نشان می‌دهد، که در یکی عدم توافق باقی‌مانده به‌طور متقارن پراکنده است و در دیگری در یک سو متمرکز؛ π اسکات (و α) در هر دو .186 می‌دهند، در حالی که κ در دومی از .186 به .258 می‌رسد – "این توافق نیست که افزایش یافته بلکه توانایی پیش‌بینی طبقه‌های یک کدگذار از روی طبقه‌های دیگری است"، و به ادعای او κ بدین ترتیب چیزی را می‌سنجد که پایایی نیست. Cohen (1960، ص. 41) دقیقاً همین ویژگی را مزیت می‌دانست: ترجیح نظام‌مند یک کدگذار برای طبقه‌ای معین خود منبع عدم توافق است، و نباید آن را رو به بالا اصلاح کرد. این اختلاف حل‌نشده است، و صفحه هر دو را گزارش می‌کند: κ چون خوانندگان، مجله‌ها و SPSS انتظارش را دارند؛ α چون تنها ضریبی است که سه کدگذار یا بیشتر و مقادیر گمشده را بدون دور ریختن داده‌ها مدیریت می‌کند.

نتیجه را چگونه بخوانیم؟

ماتریس توافق (جدول 1، برای دو کدگذار) جدولی است که همه چیز از آن محاسبه می‌شود: سطرها – کدگذار اول، ستون‌ها – دومی، قطر – توافق. پیش از نگاه به ضریب بهتر است به آن نگاه کنید: کدام دو طبقه با هم اشتباه گرفته می‌شوند؟ این همان مشکلی است که باید در کتابچه کدها اصلاح شود، و ضریب به‌تنهایی آن را آشکار نمی‌کند.

p_e – توافق مورد انتظار تصادفی. هر چه بالاتر باشد (یک طبقه غالب)، توافق خام کم‌اهمیت‌تر و κ کوچک‌تر است. κ_max (Cohen, 1960, Equation 6) – بیشترین کاپایی که با حاشیه‌های داده‌شده جدول می‌توان به دست آورد؛ κ_max پایین یعنی کدگذاران طبقه‌ها را با فراوانی‌های متفاوت به کار می‌برند، و "1 − κ_max سهمی از توافق است که به سبب حاشیه‌ها دست‌یافتنی نیست" – نشانه‌ای از مرزهای مبهم طبقه‌ها که آموزش می‌تواند آن‌ها را روشن‌تر کند. ASE و فاصله اطمینان – خطای استاندارد مجانبی بر اساس Fleiss، Cohen و Everitt (1969)، همان فرمول SPSS (خود Cohen در 1960 تقریب ساده‌تری داد، معادله 7، که مقداری اندکی بالاتر می‌دهد). z و p بررسی می‌کنند که آیا κ با صفر تفاوت دارد – آزمونی که خود کوهن آن را "تا حد زیادی بی‌ارزش" خواند: اینکه کاپا از صفر بزرگ‌تر است جای پرسش ندارد؛ پرسش این است که چقدر.

α – D_o میانگین عدم توافق مشاهده‌شده درون واحدهاست، D_e – عدم توافق مورد انتظار میان همه مقادیر در داده‌ها، و α = 1 − D_o/D_e. در سنجه اسمی هر عدم توافقی برابر است؛ در سنجه ترتیبی عدم توافق میان "پایین" و "بالا" از عدم توافق میان "پایین" و "متوسط" شدیدتر است؛ در سنجه فاصله‌ای – بر اساس مجذور تفاوت. از این رو α یک مقیاس 1-7 در سنجه اسمی پایین‌تر، و گاه بسیار پایین‌تر، از همان α در سنجه فاصله‌ای است: این تفاوت "خطا" نیست بلکه تعریف آن چیزی است که توافق به شمار می‌آید.

فاصله اطمینان α و q. α فرمولی برای خطای استاندارد ندارد؛ Krippendorff (2019، بخش 11.4.2) به جای آن bootstrap را پیشنهاد می‌کند: α روی هزاران نمونه مکرر از داده‌ها محاسبه می‌شود، و توزیع مقادیر به‌دست‌آمده فاصله اطمینان را می‌دهد – و آنچه برای او مهم‌تر است – q را، یعنی احتمال اینکه α از آستانه تعیین‌شده نگذرد. او می‌نویسد آزمون "آیا α با صفر تفاوت دارد" بی‌معناست؛ پرسش این است که چقدر مطمئنیم α بالاتر از .800 (یا .667) است. صفحه bootstrap واحدها را پیاده می‌کند (Efron & Tibshirani, 1993): 2,000 نمونه از N واحد با جایگذاری، α برای هر نمونه، صدک‌های 2.5 و 97.5 برای فاصله، و سهم نمونه‌های زیر .667 و .800 به‌عنوان q. دو تفاوت با ماکروی KALPHA کریپندورف: آن ماکرو جفت مقادیر را از ماتریس ترکیب‌ها نمونه‌گیری می‌کند و نه واحدها را، و از این رو فاصله‌هایش ممکن است اندکی متفاوت باشد؛ و صفحه از بذری ثابت استفاده می‌کند، به طوری که داده‌های یکسان همیشه همان فاصله را می‌دهند – قاعده سایت: محاسبه قطعی.

κ وزنی (Cohen, 1968؛ وقتی نمایش داده می‌شود که طبقه‌ها عددی باشند، سه یا بیشتر، و سنجه اسمی نباشد) – برای مقیاس‌های ترتیبی: عدم توافق میان 1 و 2 مانند عدم توافق میان 1 و 5 نیست. وزن خطی بر اساس فاصله امتیاز می‌دهد، درجه دوم – بر اساس مجذور فاصله؛ نوع درجه دوم در بسیاری موارد با همبستگی درون‌طبقه‌ای برابر است، و از این رو رایج‌تر است. هر دو در جدول هستند، زیرا انتخاب میان آن‌ها تصمیم پژوهشگر است، نه نرم‌افزار – و گزارش می‌شود کدام انتخاب شده است. κ فلایس (Fleiss, 1971؛ از سه کدگذار به بالا نمایش داده می‌شود) – تعمیم پذیرفته‌شده κ به چند کدگذار، هرچند در واقع تعمیمی از π اسکات است: توافق مورد انتظار از توزیع طبقه‌ها نزد همه با هم محاسبه می‌شود، نه نزد هر کدگذار به‌طور جداگانه. این ضریب تعداد برابری کدگذار برای هر واحد لازم دارد، و از این رو واحدهای دارای مقدار گمشده کنار گذاشته می‌شوند – برخلاف α. وقتی دو عدد نزدیک‌اند، این شاهدی است بر اینکه گمشده‌ها تصویر را تغییر نمی‌دهند. خطای استانداردی که Fleiss (1971) می‌دهد فقط تحت فرض κ = 0 معتبر است – برای آزمون z خوب است، نه برای فاصله اطمینان – و از این رو فاصله اطمینان κ_F در جدول از همان bootstrap واحدها می‌آید که برای α (فقط روی واحدهای کامل). برای κ وزنی z و p هم نمایش داده می‌شوند: آزمون κ_w = 0 با خطای استاندارد تحت H₀ بر اساس Fleiss، Cohen و Everitt (1969) – همان قراردادی که SPSS با آن Approx. T را در جدول Symmetric Measures محاسبه می‌کند، "با خطای استاندارد مجانبی با فرض فرضیه صفر" (Pallant, 2020, Chapter 16). این آزمون به پرسشی پاسخ می‌دهد که در پژوهش کدگذاری تقریباً پرسیده نمی‌شود – آیا توافق از صفر بزرگ‌تر است – و فاصله اطمینان اطلاعات سودمند است؛ این آزمون در جدول است تا خروجی با خروجی SPSS منطبق باشد.

دو خط‌کش، و تفاوتشان. Landis و Koch (1977، ص. 165) دامنه κ را به شش درجه تقسیم کردند – ناچیز، ضعیف، متوسط، قابل‌توجه، تقریباً کامل – و در همان حال افزودند که این تقسیم‌بندی "آشکارا دلبخواهی" (clearly arbitrary) است و قرار بود به‌عنوان "معیارهای سودمند" برای مثال مقاله‌شان به کار رود. این خط‌کش بسیار فراتر از قصد آن‌ها جا افتاد. Krippendorff (2019، بخش 11.4.4) به جای آن دو آستانه تعیین می‌کند: فقط به متغیرهایی با α بالاتر از .800 تکیه شود، و میان .667 و .800 فقط نتیجه‌گیری‌های محتاطانه شود – و اذعان می‌کند که حتی .800 در مقایسه با مهندسی و پزشکی "استانداردی نسبتاً پایین" است. فاصله چشمگیر است: κ = .65 نزد Landis و Koch "توافق قابل‌توجه" است و نزد Krippendorff عدم دستیابی به آستانه. صفحه هر دو را نمایش می‌دهد، و به جای داوری پرسش Krippendorff را پیش می‌کشد: هزینه نتیجه‌گیری نادرست در این پژوهش چیست؟

مفروضه‌ها و هشدارها

سه مفروضه کوهن (1960، ص. 38): واحدها مستقل‌اند؛ طبقه‌ها مستقل، ناسازگار با هم و جامع‌اند؛ و کدگذاران مستقل عمل می‌کنند. سومی همان است که در عمل می‌شکند – دو کدگذار که با هم می‌نشینند، یا کدگذار دومی که کدهای اولی را می‌بیند، "توافقی" تولید می‌کنند که پایایی نیست.

پایایی ویژگی متغیر است، نه پژوهش. Krippendorff (2019، بخش 11.4.4) از میانگین‌گیری α چند متغیر برحذر می‌دارد: متغیرهای بایگانی (تاریخ، طول) همیشه پایا هستند و میانگین را بالا می‌برند، در حالی که متغیرهای مهم – آن‌هایی که کدگذاری‌شان دشوار است – زیر آن پنهان می‌شوند. برای هر متغیر جداگانه گزارش می‌شود.

فراوانی طبقه‌ها. وقتی یک طبقه در 90% واحدها ظاهر می‌شود، حتی توافق خام 90% هم κ پایینی می‌دهد – توافق بر سر طبقه پرتکرار "مورد انتظار تصادفی" است. این ویژگی درست شاخص است (Krippendorff, 2019، بخش 11.4.1: متغیر بدون واریانس اطلاعاتی حمل نمی‌کند)، اما پژوهشگران را غافلگیر می‌کند؛ اگر متغیر تقریباً ثابت است، باید پرسید که آیا اصلاً متغیر است.

حجم نمونه برای آزمون پایایی. فاصله اطمینان κ با N کوچک می‌شود؛ Krippendorff (2019، بخش 11.4.3) پیشنهاد می‌کند تعداد واحدها چنان تعیین شود که کمیاب‌ترین طبقه به دفعات کافی ظاهر شود تا عدم توافق بر سر آن بتواند آشکار شود – نمونه‌ای از 30 واحد با طبقه‌ای که دو بار ظاهر می‌شود آن طبقه را نمی‌آزماید.

مقادیر گمشده. κ فقط بر اساس واحدهایی محاسبه می‌شود که هر دو کدگذار جفت کدگذاری کرده‌اند (حذف زوجی – مانند SPSS)؛ α از هر مقداری استفاده می‌کند که دست‌کم یک همتا در واحد خود دارد، و از این رو N برای κ و "واحدهای قابل مقایسه" برای α ممکن است در داده‌های یکسان متفاوت باشند. هر دو گزارش می‌شوند.

آنچه این صفحه محاسبه نمی‌کند. α برای واحدبندی (unitizing; Krippendorff, 2019, Section 11.6) – وقتی کدگذاران تعیین هم می‌کنند که واحد کجا آغاز می‌شود و کجا پایان می‌یابد؛ خطای استاندارد مجانبی برای κ فلایس (Fleiss, 1971، آن را فقط تحت H₀ می‌دهد؛ فاصله اطمینان – با bootstrap)؛ و فاصله اطمینان بر اساس الگوریتم خاص KALPHA (بالا را ببینید).

و این کار در SPSS چگونه انجام می‌شود؟

یادداشت نسخه‌ها. این روند از نسخه‌های بسیار قدیمی پایدار بوده است؛ نام منوهای زیر بر اساس SPSS 29 است. Cohen (1960) و Landis و Koch (1977) پیش از SPSS بودند؛ فرمول خطای استاندارد در SPSS از آن Fleiss، Cohen و Everitt (1969) است، و همان است که صفحه محاسبه می‌کند.

κ کوهن: Analyze › Descriptive Statistics › Crosstabs… – کدگذار اول به Row(s)، دومی به Column(s)، و در دکمه Statistics… گزینه Kappa علامت زده می‌شود. سینتکس:

CROSSTABS
  /TABLES=coder_A BY coder_B
  /STATISTICS=KAPPA
  /CELLS=COUNT.

در جدول Symmetric Measures: Value = κ، Asymp. Std. Error = ASE ("بدون فرض فرضیه صفر")، Approx. T = z ("با خطای استاندارد مجانبی با فرض فرضیه صفر" – دو پانوشت جدول؛ Pallant, 2020، فصل 16)، Approx. Sig. = p. جدول Crosstabulation همان ماتریس توافق است. توجه کنید: SPSS فقط وقتی κ را محاسبه می‌کند که هر دو متغیر از طبقه‌های یکسانی استفاده کنند؛ اگر یک کدگذار هرگز از طبقه‌ای معین استفاده نکرده باشد، جدول مربعی نیست و SPSS کاپا را چاپ نمی‌کند – صفحه آن را روی همه طبقه‌های مشترک محاسبه می‌کند، همان‌طور که کوهن تعریف کرده است.

κ وزنی: از نسخه 27 – Analyze › Scale › Weighted Kappa…، با وزن خطی (پیش‌فرض) یا درجه دوم و فاصله اطمینان مجانبی؛ سینتکس – در دکمه Paste پنجره گفت‌وگو. κ فلایس: در SPSS وجود ندارد؛ R را در ادامه ببینید.

α کریپندورف: فرمان داخلی وجود ندارد. ماکروی KALPHA از Hayes و Krippendorff (2007) – فایل ماکرو یک بار اجرا می‌شود، و سپس:

KALPHA judges = coder_A coder_B coder_C
  /level = 1 /detail = 0 /boot = 2000.

level: 1 اسمی، 2 ترتیبی، 3 فاصله‌ای، 4 نسبی؛ boot – تعداد نمونه‌های bootstrap برای فاصله اطمینان (0 – بدون آن)؛ الگوریتم KALPHA جفت مقادیر را نمونه‌گیری می‌کند و نه واحدها را، و از این رو فاصله‌هایش به فاصله‌های صفحه نزدیک‌اند اما یکسان نیستند. دکمه "دانلود سینتکس SPSS" در خروجی هر دو بخش را روی داده‌های بارگذاری‌شده تولید می‌کند، همراه با فرمان‌های دفترچه کدگذاری اگر راهنمای کدها وجود داشت.

و این کار در R چگونه انجام می‌شود؟

بسته irr هر دو ضریب را محاسبه می‌کند: kappa2 – κ کوهن برای یک جفت (فقط واحدهای کامل، مانند SPSS و مانند صفحه)؛ kripp.alpha – α کریپندورف برای هر تعداد کدگذار، با NA به‌عنوان گمشده، در چهار سنجه. اسکریپت روی فایل نمونه اجرا شد و مقادیر جدول را داد (در توضیحات). قاعده سایت برای R: فایل با UTF-8 ذخیره می‌شود، هر سطر توضیح با یک واژه فارسی آغاز می‌شود؛ و افزون بر این – نام‌های عبری کاربرگ‌ها و متغیرهای فایل نمونه به محیط UTF-8 نیاز دارند (در Windows: Sys.setlocale('LC_ALL', 'Hebrew') یا R نسخه 4.2 به بالا، که در آن UTF-8 پیش‌فرض است).

# پایایی بین کدگذاران – پروفسور استت. این فایل با UTF-8 ذخیره شده است؛ هر سطر توضیح با یک واژه فارسی آغاز می‌شود
library(readxl)   # خواندن اکسل
library(irr)      # kappa2, kripp.alpha

# بارگذاری: الگوی استاندارد – سطر = واحد کدگذاری، ستون = کدگذار؛ کاربرگ "נתונים"
d <- read_excel("C:/Rdata/DATA_reliability_example_heb.xlsx", sheet = "נתונים")

# کاپای کوهن برای یک جفت کدگذار (فقط واحدهای کامل، مانند SPSS)
k <- kappa2(d[, c("מקודד א", "מקודד ב")])
k$value        # κ = .653
k$subjects     # N = 139
k$statistic    # z = 15.14 (آزمون κ = 0)

# آلفای کریپندورف – همه کدگذاران، گمشده‌ها مجاز؛ سطرها = کدگذاران، ستون‌ها = واحدها
m <- t(as.matrix(d[, c("מקודד א", "מקודד ב", "מקודד ג")]))
kripp.alpha(m, method = "nominal")$value    # α = .629
kripp.alpha(m, method = "ordinal")$value    # α = .659
kripp.alpha(m, method = "interval")$value   # α = .654

# کاپای وزنی برای یک جفت – وزن خطی ("equal") یا درجه دوم ("squared")؛ طبقه‌ها باید مرتب باشند
kappa2(d[, c("מקודד א", "מקודד ב")], weight = "equal")$value     # κw خطی = .662
kappa2(d[, c("מקודד א", "מקודד ב")], weight = "squared")$value   # κw درجه دوم = .664

# کاپای فلایس – سه کدگذار یا بیشتر، فقط واحدهایی که همه کدگذاری کرده‌اند
f <- kappam.fleiss(d[complete.cases(d[, 2:4]), c("מקודד א", "מקודד ב", "מקודד ג")])
f$value        # κF = .636
f$subjects     # N = 134
f$statistic    # z = 24.97

kappa2 علاوه بر این z و p را چاپ می‌کند اما نه خطای استاندارد مجانبی و نه κ_max را؛ kripp.alpha فقط α را چاپ می‌کند، بدون فاصله اطمینان. اعداد جدول صفحه – ASE، فاصله اطمینان، κ_max و فاصله bootstrap برای α – از SPSS یا از صفحه به دست می‌آیند.

گزارش نتایج

طبق APA (2020، بخش 6.36) κ و α – ضرایبی که از 1 فراتر نمی‌روند – بدون صفر پیشرو و با دو رقم اعشار نوشته می‌شوند؛ فاصله اطمینان طبق بخش 6.43. متنی که صفحه تولید می‌کند: "پایایی کدگذاری بین دو کدگذار روی N = 139 واحد بررسی شد. توافق خام 72.7% بود؛ کاپای کوهن κ = .65, 95% CI [.56, .75]؛ آلفای کریپندورف (اسمی) α = .65". N، توافق خام (Krippendorff از آن انتقاد می‌کند، اما به خواننده مقیاسی می‌دهد)، ضریب همراه با فاصله اطمینان، و سنجه α گزارش می‌شوند – بدون سنجه، α قابل تفسیر نیست. خط‌کش تفسیری که انتخاب کرده‌اید – Landis و Koch یا Krippendorff – را با نام ذکر کنید، زیرا با هم توافق ندارند.

اشتباهات رایج

گزارش فقط توافق خام. 85% توافق در متغیری با یک طبقه غالب ممکن است κ = .20 باشد. Krippendorff (2019، بخش 11.5) شرح می‌دهد چرا "%-agreement" قابل تفسیر نیست – و چرا همچنان ظاهر می‌شود.

محاسبه پایایی روی واحدهایی که کدگذاران درباره‌شان بحث کرده‌اند. توافقی که در بحث به دست آمده اجماع است، نه پایایی. پیش از بحث، روی کدگذاری مستقل اندازه‌گیری کنید.

میانگین‌گیری پایایی متغیرهای مختلف – هشدار بخش مفروضه‌ها را ببینید.

انتخاب سنجه بر اساس عددی که به دست می‌آید. α در سنجه فاصله‌ای تقریباً همیشه از α اسمی روی همان داده‌ها بالاتر است. سنجه بر اساس ماهیت متغیر تعیین می‌شود – آیا تفاوت میان 1 و 5 واقعاً از تفاوت میان 1 و 2 بزرگ‌تر است – و پیش از محاسبه ثبت می‌شود.

نقل "ناچیز / قابل‌توجه / تقریباً کامل" به‌عنوان استاندارد. این‌ها واژه‌های Landis و Koch برای یک مثال‌اند، همراه با قیدی صریح. می‌توان از آن‌ها استفاده کرد؛ نباید آن‌ها را چنان عرضه کرد که گویی کسی آن‌ها را مقرر کرده است.

توقف وقتی ضریب پایین است. ضریب پایین آغاز کار است، نه پایان آن: ماتریس توافق نشان می‌دهد کدام طبقه‌ها با هم اشتباه گرفته می‌شوند، κ_max نشان می‌دهد آیا یک کدگذار به طبقه‌ای معین گرایش دارد، و جفتی ضعیف در میان سه کدگذار نشان می‌دهد چه کسی متفاوت تفسیر می‌کند. کتابچه کدها اصلاح می‌شود، آموزش داده می‌شود، و دوباره روی نمونه‌ای تازه اندازه‌گیری می‌شود.

منابع

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104

Cohen, J. (1968). Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213-220. https://doi.org/10.1037/h0026256

Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall. https://doi.org/10.1007/978-1-4899-4541-9

Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619

Fleiss, J. L., Cohen, J., & Everitt, B. S. (1969). Large sample standard errors of kappa and weighted kappa. Psychological Bulletin, 72(5), 323-327. https://doi.org/10.1037/h0028106

Hayes, A. F., & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1(1), 77-89. https://doi.org/10.1080/19312450709336664

Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE.

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Scott, W. A. (1955). Reliability of content analysis: The case of nominal scale coding. Public Opinion Quarterly, 19(3), 321-325. https://doi.org/10.1086/266577