الثبات بين المرمِّزين: معامل كابا لكوهين وألفا كريبندورف

حاسبة

تحميل البيانات

الصقوا الأعمدة مباشرة من ورقة العمل (بما في ذلك صف العناوين) – حدّدوها في إكسل، وانسخوها، ثم الصقوها هنا:

اختيار المرمِّزين ومقياس الاتفاق

دليل

متى تُستخدم مقاييس الاتفاق بين المرمِّزين؟

حين يكون البشر هم أداة القياس. إجابة مفتوحة في مسح صُنِّفت حسب الموضوع، منشور وُسِم بأنه "عدائي" أو "محايد"، مقطع مقابلة تلقى رمزًا من دليل الرموز، تشخيص سريري من قائمة فئات – في كل هذه الحالات الرقم الذي يدخل التحليل هو حكم. يسأل الثبات بين المرمِّزين (intercoder reliability) ما إذا كان مرمِّز آخر، تلقى التعليمات نفسها، سيصل إلى الرموز نفسها – ومن دون إجابة إيجابية، لا يمكن معرفة ما إذا كانت النتائج تصف النص أم من قرأه. صاغ Cohen (1960) ذلك بصورة "المقياس ذي الساقين" (two-legged meter): المرمِّزون صور متكافئة للأداة نفسها، والسؤال هو إلى أي حد تتفق. ويضيف Krippendorff (2019، الفصل 11) الجانب الآخر: الثبات شرط ضروري للصدق، لا ضمانة له – فقد يتفق مرمِّزان ويخطئان معًا.

هذه الصفحة هي الخطوة السادسة في سير العمل في صفحة معالجة اللغة العبرية الطبيعية (NLP): بعد ترميز يدوي لعينة (من قِبل شخصين، أو من قِبل شخص ونموذج)، يُقاس الاتفاق هنا – وفقط إن كان كافيًا، يُنتقل إلى التكرارات ومربع كاي والارتباطات.

معاملان، سؤالان: κ لكوهين و α كريبندورف

الاتفاق الخام (percent agreement) – نسبة الوحدات التي اتفق عليها المرمِّزون – هو الرقم البديهي، وهو مضلِّل: مرمِّزان يرميان قطعة نقود سيتفقان في 50% من الحالات مع فئتين، وفي 80% إن كانت إحدى الفئات شائعة جدًا. جميع المعاملات الجادة تصحح ذلك بالطريقة نفسها: (الاتفاق المُشاهَد − الاتفاق المتوقع بالصدفة) / (1 − الاتفاق المتوقع بالصدفة). والفرق بينها هو فيما يُعدّ "صدفة".

حين يستخدم المرمِّزون الفئات بالتكرارات نفسها، يكاد المعاملان يتطابقان. وحين لا يحدث ذلك – يفترقان، وفي اتجاه معروف: يعرض Krippendorff (2019، القسم 11.5) جدولين فيهما 46 حالة اتفاق من أصل 100، يكون الاختلاف المتبقي في أحدهما موزعًا بتماثل وفي الآخر مركّزًا في جانب واحد؛ يعطي π لسكوت (وα) القيمة .186 في كليهما، بينما يرتفع κ من .186 إلى .258 في الثاني – "لم يزدد الاتفاق بل القدرة على التنبؤ بفئات أحد المرمِّزين من فئات الآخر"، ويرى أن κ يقيس بذلك شيئًا ليس ثباتًا. ورأى Cohen (1960، ص 41) في هذه الخاصية نفسها ميزة: التفضيل المنهجي من مرمِّز لفئة معينة هو مصدر لعدم الاتفاق، ولا ينبغي تصحيحه نحو الأعلى. الخلاف لم يُحسم، والصفحة تُبلغ عن كليهما: κ لأن القرّاء والمجلات العلمية وSPSS يتوقعونه؛ وα لأنه الوحيد الذي يتعامل مع ثلاثة مرمِّزين فأكثر ومع القيم المفقودة من دون التخلص من بيانات.

كيف تُقرأ النتيجة؟

مصفوفة الاتفاق (الجدول 1، لمرمِّزَين) هي الجدول الذي يُحسب منه كل شيء: الصفوف – المرمِّز الأول، الأعمدة – الثاني، القطر – الاتفاق. قبل النظر إلى المعامل يجدر النظر إليها: أيّ فئتين تختلطان إحداهما بالأخرى؟ هذه هي المشكلة التي يجب إصلاحها في دليل الرموز، والمعامل وحده لن يكشفها.

p_e – الاتفاق المتوقع بالصدفة. كلما كان مرتفعًا (فئة واحدة مهيمنة)، قلّت أهمية الاتفاق الخام وصغرت κ. κ_max (Cohen, 1960, Equation 6) – أعلى كابا يمكن بلوغها مع هوامش الجدول المعطاة؛ وκ_max المنخفضة تعني أن المرمِّزين يستخدمون الفئات بتكرارات مختلفة، و"1 − κ_max هي نسبة الاتفاق غير القابلة للتحقق بسبب الهوامش" – علامة على حدود فئات ضبابية يمكن للتدريب أن يحدّدها. ASE وفترة الثقة – الخطأ المعياري التقاربي وفق Fleiss وCohen وEveritt (1969)، الصيغة نفسها في SPSS (أعطى Cohen نفسه عام 1960 تقريبًا أبسط، المعادلة 7، يعطي قيمة أعلى قليلًا). z وp يختبران ما إذا كانت κ تختلف عن الصفر – اختبار وصفه كوهين نفسه بأنه "عديم القيمة إلى حد كبير": أن تكون الكابا أكبر من الصفر ليس سؤالًا؛ السؤال هو بكم.

α – D_o هو متوسط عدم الاتفاق المُشاهَد داخل الوحدات، وD_e – عدم الاتفاق المتوقع بين جميع القيم في البيانات، وα = 1 − D_o/D_e. في المقياس الاسمي كل عدم اتفاق متساوٍ؛ وفي المقياس الترتيبي عدم الاتفاق بين "منخفض" و"مرتفع" أشد منه بين "منخفض" و"متوسط"؛ وفي المقياس الفتري – حسب مربع الفرق. لذلك تكون α لمقياس 1-7 بالمقياس الاسمي أدنى، وأحيانًا أدنى بكثير، من α نفسها بالمقياس الفتري: الفرق ليس "خطأ" بل تعريف لما يُعدّ اتفاقًا.

فترة الثقة لـα وq. لا توجد لـα صيغة للخطأ المعياري؛ يقترح Krippendorff (2019، القسم 11.4.2) بدلًا من ذلك البوتستراب (bootstrap): تُحسب α على آلاف من عينات إعادة المعاينة من البيانات، ويعطي توزيع القيم الناتجة فترة ثقة – وما هو أهم عنده – q، احتمال ألا تتجاوز α العتبة المحددة. ويكتب أن اختبار "هل تختلف α عن الصفر" لا معنى له؛ السؤال هو مدى ثقتنا بأن α فوق .800 (أو .667). تطبّق الصفحة البوتستراب على الوحدات (Efron & Tibshirani، 1993): 2,000 عينة من N وحدة مع الإرجاع، وα لكل عينة، والمئينان 2.5 و97.5 للفترة، ونسبة العينات تحت .667 وتحت .800 بوصفها q. فرقان عن ماكرو KALPHA لدى Krippendorff: فهو يسحب أزواج قيم من مصفوفة التوليفات لا وحدات، ولذلك قد تختلف فتراته قليلًا؛ والصفحة تستخدم بذرة ثابتة، بحيث تعطي البيانات نفسها دائمًا الفترة نفسها – قاعدة الموقع: حساب حتمي.

κ الموزونة (Cohen، 1968؛ تُعرض حين تكون الفئات رقمية، ثلاثًا فأكثر، والمقياس ليس اسميًا) – للمقاييس الترتيبية: عدم الاتفاق بين 1 و2 ليس كعدم الاتفاق بين 1 و5. الوزن الخطي يمنح الدرجة حسب المسافة، والتربيعي – حسب مربع المسافة؛ والتربيعية تساوي معامل الارتباط داخل الفئة في حالات كثيرة، ولذلك هي الأكثر شيوعًا. كلتاهما في الجدول، لأن الاختيار بينهما قرار الباحث لا البرنامج – ويُبلَّغ عن أيهما اختيرت. κ فلايس (Fleiss، 1971؛ تُعرض من ثلاثة مرمِّزين) – التوسيع المعتمد لـκ لتعدد المرمِّزين، مع أنه في الواقع توسيع لـπ سكوت: يُحسب الاتفاق المتوقع من توزيع الفئات لدى الجميع معًا، لا لدى كل مرمِّز على حدة. وتتطلب عددًا متساويًا من المرمِّزين لكل وحدة، ولذلك تُستبعد الوحدات التي فيها قيمة مفقودة – بخلاف α. وحين يتقارب الرقمان، فهذا دليل على أن القيم المفقودة لا تغيّر الصورة. الخطأ المعياري الذي يعطيه Fleiss (1971) صالح فقط في ظل الفرضية κ = 0 – جيد لاختبار z، لا لفترة ثقة – ولذلك تأتي فترة الثقة لـκ_F في الجدول من البوتستراب نفسه على الوحدات كما في α (على الوحدات المكتملة فقط). وتُعرض لـκ الموزونة أيضًا z وp: اختبار κ_w = 0 بالخطأ المعياري في ظل H₀ لدى Fleiss وCohen وEveritt (1969) – الاصطلاح نفسه الذي يحسب به SPSS قيمة Approx. T في جدول Symmetric Measures، "بالخطأ المعياري التقاربي بافتراض الفرضية الصفرية" (Pallant, 2020, Chapter 16). يجيب هذا الاختبار عن سؤال لا يكاد يُطرح في بحوث الترميز – هل الاتفاق أكبر من الصفر – وفترة الثقة هي المعلومة المفيدة؛ وهو في الجدول كي تتطابق المخرجات مع مخرجات SPSS.

مسطرتان، وما الفرق. قسّم Landis وKoch (1977، ص 165) مدى κ إلى ست درجات – ضئيل، ضعيف، متوسط، ملحوظ، شبه تام – وأضافا في النَّفَس نفسه أن التقسيم "اعتباطي بوضوح" (clearly arbitrary) وأُريد له أن يكون "معايير مفيدة" للمثال الوارد في مقالتهما. ترسّخت هذه المسطرة إلى ما هو أبعد كثيرًا من قصدهما. ويحدد Krippendorff (2019، القسم 11.4.4) بدلًا من ذلك عتبتين: الاعتماد فقط على متغيرات α فيها فوق .800، واستخلاص استنتاجات حذرة فقط بين .667 و.800 – ويقرّ بأن .800 أيضًا "معيار منخفض إلى حد ما" مقارنةً بالهندسة والطب. الفجوة ملحوظة: κ = .65 هي "اتفاق ملحوظ" عند Landis وKoch وإخفاق في بلوغ العتبة عند Krippendorff. تعرض الصفحة كليهما، وبدلًا من الحسم تقترح سؤال Krippendorff: ما ثمن الاستنتاج الخاطئ في هذا البحث؟

الافتراضات والتحذيرات

افتراضات كوهين الثلاثة (1960، ص 38): الوحدات مستقلة؛ والفئات مستقلة، متنافية وشاملة؛ والمرمِّزون يعملون باستقلالية. الثالث هو الذي ينكسر في الممارسة – مرمِّزان يجلسان معًا، أو مرمِّز ثانٍ يرى رموز الأول، ينتجان "اتفاقًا" ليس ثباتًا.

الثبات خاصية للمتغير، لا للبحث. يحذّر Krippendorff (2019، القسم 11.4.4) من حساب متوسط α لعدة متغيرات: متغيرات الأرشفة (التاريخ، الطول) ثابتة دائمًا وترفع المتوسط، بينما المتغيرات المهمة – تلك التي يصعب ترميزها – تختفي تحته. يُبلَّغ عن كل متغير على حدة.

تكرار الفئات. حين تظهر فئة واحدة في 90% من الوحدات، حتى اتفاق خام بنسبة 90% يعطي κ منخفضة – فالاتفاق على الفئة الشائعة "متوقع بالصدفة". هذه خاصية صحيحة للمقياس (Krippendorff، 2019، القسم 11.4.1: المتغير بلا تباين لا يحمل معلومات)، لكنها تفاجئ الباحثين؛ وإذا كان المتغير شبه ثابت، فيجب السؤال عمّا إذا كان متغيرًا أصلًا.

حجم العينة لاختبار الثبات. تضيق فترة الثقة لـκ مع N؛ يقترح Krippendorff (2019، القسم 11.4.3) تحديد عدد الوحدات بحيث تظهر الفئة الأندر مرات كافية لكي يمكن اكتشاف عدم الاتفاق عليها – عينة من 30 وحدة فيها فئة تظهر مرتين لا تفحص هذه الفئة.

القيم المفقودة. تُحسب κ فقط على الوحدات التي رمّزها كلا المرمِّزين في الزوج (الحذف الزوجي – كما في SPSS)؛ وتستخدم α كل قيمة لها نظير واحد على الأقل في وحدتها، ولذلك قد يختلف N لـκ و"الوحدات القابلة للمقارنة" لـα في البيانات نفسها. ويُبلَّغ عن كليهما.

ما لا تحسبه هذه الصفحة. α للتقطيع إلى وحدات (unitizing; Krippendorff, 2019, Section 11.6) – حين يحدد المرمِّزون أيضًا أين تبدأ الوحدة وأين تنتهي؛ والخطأ المعياري التقاربي لـκ فلايس (Fleiss، 1971، يعطيه فقط في ظل H₀؛ فترة الثقة – بالبوتستراب)؛ وفترة الثقة وفق الخوارزمية الخاصة بـKALPHA (انظروا أعلاه).

وكيف يُنفَّذ ذلك في SPSS؟

ملاحظة عن الإصدارات. الإجراء ثابت منذ إصدارات مبكرة جدًا؛ أسماء القوائم أدناه وفق SPSS 29. سبق Cohen (1960) وLandis وKoch (1977) ظهور SPSS؛ وصيغة الخطأ المعياري في SPSS هي صيغة Fleiss وCohen وEveritt (1969)، وهي التي تحسبها الصفحة.

κ لكوهين: Analyze › Descriptive Statistics › Crosstabs… – المرمِّز الأول إلى Row(s)، والثاني إلى Column(s)، ومن زر Statistics… يُؤشَّر على Kappa. أوامر Syntax:

CROSSTABS
  /TABLES=coder_A BY coder_B
  /STATISTICS=KAPPA
  /CELLS=COUNT.

في جدول Symmetric Measures: Value = κ، وAsymp. Std. Error = ASE ("من دون افتراض الفرضية الصفرية")، وApprox. T = z ("بالخطأ المعياري التقاربي بافتراض الفرضية الصفرية" – الحاشيتان السفليتان للجدول؛ Pallant، 2020، الفصل 16)، وApprox. Sig. = p. جدول Crosstabulation هو مصفوفة الاتفاق. انتبهوا: يحسب SPSS κ فقط حين يستخدم المتغيران الفئات نفسها؛ فإذا لم يستخدم أحد المرمِّزين فئة معينة قط، يكون الجدول غير مربع ولن يطبع SPSS الكابا – بينما تحسبها الصفحة على كامل الفئات المشتركة، كما عرّفها كوهين.

κ الموزونة: منذ الإصدار 27 – Analyze › Scale › Weighted Kappa…، بوزن خطي (الإعداد الافتراضي) أو تربيعي وفترة ثقة تقاربية؛ وأوامر Syntax – من زر Paste في مربع الحوار. κ فلايس: غير موجودة في SPSS؛ انظروا R أدناه.

α كريبندورف: لا يوجد أمر مدمج. ماكرو KALPHA لـHayes وKrippendorff (2007) – يُشغَّل ملف الماكرو مرة واحدة، ثم:

KALPHA judges = coder_A coder_B coder_C
  /level = 1 /detail = 0 /boot = 2000.

level: 1 اسمي، 2 ترتيبي، 3 فتري، 4 نسبي؛ boot – عدد عينات البوتستراب لفترة الثقة (0 – بلا)؛ خوارزمية KALPHA تسحب أزواج قيم لا وحدات، ولذلك فتراتها قريبة من فترات الصفحة لكنها غير متطابقة. يولّد زر "تنزيل ملف Syntax لـSPSS" في المخرجات الجزأين على البيانات التي حُمِّلت، مع أوامر دليل الترميز إن وُجد مفتاح ترميز.

وكيف يُنفَّذ ذلك في R؟

تحسب حزمة irr المعاملين: kappa2 – κ لكوهين للزوج (الوحدات المكتملة فقط، مثل SPSS ومثل الصفحة)؛ وkripp.alpha – α كريبندورف لأي عدد من المرمِّزين، مع NA كقيمة مفقودة، بالمقاييس الأربعة. شُغِّل النص البرمجي على ملف المثال وأعطى قيم الجدول (في التعليقات). قاعدة الموقع في R: الملف محفوظ بترميز UTF-8، وكل سطر تعليق يبدأ بكلمة عربية؛ وإضافةً إلى ذلك – أسماء أوراق العمل والمتغيرات بالعبرية تتطلب بيئة UTF-8 (في Windows: Sys.setlocale('LC_ALL', 'Hebrew') أو إصدار R 4.2 فما فوق، حيث UTF-8 هو الإعداد الافتراضي).

# الثبات بين المرمِّزين – بروفيسور ستات. هذا الملف محفوظ بترميز UTF-8؛ كل سطر تعليق يبدأ بكلمة عربية
library(readxl)   # قراءة ملفات إكسل
library(irr)      # kappa2, kripp.alpha

# التحميل: القالب القياسي – صف = وحدة ترميز، عمود = مرمِّز؛ ورقة العمل "נתונים"
d <- read_excel("C:/Rdata/DATA_reliability_example_heb.xlsx", sheet = "נתונים")

# كابا لكوهين لزوج من المرمِّزين (الوحدات المكتملة فقط، كما في SPSS)
k <- kappa2(d[, c("מקודד א", "מקודד ב")])
k$value        # κ = .653
k$subjects     # N = 139
k$statistic    # z = 15.14 (اختبار κ = 0)

# ألفا كريبندورف – جميع المرمِّزين، القيم المفقودة مسموحة؛ الصفوف = المرمِّزون، الأعمدة = الوحدات
m <- t(as.matrix(d[, c("מקודד א", "מקודד ב", "מקודד ג")]))
kripp.alpha(m, method = "nominal")$value    # α = .629
kripp.alpha(m, method = "ordinal")$value    # α = .659
kripp.alpha(m, method = "interval")$value   # α = .654

# كابا الموزونة للزوج – وزن خطي ("equal") أو تربيعي ("squared")؛ يجب أن تكون الفئات مرتبة
kappa2(d[, c("מקודד א", "מקודד ב")], weight = "equal")$value     # κw الخطية = .662
kappa2(d[, c("מקודד א", "מקודד ב")], weight = "squared")$value   # κw التربيعية = .664

# كابا فلايس – ثلاثة مرمِّزين فأكثر، فقط الوحدات التي رمّزها الجميع
f <- kappam.fleiss(d[complete.cases(d[, 2:4]), c("מקודד א", "מקודד ב", "מקודד ג")])
f$value        # κF = .636
f$subjects     # N = 134
f$statistic    # z = 24.97

يطبع kappa2 أيضًا z وp لكن لا يطبع الخطأ المعياري التقاربي ولا κ_max؛ ويطبع kripp.alpha قيمة α فقط، بلا فترة ثقة. أما الأرقام الواردة في جدول الصفحة – ASE، وفترة الثقة، وκ_max، وفترة البوتستراب لـα – فيُحصل عليها من SPSS أو من الصفحة.

عرض النتائج

وفق APA (2020، القسم 6.36) تُكتب κ وα – وهما معاملان لا يتجاوزان 1 – بلا صفر بادئ وبمنزلتين عشريتين؛ وفترة الثقة وفق القسم 6.43. الصياغة التي تنتجها الصفحة: "فُحص ثبات الترميز بين المرمِّزين على N = 139 وحدة. كان الاتفاق الخام 72.7%؛ كابا لكوهين κ = .65, 95% CI [.56, .75]؛ ألفا كريبندورف (اسمي) α = .65". يُبلَّغ عن N، وعن الاتفاق الخام (ينتقده Krippendorff، لكنه يمنح القارئ مقياسًا مرجعيًا)، وعن المعامل مع فترة الثقة، وعن مقياس α – فمن دون المقياس لا يمكن تفسير α. أما مسطرة التفسير التي اخترتموها – Landis وKoch أو Krippendorff – فتُذكر بالاسم، لأنهم لا يتفقون.

أخطاء شائعة

الإبلاغ عن الاتفاق الخام وحده. اتفاق بنسبة 85% على متغير ذي فئة مهيمنة قد يساوي κ = .20. يفصّل Krippendorff (2019، القسم 11.5) لماذا لا يمكن تفسير "%-agreement" – ولماذا يستمر في الظهور.

حساب الثبات على الوحدات التي ناقشها المرمِّزون. الاتفاق الذي تحقق بالنقاش إجماع، لا ثبات. يُقاس قبل النقاش، على ترميز مستقل.

حساب متوسط ثبات متغيرات مختلفة – انظروا التحذير في قسم الافتراضات.

اختيار المقياس حسب الرقم الناتج. α بالمقياس الفتري تكاد تكون دائمًا أعلى من α الاسمية على البيانات نفسها. يُحدَّد المقياس حسب طبيعة المتغير – هل الفرق بين 1 و5 أكبر فعلًا من الفرق بين 1 و2 – ويوثَّق قبل الحساب.

الاستشهاد بـ"ضئيل / ملحوظ / شبه تام" كمعيار. هذه كلمات Landis وKoch لمثال واحد، مصحوبة باستدراك صريح. يمكن استخدامها؛ لكن لا يجوز تقديمها كأن أحدًا أقرّها.

التوقف حين يكون المعامل منخفضًا. المعامل المنخفض بداية العمل، لا نهايته: مصفوفة الاتفاق تُظهر أيّ الفئات تختلط، وκ_max تُظهر ما إذا كان أحد المرمِّزين يميل إلى فئة معينة، والزوج الضعيف بين ثلاثة يُظهر من يفسّر بشكل مختلف. يُصلَح دليل الرموز، ويُدرَّب المرمِّزون، ويُقاس مجددًا على عينة جديدة.

المراجع

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104

Cohen, J. (1968). Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213-220. https://doi.org/10.1037/h0026256

Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall. https://doi.org/10.1007/978-1-4899-4541-9

Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619

Fleiss, J. L., Cohen, J., & Everitt, B. S. (1969). Large sample standard errors of kappa and weighted kappa. Psychological Bulletin, 72(5), 323-327. https://doi.org/10.1037/h0028106

Hayes, A. F., & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1(1), 77-89. https://doi.org/10.1080/19312450709336664

Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE.

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Scott, W. A. (1955). Reliability of content analysis: The case of nominal scale coding. Public Opinion Quarterly, 19(3), 321-325. https://doi.org/10.1086/266577