کوڈرز کے درمیان اعتباریت: کوہن کا کاپا اور کرپنڈورف کا الفا

ڈیٹا لوڈ کرنا

شیٹ سے کالم براہِ راست چسپاں کریں (عنوانات کی قطار سمیت) – ایکسل میں منتخب کریں، کاپی کریں اور یہاں چسپاں کریں:

کوڈرز اور میٹرک کا انتخاب

کوڈرز کے درمیان اتفاق کے پیمانے کب استعمال کیے جاتے ہیں؟

جب انسان ہی پیمائش کا آلہ ہوں۔ سروے میں کھلا جواب جسے کسی موضوع میں درجہ بند کیا گیا، کوئی پوسٹ جسے "مخاصمانہ" یا "غیر جانبدار" نشان زد کیا گیا، انٹرویو کا کوئی حصہ جسے کوڈ بک سے کوڈ ملا، زمروں کی فہرست میں سے کوئی طبی تشخیص – ان سب میں تجزیے میں داخل ہونے والا عدد ایک فیصلہ ہے۔ کوڈرز کے درمیان اعتباریت (intercoder reliability) پوچھتی ہے کہ آیا کوئی دوسرا کوڈر، جسے وہی ہدایات ملیں، انہی کوڈز تک پہنچتا – اور مثبت جواب کے بغیر یہ جاننا ممکن نہیں کہ نتائج متن کو بیان کرتے ہیں یا اسے پڑھنے والے کو۔ Cohen (1960) نے اسے "دو ٹانگوں والے میٹر" (two-legged meter) کی تشبیہ میں بیان کیا: کوڈرز ایک ہی آلے کی متوازی شکلیں ہیں، اور سوال یہ ہے کہ وہ کتنی متفق ہیں۔ Krippendorff (2019، باب 11) دوسرا پہلو شامل کرتے ہیں: اعتباریت صداقت کی لازمی شرط ہے، اس کی ضمانت نہیں – دو کوڈرز متفق بھی ہو سکتے ہیں اور ایک ساتھ غلط بھی۔

یہ صفحہ عبرانی NLP کے صفحے کے کام کے نسخے کا چھٹا قدم ہے: نمونے کی دستی کوڈنگ کے بعد (دو افراد کے ذریعے، یا ایک فرد اور ایک ماڈل کے ذریعے)، یہاں اتفاق ناپا جاتا ہے – اور صرف اگر یہ کافی ہو، تو تعددات، کائی اسکوائر اور ہم بستگیوں کی طرف بڑھا جاتا ہے۔

دو عددی سر، دو سوال: کوہن کا κ اور کرپنڈورف کا α

خام اتفاق (percent agreement) – اکائیوں کا وہ حصہ جن پر کوڈرز متفق ہوئے – وجدانی عدد ہے، اور یہ گمراہ کن ہے: سکہ اچھالنے والے دو کوڈرز دو زمروں میں 50% صورتوں میں متفق ہوں گے، اور 80% میں اگر ایک زمرہ بہت عام ہو۔ تمام سنجیدہ عددی سر اسے ایک ہی طریقے سے درست کرتے ہیں: (مشاہدہ شدہ اتفاق − تصادف سے متوقع اتفاق) / (1 − تصادف سے متوقع اتفاق)۔ ان کا فرق اس میں ہے کہ "تصادف" (chance) کسے سمجھا جاتا ہے۔

جب کوڈرز زمروں کو ایک ہی تعدد سے استعمال کرتے ہیں، تو دونوں عددی سر تقریباً یکساں ہوتے ہیں۔ جب نہیں – تو یہ الگ ہو جاتے ہیں، اور ایک معلوم سمت میں: Krippendorff (2019، سیکشن 11.5) دو جداول کی مثال دیتے ہیں جن میں 100 میں سے وہی 46 اتفاق کی صورتیں ہیں، جن میں سے ایک میں باقی اتفاق متشاکل طور پر بکھرا ہوا ہے اور دوسرے میں ایک طرف مرتکز؛ Scott کا π (اور α) دونوں میں .186 دیتے ہیں، جبکہ κ دوسرے میں .186 سے بڑھ کر .258 ہو جاتا ہے – "اتفاق نہیں بڑھا بلکہ ایک کوڈر کے زمروں کی دوسرے کے زمروں سے پیش گوئی کی صلاحیت بڑھی"، اور ان کے دعوے کے مطابق κ اس طرح کوئی ایسی چیز ناپتا ہے جو اعتباریت نہیں۔ Cohen (1960، ص 41) نے بالکل اسی خصوصیت کو ایک خوبی سمجھا: کسی کوڈر کی کسی خاص زمرے کے لیے منظم ترجیح خود عدم اتفاق کا ماخذ ہے، اور اسے اوپر کی طرف درست نہیں کرنا چاہیے۔ اختلاف طے نہیں ہوا، اور صفحہ دونوں کو رپورٹ کرتا ہے: κ اس لیے کہ قارئین، جرائد اور SPSS اس کی توقع رکھتے ہیں؛ α اس لیے کہ یہی واحد ہے جو تین یا زیادہ کوڈرز اور گمشدہ قدروں کو ڈیٹا پھینکے بغیر سنبھالتا ہے۔

نتیجہ کیسے پڑھیں؟

اتفاق کا میٹرکس (جدول 1، دو کوڈرز کے لیے) وہ جدول ہے جس سے سب کچھ حساب کیا جاتا ہے: قطاریں – پہلا کوڈر، کالم – دوسرا، وتر – اتفاق۔ عددی سر کو دیکھنے سے پہلے اسے دیکھنا مفید ہے: کون سے دو زمرے آپس میں خلط ملط ہوتے ہیں؟ یہی وہ مسئلہ ہے جسے کوڈ بک میں درست کرنا ہے، اور اکیلا عددی سر اسے ظاہر نہیں کرے گا۔

p_e – تصادف سے متوقع اتفاق۔ یہ جتنا زیادہ ہو (ایک زمرہ غالب)، خام اتفاق اتنا ہی کم اہم اور κ اتنا ہی چھوٹا ہوتا ہے۔ κ_max (Cohen, 1960, Equation 6) – جدول کے دیے گئے حاشیوں کے ساتھ حاصل ہو سکنے والا سب سے بڑا کاپا؛ کم κ_max بتاتا ہے کہ کوڈرز زمروں کو مختلف تعدد سے استعمال کرتے ہیں، اور "1 − κ_max اتفاق کا وہ حصہ ہے جو حاشیوں کی وجہ سے قابلِ حصول نہیں" – دھندلی زمرہ حدوں کی علامت جنہیں تربیت تیز کر سکتی ہے۔ ASE اور وقفۂ اعتماد – Fleiss، Cohen اور Everitt (1969) کے مطابق تقاربی معیاری خطا، SPSS کا وہی فارمولا (Cohen نے خود 1960 میں ایک سادہ تر تخمینہ دیا تھا، مساوات 7، جو قدرے بڑی قدر دیتا ہے)۔ z اور p جانچتے ہیں کہ آیا κ صفر سے مختلف ہے – ایک ٹیسٹ جسے خود کوہن نے "بڑی حد تک بے قدر" کہا: کہ کاپا صفر سے بڑا ہے یہ کوئی سوال نہیں؛ سوال یہ ہے کہ کتنا۔

α – D_o اکائیوں کے اندر مشاہدہ شدہ اوسط عدم اتفاق ہے، D_e – ڈیٹا کی تمام قدروں کے درمیان متوقع عدم اتفاق، اور α = 1 − D_o/D_e۔ اسمی میٹرک میں ہر عدم اتفاق برابر ہے؛ ترتیبی میٹرک میں "کم" اور "زیادہ" کے درمیان عدم اتفاق "کم" اور "درمیانہ" کے درمیان سے زیادہ سنگین ہے؛ وقفی میٹرک میں – فرق کے مربع کے مطابق۔ اس لیے 1-7 پیمانے کا α اسمی میٹرک میں اسی α کے وقفی میٹرک کے مقابلے میں کم، اور بعض اوقات بہت کم، ہوتا ہے: فرق کوئی "غلطی" نہیں بلکہ اس کی تعریف ہے کہ اتفاق کسے سمجھا جاتا ہے۔

α کا وقفۂ اعتماد اور q۔ α کے لیے معیاری خطا کا کوئی فارمولا نہیں؛ Krippendorff (2019، سیکشن 11.4.2) اس کی جگہ bootstrap تجویز کرتے ہیں: ڈیٹا سے ہزاروں دوبارہ نمونوں پر α حساب کیا جاتا ہے، اور حاصل ہونے والی قدروں کی تقسیم وقفۂ اعتماد دیتی ہے – اور جو ان کے لیے زیادہ اہم ہے – q، یہ احتمال کہ α مقررہ حد کو عبور نہیں کرتا۔ "کیا α صفر سے مختلف ہے" کا ٹیسٹ بے معنی ہے، وہ لکھتے ہیں؛ سوال یہ ہے کہ ہمیں کتنا یقین ہے کہ α .800 (یا .667) سے اوپر ہے۔ صفحہ اکائیوں کا bootstrap نافذ کرتا ہے (Efron & Tibshirani, 1993): N اکائیوں کے 2,000 نمونے واپسی کے ساتھ، ہر نمونے کے لیے α، وقفے کے لیے 2.5 اور 97.5 فیصدیے (percentiles)، اور .667 اور .800 سے نیچے نمونوں کا حصہ بطور q۔ Krippendorff کے میکرو KALPHA سے دو فرق: وہ امتزاجات کے میٹرکس سے قدروں کے جوڑوں کا نمونہ لیتا ہے نہ کہ اکائیوں کا، اس لیے اس کے وقفے تھوڑے مختلف ہو سکتے ہیں؛ اور صفحہ ایک مقررہ سیڈ استعمال کرتا ہے، تاکہ وہی ڈیٹا ہمیشہ وہی وقفہ دیں – سائٹ کا اصول: متعین (deterministic) حساب۔

وزنی κ (Cohen, 1968؛ تب دکھایا جاتا ہے جب زمرے عددی ہوں، تین یا زیادہ، اور میٹرک اسمی نہ ہو) – ترتیبی پیمانوں کے لیے: 1 اور 2 کے درمیان عدم اتفاق 1 اور 5 کے درمیان جیسا نہیں۔ لکیری وزن فاصلے کے مطابق رعایت دیتا ہے، مربعی – فاصلے کے مربع کے مطابق؛ مربعی بہت سی صورتوں میں اندرونِ طبقہ ہم بستگی کے برابر ہے، اس لیے یہی عام ہے۔ دونوں جدول میں ہیں، کیونکہ ان کے درمیان انتخاب محقق کا فیصلہ ہے، سافٹ ویئر کا نہیں – اور رپورٹ کیا جاتا ہے کہ کون سا منتخب کیا گیا۔ فلائس کا κ (Fleiss, 1971؛ تین کوڈرز سے دکھایا جاتا ہے) – متعدد کوڈرز کے لیے κ کی رائج توسیع، اگرچہ یہ دراصل Scott کے π کی توسیع ہے: متوقع اتفاق سب کے ہاں زمروں کی مجموعی تقسیم سے حساب کیا جاتا ہے، ہر کوڈر کے ہاں الگ الگ نہیں۔ اس کے لیے ہر اکائی کے لیے کوڈرز کی برابر تعداد درکار ہے، اس لیے گمشدہ قدر والی اکائیاں نکل جاتی ہیں – α کے برعکس۔ جب دونوں اعداد قریب ہوں، تو یہ ثبوت ہے کہ گمشدہ قدریں تصویر نہیں بدلتیں۔ Fleiss (1971) کی دی ہوئی معیاری خطا صرف مفروضے κ = 0 کے تحت درست ہے – z ٹیسٹ کے لیے اچھی، وقفۂ اعتماد کے لیے نہیں – اس لیے جدول میں κ_F کا وقفۂ اعتماد اکائیوں کے اسی bootstrap سے آتا ہے جیسا کہ α کے لیے (صرف مکمل اکائیوں پر)۔ وزنی κ کے لیے z اور p بھی دکھائے جاتے ہیں: Fleiss، Cohen اور Everitt (1969) کی H₀ کے تحت معیاری خطا سے κ_w = 0 کا ٹیسٹ – وہی ضابطہ جس کے تحت SPSS Symmetric Measures کے جدول میں Approx. T حساب کرتا ہے، "صفری مفروضہ فرض کرتے ہوئے تقاربی معیاری خطا سے" (Pallant, 2020, Chapter 16)۔ یہ ٹیسٹ ایک ایسے سوال کا جواب دیتا ہے جو کوڈنگ کی تحقیق میں تقریباً پوچھا ہی نہیں جاتا – کیا اتفاق صفر سے بڑا ہے – اور مفید معلومات وقفۂ اعتماد ہے؛ یہ جدول میں اس لیے ہے کہ آؤٹ پٹ SPSS کے آؤٹ پٹ سے مطابقت رکھے۔

دو پیمانے، اور ان میں کیا فرق ہے۔ Landis اور Koch (1977، ص 165) نے κ کی وسعت کو چھ درجوں میں تقسیم کیا – معمولی، کمزور، درمیانہ، قابلِ ذکر، تقریباً کامل – اور اسی سانس میں کہا کہ یہ تقسیم "واضح طور پر من مانی" (clearly arbitrary) ہے اور اس کا مقصد ان کے مقالے کی مثال کے لیے "مفید معیارات" کا کام دینا تھا۔ یہ پیمانہ ان کے ارادے سے کہیں آگے جڑ پکڑ گیا۔ Krippendorff (2019، سیکشن 11.4.4) اس کی جگہ دو حدیں مقرر کرتے ہیں: صرف ان متغیرات پر انحصار کیا جائے جن کا α .800 سے اوپر ہو، اور .667 اور .800 کے درمیان صرف محتاط نتائج اخذ کیے جائیں – اور تسلیم کرتے ہیں کہ .800 بھی انجینئرنگ اور طب کے مقابلے میں "کافی کم معیار" ہے۔ فرق نمایاں ہے: κ = .65، Landis اور Koch کے ہاں "قابلِ ذکر اتفاق" ہے اور Krippendorff کے ہاں حد پر پورا نہ اترنا۔ صفحہ دونوں کو پیش کرتا ہے، اور فیصلہ کرنے کی بجائے Krippendorff کا سوال پیش کرتا ہے: اس تحقیق میں غلط نتیجے کی قیمت کیا ہے؟

مفروضات اور انتباہات

کوہن کے تین مفروضات (1960، ص 38): اکائیاں آزاد ہیں؛ زمرے آزاد، باہم خارج اور جامع ہیں؛ اور کوڈرز آزادانہ کام کرتے ہیں۔ تیسرا ہی عملاً ٹوٹتا ہے – ساتھ بیٹھے دو کوڈرز، یا پہلے کے کوڈز دیکھنے والا دوسرا کوڈر، ایسا "اتفاق" پیدا کرتے ہیں جو اعتباریت نہیں۔

اعتباریت متغیر کی خصوصیت ہے، تحقیق کی نہیں۔ Krippendorff (2019، سیکشن 11.4.4) کئی متغیرات کے α کی اوسط نکالنے سے خبردار کرتے ہیں: فائلنگ کے متغیرات (تاریخ، لمبائی) ہمیشہ قابلِ اعتبار ہوتے ہیں اور اوسط کو بڑھاتے ہیں، جبکہ اہم متغیرات – جن کی کوڈنگ مشکل ہے – اس کے نیچے چھپ جاتے ہیں۔ ہر متغیر کے لیے الگ الگ رپورٹ کیا جاتا ہے۔

زمروں کا تعدد۔ جب ایک زمرہ 90% اکائیوں میں آتا ہے، تو 90% کا خام اتفاق بھی کم κ دیتا ہے – عام زمرے پر اتفاق "تصادف سے متوقع" ہے۔ یہ پیمانے کی درست خصوصیت ہے (Krippendorff, 2019، سیکشن 11.4.1: بغیر تغیر (variance) کا متغیر کوئی معلومات نہیں رکھتا)، لیکن یہ محققین کو حیران کرتی ہے؛ اگر متغیر تقریباً مستقل ہو، تو پوچھنا چاہیے کہ کیا یہ متغیر ہے بھی۔

اعتباریت کے ٹیسٹ کے لیے نمونے کا حجم۔ κ کا وقفۂ اعتماد N کے ساتھ سکڑتا ہے؛ Krippendorff (2019، سیکشن 11.4.3) تجویز کرتے ہیں کہ اکائیوں کی تعداد اس طرح طے کی جائے کہ نایاب ترین زمرہ اتنی بار آئے کہ اس پر عدم اتفاق ظاہر ہو سکے – 30 اکائیوں کا نمونہ جس میں ایک زمرہ دو بار آتا ہو اس زمرے کو نہیں جانچتا۔

گمشدہ قدریں۔ κ صرف ان اکائیوں پر حساب کیا جاتا ہے جن کی جوڑے کے دونوں کوڈرز نے کوڈنگ کی (جوڑی وار حذف (pairwise deletion) – SPSS کی طرح)؛ α ہر اس قدر کو استعمال کرتا ہے جس کا اپنی اکائی میں کم از کم ایک ساتھی ہو، اس لیے κ کا N اور α کی "قابلِ موازنہ اکائیاں" انہی ڈیٹا میں مختلف ہو سکتے ہیں۔ دونوں رپورٹ کیے جاتے ہیں۔

یہ صفحہ کیا حساب نہیں کرتا۔ اکائی بندی کے لیے α (unitizing; Krippendorff, 2019, Section 11.6) – جب کوڈرز یہ بھی طے کرتے ہیں کہ اکائی کہاں شروع اور ختم ہوتی ہے؛ فلائس کے κ کے لیے تقاربی معیاری خطا (Fleiss, 1971، اسے صرف H₀ کے تحت دیتے ہیں؛ وقفۂ اعتماد – bootstrap سے)؛ اور KALPHA کے مخصوص الگورتھم کے مطابق وقفۂ اعتماد (اوپر دیکھیں)۔

اور SPSS میں یہ کیسے کریں؟

ورژنز کے بارے میں نوٹ۔ یہ طریقۂ کار بہت ابتدائی ورژنز سے مستحکم ہے؛ ذیل کے مینو نام SPSS 29 کے مطابق ہیں۔ Cohen (1960) اور Landis اور Koch (1977) SPSS سے پہلے کے ہیں؛ SPSS میں معیاری خطا کا فارمولا Fleiss، Cohen اور Everitt (1969) کا ہے، اور یہی وہ ہے جس کا صفحہ حساب کرتا ہے۔

کوہن کا κ: Analyze › Descriptive Statistics › Crosstabs… – پہلا کوڈر Row(s) میں، دوسرا Column(s) میں، اور Statistics… کے بٹن میں Kappa پر نشان لگائیں۔ سنٹیکس:

CROSSTABS
  /TABLES=coder_A BY coder_B
  /STATISTICS=KAPPA
  /CELLS=COUNT.

Symmetric Measures کے جدول میں: Value = κ، Asymp. Std. Error = ASE ("صفری مفروضہ فرض کیے بغیر")، Approx. T = z ("صفری مفروضہ فرض کرتے ہوئے تقاربی معیاری خطا سے" – جدول کے دونوں حاشیائی نوٹ؛ Pallant, 2020، باب 16)، Approx. Sig. = p۔ Crosstabulation کا جدول اتفاق کا میٹرکس ہے۔ توجہ فرمائیں: SPSS صرف اس وقت κ حساب کرتا ہے جب دونوں متغیرات ایک ہی زمرے استعمال کریں؛ اگر کسی کوڈر نے کبھی کوئی خاص زمرہ استعمال نہیں کیا، تو جدول مربع نہیں ہوتا اور SPSS کاپا نہیں چھاپے گا – صفحہ اسے تمام مشترک زمروں پر حساب کرتا ہے، جیسا کہ کوہن نے تعریف کی تھی۔

وزنی κ: ورژن 27 سے – Analyze › Scale › Weighted Kappa…، لکیری وزن (طے شدہ (default)) یا مربعی اور تقاربی وقفۂ اعتماد کے ساتھ؛ سنٹیکس – ڈائیلاگ کے Paste بٹن میں۔ فلائس کا κ: SPSS میں نہیں؛ نیچے R دیکھیں۔

کرپنڈورف کا α: کوئی بلٹ اِن کمانڈ نہیں۔ Hayes اور Krippendorff (2007) کا KALPHA میکرو – میکرو فائل ایک بار چلائیں، اور پھر:

KALPHA judges = coder_A coder_B coder_C
  /level = 1 /detail = 0 /boot = 2000.

level: 1 اسمی، 2 ترتیبی، 3 وقفی، 4 نسبتی؛ boot – وقفۂ اعتماد کے لیے bootstrap نمونوں کی تعداد (0 – بغیر)؛ KALPHA کا الگورتھم قدروں کے جوڑوں کا نمونہ لیتا ہے نہ کہ اکائیوں کا، اس لیے اس کے وقفے صفحے والوں کے قریب ہیں لیکن یکساں نہیں۔ آؤٹ پٹ میں "SPSS سنٹیکس ڈاؤن لوڈ کریں" کا بٹن لوڈ شدہ ڈیٹا پر دونوں حصے تیار کرتا ہے، کوڈ بک کی کمانڈز کے ساتھ اگر کوڈ بک شیٹ تھی۔

اور R میں یہ کیسے کریں؟

irr پیکج دونوں عددی سر حساب کرتا ہے: kappa2 – جوڑے کے لیے کوہن کا κ (صرف مکمل اکائیاں، SPSS اور صفحے کی طرح)؛ kripp.alpha – کوڈرز کی کسی بھی تعداد کے لیے کرپنڈورف کا α، NA بطور گمشدہ، چاروں میٹرکس میں۔ اسکرپٹ مثال کی فائل پر چلایا گیا اور جدول کی قدریں دیں (تبصروں میں)۔ R میں اردو اور عبرانی کے لیے سائٹ کا اصول: فائل UTF-8 میں محفوظ کی جاتی ہے، ہر تبصرے کی سطر اردو لفظ سے شروع ہوتی ہے؛ اور مزید – عبرانی میں شیٹس اور متغیرات کے ناموں کے لیے UTF-8 ماحول درکار ہے (Windows میں: Sys.setlocale('LC_ALL', 'Hebrew') یا R ورژن 4.2 اور اس سے اوپر، جس میں UTF-8 طے شدہ ہے)۔

# کوڈرز کے درمیان اعتباریت – پروفیسر اسٹیٹ۔ یہ فائل UTF-8 میں محفوظ کی گئی ہے؛ ہر تبصرے کی سطر اردو لفظ سے شروع ہوتی ہے
library(readxl)   # ایکسل پڑھنا
library(irr)      # kappa2, kripp.alpha

# لوڈنگ: معیاری سانچہ – قطار = کوڈنگ کی اکائی، کالم = کوڈر؛ شیٹ "נתונים"
d <- read_excel("C:/Rdata/DATA_reliability_example_heb.xlsx", sheet = "נתונים")

# کوڈرز کے جوڑے کے لیے کوہن کا کاپا (صرف مکمل اکائیاں، SPSS کی طرح)
k <- kappa2(d[, c("מקודד א", "מקודד ב")])
k$value        # κ = .653
k$subjects     # N = 139
k$statistic    # z = 15.14 (ٹیسٹ κ = 0)

# کرپنڈورف کا الفا – تمام کوڈرز، گمشدہ قدروں کی اجازت؛ قطاریں = کوڈرز، کالم = اکائیاں
m <- t(as.matrix(d[, c("מקודד א", "מקודד ב", "מקודד ג")]))
kripp.alpha(m, method = "nominal")$value    # α = .629
kripp.alpha(m, method = "ordinal")$value    # α = .659
kripp.alpha(m, method = "interval")$value   # α = .654

# جوڑے کے لیے وزنی کاپا – لکیری وزن ("equal") یا مربعی ("squared")؛ زمروں کا ترتیب وار ہونا ضروری ہے
kappa2(d[, c("מקודד א", "מקודד ב")], weight = "equal")$value     # لکیری κw = .662
kappa2(d[, c("מקודד א", "מקודד ב")], weight = "squared")$value   # مربعی κw = .664

# فلائس کا کاپا – تین یا زیادہ کوڈرز، صرف وہ اکائیاں جن کی سب نے کوڈنگ کی
f <- kappam.fleiss(d[complete.cases(d[, 2:4]), c("מקודד א", "מקודד ב", "מקודד ג")])
f$value        # κF = .636
f$subjects     # N = 134
f$statistic    # z = 24.97

kappa2 z اور p بھی چھاپتا ہے لیکن تقاربی معیاری خطا اور κ_max نہیں؛ kripp.alpha صرف α چھاپتا ہے، وقفۂ اعتماد کے بغیر۔ صفحے کے جدول کے اعداد – ASE، وقفۂ اعتماد، κ_max اور α کا bootstrap وقفہ – SPSS یا صفحے سے ملتے ہیں۔

نتائج کی رپورٹنگ

APA (2020، سیکشن 6.36) کے مطابق κ اور α – ایسے عددی سر جو 1 سے تجاوز نہیں کرتے – ابتدائی صفر کے بغیر اور دو ہندسوں میں لکھے جاتے ہیں؛ وقفۂ اعتماد سیکشن 6.43 کے مطابق۔ صفحہ جو عبارت تیار کرتا ہے: "دونوں کوڈرز کے درمیان کوڈنگ کی اعتباریت N = 139 اکائیوں پر جانچی گئی۔ خام اتفاق 72.7% تھا؛ کوہن کا کاپا κ = .65, 95% CI [.56, .75]؛ کرپنڈورف کا الفا (اسمی) α = .65"۔ N، خام اتفاق (Krippendorff اس پر تنقید کرتے ہیں، لیکن یہ قاری کو ایک پیمانہ دیتا ہے)، وقفۂ اعتماد کے ساتھ عددی سر، اور α کا میٹرک رپورٹ کیا جاتا ہے – میٹرک کے بغیر، α کی تشریح نہیں کی جا سکتی۔ تشریح کا جو پیمانہ آپ نے منتخب کیا – Landis اور Koch یا Krippendorff – اس کا نام لے کر ذکر کیا جاتا ہے، کیونکہ وہ آپس میں متفق نہیں۔

عام غلطیاں

صرف خام اتفاق رپورٹ کرنا۔ غالب زمرے والے متغیر پر 85% اتفاق κ = .20 ہو سکتا ہے۔ Krippendorff (2019، سیکشن 11.5) تفصیل سے بتاتے ہیں کہ "%-agreement" کی تشریح کیوں نہیں کی جا سکتی – اور یہ کیوں ظاہر ہوتا رہتا ہے۔

ان اکائیوں پر اعتباریت حساب کرنا جن پر کوڈرز نے بحث کی۔ بحث سے حاصل ہونے والا اتفاق اجماع ہے، اعتباریت نہیں۔ بحث سے پہلے، آزادانہ کوڈنگ پر ناپا جاتا ہے۔

مختلف متغیرات کی اعتباریتوں کی اوسط نکالنا – مفروضات کے سیکشن میں انتباہ دیکھیں۔

نکلنے والے عدد کے مطابق میٹرک منتخب کرنا۔ انہی ڈیٹا پر وقفی میٹرک میں α تقریباً ہمیشہ اسمی α سے زیادہ ہوتا ہے۔ میٹرک متغیر کی نوعیت کے مطابق طے کیا جاتا ہے – کیا 1 اور 5 کا فرق واقعی 1 اور 2 کے فرق سے بڑا ہے – اور حساب سے پہلے دستاویزی شکل میں لکھا جاتا ہے۔

"معمولی / قابلِ ذکر / تقریباً کامل" کو معیار کے طور پر نقل کرنا۔ یہ Landis اور Koch کے ایک مثال کے لیے الفاظ ہیں، واضح شرط کے ساتھ۔ انہیں استعمال کیا جا سکتا ہے؛ انہیں ایسے پیش نہیں کرنا چاہیے گویا کسی نے انہیں مقرر کیا ہو۔

عددی سر کم ہونے پر رک جانا۔ کم عددی سر کام کا آغاز ہے، اختتام نہیں: اتفاق کا میٹرکس دکھاتا ہے کہ کون سے زمرے خلط ملط ہوتے ہیں، κ_max دکھاتا ہے کہ آیا کوئی کوڈر کسی خاص زمرے کی طرف مائل ہے، اور تین میں سے ایک کمزور جوڑا دکھاتا ہے کہ کون مختلف تشریح کرتا ہے۔ کوڈ بک درست کی جاتی ہے، تربیت دی جاتی ہے، اور نئے نمونے پر دوبارہ ناپا جاتا ہے۔

حوالہ جات

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104

Cohen, J. (1968). Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213-220. https://doi.org/10.1037/h0026256

Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall. https://doi.org/10.1007/978-1-4899-4541-9

Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619

Fleiss, J. L., Cohen, J., & Everitt, B. S. (1969). Large sample standard errors of kappa and weighted kappa. Psychological Bulletin, 72(5), 323-327. https://doi.org/10.1037/h0028106

Hayes, A. F., & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1(1), 77-89. https://doi.org/10.1080/19312450709336664

Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE.

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Scott, W. A. (1955). Reliability of content analysis: The case of nominal scale coding. Public Opinion Quarterly, 19(3), 321-325. https://doi.org/10.1086/266577