د کوډ ورکوونکو ترمنځ ثبات (intercoder reliability): د Cohen کاپا او د Krippendorff الفا

د معلوماتو پورته کول

ستونونه مستقیم له پاڼې څخه (د سرلیکونو د کتار په ګډون) پېسټ کېږي – په اکسل کې په نښه کېږي، کاپي کېږي او دلته پېسټ کېږي:

د کوډ ورکوونکو او میټریک ټاکل

د کوډ ورکوونکو ترمنځ د موافقې شاخصونه کله کارول کېږي؟

کله چې انسانان د اندازه ګیرنې وسیله وي. په سروې کې پرانیستی ځواب چې په یوه موضوع کې ډلبندي شوی، پوسټ چې د "دښمنانه" یا "بې طرفه" په توګه نښه شوی، د مرکې برخه چې د کوډونو له کتاب څخه کوډ ترلاسه کړی، کلینیکي تشخیص د کټګوریو له لېست څخه – په دې ټولو کې هغه شمېره چې تحلیل ته ننوځي قضاوت دی. د کوډ ورکوونکو ترمنځ ثبات (intercoder reliability) پوښتي چې آیا بل کوډ ورکوونکی، چې هماغه لارښوونې یې ترلاسه کړې وې، به هماغو کوډونو ته رسېدلی و – او پرته له مثبت ځواب، نه شو پوهېدای چې موندنې متن تشریح کوي که هغه څوک چې لوستلی یې دی. Cohen (1960) دا د "دوه پښو لرونکي میټر" (two-legged meter) په انځور بیان کړه: کوډ ورکوونکي (coders) د هماغې وسیلې موازي بڼې دي، او پوښتنه دا ده چې څومره موافق دي. Krippendorff (2019، څپرکی 11) بل اړخ زیاتوي: ثبات د اعتبار (validity) لپاره اړین شرط دی، نه د هغه تضمین – دوه کوډ ورکوونکي کولای شي موافق وي او یو ځای تېروتنه وکړي.

دا پاڼه د د عبري ژبې NLP پاڼې د کار په نسخه کې شپږم ګام دی: د یوې نمونې له لاسي کوډ ورکولو وروسته (د دوو کسانو له خوا، یا د یو انسان او یو ماډل له خوا)، دلته موافقه اندازه کېږي – او یوازې که بسنه وکړي، فریکونسیو، کای مربع (chi-square) او همبستګیو ته دوام ورکول کېږي.

دوه ضریبونه، دوه پوښتنې: د Cohen κ او د Krippendorff α

خامه موافقه (percent agreement) – د هغو واحدونو برخه چې کوډ ورکوونکي (coders) پرې موافق وو – شهودي شمېره ده، او ګمراه کوونکې ده: دوه کوډ ورکوونکي چې سکه اچوي په دوو کټګوریو کې به په 50% حالتونو کې موافق وي، او په 80% کې که یوه کټګوري ډېره عامه وي. ټول جدي ضریبونه دا په یو شان ډول سموي: (لیدل شوې موافقه − د تصادف له مخې تمه شوې موافقه) / (1 − د تصادف له مخې تمه شوې موافقه). د هغوی ترمنځ توپیر په هغه څه کې دی چې "تصادف" ګڼل کېږي.

کله چې کوډ ورکوونکي (coders) کټګورۍ په یو شان فریکونسیو کاروي، دواړه ضریبونه نږدې یو شان دي. کله چې نه – جلا کېږي، او په معلوم لوري: Krippendorff (2019، برخه 11.5) دوه جدولونه ښيي چې د 100 له جملې هماغه 46 د موافقې حالتونه لري، چې په یوه کې پاتې موافقه په متناظر ډول خپره ده او په بل کې په یوه اړخ کې راټوله؛ د Scott π (او α) په دواړو کې .186 ورکوي، په داسې حال کې چې κ په دویم کې له .186 څخه .258 ته لوړېږي – "موافقه نه ده زیاته شوې بلکې د یو کوډ ورکوونکي د کټګوریو د وړاندوینې وړتیا د بل له کټګوریو څخه"، او د هغه په اند κ په دې ډول هغه څه اندازه کوي چې ثبات (reliability) نه دی. Cohen (1960، مخ 41) په همدې ځانګړنه کې ګټه لیدله: د یو کوډ ورکوونکي سیستماتیک تمایل یوې ټاکلې کټګورۍ ته پخپله د ناموافقې سرچینه ده، او باید پورته خوا ته سمه نه شي. شخړه نه ده هواره شوې، او پاڼه دواړه راپور کوي: κ ځکه چې لوستونکي، مجلې او SPSS یې تمه لري؛ α ځکه چې یوازینی دی چې له درېیو او ډېرو کوډ ورکوونکو او له ورکو ارزښتونو سره پرته له دې چې معلومات وغورځوي چلند کوي.

پایله څنګه ولولو؟

د موافقې ماتریس (جدول 1، د دوو کوډ ورکوونکو لپاره) هغه جدول دی چې هر څه ترې محاسبه کېږي: کتارونه – لومړی کوډ ورکوونکی، ستونونه – دویم، قطر – موافقه. مخکې له دې چې ضریب ته وکتل شي ښه ده چې دې ته وکتل شي: کومې دوه کټګورۍ یو له بل سره ګډوډېږي؟ دا هغه ستونزه ده چې باید د کوډونو په کتاب کې سمه شي، او ضریب یې یوازې نه شي موندلای.

p_e – د تصادف له مخې تمه شوې موافقه. هر څومره چې لوړه وي (یوه کټګوري غالبه وي)، خامه موافقه لږ ارزښت لري او κ کوچنی وي. κ_max (Cohen, 1960, Equation 6) – تر ټولو لوړه کاپا چې د جدول له ورکړل شویو حاشیو سره ترلاسه کېدای شي؛ ټیټ κ_max وايي چې کوډ ورکوونکي (coders) کټګورۍ په بېلابېلو فریکونسیو کاروي، او "1 − κ_max د موافقې هغه برخه ده چې د حاشیو له امله د ترلاسه کېدو وړ نه ده" – د کټګورۍ د ناڅرګندو پولو نښه چې روزنه یې تېره کولای شي. ASE او د باور واټن – د Fleiss، Cohen او Everitt (1969) له مخې اسیمپټوټیکه معیاري تېروتنه، د SPSS هماغه فورمول (Cohen پخپله په 1960 کې ساده نږدې والی ورکړ، معادله 7، چې یو څه لوړ ارزښت ورکوي). z او p ګوري چې آیا κ له صفر څخه توپیر لري – هغه ازموینه چې Cohen پخپله یې "تر ډېره حده بې ارزښته" وبلله: چې کاپا له صفر لویه ده پوښتنه نه ده؛ پوښتنه دا ده چې څومره.

α – D_o د واحدونو دننه منځنۍ لیدل شوې ناموافقه ده، D_e – په معلوماتو کې د ټولو ارزښتونو ترمنځ تمه شوې ناموافقه، او α = 1 − D_o/D_e. په نومي میټریک کې هره ناموافقه برابره ده؛ په ترتیبي (ordinal) میټریک کې د "ټیټ" او "لوړ" ترمنځ ناموافقه د "ټیټ" او "منځني" ترمنځ له ناموافقې جدي ده؛ په فاصله یي میټریک کې – د توپیر د مربع له مخې. له همدې امله د 1-7 مقیاس (scale) α په نومي میټریک کې ټیټه ده، او ځینې وخت ډېره ټیټه، د هماغې α په پرتله په فاصله یي میټریک کې: توپیر "تېروتنه" نه ده بلکې د دې تعریف دی چې څه موافقه ګڼل کېږي.

د α او q د باور واټن (confidence interval). α د معیاري تېروتنې فورمول نه لري؛ Krippendorff (2019، برخه 11.4.2) د هغې پر ځای bootstrap وړاندې کوي: α د معلوماتو پر زرګونو بیا نمونو محاسبه کېږي، او د هغو ارزښتونو وېش (distribution) چې ترلاسه کېږي د باور واټن ورکوي – او هغه څه چې د هغه لپاره ډېر مهم دي – q، دا احتمال چې α له ټاکل شوي حد څخه نه تېرېږي. هغه لیکي چې د "آیا α له صفر څخه توپیر لري" ازموینه بې معنا ده؛ پوښتنه دا ده چې موږ څومره ډاډه یو چې α له .800 (یا .667) پورته ده. پاڼه د واحدونو bootstrap پلي کوي (Efron & Tibshirani, 1993): د N واحدونو 2,000 نمونې له بیا ځای پر ځای کولو سره، د هرې نمونې لپاره α، د واټن لپاره 2.5 او 97.5 سلنیزې، او له .667 او .800 څخه لاندې د نمونو برخه د q په توګه. د Krippendorff له KALPHA ماکرو سره دوه توپیرونه: هغه د ترکیبونو له ماتریس څخه د ارزښتونو جوړې نمونه اخلي نه واحدونه، نو واټنونه یې کېدای شي یو څه توپیر ولري؛ او پاڼه ثابت تخم کاروي، نو هماغه معلومات تل هماغه واټن ورکوي – د وېبپاڼې قاعده: ټاکلی (deterministic) محاسبه.

وزن لرونکې κ (Cohen, 1968؛ هغه وخت ښودل کېږي چې کټګورۍ عددي وي، درې او ډېرې، او میټریک نومي نه وي) – د ترتیبي (ordinal) مقیاسونو لپاره: د 1 او 2 ترمنځ ناموافقه د 1 او 5 ترمنځ په څېر نه ده. خطي وزن د واټن له مخې امتیاز ورکوي، مربعي – د واټن د مربع له مخې؛ مربعي په ډېرو حالتونو کې د ټولګي دننه له همبستګۍ سره برابره ده، نو همدا عامه ده. دواړه په جدول کې دي، ځکه چې د هغوی ترمنځ انتخاب د څېړونکي پرېکړه ده، نه د سافټویر – او راپور کېږي چې کومه ټاکل شوې. د Fleiss κ (Fleiss, 1971؛ له درېیو کوډ ورکوونکو څخه ښودل کېږي) – د ډېرو کوډ ورکوونکو لپاره د κ منل شوې پراختیا، که څه هم په حقیقت کې د Scott π پراختیا ده: تمه شوې موافقه د ټولو په ګډه د کټګوریو له وېش (distribution) څخه محاسبه کېږي، نه د هر کوډ ورکوونکي (coders) په جلا ډول. دا د هر واحد لپاره د کوډ ورکوونکو برابر شمېر غواړي، نو هغه واحدونه چې ورک ارزښت (missing value) لري وځي – د α برعکس. کله چې دواړه شمېرې نږدې وي، دا شاهد دی چې ورک ارزښتونه انځور نه بدلوي. هغه معیاري تېروتنه چې Fleiss (1971) یې ورکوي یوازې د κ = 0 فرضیې لاندې سمه ده – د z ازموینې لپاره ښه ده، نه د باور واټن (confidence interval) لپاره – نو په جدول کې د κ_F د باور واټن د واحدونو له هماغه bootstrap څخه راځي لکه د α لپاره (یوازې پر بشپړو واحدونو). د وزن لرونکې κ لپاره z او p هم ښودل کېږي: د κ_w = 0 ازموینه د Fleiss، Cohen او Everitt (1969) د H₀ لاندې په معیاري تېروتنه – هماغه دود چې SPSS پرې د Symmetric Measures په جدول کې Approx. T محاسبه کوي، "د صفري فرضیې په انګېرنه په اسیمپټوټیکه معیاري تېروتنه" (Pallant, 2020, Chapter 16). دا ازموینه هغې پوښتنې ته ځواب ورکوي چې د کوډ ورکولو په څېړنه کې نږدې نه پوښتل کېږي – آیا موافقه له صفر لویه ده – او د باور واټن ګټور معلومات دي؛ دا په جدول کې دی څو پایلې د SPSS له پایلو سره سمون ولري.

دوه پیمانې، او توپیر یې څه دی. Landis او Koch (1977، مخ 165) د κ ساحه (range) په شپږو درجو ووېشله – ډېره کمزورې، کمزورې، منځنۍ، د پام وړ، نږدې بشپړه – او په هماغه ساه کې یې زیاته کړه چې وېش "په ښکاره ډول خپلسری" (clearly arbitrary) دی او موخه یې دا وه چې د هغوی په مقاله کې د بېلګې لپاره "ګټور معیارونه" وي. دا پیمانه د هغوی له نیت څخه ډېره هاخوا ریښې وغځولې. Krippendorff (2019، برخه 11.4.4) د هغې پر ځای دوه حدونه ټاکي: یوازې پر هغو متحولونو تکیه کول چې α یې له .800 پورته وي، او د .667 او .800 ترمنځ یوازې محتاطې پایلې اخیستل – او مني چې .800 هم د انجینرۍ او طب په پرتله "یو څه ټیټ معیار" دی. واټن ښکاره دی: κ = .65 د Landis او Koch له مخې "د پام وړ موافقه" ده او د Krippendorff له مخې حد ته نه رسېدل. پاڼه دواړه ښيي، او د پرېکړې پر ځای د Krippendorff پوښتنه وړاندې کوي: په دې څېړنه کې د غلطې پایلې بیه څه ده؟

انګېرنې او خبرداري

د Cohen درې انګېرنې (1960، مخ 38): واحدونه خپلواک دي؛ کټګورۍ خپلواکې، یو بل ردوونکې او بشپړې دي؛ او کوډ ورکوونکي (coders) په خپلواک ډول کار کوي. درېیمه هغه ده چې په عمل کې ماتېږي – دوه کوډ ورکوونکي چې یو ځای ناست وي، یا دویم کوډ ورکوونکی چې د لومړي کوډونه ویني، داسې "موافقه" جوړوي چې ثبات (reliability) نه دی.

ثبات (reliability) د متحول ځانګړنه ده، نه د څېړنې. Krippendorff (2019، برخه 11.4.4) د څو متحولونو د α د اوسط اخیستلو په اړه خبرداری ورکوي: د ثبت متحولونه (نېټه، اوږدوالی) تل باثباته دي او اوسط لوړوي، په داسې حال کې چې مهم متحولونه – هغه چې کوډ ورکول یې ګران دي – د هغه لاندې پټېږي. د هر متحول لپاره جلا راپور ورکول کېږي.

د کټګوریو فریکونسي (frequency). کله چې یوه کټګوري د واحدونو په 90% کې راشي، حتی د 90% خامه موافقه هم ټیټ κ ورکوي – پر عامه کټګورۍ موافقه "د تصادف له مخې تمه کېږي". دا د شاخص سمه ځانګړنه ده (Krippendorff, 2019، برخه 11.4.1: پرته له واریانس متحول معلومات نه لري)، خو څېړونکي حیرانوي؛ که متحول نږدې ثابت وي، باید وپوښتل شي چې آیا اصلاً متحول دی.

د ثبات (reliability) د ازموینې لپاره د نمونې اندازه. د κ د باور واټن له N سره تنګېږي؛ Krippendorff (2019، برخه 11.4.3) وړاندیز کوي چې د واحدونو شمېر داسې وټاکل شي چې تر ټولو نادره کټګوري کافي ځله راشي څو پر هغې ناموافقه وموندل شي – د 30 واحدونو نمونه چې یوه کټګوري پکې دوه ځله راځي دا کټګوري نه ازمویي.

ورک ارزښتونه. κ یوازې پر هغو واحدونو محاسبه کېږي چې په جوړه کې دواړو کوډ ورکوونکو کوډ کړي (جوړه ییز لرې کول – لکه په SPSS کې)؛ α هر هغه ارزښت کاروي چې په خپل واحد کې لږ تر لږه یو ملګری ولري، نو د κ N او د α "د پرتلې وړ واحدونه" کېدای شي په هماغو معلوماتو کې توپیر ولري. دواړه راپور کېږي.

دا پاڼه څه نه محاسبه کوي. د واحد جوړونې لپاره α (unitizing; Krippendorff, 2019, Section 11.6) – کله چې کوډ ورکوونکي (coders) دا هم ټاکي چې واحد چېرته پیلېږي او پای ته رسېږي؛ د Fleiss κ لپاره اسیمپټوټیکه معیاري تېروتنه (Fleiss, 1971، یوازې د H₀ لاندې ورکوي؛ د باور واټن – په bootstrap)؛ او د KALPHA د ځانګړي الګوریتم له مخې د باور واټن (confidence interval) (پورته وګورئ).

او دا په SPSS کې څنګه کېږي؟

د نسخو یادونه. کړنلاره له ډېرو لومړنیو نسخو راهیسې ثابته ده؛ د لاندې مېنو نومونه د SPSS 29 له مخې دي. Cohen (1960) او Landis او Koch (1977) له SPSS څخه مخکې وو؛ په SPSS کې د معیاري تېروتنې فورمول د Fleiss، Cohen او Everitt (1969) دی، او همدا هغه دی چې پاڼه یې محاسبه کوي.

د Cohen κ: Analyze › Descriptive Statistics › Crosstabs… – لومړی کوډ ورکوونکی Row(s) ته، دویم Column(s) ته، او د Statistics… په تڼۍ کې Kappa نښه کېږي. سینټکس (syntax):

CROSSTABS
  /TABLES=coder_A BY coder_B
  /STATISTICS=KAPPA
  /CELLS=COUNT.

د Symmetric Measures په جدول کې: Value = κ، Asymp. Std. Error = ASE ("پرته د صفري فرضیې له انګېرلو")، Approx. T = z ("د صفري فرضیې په انګېرنه په اسیمپټوټیکه معیاري تېروتنه" – د جدول دواړه حاشیوي یادونې؛ Pallant, 2020، څپرکی 16)، Approx. Sig. = p. د Crosstabulation جدول د موافقې ماتریس دی. پام وکړئ: SPSS κ یوازې هغه وخت محاسبه کوي چې دواړه متحولونه هماغه کټګورۍ وکاروي؛ که یو کوډ ورکوونکي هېڅکله یوه ټاکلې کټګوري نه وي کارولې، جدول مربع نه دی او SPSS به کاپا چاپ نه کړي – پاڼه یې پر بشپړو ګډو کټګوریو محاسبه کوي، لکه څنګه چې Cohen تعریف کړې.

وزن لرونکې κ: له 27 نسخې څخه – Analyze › Scale › Weighted Kappa…، له خطي وزن (تلواله) یا مربعي وزن او اسیمپټوټیک د باور واټن (confidence interval) سره؛ سینټکس (syntax) – د ډیالوګ په Paste تڼۍ کې. د Fleiss κ: په SPSS کې نشته؛ لاندې R وګورئ.

د Krippendorff α: جوړه شوې کمانډ نشته. د Hayes او Krippendorff (2007) KALPHA ماکرو – د ماکرو فایل یو ځل چلول کېږي، او بیا:

KALPHA judges = coder_A coder_B coder_C
  /level = 1 /detail = 0 /boot = 2000.

level: 1 نومي، 2 ترتیبي (ordinal)، 3 فاصله یي، 4 نسبتي؛ boot – د باور د واټن لپاره د bootstrap د نمونو شمېر (0 – پرته له هغې)؛ د KALPHA الګوریتم د ارزښتونو جوړې نمونه اخلي نه واحدونه، نو واټنونه یې په پاڼه کې واټنونو ته نږدې دي خو یو شان نه دي. په پایلو کې د "د SPSS سینټکس (syntax) ښکته کړئ" تڼۍ دواړه برخې پر پورته شویو معلوماتو جوړوي، که د کوډونو پاڼه (codebook) وه د قاموس له کمانډونو سره.

او دا په R کې څنګه کېږي؟

د irr کڅوړه دواړه ضریبونه محاسبه کوي: kappa2 – د یوې جوړې لپاره د Cohen κ (یوازې بشپړ واحدونه، لکه SPSS او لکه پاڼه)؛ kripp.alpha – د کوډ ورکوونکو د هر شمېر لپاره د Krippendorff α، د ورک په توګه له NA سره، په څلورو میټریکونو کې. سکریپټ د بېلګې پر فایل وچلول شو او د جدول ارزښتونه یې ورکړل (په یادښتونو کې). په R کې د پښتو لپاره د وېبپاڼې قاعده: فایل په UTF-8 کې خوندي کېږي، د یادونې هره کرښه په یوه پښتو کلمه پیلېږي؛ او سربېره پر دې – په عبري د پاڼو او متحولونو نومونه د UTF-8 چاپېریال ته اړتیا لري (په Windows کې: Sys.setlocale('LC_ALL', 'Hebrew') یا د R 4.2 او پورته نسخه، چې په هغې کې UTF-8 تلواله (default) ده).

# د کوډ ورکوونکو ترمنځ ثبات – پروفیسور سټاټ. دا فایل په UTF-8 کې خوندي شوی؛ د یادونې هره کرښه په یوه پښتو کلمه پیلېږي
library(readxl)   # د اکسل لوستل
library(irr)      # kappa2, kripp.alpha

# پورته کول: معیاري کینډۍ – کتار = د کوډ ورکولو واحد، ستون = کوډ ورکوونکی؛ پاڼه "נתונים"
d <- read_excel("C:/Rdata/DATA_reliability_example_heb.xlsx", sheet = "נתונים")

# د کوډ ورکوونکو د یوې جوړې لپاره د Cohen کاپا (یوازې بشپړ واحدونه، لکه په SPSS کې)
k <- kappa2(d[, c("מקודד א", "מקודד ב")])
k$value        # κ = .653
k$subjects     # N = 139
k$statistic    # z = 15.14 (د κ = 0 ازموینه)

# د Krippendorff الفا – ټول کوډ ورکوونکي، ورک ارزښتونه روا دي؛ کتارونه = کوډ ورکوونکي، ستونونه = واحدونه
m <- t(as.matrix(d[, c("מקודד א", "מקודד ב", "מקודד ג")]))
kripp.alpha(m, method = "nominal")$value    # α = .629
kripp.alpha(m, method = "ordinal")$value    # α = .659
kripp.alpha(m, method = "interval")$value   # α = .654

# د یوې جوړې لپاره وزن لرونکې کاپا – خطي وزن ("equal") یا مربعي ("squared")؛ کټګورۍ باید ترتیب شوې وي
kappa2(d[, c("מקודד א", "מקודד ב")], weight = "equal")$value     # خطي κw = .662
kappa2(d[, c("מקודד א", "מקודד ב")], weight = "squared")$value   # مربعي κw = .664

# د Fleiss کاپا – درې او ډېر کوډ ورکوونکي، یوازې هغه واحدونه چې د ټولو له خوا کوډ شوي
f <- kappam.fleiss(d[complete.cases(d[, 2:4]), c("מקודד א", "מקודד ב", "מקודד ג")])
f$value        # κF = .636
f$subjects     # N = 134
f$statistic    # z = 24.97

kappa2 هم z او p چاپوي خو نه اسیمپټوټیکه معیاري تېروتنه او نه κ_max؛ kripp.alpha یوازې α چاپوي، پرته د باور له واټن. هغه شمېرې چې په پاڼه کې په جدول کې دي – ASE، د باور واټن (confidence interval)، κ_max او د α د bootstrap واټن – له SPSS یا له پاڼې څخه ترلاسه کېږي.

د پایلو راپور ورکول

د APA (2020، برخه 6.36) له مخې κ او α – هغه ضریبونه چې له 1 څخه نه لوړېږي – پرته له مخکني صفر او په دوو رقمونو لیکل کېږي؛ د باور واټن (confidence interval) د 6.43 برخې له مخې. هغه متن چې پاڼه یې جوړوي: "د دوو کوډ ورکوونکو ترمنځ د کوډ ورکولو ثبات (reliability) پر N = 139 واحدونو وازمویل شو. خامه موافقه 72.7% وه؛ د Cohen کاپا κ = .65, 95% CI [.56, .75]؛ د Krippendorff الفا (نومي) α = .65". N، خامه موافقه (Krippendorff یې نیوکه کوي، خو لوستونکي ته معیار ورکوي)، ضریب د باور له واټن سره، او د α میټریک راپور کېږي – پرته له میټریک، α د تفسیر وړ نه ده. د تفسیر هغه پیمانه چې تاسو ټاکلې – Landis او Koch یا Krippendorff – په نوم یادېږي، ځکه چې هغوی سره موافق نه دي.

عامې تېروتنې

یوازې د خامې موافقې راپور ورکول. په هغه متحول چې غالبه کټګوري ولري 85% موافقه کېدای شي κ = .20 وي. Krippendorff (2019، برخه 11.5) په تفصیل سره بیانوي چې ولې "%-agreement" د تفسیر وړ نه دی – او ولې لا هم راڅرګندېږي.

پر هغو واحدونو د ثبات (reliability) محاسبه چې کوډ ورکوونکو پرې بحث کړی. هغه موافقه چې په بحث کې ترلاسه شوې اجماع ده، نه ثبات. له بحث مخکې، پر خپلواک کوډ ورکولو، اندازه کېږي.

د بېلابېلو متحولونو د ثباتونو اوسط اخیستل – د انګېرنو په برخه کې خبرداری وګورئ.

د هغې شمېرې له مخې د میټریک ټاکل چې راوځي. په فاصله یي میټریک کې α په هماغو معلوماتو نږدې تل له نومي α څخه لوړه وي. میټریک د متحول د ماهیت له مخې ټاکل کېږي – آیا د 1 او 5 ترمنځ توپیر په رښتیا د 1 او 2 ترمنځ له توپیر لوی دی – او له محاسبې مخکې ثبتېږي.

د "ډېره کمزورې / د پام وړ / نږدې بشپړه" د معیار په توګه نقل کول. دا د Landis او Koch کلمې دي د یوې بېلګې لپاره، له ښکاره محدودیت سره. کارول یې کېدای شي؛ خو باید داسې وړاندې نه شي لکه چې چا ټاکلې وي.

کله چې ضریب ټیټ وي ودرېدل. ټیټ ضریب د کار پیل دی، نه پای یې: د موافقې ماتریس ښيي چې کومې کټګورۍ ګډوډېږي، κ_max ښيي چې آیا یو کوډ ورکوونکی یوې ټاکلې کټګورۍ ته تمایل لري، او په درېیو کې یوه کمزورې جوړه ښيي چې څوک په بل ډول تفسیروي. د کوډونو کتاب (codebook) سمېږي، روزنه ورکول کېږي، او پر نوې نمونه بیا اندازه کېږي.

سرچینې

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104

Cohen, J. (1968). Weighted kappa: Nominal scale agreement with provision for scaled disagreement or partial credit. Psychological Bulletin, 70(4), 213-220. https://doi.org/10.1037/h0026256

Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall. https://doi.org/10.1007/978-1-4899-4541-9

Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619

Fleiss, J. L., Cohen, J., & Everitt, B. S. (1969). Large sample standard errors of kappa and weighted kappa. Psychological Bulletin, 72(5), 323-327. https://doi.org/10.1037/h0028106

Hayes, A. F., & Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1(1), 77-89. https://doi.org/10.1080/19312450709336664

Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE.

Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174. https://doi.org/10.2307/2529310

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Scott, W. A. (1955). Reliability of content analysis: The case of nominal scale coding. Public Opinion Quarterly, 19(3), 321-325. https://doi.org/10.1086/266577