د ROC تحلیل

د معلوماتو پورته کول

ستونونه مستقیم له پاڼې څخه (د سرلیکونو د کتار په ګډون) پېسټ کېږي – په اکسل کې په نښه کېږي، کاپي کېږي او دلته پېسټ کېږي:

متحولونه او تنظیمات

کله کارول کېږي؟

کله چې زرین معیار شته – د دې ټاکلو یوه منل شوې لاره چې څوک په حالت کې دی او څوک نه (کلینیکي مرکه، په عمل کې پرېښودل، په ازموینه کې بریالیتوب) – او یو عددي شاخص چې باید هغه وړاندوینه کړي، او پوښتل کېږي چې شاخص دواړه ډلې څومره ښه سره بېلوي. کلاسیکه بېلګه د تشخیص په مقابل کې د غربالګرۍ د پوښتنلیک اعتبار ازمویل دي، خو پوښتنه پراخه ده: Pepe (2003، مخ 74) یادونه کوي چې د ROC منحني "د دوو وېشونو (distributions) ترمنځ بېلتون بیانوي"، او له همدې امله "په هر هغه ځای کې چې د وېشونو ترمنځ بېلتون په زړه پورې وي" ګټوره ده – د پرېښودو د خطر نمره د پرېښودو په مقابل کې، له لوجستیک رګرسیون څخه وړاندوینه شوی احتمال د پایلې په مقابل کې، د داخلې ازموینې نمره په زده کړو کې د بریالیتوب په مقابل کې.

Pepe (2003، مخ 73، جدول 4.1) څلور کارونې شمېري: د شاخص د ممکنه کړنو بشپړ بیان؛ د هغو څېړنو پرتله او یوځای کول چې بېلابېل حدونه یې کارولي؛ د حد په ټاکلو کې لارښوونه؛ او د هغو شاخصونو پرتله چې په بېلابېلو مقیاسونو اندازه کېږي – د 27 نمرو پوښتنلیک د 1-5 مقیاس په مقابل کې. کله چې شاخص پخپله دوه ارزښتیز وي (مثبت/منفي)، منحني نه بلکې یو ټکی دی – یو 2×2 جدول؛ د هغه د اړیکې ازموینه – د کای مربع په پاڼه کې. او د ماشیني زده کړې د ماډل د کړنې شاخصونه – په شمول د نادرې ټولګې په حالت کې د ROC او د precision-recall منحني پرتله – د د ماډل لپاره د کړنې شاخصونه او تایید په پاڼه کې.

منطق: له یوه حد څخه ټولو حدونو ته

یو حد. د نمرې پر بنسټ د پرېکړې لپاره یو حد ټاکل کېږي: څوک چې له هغه پورته وي "مثبت" دی. Pepe (2003، مخ 67) تشریح کوي چې د حد ټاکل "د شرایطو سره بدلېږي" – سرچینې، د څېړنې یا درملنې بیه، د حالت شدت – او دا چې په هغه منل شوي جوړجاړي ولاړ دی چې "د حالت د نه موندلو او د هغه د غلط پېژندلو ترمنځ" دی. په یوه ټاکلي حد کې یو 2×2 جدول او دوه کچې ترلاسه کېږي: حساسیت – له هغو کسانو څخه چې په حالت کې دي د پېژندل شویو کچه (د ریښتینو مثبتو کچه)، او ځانګړتیا (specificity) – له هغو کسانو څخه چې په حالت کې نه دي د منفي کسانو کچه؛ 1 − ځانګړتیا د غلطو مثبتو کچه ده (Fawcett, 2006, p. 862).

ټول حدونه. منحني د (د غلطو مثبتو کچه، حساسیت) د ټولو هغو جوړو ټولګه ده چې د حد په خوځولو سره ترلاسه کېدای شي (Pepe, 2003, p. 67, Equation 4.3) – "یوه وسیله چې په ساده ډول د هغو جوړجاړو ساحه بیانوي چې ازموینه یې ترلاسه کولای شي". پورتنی کیڼ کونج، (0, 1)، بشپړه ډلبندي ده؛ قطر تصادفي اټکل دی – څوک چې په 70% پېښو کې "مثبت" اټکل کړي، 70% حساسیت او 70% غلط مثبت به ترلاسه کړي (Fawcett, 2006, pp. 862-863). د منحني په کیڼ اړخ کې ټکي "محافظه کاره" حدونه دي – یوازې د قوي شواهدو سره مثبت، لږ غلط خبرداري او لږې موندنې؛ په پورتني ښي اړخ کې – "لیبرال" (Fawcett, 2006, p. 863).

یوازې ترتیب مهم دی. منحني د نمرې په هېڅ لوړېدونکي بدلون (transformation) سره نه بدلېږي (Pepe، 2003، مخ 69، پایله 4.1)، او تجربي منحني "یوازې د رتبو تابع ده" (Pepe, 2003, p. 98). له همدې امله پکې په بېلابېلو واحدونو شاخصونه پرتله کېږي، او له همدې امله د لږو ارزښتونو لرونکې ترتیبي (ordinal) نمرې لپاره هم مناسبه ده – بیا منحني پوړۍ لرونکې ده، د لویو ټوپونو او قطري ټوټو سره په هغو ځایونو کې چې د حالت لرونکو او نه لرونکو ترمنځ مساوي نمرې شته (Pepe, 2003, p. 98).

د منحني لاندې مساحت

د منحني لاندې مساحت (AUC) په بشپړ شاخص کې 1 او په بې معلوماتو شاخص کې 0.5 دی (Pepe, 2003, p. 77). دوه لوستنې لري، او سرچینې په دې کې اختلاف لري چې کومه غوره ده – له همدې امله "دواړه":

د سمې درجه بندۍ احتمال. مساحت دا احتمال دی چې د حالت له ډلې څخه یو تصادفي ګډونوال به د بلې ډلې له یوه تصادفي ګډونوال څخه لوړه نمره ترلاسه کړي (Hanley & McNeil, 1982, p. 29; Fawcett, 2006, p. 868)، او دا سم هغه کمیت دی چې د Mann-Whitney ازموینه (د دوو نمونو لپاره Wilcoxon) یې اټکلوي: د تجربي منحني لاندې مساحت د U احصایې د جوړو پر شمېر وېشلو سره برابر دی (Pepe، 2003، مخ 103، پایله 5.3؛ Hanley & McNeil، 1982، مخ 31-32). د دوو ګډونوالو ترمنځ مساوي نمره نیمایي شمېرل کېږي. Hanley او McNeil (1982، مخ 31) ټینګار کوي چې دا اړیکه "د وېشونو د بڼې په اړه هېڅ نه انګېري" – د نرمې منحني د مساحت برعکس، چې په دوو نورمالو وېشونو ولاړ دی.

اوسط حساسیت. Pepe (2003، مخ 78-79) قانع نه ده: د یوې جوړې سمه درجه بندي د کلینیکي پوښتنې په توګه "په ځانګړي ډول قانع کوونکې نه ده" – دا د انځورونو له یوې جوړې څخه د جبري انتخاب په ازمایښت کې طبیعي ده، نه د ازموینې په کارونه کې – او هغه غوره ګڼي چې مساحت "د اوسط حساسیت په توګه، د غلطو مثبتو د کچو په ټوله ساحه کې" ولولي. دواړه لوستنې له ریاضي پلوه سمې دي؛ لومړۍ د تشریح لپاره اسانه ده، دویمه یادونه کوي چې مساحت په هغو حدونو هم اوسط نیسي چې هېڅوک به یې ونه کاروي.

مساحت څه پټوي. د یو شان مساحت لرونکي دوه شاخصونه کېدای شي په هغه سیمه کې چې تاسو ته مهمه ده ډېر توپیر ولري: "کېدای شي د لوړ AUC لرونکی ډلبندوونکی د ROC د فضا په یوه ټاکلې سیمه کې د ټیټ AUC لرونکي ډلبندوونکي په پرتله بد کار وکړي" (Fawcett, 2006, p. 868)، او له هغې منحني څخه چې په هر ځای کې ښه وي لوی مساحت راځي، خو "برعکس یې حتماً سم نه دی" (Pepe, 2003, p. 77). د بېلګې په توګه، د احصایوي ټولګې په غربالګرۍ کې یوازې د لږو غلطو مثبتو لرونکي حدونه د کارولو وړ دي، او هلته یوازې د منحني کیڼه برخه اړونده ده (Pepe, 2003, p. 75) – د دې لپاره جزئي مساحت شته (pAUC; Pepe, 2003, p. 79)، چې پاڼه یې نه محاسبه کوي. له همدې امله پاڼه تل منحني ښيي، نه یوازې مساحت. د Gini ضریب، چې د ماشیني زده کړې په ادبیاتو کې راځي، 2·AUC − 1 دی (Hand & Till، 2001، لکه څنګه چې په Fawcett، 2006، مخ 868 کې راغلي).

له 0.5 ښکته مساحت. "هېڅ واقعي ډلبندوونکی باید له 0.5 ټیټ AUC ونه لري" (Fawcett, 2006, p. 868): له قطر لاندې شاخص "ګټور معلومات لري، خو هغه په غلطه توګه کاروي" (Flach & Wu، 2003، لکه څنګه چې په Fawcett، 2006، مخ 863 کې راغلي) – نږدې تل لوری برعکس تعریف شوی وي. پاڼه په داسې حالت کې خبرداری ورکوي.

معیاري تېروتنه، د باور واټن او ازموینه

د DeLong معیاري تېروتنه. DeLong، DeLong او Clarke-Pearson (1988، مخ 839-840) مساحت په "جوړښتي اجزاوو" وېشي: د حالت د ډلې د هر ګډونوال لپاره – د بلې ډلې د هغو ګډونوالو کچه چې دی ترې مخکې کېږي؛ د بلې ډلې د هر ګډونوال لپاره – د حالت د ډلې د هغو ګډونوالو کچه چې له ده مخکې کېږي. د مساحت واریانس د لومړیو اجزاوو واریانس دی د پېښو پر شمېر وېشل شوی، جمع د وروستیو اجزاوو واریانس د کنټرولونو پر شمېر وېشل شوی. Pepe (2003، مخ 105-106) دې اجزاوو ته "د ځای ارزښتونه" (placement values) وايي – هره نمره د بلې ډلې په وېش کې چېرته ځای لري – او هغه د "ROC تحلیل لپاره بنسټیز" مفهوم ګڼي. دا په پاڼه کې اصلي معیاري تېروتنه ده، او هغه ده چې R یې محاسبه کوي (pROC).

د Hanley او McNeil معیاري تېروتنه. زوړ فورمول (Hanley & McNeil, 1982, p. 32, Equation 1) په دوو احتمالونو ولاړ دی: Q₁ – دا چې د حالت د ډلې دوه ګډونوال دواړه د بلې ډلې له یوه ګډونوال څخه مخکې شي، او Q₂ – دا چې د حالت د ډلې یو ګډونوال د بلې ډلې له دوو ګډونوالو څخه مخکې شي. پاڼه دا له معلوماتو محاسبه کوي، د مساوي نمرو سره لکه د مقالې په II جدول کې (مخ 31)، او دا هغه معیاري تېروتنه ده چې PSPP یې چاپوي. دواړه فورمولونه نږدې تل یو بل ته نږدې دي. Hanley او McNeil (1982، مخ 33، فورمول 2) یو تقریب هم وړاندې کړی چې یوازې په مساحت پورې تړلی دی – Q₁ = θ/(2 − θ)، Q₂ = 2θ²/(1 + θ) – د معلوماتو له شتون مخکې د نمونې د اندازې د پلان لپاره؛ په مقاله کې III جدول (مخ 34) د دوو مساحتونو ترمنځ د پرتلې لپاره د ګډونوالو اړین شمېر ورکوي.

د باور واټن – دوه ډوله، "دواړه". عام ډول – مساحت جمع او منفي 1.96 معیاري تېروتنې (DeLong)، لکه په R کې. خو مساحت په 1 محدود دی، او کله چې 1 ته نږدې وي وېش یې "د 0.5 په لور کوږ" وي (Hanley & McNeil, 1982, p. 34)، او متناظر واټن کېدای شي له 1 واوړي (پاڼه یې په 1 کې پرې کوي، لکه R). Pepe (2003، مخ 107) په لوجیټ (logit) مقیاس کې یو واټن وړاندې کوي – نامتناظر، تل د 0 او 1 ترمنځ – او په سیمولیشن کې ښيي چې په کوچنیو نمونو او لوړو مساحتونو کې یې پوښښ ښه دی (جدول 5.1)؛ "په عمل کې موږ سپارښتنه کوو" یې. پاڼه دواړه ښيي؛ د موندنو پاراګراف متناظر DeLong کاروي، چې په R او SPSS کې بیا ترلاسه کېدای شي، او د .90 او پورته مساحت کې یا په هغه ډله کې چې له 30 لږ ګډونوال ولري – غوره دا ده چې لوجیټ راپور شي.

آیا مساحت له 0.5 لوی دی؟ پاڼه د دې صفري فرضیې (null hypothesis) لپاره z او p راپور کوي چې شاخص بېلتون نه کوي (مساحت 0.5)، د صفري فرضیې لاندې د معیاري تېروتنې سره – دا په نورمال تقریب کې د Mann-Whitney ازموینه ده، د مساوي نمرو لپاره له سمون پرته، او دا د PSPP Asymptotic Sig. دی. د مساوي نمرو د سمون سره (د Mann-Whitney پاڼه) p لږ کوچنی کېږي. داسې ازموینه یوې ساده پوښتنې ته ځواب ورکوي: په لویه نمونه کې د .58 مساحت هم "معنادار" دی، او له همدې امله هغه څه چې راپور کېږي مساحت او د هغه د باور واټن دی.

د حد ټاکل

د Youden شاخص. J = حساسیت + ځانګړتیا − 1، یعنې د منحني او قطر ترمنځ عمودي واټن؛ هغه حد چې دا اعظمي کوي د پاڼې تلواله (default) ده. Pepe (2003، مخ 80) دا د یوه لنډیز په توګه وړاندې کوي چې وړاندیز شوی "کله چې د غلطو مثبتو تېروتنو بیه د غلطو منفي تېروتنو د بیې سره په اندازه کې ورته وي" – او دا انګېرنه ده، نه حقیقت. کله چې بیې توپیر ولري، سم حد په بیو او د حالت په شیوع پورې اړه لري (Pepe، 2003، مخ 72، پایله 4.5؛ Fawcett، 2006، مخ 867، "د مساوي کړنې کرښې"): د یوه خطرناک حالت په غربالګرۍ کې لوړ حساسیت غوره ګڼل کېږي که څه هم د غلطو خبرداریو په بیه وي؛ د یوې ګرانې مداخلې څخه مخکې – برعکس. له همدې امله پاڼه اجازه ورکوي چې هر حد وازمویل شي، او ټول حدونه په یوه بشپړ جدول کې ښيي. او که په ادبیاتو کې د شاخص لپاره منل شوی حد شته – هغه راپور کېږي، نه هغه حد چې په معلوماتو کې موندل شوی.

هغه حد چې پر معلوماتو ټاکل شوی، خوشبینه دی. د Youden حد داسې ټاکل کېږي چې په سمه توګه له همدې نمونې سره برابر وي، او له همدې امله په هغه کې حساسیت او ځانګړتیا د هغه څه په پرتله لږ لوړ دي چې په نوې نمونه کې به ترلاسه شي. د وېبپاڼې د دود له مخې، هغه حد چې پر معلوماتو ټاکل شوی د لومړنۍ موندنې په توګه راپور کېږي، او د هغه کړنه په بله نمونه کې تاییدېږي (په نوي معلوماتو د تایید په اړه – د د ماډل لپاره د کړنې شاخصونه او تایید پاڼه).

په حد کې څه محاسبه کېږي. حساسیت او ځانګړتیا د دقیق باور واټن سره (Clopper-Pearson) – Pepe (2003، مخ 22) دقیقې یا لوجستیکي طریقې غوره ګڼي، ځکه چې په ښو ازموینو کې کچې څنډې ته نږدې وي، او متناظر نورمال واټن "کېدای شي له (0, 1) واوړي". مهمه دا ده چې دواړه راپور شي، نه ټول دقت: دواړه تېروتنې په بیه کې توپیر لري، او ټول دقت په شیوع پورې تړلی دی – هغه ازموینه چې ټول منفي ډلبندي کوي، په نادر حالت کې به لوړ دقت ترلاسه کړي (Pepe, 2003, p. 15). د احتمالیت نسبتونه (likelihood ratios) (LR+ = حساسیت/(1 − ځانګړتیا)، LR− = (1 − حساسیت)/ځانګړتیا) وايي چې مثبته یا منفي پایله د حالت چانس څو چنده بدلوي، او په شیوع پورې نه دي تړلي (Pepe, 2003, p. 20, Table 2.2)؛ د هغو د باور واټن – په لوګ مقیاس کې (Pepe، 2003، مخ 24، پایله 2.5).

وړاندوینیز ارزښتونه او شیوع. مثبت وړاندوینیز ارزښت – له هغو کسانو څخه چې مثبت ډلبندي شوي، څومره په ریښتیا په حالت کې دي؛ منفي – له منفي کسانو څخه، څومره په ریښتیا نه دي. دا هغه څه دي چې د هغه چا لپاره په زړه پورې دي چې پایله یې ترلاسه کړې، خو "نه یوازې د ازموینې په کړنه پورې تړلي دي... بلکې د حالت په شیوع (prevalence) پورې هم" (Pepe, 2003, p. 16). کله چې نمونه د پېښو او کنټرولونو له یوه ټاکلي شمېر څخه جوړه شوې وي، په نمونه کې کچه به "مثبت وړاندوینیز ارزښت له اندازې زیات اټکل کړي" (Pepe, 2003, p. 25). له همدې امله د حالت شیوع په هغه احصایوي ټولګه کې ولیکئ چې شاخص به پکې کارول کېږي، او پاڼه به د Bayes د قاعدې له مخې په هغې کې وړاندوینیز ارزښتونه محاسبه کړي. خو پخپله د ROC منحني "د ټولګیو د وېش بدلونونو ته حساسه نه ده" (Fawcett, 2006, p. 864).

د شاخصونو پرتله

کله چې څو شاخصونه په همغو ګډونوالو اندازه شوي وي، د هغو مساحتونه سره همبستګي (correlation) لري – همغه خلک د ټولو شاخصونو لپاره "اسانه" او "ګران" دي – او هغه پرتله چې دا له پامه غورځوي غلطه ده. DeLong او همکارانو (1988) د دې لپاره یوه نا-پارامتریکه لاره جوړه کړه: له جوړښتي اجزاوو څخه د مساحتونو د کوواریانس (covariance) ماتریس، او د هغو ترمنځ د هر تقابل لپاره د کای مربع ازموینه (مخ 840-841، معادله 5). د شاخصونو د یوې جوړې لپاره – د مساحتونو ترمنځ د توپیر لپاره z، د باور واټن سره (Pepe، 2003، مخ 108، پایله 5.6)؛ د درېیو او ډېرو لپاره – د ټولو مساحتونو د مساوات لپاره عمومي ازموینه (k − 1 د ازادۍ درجې)، او ورپسې ټولې جوړې، د وېبپاڼې د دود له مخې د څو ګونو پرتلو لپاره د Holm سمون سره. هغه شاخص چې برعکس لوری لري (رواني هوساینه د نښو په مقابل کې) د نښې له اړولو وروسته پرتلې ته ننوځي، لکه څنګه چې DeLong او همکارانو د خپلې نمرې سره وکړل (مخ 842).

د هغوی د بېلګې درس (مخ 844): د عملیات د بریالیتوب د وړاندوینې لپاره یوه ځانګړې نمره د تغذیې له دوو عادي شاخصونو څخه ښه نه وه، خو "په دې حالت کې احصایوي ځواک (statistical power) شاید د کوچنۍ نمونې د اندازې له امله ډېر کم وي" – 49 ښځینه ناروغانې. په کوچنۍ نمونه کې د مساحتونو ترمنځ د معنادار توپیر نشتوالی دا ثبوت نه دی چې شاخصونه سره برابر دي. کله چې شاخصونه د ګډونوالو په بېلابېلو ډلو اندازه شوي وي، د توپیر واریانس په ساده ډول د واریانسونو مجموعه ده (Pepe, 2003, p. 108) – پاڼه داسې پرتله نه محاسبه کوي.

پایلې (output) څنګه ولولو؟

جدول 1 – د منحني لاندې مساحت: د هر شاخص لپاره – لوری، مساحت، معیاري تېروتنې (DeLong; Hanley & McNeil)، دواړه د باور واټنونه، او د 0.5 په مقابل کې z او p. ګراف 1 – منحني ګانې، د قطر او د هر شاخص د Youden حد سره.

جدول 2 – د Youden د شاخص له مخې حد: د هر شاخص لپاره – حد (مثبت که نمره له هغه لوړه یا ورسره مساوي وي؛ په برعکس لوري شاخص کې – ټیټه یا مساوي)، حساسیت او ځانګړتیا د باور واټنونو سره، J، وړاندوینیز ارزښتونه او د احتمالیت نسبتونه. حدونه د ګاونډیو ارزښتونو ترمنځ منځني ټکي دي، لکه په SPSS او R کې، او له همدې امله د بشپړو عددونو په پوښتنلیک کې د 10.5 حد معنا "11 او پورته" ده.

د حد ازموینه: یو شاخص ټاکل کېږي او یو حد لیکل کېږي، او جدول 3 ترلاسه کېږي – یو 2×2 جدول او په دې حد کې ټول شاخصونه، په شمول د هغې شیوع وړاندوینیز ارزښتونه چې تاسو ولیکله. د هغه لاندې، په یوه کلیک – د شاخص ټول حدونه. جدول 4 – د مساحتونو پرتله (کله چې دوه یا ډېر شاخصونه ټاکل شوي وي): د هرې جوړې ترمنځ توپیر، معیاري تېروتنه، د باور واټن، z، p، د Holm سمون شوی p، او د مساحتونو ترمنځ همبستګي؛ په یادونه کې – عمومي ازموینه.

انګېرنې او خبرداري

زرین معیار سم دی. ټوله محاسبه انګېري چې د حالت متحول تېروتنه نه کوي. Pepe (2003، مخ 6-7، جدول 1.3) په داسې څېړنو کې عام تعصبونه شمېري: نابشپړ زرین معیار؛ د تایید تعصب – یوازې یوه برخه ګډونوال، او نه په تصادفي ډول، په زرین معیار ازمویل شوي؛ د طیف تعصب – "یوه عامه تېروتنه دا ده چې په سخت یا اوږدمهاله حالت کې پېښې او له اوسط څخه روغ کنټرولونه وټاکل شي"، هغه څه چې "کېدای شي د ازموینې ښکاره دقت زیات کړي"؛ او د تفسیر تعصب – کله چې هغه څوک چې حالت ټاکي د شاخص پایله پېژني، یا برعکس (مخ 5-6).

خپلواک ګډونوال. معیاري تېروتنې انګېري چې هر ګډونوال یوه کتنه ورکوي. کله چې د هر ګډونوال لپاره څو کتنې وي (دوې سترګې، د هر زده کوونکي لپاره څو ازموینې)، Pepe (2003، مخ 104) د ګډونوال په کچه bootstrap سپارښتنه کوي – چې پاڼه یې نه چلوي.

مساوي نمرې (ties). د لږو ارزښتونو لرونکو نمرو کې ډېرې مساوي نمرې وي، او Fawcett (2006، مخ 867) خبرداری ورکوي چې که اوسط یې ونه نیول شي، منحني په هغه ترتیب پورې تړلې وي چې ګډونوال په فایل کې راځي، او "بېلابېل ترتیبونه کېدای شي ډېرې ګمراه کوونکې منحني ګانې رامنځته کړي". پاڼه د هغو اوسط نیسي: د پېښې او کنټرول ترمنځ مساوي نمره نیمایي شمېرل کېږي، او منحني په قطري کرښه تېرېږي.

لوری مخکې له مخکې ټاکل کېږي. هغه پروګرامونه چې د معلوماتو له مخې لوری "په اتوماتیک ډول" ټاکي، هر کمزوری شاخص له 0.5 پورته مساحت ته اړوي. پاڼه دا کار نه کوي: لوری ستاسو پرېکړه ده، د هغه څه له مخې چې شاخص یې باید اندازه کړي، او له 0.5 ښکته مساحت لکه څنګه چې دی ښودل کېږي، د خبرداري سره.

عملي محدودیتونه. ورک ارزښتونه (missing values): د حالت په متحول او په ټولو ټاکل شویو شاخصونو د ټول کتار لرې کول (listwise deletion) (پاڼه خبر ورکوي چې څومره لرې شول). په هره ډله کې لږ تر لږه پنځه ګډونوال اړین دي؛ په ډله کې له 30 لږ سره – مجانبي (asymptotic) د باور واټنونه لږ دقیق دي (Pepe, 2003, p. 107, Table 5.1). د 1 مساحت (بشپړ بېلتون) – معیاري تېروتنه 0 او د باور واټن بې معنا دی، او پاڼه خبرداری ورکوي؛ په داسې حالت کې د دقیقو واټنونو لپاره Pepe (2003، مخ 107) Obuchowski او Lieber (2002، لکه څنګه چې هلته راغلي) ته اشاره کوي. دا پاڼه څه نه محاسبه کوي: نرمه (دوه نورماله) منحني، جزئي مساحت، د ټولې منحني لپاره د باور واټنونه، د خپلواکو ډلو ترمنځ پرتله، او له دوو ډلو د زیاتو لپاره ROC.

او دا په SPSS کې څنګه کېږي؟

په SPSS Statistics کې: Analyze › Classify › ROC Curve (په زړو نسخو کې – Analyze › ROC Curve)؛ شاخصونه Test Variable ته، د حالت متحول State Variable ته لېږدول کېږي او هغه ارزښت لیکل کېږي چې حالت ښيي؛ ROC Curve، With diagonal reference line، Standard error and confidence interval او Coordinate points of the ROC Curve په نښه کېږي. لوری په Options › Test Direction کې ټاکل کېږي – د ټولې کمانډ لپاره یو، او له همدې امله هغه سینټکس چې پاڼه یې جوړوي د برعکس لوري شاخصونو لپاره جلا کمانډ چلوي. لارې د پروګرام په اړه عمومي معلومات دي؛ سینټکس په SPSS کې نه دی چلول شوی.

همغه کمانډ (ROC) په PSPP کې هم شته، چې وړیا بدیل دی، او د بېلګې په فایل چلول شوی: مساحت او Std. Error له پاڼې سره یو شان دي (Std. Error د Hanley او McNeil دی، په جدول 1 کې "SE (H-M)" ستون)، او همداسې Asymptotic Sig.؛ خو هغه پولې چې PSPP یې د "95%" لاندې چاپوي له مساحت څخه 1.645 معیاري تېروتنې لرې دي نه 1.96 – یعنې د 90% واټن – او په TESTPOS(SMALL) لوري کې د معیاري تېروتنې او واټن لپاره NaN راګرځوي. په PSPP کې – د باور واټنونه له پاڼې واخلئ. د مساحتونو ترمنځ پرتله د ROC کمانډ برخه نه ده؛ دا په لاندې R سکریپټ کې ده.

او دا په R کې څنګه کېږي؟

د pROC کڅوړه: roc منحني جوړوي (levels – منفي ارزښت او ورپسې مثبت؛ direction = "<" – لوړ ارزښت حالت ښيي، ">" – ټیټ ارزښت؛ له direction پرته کڅوړه د معلوماتو له مخې لوری ټاکي – په انګېرنو کې یې وګورئ)، ci.auc مساحت او د DeLong د باور واټن ورکوي، coords – د Youden له مخې حد او ټول حدونه، او roc.test – د DeLong جوړه پرتله. پاڼه د کڅوړې په مقابل کې تایید شوې: مساحت، معیاري تېروتنه، د باور واټن، د منحني ټول ټکي، د Youden حد، پرتلې او عمومي ازموینه. سکریپټ لکه څنګه چې دی د بېلګې په فایل چلول شوی (ارزښتونه په یادښتونو کې).

# د ROC تحلیل – پروفیسور سټاټ. دا فایل په UTF-8 کې خوندي شوی؛ د یادښت هره کرښه په یوې پښتو کلمې پیلېږي
library(readxl)    # د اکسل لوستل
library(pROC)      # د ROC منحني ګانې، مساحت، د باور واټنونه او د DeLong پرتله

# پورته کول: معیاري کینډۍ – کتار = ګډونوال، ستون = متحول؛ پاڼه "Data"
d <- read_excel("C:/Rdata/DATA_roc_example_eng.xlsx", sheet = "Data")
v <- c("diagnosis", "screen_long", "screen_short", "wellbeing")
d <- d[complete.cases(d[, v]), ]                        # د ټول کتار لرې کول: له 220 څخه 218 – د ټولو منحني ګانو لپاره همغه ګډونوال

# د هر شاخص لپاره منحني؛ levels = c(منفي, مثبت)؛ direction "<" – لوړ ارزښت حالت ښيي، ">" – ټیټ ارزښت
r_long  <- roc(d$diagnosis, d$screen_long,  levels = c(0, 1), direction = "<")
r_short <- roc(d$diagnosis, d$screen_short, levels = c(0, 1), direction = "<")
r_well  <- roc(d$diagnosis, d$wellbeing,    levels = c(0, 1), direction = ">")

# مساحت او د DeLong د باور واټن
ci.auc(r_long); ci.auc(r_short); ci.auc(r_well)       # مساحت: .817 [.757, .876]; .762 [.693, .831]; .677 [.596, .759]
sqrt(var(r_long))                                      # معیاري تېروتنه (DeLong): .030

# د Youden له مخې حد، او په هغه کې څه کېږي
coords(r_long, "best", best.method = "youden",
       ret = c("threshold", "sensitivity", "specificity", "ppv", "npv"))   # حد 10.5: حساسیت .875، ځانګړتیا .676
binom.test(42, 48)$conf.int                            # په حد کې د حساسیت لپاره دقیق د باور واټن: [.748, .953]
coords(r_long, "all", transpose = FALSE)               # ټول حدونه

# د مساحتونو جوړه پرتله (همغه ګډونوال) – DeLong
roc.test(r_long, r_short, method = "delong", paired = TRUE)   # توپیر .055 [.007, .103], z = 2.25, p = .025
# رواني هوساینه په برعکس لوري کې: پرتله د نښې په اړولو سره په متحول کېږي، څو ټولې منحني ګانې په یوه لوري وي (DeLong et al., 1988، مخ 842)
r_well2 <- roc(d$diagnosis, -d$wellbeing, levels = c(0, 1), direction = "<")
roc.test(r_long, r_well2, method = "delong", paired = TRUE)   # توپیر .140 [.062, .217], z = 3.54, p < .001

# ګراف
plot(r_long, legacy.axes = TRUE, print.auc = TRUE)
lines(r_short, col = "darkorange"); lines(r_well, col = "darkgreen")

د پایلو راپور ورکول

زرین معیار او په هره ډله کې د ګډونوالو شمېر راپور کېږي؛ د هر شاخص لپاره – لوری، مساحت او د باور واټن (او کوم یو)؛ حد او دا چې څنګه ټاکل شوی – مخکې له مخکې له ادبیاتو یا پر معلوماتو – د حساسیت او ځانګړتیا او د هغو د باور واټنونو سره؛ وړاندوینیز ارزښتونه یوازې د هغې شیوع سره چې پکې محاسبه شوي؛ او په پرتله کې – ازموینه (DeLong، جوړه)، توپیر او د هغه د باور واټن. عددونه د APA په بڼه: په مساحت، حساسیت او ځانګړتیا کې له ټکي مخکې صفر نه لیکل کېږي، ځکه چې له 1 نه شي اوړېدای (APA, 2020, Section 6.36)، او p په درېیو رقمونو. هغه پاراګراف چې پاڼه یې جوړوي د پیل ټکی دی – په هغه کې شرایط او معنا بشپړېږي.

عامې تېروتنې

یوازې د مساحت راپور ورکول. د .82 مساحت په ټولو حدونو اوسط نیسي، په شمول د هغو چې هېڅوک به یې ونه کاروي (Pepe, 2003, pp. 78-79; Fawcett, 2006, p. 868)، او هغه څه چې په عمل کې پرې پرېکړه کېږي یو حد دی. مساحت، منحني، او په حد کې حساسیت او ځانګړتیا راپور کېږي. او برعکس – یوازې د یوه ټکي راپور ورکول: په یوه حد کې د حساسیت او ځانګړتیا راپور "په ښکاره ډول محدود دی" (Pepe, 2003, p. 71).

د ټول دقت راپور ورکول د حساسیت او ځانګړتیا پر ځای – په نادر حالت کې دا حتی د بې ارزښته ازموینې لپاره هم لوړ دی (Pepe, 2003, p. 15).

د پېښو او کنټرولونو له نمونې څخه د مثبت وړاندوینیز ارزښت راپور ورکول داسې لکه پر احصایوي ټولګې چې صدق کوي – دا پړسېدلی دی (Pepe, 2003, p. 25).

د Youden حد د "غوره حد" په توګه وړاندې کول – دا یوازې هغه وخت غوره دی چې دواړه تېروتنې یو شان بیه ولري، او یوازې په هغه نمونه کې چې پکې موندل شوی.

د هغو شاخصونو د مساحتونو پرتله چې په همغو ګډونوالو اندازه شوي، د خپلواکو ډلو لپاره په ازموینه کې، یا د باور واټنونو د یو پر بل پرېوتو له مخې – سمه پرتله جوړه ده (DeLong et al., 1988).

پروګرام ته اجازه ورکول چې لوری وټاکي – او د هغه شاخص لپاره "AUC = .58" راپور کول چې په عمل کې له پلان شوي برعکس وړاندوینه کوي، یا هېڅ وړاندوینه نه کوي.

د حد ټاکل، او بیا یې په همغو معلوماتو "تایید" – له بلې نمونې پرته، په حد کې عددونه خوشبینه دي.

سرچینې

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837-845. https://doi.org/10.2307/2531595

Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874. https://doi.org/10.1016/j.patrec.2005.10.010

Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29-36. https://doi.org/10.1148/radiology.143.1.7063747

Pepe, M. S. (2003). The statistical evaluation of medical tests for classification and prediction. Oxford University Press.

Hand او Till (2001) او Flach او Wu (2003) – لکه څنګه چې په Fawcett (2006) کې راغلي؛ Obuchowski او Lieber (2002) – لکه څنګه چې په Pepe (2003) کې راغلي. د وېبپاڼې د قاعدې له مخې، د سرچینو په لېست کې یوازې هغه سرچینې راځي چې په اصل کې لوستل شوې؛ اقتباسونه د چاپ شوي مخ له مخې دي. په پاڼه کې محاسبه د R 4.3.3 او د pROC 1.18.5 کڅوړې (roc، ci.auc، coords، roc.test، cov) په مقابل کې، د binom.test په مقابل کې، او د PSPP 2.0 د ROC کمانډ په مقابل کې تایید شوې؛ او په سرچینو کې د عددونو په مقابل کې – 0.893 او معیاري تېروتنه 0.032 د Hanley او McNeil په II جدول کې (1982، مخ 31).