ROC تجزیہ

ڈیٹا لوڈ کرنا

شیٹ سے کالم براہِ راست چسپاں کریں (عنوانات کی قطار سمیت) – ایکسل میں منتخب کریں، کاپی کریں اور یہاں چسپاں کریں:

متغیرات اور ترتیبات

کب استعمال کریں؟

جب ایک گولڈ اسٹینڈرڈ ہو – یہ طے کرنے کا ایک مقبول طریقہ کہ کون حالت میں ہے اور کون نہیں (کلینیکل انٹرویو، حقیقی ترکِ تعلیم، امتحان میں کامیابی) – اور ایک عددی اشاریہ ہو جس سے اس کی پیش گوئی متوقع ہو، اور سوال یہ ہو کہ اشاریہ دونوں گروہوں میں کتنی اچھی طرح امتیاز کرتا ہے۔ کلاسیکی مثال تشخیص کے مقابل اسکریننگ سوالنامے کی توثیق ہے، لیکن سوال اس سے وسیع تر ہے: Pepe (2003، ص 74) یاد دلاتی ہیں کہ ROC منحنی "دو تقسیموں کے درمیان علیحدگی کو بیان کرتی ہے"، اس لیے یہ "ہر اس جگہ مفید ہے جہاں تقسیموں کے درمیان علیحدگی دلچسپی کی حامل ہو" – ترکِ تعلیم کے خطرے کا اسکور بمقابلہ ترکِ تعلیم، لاجسٹک ریگریشن سے پیش گو احتمال (predicted probability) بمقابلہ نتیجہ، داخلہ امتحان کا اسکور بمقابلہ تعلیم میں کامیابی۔

Pepe (2003، ص 73، جدول 4.1) چار استعمالات گنواتی ہیں: اشاریے کی ممکنہ کارکردگی کی مکمل وضاحت؛ ان تحقیقات کا موازنہ اور امتزاج جنہوں نے مختلف کٹ آف حدیں استعمال کیں؛ کٹ آف کے انتخاب میں رہنمائی؛ اور مختلف پیمانوں پر ناپے گئے اشاریوں کا موازنہ – 27 نکاتی سوالنامہ بمقابلہ 1-5 کا پیمانہ۔ جب اشاریہ خود ہی دو قدری (binary) ہو (مثبت/منفی)، تو منحنی نہیں بلکہ ایک ہی نقطہ ہوتا ہے – 2×2 جدول؛ اس کے تعلق کا ٹیسٹ – کائی اسکوائر کے صفحے پر۔ اور مشین لرننگ ماڈل کی کارکردگی کے پیمانے – بشمول نایاب کلاس میں ROC بمقابلہ precision-recall منحنی – ماڈل کے لیے کارکردگی کے پیمانے اور توثیق کے صفحے پر۔

منطق: ایک کٹ آف سے تمام کٹ آف حدوں تک

ایک کٹ آف۔ اسکور کی بنیاد پر فیصلہ کرنے کے لیے ایک کٹ آف حد مقرر کی جاتی ہے: جو اس سے اوپر ہو وہ "مثبت"۔ Pepe (2003، ص 67) وضاحت کرتی ہیں کہ کٹ آف کا انتخاب "حالات کے ساتھ بدلے گا" – وسائل، تشخیصی جانچ یا علاج کی لاگت، حالت کی شدت – اور یہ اس معروف سمجھوتے پر مبنی ہے "حالت کا پتہ نہ لگانے اور اس کی غلط شناخت کے درمیان"۔ ایک دی گئی حد پر 2×2 جدول اور دو شرحیں ملتی ہیں: حساسیت – حالت والوں میں سے شناخت ہونے والوں کی شرح (درست مثبت کی شرح)، اور مخصوصیت (specificity) – حالت سے پاک لوگوں میں سے منفی آنے والوں کی شرح؛ 1 − مخصوصیت غلط مثبت کی شرح ہے (Fawcett, 2006, p. 862)۔

تمام کٹ آف حدیں۔ منحنی ان تمام جوڑوں (غلط مثبت کی شرح، حساسیت) کا مجموعہ ہے جو کٹ آف کو کھسکا کر حاصل کیے جا سکتے ہیں (Pepe, 2003, p. 67, Equation 4.3) – "ایک ذریعہ جو بس ان سمجھوتوں کی وسعت کو بیان کرتا ہے جو ٹیسٹ حاصل کر سکتا ہے"۔ اوپری بایاں کونا، (0, 1)، کامل درجہ بندی ہے؛ وتر بے ترتیب اندازہ ہے – جو 70% صورتوں میں "مثبت" کا اندازہ لگائے اسے 70% حساسیت اور 70% غلط مثبت ملیں گے (Fawcett, 2006, pp. 862-863)۔ منحنی کے بائیں حصے کے نقاط "محتاط" کٹ آف ہیں – صرف مضبوط شواہد پر مثبت، کم غلط الارم اور کم شناخت؛ اوپری دائیں حصے میں – "آزاد خیال" (Fawcett, 2006, p. 863)۔

صرف ترتیب اہم ہے۔ اسکور کی کسی بھی بڑھتی ہوئی تبدیلی (transformation) سے منحنی نہیں بدلتی (Pepe، 2003، ص 69، نتیجہ 4.1)، اور تجرباتی منحنی "صرف درجہ بندیوں کا تفاعل ہے" (Pepe, 2003, p. 98)۔ اسی لیے اس میں مختلف اکائیوں والے اشاریوں کا موازنہ کیا جاتا ہے، اور اسی لیے یہ کم قدروں والے ترتیبی اسکور کے لیے بھی موزوں ہے – تب منحنی سیڑھی نما ہوتی ہے، بڑی چھلانگوں اور ترچھے حصوں کے ساتھ ان جگہوں پر جہاں حالت والوں اور بغیر حالت والوں کے درمیان برابری ہو (Pepe, 2003, p. 98)۔

منحنی کے نیچے رقبہ

منحنی کے نیچے رقبہ (AUC) کامل اشاریے میں 1 اور بے معلومات اشاریے میں 0.5 ہوتا ہے (Pepe, 2003, p. 77)۔ اس کی دو تعبیریں ہیں، اور ماخذ اس پر منقسم ہیں کہ کسے ترجیح دی جائے – اس لیے "دونوں":

درست درجہ بندی کا احتمال۔ رقبہ اس بات کا احتمال ہے کہ حالت والے گروہ کا ایک بے ترتیب شریک دوسرے گروہ کے ایک بے ترتیب شریک سے زیادہ اسکور حاصل کرے (Hanley & McNeil, 1982, p. 29; Fawcett, 2006, p. 868)، اور یہی وہ مقدار ہے جس کا تخمینہ مین-وٹنی ٹیسٹ (دو نمونوں کے لیے ولکاکسن) لگاتا ہے: تجرباتی منحنی کے نیچے کا رقبہ شماریہ U تقسیم جوڑوں کی تعداد کے برابر ہے (Pepe، 2003، ص 103، نتیجہ 5.3؛ Hanley اور McNeil، 1982، ص 31-32)۔ دو شرکاء کے درمیان برابری کو نصف شمار کیا جاتا ہے۔ Hanley اور McNeil (1982، ص 31) زور دیتے ہیں کہ یہ تعلق "تقسیموں کی شکل کے بارے میں کچھ فرض نہیں کرتا" – ہموار منحنی کے رقبے کے برعکس، جو دو نارمل تقسیموں پر مبنی ہے۔

اوسط حساسیت۔ Pepe (2003، ص 78-79) قائل نہیں: کسی جوڑے کی درست درجہ بندی ایک کلینیکل سوال کے طور پر "خاص طور پر قائل کن نہیں" – یہ تصاویر کے جوڑے میں سے جبری انتخاب کے تجربے میں فطری ہے، ٹیسٹ کے استعمال میں نہیں – اور وہ رقبے کو "اوسط حساسیت کے طور پر، غلط مثبت کی شرحوں کی پوری وسعت پر" پڑھنا پسند کرتی ہیں۔ دونوں تعبیریں ریاضیاتی طور پر درست ہیں؛ پہلی وضاحت کے لیے آسان ہے، دوسری یاد دلاتی ہے کہ رقبہ ان کٹ آف حدوں پر بھی اوسط نکالتا ہے جنہیں کوئی استعمال نہیں کرے گا۔

رقبہ کیا چھپاتا ہے۔ ایک ہی رقبے والے دو اشاریے اس علاقے میں بہت مختلف ہو سکتے ہیں جو آپ کے لیے اہم ہے: "ممکن ہے کہ زیادہ AUC والا درجہ بند ROC فضا کے کسی خاص علاقے میں کم AUC والے درجہ بند سے بدتر کارکردگی دکھائے" (Fawcett, 2006, p. 868)، اور ہر جگہ بہتر منحنی سے بڑا رقبہ لازم آتا ہے، لیکن "اس کا الٹ لازماً درست نہیں" (Pepe, 2003, p. 77)۔ مثلاً آبادی کی اسکریننگ میں صرف کم غلط مثبت والی کٹ آف حدیں قابلِ عمل ہیں، اور وہاں منحنی کا صرف بایاں حصہ متعلقہ ہے (Pepe, 2003, p. 75) – اس کے لیے جزوی رقبہ ہے (pAUC; Pepe, 2003, p. 79)، جسے یہ صفحہ حساب نہیں کرتا۔ اسی لیے یہ صفحہ ہمیشہ منحنی دکھاتا ہے نہ کہ صرف رقبہ۔ جینی عددی سر، جو مشین لرننگ کے لٹریچر میں آتا ہے، 2·AUC − 1 ہے (Hand اور Till، 2001، بحوالہ Fawcett، 2006، ص 868)۔

0.5 سے کم رقبہ۔ "کسی بھی حقیقت پسندانہ درجہ بند کا AUC 0.5 سے کم نہیں ہونا چاہیے" (Fawcett, 2006, p. 868): وتر سے نیچے والا اشاریہ "مفید معلومات رکھتا ہے، لیکن اسے غلط طریقے سے لاگو کرتا ہے" (Flach اور Wu، 2003، بحوالہ Fawcett، 2006، ص 863) – تقریباً ہمیشہ سمت الٹی متعین کی گئی ہوتی ہے۔ ایسی صورت میں یہ صفحہ انتباہ دیتا ہے۔

معیاری خطا، وقفۂ اعتماد اور ٹیسٹ

DeLong کی معیاری خطا۔ DeLong، DeLong اور Clarke-Pearson (1988، ص 839-840) رقبے کو "ساختی اجزاء" میں تقسیم کرتے ہیں: حالت والے گروہ کے ہر شریک کے لیے – دوسرے گروہ کے ان شرکاء کی شرح جن سے وہ آگے نکلتا ہے؛ دوسرے گروہ کے ہر شریک کے لیے – حالت والے گروہ کے ان شرکاء کی شرح جو اس سے آگے نکلتے ہیں۔ رقبے کا تغیر (variance) پہلے اجزاء کا تغیر تقسیم کیسز کی تعداد، جمع آخری اجزاء کا تغیر تقسیم کنٹرولز کی تعداد ہے۔ Pepe (2003، ص 105-106) ان اجزاء کو "مقامی قدریں" (placement values) کہتی ہیں – ہر اسکور دوسرے گروہ کی تقسیم میں کہاں واقع ہے – اور انہیں "ROC تجزیے کے لیے بنیادی" تصور سمجھتی ہیں۔ یہ صفحے کی بنیادی معیاری خطا ہے، اور وہی جو R حساب کرتا ہے (pROC)۔

Hanley اور McNeil کی معیاری خطا۔ پرانا فارمولا (Hanley & McNeil, 1982, p. 32, Equation 1) دو احتمالات پر مبنی ہے: Q₁ – کہ حالت والے گروہ کے دو شرکاء دونوں دوسرے گروہ کے ایک شریک سے آگے نکلیں، اور Q₂ – کہ حالت والے گروہ کا ایک شریک دوسرے گروہ کے دو سے آگے نکلے۔ یہ صفحہ انہیں ڈیٹا سے حساب کرتا ہے، برابریوں کے ساتھ جیسے مقالے کے جدول II میں (ص 31)، اور یہی وہ معیاری خطا ہے جو PSPP چھاپتا ہے۔ دونوں فارمولے تقریباً ہمیشہ قریب ہوتے ہیں۔ Hanley اور McNeil (1982، ص 33، فارمولا 2) نے ایک تخمینی فارمولا بھی تجویز کیا جو صرف رقبے پر منحصر ہے – Q₁ = θ/(2 − θ)، Q₂ = 2θ²/(1 + θ) – ڈیٹا ملنے سے پہلے نمونے کے حجم کی منصوبہ بندی کے لیے؛ مقالے کا جدول III (ص 34) دو رقبوں کے موازنے کے لیے درکار شرکاء کی تعداد دیتا ہے۔

وقفۂ اعتماد – دو اقسام، "دونوں"۔ عام قسم – رقبہ جمع اور منفی 1.96 معیاری خطائیں (DeLong)، جیسے R میں۔ لیکن رقبہ 1 پر محدود ہے، اور جب وہ 1 کے قریب ہو تو اس کی تقسیم "0.5 کی طرف جھکی ہوتی ہے" (Hanley & McNeil, 1982, p. 34)، اور متناسب وقفہ 1 سے تجاوز کر سکتا ہے (یہ صفحہ اسے 1 پر کاٹ دیتا ہے، جیسے R)۔ Pepe (2003، ص 107) لاجٹ پیمانے پر وقفہ تجویز کرتی ہیں – غیر متناسب، ہمیشہ 0 اور 1 کے درمیان – اور سمیولیشن سے دکھاتی ہیں کہ چھوٹے نمونوں اور بڑے رقبوں میں اس کی کوریج بہتر ہے (جدول 5.1)؛ "عملی طور پر ہم سفارش کرتے ہیں" اسی کی۔ یہ صفحہ دونوں دکھاتا ہے؛ نتائج کا پیراگراف متناسب DeLong استعمال کرتا ہے، جسے R اور SPSS میں دہرایا جا سکتا ہے، اور .90 یا اس سے زیادہ رقبے میں یا 30 سے کم شرکاء والے گروہ میں – لاجٹ رپورٹ کرنا بہتر ہے۔

کیا رقبہ 0.5 سے بڑا ہے؟ یہ صفحہ اس صفری مفروضے کے لیے z اور p رپورٹ کرتا ہے کہ اشاریہ امتیاز نہیں کرتا (رقبہ 0.5)، صفری مفروضے کے تحت معیاری خطا کے ساتھ – یہ نارمل تخمین میں مین-وٹنی ٹیسٹ ہے، برابریوں کی تصحیح کے بغیر، اور یہی PSPP کا Asymptotic Sig. ہے۔ برابریوں کی تصحیح کے ساتھ (مین-وٹنی کا صفحہ) p تھوڑا چھوٹا ہوتا ہے۔ ایسا ٹیسٹ ایک معمولی سوال کا جواب دیتا ہے: بڑے نمونے میں .58 کا رقبہ بھی "معنی خیز" ہوتا ہے، اس لیے جو رپورٹ کیا جاتا ہے وہ رقبہ اور اس کا وقفۂ اعتماد ہے۔

کٹ آف کا انتخاب

یوڈن اشاریہ۔ J = حساسیت + مخصوصیت (specificity) − 1، یعنی منحنی اور وتر کے درمیان عمودی فاصلہ؛ جو کٹ آف اسے زیادہ سے زیادہ کرے وہ اس صفحے کا طے شدہ (default) انتخاب ہے۔ Pepe (2003، ص 80) اسے ایک ایسے خلاصے کے طور پر پیش کرتی ہیں جو تجویز کیا گیا "جب غلط مثبت غلطیوں کی لاگت غلط منفی غلطیوں کی لاگت کے برابر ہو" – اور یہ ایک مفروضہ ہے، حقیقت نہیں۔ جب لاگتیں مختلف ہوں تو درست کٹ آف لاگتوں اور حالت کی شرحِ پھیلاؤ (prevalence) پر منحصر ہے (Pepe، 2003، ص 72، نتیجہ 4.5؛ Fawcett، 2006، ص 867، "یکساں کارکردگی کی لکیریں"): خطرناک حالت کی اسکریننگ میں غلط الارم کی قیمت پر بھی زیادہ حساسیت کو ترجیح دی جاتی ہے؛ مہنگی مداخلت سے پہلے – اس کے برعکس۔ اسی لیے یہ صفحہ ہر کٹ آف کو جانچنے کی سہولت دیتا ہے، اور تمام کٹ آف حدوں کو ایک مکمل جدول میں دکھاتا ہے۔ اور اگر لٹریچر میں اشاریے کے لیے کوئی مسلمہ کٹ آف ہو – تو وہی رپورٹ کیا جاتا ہے، نہ کہ ڈیٹا میں ملنے والا کٹ آف۔

ڈیٹا پر چنا گیا کٹ آف خوش فہم ہوتا ہے۔ یوڈن کا کٹ آف اس طرح چنا جاتا ہے کہ وہ بالکل اسی نمونے پر فٹ ہو، اس لیے اس پر حساسیت اور مخصوصیت (specificity) اس سے کچھ زیادہ ہوتی ہیں جو نئے نمونے میں ملے گی۔ سائٹ کے ضابطے کے مطابق، ڈیٹا پر چنا گیا کٹ آف ابتدائی نتیجے کے طور پر رپورٹ کیا جاتا ہے، اور اس کی کارکردگی کی توثیق کسی دوسرے نمونے میں کی جاتی ہے (نئے ڈیٹا پر توثیق کے بارے میں – ماڈل کے لیے کارکردگی کے پیمانے اور توثیق کا صفحہ)۔

کٹ آف پر کیا حساب کیا جاتا ہے۔ درست وقفۂ اعتماد (Clopper-Pearson) کے ساتھ حساسیت اور مخصوصیت (specificity) – Pepe (2003، ص 22) درست یا لاجسٹک طریقوں کو ترجیح دیتی ہیں، کیونکہ اچھے ٹیسٹوں میں شرحیں کنارے کے قریب ہوتی ہیں، اور متناسب نارمل وقفہ "(0, 1) سے تجاوز کر سکتا ہے"۔ دونوں کو رپورٹ کرنا اہم ہے، نہ کہ مجموعی درستی کو: دونوں غلطیوں کی لاگت مختلف ہے، اور مجموعی درستی شرحِ پھیلاؤ (prevalence) پر منحصر ہے – جو ٹیسٹ سب کو منفی قرار دے اسے نایاب حالت میں زیادہ درستی ملے گی (Pepe, 2003, p. 15)۔ امکان کے تناسب (likelihood ratios) (LR+ = حساسیت/(1 − مخصوصیت)، LR− = (1 − حساسیت)/مخصوصیت) بتاتے ہیں کہ مثبت یا منفی نتیجہ حالت کے اوڈز (odds) کو کتنے گنا بدلتا ہے، اور یہ شرحِ پھیلاؤ پر منحصر نہیں (Pepe, 2003, p. 20, Table 2.2)؛ ان کا وقفۂ اعتماد – لاگ پیمانے پر (Pepe، 2003، ص 24، نتیجہ 2.5)۔

پیش گو قدریں اور شرحِ پھیلاؤ۔ مثبت پیش گو قدر (positive predictive value) – مثبت قرار دیے گئے لوگوں میں سے کتنے واقعی حالت میں ہیں؛ منفی – منفی لوگوں میں سے کتنے واقعی نہیں۔ یہی وہ چیز ہے جس میں نتیجہ پانے والے کی دلچسپی ہوتی ہے، لیکن یہ "نہ صرف ٹیسٹ کی کارکردگی پر منحصر ہیں... بلکہ حالت کی شرحِ پھیلاؤ (prevalence) پر بھی" (Pepe, 2003, p. 16)۔ جب نمونہ کیسز اور کنٹرولز کی ایک مقررہ تعداد سے بنایا گیا ہو تو نمونے میں شرح "مثبت پیش گو قدر کا ضرورت سے زیادہ تخمینہ لگائے گی" (Pepe, 2003, p. 25)۔ اس لیے اس آبادی میں حالت کی شرحِ پھیلاؤ درج کریں جس میں اشاریہ استعمال ہوگا، اور یہ صفحہ بیز کے اصول کے مطابق اس میں پیش گو قدریں حساب کرے گا۔ اس کے برعکس، خود ROC منحنی "کلاسوں کی تقسیم میں تبدیلیوں کے لیے حساس نہیں" (Fawcett, 2006, p. 864)۔

اشاریوں کا موازنہ

جب کئی اشاریے انہی شرکاء پر ناپے گئے ہوں تو ان کے رقبے باہم مربوط ہوتے ہیں – وہی لوگ تمام اشاریوں کے لیے "آسان" اور "مشکل" ہوتے ہیں – اور اسے نظرانداز کرنے والا موازنہ غلط ہے۔ DeLong اور ان کے ساتھیوں (1988) نے اس کے لیے ایک غیر پیرامیٹرک طریقہ تیار کیا: ساختی اجزاء سے رقبوں کا ہم تغیر (covariance) میٹرکس، اور ان کے درمیان ہر تقابل (contrast) کے لیے کائی اسکوائر ٹیسٹ (ص 840-841، مساوات 5)۔ اشاریوں کے ایک جوڑے کے لیے – رقبوں کے فرق کے لیے z، وقفۂ اعتماد کے ساتھ (Pepe، 2003، ص 108، نتیجہ 5.6)؛ تین یا زیادہ کے لیے – تمام رقبوں کی برابری کا مجموعی ٹیسٹ (k − 1 درجاتِ آزادی)، اور اس کے بعد تمام جوڑے، سائٹ کے ضابطے کے مطابق متعدد موازنوں کی مناسب تصحیح کے ساتھ۔ الٹی سمت والا اشاریہ (علامات کے مقابل ذہنی بہبود) علامت الٹنے کے بعد موازنے میں شامل ہوتا ہے، جیسا کہ DeLong اور ان کے ساتھیوں نے اپنے اسکور کے ساتھ کیا (ص 842)۔

ان کی مثال کا سبق (ص 844): سرجری کی کامیابی کی پیش گوئی کے لیے ایک خاص اسکور غذائیت کے دو معمول کے اشاریوں سے بہتر نہیں تھا، لیکن "اس صورت میں شماریاتی قوت غالباً چھوٹے نمونے کے حجم کی وجہ سے بہت کم ہے" – 49 مریضائیں۔ چھوٹے نمونے میں رقبوں کے درمیان معنی خیز فرق کا نہ ہونا اس بات کا ثبوت نہیں کہ اشاریے مساوی ہیں۔ جب اشاریے شرکاء کے مختلف گروہوں پر ناپے گئے ہوں تو فرق کا تغیر (variance) محض تغیرات کا مجموعہ ہے (Pepe, 2003, p. 108) – یہ صفحہ ایسا موازنہ حساب نہیں کرتا۔

آؤٹ پٹ کیسے پڑھیں؟

جدول 1 – منحنی کے نیچے رقبہ: ہر اشاریے کے لیے – سمت، رقبہ، معیاری خطائیں (DeLong; Hanley & McNeil)، دونوں وقفہ ہائے اعتماد، اور 0.5 کے مقابل z اور p۔ شکل 1 – منحنیات، وتر اور ہر اشاریے کے یوڈن کٹ آف کے ساتھ۔

جدول 2 – یوڈن اشاریے کے مطابق کٹ آف: ہر اشاریے کے لیے – کٹ آف (مثبت اگر اسکور اس سے زیادہ یا اس کے برابر ہو؛ الٹی سمت والے اشاریے میں – کم یا برابر)، وقفہ ہائے اعتماد کے ساتھ حساسیت اور مخصوصیت (specificity)، J، پیش گو قدریں اور امکان کے تناسب (likelihood ratios)۔ کٹ آف حدیں ملحقہ قدروں کے درمیانی نقاط ہیں، جیسے SPSS اور R میں، اس لیے مکمل اعداد والے سوالنامے میں 10.5 کے کٹ آف کا مطلب ہے "11 یا اس سے زیادہ"۔

کٹ آف کی جانچ: ایک اشاریہ منتخب کر کے کٹ آف ٹائپ کیا جاتا ہے، اور جدول 3 ملتا ہے – 2×2 جدول اور اس کٹ آف پر تمام اشاریے، بشمول آپ کی درج کردہ شرحِ پھیلاؤ پر پیش گو قدریں۔ اس کے نیچے، کلک کرنے پر – اشاریے کی تمام کٹ آف حدیں۔ جدول 4 – رقبوں کا موازنہ (جب دو یا زیادہ اشاریے منتخب کیے گئے ہوں): ہر جوڑے کے درمیان فرق، معیاری خطا، وقفۂ اعتماد، z، p، ہولم سے ایڈجسٹ شدہ p، اور رقبوں کے درمیان ہم بستگی؛ نوٹ میں – مجموعی ٹیسٹ۔

مفروضات اور انتباہات

گولڈ اسٹینڈرڈ درست ہے۔ پورا حساب یہ فرض کرتا ہے کہ حالت کا متغیر غلطی نہیں کرتا۔ Pepe (2003، ص 6-7، جدول 1.3) ایسی تحقیقات میں عام تعصبات گنواتی ہیں: نامکمل گولڈ اسٹینڈرڈ؛ توثیقی تعصب (verification bias) – صرف کچھ شرکاء، اور بے ترتیب طور پر نہیں، گولڈ اسٹینڈرڈ سے جانچے گئے؛ اسپیکٹرم تعصب (spectrum bias) – "ایک عام غلطی شدید یا دائمی حالت والے کیسز اور اوسط سے زیادہ صحت مند کنٹرولز کا انتخاب ہے"، جو "ٹیسٹ کی ظاہری درستی کو بڑھا سکتا ہے"؛ اور تعبیری تعصب – جب حالت طے کرنے والا اشاریے کا نتیجہ جانتا ہو، یا اس کے برعکس (ص 5-6)۔

آزاد شرکاء۔ معیاری خطائیں یہ فرض کرتی ہیں کہ ہر شریک ایک مشاہدہ دیتا ہے۔ جب ہر شریک کے کئی مشاہدات ہوں (دو آنکھیں، ہر طالب علم کے کئی امتحانات)، Pepe (2003، ص 104) شریک کی سطح پر bootstrap کی سفارش کرتی ہیں – جسے یہ صفحہ نہیں چلاتا۔

برابریاں (ties)۔ کم قدروں والے اسکورز میں بہت سی برابریاں ہوتی ہیں، اور Fawcett (2006، ص 867) خبردار کرتے ہیں کہ اگر ان کا اوسط نہ نکالا جائے تو منحنی اس ترتیب پر منحصر ہوتی ہے جس میں شرکاء فائل میں آتے ہیں، اور "مختلف ترتیبیں بہت گمراہ کن منحنیات پیدا کر سکتی ہیں"۔ یہ صفحہ ان کا اوسط نکالتا ہے: کیس اور کنٹرول کے درمیان برابری کو نصف شمار کیا جاتا ہے، اور منحنی ترچھی لکیر میں گزرتی ہے۔

سمت پہلے سے طے کی جاتی ہے۔ جو سافٹ ویئر ڈیٹا کی بنیاد پر "خودکار طور پر" سمت چنتے ہیں وہ ہر کمزور اشاریے کو 0.5 سے اوپر کے رقبے میں بدل دیتے ہیں۔ یہ صفحہ ایسا نہیں کرتا: سمت آپ کا فیصلہ ہے، اس بنیاد پر کہ اشاریہ کیا ناپنے کے لیے ہے، اور 0.5 سے کم رقبہ جوں کا توں، انتباہ کے ساتھ دکھایا جاتا ہے۔

عملی حدود۔ گمشدہ قدریں: حالت کے متغیر اور تمام منتخب اشاریوں پر فہرست وار حذف (listwise deletion) (یہ صفحہ بتاتا ہے کہ کتنے حذف ہوئے)۔ ہر گروہ میں کم از کم پانچ شرکاء درکار ہیں؛ گروہ میں 30 سے کم ہوں تو – غیر علامتی (asymptotic) وقفہ ہائے اعتماد کم درست ہوتے ہیں (Pepe, 2003, p. 107, Table 5.1)۔ 1 کا رقبہ (مکمل علیحدگی) – معیاری خطا 0 اور وقفۂ اعتماد بے معنی، اور یہ صفحہ انتباہ دیتا ہے؛ ایسی صورت میں درست وقفوں کے لیے Pepe (2003، ص 107) Obuchowski اور Lieber (2002، وہیں بحوالہ) کا حوالہ دیتی ہیں۔ یہ صفحہ کیا حساب نہیں کرتا: ہموار (بائی نارمل) منحنی، جزوی رقبہ، پوری منحنی کے لیے وقفہ ہائے اعتماد، آزاد گروہوں کے درمیان موازنہ، اور دو سے زیادہ گروہوں کے لیے ROC۔

اور SPSS میں یہ کیسے کریں؟

SPSS Statistics میں: Analyze › Classify › ROC Curve (پرانے ورژنز میں – Analyze › ROC Curve)؛ اشاریوں کو Test Variable میں، حالت کے متغیر کو State Variable میں منتقل کیا جاتا ہے اور حالت کی نشاندہی کرنے والی قدر ٹائپ کی جاتی ہے؛ ROC Curve، With diagonal reference line، Standard error and confidence interval اور Coordinate points of the ROC Curve نشان زد کیے جاتے ہیں۔ سمت Options › Test Direction میں طے ہوتی ہے – پوری کمانڈ کے لیے ایک، اس لیے صفحے کا تیار کردہ سنٹیکس الٹی سمت والے اشاریوں کے لیے الگ کمانڈ چلاتا ہے۔ یہ راستے سافٹ ویئر کے بارے میں عمومی معلومات ہیں؛ سنٹیکس SPSS میں نہیں چلایا گیا۔

یہی کمانڈ (ROC) PSPP میں بھی موجود ہے، جو مفت متبادل ہے، اور اسے مثال کی فائل پر چلایا گیا: رقبہ اور Std. Error اس صفحے سے یکساں ہیں (Std. Error Hanley اور McNeil کی ہے، جدول 1 میں "SE (H-M)" کالم)، اور اسی طرح Asymptotic Sig. بھی؛ لیکن جو حدیں PSPP "95%" کے تحت چھاپتا ہے وہ رقبے سے 1.645 معیاری خطاؤں کے فاصلے پر ہیں نہ کہ 1.96 – یعنی 90% کا وقفہ – اور TESTPOS(SMALL) کی سمت میں یہ معیاری خطا اور وقفے کے لیے NaN لوٹاتا ہے۔ PSPP میں – وقفہ ہائے اعتماد اس صفحے سے لیں۔ رقبوں کا موازنہ ROC کمانڈ کا حصہ نہیں؛ وہ نیچے والے R اسکرپٹ میں ہے۔

اور R میں یہ کیسے کریں؟

pROC پیکج: roc منحنی بناتا ہے (levels – منفی قدر اور اس کے بعد مثبت؛ direction = "<" – زیادہ قدر حالت کی نشاندہی کرتی ہے، ">" – کم قدر؛ direction کے بغیر پیکج ڈیٹا کی بنیاد پر سمت چنتا ہے – مفروضات میں دیکھیں)، ci.auc رقبہ اور DeLong کا وقفۂ اعتماد دیتا ہے، coords – یوڈن کے مطابق کٹ آف اور تمام کٹ آف حدیں، اور roc.test – جوڑی دار DeLong موازنہ۔ یہ صفحہ پیکج کے مقابل تصدیق شدہ ہے: رقبہ، معیاری خطا، وقفۂ اعتماد، منحنی کے تمام نقاط، یوڈن کٹ آف، موازنے اور مجموعی ٹیسٹ۔ اسکرپٹ مثال کی فائل پر جوں کا توں چلایا گیا (قدریں تبصروں میں)۔

# ROC تجزیہ – پروفیسر اسٹیٹ۔ یہ فائل UTF-8 میں محفوظ ہے؛ ہر تبصرے کی سطر اردو لفظ سے شروع ہوتی ہے
library(readxl)    # ایکسل پڑھنا
library(pROC)      # ROC منحنیات، رقبہ، وقفہ ہائے اعتماد اور DeLong موازنہ

# لوڈنگ: معیاری سانچہ – قطار = شریک، کالم = متغیر؛ شیٹ "Data"
d <- read_excel("C:/Rdata/DATA_roc_example_eng.xlsx", sheet = "Data")
v <- c("diagnosis", "screen_long", "screen_short", "wellbeing")
d <- d[complete.cases(d[, v]), ]                        # فہرست وار حذف: 220 میں سے 218 – تمام منحنیات کے لیے وہی شرکاء

# ہر اشاریے کے لیے منحنی؛ levels = c(منفی، مثبت)؛ direction "<" – زیادہ قدر حالت کی نشاندہی کرتی ہے، ">" – کم قدر
r_long  <- roc(d$diagnosis, d$screen_long,  levels = c(0, 1), direction = "<")
r_short <- roc(d$diagnosis, d$screen_short, levels = c(0, 1), direction = "<")
r_well  <- roc(d$diagnosis, d$wellbeing,    levels = c(0, 1), direction = ">")

# رقبہ اور DeLong کا وقفۂ اعتماد
ci.auc(r_long); ci.auc(r_short); ci.auc(r_well)       # رقبہ: .817 [.757, .876]; .762 [.693, .831]; .677 [.596, .759]
sqrt(var(r_long))                                      # معیاری خطا (DeLong): .030

# یوڈن کے مطابق کٹ آف، اور اس پر کیا ہوتا ہے
coords(r_long, "best", best.method = "youden",
       ret = c("threshold", "sensitivity", "specificity", "ppv", "npv"))   # کٹ آف 10.5: حساسیت .875، مخصوصیت .676
binom.test(42, 48)$conf.int                            # کٹ آف پر حساسیت کا درست وقفۂ اعتماد: [.748, .953]
coords(r_long, "all", transpose = FALSE)               # تمام کٹ آف حدیں

# رقبوں کا جوڑی دار موازنہ (وہی شرکاء) – DeLong
roc.test(r_long, r_short, method = "delong", paired = TRUE)   # فرق .055 [.007, .103], z = 2.25, p = .025
# ذہنی بہبود الٹی سمت میں: موازنہ الٹی علامت والے متغیر پر، تاکہ تمام منحنیات ایک ہی سمت میں ہوں (DeLong et al., 1988، ص 842)
r_well2 <- roc(d$diagnosis, -d$wellbeing, levels = c(0, 1), direction = "<")
roc.test(r_long, r_well2, method = "delong", paired = TRUE)   # فرق .140 [.062, .217], z = 3.54, p < .001

# شکل
plot(r_long, legacy.axes = TRUE, print.auc = TRUE)
lines(r_short, col = "darkorange"); lines(r_well, col = "darkgreen")

نتائج کی رپورٹنگ

گولڈ اسٹینڈرڈ اور ہر گروہ میں شرکاء کی تعداد رپورٹ کی جاتی ہے؛ ہر اشاریے کے لیے – سمت، رقبہ اور وقفۂ اعتماد (اور کون سا)؛ کٹ آف اور یہ کیسے چنا گیا – پہلے سے لٹریچر سے یا ڈیٹا پر – حساسیت اور مخصوصیت (specificity) اور ان کے وقفہ ہائے اعتماد کے ساتھ؛ پیش گو قدریں صرف اس شرحِ پھیلاؤ کے ساتھ جس پر وہ حساب کی گئیں؛ اور موازنے میں – ٹیسٹ (DeLong، جوڑی دار)، فرق اور اس کا وقفۂ اعتماد۔ APA فارمیٹ میں اعداد: رقبے، حساسیت اور مخصوصیت میں نقطے سے پہلے صفر کے بغیر، جو 1 سے تجاوز نہیں کر سکتے (APA, 2020, Section 6.36)، اور p تین ہندسوں میں۔ صفحے کا تیار کردہ پیراگراف ایک نقطۂ آغاز ہے – اس میں سیاق اور مفہوم مکمل کیا جاتا ہے۔

عام غلطیاں

صرف رقبہ رپورٹ کرنا۔ .82 کا رقبہ تمام کٹ آف حدوں پر اوسط نکالتا ہے، بشمول ان کے جنہیں کوئی استعمال نہیں کرے گا (Pepe, 2003, pp. 78-79; Fawcett, 2006, p. 868)، اور عملاً فیصلہ کٹ آف پر ہوتا ہے۔ رقبہ، منحنی، اور کٹ آف پر حساسیت اور مخصوصیت (specificity) رپورٹ کی جاتی ہیں۔ اور اس کے برعکس – صرف ایک نقطہ رپورٹ کرنا: ایک ہی کٹ آف پر حساسیت اور مخصوصیت کی رپورٹنگ "واضح طور پر محدود" ہے (Pepe, 2003, p. 71)۔

حساسیت اور مخصوصیت (specificity) کی بجائے مجموعی درستی رپورٹ کرنا – نایاب حالت میں یہ بے قدر ٹیسٹ کے لیے بھی زیادہ ہوتی ہے (Pepe, 2003, p. 15)۔

کیسز اور کنٹرولز کے نمونے سے مثبت پیش گو قدر رپورٹ کرنا گویا وہ آبادی پر لاگو ہوتی ہے – یہ بڑھی ہوئی ہوتی ہے (Pepe, 2003, p. 25)۔

یوڈن کٹ آف کو "بہترین کٹ آف" کے طور پر پیش کرنا – یہ صرف اسی وقت بہترین ہے جب دونوں غلطیوں کی لاگت یکساں ہو، اور صرف اسی نمونے میں جس میں یہ ملا۔

انہی شرکاء پر ناپے گئے اشاریوں کے رقبوں کا موازنہ آزاد گروہوں کے ٹیسٹ سے کرنا، یا وقفہ ہائے اعتماد کے اوورلیپ کی بنیاد پر – درست موازنہ جوڑی دار ہے (DeLong et al., 1988)۔

سافٹ ویئر کو سمت چننے دینا – اور ایسے اشاریے کے لیے "AUC = .58" رپورٹ کرنا جو عملاً منصوبے کے برعکس پیش گوئی کرتا ہے، یا بالکل پیش گوئی نہیں کرتا۔

کٹ آف چننا، اور پھر اسی ڈیٹا پر اس کی "توثیق" کرنا – کسی دوسرے نمونے کے بغیر، کٹ آف پر اعداد خوش فہم ہوتے ہیں۔

حوالہ جات

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837-845. https://doi.org/10.2307/2531595

Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874. https://doi.org/10.1016/j.patrec.2005.10.010

Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29-36. https://doi.org/10.1148/radiology.143.1.7063747

Pepe, M. S. (2003). The statistical evaluation of medical tests for classification and prediction. Oxford University Press.

Hand اور Till (2001) اور Flach اور Wu (2003) – بحوالہ Fawcett (2006)؛ Obuchowski اور Lieber (2002) – بحوالہ Pepe (2003)۔ سائٹ کے اصول کے مطابق، حوالہ جات کی فہرست میں صرف وہ ماخذ شامل ہیں جو اصل میں پڑھے گئے؛ اقتباسات چھپے ہوئے صفحے کے مطابق ہیں۔ صفحے کا حساب R 4.3.3 اور pROC 1.18.5 پیکج (roc، ci.auc، coords، roc.test، cov) کے مقابل، binom.test کے مقابل، اور PSPP 2.0 کی ROC کمانڈ کے مقابل تصدیق شدہ ہے؛ اور ماخذ کے اعداد کے مقابل بھی – Hanley اور McNeil (1982، ص 31) کے جدول II میں 0.893 اور معیاری خطا 0.032۔