تحلیل ROC

بارگذاری داده‌ها

ستون‌ها را مستقیماً از کاربرگ بچسبانید (همراه با سطر عنوان) – در اکسل انتخاب کنید، کپی کنید و اینجا بچسبانید:

متغیرها و تنظیمات

چه زمانی استفاده می‌شود؟

وقتی یک استاندارد طلایی وجود دارد – شیوه‌ای پذیرفته‌شده برای تعیین اینکه چه کسی در وضعیت قرار دارد و چه کسی نه (مصاحبه بالینی، ترک تحصیل واقعی، قبولی در آزمون) – و یک شاخص عددی که قرار است آن را پیش‌بینی کند، و پرسیده می‌شود که شاخص تا چه اندازه میان دو گروه تمایز می‌گذارد. نمونه کلاسیک، اعتباریابی یک پرسشنامه غربالگری در برابر تشخیص است، اما پرسش گسترده‌تر است: Pepe (2003, ص. 74) یادآوری می‌کند که منحنی ROC "جدایی میان دو توزیع را توصیف می‌کند"، و بنابراین "در هر جایی که جدایی میان توزیع‌ها جالب توجه باشد" سودمند است – نمره خطر ترک تحصیل در برابر ترک تحصیل، احتمال پیش‌بینی‌شده از رگرسیون لجستیک در برابر پیامد، نمره آزمون ورودی در برابر موفقیت تحصیلی.

Pepe (2003, ص. 73، جدول 4.1) چهار کاربرد برمی‌شمارد: توصیف کامل عملکردهای ممکن شاخص؛ مقایسه و ترکیب پژوهش‌هایی که از نقاط برش متفاوت استفاده کرده‌اند؛ راهنمایی در انتخاب نقطه برش؛ و مقایسه میان شاخص‌هایی که در مقیاس‌های متفاوت سنجیده می‌شوند – پرسشنامه‌ای 27 نمره‌ای در برابر مقیاسی 1-5. وقتی خود شاخص از پیش دووجهی است (مثبت/منفی)، منحنی‌ای در کار نیست بلکه یک نقطه – جدول 2×2؛ آزمون رابطه آن – در صفحه خی‌دو. و معیارهای عملکرد یک مدل یادگیری ماشین – از جمله ROC در برابر منحنی precision-recall در رده‌ای نادر – در صفحه معیارهای عملکرد و اعتبارسنجی مدل.

منطق: از یک نقطه برش تا همه نقاط برش

یک نقطه برش. برای تصمیم‌گیری بر پایه یک نمره، نقطه برشی تعیین می‌شود: هر که بالاتر از آن باشد "مثبت" است. Pepe (2003, ص. 67) توضیح می‌دهد که انتخاب نقطه برش "با شرایط تغییر خواهد کرد" – منابع، هزینه پیگیری یا درمان، شدت وضعیت – و بر مصالحه رایج "میان تشخیص ندادن وضعیت و شناسایی نادرست آن" تکیه دارد. در یک نقطه برش معین، یک جدول 2×2 و دو نرخ به دست می‌آید: حساسیت – نرخ شناسایی‌شدگان در میان کسانی که در وضعیت قرار دارند (نرخ مثبت واقعی)، و ویژگی – نرخ منفی‌ها در میان کسانی که در وضعیت نیستند؛ 1 − ویژگی همان نرخ مثبت کاذب است (Fawcett, 2006, p. 862).

همه نقاط برش. منحنی مجموعه همه زوج‌های (نرخ مثبت کاذب، حساسیت) است که با جابه‌جا کردن نقطه برش می‌توان به دست آورد (Pepe, 2003, p. 67, Equation 4.3) – "ابزاری که به سادگی دامنه مصالحه‌هایی را که آزمون می‌تواند به آن‌ها برسد توصیف می‌کند". گوشه بالا و چپ، (0, 1)، طبقه‌بندی کامل است؛ قطر، حدس تصادفی است – کسی که در 70% موارد "مثبت" حدس بزند به 70% حساسیت و 70% مثبت کاذب می‌رسد (Fawcett, 2006, pp. 862-863). نقاط سمت چپ منحنی نقاط برش "محافظه‌کارانه" هستند – مثبت فقط با شواهد قوی، هشدارهای کاذب اندک و تشخیص‌های اندک؛ در سمت راست و بالا – "آزادگیرانه" (Fawcett, 2006, p. 863).

فقط ترتیب مهم است. منحنی با هیچ تبدیل صعودی نمره تغییر نمی‌کند (Pepe, 2003, ص. 69، نتیجه 4.1)، و منحنی تجربی "فقط تابعی از رتبه‌ها است" (Pepe, 2003, p. 98). به همین دلیل با آن شاخص‌هایی با واحدهای متفاوت مقایسه می‌شوند، و به همین دلیل برای نمره‌ای ترتیبی با مقادیر اندک نیز مناسب است – در این حالت منحنی پلکانی است، با پرش‌های بزرگ و قطعه‌های مورب در جاهایی که میان کسانی که در وضعیت هستند و کسانی که نیستند گره وجود دارد (Pepe, 2003, p. 98).

سطح زیر منحنی

سطح زیر منحنی (AUC) در شاخصی کامل 1 و در شاخصی بی‌اطلاع 0.5 است (Pepe, 2003, p. 77). این سطح دو خوانش دارد، و منابع در اینکه کدام را ترجیح دهند اختلاف دارند – و بنابراین "هر دو":

احتمال رتبه‌بندی درست. سطح، احتمال آن است که یک آزمودنی تصادفی از گروه دارای وضعیت نمره‌ای بالاتر از یک آزمودنی تصادفی از گروه دیگر بگیرد (Hanley & McNeil, 1982, p. 29; Fawcett, 2006, p. 868)، و این دقیقاً همان کمیتی است که آزمون مان-ویتنی (ویلکاکسون برای دو نمونه) برآورد می‌کند: سطح زیر منحنی تجربی برابر است با آماره U تقسیم بر تعداد زوج‌ها (Pepe, 2003, ص. 103، نتیجه 5.3؛ Hanley & McNeil, 1982, ص. 31-32). گره میان دو آزمودنی نیم شمرده می‌شود. Hanley و McNeil (1982, ص. 31) تأکید می‌کنند که این رابطه "هیچ فرضی درباره شکل توزیع‌ها ندارد" – برخلاف سطح منحنی هموار، که بر دو توزیع نرمال تکیه دارد.

میانگین حساسیت. Pepe (2003, ص. 78-79) قانع نیست: رتبه‌بندی درست یک زوج، به عنوان پرسشی بالینی "چندان قانع‌کننده نیست" – در آزمایش انتخاب اجباری از میان یک جفت تصویر طبیعی است، نه در کاربرد آزمون – و او ترجیح می‌دهد سطح را "به عنوان میانگین حساسیت، در کل دامنه نرخ‌های مثبت کاذب" بخواند. هر دو خوانش از نظر ریاضی درست‌اند؛ اولی برای توضیح راحت است، دومی یادآوری می‌کند که سطح روی نقاط برشی هم میانگین می‌گیرد که هیچ‌کس از آن‌ها استفاده نخواهد کرد.

آنچه سطح پنهان می‌کند. دو شاخص با سطح یکسان می‌توانند در ناحیه‌ای که برای شما مهم است بسیار متفاوت باشند: "ممکن است طبقه‌بندی با AUC بالا در ناحیه معینی از فضای ROC بدتر از طبقه‌بندی با AUC پایین عمل کند" (Fawcett, 2006, p. 868)، و از منحنی‌ای که همه‌جا بهتر است سطح بزرگ‌تری نتیجه می‌شود، اما "عکس آن لزوماً درست نیست" (Pepe, 2003, p. 77). برای مثال در غربالگری جمعیت، فقط نقاط برشی با مثبت کاذب اندک کاربردی‌اند، و آنجا فقط بخش چپ منحنی مربوط است (Pepe, 2003, p. 75) – برای این کار سطح جزئی وجود دارد (pAUC; Pepe, 2003, p. 79)، که این صفحه محاسبه نمی‌کند. به همین دلیل صفحه همیشه منحنی را نشان می‌دهد و نه فقط سطح را. ضریب جینی، که در ادبیات یادگیری ماشین آمده، برابر 2·AUC − 1 است (Hand & Till, 2001, به نقل از Fawcett, 2006, ص. 868).

سطح کمتر از 0.5. "هیچ طبقه‌بند واقع‌بینانه‌ای نباید AUC کمتر از 0.5 داشته باشد" (Fawcett, 2006, p. 868): شاخصی که زیر قطر است "اطلاعات سودمندی دارد، اما آن را نادرست به کار می‌برد" (Flach & Wu, 2003, به نقل از Fawcett, 2006, ص. 863) – تقریباً همیشه جهت برعکس تعریف شده است. صفحه در چنین حالتی هشدار می‌دهد.

خطای استاندارد، فاصله اطمینان و آزمون

خطای استاندارد DeLong. DeLong، DeLong و Clarke-Pearson (1988, ص. 839-840) سطح را به "مؤلفه‌های ساختاری" تجزیه می‌کنند: برای هر آزمودنی از گروه دارای وضعیت – نسبت آزمودنی‌های گروه دیگر که از آن‌ها پیشی می‌گیرد؛ برای هر آزمودنی از گروه دیگر – نسبت آزمودنی‌های گروه دارای وضعیت که از او پیشی می‌گیرند. واریانس سطح برابر است با واریانس مؤلفه‌های نخست تقسیم بر تعداد موردها، به‌علاوه واریانس مؤلفه‌های دوم تقسیم بر تعداد شاهدها. Pepe (2003, ص. 105-106) این مؤلفه‌ها را "مقادیر جایگاه" می‌نامد – اینکه هر نمره در توزیع گروه دیگر کجا قرار می‌گیرد – و آن‌ها را مفهومی "بنیادی برای تحلیل ROC" می‌داند. این خطای استاندارد اصلی در این صفحه است، و همان است که R محاسبه می‌کند (pROC).

خطای استاندارد Hanley و McNeil. فرمول قدیمی‌تر (Hanley & McNeil, 1982, p. 32, Equation 1) بر دو احتمال تکیه دارد: Q₁ – اینکه دو آزمودنی از گروه دارای وضعیت هر دو از یک آزمودنی گروه دیگر پیشی بگیرند، و Q₂ – اینکه یک آزمودنی از گروه دارای وضعیت از دو آزمودنی گروه دیگر پیشی بگیرد. صفحه آن‌ها را از داده‌ها محاسبه می‌کند، با گره‌ها مانند جدول II مقاله (ص. 31)، و این همان خطای استانداردی است که PSPP چاپ می‌کند. دو فرمول تقریباً همیشه نزدیک‌اند. Hanley و McNeil (1982, ص. 33، فرمول 2) تقریبی را هم پیشنهاد کردند که فقط به سطح وابسته است – Q₁ = θ/(2 − θ)، Q₂ = 2θ²/(1 + θ) – برای برنامه‌ریزی حجم نمونه پیش از آنکه داده‌ای در دست باشد؛ جدول III در مقاله (ص. 34) تعداد آزمودنی‌های لازم برای مقایسه دو سطح را می‌دهد.

فاصله اطمینان – دو نوع، "هر دو". رایج‌ترین – سطح به‌علاوه و منهای 1.96 خطای استاندارد (DeLong)، مانند R. اما سطح به 1 محدود است، و وقتی به 1 نزدیک باشد توزیع آن "به سمت 0.5 چوله است" (Hanley & McNeil, 1982, p. 34)، و فاصله متقارن ممکن است از 1 فراتر رود (صفحه آن را در 1 قطع می‌کند، مانند R). Pepe (2003, ص. 107) فاصله‌ای در مقیاس لوجیت پیشنهاد می‌کند – نامتقارن، همیشه میان 0 و 1 – و در شبیه‌سازی نشان می‌دهد که در نمونه‌های کوچک و سطوح بالا پوشش آن بهتر است (جدول 5.1)؛ "در عمل توصیه می‌کنیم" از آن استفاده شود. صفحه هر دو را نشان می‌دهد؛ بند یافته‌ها از DeLong متقارن استفاده می‌کند، که در R و SPSS قابل بازتولید است، و در سطح .90 و بالاتر یا در گروهی با کمتر از 30 آزمودنی – بهتر است لوجیت گزارش شود.

آیا سطح بزرگ‌تر از 0.5 است؟ صفحه z و p را برای فرض صفری که شاخص تمایزی نمی‌گذارد (سطح 0.5) گزارش می‌کند، با خطای استاندارد تحت فرض صفر – این آزمون مان-ویتنی در تقریب نرمال است، بدون تصحیح برای گره‌ها، و همان Asymptotic Sig. در PSPP است. با تصحیح برای گره‌ها (صفحه مان-ویتنی) مقدار p اندکی کوچک‌تر است. چنین آزمونی به پرسشی فروتنانه پاسخ می‌دهد: در نمونه بزرگ حتی سطح .58 هم "معنادار" است، و بنابراین آنچه گزارش می‌شود سطح و فاصله اطمینان آن است.

انتخاب نقطه برش

شاخص یودن. J = حساسیت + ویژگی − 1، یعنی فاصله عمودی میان منحنی و قطر؛ نقطه برشی که آن را بیشینه می‌کند پیش‌فرض صفحه است. Pepe (2003, ص. 80) آن را خلاصه‌ای معرفی می‌کند که "وقتی هزینه خطاهای مثبت کاذب از نظر اندازه مشابه هزینه منفی‌های کاذب باشد" پیشنهاد شده است – و این یک فرض است، نه یک واقعیت. وقتی هزینه‌ها متفاوت‌اند، نقطه برش درست به هزینه‌ها و به شیوع وضعیت بستگی دارد (Pepe, 2003, ص. 72، نتیجه 4.5؛ Fawcett, 2006, ص. 867، "خطوط هم‌عملکرد"): در غربالگری برای وضعیتی خطرناک، حساسیت بالا حتی به بهای هشدارهای کاذب ترجیح داده می‌شود؛ پیش از مداخله‌ای پرهزینه – برعکس. به همین دلیل صفحه امکان بررسی هر نقطه برش را می‌دهد، و همه نقاط برش را در جدولی کامل نشان می‌دهد. و اگر برای شاخص نقطه برش پذیرفته‌شده‌ای در ادبیات وجود دارد – همان گزارش می‌شود، نه نقطه برشی که در داده‌ها پیدا شده است.

نقطه برشی که روی داده‌ها انتخاب شده خوش‌بینانه است. نقطه برش یودن طوری انتخاب می‌شود که دقیقاً با همین نمونه جور باشد، و بنابراین حساسیت و ویژگی در آن اندکی بالاتر از چیزی است که در نمونه‌ای جدید به دست خواهد آمد. بر اساس قرارداد سایت، نقطه برشی که روی داده‌ها انتخاب شده به عنوان یافته‌ای مقدماتی گزارش می‌شود، و عملکرد آن در نمونه‌ای دیگر اعتبارسنجی می‌شود (درباره اعتبارسنجی روی داده‌های جدید – صفحه معیارهای عملکرد و اعتبارسنجی مدل).

در نقطه برش چه محاسبه می‌شود. حساسیت و ویژگی با فاصله اطمینان دقیق (Clopper-Pearson) – Pepe (2003, ص. 22) روش‌های دقیق یا لجستیک را ترجیح می‌دهد، زیرا در آزمون‌های خوب نرخ‌ها به لبه نزدیک‌اند، و فاصله نرمال متقارن "ممکن است از (0, 1) فراتر رود". مهم است که هر دو گزارش شوند، و نه دقت کل: دو خطا از نظر هزینه متفاوت‌اند، و دقت کل به شیوع بستگی دارد – آزمونی که همه را منفی طبقه‌بندی کند در وضعیتی نادر دقت بالایی خواهد داشت (Pepe, 2003, p. 15). نسبت‌های درست‌نمایی (LR+ = حساسیت/(1 − ویژگی)، LR− = (1 − حساسیت)/ویژگی) می‌گویند که نتیجه مثبت یا منفی شانس وضعیت را چند برابر تغییر می‌دهد، و به شیوع وابسته نیستند (Pepe, 2003, p. 20, Table 2.2)؛ فاصله اطمینان آن‌ها – در مقیاس لگاریتمی (Pepe, 2003, ص. 24، نتیجه 2.5).

ارزش‌های اخباری و شیوع. ارزش اخباری مثبت – از میان کسانی که مثبت طبقه‌بندی شده‌اند، چند نفر واقعاً در وضعیت قرار دارند؛ منفی – از میان منفی‌ها، چند نفر واقعاً نه. این‌ها همان چیزی‌اند که برای کسی که نتیجه‌ای گرفته جالب است، اما "نه فقط به عملکرد آزمون... بلکه به شیوع وضعیت نیز بستگی دارند" (Pepe, 2003, p. 16). وقتی نمونه از تعداد ثابتی مورد و شاهد ساخته شده باشد، نرخ در نمونه "ارزش اخباری مثبت را بیش از واقع برآورد خواهد کرد" (Pepe, 2003, p. 25). بنابراین شیوع وضعیت را در جامعه آماری‌ای که شاخص در آن به کار خواهد رفت وارد کنید، و صفحه ارزش‌های اخباری را در آن بر اساس قاعده بیز محاسبه خواهد کرد. در مقابل، خود منحنی ROC "به تغییرات توزیع رده‌ها حساس نیست" (Fawcett, 2006, p. 864).

مقایسه شاخص‌ها

وقتی چند شاخص روی همان آزمودنی‌ها سنجیده شده‌اند، سطوح آن‌ها همبسته‌اند – همان افراد برای همه شاخص‌ها "آسان" و "دشوار" هستند – و مقایسه‌ای که این را نادیده بگیرد نادرست است. DeLong و همکاران (1988) برای این کار رویکردی ناپارامتری پرورانده‌اند: ماتریس کوواریانس سطوح از روی مؤلفه‌های ساختاری، و آزمون خی‌دو برای هر مقابله میان آن‌ها (ص. 840-841، معادله 5). برای یک زوج شاخص – z برای تفاوت میان سطوح، با فاصله اطمینان (Pepe, 2003, ص. 108، نتیجه 5.6)؛ برای سه شاخص و بیشتر – آزمونی کلی برای برابری همه سطوح (k − 1 درجه آزادی)، و پس از آن همه زوج‌ها، با تصحیح Holm برای مقایسه‌های چندگانه بر اساس قرارداد سایت. شاخصی با جهت معکوس (بهزیستی روانی در برابر نشانه‌ها) پس از معکوس کردن علامت وارد مقایسه می‌شود، همان‌طور که DeLong و همکاران با نمره خودشان کردند (ص. 842).

درس نمونه آن‌ها (ص. 844): یک نمره ویژه برای پیش‌بینی موفقیت جراحی بهتر از دو شاخص تغذیه‌ای معمول نبود، اما "توان در این وضعیت احتمالاً به دلیل حجم کوچک نمونه بسیار پایین است" – 49 بیمار. نبود تفاوت معنادار میان سطوح در نمونه کوچک دلیلی بر هم‌ارز بودن شاخص‌ها نیست. وقتی شاخص‌ها روی گروه‌های متفاوتی از آزمودنی‌ها سنجیده شده باشند، واریانس تفاوت به سادگی مجموع واریانس‌ها است (Pepe, 2003, p. 108) – صفحه چنین مقایسه‌ای را محاسبه نمی‌کند.

خروجی را چگونه بخوانیم؟

جدول 1 – سطح زیر منحنی: برای هر شاخص – جهت، سطح، خطاهای استاندارد (DeLong; Hanley & McNeil)، دو فاصله اطمینان، و z و p در برابر 0.5. نمودار 1 – منحنی‌ها، همراه با قطر و نقطه برش یودن هر شاخص.

جدول 2 – نقطه برش بر اساس شاخص یودن: برای هر شاخص – نقطه برش (مثبت اگر نمره بزرگ‌تر یا مساوی آن باشد؛ در شاخص با جهت معکوس – کوچک‌تر یا مساوی)، حساسیت و ویژگی با فاصله‌های اطمینان، J، ارزش‌های اخباری و نسبت‌های درست‌نمایی. نقاط برش نقاط میانی میان مقادیر مجاورند، مانند SPSS و R، و بنابراین نقطه برش 10.5 در پرسشنامه‌ای با اعداد صحیح یعنی "11 و بالاتر".

بررسی نقطه برش: یک شاخص انتخاب و یک نقطه برش تایپ می‌شود، و جدول 3 به دست می‌آید – جدول 2×2 و همه شاخص‌ها در این نقطه برش، از جمله ارزش‌های اخباری در شیوعی که وارد کرده‌اید. زیر آن، با یک کلیک – همه نقاط برش شاخص. جدول 4 – مقایسه سطوح (وقتی دو شاخص یا بیشتر انتخاب شده باشد): تفاوت میان هر زوج، خطای استاندارد، فاصله اطمینان، z، p، p تعدیل‌شده Holm، و همبستگی میان سطوح؛ در یادداشت – آزمون کلی.

مفروضه‌ها و هشدارها

استاندارد طلایی درست است. کل محاسبه فرض می‌کند که متغیر وضعیت خطا ندارد. Pepe (2003, ص. 6-7، جدول 1.3) سوگیری‌های رایج در چنین پژوهش‌هایی را برمی‌شمارد: استاندارد طلایی ناکامل؛ سوگیری درستی‌سنجی – فقط بخشی از آزمودنی‌ها، و نه به صورت تصادفی، با استاندارد طلایی بررسی شده‌اند؛ سوگیری طیف – "خطای رایج این است که موردهایی با وضعیت شدید یا مزمن و شاهدهایی سالم‌تر از میانگین انتخاب شوند"، چیزی که "ممکن است دقت ظاهری آزمون را افزایش دهد"؛ و سوگیری تفسیر – وقتی کسی که وضعیت را تعیین می‌کند نتیجه شاخص را می‌داند، یا برعکس (ص. 5-6).

آزمودنی‌های مستقل. خطاهای استاندارد فرض می‌کنند که هر آزمودنی یک مشاهده می‌دهد. وقتی برای هر آزمودنی چند مشاهده وجود دارد (دو چشم، چند آزمون برای هر دانش‌آموز)، Pepe (2003, ص. 104) بوت‌استرپ در سطح آزمودنی را توصیه می‌کند – که صفحه اجرا نمی‌کند.

گره‌ها. در نمره‌هایی با مقادیر اندک گره‌های زیادی وجود دارد، و Fawcett (2006, ص. 867) هشدار می‌دهد که اگر روی آن‌ها میانگین گرفته نشود، منحنی به ترتیبی که آزمودنی‌ها در فایل آمده‌اند وابسته می‌شود، و "ترتیب‌های متفاوت ممکن است منحنی‌های بسیار گمراه‌کننده‌ای به دست دهند". صفحه روی آن‌ها میانگین می‌گیرد: گره میان یک مورد و یک شاهد نیم شمرده می‌شود، و منحنی با خطی مورب عبور می‌کند.

جهت از پیش تعیین می‌شود. نرم‌افزارهایی که جهت را "به صورت خودکار" بر اساس داده‌ها انتخاب می‌کنند، هر شاخص ضعیفی را به سطحی بالاتر از 0.5 تبدیل می‌کنند. صفحه این کار را نمی‌کند: جهت تصمیم شماست، بر اساس آنچه شاخص قرار است بسنجد، و سطح کمتر از 0.5 همان‌طور که هست نشان داده می‌شود، همراه با هشدار.

محدودیت‌های عملی. مقادیر گمشده: حذف لیستی روی متغیر وضعیت و روی همه شاخص‌های انتخاب‌شده (صفحه اعلام می‌کند چند مورد حذف شده است). دست‌کم پنج آزمودنی در هر گروه لازم است؛ با کمتر از 30 در هر گروه – فاصله‌های اطمینان مجانبی دقت کمتری دارند (Pepe, 2003, p. 107, Table 5.1). سطح 1 (جدایی کامل) – خطای استاندارد 0 و فاصله اطمینان بی‌معنا است، و صفحه هشدار می‌دهد؛ برای فاصله‌های دقیق در چنین حالتی Pepe (2003, ص. 107) به Obuchowski و Lieber (2002, به نقل از همان‌جا) ارجاع می‌دهد. آنچه این صفحه محاسبه نمی‌کند: منحنی هموار (دونرمال)، سطح جزئی، فاصله‌های اطمینان برای کل منحنی، مقایسه میان گروه‌های مستقل، و ROC برای بیش از دو گروه.

و این کار در SPSS چگونه انجام می‌شود؟

در SPSS Statistics: Analyze › Classify › ROC Curve (در نسخه‌های قدیمی – Analyze › ROC Curve)؛ شاخص‌ها به Test Variable، متغیر وضعیت به State Variable منتقل می‌شوند و مقداری که وضعیت را نشان می‌دهد تایپ می‌شود؛ ROC Curve، With diagonal reference line، Standard error and confidence interval و Coordinate points of the ROC Curve علامت زده می‌شوند. جهت در Options › Test Direction تعیین می‌شود – یکی برای کل فرمان، و بنابراین سینتکسی که صفحه تولید می‌کند برای شاخص‌های با جهت معکوس فرمان جداگانه‌ای اجرا می‌کند. مسیرها اطلاعات کلی درباره نرم‌افزارند؛ سینتکس در SPSS اجرا نشده است.

همان فرمان (ROC) در PSPP، جایگزین رایگان، وجود دارد و روی فایل نمونه اجرا شد: سطح و Std. Error با صفحه یکسان‌اند (Std. Error از آنِ Hanley و McNeil است، ستون "SE (H-M)" در جدول 1)، و Asymptotic Sig. نیز همین‌طور؛ اما حدودی که PSPP زیر "95%" چاپ می‌کند به اندازه 1.645 خطای استاندارد از سطح فاصله دارند و نه 1.96 – یعنی فاصله‌ای 90% – و در جهت TESTPOS(SMALL) برای خطای استاندارد و فاصله مقدار NaN برمی‌گرداند. در PSPP – فاصله‌های اطمینان را از صفحه بگیرید. مقایسه میان سطوح بخشی از فرمان ROC نیست؛ در اسکریپت R پایین آمده است.

و این کار در R چگونه انجام می‌شود؟

بسته pROC: roc منحنی را می‌سازد (levels – مقدار منفی و پس از آن مثبت؛ direction = "<" – مقدار بالا نشانه وضعیت است، ">" – مقدار پایین؛ بدون direction بسته جهت را بر اساس داده‌ها انتخاب می‌کند – در مفروضه‌ها ببینید)، ci.auc سطح و فاصله اطمینان DeLong را می‌دهد، coords – نقطه برش یودن و همه نقاط برش را، و roc.test – مقایسه زوجی DeLong را. صفحه در برابر این بسته اعتبارسنجی شده است: سطح، خطای استاندارد، فاصله اطمینان، همه نقاط منحنی، نقطه برش یودن، مقایسه‌ها و آزمون کلی. اسکریپت عیناً روی فایل نمونه اجرا شد (مقادیر در توضیحات).

# تحلیل ROC – پروفسور استت. این فایل با UTF-8 ذخیره شده است؛ هر سطر توضیح با یک واژه فارسی آغاز می‌شود
library(readxl)    # خواندن اکسل
library(pROC)      # منحنی‌های ROC، سطح، فاصله‌های اطمینان و مقایسه DeLong

# بارگذاری: الگوی استاندارد – سطر = آزمودنی، ستون = متغیر؛ کاربرگ "Data"
d <- read_excel("C:/Rdata/DATA_roc_example_eng.xlsx", sheet = "Data")
v <- c("diagnosis", "screen_long", "screen_short", "wellbeing")
d <- d[complete.cases(d[, v]), ]                        # حذف لیستی: 218 از 220 – همان آزمودنی‌ها برای همه منحنی‌ها

# منحنی برای هر شاخص؛ levels = c(منفی، مثبت)؛ direction "<" – مقدار بالا نشانه وضعیت است، ">" – مقدار پایین
r_long  <- roc(d$diagnosis, d$screen_long,  levels = c(0, 1), direction = "<")
r_short <- roc(d$diagnosis, d$screen_short, levels = c(0, 1), direction = "<")
r_well  <- roc(d$diagnosis, d$wellbeing,    levels = c(0, 1), direction = ">")

# سطح و فاصله اطمینان DeLong
ci.auc(r_long); ci.auc(r_short); ci.auc(r_well)       # سطح: .817 [.757, .876]؛ .762 [.693, .831]؛ .677 [.596, .759]
sqrt(var(r_long))                                      # خطای استاندارد (DeLong): .030

# نقطه برش بر اساس یودن، و آنچه در آن رخ می‌دهد
coords(r_long, "best", best.method = "youden",
       ret = c("threshold", "sensitivity", "specificity", "ppv", "npv"))   # نقطه برش 10.5: حساسیت .875، ویژگی .676
binom.test(42, 48)$conf.int                            # فاصله اطمینان دقیق برای حساسیت در نقطه برش: [.748, .953]
coords(r_long, "all", transpose = FALSE)               # همه نقاط برش

# مقایسه زوجی سطوح (همان آزمودنی‌ها) – DeLong
roc.test(r_long, r_short, method = "delong", paired = TRUE)   # تفاوت .055 [.007, .103]، z = 2.25، p = .025
# بهزیستی روانی با جهت معکوس: مقایسه روی متغیر با علامت معکوس، تا همه منحنی‌ها هم‌جهت باشند (DeLong et al., 1988, ص. 842)
r_well2 <- roc(d$diagnosis, -d$wellbeing, levels = c(0, 1), direction = "<")
roc.test(r_long, r_well2, method = "delong", paired = TRUE)   # تفاوت .140 [.062, .217]، z = 3.54، p < .001

# نمودار
plot(r_long, legacy.axes = TRUE, print.auc = TRUE)
lines(r_short, col = "darkorange"); lines(r_well, col = "darkgreen")

گزارش نتایج

استاندارد طلایی و تعداد آزمودنی‌ها در هر گروه گزارش می‌شود؛ برای هر شاخص – جهت، سطح و فاصله اطمینان (و اینکه کدام فاصله)؛ نقطه برش و اینکه چگونه انتخاب شده – از پیش بر اساس ادبیات یا روی داده‌ها – همراه با حساسیت و ویژگی و فاصله‌های اطمینان آن‌ها؛ ارزش‌های اخباری فقط همراه با شیوعی که بر اساس آن محاسبه شده‌اند؛ و در مقایسه – آزمون (DeLong، زوجی)، تفاوت و فاصله اطمینان آن. اعداد در قالب APA: بدون صفر پیش از نقطه در سطح، حساسیت و ویژگی، که نمی‌توانند از 1 فراتر روند (APA, 2020, Section 6.36)، و p با سه رقم. بندی که صفحه تولید می‌کند نقطه شروع است – زمینه و معنا در آن تکمیل می‌شود.

اشتباهات رایج

گزارش فقط سطح. سطح .82 روی همه نقاط برش میانگین می‌گیرد، از جمله نقاطی که هیچ‌کس از آن‌ها استفاده نخواهد کرد (Pepe, 2003, pp. 78-79; Fawcett, 2006, p. 868)، و آنچه در عمل درباره‌اش تصمیم گرفته می‌شود یک نقطه برش است. سطح، منحنی، و حساسیت و ویژگی در نقطه برش گزارش می‌شوند. و برعکس – گزارش فقط یک نقطه: گزارش حساسیت و ویژگی در یک نقطه برش واحد "آشکارا محدود است" (Pepe, 2003, p. 71).

گزارش دقت کل به جای حساسیت و ویژگی – در وضعیتی نادر حتی برای آزمونی بی‌ارزش هم بالا است (Pepe, 2003, p. 15).

گزارش ارزش اخباری مثبت از نمونه‌ای از موردها و شاهدها چنان‌که گویی برای جامعه آماری صدق می‌کند – این مقدار متورم است (Pepe, 2003, p. 25).

معرفی نقطه برش یودن به عنوان "نقطه برش بهینه" – فقط وقتی بهینه است که دو خطا هزینه یکسانی داشته باشند، و فقط در نمونه‌ای که در آن پیدا شده است.

مقایسه سطوح شاخص‌هایی که روی همان آزمودنی‌ها سنجیده شده‌اند با آزمونی برای گروه‌های مستقل، یا بر اساس هم‌پوشانی فاصله‌های اطمینان – مقایسه درست زوجی است (DeLong et al., 1988).

واگذاشتن انتخاب جهت به نرم‌افزار – و گزارش "AUC = .58" برای شاخصی که در عمل برعکس آنچه طراحی شده پیش‌بینی می‌کند، یا اصلاً پیش‌بینی نمی‌کند.

انتخاب نقطه برش، و سپس "اعتبارسنجی" آن روی همان داده‌ها – بدون نمونه‌ای دیگر، اعداد در نقطه برش خوش‌بینانه‌اند.

منابع

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837-845. https://doi.org/10.2307/2531595

Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874. https://doi.org/10.1016/j.patrec.2005.10.010

Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29-36. https://doi.org/10.1148/radiology.143.1.7063747

Pepe, M. S. (2003). The statistical evaluation of medical tests for classification and prediction. Oxford University Press.

Hand و Till (2001) و Flach و Wu (2003) – به نقل از Fawcett (2006)؛ Obuchowski و Lieber (2002) – به نقل از Pepe (2003). بر اساس قاعده سایت، در فهرست منابع فقط منابعی می‌آیند که از اصل خوانده شده‌اند؛ نقل‌قول‌ها بر اساس صفحه چاپی است. محاسبه در این صفحه در برابر R 4.3.3 و بسته pROC 1.18.5 (roc، ci.auc، coords، roc.test، cov)، در برابر binom.test، و در برابر فرمان ROC در PSPP 2.0 اعتبارسنجی شده است؛ و در برابر اعداد منابع – 0.893 و خطای استاندارد 0.032 در جدول II از Hanley و McNeil (1982, ص. 31).