تحليل منحنى ROC

حاسبة

تحميل البيانات

الصقوا الأعمدة مباشرة من ورقة العمل (بما في ذلك صف العناوين) – حدّدوها في إكسل، وانسخوها، ثم الصقوها هنا:

المتغيرات والإعدادات

دليل

متى يُستخدم؟

عندما يوجد معيار ذهبي – طريقة متعارف عليها لتحديد من لديه الحالة ومن ليست لديه (مقابلة سريرية، تسرّب فعلي، نجاح في امتحان) – ومؤشر رقمي يُفترض أن يتنبأ به، ويُسأل إلى أي حد يميّز المؤشر بين المجموعتين. المثال الكلاسيكي هو التحقق من صدق استبانة فرز مقابل التشخيص، لكن السؤال أوسع: تذكّر Pepe (2003، ص 74) بأن منحنى ROC "يصف الفصل بين توزيعين"، ولذلك فهو مفيد "في كل موضع يكون فيه الفصل بين التوزيعات موضع اهتمام" – درجة خطر التسرّب مقابل التسرّب، والاحتمال المتنبَّأ به من الانحدار اللوجستي مقابل النتيجة، ودرجة امتحان القبول مقابل النجاح في الدراسة.

تعدّد Pepe (2003، ص 73، الجدول 4.1) أربعة استخدامات: وصف كامل للأداء الممكن للمؤشر؛ والمقارنة والدمج بين دراسات استخدمت عتبات مختلفة؛ والتوجيه في اختيار العتبة؛ والمقارنة بين مؤشرات تُقاس بمقاييس مختلفة – استبانة من 27 نقطة مقابل مقياس من 1-5. عندما يكون المؤشر نفسه ثنائي القيمة أصلًا (موجب/سالب)، لا يوجد منحنى بل نقطة واحدة – جدول 2×2؛ واختبار العلاقة الخاص به – في صفحة مربع كاي. أما مقاييس أداء نموذج تعلّم الآلة – بما في ذلك ROC مقابل منحنى precision-recall في فئة نادرة – ففي صفحة مقاييس الأداء والتحقق للنموذج.

المنطق: من عتبة واحدة إلى كل العتبات

عتبة واحدة. لاتخاذ قرار بناءً على درجة، تُحدَّد عتبة: من يقع فوقها "موجب". تشرح Pepe (2003، ص 67) أن اختيار العتبة "سيتغير مع الظروف" – الموارد، وتكلفة الفحص الإضافي أو العلاج، وخطورة الحالة – وأنه يستند إلى المفاضلة المعتادة "بين عدم اكتشاف الحالة وبين تحديدها خطأً". عند عتبة معيّنة نحصل على جدول 2×2 ومعدّلين: الحساسية – نسبة من اكتُشفوا من بين من لديهم الحالة (معدل الإيجابيات الصحيحة)، والنوعية – نسبة السالبين من بين من ليست لديهم الحالة؛ و1 − النوعية هو معدل الإيجابيات الكاذبة (Fawcett, 2006, p. 862).

كل العتبات. المنحنى هو مجموعة كل الأزواج (معدل الإيجابيات الكاذبة، الحساسية) التي يمكن بلوغها بتحريك العتبة (Pepe, 2003, p. 67, Equation 4.3) – "أداة تصف ببساطة مدى المفاضلات التي يمكن أن يحققها الفحص". الزاوية العليا اليسرى، (0, 1)، هي تصنيف تام؛ والقطر هو التخمين العشوائي – من يخمّن "موجب" في 70% من الحالات سيحصل على حساسية 70% و70% إيجابيات كاذبة (Fawcett, 2006, pp. 862-863). النقاط في الجانب الأيسر من المنحنى عتبات "متحفظة" – موجب فقط مع أدلة قوية، وقليل من الإنذارات الكاذبة وقليل من الاكتشافات؛ وفي الجانب الأيمن العلوي – عتبات "متساهلة" (Fawcett, 2006, p. 863).

الترتيب وحده هو المهم. لا يتغير المنحنى بأي تحويل متزايد للدرجة (Pepe, 2003، ص 69، النتيجة 4.1)، والمنحنى التجريبي "دالة للرتب فقط" (Pepe, 2003, p. 98). لذلك تُقارَن فيه مؤشرات بوحدات مختلفة، ولذلك يناسب أيضًا درجة ترتيبية ذات قيم قليلة – عندها يكون المنحنى درجيًّا، بقفزات كبيرة ومقاطع قُطرية في المواضع التي توجد فيها قيم متساوية بين من لديهم الحالة ومن ليست لديهم (Pepe, 2003, p. 98).

المساحة تحت المنحنى

المساحة تحت المنحنى (AUC) تساوي 1 في مؤشر تام و0.5 في مؤشر عديم المعلومات (Pepe, 2003, p. 77). لها قراءتان، والمصادر مختلفة في أيّهما تُفضَّل – ولذلك "هذه وتلك معًا":

احتمال الترتيب الصحيح. المساحة هي احتمال أن يحصل مشارك عشوائي من مجموعة الحالة على درجة أعلى من مشارك عشوائي من المجموعة الأخرى (Hanley & McNeil, 1982, p. 29; Fawcett, 2006, p. 868)، وهذه بالضبط الكمية التي يقدّرها اختبار مان-ويتني (ويلكوكسون لعينتين): المساحة تحت المنحنى التجريبي تساوي الإحصاءة U مقسومة على عدد الأزواج (Pepe, 2003، ص 103، النتيجة 5.3؛ Hanley & McNeil, 1982، ص 31-32). التساوي بين مشاركَين يُحسب نصفًا. يؤكد Hanley وMcNeil (1982، ص 31) أن هذه العلاقة "لا تفترض شيئًا عن شكل التوزيعات" – بخلاف مساحة المنحنى الأملس، التي تستند إلى توزيعين طبيعيين.

متوسط الحساسية. Pepe (2003، ص 78-79) غير مقتنعة: الترتيب الصحيح لزوج "ليس مقنعًا بشكل خاص" كسؤال سريري – فهو طبيعي في تجربة اختيار قسري من بين زوج من الصور، لا في استخدام الفحص – وهي تفضّل قراءة المساحة "كمتوسط للحساسية، على امتداد كامل مدى معدلات الإيجابيات الكاذبة". القراءتان صحيحتان رياضيًا؛ الأولى مريحة للشرح، والثانية تذكّر بأن المساحة تأخذ المتوسط أيضًا على عتبات لن يستخدمها أحد.

ما الذي تخفيه المساحة. قد يختلف مؤشران لهما المساحة نفسها اختلافًا كبيرًا في المنطقة المهمة لكم: "من الممكن أن يؤدي مصنِّف ذو AUC مرتفع أداءً أسوأ في منطقة معيّنة من فضاء ROC من مصنِّف ذي AUC منخفض" (Fawcett, 2006, p. 868)، ومن منحنى أفضل في كل موضع تنتج مساحة أكبر، لكن "العكس ليس صحيحًا بالضرورة" (Pepe, 2003, p. 77). في الفرز السكاني، مثلًا، لا تصلح إلا العتبات ذات الإيجابيات الكاذبة القليلة، وهناك يكون الجزء الأيسر من المنحنى وحده ذا صلة (Pepe, 2003, p. 75) – ولهذا توجد المساحة الجزئية (pAUC; Pepe, 2003, p. 79)، التي لا تحسبها الصفحة. لذلك تعرض الصفحة دائمًا المنحنى لا المساحة فقط. معامل جيني، الذي يظهر في أدبيات تعلّم الآلة، هو 2·AUC − 1 (Hand & Till, 2001، كما ورد في Fawcett, 2006، ص 868).

مساحة أقل من 0.5. "لا ينبغي لأي مصنِّف واقعي أن يحصل على AUC أقل من 0.5" (Fawcett, 2006, p. 868): المؤشر الواقع تحت القطر "يحتوي على معلومات مفيدة، لكنه يطبّقها على نحو خاطئ" (Flach & Wu, 2003، كما ورد في Fawcett, 2006، ص 863) – وفي أغلب الأحيان يكون الاتجاه قد عُرِّف معكوسًا. تحذّر الصفحة في مثل هذه الحالة.

الخطأ المعياري وفترة الثقة والاختبار

الخطأ المعياري لـ DeLong. يفكّك DeLong وDeLong وClarke-Pearson (1988، ص 839-840) المساحة إلى "مكوّنات بنيوية": لكل مشارك من مجموعة الحالة – نسبة المشاركين من المجموعة الأخرى الذين يتفوق عليهم؛ ولكل مشارك من المجموعة الأخرى – نسبة المشاركين من مجموعة الحالة الذين يتفوقون عليه. تباين المساحة هو تباين المكوّنات الأولى مقسومًا على عدد الحالات، مضافًا إليه تباين الأخيرة مقسومًا على عدد الشواهد. تسمّي Pepe (2003، ص 105-106) هذه المكوّنات "قيم الموضع" – أين تقع كل درجة في توزيع المجموعة الأخرى – وترى فيها مفهومًا "أساسيًا لتحليل ROC". هذا هو الخطأ المعياري الرئيسي في الصفحة، وهو الذي يحسبه R (pROC).

الخطأ المعياري لـ Hanley وMcNeil. تستند الصيغة القديمة (Hanley & McNeil, 1982, p. 32, Equation 1) إلى احتمالين: Q₁ – أن يتفوق مشاركان من مجموعة الحالة كلاهما على مشارك من المجموعة الأخرى، وQ₂ – أن يتفوق مشارك من مجموعة الحالة على اثنين من المجموعة الأخرى. تحسبهما الصفحة من البيانات، مع القيم المتساوية كما في الجدول II من المقال (ص 31)، وهذا هو الخطأ المعياري الذي يطبعه PSPP. الصيغتان متقاربتان في أغلب الأحيان تقريبًا. واقترح Hanley وMcNeil (1982، ص 33، المعادلة 2) أيضًا تقريبًا يعتمد على المساحة وحدها – Q₁ = θ/(2 − θ)، Q₂ = 2θ²/(1 + θ) – لتخطيط حجم العينة قبل توفر البيانات؛ ويعطي الجدول III في المقال (ص 34) أعداد المشاركين اللازمة للمقارنة بين مساحتين.

فترة الثقة – نوعان، "هذا وذاك معًا". الأكثر شيوعًا – المساحة زائد وناقص 1.96 خطأً معياريًا (DeLong)، كما في R. لكن المساحة محدودة بـ 1، وعندما تقترب من 1 يكون توزيعها "مائلًا نحو 0.5" (Hanley & McNeil, 1982, p. 34)، وقد تتجاوز الفترة المتماثلة 1 (تقطعها الصفحة عند 1، كما يفعل R). تقترح Pepe (2003، ص 107) فترة بمقياس اللوجيت – غير متماثلة، ودائمًا بين 0 و1 – وتبيّن بالمحاكاة أن تغطيتها أفضل في العينات الصغيرة والمساحات المرتفعة (الجدول 5.1)؛ "نوصي عمليًا" بها. تعرض الصفحة الاثنتين؛ وتستخدم فقرة النتائج فترة DeLong المتماثلة، التي يمكن إعادة إنتاجها في R وفي SPSS، وعند مساحة .90 فأكثر أو في مجموعة من أقل من 30 مشاركًا – يُفضَّل الإبلاغ عن فترة اللوجيت.

هل المساحة أكبر من 0.5؟ تبلّغ الصفحة عن z وp للفرضية الصفرية القائلة إن المؤشر لا يميّز (مساحة 0.5)، مع الخطأ المعياري في ظل الفرضية الصفرية – هذا هو اختبار مان-ويتني بالتقريب الطبيعي، من دون تصحيح للقيم المتساوية، وهو Asymptotic Sig. في PSPP. مع تصحيح للقيم المتساوية (صفحة مان-ويتني) تكون p أصغر قليلًا. مثل هذا الاختبار يجيب عن سؤال متواضع: في عينة كبيرة حتى مساحة .58 تكون "دالّة إحصائيًا"، ولذلك ما يُبلَّغ عنه هو المساحة وفترة الثقة الخاصة بها.

اختيار العتبة

مؤشر يودن. J = الحساسية + النوعية − 1، أي المسافة الرأسية بين المنحنى والقطر؛ والعتبة التي تعظّمه هي الإعداد الافتراضي للصفحة. تعرضه Pepe (2003، ص 80) كتلخيص اقتُرح "عندما تكون تكلفة الأخطاء الإيجابية الكاذبة مماثلة في حجمها لتكلفة السلبية الكاذبة" – وهذا افتراض، لا حقيقة. عندما تختلف التكاليف، تتوقف العتبة الصحيحة على التكاليف وعلى معدل انتشار الحالة (Pepe, 2003، ص 72، النتيجة 4.5؛ Fawcett, 2006، ص 867، "خطوط الأداء المتساوي"): في الفرز لحالة خطرة تُفضَّل حساسية مرتفعة ولو على حساب إنذارات كاذبة؛ وقبل تدخّل مكلف – العكس. لذلك تتيح الصفحة فحص أي عتبة، وتعرض كل العتبات في جدول كامل. وإذا كانت هناك عتبة متعارف عليها في الأدبيات للمؤشر – يُبلَّغ عنها، لا عن العتبة التي وُجدت في البيانات.

العتبة المختارة على البيانات متفائلة. تُختار عتبة يودن بحيث تلائم هذه العينة بالضبط، ولذلك تكون الحساسية والنوعية عندها أعلى قليلًا مما سيُحصل عليه في عينة جديدة. وفق اصطلاح الموقع، يُبلَّغ عن العتبة المختارة على البيانات كنتيجة أولية، ويُتحقق من أدائها في عينة أخرى (عن التحقق على بيانات جديدة – صفحة مقاييس الأداء والتحقق للنموذج).

ما الذي يُحسب عند العتبة. الحساسية والنوعية مع فترة ثقة دقيقة (Clopper-Pearson) – تفضّل Pepe (2003، ص 22) الطرق الدقيقة أو اللوجستية، لأن المعدلات في الفحوص الجيدة تكون قريبة من الطرف، والفترة الطبيعية المتماثلة "قد تتجاوز (0, 1)". من المهم الإبلاغ عن كلتيهما، لا عن الدقة الكلية: الخطآن مختلفان في تكلفتهما، والدقة الكلية تتوقف على معدل الانتشار – فحص يصنّف الجميع سالبين سيحصل على دقة مرتفعة في حالة نادرة (Pepe, 2003, p. 15). نسب الإمكان (LR+ = الحساسية/(1 − النوعية)، LR− = (1 − الحساسية)/النوعية) تقول كم مرة تغيّر النتيجة الموجبة أو السالبة أرجحية الحالة، ولا تتوقف على معدل الانتشار (Pepe, 2003, p. 20, Table 2.2)؛ وفترة الثقة الخاصة بها – بمقياس لوغاريتمي (Pepe, 2003، ص 24، النتيجة 2.5).

القيم التنبؤية ومعدل الانتشار. القيمة التنبؤية الموجبة – من بين المصنَّفين موجبين، كم منهم لديهم الحالة فعلًا؛ والسالبة – من بين السالبين، كم منهم ليست لديهم فعلًا. هي ما يهمّ من تلقّى نتيجة، لكنها "لا تتوقف على أداء الفحص فحسب... بل أيضًا على معدل انتشار الحالة" (Pepe, 2003, p. 16). عندما تُبنى العينة من عدد ثابت من الحالات ومن الشواهد، فإن النسبة في العينة "ستبالغ في تقدير القيمة التنبؤية الموجبة" (Pepe, 2003, p. 25). لذلك أدخِلوا معدل انتشار الحالة في المجتمع الذي سيُستخدم فيه المؤشر، وستحسب الصفحة القيم التنبؤية فيه وفق قاعدة بايز. أما منحنى ROC نفسه، في المقابل، فهو "غير حساس للتغيرات في توزيع الفئات" (Fawcett, 2006, p. 864).

مقارنة المؤشرات

عندما تُقاس عدة مؤشرات على المشاركين أنفسهم، تكون مساحاتها مترابطة – الأشخاص أنفسهم "سهلون" و"صعبون" لكل المؤشرات – والمقارنة التي تتجاهل ذلك خاطئة. طوّر DeLong وزملاؤه (1988) لذلك مقاربة لا معلمية: مصفوفة تغاير للمساحات مستخرجة من المكوّنات البنيوية، واختبار مربع كاي لكل تباين (contrast) بينها (ص 840-841، المعادلة 5). لزوج من المؤشرات – z للفرق بين المساحتين، مع فترة ثقة (Pepe, 2003، ص 108، النتيجة 5.6)؛ ولثلاثة فأكثر – اختبار كلي لتساوي كل المساحات (k − 1 درجات حرية)، وبعده كل الأزواج، مع تصحيح هولم للمقارنات المتعددة وفق اصطلاح الموقع. المؤشر ذو الاتجاه المعكوس (الرفاه النفسي مقابل الأعراض) يدخل المقارنة بعد عكس إشارته، كما فعل DeLong وزملاؤه مع درجتهم (ص 842).

درس مثالهم (ص 844): درجة خاصة للتنبؤ بنجاح الجراحة لم تكن أفضل من مؤشرين روتينيين للتغذية، لكن "القوة الإحصائية في هذه الحالة صغيرة جدًا على الأرجح بسبب صغر حجم العينة" – 49 مريضة. غياب فرق دالّ إحصائيًا بين المساحات في عينة صغيرة ليس دليلًا على أن المؤشرات متكافئة. عندما تُقاس المؤشرات على مجموعات مختلفة من المشاركين، يكون تباين الفرق ببساطة مجموع التباينات (Pepe, 2003, p. 108) – ولا تحسب الصفحة مثل هذه المقارنة.

كيف تُقرأ المخرجات؟

الجدول 1 – المساحة تحت المنحنى: لكل مؤشر – الاتجاه، والمساحة، والأخطاء المعيارية (DeLong; Hanley & McNeil)، وفترتا الثقة، وz وp مقابل 0.5. الشكل 1 – المنحنيات، مع القطر وعتبة يودن لكل مؤشر.

الجدول 2 – العتبة وفق مؤشر يودن: لكل مؤشر – العتبة (موجب إذا كانت الدرجة أعلى منها أو مساوية لها؛ وفي المؤشر ذي الاتجاه المعكوس – أدنى أو مساوية)، والحساسية والنوعية مع فترات الثقة، وJ، والقيم التنبؤية ونسب الإمكان. العتبات هي نقاط المنتصف بين قيم متجاورة، كما في SPSS وفي R، ولذلك فإن عتبة 10.5 في استبانة من أعداد صحيحة تعني "11 فأكثر".

فحص العتبة: يُختار مؤشر وتُكتب عتبة، فيُحصل على الجدول 3 – جدول 2×2 وكل المقاييس عند هذه العتبة، بما في ذلك القيم التنبؤية عند معدل الانتشار الذي أدخلتموه. وتحته، بنقرة – كل عتبات المؤشر. الجدول 4 – مقارنة المساحات (عند اختيار مؤشرين أو أكثر): الفرق بين كل زوج، والخطأ المعياري، وفترة الثقة، وz، وp، وp المعدَّلة بطريقة هولم، والارتباط بين المساحتين؛ وفي الملاحظة – الاختبار الكلي.

الافتراضات والتحذيرات

المعيار الذهبي صحيح. يفترض الحساب كله أن متغير الحالة لا يخطئ. تعدّد Pepe (2003، ص 6-7، الجدول 1.3) التحيزات الشائعة في مثل هذه الدراسات: معيار ذهبي غير تام؛ وتحيز التحقق – جزء فقط من المشاركين، لا عشوائيًا، فُحص بالمعيار الذهبي؛ وتحيز الطيف – "من الأخطاء الشائعة اختيار حالات في وضع حاد أو مزمن وشواهد أصحّ من المتوسط"، ما "قد يزيد الدقة الظاهرية للفحص"؛ وتحيز التفسير – عندما يعرف من يحدد الحالة نتيجة المؤشر، أو العكس (ص 5-6).

مشاركون مستقلون. تفترض الأخطاء المعيارية أن كل مشارك يسهم بمشاهدة واحدة. عندما توجد عدة مشاهدات لكل مشارك (عينان، عدة امتحانات لكل طالب)، توصي Pepe (2003، ص 104) بالبوتستراب (bootstrap) على مستوى المشارك – وهو ما لا تُجريه الصفحة.

القيم المتساوية. في الدرجات ذات القيم القليلة توجد قيم متساوية كثيرة، ويحذّر Fawcett (2006، ص 867) من أنه إذا لم يؤخذ متوسطها، فإن المنحنى يتوقف على الترتيب الذي يظهر به المشاركون في الملف، و"قد تنتج الترتيبات المختلفة منحنيات مضلِّلة جدًا". تأخذ الصفحة متوسطها: التساوي بين حالة وشاهد يُحسب نصفًا، ويمر المنحنى بخط قُطري.

الاتجاه يُحدَّد مسبقًا. البرامج التي تختار الاتجاه "تلقائيًا" وفق البيانات تحوّل كل مؤشر ضعيف إلى مساحة أكبر من 0.5. الصفحة لا تفعل ذلك: الاتجاه قرار لكم، وفق ما يُفترض أن يقيسه المؤشر، والمساحة الأقل من 0.5 تُعرض كما هي، مع تحذير.

قيود عملية. القيم المفقودة: حذف الحالة كاملة على متغير الحالة وعلى كل المؤشرات المختارة (تبلّغ الصفحة كم حالة حُذفت). يلزم خمسة مشاركين على الأقل في كل مجموعة؛ وبأقل من 30 في المجموعة – تكون فترات الثقة التقاربية أقل دقة (Pepe, 2003, p. 107, Table 5.1). مساحة 1 (فصل تام) – الخطأ المعياري 0 وفترة الثقة بلا معنى، والصفحة تحذّر؛ وللفترات الدقيقة في مثل هذه الحالة تحيل Pepe (2003، ص 107) إلى Obuchowski وLieber (2002، كما ورد هناك). ما لا تحسبه الصفحة: المنحنى الأملس (ثنائي الطبيعية)، والمساحة الجزئية، وفترات الثقة للمنحنى بأكمله، والمقارنة بين مجموعات مستقلة، وROC لأكثر من مجموعتين.

وكيف يُنفَّذ ذلك في SPSS؟

في SPSS Statistics: Analyze › Classify › ROC Curve (في الإصدارات القديمة – Analyze › ROC Curve)؛ تُنقل المؤشرات إلى Test Variable، ومتغير الحالة إلى State Variable وتُكتب القيمة التي تدل على الحالة؛ ويُؤشَّر على ROC Curve، وWith diagonal reference line، وStandard error and confidence interval وCoordinate points of the ROC Curve. يُحدَّد الاتجاه في Options › Test Direction – اتجاه واحد للأمر كله، ولذلك فإن أوامر Syntax التي تولّدها الصفحة تشغّل أمرًا منفصلًا للمؤشرات ذات الاتجاه المعكوس. المسارات معلومات عامة عن البرنامج؛ لم تُشغَّل أوامر Syntax في SPSS.

الأمر نفسه (ROC) موجود في PSPP، البديل المجاني، وقد شُغِّل على ملف المثال: المساحة وStd. Error مطابقان للصفحة (Std. Error هو خطأ Hanley وMcNeil، العمود "SE (H-M)" في الجدول 1)، وكذلك Asymptotic Sig.؛ لكن الحدود التي يطبعها PSPP تحت "95%" تبعد عن المساحة 1.645 خطأً معياريًا لا 1.96 – أي فترة 90% – وفي الاتجاه TESTPOS(SMALL) يعيد NaN للخطأ المعياري وللفترة. في PSPP – خذوا فترات الثقة من الصفحة. المقارنة بين المساحات ليست جزءًا من الأمر ROC؛ وهي في النص البرمجي R أدناه.

وكيف يُنفَّذ ذلك في R؟

الحزمة pROC: roc تبني منحنى (levels – القيمة السالبة ثم الموجبة؛ direction = "<" – القيمة المرتفعة تدل على الحالة، ">" – القيمة المنخفضة؛ ومن دون direction تختار الحزمة الاتجاه وفق البيانات – انظروا الافتراضات)، وci.auc تعطي المساحة وفترة الثقة لـ DeLong، وcoords – العتبة وفق يودن وكل العتبات، وroc.test – مقارنة DeLong المترابطة. الصفحة متحقَّق منها مقابل الحزمة: المساحة، والخطأ المعياري، وفترة الثقة، وكل نقاط المنحنى، وعتبة يودن، والمقارنات والاختبار الكلي. شُغِّل النص البرمجي كما هو على ملف المثال (القيم في التعليقات).

# تحليل ROC – بروفيسور ستات. حُفظ هذا الملف بترميز UTF-8؛ كل سطر تعليق يبدأ بكلمة عربية
library(readxl)    # قراءة ملفات إكسل
library(pROC)      # منحنيات ROC، والمساحة، وفترات الثقة ومقارنة DeLong

# التحميل: القالب القياسي – صف = مشارك، عمود = متغير؛ الورقة "Data"
d <- read_excel("C:/Rdata/DATA_roc_example_eng.xlsx", sheet = "Data")
v <- c("diagnosis", "screen_long", "screen_short", "wellbeing")
d <- d[complete.cases(d[, v]), ]                        # حذف الحالة كاملة: 218 من 220 – المشاركون أنفسهم لكل المنحنيات

# منحنى لكل مؤشر؛ levels = c(سالب، موجب)؛ direction "<" – القيمة المرتفعة تدل على الحالة، ">" – القيمة المنخفضة
r_long  <- roc(d$diagnosis, d$screen_long,  levels = c(0, 1), direction = "<")
r_short <- roc(d$diagnosis, d$screen_short, levels = c(0, 1), direction = "<")
r_well  <- roc(d$diagnosis, d$wellbeing,    levels = c(0, 1), direction = ">")

# المساحة وفترة الثقة لـ DeLong
ci.auc(r_long); ci.auc(r_short); ci.auc(r_well)       # المساحة: .817 [.757, .876]; .762 [.693, .831]; .677 [.596, .759]
sqrt(var(r_long))                                      # الخطأ المعياري (DeLong): .030

# العتبة وفق يودن، وما يحدث عندها
coords(r_long, "best", best.method = "youden",
       ret = c("threshold", "sensitivity", "specificity", "ppv", "npv"))   # العتبة 10.5: الحساسية .875، النوعية .676
binom.test(42, 48)$conf.int                            # فترة ثقة دقيقة للحساسية عند العتبة: [.748, .953]
coords(r_long, "all", transpose = FALSE)               # كل العتبات

# مقارنة مترابطة للمساحات (المشاركون أنفسهم) – DeLong
roc.test(r_long, r_short, method = "delong", paired = TRUE)   # الفرق .055 [.007, .103], z = 2.25, p = .025
# الرفاه النفسي في الاتجاه المعكوس: تُجرى المقارنة على المتغير بعد عكس إشارته، كي تكون كل المنحنيات في الاتجاه نفسه (DeLong et al., 1988، ص 842)
r_well2 <- roc(d$diagnosis, -d$wellbeing, levels = c(0, 1), direction = "<")
roc.test(r_long, r_well2, method = "delong", paired = TRUE)   # الفرق .140 [.062, .217], z = 3.54, p < .001

# الرسم البياني
plot(r_long, legacy.axes = TRUE, print.auc = TRUE)
lines(r_short, col = "darkorange"); lines(r_well, col = "darkgreen")

عرض النتائج

يُبلَّغ عن المعيار الذهبي وعن عدد المشاركين في كل مجموعة؛ ولكل مؤشر – الاتجاه، والمساحة وفترة الثقة (وأيّ فترة)؛ والعتبة وكيف اختيرت – مسبقًا من الأدبيات أم على البيانات – مع الحساسية والنوعية وفترات الثقة الخاصة بهما؛ والقيم التنبؤية فقط مع معدل الانتشار الذي حُسبت عنده؛ وفي المقارنة – الاختبار (DeLong، مترابط)، والفرق وفترة الثقة الخاصة به. الأرقام بتنسيق APA: من دون صفر قبل النقطة في المساحة والحساسية والنوعية، التي لا يمكن أن تتجاوز 1 (APA, 2020, Section 6.36)، وp بثلاث خانات. الفقرة التي تولّدها الصفحة نقطة بداية – يُستكمل فيها السياق والمعنى.

أخطاء شائعة

الإبلاغ عن المساحة فقط. مساحة .82 تأخذ المتوسط على كل العتبات، بما فيها عتبات لن يستخدمها أحد (Pepe, 2003, pp. 78-79; Fawcett, 2006, p. 868)، وما يُتخذ القرار بشأنه فعليًا هو عتبة. يُبلَّغ عن المساحة، وعن المنحنى، وعن الحساسية والنوعية عند العتبة. والعكس – الإبلاغ عن نقطة واحدة فقط: الإبلاغ عن الحساسية والنوعية عند عتبة وحيدة "محدود بوضوح" (Pepe, 2003, p. 71).

الإبلاغ عن الدقة الكلية بدل الحساسية والنوعية – في الحالة النادرة تكون مرتفعة حتى لفحص عديم القيمة (Pepe, 2003, p. 15).

الإبلاغ عن القيمة التنبؤية الموجبة من عينة حالات وشواهد كأنها تنطبق على المجتمع – فهي مضخَّمة (Pepe, 2003, p. 25).

تقديم عتبة يودن على أنها "العتبة المثلى" – فهي مثلى فقط عندما تكون للخطأين التكلفة نفسها، وفقط في العينة التي وُجدت فيها.

مقارنة مساحات مؤشرات قيست على المشاركين أنفسهم باختبار لمجموعات مستقلة، أو وفق تداخل فترات الثقة – المقارنة الصحيحة مترابطة (DeLong et al., 1988).

ترك البرنامج يختار الاتجاه – ثم الإبلاغ عن "AUC = .58" لمؤشر يتنبأ فعليًا عكس ما خُطط له، أو لا يتنبأ إطلاقًا.

اختيار عتبة، ثم "التحقق" منها على البيانات نفسها – من دون عينة أخرى، تكون الأرقام عند العتبة متفائلة.

المراجع

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837-845. https://doi.org/10.2307/2531595

Fawcett, T. (2006). An introduction to ROC analysis. Pattern Recognition Letters, 27(8), 861-874. https://doi.org/10.1016/j.patrec.2005.10.010

Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29-36. https://doi.org/10.1148/radiology.143.1.7063747

Pepe, M. S. (2003). The statistical evaluation of medical tests for classification and prediction. Oxford University Press.

Hand وTill (2001) وFlach وWu (2003) – كما ورد في Fawcett (2006)؛ وObuchowski وLieber (2002) – كما ورد في Pepe (2003). وفق قاعدة الموقع، لا تظهر في قائمة المراجع إلا مصادر قُرئت في أصلها؛ والاقتباسات وفق الصفحة المطبوعة. الحساب في الصفحة متحقَّق منه مقابل R 4.3.3 والحزمة pROC 1.18.5 (roc، ci.auc، coords، roc.test، cov)، ومقابل binom.test، ومقابل الأمر ROC في PSPP 2.0؛ ومقابل الأرقام الواردة في المصادر – 0.893 والخطأ المعياري 0.032 في الجدول II لدى Hanley وMcNeil (1982، ص 31).