مقاييس الأداء والتحقق: كيف يُعرف أن النموذج جيد

دليل

في هذه الصفحة

نموذج التنبؤ يُتحقَّق منه بطريقة واحدة فقط – على بيانات لم يرها. صفحة تعلّم الآلة تشرح الفرق بين نموذج يفسّر ونموذج يتنبأ، وما هي النماذج وكيف يُبنى مشروع؛ وهذه الصفحة تتناول سؤالًا واحدًا يقوم عليه كل تقرير عن نموذج كهذا أو يسقط: من أين جاء الرقم. أربعة أسئلة فرعية، بالترتيب الذي تنشأ به: أي مقياس (1) – لأن "الدقة" هي في الغالب المقياس الخطأ؛ على أي بيانات (2) – التدريب والتحقق والاختبار، ولماذا تُفرَز مجموعة الاختبار قبل كل شيء؛ كيف نحصل لا على رقم فحسب بل على دقته أيضًا (3) – التحقق المتقاطع؛ وما الذي يمكن أن يكونه الرقم أصلًا (4) – التحيّز، والتباين، وخطأ بايز، الحد الذي لا ينزل تحته أي نموذج. ثم الطريقتان اللتان يصبح بهما الرقم كذبة دون أن يغشّ أحد: تسرّب البيانات (5)، ومشاركون غير مستقلين بعضهم عن بعض – عائلات، صفوف دراسية، شبكات – يتجاهلهم التقسيم المعتاد إلى تدريب واختبار (6). القسم 7 يحوّل كل ذلك إلى فقرة تقرير. المراجع هي كتب التدريس الأربعة لصفحة تعلّم الآلة – Géron (2022)، وHastie وTibshirani وFriedman (2009)، وBishop (2006)، وIshii وزملاؤه (2026) – وثلاث مقالات كُتبت للباحثين: عن التسرّب (Kapoor & Narayanan, 2023)، وعن حدود التنبؤ (Salganik et al., 2020)، وعن الفرق بين التحقق من نموذج مفسِّر والتحقق من نموذج متنبِّئ (Shmueli, 2010)؛ وللقسم 6 – الكتاب التأسيسي للتعلّم العلائقي (Getoor & Taskar, 2007). ومرجع خامس، من جهة البرمجيات: كتاب Truong (2026) التعليمي لـ SPSS Modeler، الذي كُتب "للمتعلمين من مجالات غير تقنية وللباحثين المتمرسين على حد سواء" – ويقول كيف تُسمّى المفاهيم نفسها في قوائم IBM، وما الذي يفعله البرنامج افتراضيًا، وكيف يُكتب التقرير. وما الذي يحدث حين لا يوجد متغير تابع أصلًا – ومن ثم لا مقياس – في التعلّم غير الموجَّه.

1. المقياس: حسب المهمة وحسب كلفة الخطأ

يُختار المقياس في بداية المشروع، لا في نهايته – لأنه يحدد أي نموذج يكون "جيدًا" (Géron, 2022, Chapter 2, "Select a Performance Measure"). للانحدار – RMSE، الجذر التربيعي لمتوسط مربعات الأخطاء، بوحدات الهدف، ويعطي وزنًا كبيرًا للأخطاء الكبيرة؛ أو MAE، متوسط الأخطاء المطلقة، حين تكثر القيم المتطرفة. للتصنيف – هنا تبدأ المشكلة. يدرّب الفصل 3 من Géron مصنِّفًا ثنائيًا للتعرّف على الرقم 5 في صور أرقام مكتوبة بخط اليد: يُظهر التحقق المتقاطع دقة كلية (accuracy، نسبة التصنيفات الصحيحة) تزيد على 95% في كل طيّة. ثم مصنِّف وهمي يقول عن كل صورة "ليست 5" – ويحصل على أكثر من 90%، لأن نحو عُشر الصور فقط هي 5. "يتفوق على نوستراداموس." الخلاصة: "الدقة ليست عمومًا مقياس الأداء المفضّل للمصنِّفات، خصوصًا حين يُتعامل مع مجموعات بيانات منحرفة" (Chapter 3, "Performance Measures") – ومجموعات البيانات في البحث الاجتماعي منحرفة دائمًا تقريبًا: التسرّب من الدراسة، العنف، البطالة، التصويت لحزب صغير. ويسوق Bishop المثال نفسه من الطب: السرطان في 1 من كل 1,000 صورة أشعة – "المصنِّف الذي ينسب كل نقطة إلى الفئة الطبيعية سيحقق بالفعل دقة 99.9%، وسيكون من الصعب تجنّب هذا الحل التافه"؛ وحلّه هو التدريب على مجموعة بيانات متوازنة ثم تصحيح الاحتمالات عودةً وفق نسب الفئات في المجتمع (Bishop, 2006, p. 45).

مصفوفة الالتباس (confusion matrix) هي الأداة: الصفوف – الفئة الحقيقية، الأعمدة – الفئة المتنبَّأ بها؛ في مثال Géron 53,892 سلبيًا صحيحًا، و687 إيجابيًا كاذبًا (الخطأ من النوع I)، و1,891 سلبيًا كاذبًا (الخطأ من النوع II) و3,530 إيجابيًا صحيحًا – وهي تُحسب على تنبؤات "نظيفة"، من خارج العينة، أعطاها النموذج لمشاهدات لم يرها في التدريب. ومنها تُشتق precision ("الدقة الإيجابية": حين يقول النموذج 5 – بأي نسبة يكون محقًا؛ 83.7%) والحساسية (recall: أي نسبة من الـ5 الحقيقية يلتقط؛ 65.1%)، وF1 – متوسطهما التوافقي (.73)، الذي لا يرتفع إلا حين يرتفع كلاهما. وأيّهما المهم – هذه مسألة كلفة الخطأ، لا مسألة إحصاء: مرشّح مقاطع الفيديو للأطفال يحتاج إلى precision عالية حتى على حساب حساسية منخفضة؛ وكاشف السارقين في متجر يمكن أن يكتفي بـ precision 30% إذا كانت الحساسية 99%. ويتبادل الاثنان عبر العتبة: رفع العتبة يرفع precision ويخفض الحساسية (Chapter 3, "The Precision/Recall Trade-off"). منحنى ROC يعرض الحساسية مقابل نسبة الإيجابيات الكاذبة على جميع العتبات، والمساحة تحته (AUC) – 1 للمصنِّف المثالي، 0.5 للعشوائي – تقارن بين المصنِّفات دون اختيار عتبة؛ لكن في الفئة النادرة يجامل منحنى ROC، و"كقاعدة عامة، يجب تفضيل منحنى PR كلما كانت الفئة الإيجابية نادرة أو حين تهتمون بالإيجابيات الكاذبة أكثر من السلبيات الكاذبة" (Chapter 3, "The ROC Curve"). أما المنحنى نفسه – مع فترة ثقة للمساحة، وعتبة وفق مؤشر يودن، والحساسية والنوعية عند كل عتبة، والمقارنة بين المقاييس – فيُحسب في صفحة تحليل منحنى ROC. ومن يعرف جدول التصنيف في SPSS يعرف العتبة 0.5 كإعداد افتراضي لا يغيّره أحد؛ وهنا هي قرار يُبلَّغ عنه.

الفئة النادرة: ما الذي يُفعل – وما الذي لا يُفعل. يرتّب Truong العلاجات حسب الأولوية: أولًا مقاييس متعددة بدل الدقة الكلية، ثم التقسيم والتحقق، ثم التعلّم الحسّاس للكلفة (cost-sensitive learning) – وفقط "إذا لم تحلّ الطرق السابقة مشكلات عدم التوازن بفعالية وكان هناك قلق من أن نماذجنا غير صادقة، تصبح إعادة المعاينة خيارًا معقولًا" (Truong, 2026, pp. 78-79). التعلّم الحسّاس للكلفة هو الصياغة الرسمية لـ"كلفة الخطأ": مصفوفة قرار لكل خطأ فيها كلفة – C(FN) للإخفاق في الكشف، وC(FP) للإنذار الكاذب – والنموذج المختار هو الذي يكون مجموع كلفته، C(FP) × FP + C(FN) × FN، هو الأدنى، لا الذي تكون نسبة خطئه هي الأدنى؛ "معظم البرامج تتضمن خيارًا لإدخال مصفوفة القرار" (ص 203-204). أما الإفراط في معاينة الفئة النادرة (تكرار المشاهدات، أو SMOTE – مشاهدات اصطناعية بين الجيران الأقرب) وتقليص معاينة الفئة الشائعة – وعن الأولى يلاحظ Truong نفسه أن "تكرار البيانات يجعل النماذج أكثر عرضة لفرط المواءمة" (ص 79) – فقد فُحصت في محاكاة على الانحدار اللوجستي: الثلاث جميعًا "أنتجت نماذج سيئة المعايرة: إذ قُدِّر احتمال الانتماء إلى فئة الأقلية بأكثر من حقيقته بدرجة كبيرة"، ولم ترفع AUC مقارنةً بنموذج بلا تصحيح، والتوازن بين الحساسية والنوعية الذي حققته "كان يمكن تحقيقه بالقدر نفسه بتحريك عتبة الاحتمال بدلًا من ذلك"؛ والخلاصة – "عدم التوازن في النتيجة ليس مشكلة في حد ذاته، وتصحيح عدم التوازن قد يضرّ بأداء النموذج أيضًا" (van den Goorbergh et al., 2022، الملخص). والقراءتان متوافقتان: الفئة النادرة مشكلة المقياس والعتبة، لا مشكلة البيانات. مَن تحتاج إلى احتمالات – لتقدير الخطر، للتقرير – لا توازن؛ ومَن توازن مع ذلك، تفعل ذلك داخل طيّة التدريب فقط (التسرّب L1.2، القسم 5) وتُبلغ بأن الاحتمالات التي يُخرجها النموذج لم تعد احتمالات. كتاب Modeler التعليمي يقف في صف إعادة المعاينة – فالمؤلفون "يميلون إلى معالجة مجموعات البيانات بطرق الموازنة أو إعادة المعاينة" حين تكون فئة الأقلية "10% أو أقل" (نسبة 10:1 أو 20:1) – لكنهم يتفقون على الأمرين المهمّين هنا: "يجب ألا نعتمد أبدًا على الدقة الكلية وحدها"، و"لفصل عينة فرعية تمثيلية للاختبار، يجب استخدام طريقة التقسيم قبل تطبيق إجراء إعادة المعاينة" (Wendler & Gröttrup, 2021, pp. 1148, 1150).

وبين "نعم" و"لا" – عدم الحسم. تضيف نظرية القرار عند Bishop خيار الرفض (reject option): الامتناع عن الحسم في الحالات التي يكون فيها أعلى احتمال لاحق أدنى من عتبة، وتركها "لخبير بشري" (Bishop, 2006, p. 42). للباحثة التي ترمّز الإجابات المفتوحة بنموذج (صفحة NLP، الخطوة 6)، هذا هو الإجراء الصحيح: النموذج يصنّف الواضح، والإنسان يصنّف الملتبس، والاتفاق بينهما يُقاس بـالثبات بين المرمِّزين.

2. على أي بيانات: التدريب، التحقق، الاختبار

الفرق عن التحقق في الانحدار المفسِّر. تميّز Shmueli: في النمذجة التفسيرية، يفحص التحقق أن النموذج يمثّل النظرية وأنه يطابق البيانات – اختبارات التوصيف، ثبات الفقرات وصدقها، تحليل البواقي؛ أما في النمذجة التنبؤية فالتحقق "يركّز على التعميم، أي على قدرة النموذج على التنبؤ ببيانات جديدة"، و"الخطر الأكبر على التعميم هو فرط المواءمة لبيانات التدريب" (Shmueli, 2010, Section 2.6.1). ولذلك فإن "الطريقة الوحيدة لمعرفة مدى تعميم النموذج على حالات جديدة هي تجربته فعلًا على حالات جديدة" – تُفرَز مجموعة اختبار، والمعتاد 20% من البيانات (Géron, 2022, Chapter 1, "Testing and Validating"). "خطأ التدريب ليس تقديرًا جيدًا لخطأ الاختبار" – فهو ينخفض باطّراد مع تعقيد النموذج، حتى الصفر، "لكن النموذج الذي خطأ تدريبه صفر مفرط المواءمة لبيانات التدريب وسيعمّم عادةً تعميمًا سيئًا" (Hastie et al., 2009, pp. 220-221)؛ وبصياغة التعرّف على الأنماط، فإن خطأ "إعادة الإحلال" (resubstitution، فحص المصنِّف على المشاهدات نفسها التي تعلّم منها) هو حد أدنى للخطأ الحقيقي وخطأ الاختبار حد أعلى – والحقيقة بينهما (Ishii et al., 2026, pp. 113-114).

قبل الاستكشاف، لا بعده. "قد يبدو غريبًا أن يُنحّى جزء من البيانات جانبًا في هذه المرحلة"، يكتب Géron، لكن "دماغكم نظام مذهل لاكتشاف الأنماط، وهذا يعني أيضًا أنه شديد الميل إلى فرط المواءمة": مَن ينظر إلى مجموعة الاختبار سيختار نموذجًا وفق ما رآه هناك، ويكون تقديره للتعميم متفائلًا أكثر من اللازم – تحيّز التلصّص على البيانات (data snooping bias; Chapter 2, "Create a Test Set"). ويصوغ الملحق أ من الكتاب ذلك كأمر: "اسحبوا عينة اختبار، ضعوها جانبًا، ولا تنظروا إليها أبدًا". تفصيلان تقنيان مهمّان لإعادة الإنتاج: يجب أن يكون التقسيم ثابتًا بين التشغيلات (بذرة ثابتة، أو تجزئة لمعرِّف المشارك – بحيث لا ينتقل مشارك كان في التدريب إلى الاختبار حين تُضاف بيانات)؛ ويجب أن يكون طبقيًا – ويشرح Géron ذلك من خلال المسوح: سكان الولايات المتحدة 51.1% منهم نساء، ولذلك فإن عينة من 1,000 ستحافظ على 511 امرأة؛ وفي المعاينة العشوائية البحتة هناك احتمال 10.7% لعينة متحيّزة (أقل من 48.5% أو أكثر من 53.5% نساء). وبالطريقة نفسها تُطبَّق الطبقية على مجموعة الاختبار وفق متغير رئيسي – وفي الفئة النادرة، وفق النتيجة نفسها.

ثلاث مجموعات، لا اثنتان. إذا ضُبط نموذج – بالاختيار بين نماذج، أو بتحديد مَعلَمة فائقة مثل قوة التنظيم (regularization) – وفق مجموعة الاختبار، فقد قسنا خطأ التعميم "مرات عديدة على مجموعة الاختبار، وكيّفنا النموذج والمَعلَمات الفائقة لإنتاج أفضل نموذج لتلك المجموعة بعينها"؛ والنموذج الذي يبدو بخطأ 5% ينتج 15% في الميدان. الحل هو مجموعة التحقق (validation set، وأيضًا dev set): يُفرَز جزء من مجموعة التدريب، ويُختار عليه بين المرشّحين، ويُدرَّب النموذج المختار على التدريب كله، وعندها فقط – مرة واحدة – يُقاس على الاختبار (Chapter 1, "Hyperparameter Tuning and Model Selection"). وما الذي يحدث بعد القياس: "عليكم مقاومة إغراء ضبط المَعلَمات الفائقة لتبدو الأرقام جيدة على مجموعة الاختبار؛ فالتحسينات لن تعمَّم على الأرجح على بيانات جديدة" (Chapter 2, "Evaluate Your System on the Test Set")؛ الملحق أ: "لا تغيّروا النموذج بعد أن قستم خطأ التعميم: ستبدؤون فقط بفرط المواءمة لمجموعة الاختبار". والرقم على مجموعة الاختبار أيضًا يأتي مع فترة ثقة: في مثال Géron RMSE قدره 41,424 وفترة 95% – بتوزيع t على الأخطاء المربعة – بين 39,275 و43,467.

الأسماء تتبدّل بين البرامج. "في حين تسمّي معظم البرامج عينة التقسيم الأولى 'التدريب' باتساق، فإن أسماء العينتين الثانية والثالثة تتفاوت، وقد يكون ذلك مربكًا" (Truong, 2026, p. 85): في SPSS Modeler يكون التقسيم Train / Test / Validation – فـ"الاختبار" يُستخدم لمقارنة النماذج وتصحيحها، و"التحقق" هو القياس النهائي – وبلغة الوثائق: "تدريب النموذج على عينة، واختبار النموذج وتحسينه على عينة ثانية، والتحقق من النتائج على الثالثة" (IBM Corporation, 2016, p. 157)؛ وفي SAS Enterprise Miner – Train / Validation / Test، أي العكس (الجدول 3.8 هناك)؛ وGéron وHastie وزملاؤه، الذين تسير هذه الصفحة على خطاهم، يسيرون كما SAS: التحقق للاختيار، والاختبار للقياس الأخير. الترتيب هو الأساس، لا الاسم – ومَن تُبلغ عن "الدقة على مجموعة الاختبار" من مخرجات Modeler تُبلغ، بأسماء هذه الصفحة، عن مجموعة التحقق. والنسب أيضًا مختلفة: يوصي Truong بـ 60-20-20 لعينة من ألف إلى مليون مشاهدة، و"أقل من 1,000 مشاهدة – 60-40 دون مجموعة ثالثة" (ص 87)، في حين أن توصيته بشأن العينة في التنقيب عن البيانات هي "100,000 حالة على الأقل" (ص 73). هذا عالم آخر غير مسح من 300 مشارك – وفيه تكون مجموعة تحقق ثابتة من 60 مشاركًا رقمًا يتوقف على الصدفة، ومن هنا القسم 3. وما الذي يقدّمه Truong لمن تعمل على النطاق الصغير: تمييزه بين ثبات النموذج – "الاتساق الداخلي"، النتائج نفسها على عينات مختلفة – وصدقه – "الدقة"، التنبؤ الصحيح بالهدف؛ "في الواقع، صدق النموذج مطابق للقوة التنبؤية"، والثبات بلا صدق هو ميزان يُظهر باتساق نحو 22 رطلًا لكيس وزنه 25 (ص 186). والدليل على الثبات، عنده، هو فجوة صغيرة بين المقياس على التدريب والمقياس على الاختبار – "إذا كان عدم التطابق أقل من 5%، يمكن عدّه ثابتًا" (ص 187) – وهذه بالضبط الفجوة التي يطلب القسم 7 الإبلاغ عنها.

كيف يبدو ذلك على نطاق واسع. في تحدّي العائلات الهشّة، قسّم منظّمو المسابقة نصف البيانات الذي لم يُستخدم للتدريب إلى مجموعتين: "لوحة النتائج" (leaderboard)، التي استطاعت الفرق الـ160 أن تختبر نفسها عليها خلال المسابقة، و"الاستبقاء" (holdout)، التي كانت دقتها "مجهولة للمشاركين – وللمنظّمين – حتى نهاية التحدي" (Salganik et al., 2020, Section Methods). ومع ذلك يتحفّظ المؤلفون: استخدام مجموعة الاستبقاء نفسها لاختيار أفضل تقديم من بين 160 ولتقييمه معًا "أنتج تقديرات متفائلة بعض الشيء" – تحيّز صغير في حالتهم، لكنه قائم (Section Results). ولمن تختبر مرة واحدة على عينة من 300، فهذا التحيّز ليس صغيرًا.

3. التحقق المتقاطع: لا رقم فحسب، بل دقته أيضًا

مجموعة تحقق واحدة تعطي رقمًا واحدًا، يتوقف على الصدفة في أي تقسيم خرج. التحقق المتقاطع (k-fold cross-validation) يقسم مجموعة التدريب إلى k طيّات، ويدرّب k مرات على k − 1 ويختبر على المتبقية، فيحصل على "ليس تقديرًا لأداء النموذج فحسب، بل أيضًا مقياسًا لدقة هذا التقدير – انحرافه المعياري" (Géron, 2022, Chapter 2, "Better Evaluation Using Cross-Validation"). في مثال الأسعار لدى Géron: شجرة قرار بخطأ تدريب 0.0 تحصل في تحقق متقاطع من 10 طيّات على RMSE قدره 66,868 (±2,061) – تقريبًا كالانحدار الخطي (69,858 ±4,182)؛ والغابة العشوائية 47,019 (±1,034)، لكنها على مجموعة التدريب نفسها نحو 17,474 – أي ما زال هناك فرط مواءمة كبير. رقمان لكل نموذج، والطيّات نفسها لجميع النماذج.

كم طيّة. "إجمالًا، يوصى بالتحقق المتقاطع بخمس أو عشر طيّات كحل وسط جيد": الطيّات الأقل تدرّب على عينة صغيرة جدًا وتحرف تقدير الخطأ إلى الأعلى؛ وترك-واحد-خارجًا (leave-one-out، k = N) غير متحيّز لكنه متقلّب (Hastie et al., 2009, p. 243). وقاعدة الخطأ المعياري الواحد: من بين النماذج التي فُحصت، يُختار الأكثر اقتصادًا الذي لا يزيد خطؤه على خطأ معياري واحد فوق أفضل نموذج – لأن منحنى التحقق المتقاطع نفسه مقدَّر بخطأ (ص 244). والثمن، عند Bishop: "أحد العيوب الرئيسية للتحقق المتقاطع هو أن عدد مرات تشغيل التدريب يتضاعف S مرة" (Bishop, 2006, p. 33) – في حاسبات الموقع هذا لا شيء، وفي شبكة عصبية هذا أيام. ولماذا التحقق المتقاطع أصلًا وليس مجموعة تحقق واحدة: في طريقة الاستبقاء (hold-out) ما يُعطى للاختبار يُقتطع من التعلّم، والعكس – "حين يكون عدد المشاهدات صغيرًا، فإن طريقة H ليست طريقة دقيقة" لتقدير الخطأ، في حين أن التحقق المتقاطع "يضمن أن تُستخدم جميع العناصر للتعلّم وللاختبار" (Ishii et al., 2026, p. 89). وللغابات العشوائية تحقق مجاني: كل شجرة تُدرَّب على عينة مع الإرجاع تترك نحو 37% من المشاهدات خارجها، وتقدير الخطأ على المشاهدات "خارج الكيس" (out-of-bag) "مطابق تقريبًا" لتحقق متقاطع من N طيّة (Hastie et al., 2009, p. 593).

والضبط أيضًا – داخل التحقق المتقاطع. البحث الشبكي (جميع تركيبات المَعلَمات الفائقة) أو البحث العشوائي (عدد ثابت من التركيبات؛ ويُفضَّل حين يكون فضاء التركيبات كبيرًا – الملحق أ: يُفضَّل العشوائي ما لم تكن القيم قليلة) يُجريان تحققًا متقاطعًا لكل تركيبة، ويُختار وفق المتوسط. القاعدة: كل قرار يستند إلى الأداء – النموذج، المَعلَمة الفائقة، العتبة، تصفية الخصائص – يُتَّخذ داخل الطيّات، لا عليها (القسم 5).

4. التحيّز، التباين – وحد الخطأ

خطأ التعميم لنموذج هو مجموع ثلاثة: التحيّز – افتراضات خاطئة (خط مستقيم لبيانات تربيعية) – ويؤدي إلى نقص المواءمة؛ والتباين – حساسية مفرطة للتغيّرات الصغيرة في بيانات التدريب، وهو نصيب النماذج ذات درجات الحرية الكثيرة – ويؤدي إلى فرط المواءمة؛ والخطأ غير القابل للاختزال – الضجيج في البيانات نفسها، الذي لا يقلّله إلا تنظيف البيانات. زيادة تعقيد النموذج ترفع التباين وتخفض التحيّز، والعكس – "ولهذا يُسمّى مقايضة" (Géron, 2022, Chapter 4, "The Bias/Variance Trade-Off"). التفكيك الرسمي – خطأ التنبؤ المتوقع عند نقطة = تباين الضجيج + مربع التحيّز + تباين المقدِّر – هو المعادلة 7.9 عند Hastie وزملائه (ص 223)، وفي التعرّف على الأنماط "معضلة التحيّز والتباين": MSE = Bias² + Var، ولذلك حين تُرفع درجة دالة التمييز ويُختبر على مشاهدات جديدة، ينخفض الخطأ "حتى درجة معيّنة، ثم" يرتفع (Ishii et al., 2026, pp. 111-112). التشخيص: جيد على التدريب وسيئ في التحقق المتقاطع – فرط مواءمة؛ سيئ في كليهما – نقص مواءمة. منحنيات التعلّم – خطأ التدريب وخطأ التحقق كدالة لحجم العينة – تُظهر ذلك للعين، ويضيف Bishop ما يساعد: "لتعقيد نموذج معيّن، تصبح مشكلة فرط المواءمة أقل حدة كلما كبرت مجموعة البيانات" (Bishop, 2006, p. 9). وعن النسبة بين عدد المشاهدات وعدد المَعلَمات والخصائص – قاعدة Bishop العامة وظاهرة Hughes – انظروا صفحة تعلّم الآلة، القسم 2.

وما الذي يمكن أن يكونه الرقم أصلًا. هناك حد لا ينزل تحته أي نموذج: خطأ بايز – "الحد الذي لا يمكن أن يكون احتمال الخطأ أصغر منه، وبعبارة أخرى 'تداخل التوزيعات'، وهو 'الخطأ الذي لا مفرّ منه' الذي يُدخله نظام استخلاص الخصائص هذا" (Ishii et al., 2026, p. 101). حين لا تفصل الخصائص بين الفئات، لا توجد خوارزمية تفصل. هذه هي القراءة الصحيحة لتحدّي العائلات الهشّة: 160 فريقًا، و4,242 عائلة و12,942 متغيرًا عن كل منها – وR² على بيانات الاستبقاء نحو 0.2 للضائقة المادية ولمتوسط الدرجات ونحو 0.05 للنتائج الأربع الأخرى، "أفضل بقليل فقط" من نموذج مرجعي لانحدار على أربعة متغيرات اختارها خبير؛ وكان خطأ التنبؤ مرتبطًا بقوة بالعائلة المتنبَّأ بها وبضعف فقط بالطريقة (Salganik et al., 2020، الملخص وقسم Results). "بما أن مئات الباحثين حاولوا المهمة ولم يستطع أحد التنبؤ بدقة"، فإن الدقة المنخفضة "لا يمكن عزوها بسهولة إلى قيود باحث معيّن أو منهج معيّن" (Section Discussion) – هذا هو الحد، لا الإخفاق. ويعدّ Kapoor وNarayanan "عدم فهم حدود التنبؤ" تشخيصهما الأول لإخفاقات إعادة الإنتاج: النجاحات في التعرّف على الصور "تعطي الانطباع" بأن النماذج تتفوق على البشر في كل مهمة، وتربك الباحثين بشأن ما يمكن توقّعه في التنبؤ بالنتائج الاجتماعية؛ والتوصية – تحديد حدود عليا للدقة، والكفّ عن محاولة تجاوزها بعد بلوغها، والتشكيك في النتائج التي تدّعي أنها تجاوزتها (Kapoor & Narayanan, 2023, Section Discussion, D1-R1). للباحثة: نموذج يُبلغ عن AUC = .95 للتسرّب من الدراسة من متغيرات الخلفية ليس اختراقًا – بل علامة على القسم 5.

5. تسرّب البيانات: الرقم المبهر الذي هو كذبة

راجع Kapoor وNarayanan أدبيات العلم القائم على تعلّم الآلة ووجدا تسرّبًا (leakage) في 294 مقالًا في 17 مجالًا، "وفي بعض الحالات باستنتاجات متفائلة على نحو جامح" (Kapoor & Narayanan, 2023, Section Summary). تصنيفهما هو قائمة التحقق لهذه الصفحة: [L1] لا فصل نظيفًا بين التدريب والاختبار – لا مجموعة اختبار أصلًا (L1.1)؛ معالجة مسبقة على البيانات كلها – تعويض القيم المفقودة، أو التقييس، أو الإفراط في المعاينة قبل التقسيم (L1.2؛ وهذا تحذير Géron: "لا تستخدموا أبدًا fit() أو fit_transform() لأي شيء سوى مجموعة التدريب"، الفصل 2، "Feature Scaling and Transformation")؛ اختيار الخصائص على البيانات كلها (L1.3)؛ التكرارات (L1.4). [L2] خصائص غير مشروعة – هي في الواقع الهدف: مثالهما دراسة تنبأت بارتفاع ضغط الدم من تناول أدوية لارتفاع ضغط الدم. [L3] مجموعة اختبار ليست من التوزيع الذي يدور حوله الادعاء – تسرّب في الزمن (اختبار على بيانات أسبق من التدريب، L3.1)، واستقلال مكسور (L3.2, Section 6). ومثالهما التوضيحي هو العلوم السياسية: في التنبؤ بالحروب الأهلية، حيث "عُدّت" النماذج المعقّدة "متفوقة بفارق كبير" على الانحدار اللوجستي، "حين صُحّحت الأخطاء، لم تعد نماذج تعلّم الآلة المعقّدة تؤدي أفضل جوهريًا من نماذج LR التي يعود عمرها إلى عقود" (Section Summary). اقتراحهما – "ورقة معلومات للنموذج" يجيب فيها الباحث عن كل نوع من أنواع التسرّب – وللقرّاء: "التعامل مع النتائج من العلم القائم على تعلّم الآلة على أنها مؤقتة" (R2).

التجربة التي أظهرت ذلك قبل أربعة عشر عامًا. يحاكي Hastie وزملاؤه 50 مشاركًا في فئتين متساويتين و5,000 متنبِّئ عشوائي لا علاقة لها بالفئة إطلاقًا – خطأ التصنيف الحقيقي هو 50%. "الطريقة الخاطئة": تصفية الـ100 متنبِّئ الأكثر ارتباطًا بالفئة على العينة كلها، ثم تقدير الخطأ بالتحقق المتقاطع – متوسط 3% في 50 محاكاة، "أدنى بكثير من معدل الخطأ الحقيقي"، لأن المتنبِّئات "رأت بالفعل" المشاركين الذين تُركوا خارجًا؛ "الطريقة الصحيحة": التقسيم إلى طيّات أولًا، وإجراء التصفية وبناء المصنِّف والتنبؤ داخل كل طيّة (Hastie et al., 2009, pp. 245-246). هذا هو L1.3 بالضبط – وهو السبب في أن تصفية الفقرات وفق ارتباطها بالنتيجة، وهي عادة شائعة في بناء المقاييس، ممنوعة قبل التقسيم. والحل التقني هو خط المعالجة (Pipeline في scikit-learn): جميع مراحل الإعداد والنموذج كوحدة واحدة، تُوائَم على طيّة التدريب وتُطبَّق على طيّة الاختبار – ولذلك لا يمكن أن تتسرّب.

6. بيانات غير مستقلة: عائلات، صفوف دراسية، شبكات

كل ما سبق يفترض أن المشاهدات مستقلة ومتماثلة التوزيع (i.i.d.) – وفي البحث الاجتماعي لا تكون كذلك تقريبًا أبدًا: طلاب في الصف نفسه، أفراد العائلة نفسها، أصدقاء في شبكة، قياسات متكررة للشخص نفسه. وُصفت المشكلة كعائق أمام التحقق في القسم L3.2 لدى Kapoor وNarayanan: "عدم الاستقلال بين عينات التدريب والاختبار يشكّل تسرّبًا، ما لم يكن الادعاء العلمي عن توزيع له بنية الاعتماد نفسها. وفي الحالة القصوى (لكنها للأسف شائعة)، تأتي عينات التدريب والاختبار من الأشخاص أو الوحدات أنفسهم" (Kapoor & Narayanan, 2023, L3.2). وأدبيات التعلّم العلائقي تصف الأمر نفسه كخاصية للبيانات، لا كخطأ للباحث: "ركّزت الغالبية العظمى من العمل في طرق التصنيف الإحصائي على البيانات 'المسطّحة' – بيانات تتكوّن من كيانات ذات بنية متطابقة، يُفترض عادةً أنها i.i.d. غير أن كثيرًا من مجموعات البيانات في العالم الحقيقي علائقية بطبيعتها: صفحات ويب مترابطة، استشهادات متبادلة في براءات الاختراع والمقالات العلمية، شبكات اجتماعية، سجلات طبية" (Taskar, Abbeel, Wong & Koller, 2007, p. 175)؛ "خلافًا لسيناريوهات تعلّم الآلة التقليدية، حيث يتلقى نظام التعلّم كمُدخل سلسلة من المشاهدات i.i.d.، فإن المُدخل لخوارزمية التعلّم العلائقي هو في الغالب مثيل واحد، غني بالروابط" (Getoor & Taskar, 2007, p. 4). الآلية هي الارتباط الذاتي (autocorrelation): "اعتماد إحصائي بين قيم المتغير نفسه على كيانات مرتبطة"، "وهو خاصية شبه عامة لمجموعات البيانات العلائقية" – ويعدّ Neville وJensen، من بين أمور أخرى، تصنيف القطاع لشركات تتشارك أعضاء مجالس إدارة، وحالة الاحتيال لعملاء الهاتف الخلوي الذين يتصلون بأرقام مشتركة، والعدوى بالسل بين أشخاص على تماس وثيق (Neville & Jensen, 2007, p. 240). هذه "فرصة فريدة لتحسين أداء النموذج، لأن الاستدلال على كائن واحد يمكن أن يغذّي الاستدلال على كائنات مرتبطة به" (المرجع نفسه) – وللسبب نفسه بالضبط، فإن نموذجًا عاديًا يتلقى الطالب في التدريب وزميله في الصف في الاختبار "يخمّن" من الارتباط الذاتي، لا من الخصائص.

ما الذي يُفعل. التقسيم – إلى تدريب واختبار، وإلى طيّات التحقق المتقاطع – يُجرى وفق الوحدة التي يدور حولها الادعاء: وفق المشارك في القياسات المتكررة، وفق الصف أو المدرسة في البيانات المتداخلة، وفق العائلة، وفق المجتمع المحلي (في الأدوات: GroupKFold وأمثاله في scikit-learn). مقاييس وفق الوحدة: الخطأ لكل طالب ليس خطأً لكل صف. التنبؤ إلى الأمام في الزمن – الاختبار لاحق للتدريب (L3.1)، لا مختلط به. ومَن يريد استغلال الاعتماد – التنبؤ بالطالب من أصدقائه – ينتقل إلى النماذج العلائقية (الاستدلال الجماعي، النماذج الهرمية؛ خريطة الأدوات، القسم 4)، ويُبلغ بأن الادعاء يتعلق بشبكة لها البنية نفسها، لا بمشارك منفرد. فحص الموقع: أن يُسأل "إذا أخذتُ هذا المشارك من مجموعة الاختبار، فمَن من مجموعة التدريب يشبهه أكثر من اللازم؟" – وإن كان هناك جواب، فالتقسيم خاطئ.

7. ما الذي يُبلَّغ عنه

الفقرة الكاملة، بالترتيب: المقياس ولماذا (كلفة الخطأ؛ العتبة المختارة)؛ التقسيم – نسبة الاختبار، الطبقية، وفق أي وحدة، البذرة؛ التحقق المتقاطع – كم طيّة، المتوسط والانحراف المعياري لكل نموذج فُحص، بما في ذلك ما أخفق؛ الخط المرجعي – مصنِّف وهمي وانحدار على المتغيرات المعروفة؛ والرقم المهم هو الفرق عنه، لا المقياس نفسه؛ مجموعة الاختبار – مرة واحدة، المقياس وفترة الثقة، مصفوفة الالتباس، والفجوة عن التحقق المتقاطع؛ المجموعات الفرعية – يشترط Géron التأكد من أن النموذج يعمل لا في المتوسط فقط بل "على جميع فئات المقاطعات، ريفية أو حضرية، غنية أو فقيرة، شمالية أو جنوبية، أقلية أو لا"، وإن أخفق في فئة كاملة، فلا يُنشر لها "لأنه قد يضرّ أكثر مما ينفع" (Géron, 2022, Chapter 2, "Analyzing the Best Models and Their Errors")؛ التسرّب – جواب صريح عن كل نوع في التصنيف، على نمط "ورقة معلومات للنموذج"؛ وما لا يقوله النموذج – التنبؤ ليس سببًا. كل شيء قابل لإعادة الإنتاج من الدفتر المرفق – القاعدة نفسها لجميع حاسبات الموقع: النتيجة الحسابية غير الموثّقة ليست نتيجة بحثية.

وكيف يبدو ذلك في التقرير. الفصل 11 من Truong هو الفصل الوحيد في الكتب الخمسة الذي يتناول الكتابة. بنيته للمقال الأكاديمي هي البنية المعروفة – العنوان، الملخص، المقدمة، مراجعة الأدبيات، المنهجية، النتائج، المناقشة والاستنتاجات – لكن في المنهجية أربعة أقسام فرعية لا توجد في الانحدار: مصدر البيانات ووصف المتغيرات (بما في ذلك دور كل متغير – هدف أو مُدخل – ومستوى قياسه)؛ عملية التنقيب عن البيانات؛ "الخوارزميات والإعدادات" – جدول لكل نموذج فيه مَعلَماته الفائقة كما أُدخلت (أقصى عمق للشجرة، قاعدة التفرّع، قاعدة التوقف، نسبة "مجموعة منع فرط المواءمة")، "وأسهل طريقة لفعل ذلك هي تلخيص الإعدادات في جدول"؛ ومقاييس التقييم – أيّها، ولماذا (Truong, 2026, pp. 396, 414-415). في النتائج: مقارنة جميع النماذج على المجموعة نفسها، وتحديد النموذج البطل (champion model) – "وهو البطل فقط من بين النماذج التي درّبناها واختبرناها على البيانات المعطاة"، وقد يكون الأفضل نسبيًا لا الأفضل (ص 189) – ثم، للبطل وحده، المقاييس على جميع المجموعات جنبًا إلى جنب، ومقارنة أهمية المتغيرات. فرق واحد عن هذه الصفحة جدير بالمعرفة: يكتب Truong أنه "لا حاجة إلى الإبلاغ عن نتائج عينة التدريب بشكل منفصل" (ص 188)، أما هنا فيُبلَّغ عن الفجوة بين التدريب والتحقق المتقاطع – لأنها الدليل على فرط المواءمة، ولأن Truong نفسه يقيس بها الثبات (القسم 2). وما لا يؤخذ منه حرفيًا: القواعد العامة – "نسبة تصنيف خاطئ 5% أو أقل تُعدّ ممتازة، وبين 5% و10% – جيدة"، وللدقة والحساسية والنوعية وF1 "95% فأكثر ممتاز، 90-95% جيد" – يوردها صراحةً كرأي شخصي، بعد الجملة "لا توجد قيم عتبة معيارية لهذه المقاييس؛ فالقرار يتوقف على القطاع وعلى التسامح مع الخطأ" (ص 199-200). في التنبؤ بالنتائج البشرية من متغيرات الخلفية (القسم 4) لا وجود لهذه القيم، ومَن تصل إليها – تعود إلى القسم 5.

8. وكيف يُنفَّذ ذلك في R

جزءان. أ. مقاييس القسم 1 على تنبؤات من خارج العينة: انحدار لوجستي بتحقق متقاطع من عشر طيّات على ملف المثال لـصفحة تعلّم الآلة (320 طالبًا، تسرّب 11.6%)، ثم مصفوفة الالتباس مع جميع المقاييس (confusionMatrix من caret، mode = "everything" – الحساسية، النوعية، precision، F1، و"معدل انعدام المعلومات"، وهو دقة المصنِّف الوهمي)، ومنحنى ROC مع فترة ثقة لـ AUC، والعتبة "الأفضل" وفق يودن، ومنحنى precision-recall من التنبؤات نفسها (pROC). قائمة المقاييس – الدقة، الحساسية، النوعية، precision، معدلا الإيجابيات الكاذبة والسلبيات الكاذبة – هي قائمة Gutierrez (2015, Chapter 7, "Measuring Classification Performance")، الذي يحذّر أيضًا: "إذا كان أداء الخوارزمية أفضل من أن يكون حقيقيًا، فقد يكون تسرّب البيانات هو السبب" (Chapter 7, "Data Leakage"). ب. إعادة إنتاج تجربة القسم 5 – "الطريقة الخاطئة والصحيحة للتحقق المتقاطع" لدى Hastie وزملائه (2009، ص 245-246) – في مئة سطر: 50 مشاركًا، 5,000 متنبِّئ عشوائي، تصفية الـ100 الأكثر ارتباطًا، جار أقرب واحد، خمس طيّات. المسار C:\Rdata\ – اصطلاح الموقع.

# model_evaluation.R - performance measures and validation in R: confusion matrix, ROC, cross-validation - and leakage in numbers
library(readxl); library(caret); library(pROC); library(class)

# --- A. The measures - on out-of-sample predictions, not on the training set ---
d <- read_excel("C:/Rdata/DATA_ml_example_eng.xlsx")
d$dropout <- factor(d$dropout, levels = c(0, 1), labels = c("no", "yes"))
d$gender  <- factor(d$gender, levels = c(1, 2), labels = c("male", "female"))
d$id <- NULL
ctrl <- trainControl(method = "cv", number = 10, classProbs = TRUE,
                     summaryFunction = twoClassSummary, savePredictions = "final")
set.seed(1)
m <- train(dropout ~ . - school_id, data = d, method = "glm", family = binomial,
           metric = "ROC", trControl = ctrl, preProcess = c("medianImpute", "center", "scale"),
           na.action = na.pass)
cv <- m$pred                                   # one prediction per observation - from the fold where it was held out
confusionMatrix(cv$pred, cv$obs, positive = "yes", mode = "everything")   # at threshold 0.5
r <- roc(cv$obs, cv$yes, levels = c("no", "yes"), direction = "<")
auc(r); ci.auc(r)                              # AUC and confidence interval
coords(r, "best", best.method = "youden", ret = c("threshold", "sensitivity", "specificity", "precision"))
# precision-recall curve - for a rare class - from the same predictions:
pr <- coords(r, x = seq(0.05, 0.6, by = 0.05), ret = c("threshold", "recall", "precision"))
pr

# --- B. The wrong and right way to do cross-validation (Hastie et al., 2009, pp. 245-246) ---
# 50 subjects in two equal classes, 5,000 random predictors - true error 50%.
set.seed(20260920)
N <- 50; P <- 5000; K <- 5; n_keep <- 100
y <- factor(rep(c("A", "B"), each = N / 2))
X <- matrix(rnorm(N * P), N, P)
folds <- createFolds(y, k = K)
screen <- function(X, y, n) {                   # the 100 predictors most correlated with the class
  r <- abs(cor(X, as.numeric(y)))
  order(-r)[1:n]
}
# wrong way: screen on the whole sample, then cross-validate
keep_all <- screen(X, y, n_keep)
err_wrong <- sapply(folds, function(te) {
  tr <- setdiff(seq_len(N), te)
  mean(knn(X[tr, keep_all], X[te, keep_all], y[tr], k = 1) != y[te])
})
# right way: screening inside each fold, on that fold's training data only
err_right <- sapply(folds, function(te) {
  tr <- setdiff(seq_len(N), te)
  keep <- screen(X[tr, ], y[tr], n_keep)
  mean(knn(X[tr, keep], X[te, keep], y[tr], k = 1) != y[te])
})
c(wrong = mean(err_wrong), right = mean(err_right))   # ~0.03 vs ~0.50

ما الذي خرج (R 4.3.3، caret 6.0-94، pROC 1.18.5، class 7.3-22؛ المخرجات الكاملة – qa/ml/ev_out.txt). أ. عند العتبة 0.5: دقة كلية .884 – بالضبط معدل انعدام المعلومات (.884)، أي أن النموذج ليس أفضل من المصنِّف الوهمي عند هذه العتبة؛ الحساسية .03، precision‏ .50، F1‏ .05. النموذج نفسه، التنبؤات نفسها: AUC = .66، فترة الثقة [.57, .76]؛ العتبة وفق يودن .13 – الحساسية .57، النوعية .72، precision‏ .21؛ وعلى امتداد العتبات، من .05 إلى .50، تنخفض الحساسية من .89 إلى .03 وترتفع precision من .14 إلى .50 – هذه هي مقايضة القسم 1 بالأرقام، وما يخفيه مقياس واحد. ب. الطريقة الخاطئة: خطأ 2%؛ الطريقة الصحيحة: 60% – على متنبِّئات عشوائية تمامًا، خطؤها الحقيقي 50% (و60% في 50 مشاركًا هي 50% مع ضجيج خمس طيّات). أبلغ Hastie وزملاؤه عن 3% في 50 محاكاة؛ وهنا محاكاة واحدة، البذرة 20260920. مَن يصفّي الفقرات وفق ارتباطها بالنتيجة قبل التقسيم يحصل على الرقم الأول.

أخطاء شائعة

الإبلاغ عن الدقة الكلية في فئة نادرة. دقة 94% في التنبؤ بتسرّب 6% من الطلاب هي المصنِّف الوهمي. يُبلَّغ عن مصفوفة الالتباس وprecision والحساسية – مقابل المصنِّف الوهمي (القسم 1).

التقييس أو التعويض أو اختيار الخصائص على البيانات كلها – ثم التقسيم. التسرّب الأكثر شيوعًا (L1.2-L1.3). العادة من SPSS – "أولًا يُنظَّف الملف" – هي المشكلة. خط المعالجة يُوائَم على التدريب فقط (القسم 5).

تقسيم الصفوف حين تكون الوحدة مشاركًا أو صفًا أو عائلة. ثلاثة قياسات للشخص نفسه في التدريب وفي الاختبار – والنموذج "يتعرّف" عليه بدل أن يتنبأ (القسم 6). التقسيم وفق الوحدة التي يدور حولها الادعاء.

الضبط على مجموعة الاختبار. التشغيل، ورؤية أن النتيجة ليست جيدة، والتغيير، والتشغيل مجددًا. بعد المرة الثانية تصبح مجموعة الاختبار مجموعة تحقق، ويكون الرقم المُبلَّغ عنه متفائلًا (القسم 2).

رقم واحد بلا تشتت. AUC = .78 من طيّة واحدة قد يكون .71 في طيّة أخرى. المتوسط والانحراف المعياري على الطيّات، وفترة ثقة على الاختبار (القسم 3).

الانبهار بالنموذج دون خط مرجعي. AUC = .78 يبدو ممتازًا حتى يُرى أن انحدارًا لوجستيًا على أربعة متغيرات يعطي .76. الرقم هو الفرق – وقد أظهر Salganik وزملاؤه (2020) كم يمكن أن يكون صغيرًا.

التعامل مع R² الاختبار على أنه R² الانحدار. على بيانات جديدة يمكن أن يكون صفرًا بل سالبًا؛ و0.2 في تحدّي العائلات الهشّة كان الذروة بين 160 فريقًا.

موازنة الفئات بالإفراط في المعاينة – والإبلاغ عن احتمالات. بعد SMOTE أو التكرار، يُقدَّر الاحتمال المتنبَّأ به للفئة النادرة بأكثر من حقيقته، ولا يرتفع AUC (van den Goorbergh et al., 2022). تُحرَّك العتبة، أو تُدخَل مصفوفة قرار (القسم 1)؛ وإن وُوزنت الفئات – فداخل طيّة التدريب فقط.

قراءة مقياس مرتفع أكثر من اللازم على أنه نجاح. حين تتجاوز النتيجة الأدبيات والخط المرجعي بكثير، فالشبهة الأولى هي التسرّب (القسم 5) – خاصية هي الهدف متنكّرًا، أو مشارك موجود في الجانبين. "التعامل مع النتائج… على أنها مؤقتة" (Kapoor & Narayanan, 2023, R2).

قائمة تحقق – قبل الإبلاغ عن نتيجة تنبؤ

المراجع

Bishop, C. M. (2006). Pattern recognition and machine learning. Springer.

Géron, A. (2022). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems (3rd ed.). O'Reilly Media.

Getoor, L., & Taskar, B. (2007). Introduction. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 1-12). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0003

Gutierrez, D. D. (2015). Machine learning and data science: An introduction to statistical learning methods with R. Technics Publications.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

IBM Corporation. (2016). IBM SPSS Modeler 18.0 source, process, and output nodes. IBM. https://public.dhe.ibm.com/software/analytics/spss/documentation/modeler/18.0/en/ModelerSPOnodes.pdf

Ishii, K., Ueda, N., Maeda, E., & Murase, H. (2026). Pattern recognition and machine learning for self-study I: Supervised learning. Springer. https://doi.org/10.1007/978-981-95-1478-6

Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), Article 100804. https://doi.org/10.1016/j.patter.2023.100804

Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1-26. https://doi.org/10.18637/jss.v028.i05

Neville, J., & Jensen, D. (2007). Relational dependency networks. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 239-268). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0010

Salganik, M. J., Lundberg, I., Kindel, A. T., Ahearn, C. E., Al-Ghoneim, K., Almaatouq, A., Altschul, D. M., Brand, J. E., Carnegie, N. B., Compton, R. J., Datta, D., Davidson, T., Filippova, A., Gilroy, C., Goode, B. J., Jahani, E., Kashyap, R., Kirchner, A., McKay, S., . . . McLanahan, S. (2020). Measuring the predictability of life outcomes with a scientific mass collaboration. Proceedings of the National Academy of Sciences, 117(15), 8398-8403. https://doi.org/10.1073/pnas.1915006117

Shmueli, G. (2010). To explain or to predict? Statistical Science, 25(3), 289-310. https://doi.org/10.1214/10-STS330

Taskar, B., Abbeel, P., Wong, M.-F., & Koller, D. (2007). Relational Markov networks. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 175-200). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0008

Truong, D. (2026). Demystifying AI: Data science and machine learning using IBM SPSS Modeler. Chapman and Hall/CRC. https://doi.org/10.1201/9781003468196

van den Goorbergh, R., van Smeden, M., Timmerman, D., & Van Calster, B. (2022). The harm of class imbalance corrections for risk prediction models: Illustration and simulation using logistic regression. Journal of the American Medical Informatics Association, 29(9), 1525-1534. https://doi.org/10.1093/jamia/ocac093

Wendler, T., & Gröttrup, S. (2021). Data mining with SPSS Modeler: Theory, exercises and solutions (2nd ed.). Springer. https://doi.org/10.1007/978-3-030-54338-9