کارکردگی کے پیمانے اور توثیق: یہ کیسے جانیں کہ ماڈل اچھا ہے

رہنما

اس صفحے پر

پیش گوئی کے ماڈل کی توثیق صرف ایک طریقے سے ہوتی ہے – ایسے ڈیٹا پر جو اس نے نہیں دیکھا۔ مشین لرننگ کا صفحہ بتاتا ہے کہ وضاحت کرنے والے ماڈل اور پیش گوئی کرنے والے ماڈل میں کیا فرق ہے، ماڈل کون سے ہیں اور پروجیکٹ کیسے بنایا جاتا ہے؛ یہ صفحہ ایک ہی سوال سے متعلق ہے جس پر ایسے ماڈل کی ہر رپورٹ قائم رہتی یا گرتی ہے: عدد کہاں سے آیا۔ چار ذیلی سوالات، اس ترتیب میں جس میں وہ اٹھتے ہیں: کون سا پیمانہ (1) – کیونکہ "درستی" (accuracy) اکثر غلط پیمانہ ہوتی ہے؛ کس ڈیٹا پر (2) – تربیت، توثیق اور جانچ، اور جانچ کا سیٹ سب سے پہلے کیوں الگ کیا جاتا ہے؛ صرف عدد ہی نہیں بلکہ اس کی درستی بھی کیسے حاصل کی جائے (3) – کراس ویلیڈیشن (cross-validation)؛ اور عدد آخر کیا ہو بھی سکتا ہے (4) – تعصب، تغیر (variance)، اور بیز خطا (Bayes error)، وہ حد جس سے نیچے کوئی ماڈل نہیں جاتا۔ پھر وہ دو راستے جن سے عدد جھوٹ بن جاتا ہے بغیر اس کے کہ کسی نے دھوکا دیا ہو: ڈیٹا کا رساؤ (5)، اور وہ شرکاء جو ایک دوسرے سے آزاد نہیں – خاندان، جماعتیں، نیٹ ورک – جنہیں تربیت اور جانچ میں معمول کی تقسیم نظر انداز کر دیتی ہے (6)۔ سیکشن 7 سب کچھ رپورٹنگ کے ایک پیراگراف میں بدل دیتا ہے۔ حوالہ جات مشین لرننگ کے صفحے کی چار نصابی کتابیں ہیں – Géron (2022)، Hastie، Tibshirani اور Friedman (2009)، Bishop (2006)، Ishii اور ساتھی (2026) – اور محققین کے لیے لکھے گئے تین مقالے: رساؤ پر (Kapoor & Narayanan, 2023)، پیش گوئی کی حدود پر (Salganik et al., 2020) اور وضاحتی ماڈل کی توثیق اور پیش گوئی والے ماڈل کی توثیق کے فرق پر (Shmueli, 2010)؛ اور سیکشن 6 کے لیے – ربطی لرننگ (relational learning) کی بنیادی کتاب (Getoor & Taskar, 2007)۔ اور ایک پانچواں ماخذ، سافٹ ویئر کی جانب سے: Truong (2026) کی SPSS Modeler کے لیے نصابی کتاب، جو "غیر تکنیکی شعبوں کے طلبہ اور تجربہ کار محققین دونوں کے لیے" لکھی گئی – اور بتاتی ہے کہ IBM کے مینوز میں انہی تصورات کو کیا کہا جاتا ہے، سافٹ ویئر طے شدہ طور پر کیا کرتا ہے، اور رپورٹ کیسے لکھی جاتی ہے۔ اور جب سرے سے کوئی تابع متغیر ہی نہ ہو – اور اس لیے کوئی پیمانہ بھی نہ ہو – تو کیا ہوتا ہے، یہ غیر نگرانی شدہ لرننگ (unsupervised learning) میں۔

1. پیمانہ: کام کے مطابق اور خطا کی قیمت کے مطابق

پیمانہ پروجیکٹ کے آغاز میں منتخب کیا جاتا ہے، آخر میں نہیں – کیونکہ یہی طے کرتا ہے کہ کون سا ماڈل "اچھا" ہے (Géron, 2022, Chapter 2, "Select a Performance Measure")۔ ریگریشن کے لیے – RMSE، خطاؤں کے مربعوں کی اوسط کا جذر، ہدف کی اکائیوں میں، جو بڑی خطاؤں کو زیادہ وزن دیتا ہے؛ یا MAE، مطلق خطاؤں کی اوسط، جب آؤٹ لائرز بہت ہوں۔ درجہ بندی کے لیے – یہیں سے مسئلہ شروع ہوتا ہے۔ Géron کا باب 3 ہاتھ سے لکھے ہندسوں کی تصاویر میں ہندسہ 5 پہچاننے کے لیے ایک بائنری درجہ بند کو تربیت دیتا ہے: کراس ویلیڈیشن (cross-validation) ہر فولڈ میں 95% سے زیادہ مجموعی درستی (accuracy، درست درجہ بندیوں کی شرح) دکھاتی ہے۔ پھر ایک نقلی (dummy) درجہ بند جو ہر تصویر کے بارے میں کہتا ہے "5 نہیں" – اور 90% سے زیادہ حاصل کر لیتا ہے، کیونکہ تصاویر کا صرف تقریباً دسواں حصہ 5 ہے۔ "نوسٹراڈیمس کو مات دے دیتا ہے۔" نتیجہ: "درستی عموماً درجہ بندوں کے لیے کارکردگی کا پسندیدہ پیمانہ نہیں ہوتی، خاص طور پر جب جھکاؤ والے (skewed) ڈیٹا سیٹس سے واسطہ ہو" (Chapter 3, "Performance Measures") – اور سماجی تحقیق کے ڈیٹا سیٹس تقریباً ہمیشہ جھکاؤ والے ہوتے ہیں: تعلیم ترک کرنا، تشدد، بے روزگاری، کسی چھوٹی سیاسی جماعت کو ووٹ۔ Bishop طب سے یہی مثال دیتے ہیں: ہر 1,000 ایکس رے میں سے 1 میں کینسر – "ایک درجہ بند جو ہر نقطے کو نارمل کلاس میں ڈال دے، پہلے ہی 99.9% درستی حاصل کر لے گا، اور اس معمولی حل سے بچنا مشکل ہوگا"؛ ان کا حل یہ ہے کہ متوازن ڈیٹا سیٹ پر تربیت دی جائے اور پھر احتمالات کو آبادی میں کلاسوں کی شرحوں کے مطابق واپس درست کیا جائے (Bishop, 2006, p. 45)۔

الجھن کا میٹرکس (confusion matrix) آلہ ہے: قطاریں – حقیقی کلاس، کالم – پیش گوئی شدہ کلاس؛ Géron کی مثال میں 53,892 حقیقی منفی، 687 غلط مثبت (قسم I کی خطا)، 1,891 غلط منفی (قسم II کی خطا) اور 3,530 حقیقی مثبت – اور اس کا حساب "صاف"، نمونے سے باہر کی ان پیش گوئیوں پر کیا جاتا ہے جو ماڈل نے ان مشاہدات کے لیے دیں جو اس نے تربیت میں نہیں دیکھے۔ اس سے precision ("مثبت درستی": جب ماڈل کہے 5 – تو وہ کس شرح سے درست ہوتا ہے؛ 83.7%) اور حساسیت (recall: حقیقی 5 میں سے کتنی شرح کو وہ پکڑتا ہے؛ 65.1%) اخذ ہوتے ہیں، اور F1 – ان دونوں کی ہارمونک اوسط (.73)، جو تب ہی بلند ہوتی ہے جب دونوں بلند ہوں۔ اور ان میں سے کون سا اہم ہے – یہ خطا کی قیمت کا سوال ہے، شماریات کا نہیں: بچوں کے لیے ویڈیوز کے فلٹر کو بلند precision چاہیے چاہے حساسیت کم ہونے کی قیمت پر ہو؛ دکان میں چوروں کا پتا لگانے والا آلہ 30% precision پر اکتفا کر سکتا ہے اگر حساسیت 99% ہو۔ دونوں کٹ آف کے ذریعے ایک دوسرے کے بدلے آتے ہیں: کٹ آف بڑھانے سے precision بڑھتی ہے اور حساسیت گھٹتی ہے (Chapter 3, "The Precision/Recall Trade-off")۔ ROC منحنی تمام کٹ آف پر حساسیت کو غلط مثبت کی شرح کے مقابل دکھاتی ہے، اور اس کے نیچے کا رقبہ (AUC) – کامل درجہ بند کے لیے 1، تصادفی کے لیے 0.5 – کٹ آف منتخب کیے بغیر درجہ بندوں کا موازنہ کرتا ہے؛ لیکن نایاب کلاس میں ROC خوشامدی ہوتی ہے، اور "عام اصول کے طور پر، PR منحنی کو ترجیح دینی چاہیے جب بھی مثبت کلاس نایاب ہو یا جب آپ کو غلط منفی سے زیادہ غلط مثبت کی پروا ہو" (Chapter 3, "The ROC Curve")۔ خود منحنی – رقبے کے لیے وقفۂ اعتماد، یوڈن اشاریے کے مطابق کٹ آف، ہر کٹ آف پر حساسیت اور مخصوصیت (specificity) اور پیمانوں کے درمیان موازنے کے ساتھ – کا حساب ROC تجزیہ کے صفحے پر کیا جاتا ہے۔ جو SPSS میں درجہ بندی کے جدول سے واقف ہے وہ کٹ آف 0.5 کو ایک ایسی طے شدہ قدر کے طور پر جانتا ہے جسے کوئی نہیں بدلتا؛ یہاں یہ ایک رپورٹ کیا جانے والا فیصلہ ہے۔

نایاب کلاس: کیا کیا جائے – اور کیا نہیں۔ Truong علاج کو ترجیح کی ترتیب میں رکھتے ہیں: پہلے مجموعی درستی کی جگہ متعدد پیمانے، پھر تقسیم اور توثیق، پھر لاگت سے حساس لرننگ (cost-sensitive learning) – اور صرف "اگر پچھلے طریقے عدم توازن کے مسائل کو مؤثر طور پر حل نہ کریں اور یہ خدشہ ہو کہ ہمارے ماڈل درست نہیں، تو دوبارہ نمونہ گیری (resampling) ایک معقول امکان بن جاتی ہے" (Truong, 2026, pp. 78-79)۔ لاگت سے حساس لرننگ "خطا کی قیمت" کی رسمی صورت ہے: ایک فیصلے کا میٹرکس جس میں ہر خطا کی ایک قیمت ہے – چُوک کے لیے C(FN)، غلط الارم کے لیے C(FP) – اور منتخب ماڈل وہ ہے جس کی کل قیمت، C(FP) × FP + C(FN) × FN، سب سے کم ہو، نہ کہ وہ جس کی خطا کی شرح سب سے کم ہو؛ "زیادہ تر سافٹ ویئر میں فیصلے کا میٹرکس درج کرنے کا اختیار ہوتا ہے" (ص 203-204)۔ جبکہ نایاب کلاس کی زائد نمونہ گیری (oversampling) (مشاہدات کی نقل، یا SMOTE – قریبی پڑوسیوں کے درمیان مصنوعی مشاہدات) اور عام کلاس کی کم نمونہ گیری (undersampling) – جن میں سے پہلی کے بارے میں خود Truong تبصرہ کرتے ہیں کہ "ڈیٹا کی نقل ماڈلز کو اوور فٹنگ (overfitting) کا زیادہ شکار بنا دیتی ہے" (ص 79) – کی لاجسٹک ریگریشن پر سمولیشن میں جانچ کی گئی: تینوں نے "بری طرح کیلیبریٹ شدہ ماڈل دیے: اقلیتی کلاس سے تعلق کا احتمال نمایاں حد تک زیادہ تخمینہ کیا گیا"، کسی تصحیح کے بغیر ماڈل کے مقابلے میں AUC نہیں بڑھایا، اور حساسیت اور مخصوصیت (specificity) کے درمیان جو توازن انہوں نے حاصل کیا وہ "اس کی بجائے احتمال کے کٹ آف کو کھسکا کر بھی اتنا ہی حاصل کیا جا سکتا تھا"؛ نتیجہ – "نتیجہ متغیر (outcome) میں عدم توازن بذاتِ خود کوئی مسئلہ نہیں، اور عدم توازن کی تصحیح ماڈل کی کارکردگی کو بگاڑ بھی سکتی ہے" (van den Goorbergh et al., 2022, خلاصہ)۔ دونوں آراء میں مطابقت ہے: نایاب کلاس پیمانے اور کٹ آف کا مسئلہ ہے، ڈیٹا کا نہیں۔ جس محققہ کو احتمالات درکار ہوں – خطرے کی اسکورنگ کے لیے، رپورٹنگ کے لیے – وہ توازن نہیں کرتی؛ جو پھر بھی توازن کرے، وہ صرف تربیتی فولڈ کے اندر ایسا کرتی ہے (رساؤ L1.2، سیکشن 5) اور رپورٹ کرتی ہے کہ ماڈل جو احتمالات دیتا ہے وہ اب احتمالات نہیں رہے۔ Modeler کی نصابی کتاب دوبارہ نمونہ گیری کی طرف ہے – مصنفین "ڈیٹا سیٹس کو توازن یا دوبارہ نمونہ گیری کے طریقوں سے سنبھالنے کی طرف مائل ہیں" جب اقلیتی کلاس "10% یا اس سے کم" ہو (10:1 یا 20:1 کا تناسب) – لیکن ان دو باتوں پر متفق ہیں جو یہاں اہم ہیں: "ہمیں کبھی بھی صرف مجموعی درستی پر انحصار نہیں کرنا چاہیے"، اور "جانچ کا ایک نمائندہ ذیلی نمونہ الگ کرنے کے لیے، دوبارہ نمونہ گیری کا طریقۂ کار لاگو کرنے سے پہلے تقسیم کا طریقہ استعمال کرنا چاہیے" (Wendler & Gröttrup, 2021, pp. 1148, 1150)۔

اور "ہاں" اور "نہیں" کے درمیان – فیصلہ نہ کرنا۔ Bishop کا نظریۂ فیصلہ رد کا اختیار (reject option) شامل کرتا ہے: ان کیسز میں فیصلے سے گریز کرنا جن میں سب سے بلند پوسٹیریئر احتمال کسی کٹ آف سے کم ہو، اور انہیں "انسانی ماہر" کے لیے چھوڑ دینا (Bishop, 2006, p. 42)۔ اس محققہ کے لیے جو کھلے جوابات کی کوڈنگ ماڈل سے کرتی ہے (NLP کا صفحہ، مرحلہ 6)، یہی درست طریقۂ کار ہے: ماڈل واضح کیسز کی درجہ بندی کرتا ہے، انسان مبہم کیسز کی، اور دونوں کے درمیان اتفاق کوڈرز کے درمیان اعتباریت سے ناپا جاتا ہے۔

2. کس ڈیٹا پر: تربیت، توثیق، جانچ

وضاحتی ریگریشن کی توثیق سے فرق۔ Shmueli امتیاز کرتی ہیں: وضاحتی ماڈلنگ میں توثیق یہ جانچتی ہے کہ ماڈل نظریے کی نمائندگی کرتا ہے اور ڈیٹا سے مطابقت رکھتا ہے – تصریح کے ٹیسٹ، آئٹمز کی اعتباریت اور صداقت، باقیات (residuals) کا تجزیہ؛ پیش گوئی والی ماڈلنگ میں توثیق "تعمیم پر مرکوز ہوتی ہے، یعنی ماڈل کی نئے ڈیٹا کی پیش گوئی کرنے کی صلاحیت پر"، اور "تعمیم کے لیے سب سے بڑا خطرہ تربیتی ڈیٹا پر اوور فٹنگ (overfitting) ہے" (Shmueli, 2010, Section 2.6.1)۔ اور اسی لیے "یہ جاننے کا واحد طریقہ کہ کوئی ماڈل نئے کیسز پر کتنی اچھی تعمیم کرے گا، یہ ہے کہ اسے واقعی نئے کیسز پر آزمایا جائے" – ایک جانچ کا سیٹ الگ کیا جاتا ہے، عموماً ڈیٹا کا 20% (Géron, 2022, Chapter 1, "Testing and Validating")۔ "تربیتی خطا جانچ کی خطا کا اچھا تخمینہ نہیں" – یہ ماڈل کی پیچیدگی کے ساتھ مسلسل کم ہوتی ہے، صفر تک، "لیکن صفر تربیتی خطا والا ماڈل تربیتی ڈیٹا پر اوور فٹ ہوتا ہے اور عموماً بری تعمیم کرے گا" (Hastie et al., 2009, pp. 220-221)؛ اور پیٹرن کی شناخت کی زبان میں، "دوبارہ متبادل" کی خطا (resubstitution، درجہ بند کو انہی مشاہدات پر جانچنا جن سے اس نے سیکھا) حقیقی خطا کی نچلی حد ہے اور جانچ کی خطا بالائی حد – حقیقت ان کے درمیان ہے (Ishii et al., 2026, pp. 113-114)۔

کھوج سے پہلے، اس کے بعد نہیں۔ "اس مرحلے پر ڈیٹا کا ایک حصہ الگ رکھ دینا عجیب لگ سکتا ہے"، Géron لکھتے ہیں، لیکن "آپ کا دماغ پیٹرن پہچاننے کا ایک حیرت انگیز نظام ہے، جس کا مطلب یہ بھی ہے کہ وہ اوور فٹنگ (overfitting) کا بہت زیادہ شکار ہوتا ہے": جو جانچ کے سیٹ کو دیکھ لے وہ وہاں دیکھی گئی چیز کی بنیاد پر ماڈل منتخب کرے گا، اور اس کا تعمیمی تخمینہ حد سے زیادہ پُرامید ہوگا – جھانکنے کا تعصب (data snooping bias; Chapter 2, "Create a Test Set")۔ کتاب کا ضمیمہ A اسے حکم کی صورت میں بیان کرتا ہے: "جانچ کا سیٹ نمونے کے طور پر نکالیں، اسے الگ رکھ دیں، اور کبھی اس پر نظر نہ ڈالیں"۔ دو تکنیکی تفصیلات جو نتائج کو دوبارہ حاصل کرنے کے لیے اہم ہیں: تقسیم کو مختلف رنز میں مستحکم رہنا چاہیے (مقررہ سیڈ، یا شریک کی شناخت (ID) کا ہیش – تاکہ جو شریک تربیت میں تھا وہ نیا ڈیٹا شامل ہونے پر جانچ میں منتقل نہ ہو)؛ اور اسے طبقہ بند ہونا چاہیے – Géron اسے سروے کے ذریعے سمجھاتے ہیں: ریاستہائے متحدہ کی آبادی 51.1% خواتین ہے، اس لیے 1,000 کا نمونہ 511 خواتین برقرار رکھے گا؛ خالص تصادفی نمونہ گیری میں جھکے ہوئے نمونے کا 10.7% امکان ہے (48.5% سے کم یا 53.5% سے زیادہ خواتین)۔ اسی طرح جانچ کے سیٹ کو کسی کلیدی متغیر کے لحاظ سے طبقہ بند کیا جاتا ہے – اور نایاب کلاس میں، خود نتیجے کے لحاظ سے۔

تین سیٹ، دو نہیں۔ اگر ماڈل کو جانچ کے سیٹ کے مطابق ٹیون کیا جائے – ماڈلز میں سے انتخاب کیا جائے، یا ریگولرائزیشن کی شدت جیسا کوئی ہائپر پیرامیٹر طے کیا جائے – تو ہم نے تعمیمی خطا کو "جانچ کے سیٹ پر کئی بار ناپا، اور ماڈل اور ہائپر پیرامیٹرز کو اس طرح ڈھالا کہ اسی خاص سیٹ کے لیے بہترین ماڈل بنے"؛ جو ماڈل 5% خطا کے ساتھ نظر آیا وہ میدان میں 15% پیدا کرتا ہے۔ حل توثیق کا سیٹ (validation set، نیز dev set) ہے: تربیتی سیٹ کا ایک حصہ الگ کیا جاتا ہے، اس پر امیدواروں میں سے انتخاب کیا جاتا ہے، منتخب ماڈل کو پوری تربیت پر تربیت دی جاتی ہے، اور صرف تب – ایک بار – جانچ پر ناپا جاتا ہے (Chapter 1, "Hyperparameter Tuning and Model Selection")۔ اور پیمائش کے بعد کیا ہوتا ہے: "آپ کو ہائپر پیرامیٹرز کو ٹیون کرنے کی ترغیب کا مقابلہ کرنا چاہیے تاکہ اعداد جانچ کے سیٹ پر اچھے نظر آئیں؛ یہ بہتریاں نئے ڈیٹا پر تعمیم پانے کا امکان نہیں رکھتیں" (Chapter 2, "Evaluate Your System on the Test Set")؛ ضمیمہ A: "تعمیمی خطا ناپنے کے بعد ماڈل میں تبدیلی نہ کریں: آپ بس جانچ کے سیٹ پر اوور فٹ کرنا شروع کر دیں گے"۔ جانچ کے سیٹ کا عدد بھی وقفۂ اعتماد کے ساتھ آتا ہے: Géron کی مثال میں RMSE 41,424 اور 95% کا وقفہ – مربع خطاؤں پر t تقسیم میں – 39,275 اور 43,467 کے درمیان۔

نام مختلف سافٹ ویئرز میں بدل جاتے ہیں۔ "جہاں زیادہ تر سافٹ ویئر تقسیم کے پہلے نمونے کو مستقل طور پر 'تربیت' کہتے ہیں، وہاں دوسرے اور تیسرے نمونے کے نام بدلتے رہتے ہیں، اور یہ الجھن پیدا کر سکتا ہے" (Truong, 2026, p. 85): SPSS Modeler میں تقسیم Train / Test / Validation ہے – "جانچ" ماڈلز کے موازنے اور ان کی اصلاح کے لیے استعمال ہوتی ہے، اور "توثیق" حتمی پیمائش ہے – دستاویزات کے الفاظ میں: "ماڈل کو ایک نمونے پر تربیت دیں، دوسرے نمونے پر ماڈل کی جانچ اور اسے بہتر کریں، اور تیسرے پر نتائج کی توثیق کریں" (IBM Corporation, 2016, p. 157)؛ SAS Enterprise Miner میں – Train / Validation / Test، الٹ (وہاں جدول 3.8)؛ اور Géron اور Hastie اور ساتھی، جن کی پیروی یہ صفحہ کرتا ہے، SAS کی طرح چلتے ہیں: انتخاب کے لیے توثیق، آخری پیمائش کے لیے جانچ۔ ترتیب اصل چیز ہے، نام نہیں – اور جو محققہ Modeler کے آؤٹ پٹ سے "جانچ کے سیٹ پر درستی" رپورٹ کرتی ہے، وہ اس صفحے کے ناموں میں توثیق کا سیٹ رپورٹ کر رہی ہے۔ تناسب بھی مختلف ہیں: Truong ایک ہزار سے دس لاکھ مشاہدات کے نمونے کے لیے 60-20-20 تجویز کرتے ہیں، اور "1,000 سے کم مشاہدات – تیسرے سیٹ کے بغیر 60-40" (ص 87)، جبکہ ڈیٹا مائننگ کے لیے ان کی نمونے کی سفارش "کم از کم 100,000 کیسز" ہے (ص 73)۔ یہ 300 شرکاء کے سروے سے بالکل مختلف دنیا ہے – اور اس میں 60 شرکاء کا مقررہ توثیقی سیٹ ایک ایسا عدد ہے جو اتفاق پر منحصر ہے، اور اسی لیے سیکشن 3۔ اور Truong چھوٹے پیمانے پر کام کرنے والی محققہ کو کیا دیتے ہیں: ماڈل کی اعتباریت – "اندرونی ہم آہنگی"، مختلف نمونوں پر یکساں نتائج – اور صداقت – "درستی"، ہدف کی درست پیش گوئی – کے درمیان ان کا امتیاز؛ "دراصل، ماڈل کی صداقت پیش گوئی کی قوت کے مترادف ہے"، اور صداقت کے بغیر اعتباریت ایسا ترازو ہے جو 25 پاؤنڈ کی بوری پر مسلسل تقریباً 22 پاؤنڈ دکھاتا ہے (ص 186)۔ ان کے ہاں اعتباریت کا ثبوت تربیت کے پیمانے اور جانچ کے پیمانے کے درمیان چھوٹا فرق ہے – "اگر عدم مطابقت 5% سے کم ہو تو اسے قابلِ اعتبار سمجھا جا سکتا ہے" (ص 187) – اور یہی وہ فرق ہے جسے رپورٹ کرنے کا سیکشن 7 تقاضا کرتا ہے۔

بڑے پیمانے پر یہ کیسا نظر آتا ہے۔ نازک خاندانوں کے چیلنج (Fragile Families Challenge) میں، مقابلے کے منتظمین نے ڈیٹا کے اس نصف کو جو تربیت میں استعمال نہیں ہوا، دو سیٹوں میں تقسیم کیا: "لیڈر بورڈ" (leaderboard)، جس پر 160 ٹیمیں مقابلے کے دوران خود کو جانچ سکتی تھیں، اور "ہولڈ آؤٹ" (holdout)، جس کی درستی "شرکاء کو – اور منتظمین کو – چیلنج کے اختتام تک معلوم نہیں تھی" (Salganik et al., 2020, Section Methods)۔ اور اس کے باوجود مصنفین احتیاط برتتے ہیں: ایک ہی ہولڈ آؤٹ سیٹ کو 160 میں سے بہترین جمع کرائے گئے ماڈل کے انتخاب اور اس کی جانچ دونوں کے لیے استعمال کرنا "کسی حد تک پُرامید تخمینے پیدا کرتا ہے" – ان کے معاملے میں چھوٹا تعصب، لیکن موجود (Section Results)۔ جو محققہ 300 کے نمونے پر ایک بار جانچتی ہے، اس کے لیے یہ تعصب چھوٹا نہیں۔

3. کراس ویلیڈیشن: صرف عدد نہیں، اس کی درستی بھی

توثیق کا ایک سیٹ ایک عدد دیتا ہے، جو اس اتفاق پر منحصر ہے کہ کون سی تقسیم نکلی۔ کراس ویلیڈیشن (k-fold cross-validation) تربیتی سیٹ کو k فولڈز میں تقسیم کرتی ہے، k بار k − 1 پر تربیت دیتی ہے اور باقی پر جانچتی ہے، اور "نہ صرف ماڈل کی کارکردگی کا تخمینہ بلکہ اس تخمینے کی درستی کا پیمانہ بھی – اس کا معیاری انحراف" حاصل کرتی ہے (Géron, 2022, Chapter 2, "Better Evaluation Using Cross-Validation")۔ Géron کی قیمتوں والی مثال میں: 0.0 تربیتی خطا والا فیصلہ درخت 10 فولڈز کی کراس ویلیڈیشن میں 66,868 (±2,061) کا RMSE حاصل کرتا ہے – تقریباً لکیری ریگریشن جتنا (69,858 ±4,182)؛ رینڈم فاریسٹ 47,019 (±1,034)، لیکن خود تربیتی سیٹ پر تقریباً 17,474 – اب بھی نمایاں اوور فٹنگ (overfitting)۔ ہر ماڈل کے لیے دو عدد، اور تمام ماڈلز کے لیے وہی فولڈز۔

کتنے فولڈز۔ "مجموعی طور پر، پانچ یا دس فولڈز کی کراس ویلیڈیشن ایک اچھے سمجھوتے کے طور پر تجویز کی جاتی ہے": کم فولڈز بہت چھوٹے نمونے پر تربیت دیتے ہیں اور خطا کے تخمینے کو اوپر کی طرف متعصب کر دیتے ہیں؛ ایک کو چھوڑنا (leave-one-out، k = N) غیر متعصب لیکن غیر مستحکم ہے (Hastie et al., 2009, p. 243)۔ اور ایک معیاری خطا کا اصول: جانچے گئے ماڈلز میں سے سب سے کفایتی ماڈل منتخب کیا جاتا ہے جس کی خطا بہترین ماڈل سے ایک معیاری خطا سے زیادہ اوپر نہ ہو – کیونکہ کراس ویلیڈیشن کی منحنی کا تخمینہ خود خطا کے ساتھ ہوتا ہے (ص 244)۔ قیمت، Bishop کے ہاں: "کراس ویلیڈیشن کی ایک بڑی خامی یہ ہے کہ تربیتی رنز کی تعداد S گنا بڑھ جاتی ہے" (Bishop, 2006, p. 33) – سائٹ کے کیلکولیٹرز میں یہ کچھ بھی نہیں، نیورل نیٹ ورک میں یہ دنوں کا کام ہے۔ اور آخر ایک توثیقی سیٹ کی بجائے کراس ویلیڈیشن کیوں: ہولڈ آؤٹ طریقے (hold-out) میں جو جانچ کو دیا جاتا ہے وہ سیکھنے سے کٹ جاتا ہے، اور اس کے برعکس – "جب مشاہدات کی تعداد کم ہو تو H طریقہ درست طریقہ نہیں" خطا کے تخمینے کے لیے، جبکہ کراس ویلیڈیشن "اس بات کو یقینی بناتی ہے کہ تمام عناصر سیکھنے اور جانچ دونوں کے لیے استعمال ہوں" (Ishii et al., 2026, p. 89)۔ رینڈم فاریسٹس کو توثیق مفت ملتی ہے: ہر درخت واپسی کے ساتھ ایسے نمونے پر تربیت پاتا ہے جو تقریباً 37% مشاہدات کو باہر چھوڑ دیتا ہے، اور "تھیلے سے باہر" (out-of-bag) مشاہدات پر خطا کا تخمینہ N فولڈز کی کراس ویلیڈیشن کے "تقریباً یکساں" ہوتا ہے (Hastie et al., 2009, p. 593)۔

ٹیوننگ بھی – کراس ویلیڈیشن کے اندر۔ گرڈ سرچ (ہائپر پیرامیٹرز کے تمام امتزاج) یا رینڈم سرچ (امتزاجات کی مقررہ تعداد؛ جب امتزاجات کی فضا بڑی ہو تو بہتر – ضمیمہ A: رینڈم کو ترجیح دیں جب تک کہ قدریں کم نہ ہوں) ہر امتزاج کے لیے کراس ویلیڈیشن چلاتے ہیں، اور اوسط کی بنیاد پر انتخاب کرتے ہیں۔ اصول: کارکردگی پر مبنی ہر فیصلہ – ماڈل، ہائپر پیرامیٹر، کٹ آف، خصوصیات کی چھانٹی – فولڈز کے اندر کیا جاتا ہے، ان کے اوپر نہیں (سیکشن 5)۔

4. تعصب، تغیر – اور خطا کی حد

کسی ماڈل کی تعمیمی خطا تین چیزوں کا مجموعہ ہے: تعصب – غلط مفروضات (مربعی ڈیٹا کے لیے سیدھی لکیر) – جو انڈر فٹنگ (underfitting) کی طرف لے جاتا ہے؛ تغیر – تربیتی ڈیٹا میں چھوٹی تبدیلیوں کے لیے حد سے زیادہ حساسیت، جو بہت سے درجاتِ آزادی والے ماڈلز کا مقدر ہے – جو اوور فٹنگ (overfitting) کی طرف لے جاتا ہے؛ اور ناقابلِ تخفیف خطا – خود ڈیٹا میں شور، جسے صرف ڈیٹا کی صفائی کم کرتی ہے۔ ماڈل کی پیچیدگی بڑھانے سے تغیر بڑھتا ہے اور تعصب کم ہوتا ہے، اور اس کے برعکس – "اسی لیے اسے سمجھوتہ کہا جاتا ہے" (Géron, 2022, Chapter 4, "The Bias/Variance Trade-Off")۔ رسمی تجزیہ – کسی نقطے پر متوقع پیش گوئی کی خطا = شور کا تغیر + تعصب کا مربع + تخمینہ کار کا تغیر – Hastie اور ساتھیوں کے ہاں مساوات 7.9 ہے (ص 223)، اور پیٹرن کی شناخت میں "تعصب اور تغیر کا مخمصہ": MSE = Bias² + Var، اس لیے جب امتیازی تفاعل کا درجہ بڑھایا جائے اور نئے مشاہدات پر جانچا جائے تو خطا "ایک خاص درجے تک" کم ہوتی ہے، "اور پھر" بڑھتی ہے (Ishii et al., 2026, pp. 111-112)۔ تشخیص: تربیت پر اچھا اور کراس ویلیڈیشن میں برا – اوور فٹنگ؛ دونوں میں برا – انڈر فٹنگ۔ لرننگ کی منحنیاں – نمونے کے حجم کے تفاعل کے طور پر تربیتی خطا اور توثیقی خطا – یہ آنکھ سے دکھاتی ہیں، اور Bishop بتاتے ہیں کہ کیا مدد کرتا ہے: "کسی دی گئی ماڈل پیچیدگی کے لیے، اوور فٹنگ کا مسئلہ ڈیٹا سیٹ کے بڑا ہونے کے ساتھ کم سنگین ہو جاتا ہے" (Bishop, 2006, p. 9)۔ مشاہدات کی تعداد اور پیرامیٹرز اور خصوصیات کی تعداد کے درمیان تناسب پر – Bishop کا عام اصول اور Hughes کا مظہر – مشین لرننگ کا صفحہ، سیکشن 2 دیکھیں۔

اور عدد آخر کیا ہو بھی سکتا ہے۔ ایک حد ہے جس سے نیچے کوئی ماڈل نہیں جاتا: بیز خطا – "وہ حد جس سے خطا کا احتمال کم نہیں ہو سکتا، دوسرے الفاظ میں 'تقسیموں کا باہم چڑھاؤ'، جو وہ 'ناگزیر خطا' ہے جو خصوصیات نکالنے کا یہ نظام داخل کرتا ہے" (Ishii et al., 2026, p. 101)۔ جب خصوصیات کلاسوں کو الگ نہ کریں، تو کوئی الگورتھم الگ نہیں کرے گا۔ نازک خاندانوں کے چیلنج کی یہی درست تفہیم ہے: 160 ٹیمیں، 4,242 خاندان اور ہر ایک پر 12,942 متغیرات – اور ہولڈ آؤٹ ڈیٹا پر R² مادی محرومی اور اوسط نمبروں کے لیے تقریباً 0.2 اور باقی چار نتائج کے لیے تقریباً 0.05، کسی ماہر کے منتخب کردہ چار متغیرات پر ریگریشن کے حوالہ جاتی ماڈل سے "صرف کچھ بہتر"؛ پیش گوئی کی خطا کا اس خاندان سے مضبوط تعلق تھا جس کی پیش گوئی کی جا رہی تھی اور طریقے سے صرف کمزور (Salganik et al., 2020، خلاصہ اور سیکشن Results)۔ "چونکہ سینکڑوں محققین نے یہ کام آزمایا اور کوئی بھی درست پیش گوئی نہ کر سکا"، کم درستی "کو آسانی سے کسی خاص محقق یا طریقے کی حدود سے منسوب نہیں کیا جا سکتا" (Section Discussion) – یہ حد ہے، ناکامی نہیں۔ Kapoor اور Narayanan "پیش گوئی کی حدود کی ناسمجھی" کو نتائج دوبارہ حاصل نہ ہو سکنے کی ناکامیوں کی اپنی پہلی تشخیص شمار کرتے ہیں: تصویر کی شناخت میں کامیابیاں "یہ تاثر دیتی ہیں" کہ ماڈل ہر کام میں انسانوں سے آگے نکل جاتے ہیں، اور محققین کو اس بارے میں الجھا دیتی ہیں کہ سماجی نتائج کی پیش گوئی میں کیا توقع کی جا سکتی ہے؛ سفارش – درستی کی بالائی حدیں پہچاننا، اور جب وہ حاصل ہو جائیں تو ان سے آگے نکلنے کی کوشش ترک کرنا اور ان نتائج پر شک کرنا جو آگے نکلنے کا دعویٰ کریں (Kapoor & Narayanan, 2023, Section Discussion, D1-R1)۔ محققہ کے لیے: جو ماڈل پس منظر کے متغیرات سے تعلیم ترک کرنے پر AUC = .95 رپورٹ کرے وہ کوئی بڑی پیش رفت نہیں – وہ سیکشن 5 کی علامت ہے۔

5. ڈیٹا کا رساؤ: متاثر کن عدد جو جھوٹ ہے

Kapoor اور Narayanan نے مشین لرننگ پر مبنی سائنس کے لٹریچر کا جائزہ لیا اور 17 شعبوں کے 294 مقالوں میں رساؤ (leakage) پایا، "بعض صورتوں میں بے حد پُرامید نتائج کے ساتھ" (Kapoor & Narayanan, 2023, Section Summary)۔ ان کی درجہ بندی اس صفحے کی جانچ کی فہرست ہے: [L1] تربیت اور جانچ کے درمیان صاف علیحدگی نہیں – سرے سے کوئی جانچ کا سیٹ نہیں (L1.1)؛ پورے ڈیٹا پر ابتدائی پروسیسنگ – تقسیم سے پہلے گمشدہ قدروں کی تکمیل، معیار بندی یا زائد نمونہ گیری (L1.2؛ یہ Géron کی تنبیہ ہے: "تربیتی سیٹ کے سوا کسی بھی چیز کے لیے کبھی fit() یا fit_transform() استعمال نہ کریں"، باب 2، "Feature Scaling and Transformation")؛ پورے ڈیٹا پر خصوصیات کا انتخاب (L1.3)؛ نقلیں (L1.4)۔ [L2] ناجائز خصوصیات – جو دراصل خود ہدف ہیں: ان کی مثال ایک تحقیق ہے جس نے ہائی بلڈ پریشر کی دوائیں لینے سے ہائی بلڈ پریشر کی پیش گوئی کی۔ [L3] ایسا جانچ کا سیٹ جو اس تقسیم سے نہیں جس کے بارے میں دعویٰ ہے – وقت میں رساؤ (تربیت سے پہلے کے ڈیٹا پر جانچ، L3.1)، اور ٹوٹی ہوئی آزادی (L3.2, Section 6)۔ ان کی مثال سیاسیات ہے: خانہ جنگیوں کی پیش گوئی میں، جہاں پیچیدہ ماڈلز کو لاجسٹک ریگریشن پر "واضح فرق سے فاتح سمجھا گیا"، "جب غلطیاں درست کی گئیں تو پیچیدہ مشین لرننگ ماڈلز دہائیوں پرانے LR ماڈلز سے بنیادی طور پر بہتر کارکردگی نہیں دکھاتے" (Section Summary)۔ ان کی تجویز – "ماڈل کی معلوماتی شیٹ" جس میں محقق رساؤ کی ہر قسم کا جواب دیتا ہے – اور قارئین کے لیے: "مشین لرننگ پر مبنی سائنس کے نتائج کو عارضی سمجھیں" (R2)۔

وہ تجربہ جس نے یہ چودہ سال پہلے دکھا دیا تھا۔ Hastie اور ساتھی دو برابر کلاسوں میں 50 شرکاء اور 5,000 تصادفی پیش گو متغیرات (predictors) کی سمولیشن کرتے ہیں جن کا کلاس سے کوئی تعلق نہیں – درجہ بندی کی حقیقی خطا 50% ہے۔ "غلط طریقہ": پورے نمونے پر کلاس سے سب سے زیادہ ہم بستہ 100 پیش گو متغیرات چھانٹنا، اور پھر کراس ویلیڈیشن سے خطا کا تخمینہ لگانا – 50 سمولیشنز میں اوسط 3%، "حقیقی خطا کی شرح سے بہت کم"، کیونکہ پیش گو متغیرات باہر چھوڑے گئے شرکاء کو "پہلے ہی دیکھ چکے تھے"؛ "درست طریقہ": پہلے فولڈز میں تقسیم کرنا، اور چھانٹی، درجہ بند کی تعمیر اور پیش گوئی ہر فولڈ کے اندر کرنا (Hastie et al., 2009, pp. 245-246)۔ یہ بالکل L1.3 ہے – اور یہی وجہ ہے کہ نتیجے کے ساتھ ہم بستگی کی بنیاد پر آئٹمز کی چھانٹی، جو پیمانہ سازی میں ایک عام عادت ہے، تقسیم سے پہلے ممنوع ہے۔ تکنیکی حل پائپ لائن (scikit-learn میں Pipeline) ہے: تیاری کے تمام مراحل اور ماڈل ایک اکائی کے طور پر، جسے تربیتی فولڈ پر فٹ کیا جاتا ہے اور جانچ کے فولڈ پر لاگو کیا جاتا ہے – اس لیے یہ رس نہیں سکتی۔

6. ایسا ڈیٹا جو باہم آزاد نہیں: خاندان، جماعتیں، نیٹ ورک

اوپر کی ہر بات یہ فرض کرتی ہے کہ مشاہدات آزاد اور یکساں طور پر تقسیم شدہ ہیں (i.i.d.) – اور سماجی تحقیق میں وہ تقریباً کبھی ایسے نہیں ہوتے: ایک ہی جماعت کے طلبہ، ایک ہی خاندان کے افراد، نیٹ ورک میں دوست، ایک ہی شخص کی مکرر پیمائشیں (repeated measures)۔ Kapoor اور Narayanan کے سیکشن L3.2 میں اس مسئلے کو توثیق کی رکاوٹ کے طور پر بیان کیا گیا: "تربیتی اور جانچ کے نمونوں کے درمیان عدم آزادی رساؤ ہے، الا یہ کہ سائنسی دعویٰ اسی انحصاری ساخت والی تقسیم کے بارے میں ہو۔ انتہائی (مگر افسوس کہ عام) صورت میں، تربیتی اور جانچ کے نمونے انہی افراد یا اکائیوں سے آتے ہیں" (Kapoor & Narayanan, 2023, L3.2)۔ ربطی لرننگ کا لٹریچر اسی چیز کو ڈیٹا کی خاصیت کے طور پر بیان کرتا ہے، محقق کی غلطی کے طور پر نہیں: "شماریاتی درجہ بندی کے طریقوں پر کام کی بھاری اکثریت نے 'چپٹے' ڈیٹا پر توجہ دی ہے – ایسا ڈیٹا جو یکساں ساخت والی ہستیوں پر مشتمل ہو، جنہیں عموماً i.i.d. فرض کیا جاتا ہے۔ تاہم حقیقی دنیا کے بہت سے ڈیٹا سیٹس اپنی فطرت میں ربطی ہیں: باہم مربوط ویب صفحات، پیٹنٹس اور سائنسی مقالوں میں باہمی حوالے، سماجی نیٹ ورک، طبی ریکارڈ" (Taskar, Abbeel, Wong & Koller, 2007, p. 175)؛ "روایتی مشین لرننگ کے منظرناموں کے برعکس، جن میں لرننگ کا نظام i.i.d. مشاہدات کا ایک سلسلہ ان پٹ کے طور پر لیتا ہے، ربطی لرننگ کے الگورتھم کا ان پٹ عموماً ایک واحد، بھرپور طور پر مربوط مثال ہوتا ہے" (Getoor & Taskar, 2007, p. 4)۔ میکانزم خود ہم بستگی (autocorrelation) ہے: "متعلقہ ہستیوں پر ایک ہی متغیر کی قدروں کے درمیان شماریاتی انحصار"، جو "ربطی ڈیٹا سیٹس کی تقریباً عالمگیر خاصیت ہے" – Neville اور Jensen دیگر مثالوں کے علاوہ گنواتے ہیں: ان کارپوریشنوں کی صنعتی درجہ بندی جن کے بورڈ کے ارکان مشترک ہیں، ان موبائل صارفین کی فراڈ کی حیثیت جو مشترکہ نمبروں پر کال کرتے ہیں، اور قریبی رابطے میں رہنے والے لوگوں میں تپ دق کا پھیلاؤ (Neville & Jensen, 2007, p. 240)۔ یہ "ماڈل کی کارکردگی بہتر بنانے کا ایک منفرد موقع ہے، کیونکہ ایک شے کے بارے میں استنباط متعلقہ اشیاء کے بارے میں استنباط کو تقویت دے سکتا ہے" (ایضاً) – اور ٹھیک اسی وجہ سے، ایک عام ماڈل جسے طالب علم تربیت میں اور اس کا ہم جماعت جانچ میں ملے، خود ہم بستگی سے "اندازہ لگاتا ہے"، خصوصیات سے نہیں۔

کیا کیا جائے۔ تقسیم – تربیت اور جانچ میں، اور کراس ویلیڈیشن کے فولڈز میں – اس اکائی کے مطابق کی جاتی ہے جس کے بارے میں دعویٰ ہے: مکرر پیمائشوں (repeated measures) میں شریک کے مطابق، نیسٹڈ (nested) ڈیٹا میں جماعت یا اسکول کے مطابق، خاندان کے مطابق، برادری کے مطابق (آلات میں: scikit-learn میں GroupKFold اور اس جیسے)۔ اکائی کے مطابق پیمانے: فی طالب علم خطا فی جماعت خطا نہیں۔ وقت میں آگے کی پیش گوئی – جانچ تربیت کے بعد کی ہو (L3.1)، اس میں ملی ہوئی نہیں۔ اور جو انحصار سے فائدہ اٹھانا چاہے – کسی طالب علم کی اس کے دوستوں سے پیش گوئی کرنا – وہ ربطی ماڈلز کی طرف جاتا ہے (اجتماعی استنباط، درجہ وار ماڈل؛ آلات کا نقشہ، سیکشن 4)، اور رپورٹ کرتا ہے کہ دعویٰ اسی ساخت والے نیٹ ورک کے بارے میں ہے، کسی اکیلے شریک کے بارے میں نہیں۔ سائٹ کی جانچ: یہ پوچھیں "اگر میں اس شریک کو جانچ کے سیٹ سے لوں، تو تربیتی سیٹ میں کون اس سے حد سے زیادہ مشابہ ہے؟" – اور اگر کوئی جواب ہو، تو تقسیم غلط ہے۔

7. کیا رپورٹ کیا جاتا ہے

مکمل پیراگراف، ترتیب وار: پیمانہ اور کیوں (خطا کی قیمت؛ منتخب کٹ آف)؛ تقسیم – جانچ کی شرح، طبقہ بندی، کس اکائی کے مطابق، سیڈ؛ کراس ویلیڈیشن – کتنے فولڈز، ہر جانچے گئے ماڈل کے لیے اوسط اور معیاری انحراف، ناکام ہونے والوں سمیت؛ حوالہ جاتی لکیر – نقلی درجہ بند اور معلوم متغیرات پر ریگریشن؛ اہم عدد اس سے فرق ہے، خود پیمانہ نہیں؛ جانچ کا سیٹ – ایک بار، پیمانہ اور وقفۂ اعتماد، الجھن کا میٹرکس، اور کراس ویلیڈیشن سے فرق؛ ذیلی گروہ – Géron تقاضا کرتے ہیں کہ یقینی بنایا جائے کہ ماڈل صرف اوسطاً نہیں بلکہ "اضلاع کے تمام زمروں پر، دیہی ہوں یا شہری، امیر ہوں یا غریب، شمالی ہوں یا جنوبی، اقلیت ہوں یا نہیں" کام کرتا ہے، اور اگر وہ کسی پورے زمرے پر ناکام ہو تو اسے اس کے لیے نافذ نہ کیا جائے "کیونکہ یہ فائدے سے زیادہ نقصان کر سکتا ہے" (Géron, 2022, Chapter 2, "Analyzing the Best Models and Their Errors")؛ رساؤ – درجہ بندی کی ہر قسم کا واضح جواب، "ماڈل کی معلوماتی شیٹ" کی طرز پر؛ اور ماڈل کیا نہیں کہتا – پیش گوئی سبب نہیں۔ سب کچھ منسلک نوٹ بک سے دوبارہ حاصل کیا جا سکتا ہے – سائٹ کے تمام کیلکولیٹرز کا وہی اصول: غیر دستاویزی حسابی نتیجہ کوئی دریافت نہیں۔

اور رپورٹ میں یہ کیسا نظر آتا ہے۔ Truong کا باب 11 پانچوں کتابوں میں واحد باب ہے جو تحریر سے متعلق ہے۔ تحقیقی مقالے کے لیے ان کی ساخت جانی پہچانی ساخت ہے – عنوان، خلاصہ، تعارف، لٹریچر کا جائزہ، طریقۂ کار، نتائج، بحث اور اختتامیہ – لیکن طریقۂ کار میں چار ذیلی سیکشن ہیں جو ریگریشن میں نہیں ہوتے: ڈیٹا کا ماخذ اور متغیرات کی وضاحت (ہر متغیر کے کردار – ہدف یا ان پٹ – اور اس کے پیمانے سمیت)؛ ڈیٹا مائننگ کا عمل؛ "الگورتھم اور کنفیگریشنز" – ایک جدول جس میں ہر ماڈل کے ہائپر پیرامیٹرز ہوں، جیسے درج کیے گئے (درخت کی زیادہ سے زیادہ گہرائی، تقسیم کا اصول، رکنے کا اصول، "اوور فٹنگ سے بچاؤ کے سیٹ" کی شرح)، "ایسا کرنے کا آسان ترین طریقہ کنفیگریشنز کا جدول میں خلاصہ کرنا ہے"؛ اور جانچ کے پیمانے – کون سے، اور کیوں (Truong, 2026, pp. 396, 414-415)۔ نتائج میں: تمام ماڈلز کا ایک ہی سیٹ پر موازنہ، چیمپیئن ماڈل (champion model) کی شناخت – "جو صرف ان ماڈلز میں چیمپیئن ہے جنہیں ہم نے دیے گئے ڈیٹا پر تربیت دی اور جانچا"، اور جو نسبتاً بہترین ہو سکتا ہے نہ کہ بہترین (ص 189) – اور پھر، صرف چیمپیئن کے لیے، تمام سیٹس پر پیمانے ساتھ ساتھ، اور متغیرات کی اہمیت کا موازنہ۔ اس صفحے سے ایک فرق جاننا مفید ہے: Truong لکھتے ہیں کہ "تربیتی نمونے کے نتائج الگ سے رپورٹ کرنے کی ضرورت نہیں" (ص 188)، جبکہ یہاں تربیت اور کراس ویلیڈیشن کے درمیان فرق رپورٹ کیا جاتا ہے – کیونکہ یہ اوور فٹنگ (overfitting) کا ثبوت ہے، اور کیونکہ Truong خود اسی سے اعتباریت ناپتے ہیں (سیکشن 2)۔ اور ان سے جوں کا توں کیا نہ لیا جائے: عام اصول – "5% یا اس سے کم غلط درجہ بندی کی شرح کو بہترین سمجھا جاتا ہے، اور 5% سے 10% کے درمیان – اچھی"، اور درستی، حساسیت، مخصوصیت (specificity) اور F1 کے لیے "95% اور اس سے اوپر بہترین، 90-95% اچھا" – ان کے ہاں صراحت کے ساتھ ذاتی رائے کے طور پر پیش کیے گئے ہیں، اس جملے کے بعد کہ "ان پیمانوں کے لیے کوئی معیاری کٹ آف قدریں نہیں؛ فیصلہ صنعت اور خطا کی برداشت پر منحصر ہے" (ص 199-200)۔ پس منظر کے متغیرات سے انسانی نتائج کی پیش گوئی میں (سیکشن 4) یہ قدریں موجود ہی نہیں، اور جو محققہ ان تک پہنچ جائے – وہ سیکشن 5 پر واپس جائے۔

8. اور R میں یہ کیسے کریں

دو حصے۔ الف۔ نمونے سے باہر کی پیش گوئیوں پر سیکشن 1 کے پیمانے: مشین لرننگ کے صفحے کی مثال کی ڈیٹا فائل (320 طلبہ، تعلیم ترک کرنے کی شرح 11.6%) پر دس فولڈز کی کراس ویلیڈیشن میں لاجسٹک ریگریشن، اور پھر تمام پیمانوں کے ساتھ الجھن کا میٹرکس (caret کا confusionMatrix، mode = "everything" – حساسیت، مخصوصیت (specificity)، precision، F1، اور "بے معلوماتی شرح"، جو نقلی درجہ بند کی درستی ہے)، AUC کے لیے وقفۂ اعتماد کے ساتھ ROC منحنی، یوڈن کے مطابق "بہترین" کٹ آف، اور انہی پیش گوئیوں سے precision-recall منحنی (pROC)۔ پیمانوں کی فہرست – درستی، حساسیت، مخصوصیت، precision، غلط مثبت اور غلط منفی کی شرحیں – Gutierrez کی ہے (2015, Chapter 7, "Measuring Classification Performance")، جو یہ تنبیہ بھی کرتے ہیں: "اگر الگورتھم کی کارکردگی حقیقت ہونے کے لیے بہت اچھی ہو، تو ڈیٹا کا رساؤ اس کی وجہ ہو سکتا ہے" (Chapter 7, "Data Leakage")۔ ب۔ سیکشن 5 کے تجربے کی نقل – Hastie اور ساتھیوں (2009، ص 245-246) کا "کراس ویلیڈیشن کا غلط اور درست طریقہ" – سو سطروں میں: 50 شرکاء، 5,000 تصادفی پیش گو متغیرات، سب سے زیادہ ہم بستہ 100 کی چھانٹی، ایک قریبی پڑوسی، پانچ فولڈز۔ راستہ C:\Rdata\ – سائٹ کا ضابطہ۔

# model_evaluation.R - performance measures and validation in R: confusion matrix, ROC, cross-validation - and leakage in numbers
library(readxl); library(caret); library(pROC); library(class)

# --- A. The measures - on out-of-sample predictions, not on the training set ---
d <- read_excel("C:/Rdata/DATA_ml_example_eng.xlsx")
d$dropout <- factor(d$dropout, levels = c(0, 1), labels = c("no", "yes"))
d$gender  <- factor(d$gender, levels = c(1, 2), labels = c("male", "female"))
d$id <- NULL
ctrl <- trainControl(method = "cv", number = 10, classProbs = TRUE,
                     summaryFunction = twoClassSummary, savePredictions = "final")
set.seed(1)
m <- train(dropout ~ . - school_id, data = d, method = "glm", family = binomial,
           metric = "ROC", trControl = ctrl, preProcess = c("medianImpute", "center", "scale"),
           na.action = na.pass)
cv <- m$pred                                   # one prediction per observation - from the fold where it was held out
confusionMatrix(cv$pred, cv$obs, positive = "yes", mode = "everything")   # at threshold 0.5
r <- roc(cv$obs, cv$yes, levels = c("no", "yes"), direction = "<")
auc(r); ci.auc(r)                              # AUC and confidence interval
coords(r, "best", best.method = "youden", ret = c("threshold", "sensitivity", "specificity", "precision"))
# precision-recall curve - for a rare class - from the same predictions:
pr <- coords(r, x = seq(0.05, 0.6, by = 0.05), ret = c("threshold", "recall", "precision"))
pr

# --- B. The wrong and right way to do cross-validation (Hastie et al., 2009, pp. 245-246) ---
# 50 subjects in two equal classes, 5,000 random predictors - true error 50%.
set.seed(20260920)
N <- 50; P <- 5000; K <- 5; n_keep <- 100
y <- factor(rep(c("A", "B"), each = N / 2))
X <- matrix(rnorm(N * P), N, P)
folds <- createFolds(y, k = K)
screen <- function(X, y, n) {                   # the 100 predictors most correlated with the class
  r <- abs(cor(X, as.numeric(y)))
  order(-r)[1:n]
}
# wrong way: screen on the whole sample, then cross-validate
keep_all <- screen(X, y, n_keep)
err_wrong <- sapply(folds, function(te) {
  tr <- setdiff(seq_len(N), te)
  mean(knn(X[tr, keep_all], X[te, keep_all], y[tr], k = 1) != y[te])
})
# right way: screening inside each fold, on that fold's training data only
err_right <- sapply(folds, function(te) {
  tr <- setdiff(seq_len(N), te)
  keep <- screen(X[tr, ], y[tr], n_keep)
  mean(knn(X[tr, keep], X[te, keep], y[tr], k = 1) != y[te])
})
c(wrong = mean(err_wrong), right = mean(err_right))   # ~0.03 vs ~0.50

کیا نکلا (R 4.3.3، caret 6.0-94، pROC 1.18.5، class 7.3-22؛ مکمل آؤٹ پٹ – qa/ml/ev_out.txt)۔ الف۔ کٹ آف 0.5 پر: مجموعی درستی .884 – بالکل بے معلوماتی شرح (.884) کے برابر، یعنی اس کٹ آف پر ماڈل نقلی درجہ بند سے بہتر نہیں؛ حساسیت .03، precision .50، F1 .05۔ وہی ماڈل، وہی پیش گوئیاں: AUC = .66، وقفۂ اعتماد [.57, .76]؛ یوڈن کے مطابق کٹ آف .13 – حساسیت .57، مخصوصیت (specificity) .72، precision .21؛ اور کٹ آف کے ساتھ ساتھ، .05 سے .50 تک، حساسیت .89 سے .03 تک گرتی ہے اور precision .14 سے .50 تک بڑھتی ہے – یہ سیکشن 1 کا سمجھوتہ اعداد میں ہے، اور وہ جو ایک واحد پیمانہ چھپا دیتا ہے۔ ب۔ غلط طریقہ: خطا 2%؛ درست طریقہ: 60% – مکمل طور پر تصادفی پیش گو متغیرات پر، جن پر حقیقی خطا 50% ہے (اور 50 شرکاء میں 60% پانچ فولڈز کے شور میں 50% ہی ہے)۔ Hastie اور ساتھیوں نے 50 سمولیشنز میں 3% رپورٹ کیا؛ یہاں ایک سمولیشن، سیڈ 20260920۔ جو نتیجے کے ساتھ ہم بستگی کی بنیاد پر تقسیم سے پہلے آئٹمز چھانٹتا ہے اسے پہلا عدد ملتا ہے۔

عام غلطیاں

نایاب کلاس پر مجموعی درستی رپورٹ کرنا۔ 6% طلبہ کے تعلیم ترک کرنے کی پیش گوئی میں 94% درستی نقلی درجہ بند ہی ہے۔ الجھن کا میٹرکس، precision اور حساسیت رپورٹ کیے جاتے ہیں – نقلی درجہ بند کے مقابل (سیکشن 1)۔

پورے ڈیٹا پر معیار بندی، تکمیل یا خصوصیات کا انتخاب – اور پھر تقسیم۔ سب سے عام رساؤ (L1.2-L1.3)۔ SPSS کی عادت – "پہلے فائل صاف کی جاتی ہے" – ہی مسئلہ ہے۔ پائپ لائن صرف تربیت پر فٹ کی جاتی ہے (سیکشن 5)۔

جب اکائی شریک، جماعت یا خاندان ہو تو قطاروں کو تقسیم کرنا۔ ایک ہی شخص کی تین پیمائشیں تربیت اور جانچ میں – اور ماڈل پیش گوئی کرنے کی بجائے اسے "پہچان لیتا ہے" (سیکشن 6)۔ تقسیم اس اکائی کے مطابق جس کے بارے میں دعویٰ ہے۔

جانچ کے سیٹ پر ٹیوننگ۔ چلانا، دیکھنا کہ نتیجہ اچھا نہیں، بدلنا، دوبارہ چلانا۔ دوسری بار کے بعد جانچ کا سیٹ توثیق کا سیٹ بن جاتا ہے، اور رپورٹ کیا جانے والا عدد پُرامید ہوتا ہے (سیکشن 2)۔

بکھراؤ کے بغیر ایک عدد۔ ایک فولڈ سے AUC = .78 دوسرے فولڈ میں .71 ہو سکتا ہے۔ فولڈز پر اوسط اور معیاری انحراف، جانچ پر وقفۂ اعتماد (سیکشن 3)۔

حوالہ جاتی لکیر کے بغیر ماڈل سے متاثر ہونا۔ AUC = .78 شاندار لگتا ہے جب تک یہ نظر نہ آئے کہ چار متغیرات پر لاجسٹک ریگریشن .76 دیتی ہے۔ عدد فرق ہے – اور Salganik اور ساتھیوں (2020) نے دکھایا کہ یہ کتنا چھوٹا ہو سکتا ہے۔

جانچ کے R² کو ریگریشن کا R² سمجھنا۔ نئے ڈیٹا پر یہ صفر بلکہ منفی بھی ہو سکتا ہے؛ نازک خاندانوں کے چیلنج میں 0.2 تو 160 ٹیموں کا ریکارڈ تھا۔

زائد نمونہ گیری سے کلاسوں کا توازن کرنا – اور احتمالات رپورٹ کرنا۔ SMOTE یا نقل کے بعد، نایاب کلاس کے لیے پیش گو احتمال (predicted probability) کا تخمینہ حد سے زیادہ لگتا ہے، اور AUC نہیں بڑھتا (van den Goorbergh et al., 2022)۔ کٹ آف کو کھسکایا جاتا ہے، یا فیصلے کا میٹرکس درج کیا جاتا ہے (سیکشن 1)؛ اور اگر توازن کیا جائے – تو صرف تربیتی فولڈ کے اندر۔

حد سے زیادہ بلند پیمانے کو کامیابی سمجھنا۔ جب نتیجہ لٹریچر اور حوالہ جاتی لکیر سے بہت آگے نکل جائے، تو پہلا شک رساؤ کا ہے (سیکشن 5) – کوئی خصوصیت جو بھیس بدلا ہوا ہدف ہو، یا کوئی شریک جو دونوں طرف موجود ہو۔ "نتائج کو… عارضی سمجھیں" (Kapoor & Narayanan, 2023, R2)۔

جانچ کی فہرست – پیش گوئی کا نتیجہ رپورٹ کرنے سے پہلے

حوالہ جات

Bishop, C. M. (2006). Pattern recognition and machine learning. Springer.

Géron, A. (2022). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems (3rd ed.). O'Reilly Media.

Getoor, L., & Taskar, B. (2007). Introduction. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 1-12). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0003

Gutierrez, D. D. (2015). Machine learning and data science: An introduction to statistical learning methods with R. Technics Publications.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

IBM Corporation. (2016). IBM SPSS Modeler 18.0 source, process, and output nodes. IBM. https://public.dhe.ibm.com/software/analytics/spss/documentation/modeler/18.0/en/ModelerSPOnodes.pdf

Ishii, K., Ueda, N., Maeda, E., & Murase, H. (2026). Pattern recognition and machine learning for self-study I: Supervised learning. Springer. https://doi.org/10.1007/978-981-95-1478-6

Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), Article 100804. https://doi.org/10.1016/j.patter.2023.100804

Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1-26. https://doi.org/10.18637/jss.v028.i05

Neville, J., & Jensen, D. (2007). Relational dependency networks. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 239-268). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0010

Salganik, M. J., Lundberg, I., Kindel, A. T., Ahearn, C. E., Al-Ghoneim, K., Almaatouq, A., Altschul, D. M., Brand, J. E., Carnegie, N. B., Compton, R. J., Datta, D., Davidson, T., Filippova, A., Gilroy, C., Goode, B. J., Jahani, E., Kashyap, R., Kirchner, A., McKay, S., . . . McLanahan, S. (2020). Measuring the predictability of life outcomes with a scientific mass collaboration. Proceedings of the National Academy of Sciences, 117(15), 8398-8403. https://doi.org/10.1073/pnas.1915006117

Shmueli, G. (2010). To explain or to predict? Statistical Science, 25(3), 289-310. https://doi.org/10.1214/10-STS330

Taskar, B., Abbeel, P., Wong, M.-F., & Koller, D. (2007). Relational Markov networks. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 175-200). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0008

Truong, D. (2026). Demystifying AI: Data science and machine learning using IBM SPSS Modeler. Chapman and Hall/CRC. https://doi.org/10.1201/9781003468196

van den Goorbergh, R., van Smeden, M., Timmerman, D., & Van Calster, B. (2022). The harm of class imbalance corrections for risk prediction models: Illustration and simulation using logistic regression. Journal of the American Medical Informatics Association, 29(9), 1525-1534. https://doi.org/10.1093/jamia/ocac093

Wendler, T., & Gröttrup, S. (2021). Data mining with SPSS Modeler: Theory, exercises and solutions (2nd ed.). Springer. https://doi.org/10.1007/978-3-030-54338-9