سماجی محقق کے لیے مشین لرننگ: پیش گوئی، نہ کہ صرف وضاحت

اس صفحے پر

مشین لرننگ (machine learning)، اس تعریف کے مطابق جس سے Géron اپنی کتاب کا آغاز کرتے ہیں، "کمپیوٹروں کو اس طرح پروگرام کرنے کی سائنس (اور فن) ہے کہ وہ ڈیٹا سے سیکھ سکیں"؛ Arthur Samuel (1959) کی کلاسیکی عبارت میں – "مطالعے کا وہ شعبہ جو کمپیوٹروں کو واضح طور پر پروگرام کیے بغیر سیکھنے کی صلاحیت دیتا ہے"؛ اور Tom Mitchell (1997) کی انجینئرنگ عبارت میں – ایک پروگرام "تجربے E سے کسی کام T اور کارکردگی کے پیمانے P کے حوالے سے سیکھتا ہے، اگر T میں اس کی کارکردگی، جیسا کہ P سے ناپی جاتی ہے، تجربے E کے ساتھ بہتر ہوتی ہے" (دونوں بحوالہ Géron, 2022، باب 1)۔ شماریات کے پس منظر والی محققہ کو یہ تعریفیں کچھ زیادہ ہی جانی پہچانی لگتی ہیں: ریگریشن بھی ڈیٹا سے عددی سر "سیکھتی" ہے۔ فرق الگورتھم میں نہیں – لاجسٹک ریگریشن دونوں دنیاؤں میں وہی لاجسٹک ریگریشن ہے – بلکہ مقصد میں ہے اور اسی لیے توثیق میں: سائٹ کے کیلکولیٹرز کی شماریات پوچھتی ہے کہ کون سا متغیر اثر ڈالتا ہے اور کتنا، اور اس کی توثیق عددی سر، معیاری خطا اور معنویت سے کرتی ہے؛ مشین لرننگ پوچھتی ہے کہ کسی نئے مشاہدے کے ساتھ کیا ہو گا، اور اس کی توثیق صرف ایک طریقے سے کرتی ہے – اس ڈیٹا پر جو ماڈل نے نہیں دیکھا۔ یہ صفحہ اس شعبے کی سب سے عام عملی درسی کتاب، Aurélien Géron کی Hands-On Machine Learning (تیسرا ایڈیشن، 2022)، کے گرد بنا ہے، اور اس کے ساتھ اسی سکے کا دوسرا رخ جوڑتا ہے – Hastie، Tibshirani اور Friedman کی The Elements of Statistical Learning (دوسرا ایڈیشن، 2009)، وہ کتاب جو ماہرینِ شماریات نے انہی الگورتھمز کو شماریاتی ماڈلز کے طور پر سمجھانے کے لیے لکھی: "یہ کتاب ڈیٹا سے سیکھنے کے بارے میں ہے"، اور "شماریاتی لرننگ سائنس، مالیات اور صنعت کے بہت سے شعبوں میں کلیدی کردار ادا کرتی ہے" (Hastie et al., 2009, p. 1)۔ اور تیسری کتاب، Christopher Bishop (2006) کی، احتمالی نقطۂ نظر کا اضافہ کرتی ہے: پیٹرن کی شناخت "کی جڑیں انجینئرنگ میں ہیں، جبکہ مشین لرننگ کمپیوٹر سائنس سے پروان چڑھی"، لیکن "انہیں ایک ہی شعبے کے دو رخ سمجھا جا سکتا ہے" – اور اس میں بیزی طریقے "ایک ماہرانہ گوشے سے مرکزی دھارے میں" آ گئے (Bishop, 2006، دیباچہ)۔ اور چوتھی، پیٹرن کی شناخت کی انجینئرنگ روایت سے: Ishii، Ueda، Maeda اور Murase (2026) کی خود آموز درسی کتاب – جو "ان لوگوں کے لیے لکھی گئی جو یہ موضوعات خود سیکھنے کی کوشش کر رہے ہیں"، اعلانیہ طور پر "جدید ترین ٹیکنالوجیز" پر "کلاسیکی موضوعات" کو ترجیح دیتی ہے، کیونکہ "بنیادی علم کا حصول… جدید ترین ٹیکنالوجیز کو سیکھنے کی کارکردگی کو نمایاں طور پر بہتر بنائے گا"، اور ایک ہی سفارش پر ختم ہوتی ہے: حقیقی ڈیٹا کے ساتھ کام کریں (Ishii et al., 2026، دیباچہ)۔ اور پانچویں، سافٹ ویئر کی طرف سے: Dothang Truong (2026) کی SPSS Modeler کی درسی کتاب، جو اس احساس کے ساتھ لکھی گئی کہ "متنوع شعبوں، جیسے کاروبار، مارکیٹنگ، مالیات، ہوا بازی، سماجی علوم اور انسانیات، کے سیکھنے والے خود کو پیچھے رہ جانے والا محسوس کر سکتے ہیں" ایک ایسے شعبے میں جو پروگرامروں پر زور دیتا ہے، اور یہ کہ آج کل "بہت سی ایپلی کیشنز صارفین کو کوڈ کی ایک سطر لکھے بغیر مشین لرننگ ماڈلز بنانے دیتی ہیں" (Truong, 2026، دیباچہ)۔ Géron بتاتے ہیں کہ کیا کیا جاتا ہے، Hastie اور ان کے رفقا بتاتے ہیں کہ یہ کیوں کام کرتا ہے اور کب نہیں، Bishop بتاتے ہیں کہ ماڈل احتمالات کے بارے میں کیا فرض کرتا ہے، Ishii اور ان کے رفقا بتاتے ہیں کہ اس اصطلاح کے فیشن بننے سے پہلے کیا کچھ معلوم تھا، اور Truong بتاتے ہیں کہ مینو میں اسے کیا کہا جاتا ہے؛ یہ صفحہ ان چاروں میں وہ بات شامل کرتا ہے جو درسی کتابیں – جو انجینئروں اور ماہرینِ شماریات کے لیے لکھی گئیں – نہیں کہتیں: یہ سب سماجی تحقیق کے ساتھ کیا کرتا ہے (سیکشن 1)، اور جب انسانی زندگیوں کی پیش گوئی کی کوشش کی جاتی ہے تو کیا ہوتا ہے (Salganik et al., 2020)۔ ترتیب: وضاحت اور پیش گوئی میں امتیاز (1)، لرننگ کی اقسام اور چیلنجز کا نقشہ (2)، شروع سے آخر تک منصوبہ (3)، توثیق کا خلاصہ (4) – پیمانے، جانچ کا سیٹ، کراس ویلیڈیشن (cross-validation)، ڈیٹا کا رساؤ (leakage) اور پیش گوئی کی حدود ایک الگ صفحہ ہیں، کارکردگی کے پیمانے اور توثیق – خود ماڈلز (5)، نیورل نیٹ ورکس (6)، ٹولز (7)، کام کا نسخہ (8) – اور یہ R میں (9) اور SPSS Modeler میں (10) کیسے کیا جاتا ہے۔ حوالے کے بارے میں نوٹ: Géron کی ڈیجیٹل نقل میں صفحات کے نمبر نہیں، اس لیے اس کے حوالے باب اور سیکشن کے مطابق ہیں؛ Hastie اور ان کے رفقا، Bishop، Ishii اور ان کے رفقا اور Truong کے – صفحے کے مطابق۔

1. دو ثقافتیں: وضاحت یا پیش گوئی

وہ امتیاز جو شماریات نے نہیں کیا۔ رینڈم فارسٹس کے موجد Leo Breiman نے صدی کا آغاز ایک ایسے مقالے سے کیا جس نے سمجھایا کہ ماہرینِ شماریات اور انجینئر ایک زبان کیوں نہیں بولتے: "ڈیٹا سے نتائج اخذ کرنے کے لیے شماریاتی ماڈلنگ کے استعمال میں دو ثقافتیں ہیں۔ ایک فرض کرتی ہے کہ ڈیٹا کسی دیے گئے احتمالی (stochastic) ڈیٹا ماڈل سے پیدا ہوا ہے۔ دوسری الگورتھمی ماڈلز استعمال کرتی ہے اور ڈیٹا کے میکانزم کو نامعلوم سمجھتی ہے" – اور شماریات کی برادری، ان کے بقول، "تقریباً صرف ڈیٹا ماڈلز کے استعمال کی پابند رہی ہے" (Breiman, 2001a، خلاصہ)۔ Galit Shmueli نے اس امتیاز کو ایک عملی نقشے میں بدل دیا: توضیحی ماڈلنگ کسی سببی نظریے کو جانچنے کے لیے ماڈل کا استعمال ہے، اور سماجی علوم میں "شماریاتی طریقے تقریباً صرف سببی نظریے کو جانچنے کے لیے استعمال ہوتے ہیں" – اور عملاً، تقریباً ہمیشہ، "مشاہداتی ڈیٹا پر ربط پر مبنی ماڈلز میں۔ ریگریشن ماڈلز سب سے عام مثال ہیں" (Shmueli, 2010, Section 1.1)؛ پیش گویانہ ماڈلنگ "نئے یا مستقبل کے مشاہدات کی پیش گوئی کے لیے ڈیٹا پر کسی شماریاتی ماڈل یا ڈیٹا مائننگ الگورتھم کے اطلاق کا عمل" ہے (سیکشن 1.2)۔ عام غلطی یہ مفروضہ ہے کہ "اعلیٰ توضیحی قوت والے ماڈل فطری طور پر اعلیٰ پیش گویانہ قوت رکھتے ہیں" (خلاصہ) – اور یہ درست نہیں: توضیحی قوت اور پیش گویانہ قوت دو جہتیں ہیں، ایک ہی تسلسل کے دو سرے نہیں (سیکشن 4.2)؛ توثیق بھی مختلف ہے – توضیحی ماڈلنگ میں جانچا جاتا ہے کہ ماڈل نظریے کی نمائندگی کرتا ہے اور ڈیٹا کے مطابق ہے، اور پیش گویانہ ماڈلنگ میں نئے ڈیٹا تک تعمیم کو جانچا جاتا ہے، اور "تعمیم کے لیے سب سے بڑا خطرہ تربیتی ڈیٹا پر اوور فٹنگ (overfitting) ہے" (سیکشن 2.6.1)۔ Géron باڑ کے دوسری طرف سے یہی بات کہتے ہیں: مشین لرننگ کے زیادہ تر کام پیش گوئی سے متعلق ہیں، اور "تربیتی ڈیٹا پر اچھی کارکردگی اچھی ہے، لیکن کافی نہیں؛ اصل مقصد نئی مثالوں پر اچھی کارکردگی دکھانا ہے" (Géron, 2022, Chapter 1, "Instance-Based Versus Model-Based Learning")۔

اور یہ نفسیات اور عمرانیات کے ساتھ کیا کرتا ہے۔ Yarkoni اور Westfall کا مؤقف ہے کہ سببی وضاحت پر نفسیات کی تقریباً مکمل توجہ نے اسے "نفسیاتی میکانزم کے پیچیدہ نظریات" کے ساتھ چھوڑ دیا جن میں "مستقبل کے رویے کی پیش گوئی کی بہت کم (یا نامعلوم) صلاحیت" ہے، اور وہ مشین لرننگ کے اصول اپنانے کی تجویز دیتے ہیں – اور ان کے بقول، پیش گوئی پر زور ہی رویے کی بہتر تفہیم تک لے جائے گا (Yarkoni & Westfall, 2017، خلاصہ)۔ Hofman، Watts اور ان کے رفقا – جن میں Susan Athey، Jon Kleinberg، Matthew Salganik اور Tal Yarkoni شامل ہیں – Nature میں ہر تحقیق کے لیے دو جہتوں کا خاکہ پیش کرتے ہیں: وہ کس حد تک وضاحت کرتی ہے (سببی اثرات کی شناخت اور تخمین کاری) اور کس حد تک نتائج کی پیش گوئیوں کو جانچتی ہے، اور وہ کمپیوٹیشنل سماجی علوم (computational social science) کو دونوں کی "مربوط ماڈلنگ" کی دعوت دیتے ہیں (Hofman et al., 2021، خلاصہ)۔ Molina اور Garip، ماہرینِ عمرانیات کے لیے، استعمالات گنواتے ہیں: متن اور تصاویر جیسے نئے ذرائع سے پیمانے کشید کرنا، آبادی میں تفاوت (heterogeneity) کی خصوصیات بیان کرنا، سببی استنباط کو بہتر بنانا، اور پالیسی اور نظریہ سازی کے لیے پیش گوئیاں (Molina & Garip, 2019، خلاصہ)۔

اور جب کوشش کی جاتی ہے تو کیا ہوتا ہے۔ انسانی زندگیوں کی پیش گوئی کا سب سے بڑا تجربہ "نازک خاندانوں کا چیلنج" (Fragile Families Challenge) ہے: محققین کی 160 ٹیموں کو 4,242 خاندانوں کا ڈیٹا ملا – ہر خاندان کے لیے 12,942 متغیرات، جو بچے کی پیدائش سے 9 سال کی عمر تک جمع کیے گئے – اور ان سے 15 سال کی عمر میں چھ نتائج کی پیش گوئی کرنے کو کہا گیا: گریڈز کا اوسط، "گرِٹ" (ثابت قدمی)، گھر سے بے دخلی، مادی تنگی، نگہداشت کرنے والے والدین کی ملازمت سے برطرفی اور پیشہ ورانہ تربیت میں ان کی شرکت۔ نتیجہ: بہترین پیش گوئیاں بھی درست نہیں تھیں – روکے گئے ڈیٹا (holdout) پر R² مادی تنگی اور گریڈز کے اوسط کے لیے تقریباً 0.2 اور باقی چار نتائج کے لیے تقریباً 0.05 – اور وہ ایک سادہ حوالہ جاتی ماڈل سے صرف تھوڑی سی بہتر تھیں: کسی ماہرِ موضوع کے چنے ہوئے چار متغیرات پر لکیری یا لاجسٹک ریگریشن (تین پیدائش کے وقت ماں کے بارے میں – نسلی پس منظر، ازدواجی حیثیت اور تعلیم – اور اسی نتیجے، یا اس کے قریب کسی نتیجے، کی 9 سال کی عمر میں پیمائش)۔ پیش گوئی کی خطا اس خاندان سے مضبوطی سے جڑی تھی جس کی پیش گوئی کی جا رہی تھی اور طریقے سے صرف کمزوری سے (Salganik et al., 2020، خلاصہ اور سیکشن Results)۔ مصنفین – 112 محققین، جن کی سربراہی Matthew Salganik (Bit by Bit کے مصنف، جو ٹولز کے نقشے میں شامل ہے) نے کی – کا نتیجہ یہ ہے کہ زندگی کے سفر کے محققین کو "اس خیال کو کہ وہ زندگی کے راستوں کو سمجھتے ہیں، اس حقیقت سے ہم آہنگ کرنا ہو گا کہ کوئی بھی پیش گوئی خاص طور پر درست نہیں تھی" (Section Significance)، اور اسے حل کرنا ہو گا جسے وہ "تفہیم/پیش گوئی کا تضاد" کہتے ہیں: اسی ڈیٹا سے 750 سے زیادہ توضیحی مقالے نکلے – اور وہ پیش گوئی نہیں کرتے (Section Discussion)۔ محققہ کے لیے: دونوں ثقافتیں ایک دوسرے کا متبادل نہیں۔ جو توضیحی ماڈل کچھ بھی پیش گوئی نہیں کرتا وہ شک کے لائق ہے؛ جو پیش گویانہ ماڈل کوئی نہیں سمجھتا وہ ایک اور طرح کے شک کے لائق ہے (سیکشن 5، "سفید اور سیاہ ڈبا")؛ اور زیادہ تر وقت جواب یہ ہے کہ دونوں رپورٹ کیے جائیں۔

2. شعبے کا نقشہ: لرننگ کی اقسام اور کیا غلط ہو سکتا ہے

Géron مشین لرننگ کے نظاموں کو تین محوروں کے مطابق درجہ بند کرتے ہیں (Géron, 2022, Chapter 1, "Types of Machine Learning Systems")۔ پہلا – نگرانی کی مقدار۔ نگرانی شدہ لرننگ (supervised) میں تربیتی سیٹ میں مطلوبہ جوابات – لیبلز – شامل ہوتے ہیں، اور دو عام کام درجہ بندی (اسپام / اسپام نہیں) اور ریگریشن (کلومیٹرز، عمر اور بنانے والی کمپنی کے لحاظ سے گاڑی کی قیمت) ہیں؛ ان کے درمیان کی حد مسام دار ہے – لاجسٹک ریگریشن ایک ریگریشن ماڈل ہے جو درجہ بندی کے لیے استعمال ہوتا ہے، کیونکہ وہ احتمال دیتا ہے۔ غیر نگرانی شدہ لرننگ (unsupervised) میں لیبلز نہیں ہوتے، اور کام یہ ہیں: کلسٹرز (ملتے جلتے وزیٹرز کے گروہ)، بصری پیشکش اور ابعاد میں کمی (ہم بستہ خصوصیات، جیسے کلومیٹرز اور عمر، کو "فرسودگی" کی ایک خصوصیت میں ضم کرنا)، آؤٹ لائرز کی نشان دہی اور ایسوسی ایشن کے قواعد کی لرننگ (جو باربی کیو ساس اور چپس خریدتا ہے وہ اسٹیک بھی خریدتا ہے) – سماجی محقق کے لیے یہ وہی عاملی تجزیہ اور کلسٹر تجزیہ ہیں جن سے وہ واقف ہے، اور ان کا اپنا صفحہ ہے: غیر نگرانی شدہ لرننگ – اور کیلکولیٹرز: کلسٹر تجزیہ اور دریافتی عاملی تجزیہ۔ ان کے درمیان – نیم نگرانی شدہ لرننگ (تھوڑے لیبلز، بہت سا بغیر لیبل کا ڈیٹا)، خود نگرانی شدہ لرننگ (ماڈل اپنے لیے خود لیبل بناتا ہے – تصویر کا کچھ حصہ چھپا کر اسے بحال کرنا سیکھتا ہے – اور پھر اسے کسی اور کام کے لیے فائن ٹیون کیا جاتا ہے: یہی NLP کے صفحے والے لسانی ماڈلز کا اصول ہے)، اور ری انفورسمنٹ لرننگ (ایجنٹ، اعمال، انعامات)۔ دوسرا – بیچ بمقابلہ آن لائن: ایک ماڈل جسے تمام ڈیٹا پر ایک بار تربیت دی جاتی ہے، بمقابلہ ایک ماڈل جو بہاؤ کے دوران سیکھتا رہتا ہے؛ محقق کے لیے متعلقہ بات "ماڈل کے بگاڑ" (model rot) کے بارے میں تبصرہ ہے – ماڈل کی کارکردگی وقت کے ساتھ گرتی ہے "محض اس لیے کہ دنیا ارتقا پذیر رہتی ہے جبکہ ماڈل جوں کا توں رہتا ہے"۔ تیسرا – مثال پر مبنی بمقابلہ ماڈل پر مبنی: رٹ کر مماثلت کے لحاظ سے تعمیم کرنا (قریب ترین ہمسائے)، یا مثالوں کا ایک ماڈل بنانا۔ Géron کی مثال عمرانیاتی ہے: فی کس جی ڈی پی کے لحاظ سے زندگی سے اطمینان (OECD اور عالمی بینک کا ڈیٹا)۔ ایک سیدھی لکیر قبرص کو 6.30 دیتی ہے؛ جی ڈی پی میں تین قریب ترین ہمسائے – اسرائیل (7.2)، لتھوانیا اور سلووینیا (ہر ایک 5.9) – اوسطاً 6.33 دیتے ہیں۔ دو طریقے، ایک ہی جواب، اور دونوں میں سے کسی نے قبرص نہیں دیکھا۔ لیکن "ہمسائے" اس وقت قریب نہیں رہتے جب متغیرات بہت زیادہ ہوں – ابعاد کی لعنت: دس ابعاد میں، ڈیٹا کا 10% سمیٹنے کے لیے ہر متغیر کی وسعت کا 80% احاطہ کرنا پڑتا ہے، اس طرح ہر "مقامی" پڑوس دراصل فضا کا بیشتر حصہ ہوتا ہے (Hastie et al., 2009, pp. 22-23)؛ اس لیے ہر وہ طریقہ جو چھوٹے پڑوسوں میں مقامی طور پر بدلنے والا فنکشن فٹ کرنے کی کوشش کرتا ہے "اعلیٰ ابعاد میں مسائل سے دوچار ہو گا" (ص 33)۔ "ہمارے ہندسی وجدان، جو تین ابعادی فضا میں زندگی سے بنے ہیں، بری طرح ناکام ہو سکتے ہیں" کثیر ابعادی فضاؤں میں – بیس ابعاد والے کرے میں تقریباً سارا حجم سطح کے قریب ایک پتلے خول میں ہوتا ہے (Bishop, 2006, p. 36)۔ 80 آئٹمز اور 300 جواب دہندگان والے سروے کی محققہ کے لیے یہ کوئی تکنیکی تفصیل نہیں – یہی وجہ ہے کہ محدود کیے گئے ماڈلز اور درخت (سیکشن 5) وہاں کام کرتے ہیں، اور قریب ترین ہمسائے نہیں۔

کیا غلط ہو سکتا ہے: برا ڈیٹا اور برا ماڈل (ibid., "Main Challenges of Machine Learning")۔ بہت کم ڈیٹا – "بہت سادہ مسائل کے لیے بھی عموماً ہزاروں مثالیں درکار ہوتی ہیں"؛ Banko اور Brill (2001) کے مشہور مقالے نے دکھایا کہ بہت مختلف الگورتھمز، بشمول سادہ الگورتھمز کے، کافی ڈیٹا ملنے پر تقریباً یکساں کارکردگی تک پہنچتے ہیں – لیکن Géron خود تحفظ ظاہر کرتے ہیں کہ "چھوٹے اور درمیانے ڈیٹا سیٹس اب بھی بہت عام ہیں"، اس لیے "ابھی الگورتھمز کو ترک نہ کریں"۔ غیر نمائندہ ڈیٹا – مثال ہماری اپنی مثال ہے: 1936 میں Literary Digest کا سروے، تقریباً دس ملین وصول کنندگان، 2.4 ملین جوابات، Landon کے لیے 57% کی پیش گوئی؛ Roosevelt 62% سے جیتے۔ فہرستیں (ٹیلی فون کے صارفین، کلبوں کے ارکان) امیروں کی طرف جھکی ہوئی تھیں، اور ایک چوتھائی سے کم نے جواب دیا – نمونہ گیری کا تعصب اور عدم جواب کا تعصب (nonresponse bias)، بالکل تحقیقی طریقۂ کار کے کورس کی اصطلاحات میں۔ ناقص معیار کا ڈیٹا – آؤٹ لائرز، شور، گمشدہ قدریں: "زیادہ تر ڈیٹا سائنس دان اپنے وقت کا ایک بڑا حصہ" صفائی میں صرف کرتے ہیں۔ غیر متعلقہ خصوصیات – "کچرا اندر، کچرا باہر"؛ فیچر انجینئرنگ نئی خصوصیات کا انتخاب، اخراج اور جمع کرنا ہے۔ اور ماڈل کی طرف: اوور فٹنگ – ڈیٹا کی مقدار اور اس میں موجود شور کے لحاظ سے حد سے زیادہ پیچیدہ ماڈل، جو خود شور میں سانچے دیکھ لیتا ہے؛ مثال: تربیتی ڈیٹا میں، ان تمام ممالک کا زندگی سے اطمینان 7 سے اوپر ہے جن کے نام میں w ہے – نیوزی لینڈ (7.3)، ناروے (7.6)، سویڈن (7.3) اور سوئٹزرلینڈ (7.5) – "آپ کو کتنا یقین ہے کہ w والا قاعدہ روانڈا یا زمبابوے پر بھی لاگو ہو گا؟" حل: سادہ تر ماڈل، زیادہ ڈیٹا، کم شور – اور ریگولرائزیشن: ماڈل کو محدود کرنا، مثلاً ڈھلوان کو چھوٹا رہنے پر مجبور کرنا، جسے ایک ہائپر پیرامیٹر کنٹرول کرتا ہے۔ Bishop یہی بات ایک کثیر رقمی (polynomial) سے واضح کرتے ہیں: دس نقطوں پر درجہ 9 کا کثیر رقمی ان سب میں سے ٹھیک ٹھیک گزرتا ہے، صفر تربیتی خطا کے ساتھ، "لیکن فٹ کیا گیا منحنی بے تحاشا ڈولتا ہے" – "اور یہ رویہ اوور فٹنگ کہلاتا ہے" (ص 6)؛ "کسی دی گئی ماڈل پیچیدگی کے لیے، اوور فٹنگ کا مسئلہ ڈیٹا سیٹ کے بڑھنے کے ساتھ کم سنگین ہو جاتا ہے"، اور جو موٹا اصول وہ نقل کرتے ہیں – اور اس سے اختلاف بھی کرتے ہیں – یہ ہے کہ مشاہدات کی تعداد ماڈل کے قابلِ تطبیق پیرامیٹرز کی تعداد کے 5 سے 10 گنا سے کم نہ ہو (ص 9)۔ عددی سروں کے حجم پر جرمانہ شماریات میں "سکڑاؤ کے طریقے" کہلاتا ہے، اس کی مربع صورت – ریج ریگریشن (ridge)، اور نیورل نیٹ ورکس میں – "اوزان کا زوال" (weight decay) (ص 10): ایک خیال کے تین نام۔ اور Bishop ایک بنیادی دعوے کے طور پر جو اضافہ کرتے ہیں: اوور فٹنگ "زیادہ سے زیادہ امکان (likelihood) کی ایک عمومی خاصیت" ہے، اور بیزی طریقے میں – جس میں "پیرامیٹرز کی مؤثر تعداد خود بخود ڈیٹا سیٹ کے حجم کے مطابق ڈھل جاتی ہے" – اس سے اس ماڈل میں بھی بچا جا سکتا ہے جس کے پیرامیٹرز کی تعداد مشاہدات کی تعداد سے کہیں زیادہ ہو (ص 9)۔ اور اسی سوال کو – کتنے مشاہدات درکار ہیں – پیٹرن کی شناخت خصوصیات کی طرف سے پوچھتی ہے: "بدقسمتی سے، کوئی عمومی جواب نہیں"، لیکن ایک معروف مظہر موجود ہے – Hughes کا مظہر (Hughes phenomenon): جب تک خصوصیات کی تعداد d مشاہدات کی تعداد n کے مقابلے میں چھوٹی ہے، کسی خصوصیت کا اضافہ درجہ بندی کو بہتر بناتا ہے؛ جب d، n کے مقابلے میں کافی بڑھ جائے تو "شماریاتی اعتباریت گر جاتی ہے، اور توقعات کے برعکس، درجہ بندی کی کارکردگی بگڑ جاتی ہے" – وجہ ہے "بہت زیادہ خصوصیات کا اضافہ، یہ بھول کر کہ لرننگ کے مشاہدات کی تعداد محدود ہے" (Ishii et al., 2026, pp. 84, 86-87)۔ محققہ کے لیے: پیمانے میں ایک اور آئٹم ضروری نہیں کہ ماڈل کے لیے مزید معلومات ہو۔ اور انڈر فٹنگ (underfitting) – ڈیٹا کی ساخت کے لیے حد سے زیادہ سادہ ماڈل (زندگی سے اطمینان کے لیے سیدھی لکیر)، جو تربیتی ڈیٹا پر ہی ناکام ہو جاتا ہے۔ آخر میں، "مفت کھانا نہیں" کا قضیہ (Wolpert, 1996, as cited in Géron, Chapter 1): جو ڈیٹا کے بارے میں کچھ فرض نہیں کرتا اس کے پاس ایک ماڈل کو دوسرے پر ترجیح دینے کی کوئی وجہ نہیں؛ ماڈل کے ہر انتخاب میں ایک مضمر مفروضہ ہوتا ہے (سیدھی لکیر = "لکیر سے فاصلہ شور ہے")، اور یہ جاننے کا واحد طریقہ کہ کون بہتر ہے، موازنہ ہے – ایسے ڈیٹا پر جو تربیت میں استعمال نہیں ہوا۔

3. شروع سے آخر تک منصوبہ: آٹھ قدم

Géron کا باب 2 ایک مکمل منصوبہ ہے – کیلیفورنیا کے 20,640 مردم شماری اضلاع (مردم شماری 1990) میں گھر کی وسطانی قیمت کی پیش گوئی – اور کتاب کا ضمیمہ A اسے آٹھ قدموں کی جانچ کی فہرست میں بدل دیتا ہے: مسئلے کی تشکیل، ڈیٹا کا حصول، اس کی چھان بین، اس کی تیاری، امید افزا ماڈلز کی مختصر فہرست، باریک ٹیوننگ، حل کی پیشکش، اور اجرا اور دیکھ بھال (Géron, 2022، ضمیمہ A)۔ جو چیز اس پائپ لائن کو عام شماریاتی تجزیے سے ممتاز کرتی ہے وہ الگورتھم نہیں بلکہ چار فیصلے ہیں جو ڈیٹا کو دیکھنے سے پہلے کیے جاتے ہیں۔

الف۔ تشکیل: مقصد کیا ہے، پیمانہ کیا ہے، آج کیا موجود ہے۔ پہلا سوال یہ ہے کہ مقصد کیا ہے – "ماڈل بنانا شاید حتمی مقصد نہیں" – کیونکہ وہی تشکیل (نگرانی شدہ؟ ریگریشن؟ بیچ؟)، الگورتھم اور کارکردگی کا پیمانہ طے کرتا ہے؛ دوسرا یہ کہ موجودہ حل کیا ہے – مثال میں، ماہرین جو دستی تخمینہ لگاتے ہیں اور "30% سے زیادہ" غلطی کرتے ہیں: یہی وہ حوالہ جاتی لکیر ہے جسے ماڈل کو پار کرنا ہے۔ پھر مفروضات (assumptions) کو جانچا جاتا ہے: اگر پیش گوئی وصول کرنے والا نظام قیمتوں کو زمروں ("سستا / درمیانہ / مہنگا") میں بدلتا ہے تو مسئلہ درجہ بندی کا ہے نہ کہ ریگریشن کا – "آپ یہ ریگریشن کے نظام پر مہینوں کام کرنے کے بعد معلوم کرنا نہیں چاہیں گے" (Chapter 2, "Frame the Problem", "Check the Assumptions")۔ کارکردگی کا پیمانہ ابھی چنا جاتا ہے، آخر میں نہیں: ریگریشن کے لیے – RMSE، جو بڑی غلطیوں کو سزا دیتا ہے، یا MAE جب آؤٹ لائرز بہت ہوں؛ درجہ بندی کے لیے – غلطی کی قیمت کے مطابق (کارکردگی کے پیمانے اور توثیق، سیکشن 1 اور وہاں جدول 1)۔

ب۔ جانچ کا سیٹ – چھان بین سے پہلے، بعد میں نہیں۔ "اس مرحلے پر ڈیٹا کا کچھ حصہ الگ رکھ دینا عجیب لگ سکتا ہے"، Géron لکھتے ہیں، لیکن "آپ کا دماغ سانچوں کی شناخت کا ایک حیرت انگیز نظام ہے، اور اس کا مطلب یہ بھی ہے کہ وہ اوور فٹنگ کی طرف بہت مائل ہے" – جھانکنے کا تعصب (data snooping bias; Chapter 2, "Create a Test Set")۔ تقریباً 20% جانچ کے لیے، ایک مستحکم اور طبقہ بند (stratified) تقسیم میں؛ تفصیلات – دو کے بجائے تین سیٹ کیوں، اور کس اکائی کے لحاظ سے تقسیم کی جائے – کارکردگی کے پیمانے اور توثیق میں، سیکشن 2 اور 6۔

ج۔ چھان بین اور تیاری – صرف تربیتی سیٹ پر، اور فنکشنز میں۔ چھان بین جانی پہچانی ہے: تقسیمیں، ہدف کے ساتھ پیئرسن ہم بستگیاں (مثال میں، وسطانی آمدنی کی گھر کی قیمت کے ساتھ ہم بستگی 0.69 ہے)، سکیٹر پلاٹس، اور خصوصیات کے امتزاج (کل کمروں کے بجائے فی گھر کمرے)۔ تیاری – کوڈ میں، ہاتھ سے نہیں، چار وجوہات سے: نئے ڈیٹا پر دہرانا، اگلے منصوبوں میں دوبارہ استعمال، زندہ نظام میں چلانا، اور متبادلات کے ساتھ آسان تجربہ (Chapter 2, "Prepare the Data")۔ تین قدم: گمشدہ قدریں – قطاریں حذف کرنا، متغیر حذف کرنا، یا قدر کو بھرنا (impute) – وسطانیہ، اوسط، عادہ – اور وہ قاعدہ جو مشین لرننگ کو SPSS کی عادات سے ممتاز کرتا ہے: وسطانیہ تربیتی سیٹ پر نکالا جاتا ہے اور محفوظ کیا جاتا ہے، تاکہ اسے توثیق کے سیٹ، جانچ کے سیٹ اور ہر نئے ڈیٹا پر لاگو کیا جا سکے؛ زمرہ جاتی متغیرات – ون ہاٹ انکوڈنگ (one-hot، ڈمی متغیرات)؛ اور پیمانے کی تبدیلی – "چند استثنائات کے سوا، مشین لرننگ الگورتھمز اس وقت اچھی کارکردگی نہیں دکھاتے جب عددی خصوصیات کے پیمانے بہت مختلف ہوں" (کل کمرے 6 سے 39,320، آمدنی 0 سے 15): من-میکس سے 0-1 کی وسعت، یا معیار بندی (standardization) (اوسط 0، معیاری انحراف 1)، جو آؤٹ لائرز کے لیے کم حساس ہے۔ اور انتباہ، Géron کے اپنے الفاظ میں: "fit() یا fit_transform() کو تربیتی سیٹ کے سوا کسی چیز کے لیے کبھی استعمال نہ کریں" (Chapter 2, "Feature Scaling and Transformation") – سیکشن 4 بتاتا ہے کہ یہ محض باریک بینی کیوں نہیں۔ فیصلہ جاتی درخت آسان استثنا ہیں: انہیں پیمانے کی تبدیلی کی بالکل ضرورت نہیں (باب 6)۔

د۔ تربیت دیں، موازنہ کریں – k فولڈز میں – اور ٹیون کریں۔ تربیتی ڈیٹا پر لکیری ریگریشن تقریباً 68,600 ڈالر کا RMSE دیتی ہے جبکہ زیادہ تر قیمتیں 120 سے 265 ہزار کے درمیان ہیں – انڈر فٹنگ (underfitting)۔ فیصلہ جاتی درخت 0.0 کا RMSE دیتا ہے – "رکیں، کیا!؟ بالکل کوئی خطا نہیں؟" – مکمل اوور فٹنگ، جو ماڈل کے نہ دیکھے ہوئے ڈیٹا کے بغیر دیکھی نہیں جا سکتی۔ آلہ ہے کراس ویلیڈیشن (k-fold cross-validation): تربیتی سیٹ کو 10 فولڈز میں تقسیم کیا جاتا ہے، 9 فولڈز پر 10 بار تربیت دی جاتی ہے اور دسویں پر جانچا جاتا ہے، اور نہ صرف تخمینہ بلکہ اس کی درستی (precision) بھی ملتی ہے – اوسط اور معیاری انحراف۔ درخت 66,868 (±2,061) پر آ جاتا ہے، تقریباً ریگریشن جتنا (69,858 ±4,182)؛ رینڈم فارسٹ 47,019 (±1,034) دیتا ہے – لیکن خود تربیتی سیٹ پر تقریباً 17,474، یعنی اب بھی نمایاں اوور فٹنگ (Chapter 2, "Better Evaluation Using Cross-Validation")۔ کتنے فولڈز، ایک معیاری خطا کا قاعدہ، اور چھوٹے نمونے میں کیا کیا جائے – کارکردگی کے پیمانے اور توثیق، سیکشن 3۔ ہدایت: کئی خاندانوں کے ماڈلز کو ٹیون کیے بغیر آزمائیں، 2-5 امید افزا ماڈلز تک مختصر کریں – اور تب ہی ہائپر پیرامیٹرز کو ٹیون کریں، گرڈ سرچ (تمام امتزاج) کے ذریعے یا، جب امتزاجوں کی فضا بڑی ہو، رینڈم سرچ (امتزاجوں کی مقررہ تعداد؛ ضمیمہ A: رینڈم کو ترجیح دیں الا یہ کہ قدریں کم ہوں) کے ذریعے۔ ٹیوننگ کے بعد ماڈل کو دیکھا جاتا ہے: رینڈم فارسٹ خصوصیات کی اہمیت رپورٹ کرتا ہے – مثال میں، وسطانی آمدنی پہلے نمبر پر (0.19) – اور غلطیوں کا تجزیہ کیا جاتا ہے؛ اور Géron ایک ایسا تقاضا شامل کرتے ہیں جسے ہر سماجی محقق پہچان لے گا: یہ یقینی بنانا کہ ماڈل صرف اوسطاً نہیں بلکہ "اضلاع کے تمام زمروں پر، دیہی یا شہری، امیر یا غریب، شمالی یا جنوبی، اقلیتی یا نہیں" کام کرتا ہے – اور اگر وہ کسی پورے زمرے پر ناکام ہو، تو اسے اس کے لیے نافذ نہ کیا جائے، "کیونکہ وہ فائدے سے زیادہ نقصان پہنچا سکتا ہے" (Chapter 2, "Analyzing the Best Models and Their Errors")۔

ہ۔ جانچ کا سیٹ – ایک بار، اور اس کے بعد ہاتھ نہیں لگایا جاتا۔ حتمی ماڈل کو وقفۂ اعتماد کے ساتھ جانچ کے سیٹ پر ناپا جاتا ہے، اور پھر: "آپ کو ہائپر پیرامیٹرز کو ٹیون کرنے کی ترغیب کا مقابلہ کرنا چاہیے تاکہ اعداد جانچ کے سیٹ پر اچھے لگیں؛ یہ بہتریاں نئے ڈیٹا تک تعمیم پانے کا امکان نہیں رکھتیں" (Chapter 2, "Evaluate Your System on the Test Set")۔ پیشکش – کیا سیکھا گیا، کیا کام کیا اور کیا نہیں، کون سے مفروضات، حدود کیا ہیں؛ اور مثال میں، دیانت داری سے: نظام ان ماہرین سے "کچھ زیادہ بہتر نہیں" جو 30% غلطی کرتے تھے۔ آخری دو قدم – اجرا، نگرانی اور دوبارہ تربیت – زندہ نظاموں سے تعلق رکھتے ہیں؛ محقق کے لیے ان میں سے صرف ماڈل کے بگاڑ والا تبصرہ باقی رہتا ہے: ماڈل اپنے زمانے کے ڈیٹا سے بندھا ہوتا ہے۔

4. کیسے معلوم ہو کہ ماڈل اچھا ہے – مختصراً

مکمل بیان – کارکردگی کے پیمانے اور توثیق میں؛ یہاں وہ چار سطریں جن پر باقی سب ٹکا ہے۔ غلطی کی قیمت کے مطابق پیمانہ: مجموعی درستی (accuracy) کسی نایاب کلاس میں گمراہ کن ہے – ایک نقلی درجہ بند جو ہر چیز پر "نہیں" کہتا ہے، جب مشاہدات کا دسواں حصہ مثبت ہو، 90% پاتا ہے، "Nostradamus کو مات دیتا ہے" (Géron, 2022, Chapter 3)؛ الجھن کا میٹرکس (confusion matrix)، precision اور حساسیت، اور حد (threshold) رپورٹ کی جاتی ہے۔ وہ ڈیٹا جو ماڈل نے نہیں دیکھا: تربیتی خطا پیچیدگی کے ساتھ صفر تک گرتی ہے، "لیکن صفر تربیتی خطا والا ماڈل تربیتی ڈیٹا پر اوور فٹ ہوتا ہے اور عموماً بری طرح تعمیم کرے گا" (Hastie et al., 2009, pp. 220-221) – اس لیے تربیت، توثیق اور جانچ، اور کراس ویلیڈیشن جو اوسط اور معیاری انحراف دیتی ہے۔ تعصب اور تغیر: تعمیمی خطا = تعصب² + تغیر + شور؛ پیچیدگی تعصب کو کم اور تغیر (variance) کو زیادہ کرتی ہے – "اسی لیے اسے سودا (tradeoff) کہا جاتا ہے" (Géron, Chapter 4)۔ رساؤ (leakage) اور حد: Kapoor اور Narayanan نے 17 شعبوں کے 294 مقالوں میں ڈیٹا کا رساؤ پایا، اور خانہ جنگیوں کی پیش گوئی میں، "جب غلطیاں درست کی گئیں تو پیچیدہ مشین لرننگ ماڈلز دہائیوں پرانے LR ماڈلز سے کافی بہتر کارکردگی نہیں دکھاتے" (Kapoor & Narayanan, 2023, Section Summary)؛ اور ان سب سے اوپر بیز خطا (Bayes error) ہے – خصوصیات کے نظام کی "ناگزیر خطا" (Ishii et al., 2026, p. 101)، وہ حد جس سے Salganik اور ان کے رفقا کی 160 ٹیمیں R² = 0.2 پر ٹکرائیں۔ حوالہ جاتی لکیر اور ادب سے کہیں بہتر نتیجہ بڑی پیش رفت کی علامت ہونے سے پہلے رساؤ کی علامت ہے۔

5. ماڈلز: سیدھی لکیر سے رینڈم فارسٹ تک

Géron مثالی منصوبے کو اس مشورے پر ختم کرتے ہیں کہ "شاید بہتر یہ ہے کہ مجموعی عمل سے مانوس ہوا جائے اور تین چار الگورتھمز کو اچھی طرح جانا جائے، بجائے اس کے کہ سارا وقت جدید الگورتھمز کی چھان بین میں صرف کیا جائے" (Chapter 2, "Try It Out!")۔ جدول 1 ان خاندانوں کو ترتیب دیتا ہے جنہیں جاننا مفید ہے، اور اس سے پہلے کا متن سماجی محقق کے لیے سب سے اہم تین کی وضاحت کرتا ہے – وہ ریگریشنز جو اس کے پاس پہلے سے ہیں، درخت، اور جنگل۔

ریگریشنز – وہی فارمولے، ایک اضافہ۔ لکیری اور لاجسٹک ریگریشن Géron کے ہاں (باب 4) بالکل وہی ہیں جو سائٹ کے لاجسٹک ریگریشن کے صفحے پر ہیں – خصوصیات کا وزنی مجموعہ، اور لاجسٹک میں – اس کا لاجسٹک فنکشن بطور احتمال، اور ایک حد (عموماً 50%) جو اسے درجہ بند میں بدل دیتی ہے؛ کئی کلاسوں تک توسیع سافٹ میکس ریگریشن ہے۔ کتاب جو اضافہ کرتی ہے وہ ریگولرائزیشن ہے: ریج ریگریشن (ridge؛ عددی سروں کے مربعوں کے مجموعے پر جرمانہ – انہیں سکیڑتا ہے)، لاسو (lasso؛ ان کی مطلق قدروں کے مجموعے پر جرمانہ – ان میں سے کچھ کو صفر کر دیتا ہے، یعنی خصوصیات کا انتخاب کرتا ہے)، الاسٹک نیٹ (امتزاج)، اور جلد روکنا (early stopping)۔ Hastie اور ان کے رفقا – Tibshirani لاسو کے موجد ہیں – ٹھیک ٹھیک بیان کرتے ہیں کہ یہ کیا کرتا ہے: جب عددی سروں کے مجموعے کا بجٹ کم کیا جاتا ہے تو "کچھ عددی سر بالکل صفر ہوں گے۔ اس طرح لاسو ایک طرح کا مسلسل ذیلی سیٹ انتخاب کرتا ہے" (Hastie et al., 2009, p. 69)۔ اس محققہ کے لیے جو ریگریشن کو "جیسی ہے ویسی" برتنے کی عادی ہے: جب مقصد پیش گوئی ہو تو سکیڑے ہوئے اور "غلط" عددی سروں والا ماڈل بعض اوقات غیر متعصب عددی سروں والے ماڈل سے بہتر پیش گوئی کرتا ہے – یہ سیکشن 4 کا سودا عمل میں ہے، اور محدود کیا گیا عددی سر ایسا عددی سر نہیں جسے اثر کے طور پر سمجھا جا سکے۔

فیصلہ جاتی درخت – سفید ڈبا۔ درخت (باب 6) سوالات کا ایک سلسلہ ہے: کیا پنکھڑی کی لمبائی 2.45 سینٹی میٹر سے کم ہے؟ – اگر ہاں، تو Iris setosa؛ اگر نہیں، کیا اس کی چوڑائی 1.75 سے کم ہے؟ – versicolor، ورنہ virginica۔ الگورتھم (CART) ہر نوڈ پر ایک خصوصیت اور ایک حد چنتا ہے جو گروہ کو دو خالص ترین ذیلی گروہوں میں تقسیم کرے (ان کے حجم کے لحاظ سے وزنی)، طے شدہ طور پر Gini اشاریے سے یا اینٹروپی سے – "زیادہ تر وقت اس سے زیادہ فرق نہیں پڑتا"، Gini تیز تر ہے۔ پتے میں کلاس کا احتمال اس پتے میں اس کلاس کے مشاہدات کا تناسب ہے (54 میں سے 49 = 90.7%)۔ فوائد: تقریباً ڈیٹا کی تیاری کے بغیر، پیمانے کی تبدیلی کے بغیر، اور قابلِ تفہیم ہونا – "اچھے اور سادہ درجہ بندی کے قواعد جنہیں ہاتھ سے بھی لاگو کیا جا سکتا ہے" – اسی لیے "سفید ڈبا ماڈل"، بمقابلہ جنگلات اور نیٹ ورکس کے، جو "سیاہ ڈبا" سمجھے جاتے ہیں: بہترین پیش گوئی کرتے ہیں، اور ان کے کیے ہوئے ہر حساب کو جانچا جا سکتا ہے، "اور پھر بھی عموماً سادہ الفاظ میں یہ بتانا مشکل ہوتا ہے کہ پیش گوئیاں کیوں کی گئیں"۔ نقصانات: درخت ایک غیر پیرامیٹرک ماڈل ہے – پیرامیٹرز کی تعداد پہلے سے مقرر نہیں، اور اگر اسے محدود نہ کیا جائے تو وہ ڈیٹا سے اوور فٹنگ (overfitting) کی حد تک چمٹ جائے گا (زیادہ سے زیادہ گہرائی – طے شدہ: کوئی حد نہیں – پتوں کی تعداد، پتے میں کم سے کم مشاہدات)؛ اسے محوروں پر عمودی حدیں پسند ہیں، اس لیے وہ ڈیٹا کی گردش (rotation) کے لیے حساس ہے؛ اور سب سے بڑھ کر – بلند تغیر (variance): ڈیٹا یا ہائپر پیرامیٹرز میں چھوٹی سی تبدیلی بہت مختلف درخت دیتی ہے، اور بالکل اسی ڈیٹا پر دوبارہ تربیت بھی دوسرا درخت دے سکتی ہے، کیونکہ الگورتھم ہر نوڈ پر جانچی جانے والی خصوصیات کو تصادفی طور پر منتخب کرتا ہے (الا یہ کہ رینڈم سیڈ مقرر کیا جائے؛ باب 6، "Decision Trees Have a High Variance")۔ ماہرینِ شماریات دونوں سمتوں سے متفق ہیں: "درختوں کا ایک بڑا مسئلہ ان کا بلند تغیر ہے۔ اکثر ڈیٹا میں چھوٹی سی تبدیلی تقسیموں کا بہت مختلف سلسلہ پیدا کر سکتی ہے، جو تشریح کو کسی حد تک غیر یقینی بنا دیتی ہے" – درجہ وار ساخت کی وجہ سے، سب سے اوپر والی تقسیم میں غلطی اس کے نیچے ہر چیز میں پھیل جاتی ہے (Hastie et al., 2009, p. 312)؛ اور اس کے باوجود، "تمام معروف لرننگ طریقوں میں سے، فیصلہ جاتی درخت" ڈیٹا مائننگ کے لیے "تیار" (off-the-shelf) طریقے کے "تقاضوں کو پورا کرنے کے سب سے قریب ہیں" – تیز، قابلِ تفہیم (جب درخت چھوٹا ہو)، عددی اور زمرہ جاتی متغیرات کے ملاپ اور گمشدہ قدروں سے نمٹنے والے، اور پیش گو متغیرات (predictors) میں یک سمتی (monotonic) تبدیلیوں اور آؤٹ لائرز سے بے نیاز (ص 352)۔ اسی صفحے پر وہ تبصرہ بھی ہے جس کی محققین کو ضرورت ہے: ڈیٹا مائننگ کے اطلاقات "عموماً قابلِ تفہیم ماڈلز کا تقاضا کرتے ہیں۔ صرف پیش گوئیاں پیدا کرنا کافی نہیں" – اسی لیے "نیورل نیٹ ورکس جیسے سیاہ ڈبا طریقے" وہاں بہت کم مفید ہیں (ص 351-352)۔ جو یہ رپورٹ کرتا ہے کہ "درخت نے پایا کہ…" وہ بہت سے ممکنہ درختوں میں سے ایک درخت کی رپورٹ دیتا ہے۔

رینڈم فارسٹ – ہجوم کی دانش، تفہیم کی قیمت پر۔ تغیر (variance) کا حل اوسط نکالنا ہے: پیش گو ماڈلز کا ایک "اینسمبل" (باب 7)۔ Géron کا وجدانی تصور ایک جانب دار سکہ ہے جو 51% احتمال کے ساتھ "ہیڈ" پر گرتا ہے – ایک اچھال میں تقریباً تصادفی، لیکن 1,000 اچھالوں میں "ہیڈ" کی اکثریت کا احتمال تقریباً 75% ہے، اور 10,000 میں 97% سے زیادہ: بڑے اعداد کا قانون – بشرطیکہ پیش گو ماڈلز کافی زیادہ اور کافی متنوع ہوں۔ تنوع دو طریقوں سے حاصل ہوتا ہے: بیگنگ (bagging, "bootstrap aggregating"; Breiman, 1996, as cited in Géron) – ہر درخت کو تربیتی سیٹ سے واپسی کے ساتھ لیے گئے نمونے پر تربیت دی جاتی ہے (اوسطاً تقریباً 63% مشاہدات؛ باقی 37%، "تھیلے سے باہر"، مفت توثیق کے لیے استعمال ہوتے ہیں – out-of-bag evaluation – الگ توثیق کے سیٹ کے بغیر)؛ اور مزید، رینڈم فارسٹ میں، ہر نوڈ پر درخت بہترین تقسیم کا انتخاب خصوصیات کے صرف ایک تصادفی ذیلی مجموعے میں سے کرتا ہے (طے شدہ طور پر n میں سے جذرِ n) – "جو ایک بار پھر کم تغیر کے بدلے زیادہ تعصب کا سودا کرتا ہے، اور عموماً مجموعی طور پر بہتر ماڈل دیتا ہے" (Chapter 7, "Random Forests")۔ رسمی ماخذ Breiman (2001b) ہے: درختوں کا ایک مجموعہ جن میں سے ہر ایک آزادانہ طور پر منتخب کیے گئے ایک تصادفی ویکٹر پر منحصر ہے، اور جس کی تعمیمی خطا درختوں کی تعداد بڑھنے کے ساتھ ایک حد کی طرف متقارب ہوتی ہے (خلاصہ) – یعنی درختوں کا اضافہ اوور فٹنگ پیدا نہیں کرتا۔ Hastie اور ان کے رفقا اس دعوے کو زیادہ درست بناتے ہیں: یہ صحیح ہے کہ "B بڑھانے سے رینڈم فارسٹس کا سلسلہ اوور فٹ نہیں ہوتا"، لیکن وہ حد جس کی طرف وہ متقارب ہوتا ہے "ڈیٹا پر اوور فٹ ہو سکتی ہے" – مکمل درختوں کا اوسط حد سے زیادہ بھرپور ماڈل ہو سکتا ہے؛ ان کے تجربے میں، مکمل درخت اگانا "شاذ و نادر ہی زیادہ مہنگا پڑتا ہے" اور ایک ٹیوننگ پیرامیٹر بچا لیتا ہے (Hastie et al., 2009, p. 596)۔ اور ان کا عمومی جائزہ، جو بتاتا ہے کہ جنگل سیکشن 8 کی حوالہ جاتی لکیر کیوں ہے: "بہت سے مسائل میں رینڈم فارسٹس کی کارکردگی بوسٹنگ سے بہت ملتی جلتی ہے، اور انہیں تربیت دینا اور ٹیون کرنا زیادہ آسان ہے" (ص 587)؛ تھیلے سے باہر خطا کا تخمینہ N فولڈز کی کراس ویلیڈیشن (cross-validation) کے "تقریباً یکساں" ہے (ص 593)۔ جنگل خصوصیات کی اہمیت بھی ناپتا ہے: ہر خصوصیت اسے استعمال کرنے والے تمام نوڈز پر اوسطاً کتنی ناپاکی کم کرتی ہے، مشاہدات کی تعداد سے وزنی، اور 1 تک جمع کی ہوئی (آئرس میں: پنکھڑی کی لمبائی 44%، اس کی چوڑائی 42%، بیرونی پتیاں (sepals) 11% اور 2%)۔ جو جنگل نہیں دیتا وہ سمت ہے: اہمیت عددی سر نہیں، اور یہ نہیں بتاتی کہ خصوصیت احتمال کو بڑھاتی ہے یا گھٹاتی ہے۔ ایک بہن خاندان: بوسٹنگ – "پچھلے بیس برسوں میں پیش کیے گئے سب سے طاقتور لرننگ خیالات میں سے ایک" (Hastie et al., 2009, p. 337)؛ Breiman نے درختوں کے ساتھ AdaBoost کو "دنیا کا بہترین تیار (off-the-shelf) درجہ بند" کہا (بحوالہ ایضاً، ص 340) – سلسلے وار درخت، ہر ایک اپنے پیش رو کی اصلاح کرتا ہے (AdaBoost غلط درجہ بند کیے گئے مشاہدات کو نیا وزن دیتا ہے؛ gradient boosting ہر درخت کو اپنے پیش رو کی باقیات (residuals) پر فٹ کرتا ہے؛ بڑے ڈیٹا کے لیے خانوں (bins) پر مبنی نفاذ – سینکڑوں گنا تیز؛ XGBoost، LightGBM اور CatBoost، scikit-learn سے باہر)؛ اور اسٹیکنگ (stacking) – ایک ماڈل جو دوسروں کی پیش گوئیوں کو وزن دینا سیکھتا ہے۔

سفید اور سیاہ ڈبا – اور کب سیاہ ممنوع ہے۔ Cynthia Rudin کا مؤقف ہے کہ "یہ ایک افسانہ ہے کہ درستی اور تفہیم کے درمیان لازماً کوئی سودا ہوتا ہے": یہ عقیدہ کہ زیادہ پیچیدہ ماڈل زیادہ درست ہوتے ہیں "اکثر درست نہیں، خاص طور پر جب ڈیٹا منظم ہو، اور فطری طور پر بامعنی خصوصیات کی صورت میں اس کی اچھی نمائندگی ہو" – اور سروے کا ڈیٹا بالکل یہی ہے۔ وہ وضاحتیں جو بعد میں سیاہ ڈبے پر چڑھائی جاتی ہیں (ایک دوسرا ماڈل جو پہلے کی نقل کرتا ہے) "لازماً غلط ہوں گی": اگر وہ اصل ماڈل کے ساتھ پوری طرح وفادار ہوتیں تو وضاحت ماڈل کے برابر ہوتی اور اصل کی ضرورت ہی نہ رہتی؛ ان کی مثال COMPAS ہے – امریکہ کی عدالتوں میں دوبارہ جرم (recidivism) کی پیش گوئی کا ایک ملکیتی ماڈل، جس پر ProPublica نے اس کے لیے بنائے گئے ایک لکیری وضاحتی ماڈل کی بنیاد پر نسلی تعصب کا الزام لگایا، جبکہ ماڈل خود غالباً غیر لکیری ہے (Rudin, 2019, Section 2)۔ ان کا نتیجہ: انسانوں کے بارے میں بلند خطرے والے فیصلوں – قانون، صحت، فلاح – کے لیے شروع ہی سے قابلِ تفہیم ماڈل بنانے چاہییں، نہ کہ سیاہ ڈبوں کی وضاحت کی جائے۔ محققہ کے لیے: چند سو جواب دہندگان کے سروے ڈیٹا پر، محدود لاجسٹک ریگریشن یا اتھلا درخت عموماً جنگل جتنی پیش گوئی کرے گا – اور یہ بھی بتائے گا کہ کیوں۔ جنگل کو حوالہ جاتی لکیر کے طور پر چلایا جاتا ہے: اگر وہ کہیں بہتر ہو تو ڈیٹا میں غیر لکیریت یا تعاملات ہیں جو قابلِ تفہیم ماڈل سے رہ جاتے ہیں – اور یہ رپورٹ کیا جاتا ہے۔

6. نیورل نیٹ ورکس – کب ہاں اور کب نہیں

مصنوعی نیورل نیٹ ورک (باب 10) نے دماغ سے تحریک لی، لیکن "جیسے ہوائی جہازوں نے پرندوں سے تحریک لی، انہیں اڑنے کے لیے پر پھڑپھڑانے کی ضرورت نہیں"؛ پہلا ماڈل McCulloch اور Pitts (1943) کا ہے، اور اس کے بعد دو "سردیاں" – 60 کی دہائی اور 90 کی دہائی، جب سپورٹ ویکٹر مشینیں زیادہ امید افزا نظر آئیں۔ Géron کے مطابق موجودہ لہر چار وجوہات سے مختلف ہے: ڈیٹا کی مقدار، حسابی قوت (Moore کا قانون، GPU کارڈز جو گیمنگ کی صنعت نے ملینز کی تعداد میں تیار کیے، کلاؤڈ)، تربیتی الگورتھمز میں چھوٹی لیکن فیصلہ کن بہتریاں، اور یہ انکشاف کہ نظریاتی حدود – جیسے مقامی بہترین نقاط (local optima) – عملاً نقصان دہ نہیں۔ اور شماریاتی لحاظ سے نیٹ ورک کیا ہے: "نیورل نیٹ ورکس کے گرد بہت زیادہ ہائپ رہا ہے، جس نے انہیں جادوئی اور پراسرار دکھایا۔ جیسا کہ ہم اس سیکشن میں واضح کرتے ہیں، وہ محض غیر لکیری شماریاتی ماڈل ہیں" – دو مرحلوں پر مشتمل ریگریشن یا درجہ بندی کا ماڈل (Hastie et al., 2009, p. 392)۔ بنیادی ساخت، کثیر تہی پرسیپٹرون، ایک ان پٹ تہ، ایک یا زیادہ پوشیدہ تہیں، اور ایک آؤٹ پٹ تہ ہے – اور Bishop تبصرہ کرتے ہیں کہ یہ نام "دراصل ایک غلط نام ہے، کیونکہ ماڈل لاجسٹک ریگریشن ماڈلز کی کئی تہوں پر مشتمل ہے" (مسلسل غیر لکیریت کے ساتھ) نہ کہ پرسیپٹرونز پر (Bishop, 2006, p. 226): لاجسٹک ریگریشن سے واقف محققہ کے لیے، نیٹ ورک ایسی لاجسٹک ریگریشنز ہیں جو ایک دوسرے کو ان پٹ دیتی ہیں؛ "گہرا" نیٹ ورک وہ ہے جس میں پوشیدہ تہوں کا گہرا ڈھیر ہو، اگرچہ "بہت سے لوگ جب بھی نیورل نیٹ ورکس شامل ہوں (اتھلے بھی) ڈیپ لرننگ کی بات کرتے ہیں"۔ تربیت – بیک پروپیگیشن (backpropagation): الٹی سمت میں خودکار تفرق (Linnainmaa، 1970) جو دو گزرگاہوں میں – آگے اور پیچھے – حساب لگاتا ہے کہ خطا کم کرنے کے لیے ہر وزن کو کیسے بدلا جائے، اور پھر گریڈیئنٹ ڈیسنٹ کا ایک قدم؛ اور یہی عمل بار بار۔ ایک پوشیدہ تہ، نظریاتی طور پر، کافی اکائیوں کے ساتھ کسی بھی فنکشن کو ماڈل کر سکتی ہے، لیکن گہرے نیٹ ورکس پیرامیٹرز میں کئی درجے زیادہ کفایتی ہیں، کیونکہ وہ ڈیٹا کی درجہ وار ساخت سے فائدہ اٹھاتے ہیں – لکیریں، پھر شکلیں، پھر چہرے – اور یہی لرننگ کی منتقلی (transfer learning) کو بھی ممکن بناتا ہے: تربیت یافتہ نیٹ ورک کی نچلی تہیں لے کر صرف اوپری تہوں کو نئے کام کے لیے تربیت دینا۔ "آپ کو شاذ و نادر ہی ایسے نیٹ ورکس کو شروع سے تربیت دینی پڑے گی" (Chapter 10, "Number of Hidden Layers")۔

اور کب نہیں۔ انتباہ کتاب کے دیباچے ہی میں ہے: "جلدی میں گہرے پانی میں چھلانگ نہ لگائیں… زیادہ تر مسائل کو رینڈم فارسٹس اور اینسمبل طریقوں جیسی سادہ تر تکنیکوں سے اچھی طرح حل کیا جا سکتا ہے… ڈیپ لرننگ تصویر کی شناخت، تقریر کی شناخت یا قدرتی زبان کی پروسیسنگ جیسے پیچیدہ مسائل کے لیے سب سے زیادہ موزوں ہے، اور اس کے لیے بہت سا ڈیٹا، حسابی قوت اور صبر درکار ہے (الا یہ کہ آپ پہلے سے تربیت یافتہ نیورل نیٹ ورک سے مدد لے سکیں)" (Géron, 2022، دیباچہ، "Roadmap")۔ سماجی محقق کے لیے نتیجہ واضح ہے: سروے کے جدول پر – نہیں؛ ٹرانسکرپٹس، پوسٹس، تصاویر اور ریکارڈنگز پر – ہاں، لیکن تقریباً ہمیشہ کسی ایسے پہلے سے تربیت یافتہ ماڈل کے ذریعے جسے کسی اور نے ملینز مثالوں پر تربیت دی ہو، اور جسے فائن ٹیون کیا جاتا ہے یا بس چلایا جاتا ہے: DictaBERT، HeBERT اور BEREL، جو NLP کے صفحے پر ہیں، بالکل ایسے ہی نیٹ ورکس ہیں، اور وہاں کی ہدایت – 100-200 آئٹمز کا دستی نمونہ اور آؤٹ پٹ پر بھروسہ کرنے سے پہلے کوڈرز کے درمیان اتفاق – دوسرے الفاظ میں اسی صفحے کا سیکشن 4 ہے۔ نیٹ ورکس لکھنے کا ٹول Keras (جدول 2) ہے – TensorFlow کے اوپر "ایک اعلیٰ سطحی، خوبصورتی سے ڈیزائن کیا گیا اور سادہ انٹرفیس"، اور زیادہ تر ضروریات اسی سے پوری ہو جائیں گی۔

7. ٹولز

پوری کتاب Python میں چلتی ہے، اور اس کا پہلا حصہ scikit-learn میں – ایک لائبریری جس کے API کے ڈیزائن کی Géron تعریف کرتے ہیں: ہر آبجیکٹ ایک تخمین کار (estimator) ہے جس میں fit() ہے، کچھ تبدیل کار ہیں جن میں transform() ہے اور کچھ پیش گو ہیں جن میں predict() ہے؛ ہائپر پیرامیٹرز نظر آتے ہیں، سیکھے گئے پیرامیٹرز قابلِ رسائی ہیں (آخر میں انڈر اسکور کے ساتھ)، ڈیٹا NumPy arrays ہیں نہ کہ نجی کلاسیں، اور سب کچھ ایک پائپ لائن (Pipeline) میں زنجیر کیا جا سکتا ہے – جو سیکشن 4 کے رساؤ (leakage) کو روکنے والا میکانزم بھی ہے، کیونکہ پوری پائپ لائن تربیت پر فٹ کی جاتی ہے اور باقی پر لاگو کی جاتی ہے (Chapter 2, "Scikit-Learn Design", "Transformation Pipelines")۔ جدول 2 ٹولز کو ضرورت کے لحاظ سے ترتیب دیتا ہے؛ جو کوڈ نہیں لکھتا اسے اس میں تین گرافیکل ٹولز ملیں گے – دو اوپن سورس اور ایک ادائیگی والا، جس کے لیے سیکشن 10 مخصوص ہے۔ باقی شماریاتی ٹولز – R، PSPP، JASP، jamovi – ٹولز کے نقشے میں، سیکشن 8۔

8. کام کا نسخہ: سماجی تحقیق میں مشین لرننگ

عام صورت: چند سو جواب دہندگان کا سروے جس کا نتیجہ دوہرا (binary) ہو (تعلیم چھوڑ دینا، ووٹ دینا، مدد کے لیے رجوع کرنا)، یا ہزاروں افراد کی انتظامی فائل۔ سوال: کیا پس منظر کے متغیرات سے نتیجے کی پیش گوئی کی جا سکتی ہے – اور کتنی اچھی، اس کے مقابلے میں جو پہلے سے معلوم ہے۔ سات قدم، اور ہر ایک دستاویزی؛ فائل – سائٹ کے معیاری سانچے میں، قطار = جواب دہندہ، کالم = متغیر، اور SPSS سے – SPSS سے ایکسل تک کے ذریعے۔

9. اور R میں یہ کیسے کریں

سیکشن 8 کا نسخہ، ایک ایسے اسکرپٹ کی صورت میں جو صفحے کی مثال کی فائل پر شروع سے آخر تک چلتا ہے – DATA_ml_example_eng.xlsx (اور عبرانی ناموں والا ورژن، DATA_ml_example_heb.xlsx): آٹھ اسکولوں کے 320 طلبہ، پس منظر کے سات متغیرات اور ایک دوہرا نتیجہ – تعلیم چھوڑ دینا (11.6%) – دو متغیرات میں گمشدہ قدروں کے ساتھ، سائٹ کے معیاری سانچے میں۔ ٹولز کے انتخاب Gutierrez کی رہنما کتاب کی پیروی کرتے ہیں، جو اسی سوال کے گرد لکھی گئی ہے – R میں مشین لرننگ کا منصوبہ کیسا دکھتا ہے، فائل پڑھنے سے ماڈل کی جانچ تک: لاجسٹک ریگریشن کے لیے glm بمع family = binomial، randomForest بمع ntree اور mtry، اور خصوصیات کی اہمیت کے لیے importance() (Gutierrez, 2015, Chapter 6, "Logistic Regression", "Random Forests")؛ تربیت، توثیق اور جانچ میں تقسیم – ان کے الفاظ میں "60% تربیت، 20% کراس ویلیڈیشن اور 20% جانچ" – اور جانچ کے سیٹ کو "بالکل اکیلا چھوڑ دیا جاتا ہے، کیونکہ وہ ماڈل کے انتخاب کے عمل میں کبھی استعمال نہیں ہوتا" (Gutierrez, 2015, Chapter 7, "Bias and Variance", "Cross Validation")؛ اور ریگولرائزیشن کے لیے – glmnet، جس میں alpha = 0 ریج دیتا ہے اور alpha = 1 لاسو، اور lambda شدت کو کنٹرول کرتا ہے (Chapter 7, "Overfitting")۔ اسکرپٹ کتاب پر جو اضافہ کرتا ہے وہ caret پیکیج ہے (Kuhn, 2008): طبقہ بند تقسیم، کراس ویلیڈیشن، ٹیوننگ اور فولڈز کے اندر تیاری – preProcess میں گمشدہ قدروں کی تکمیل (imputation) اور معیار بندی، جو صرف تربیتی فولڈ پر فٹ کی جاتی ہیں – تمام ماڈلز کے لیے ایک انٹرفیس میں، اس طرح غلطی سے رساؤ ممکن نہیں رہتا (کارکردگی کے پیمانے اور توثیق، سیکشن 5)۔ راستہ C:\Rdata\ – کیلکولیٹر کے صفحات کے R سیکشنز والی وہی روایت۔

# machine_learning.R - machine learning in social research: the seven-step recipe in R
# Data: DATA_ml_example_eng.xlsx - 320 students in 8 schools; outcome dropout (0/1).
library(readxl)        # read Excel
library(caret)         # split, cross-validation, tuning, confusion matrix
library(randomForest)  # random forest
library(pROC)          # ROC curve and AUC confidence interval

d <- read_excel("C:/Rdata/DATA_ml_example_eng.xlsx")
d$dropout <- factor(d$dropout, levels = c(0, 1), labels = c("no", "yes"))
d$gender  <- factor(d$gender, levels = c(1, 2), labels = c("male", "female"))
d$id <- NULL                      # the id column is not a variable

# --- Step 1: goal, metric, baseline ------------------------------------------
# Metric: AUC (no threshold) and sensitivity at the chosen threshold. First baseline - the dummy classifier:
prop.table(table(d$dropout))      # majority-class rate = accuracy of "always no"

# --- Step 2: the split - first, stratified by outcome, fixed seed -----------
set.seed(20260920)
idx   <- createDataPartition(d$dropout, p = 0.8, list = FALSE)
train <- d[idx, ]
test  <- d[-idx, ]                # test set - untouched until step 6

# --- Step 3: preparation inside the pipeline - imputation and scaling within folds ---
ctrl <- trainControl(method = "cv", number = 10, classProbs = TRUE,
                     summaryFunction = twoClassSummary, savePredictions = "final")
prep <- c("medianImpute", "center", "scale")   # caret fits these on the training fold only (na.action = na.pass: NAs imputed in the pipeline)

# --- Step 4: compare models by cross-validation - same folds for all ---------
set.seed(1)
m_base <- train(dropout ~ age + gender + ses, data = train, method = "glm",
                family = binomial, metric = "ROC", trControl = ctrl)           # baseline: background variables
set.seed(1)
m_glm  <- train(dropout ~ . - school_id, data = train, method = "glm",
                family = binomial, metric = "ROC", trControl = ctrl, preProcess = prep, na.action = na.pass)
set.seed(1)
m_tree <- train(dropout ~ . - school_id, data = train, method = "rpart",
                metric = "ROC", trControl = ctrl, preProcess = prep, na.action = na.pass)
set.seed(1)
m_rf   <- train(dropout ~ . - school_id, data = train, method = "rf",
                metric = "ROC", trControl = ctrl, preProcess = prep, ntree = 500, na.action = na.pass)
res <- resamples(list(baseline = m_base, logistic = m_glm, tree = m_tree, forest = m_rf))
t(sapply(res$values[, grep("~ROC$", names(res$values))],
         function(x) c(mean = mean(x), sd = sd(x))))   # mean and SD of AUC over the 10 folds

# --- Step 5: tuning - candidates only ----------------------------------------
set.seed(1)
m_rf_t <- train(dropout ~ . - school_id, data = train, method = "rf",
                metric = "ROC", trControl = ctrl, preProcess = prep, ntree = 500, na.action = na.pass,
                tuneGrid = data.frame(mtry = c(2, 3, 4, 6)))
m_rf_t$results[, c("mtry", "ROC", "ROCSD")]

# --- Step 6: the test set - once -----------------------------------------------
final <- if (max(m_rf_t$results$ROC) - max(m_glm$results$ROC) > m_glm$results$ROCSD) m_rf_t else m_glm
# threshold chosen on the training set's cross-validated predictions (savePredictions) - not on the test set
roc_cv <- roc(final$pred$obs, final$pred$yes, levels = c("no", "yes"), direction = "<")
thr    <- coords(roc_cv, "best", best.method = "youden", ret = "threshold")$threshold
thr                                                          # the threshold to apply to the test set
p_test <- predict(final, test, type = "prob", na.action = na.pass)[, "yes"]
roc_t  <- roc(test$dropout, p_test, levels = c("no", "yes"), direction = "<")
auc(roc_t); ci.auc(roc_t)                                    # AUC and 95% CI on the test set
pred_t <- factor(ifelse(p_test >= thr, "yes", "no"), levels = c("no", "yes"))
confusionMatrix(pred_t, test$dropout, positive = "yes", mode = "everything")   # at the chosen threshold
confusionMatrix(predict(final, test, na.action = na.pass), test$dropout, positive = "yes")$byClass[c("Sensitivity", "Specificity")]  # and at 0.5, for comparison

# --- Step 7: report - plus feature importance (no direction) ----------------
varImp(final)

# --- Dependent data: folds by school instead of by student -----------------
folds_g <- groupKFold(train$school_id, k = 5)
ctrl_g  <- trainControl(method = "cv", index = folds_g, classProbs = TRUE,
                        summaryFunction = twoClassSummary)
set.seed(1)
m_rf_g <- train(dropout ~ . - school_id, data = train, method = "rf",
                metric = "ROC", trControl = ctrl_g, preProcess = prep, ntree = 500, na.action = na.pass)
m_rf_g$results[, c("mtry", "ROC", "ROCSD")]    # compare with m_rf: the gap is what the dependence "contributed"

کیا نکلا (R 4.3.3، caret 6.0-94، randomForest 4.7-1.1، pROC 1.18.5؛ مکمل آؤٹ پٹ – qa/ml/ml_out.txt)۔ نقلی درجہ بند: 88.4% مجموعی درستی – یہ فرش کی لکیر ہے۔ دس فولڈز کی کراس ویلیڈیشن میں، اوسط AUC: حوالہ جاتی لکیر (عمر، جنس، سماجی و معاشی حیثیت) .59 (معیاری انحراف .21)، تمام متغیرات پر لاجسٹک ریگریشن .66 (.22)، درخت .64 (.14)، رینڈم فارسٹ .64 (.21)؛ جنگل کی ٹیوننگ (mtry 2-6) زیادہ سے زیادہ .65 تک پہنچی۔ قدم 5 کے قاعدے نے لاجسٹک ریگریشن کو چنا: جنگل اس سے معیاری انحراف سے بڑھ کر فرق کے ساتھ آگے نہیں نکلا – اور "جنگل ریگریشن سے بہتر نہیں" ایک تحقیقی نتیجہ ہے، ناکامی نہیں۔ جانچ کے سیٹ پر (63 طلبہ، 7 تعلیم چھوڑنے والے): AUC = .74، 95% وقفۂ اعتماد [.50, .97] – وسیع، کیونکہ سات مثبت مثالیں بس سات ہی ہیں۔ اور حد: 0.5 کی حد پر ماڈل ایک بھی تعلیم چھوڑنے والے کی نشان دہی نہیں کرتا (حساسیت 0، مخصوصیت 1 – "Nostradamus کو مات دیتا ہے")؛ تربیتی سیٹ کی کراس ویلیڈیشن کی پیش گوئیوں پر منتخب کی گئی حد، جانچ کے سیٹ پر نہیں، .12 ہے – اور اس پر حساسیت .71، مخصوصیت .73، precision .25: ماڈل سات میں سے پانچ تعلیم چھوڑنے والوں کو 15 جھوٹی وارننگز کی قیمت پر پکڑتا ہے۔ خصوصیات کی اہمیت – گریڈز، سماجی و معاشی حیثیت، غیر حاضریاں – سمت کے بغیر۔ اور آخر میں طالب علم کے بجائے اسکول کے لحاظ سے تقسیم: جنگل کا AUC .64 سے .60 پر گر جاتا ہے – یہ چھوٹا فرق وہ ہے جو ایک ہی اسکول کے طلبہ کے باہمی انحصار نے پہلے عدد میں "حصہ ڈالا" تھا (کارکردگی کے پیمانے اور توثیق، سیکشن 6)۔ ڈیٹا مصنوعی ہے، اور بات یہی ہے: 320 جواب دہندگان پر ایک حقیقی منصوبہ ایسا دکھتا ہے – AUC = .95 نہیں۔

10. اور SPSS Modeler میں یہ کیسے کریں

جس محققہ کی تحقیق SPSS میں بسی ہے، اس کے لیے مشین لرننگ تک مختصر راستہ Python نہیں بلکہ بہن سافٹ ویئر ہے: SPSS Modeler، جس میں "ڈیٹا مائننگ میں ڈیٹا کو نوڈز کے ایک سلسلے سے گزارنا شامل ہے، جسے 'دھارا' (stream) کہا جاتا ہے۔ ہر نوڈ ڈیٹا پر لاگو ہونے والے کسی مخصوص عمل کی نمائندگی کرتا ہے، اور نوڈز کے درمیان روابط ڈیٹا کے بہاؤ کو متعین کرتے ہیں" (Truong, 2026, p. 56)۔ یہ سیکشن Truong کی درسی کتاب کی پیروی کرتا ہے اور سیکشن 8 کے نسخے کے سات قدموں – اور سیکشن 9 کے R اسکرپٹ – کو نوڈز میں ترجمہ کرتا ہے۔ ایک تحفظ، سیکشن 9 کے برعکس: Modeler سائٹ کے جانچ کے ماحول میں انسٹال نہیں، اس لیے یہاں جو لکھا ہے وہ کتاب کے مطابق بیان ہے، چلایا ہوا نہیں؛ جو محققہ اسے چلائے وہ دھارے (str فائل) کو اسی طرح دستاویز کرے جیسے نوٹ بک منسلک کی جاتی ہے۔

عمل۔ Modeler CRISP-DM کے گرد بنا ہے – "ڈیٹا مائننگ کے عمل کے لیے صنعتوں کے درمیان مشترکہ معیار"، چھے مراحل: کاروبار کی تفہیم، ڈیٹا کی تفہیم، ڈیٹا کی تیاری، ماڈلنگ، جائزہ اور اجرا؛ "یہ تعلیمی دنیا کے مقابلے میں صنعت میں زیادہ مقبول ہے، اور IBM نے اسے اپنا کر سافٹ ویئر میں نافذ کیا" (ص 32)۔ ورژن 19.0 کی صارف رہنما میں: "کاروبار کی تفہیم۔ یہ شاید ڈیٹا مائننگ کا سب سے اہم مرحلہ ہے" (IBM Corporation, 2025, p. 23)، اور دھارا – "نوڈز کا ایک سلسلہ… جو ڈیٹا پر کیے جانے والے اعمال کی نمائندگی کرتا ہے، جبکہ نوڈز کے درمیان روابط ڈیٹا کے بہاؤ کی سمت بتاتے ہیں" (ص 31)۔ محققہ کے لیے، "کاروبار کی تفہیم" سیکشن 8 کا قدم 1 ہے – مقصد، پیمانہ، حوالہ جاتی لکیر – اور یہ سافٹ ویئر کھولنے سے پہلے کیا جاتا ہے۔

دھارا، نوڈ بہ نوڈ۔ Statistics File – sav فائل براہ راست پڑھتا ہے (اور سائٹ کے سانچے والی ایکسل فائل کے لیے – Excel نوڈ)۔ Type – "فیلڈز کے پیمائشی پیمانوں اور کرداروں کو دیکھنے اور بدلنے کے لیے": یہاں ہدف (Target)، پیش گو متغیرات (Input)، اور جو ماڈل میں داخل نہیں ہو گا – جواب دہندہ کی شناخت، بھیس بدلا ہوا ہدف متغیر – None کے طور پر نشان زد کیے جاتے ہیں؛ یہ سیکشن 8 کا قدم 3 ہے، اور یہی وہ جگہ ہے جہاں L2 رساؤ (leakage) روکا جاتا ہے یا داخل ہوتا ہے۔ Partition – "تربیت، جانچ اور توثیق" درج کیے گئے تناسبوں میں (ص 87-88)، اور IBM کی دستاویزات کی زبان میں: "ماڈل کو ایک نمونے میں تربیت دینا، دوسرے نمونے میں ماڈل کو جانچنا اور نکھارنا، اور تیسرے میں نتائج کی توثیق کرنا" (IBM Corporation, 2016b, p. 157)؛ ناموں پر توجہ فرمائیں: Modeler میں "جانچ" دوسرا سیٹ ہے، ماڈلز کے موازنے کے لیے، اور "توثیق" – تیسرا، حتمی پیمائش کے لیے، جو Géron اور اس صفحے کی روایت کا الٹ ہے (کارکردگی کے پیمانے اور توثیق، سیکشن 2؛ Truong کے ہاں جدول 3.8، ص 85)۔ سینکڑوں کے نمونے کے لیے، خود Truong کی سفارش صرف دو سیٹ ہیں، 60-40 (ص 87) – اور کراس ویلیڈیشن، جو سیکشن 9 کا دل ہے، Modeler کی طے شدہ ترتیب نہیں: Truong کے ہاں یہ ہائپر پیرامیٹرز کی ٹیوننگ کے لیے تجویز کی گئی ہے (ص 522)، لیکن کتاب کی تمام مثالیں ایک ہی تقسیم پر ناپی جاتی ہیں۔ ماڈلز کے نوڈز – Modeling گروہ سے: Logistic (حوالہ جاتی لکیر اور امیدوار بھی)، C&R Tree اور CHAID (درخت؛ CHAID ٹیسٹ χ² کے مطابق تقسیم کرتا ہے اور غیر دوہری تقسیم کی اجازت دیتا ہے)، Neural Net، Random Forest اور XGBoost Tree (جنگل اور بوسٹنگ – Python نوڈز، جنہیں توسیع درکار ہے)، اور Auto Classifier، جو کئی الگورتھمز چلا کر ان کی درجہ بندی کرتا ہے – آسان، بشرطیکہ جس بنیاد پر وہ درجہ بندی کرتا ہے وہ قدم 1 کا پیمانہ ہو۔ جنگل کے نوڈ میں "ہائپر پیرامیٹرز کی اصلاح ہے، جو نمونوں پر خطا کی شرح کو کم سے کم کرنے کے لیے پیرامیٹرز کا بہترین امتزاج خودکار طور پر تلاش کرتی ہے" (ص 499) – یہ قدم 5 ہے، لیکن توجہ فرمائیں کہ کن نمونوں پر: اگر Modeler کے "جانچ" والے سیٹ پر، تو وہ توثیق کا سیٹ بن گیا، اور یہ ٹھیک ہے – جب تک حتمی پیمائش "توثیق" والے سیٹ پر ہو۔ Modeler کی تعلیمی درسی کتاب سفارش کرتی ہے کہ "ڈیٹا کا 70-80% تربیتی سیٹ کے لیے اور باقی جانچ کے سیٹ کے لیے" ہو اور Partition نوڈ میں رینڈم سیڈ مقرر کیا جائے "تاکہ ہر رن میں وہی ماڈل ملے" (Wendler & Gröttrup, 2021, p. 826) – اور ماڈل کے انتخاب کے بارے میں، وہی جو یہ صفحہ سیکشن 5 میں کہتا ہے: "کوئی ایسا طریقہ نہیں جو ہر قسم کے ڈیٹا اور درجہ بندی کے مسئلے کے لیے ہر دوسرے ماڈل سے بہتر ہو… ہم پرزور سفارش کرتے ہیں کہ ہر ڈیٹا سیٹ پر مختلف طریقے اور طریقۂ کار آزمائے جائیں" (ص 760)۔ ہر ماڈل نوڈ ایک "نگٹ" (nugget) پیدا کرتا ہے – تربیت یافتہ ماڈل – جسے ڈیٹا سے جوڑا جاتا ہے۔ Analysis (Output گروہ سے) – "کسی ماڈل کی درست پیش گوئیاں پیدا کرنے کی صلاحیت کا جائزہ لینے دیتا ہے"، "پیش گوئی شدہ قدروں اور حقیقی قدروں کے درمیان" موازنے کے ذریعے (IBM Corporation, 2016b, p. 276)، اور Truong کے ہاں "تربیتی نمونے اور جانچ کے نمونے کے درمیان ماڈل کی کارکردگی کا موازنہ کرتا ہے" (ص 231): Coincidence matrices (الجھن کا میٹرکس)، Performance evaluation، Evaluation metric (AUC and Gini) اور Separate by partition پر نشان لگایا جاتا ہے (ص 377)، اور اس سے ہر سیٹ کے لیے درستی، غلط درجہ بندی کی شرح، Gini اور AUC لیے جاتے ہیں؛ "حساسیت، مخصوصیت اور F1 الجھن کے میٹرکس سے نکالے جا سکتے ہیں" (ص 300) – خود، کیلکولیٹر میں۔ اور Evaluation (Graphs گروہ سے) – "تمام ماڈلز کے لیے ROC منحنی اور Lift منحنی" ایک دوسرے کے اوپر (ص 502)۔ جب تمام نگٹس ایک ہی ڈیٹا سے زنجیر میں جڑے ہوں تو ایک Analysis نوڈ ان سب کا موازنہ کرتا ہے – یہ سیکشن 8 کے قدم 4 کا جدول ہے۔

اور جو مینو آپ کے لیے نہیں کرتا۔ حد: نگٹ کی طے شدہ حد 0.5 ہے، اور جو سیکشن 9 نے pROC کی ایک سطر میں کیا وہ یہاں Derive نوڈ میں اس احتمال کے فیلڈ پر کیا جاتا ہے جو نگٹ پیش گوئی کے ساتھ شامل کرتا ہے – یا ماڈل نوڈ کی ترتیبات میں لاگت کے میٹرکس میں، جو Truong کی لاگت سے حساس لرننگ ہے (ص 203-204)۔ نایاب کلاس: SMOTE نوڈ بھی ہے اور Balance بھی، اور دونوں Partition کے بعد آتے ہیں، پہلے نہیں – اور ان کے بغیر بہتر ہے (کارکردگی کے پیمانے اور توثیق، سیکشن 1)۔ جواب دہندگان کے درمیان انحصار: Partition میں گروہ کے لحاظ سے تقسیم نہیں؛ مکرر پیمائشوں یا اسکولوں میں خود تقسیم کریں (گروہ کی شناخت پر Derive نوڈ، پھر Select)، یا سیکشن 9 پر جائیں۔ اور رپورٹنگ: Analysis نوڈ اعداد دیتا ہے؛ کیا رپورٹ کیا جائے اور کیا نہیں – وہاں، سیکشن 7، بشمول Truong کے باب 11 کے ترتیبات (configurations) کے جدول کے، جو بغیر کوڈ کے دھارے کو دستاویز کرنے کا طریقہ ہے۔

عام غلطیاں

توثیق کی غلطیاں – نایاب کلاس پر مجموعی درستی، تقسیم سے پہلے پورے ڈیٹا پر تیاری، جواب دہندہ کے بجائے قطار کے لحاظ سے تقسیم، جانچ کے سیٹ پر ٹیوننگ، پھیلاؤ اور حوالہ جاتی لکیر کے بغیر عدد – کارکردگی کے پیمانے اور توثیق میں ہیں۔ یہاں – خود ماڈلز کی غلطیاں۔

خصوصیات کی اہمیت کو عددی سر سمجھ کر پڑھنا۔ "آمدنی سب سے اہم پیش گو متغیر ہے" – ہاں؛ "آمدنی اوڈز (odds) بڑھاتی ہے" – جنگل نے یہ نہیں کہا۔ اہمیت نہ سمت ہے نہ سبب؛ اور لاسو ریگریشن میں محدود کیا گیا عددی سر اثر کا غیر متعصب تخمینہ نہیں۔

ایک درخت کو تحقیقی نتیجے کے طور پر رپورٹ کرنا۔ اسی ڈیٹا پر دوبارہ تربیت دوسرا درخت دے سکتی ہے (باب 6)۔ درخت ماڈل کی تصویر ہے، حقیقت کی نہیں؛ مستحکم چیز جنگل ہے – اور اس کی تصویر نہیں بنتی۔

انرشیا کے مطابق k چننا۔ کلسٹرز میں، کلسٹرز کے اضافے کے ساتھ انرشیا (inertia) ہمیشہ گرتی ہے؛ k کا انتخاب "کہنی" (elbow)، سلہوٹ (silhouette) اسکور، گیپ شماریہ (gap statistic) (غیر نگرانی شدہ لرننگ، سیکشن 5) – اور خود کلسٹرز کو پڑھ کر کیا جاتا ہے۔ اور پہلے معیار بندی کے بغیر کلسٹرز "کھنچ جاتے ہیں" اور k-مینز بری کارکردگی دکھاتا ہے (باب 9)۔

جانچ کی فہرست – پیش گوئی کا نتیجہ رپورٹ کرنے سے پہلے

حوالہ جات

Bishop, C. M. (2006). Pattern recognition and machine learning. Springer.

Breiman, L. (2001a). Statistical modeling: The two cultures (with comments and a rejoinder by the author). Statistical Science, 16(3), 199-231. https://doi.org/10.1214/ss/1009213726

Breiman, L. (2001b). Random forests. Machine Learning, 45(1), 5-32. https://doi.org/10.1023/A:1010933404324

Géron, A. (2022). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems (3rd ed.). O'Reilly Media.

Gutierrez, D. D. (2015). Machine learning and data science: An introduction to statistical learning methods with R. Technics Publications.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

Hofman, J. M., Watts, D. J., Athey, S., Garip, F., Griffiths, T. L., Kleinberg, J., Margetts, H., Mullainathan, S., Salganik, M. J., Vazire, S., Vespignani, A., & Yarkoni, T. (2021). Integrating explanation and prediction in computational social science. Nature, 595(7866), 181-188. https://doi.org/10.1038/s41586-021-03659-0

IBM Corporation. (2016a). IBM SPSS Modeler 18.0 modeling nodes. IBM. https://public.dhe.ibm.com/software/analytics/spss/documentation/modeler/18.0/en/ModelerModelingNodes.pdf

IBM Corporation. (2016b). IBM SPSS Modeler 18.0 source, process, and output nodes. IBM. https://public.dhe.ibm.com/software/analytics/spss/documentation/modeler/18.0/en/ModelerSPOnodes.pdf

IBM Corporation. (2025). IBM SPSS Modeler 19.0 user's guide. IBM.

Ishii, K., Ueda, N., Maeda, E., & Murase, H. (2026). Pattern recognition and machine learning for self-study I: Supervised learning. Springer. https://doi.org/10.1007/978-981-95-1478-6

Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), Article 100804. https://doi.org/10.1016/j.patter.2023.100804

Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1-26. https://doi.org/10.18637/jss.v028.i05

Molina, M., & Garip, F. (2019). Machine learning for sociology. Annual Review of Sociology, 45, 27-45. https://doi.org/10.1146/annurev-soc-073117-041106

Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., & Duchesnay, É. (2011). Scikit-learn: Machine learning in Python. Journal of Machine Learning Research, 12, 2825-2830.

Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1(5), 206-215. https://doi.org/10.1038/s42256-019-0048-x

Salganik, M. J., Lundberg, I., Kindel, A. T., Ahearn, C. E., Al-Ghoneim, K., Almaatouq, A., Altschul, D. M., Brand, J. E., Carnegie, N. B., Compton, R. J., Datta, D., Davidson, T., Filippova, A., Gilroy, C., Goode, B. J., Jahani, E., Kashyap, R., Kirchner, A., McKay, S., . . . McLanahan, S. (2020). Measuring the predictability of life outcomes with a scientific mass collaboration. Proceedings of the National Academy of Sciences, 117(15), 8398-8403. https://doi.org/10.1073/pnas.1915006117

Shmueli, G. (2010). To explain or to predict? Statistical Science, 25(3), 289-310. https://doi.org/10.1214/10-STS330

Truong, D. (2026). Demystifying AI: Data science and machine learning using IBM SPSS Modeler. Chapman and Hall/CRC. https://doi.org/10.1201/9781003468196

Wendler, T., & Gröttrup, S. (2021). Data mining with SPSS Modeler: Theory, exercises and solutions (2nd ed.). Springer. https://doi.org/10.1007/978-3-030-54338-9

Wolpert, D. H. (1996). The lack of a priori distinctions between learning algorithms. Neural Computation, 8(7), 1341-1390. https://doi.org/10.1162/neco.1996.8.7.1341

Yarkoni, T., & Westfall, J. (2017). Choosing prediction over explanation in psychology: Lessons from machine learning. Perspectives on Psychological Science, 12(6), 1100-1122. https://doi.org/10.1177/1745691617693393