د کړنې شاخصونه او تایید: څنګه پوهېږو چې ماډل ښه دی

لارښود

په دې پاڼه کې

د وړاندوینې ماډل یوازې په یوه لاره تاییدېږي – په هغو معلوماتو چې نه یې دي لیدلي. د ماشیني زده کړې پاڼه تشریح کوي چې د هغه ماډل چې تشریح کوي او د هغه ماډل چې وړاندوینه کوي ترمنځ توپیر څه دی، ماډلونه کوم دي او پروژه څنګه جوړېږي؛ دا پاڼه له یوې پوښتنې سره سروکار لري چې د داسې ماډل هر راپور پرې ولاړ دی یا لوېږي: شمېره له کومه راځي. څلور فرعي پوښتنې، په هغه ترتیب چې راپورته کېږي: کوم شاخص (1) – ځکه "دقت" اکثره ناسم شاخص دی؛ په کومو معلوماتو (2) – روزنه، تایید او ازموینه، او ولې د ازموینې ډله (test set) له هر څه مخکې جلا کېږي؛ څنګه نه یوازې شمېره بلکې د هغې دقت هم ترلاسه کېږي (3) – متقاطع تایید (cross-validation)؛ او شمېره اصلاً څه کېدای شي (4) – تعصب (bias)، واریانس، او د Bayes تېروتنه (Bayes error)، هغه پوله چې هېڅ ماډل ترې ښکته نه ځي. بیا هغه دوه لارې چې شمېره پکې دروغ کېږي پرته له دې چې څوک چل وکړي: د معلوماتو لیک (data leakage) (5)، او هغه ګډونوال چې یو له بله خپلواک نه دي – کورنۍ، ټولګي، شبکې – چې د روزنې او ازموینې عادي وېش یې له پامه غورځوي (6). 7 برخه ټول شیان د راپور په پاراګراف بدلوي. سرچینې د ماشیني زده کړې د پاڼې څلور درسي کتابونه دي – Géron (2022)، Hastie، Tibshirani او Friedman (2009)، Bishop (2006)، Ishii او همکاران (2026) – او درې مقالې چې څېړونکو ته لیکل شوې: د لیک په اړه (Kapoor & Narayanan, 2023)، د وړاندوینې د پولو په اړه (Salganik et al., 2020) او د تشریحي ماډل د تایید او د وړاندوینیز ماډل د تایید ترمنځ د توپیر په اړه (Shmueli, 2010)؛ او د 6 برخې لپاره – د اړیکه ییزې زده کړې بنسټیز کتاب (Getoor & Taskar, 2007). او پنځمه سرچینه، د سافټویر له اړخه: د SPSS Modeler لپاره د Truong (2026) درسي کتاب، چې "هم د غیر تخنیکي برخو زده کوونکو او هم تجربه لرونکو څېړونکو لپاره" لیکل شوی – او وایي چې همدا مفاهیم د IBM په مېنوګانو کې څه نومېږي، سافټویر د تلوالې (default) په توګه څه کوي، او راپور څنګه لیکل کېږي. او کله چې هېڅ تړلی متحول (dependent variable) نه وي – نو شاخص هم نه وي – څه پېښېږي، په بې څارنې زده کړه کې.

1. شاخص: د دندې او د تېروتنې د بیې له مخې

شاخص د پروژې په پیل کې ټاکل کېږي، نه په پای کې – ځکه همدا ټاکي چې کوم ماډل "ښه" دی (Géron, 2022, Chapter 2, "Select a Performance Measure"). د رګرسیون (regression) لپاره – RMSE، د تېروتنو د مربعاتو د اوسط جذر، د هدف په واحدونو کې، چې لویو تېروتنو ته لوړ وزن ورکوي؛ یا MAE، د مطلقو تېروتنو اوسط، کله چې ډېر لرې پراته ارزښتونه (outliers) وي. د ډلبندۍ لپاره – ستونزه له دې ځایه پیلېږي. د Géron 3 څپرکی یو دوه ارزښتیز (binary) ډلبندوونکی (classifier) روزي چې د لاس لیکل شویو عددونو په انځورونو کې 5 عدد وپېژني: متقاطع تایید (cross-validation) په هره ټوټه (fold) کې له 95% څخه پورته ټولیز دقت (accuracy، د سمو ډلبندیو کچه) ښیي. بیا یو ډمي ډلبندوونکی چې د هر انځور په اړه وایي "5 نه دی" – او له 90% څخه پورته ترلاسه کوي، ځکه یوازې شاوخوا لسمه برخه انځورونه 5 دي. "Nostradamus ته ماتې ورکوي." پایله: "دقت معمولاً د ډلبندوونکو لپاره د کړنې غوره شاخص نه دی، په ځانګړي ډول کله چې له کږو معلوماتي ټولګو سره سروکار وي" (Chapter 3, "Performance Measures") – او د ټولنیزې څېړنې معلوماتي ټولګې تقریباً تل کږې وي: له زده کړې وتل، تاوتریخوالی، بېکاري، یوه کوچني ګوند ته رایه. Bishop له طب څخه همدا بېلګه راوړي: سرطان په هرو 1,000 د اکسرې انځورونو کې په 1 کې – "یو ډلبندوونکی چې هر ټکی نورمالې کټګورۍ ته ورکړي، لا دمخه به 99.9% دقت ترلاسه کړي، او له دې ساده حل څخه ډډه کول به ستونزمن وي"؛ د هغه حل دا دی چې په متوازنه ټولګه روزنه وشي او بیا احتمالونه د احصایوي ټولګې (population) د کټګوریو د کچو له مخې بېرته سم شي (Bishop, 2006, p. 45).

د ګډوډۍ ماتریس (confusion matrix) وسیله ده: کتارونه – ریښتینې کټګوري، ستونونه – وړاندوینه شوې کټګوري؛ د Géron په بېلګه کې 53,892 ریښتیني منفي، 687 غلط مثبت (د I ډول تېروتنه)، 1,891 غلط منفي (د II ډول تېروتنه) او 3,530 ریښتیني مثبت – او دا په "پاکو"، له نمونې بهر وړاندوینو محاسبه کېږي چې ماډل هغو کتنو ته ورکړې چې په روزنه کې یې نه وې لیدلې. له دې څخه precision ("مثبت دقت": کله چې ماډل وایي 5 – په څومره کچه سم وي؛ 83.7%) او حساسیت (recall: د ریښتینو 5 ګانو څومره برخه نیسي؛ 65.1%) لاسته راځي، او F1 – د دواړو هارمونیک اوسط (.73)، چې یوازې هغه وخت لوړ وي کله چې دواړه لوړ وي. او کوم یو مهم دی – دا د تېروتنې د بیې پوښتنه ده، نه د احصایې: د ماشومانو لپاره د ویډیوګانو فلټر لوړ precision ته اړتیا لري که څه هم د ټیټ حساسیت په بیه وي؛ په دوکان کې د غلو پېژندونکی کولای شي په 30% precision قناعت وکړي که حساسیت 99% وي. دا دواړه د حد له لارې یو د بل ځای نیسي: د حد لوړول precision لوړوي او حساسیت ټیټوي (Chapter 3, "The Precision/Recall Trade-off"). د ROC منحني په ټولو حدونو کې حساسیت د غلط مثبتو د کچې په وړاندې ښیي، او د هغې لاندې مساحت (AUC) – 1 د بشپړ ډلبندوونکي لپاره، 0.5 د تصادفي لپاره – ډلبندوونکي پرته له حد ټاکلو پرتله کوي؛ خو په نادره کټګورۍ کې ROC ډېر خوشبینه انځور ورکوي، او "د ګوتې د قاعدې په توګه، د PR منحني ته باید هر وخت لومړیتوب ورکړل شي کله چې مثبته کټګوري نادره وي یا کله چې تاسو ته غلط مثبت تر غلط منفي ډېر مهم وي" (Chapter 3, "The ROC Curve"). پخپله منحني – د مساحت لپاره د باور واټن (confidence interval)، د Youden شاخص له مخې حد، په هر حد کې حساسیت او ځانګړتیا (specificity) او د شاخصونو ترمنځ پرتله – د د ROC تحلیل په پاڼه کې محاسبه کېږي. څوک چې په SPSS کې د ډلبندۍ جدول پېژني، 0.5 حد د داسې تلوالې (default) په توګه پېژني چې هېڅوک یې نه بدلوي؛ دلته دا یوه پرېکړه ده چې راپور کېږي.

نادره کټګوري: څه کېږي – او څه نه. Truong درملنې د لومړیتوب په ترتیب ځای په ځای کوي: لومړی د ټولیز دقت پر ځای ګڼ شاخصونه، بیا وېش او تایید، بیا لګښت ته حساسه زده کړه (cost-sensitive learning) – او یوازې "که پخواني مېتودونه د بې توازنۍ ستونزې په اغېزمنه توګه حل نه کړي او اندېښنه وي چې زموږ ماډلونه د اعتبار وړ نه دي، بیا نمونه اخیستنه یو معقول امکان کېږي" (Truong, 2026, pp. 78-79). لګښت ته حساسه زده کړه د "د تېروتنې بیې" رسمي بڼه ده: د پرېکړې ماتریس چې پکې هرې تېروتنې ته یوه بیه ورکول کېږي – C(FN) له لاسه وتلو ته، C(FP) دروغجن خبرداري ته – او ټاکل شوی ماډل هغه دی چې ټوله بیه یې، C(FP) × FP + C(FN) × FN، تر ټولو ټیټه وي، نه هغه چې د تېروتنې کچه یې تر ټولو ټیټه وي؛ "ډېری سافټویرونه د پرېکړې د ماتریس د داخلولو اختیار لري" (مخ 203-204). په داسې حال کې چې د نادرې کټګورۍ زیاته نمونه اخیستنه (oversampling) (د کتنو تکرارول، یا SMOTE – د نږدې ګاونډیانو ترمنځ مصنوعي کتنې) او د عامې کټګورۍ کمه نمونه اخیستنه (undersampling) – چې د لومړۍ په اړه پخپله Truong یادونه کوي چې "د معلوماتو تکرارول ماډلونه زیات برابرولو (overfitting) ته ډېر چمتو کوي" (مخ 79) – د لوجستیک رګرسیون (logistic regression) په یوه سمولیشن کې وازمویل شول: درېواړو "په بده توګه کالیبره شوي ماډلونه ورکړل: د لږکۍ کټګورۍ ته د تړاو احتمال په ښکاره توګه ډېر اټکل شو"، د سمون پرته د ماډل په پرتله یې AUC لوړ نه کړ، او د حساسیت او ځانګړتیا (specificity) ترمنځ هغه توازن چې ترلاسه یې کړ "په همدې کچه د هغې پر ځای د احتمال د حد په خوځولو ترلاسه کېدای شو"؛ پایله – "په پایله کې بې توازني پخپله ستونزه نه ده، او د بې توازنۍ سمول ان د ماډل کړنه خرابولای شي" (van den Goorbergh et al., 2022, لنډیز). دواړه لوستنې سره سمون خوري: نادره کټګوري د شاخص او حد ستونزه ده، نه د معلوماتو. هغه څوک چې احتمالونو ته اړتیا لري – د خطر نمره ورکولو، راپور ورکولو لپاره – توازن نه جوړوي؛ څوک چې بیا هم توازن جوړوي، دا یوازې د روزنې د ټوټې (fold) دننه کوي (لیک L1.2، 5 برخه) او راپور ورکوي چې هغه احتمالونه چې ماډل یې جوړوي نور احتمالونه نه دي. د Modeler درسي کتاب د بیا نمونه اخیستنې په لوري ولاړ دی – لیکوال "په دې تمایل لري چې معلوماتي ټولګې د توازن یا بیا نمونه اخیستنې په مېتودونو درملنه کړي" کله چې د لږکۍ کټګوري "10% یا لږ" وي (د 10:1 یا 20:1 نسبت) – خو په هغو دوو شیانو موافق دي چې دلته مهم دي: "هېڅکله باید یوازې په ټولیز دقت تکیه ونه کړو"، او "د یوې استازې فرعي نمونې د ازموینې لپاره د جلا کولو لپاره، د وېش مېتود باید د بیا نمونه اخیستنې د پروسیجر له پلي کولو مخکې وکارول شي" (Wendler & Gröttrup, 2021, pp. 1148, 1150).

او د "هو" او "نه" ترمنځ – پرېکړه نه کول. د Bishop د پرېکړې تیوري د ردولو اختیار (reject option) ورزیاتوي: په هغو قضیو کې له پرېکړې ډډه کول چې پکې تر ټولو لوړ وروستنی (posterior) احتمال له یوه حد (threshold) ټیټ وي، او هغه "انساني متخصص" ته پرېښودل (Bishop, 2006, p. 42). د هغې څېړونکې لپاره چې په ماډل سره پرانیستو ځوابونو ته کوډ ورکوي (د NLP پاڼه، 6 ګام)، دا سمه کړنلاره ده: ماډل روښانه قضیې ډلبندي کوي، انسان دوه معناوې، او د دوی ترمنځ موافقه په د کوډ ورکوونکو ترمنځ ثبات اندازه کېږي.

2. په کومو معلوماتو: روزنه، تایید، ازموینه

د تشریحي رګرسیون له تایید سره توپیر. Shmueli توپیر کوي: په تشریحي ماډل جوړونه کې، تایید ګوري چې ماډل تیوري استازیتوب کوي او له معلوماتو سره برابر دی – د مشخصاتو ازموینې، د توکو (items) ثبات (reliability) او اعتبار (validity)، د پاتې ارزښتونو (residuals) تحلیل؛ په وړاندوینیز ماډل جوړونه کې تایید "په عمومي کولو تمرکز کوي، یعنې د ماډل په دې وړتیا چې نوي معلومات وړاندوینه کړي"، او "عمومي کولو ته تر ټولو لوی ګواښ د روزنې له معلوماتو سره زیات برابرول دي" (Shmueli, 2010, Section 2.6.1). او له همدې امله "د دې پوهېدو یوازینۍ لاره چې ماډل به نویو قضیو ته څومره ښه عمومي شي، دا ده چې په عمل کې په نویو قضیو وازمویل شي" – یوه د ازموینې ډله جلا کېږي، معمولاً د معلوماتو 20% (Géron, 2022, Chapter 1, "Testing and Validating"). "د روزنې تېروتنه د ازموینې د تېروتنې ښه اټکل نه دی" – دا د ماډل له پیچلتیا سره په دوامداره توګه ټیټېږي، تر صفره پورې، "خو هغه ماډل چې د روزنې تېروتنه یې صفر وي، د روزنې له معلوماتو سره زیات برابر شوی او معمولاً به بد عمومي شي" (Hastie et al., 2009, pp. 220-221)؛ او د الګو پېژندنې په ژبه، د "بېرته ځای پر ځای کولو" تېروتنه (resubstitution، د ډلبندوونکي ازموینه په همغو کتنو چې ترې یې زده کړې کړې) د ریښتینې تېروتنې ښکتنۍ پوله ده او د ازموینې تېروتنه پورتنۍ پوله – ریښتیا د دواړو ترمنځ ده (Ishii et al., 2026, pp. 113-114).

له سپړنې مخکې، نه وروسته. "ښایي عجیبه ښکاري چې په دې پړاو کې د معلوماتو یوه برخه یوې خوا ته کېښودل شي"، Géron لیکي، خو "ستاسو ماغزه د الګوګانو د پېژندلو یو حیرانوونکی سیستم دی، او دا په دې معنا هم ده چې زیات برابرولو ته ډېر لېوال دي": څوک چې د ازموینې ډلې ته ګوري، هغه به د هغه څه له مخې ماډل غوره کړي چې هلته یې لیدلي، او د عمومي کولو اټکل به یې ډېر خوشبینه وي – د کتنې تعصب (data snooping bias; Chapter 2, "Create a Test Set"). د کتاب "A" ضمیمه دا د امر په بڼه لیکي: "د ازموینې ډله نمونه کړئ، یوې خوا ته یې کېږدئ، او هېڅکله ورته مه ګورئ". دوه تخنیکي جزییات چې د بیا جوړونې لپاره مهم دي: وېش باید د ترسره کولو ترمنځ ثابت وي (ثابت تخم، یا د ګډونوال د پېژندنې شمېرې هش – ترڅو هغه ګډونوال چې په روزنه کې و، کله چې معلومات ورزیاتېږي ازموینې ته ولاړ نه شي)؛ او باید طبقه بندي شوی وي – Géron دا د سروې له لارې تشریح کوي: د متحده ایالاتو احصایوي ټولګه (population) 51.1% ښځې ده، نو د 1,000 کسانو نمونه باید 511 ښځې وساتي؛ په خالصه تصادفي نمونه اخیستنه کې د کږې نمونې 10.7% چانس شته (له 48.5% لږ یا له 53.5% ډېرې ښځې). په همدې ډول د ازموینې ډله د یوه کلیدي متحول له مخې طبقه بندي کېږي – او په نادره کټګورۍ کې، پخپله د پایلې له مخې.

درې ډلې، نه دوه. که ماډل تنظیم شي – د ماډلونو ترمنځ ټاکنه، یا د رګولرایزیشن د ځواک په څېر د هایپر-پارامیټر ټاکل – د ازموینې د ډلې له مخې، موږ د عمومي کولو تېروتنه "څو ځله د ازموینې په ډله اندازه کړې، او ماډل او هایپر-پارامیټرونه مو داسې برابر کړي چې د همدې ځانګړې ډلې لپاره غوره ماډل جوړ کړي"؛ هغه ماډل چې د 5% تېروتنې سره ښکاري، په ډګر کې 15% جوړوي. حل د تایید ډله ده (validation set، او dev set هم): د روزنې د ډلې یوه برخه جلا کېږي، پر هغې د نوماندانو ترمنځ ټاکنه کېږي، ټاکل شوی ماډل په ټوله روزنه روزل کېږي، او یوازې بیا – یو ځل – په ازموینه اندازه کېږي (Chapter 1, "Hyperparameter Tuning and Model Selection"). او له اندازه کولو وروسته څه کېږي: "تاسو باید د دې وسوسې په وړاندې مقاومت وکړئ چې هایپر-پارامیټرونه داسې تنظیم کړئ چې شمېرې د ازموینې په ډله ښې ښکاره شي؛ تمه نه کېږي چې دا ښه والی نویو معلوماتو ته عمومي شي" (Chapter 2, "Evaluate Your System on the Test Set")؛ "A" ضمیمه: "وروسته له دې چې د عمومي کولو تېروتنه مو اندازه کړه، ماډل مه بدلوئ: یوازې به د ازموینې له ډلې سره زیات برابرول پیل کړئ". د ازموینې په ډله شمېره هم له د باور واټن (confidence interval) سره راځي: د Géron په بېلګه کې د 41,424 RMSE او د 95% واټن – د مربع تېروتنو پر بنسټ په t وېش – د 39,275 او 43,467 ترمنځ.

نومونه له یوه سافټویر څخه بل ته بدلېږي. "په داسې حال کې چې ډېری سافټویرونه د وېش لومړۍ نمونې ته په دوامداره توګه 'روزنه' وايي، د دویمې او درېیمې نمونې نومونه توپیر کوي، او دا ګډوډي پیدا کولای شي" (Truong, 2026, p. 85): په SPSS Modeler کې وېش Train / Test / Validation دی – "ازموینه" د ماډلونو د پرتلې او سمون لپاره کارېږي، او "تایید" وروستۍ اندازه ګیرنه ده – د اسنادو په ژبه: "ماډل په یوه نمونه کې وروزئ، په دویمه نمونه کې یې وازمویئ او اصلاح یې کړئ، او پایلې په درېیمه کې تایید کړئ" (IBM Corporation, 2016, p. 157)؛ په SAS Enterprise Miner کې – Train / Validation / Test، برعکس (هلته جدول 3.8)؛ او Géron او Hastie او همکاران، چې دا پاڼه د هغوی پسې ځي، د SAS په څېر ځي: تایید د ټاکنې لپاره، ازموینه د وروستۍ اندازه ګیرنې لپاره. ترتیب اصلي دی، نه نوم – او هغه څوک چې د Modeler له پایلو (output) څخه "د ازموینې په ډله دقت" راپور کوي، د دې پاڼې په نومونو د تایید ډله راپور کوي. نسبتونه هم توپیر لري: Truong د زر تر یو میلیون کتنو پورې نمونې لپاره 60-20-20 سپارښتنه کوي، او "له 1,000 کتنو لږ – 60-40 پرته له درېیمې ډلې" (مخ 87)، په داسې حال کې چې د معلوماتو د کیندنې لپاره د هغه د نمونې سپارښتنه "لږ تر لږه 100,000 قضیې" ده (مخ 73). دا د 300 ګډونوالو له سروې څخه بله نړۍ ده – او پکې د 60 ګډونوالو ثابته د تایید ډله داسې شمېره ده چې په تصادف پورې تړلې ده، نو له همدې امله 3 برخه. او Truong هغې چا ته چې په کوچنۍ پیمانه کار کوي څه ورکوي: د ماډل د ثبات (reliability) – "داخلي همغږي"، په بېلابېلو نمونو کې همغه پایلې – او اعتبار (validity) – "دقت"، د هدف سمه وړاندوینه – ترمنځ د هغه توپیر؛ "په حقیقت کې، د ماډل اعتبار د وړاندوینې له ځواک سره یو شی دی"، او پرته له اعتبار ثبات داسې ترازو ده چې د 25 پونډه بوجۍ لپاره په دوامداره توګه شاوخوا 22 پونډه ښیي (مخ 186). د ثبات شاهد، د هغه په نظر، د روزنې په شاخص او د ازموینې په شاخص ترمنځ کوچنی واټن دی – "که بې برابري له 5% لږه وي، د باور وړ ګڼل کېدای شي" (مخ 187) – او همدا هغه واټن دی چې 7 برخه یې د راپور غوښتنه کوي.

په لویه پیمانه دا څنګه ښکاري. د Fragile Families ننګونې کې، د سیالۍ تنظیم کوونکو د معلوماتو هغه نیمایي چې روزنې ته نه وه کارول شوې په دوو ډلو ووېشله: "د پایلو بورډ" (leaderboard)، چې 160 ټیمونو د سیالۍ په اوږدو کې پرې ځانونه ازمویلای شول، او "ساتل شوې" (holdout)، چې دقت یې "تر ننګونې پای پورې ګډونوالو – او تنظیم کوونکو – ته معلوم نه و" (Salganik et al., 2020, Section Methods). او حتی داسې هم لیکوال احتیاط کوي: د همدې ساتل شوې ډلې کارول هم د 160 تر منځ د غوره سپارنې د ټاکلو او هم د هغې د ارزونې لپاره "یو څه خوشبینه اټکلونه یې جوړ کړل" – د دوی په قضیه کې کوچنی تعصب، خو شته (Section Results). د هغې لپاره چې یو ځل د 300 په نمونه ازموینه کوي، دا تعصب کوچنی نه دی.

3. متقاطع تایید: نه یوازې شمېره، بلکې د هغې دقت هم

یوه د تایید ډله یوه شمېره ورکوي، چې په دې پورې تړلې ده چې په تصادفي توګه کوم وېش راووت. متقاطع تایید (k-fold cross-validation) د روزنې ډله په k ټوټو (folds) وېشي، k ځله په k − 1 روزنه کوي او په پاتې یوې ازموینه کوي، او "نه یوازې د ماډل د کړنې اټکل بلکې د اټکل د دقت یو شاخص هم – د هغه معیاري انحراف" ترلاسه کوي (Géron, 2022, Chapter 2, "Better Evaluation Using Cross-Validation"). د Géron د بیو په بېلګه کې: د پرېکړې ونه چې د روزنې تېروتنه یې 0.0 ده، د 10 ټوټو په متقاطع تایید کې د 66,868 (±2,061) RMSE ترلاسه کوي – تقریباً د خطي رګرسیون (linear regression) په څېر (69,858 ±4,182)؛ تصادفي ځنګل 47,019 (±1,034)، خو پخپله د روزنې په ډله شاوخوا 17,474 – لا هم د پام وړ زیات برابرول (overfitting). د هر ماډل لپاره دوه شمېرې، او د ټولو ماډلونو لپاره همغه ټوټې.

څو ټوټې. "په ټولیز ډول، د پنځو یا لسو ټوټو متقاطع تایید د یوې ښې منځنۍ لارې په توګه سپارښتنه کېږي": لږې ټوټې په ډېره کوچنۍ نمونه روزنه کوي او د تېروتنې اټکل پورته خوا ته کږوي؛ یو-پرېښودل (leave-one-out، k = N) بې تعصبه خو بې ثباته دی (Hastie et al., 2009, p. 243). او د یوې معیاري تېروتنې قاعده: له ازمویل شویو ماډلونو څخه، تر ټولو ساده هغه ټاکل کېږي چې تېروتنه یې له غوره ماډل څخه له یوې معیاري تېروتنې (standard error) زیاته نه وي – ځکه پخپله د متقاطع تایید منحني له تېروتنې سره اټکل کېږي (مخ 244). بیه، د Bishop په نظر: "د متقاطع تایید یوه اصلي نیمګړتیا دا ده چې د روزنې د ترسره کولو شمېر S ځله زیاتېږي" (Bishop, 2006, p. 33) – د وېبپاڼې په حساب ماشینونو کې دا هېڅ نه دی، په عصبي شبکه کې دا ورځې دي. او اصلاً ولې متقاطع تایید او نه یوه د تایید ډله: د ساتلو په مېتود (hold-out) کې هغه څه چې ازموینې ته ورکول کېږي له زده کړې کمېږي، او برعکس – "کله چې د کتنو شمېر کم وي، د H مېتود دقیق مېتود نه دی" د تېروتنې د اټکل لپاره، په داسې حال کې چې متقاطع تایید "ډاډ ورکوي چې ټول غړي به د زده کړې او ازموینې لپاره وکارول شي" (Ishii et al., 2026, p. 89). تصادفي ځنګلونه وړیا تایید لري: هره ونه په داسې نمونه روزل کېږي چې له بېرته ځای پر ځای کولو سره اخیستل شوې او شاوخوا 37% کتنې بهر پرېږدي، او په "له کڅوړې بهر" (out-of-bag) کتنو د تېروتنې اټکل د N ټوټو له متقاطع تایید سره "تقریباً یو شان" دی (Hastie et al., 2009, p. 593).

تنظیم هم – د متقاطع تایید دننه. د جال لټون (د هایپر-پارامیټرونو ټول ترکیبونه) یا تصادفي لټون (د ترکیبونو ټاکلی شمېر؛ کله چې د ترکیبونو ساحه لویه وي غوره دی – "A" ضمیمه: تصادفي ته لومړیتوب ورکړئ مګر دا چې لږ ارزښتونه وي) د هر ترکیب لپاره متقاطع تایید (cross-validation) ترسره کوي، او د اوسط له مخې ټاکنه کېږي. قاعده: هره پرېکړه چې د کړنې پر بنسټ وي – ماډل، هایپر-پارامیټر، حد (threshold)، د ځانګړنو فلټر کول – د ټوټو دننه کېږي، نه پر هغو (5 برخه).

4. تعصب، واریانس – او د تېروتنې پوله

د یوه ماډل د عمومي کولو تېروتنه د دریو مجموعه ده: تعصب (bias) – غلطې انګېرنې (مستقیمه کرښه د مربعي معلوماتو لپاره) – چې کم برابرولو ته لار هواروي؛ واریانس – د روزنې په معلوماتو کې کوچنیو بدلونونو ته زیات حساسیت، د هغو ماډلونو برخه چې ډېرې د ازادۍ درجې (degrees of freedom) لري – چې زیات برابرولو (overfitting) ته لار هواروي؛ او نه کمېدونکې تېروتنه – پخپله په معلوماتو کې شور، چې یوازې د معلوماتو پاکول یې کموي. د ماډل د پیچلتیا زیاتول واریانس لوړوي او تعصب ټیټوي، او برعکس – "او له همدې امله ورته منځنۍ لار ویل کېږي" (Géron, 2022, Chapter 4, "The Bias/Variance Trade-Off"). رسمي تجزیه – په یوه ټکي کې د وړاندوینې تمه شوې تېروتنه = د شور واریانس + د تعصب مربع + د اټکلوونکي واریانس – د Hastie او همکارانو 7.9 معادله ده (مخ 223)، او د الګو پېژندنې کې "د تعصب او واریانس ستونزه": MSE = Bias² + Var، نو کله چې د تفکیک د تابع درجه لوړه شي او په نویو کتنو وازمویل شي، تېروتنه "تر یوې ټاکلې درجې پورې ټیټېږي، او بیا" لوړېږي (Ishii et al., 2026, pp. 111-112). تشخیص: په روزنه ښه او په متقاطع تایید بد – زیات برابرول؛ په دواړو بد – کم برابرول. د زده کړې منحني ګانې – د روزنې تېروتنه او د تایید تېروتنه د نمونې د اندازې د تابع په توګه – دا په سترګو ښیي، او Bishop زیاتوي چې څه مرسته کوي: "د ماډل د یوې ټاکلې پیچلتیا لپاره، د زیات برابرولو ستونزه هر څومره چې معلوماتي ټولګه لویېږي، لږ جدي کېږي" (Bishop, 2006, p. 9). د کتنو د شمېر او د پارامیټرونو او ځانګړنو د شمېر ترمنځ د نسبت په اړه – د Bishop د ګوتې قاعده او د Hughes پدیده – د ماشیني زده کړې پاڼه، 2 برخه وګورئ.

او شمېره اصلاً څه کېدای شي. یوه پوله شته چې هېڅ ماډل ترې ښکته نه ځي: د Bayes تېروتنه (Bayes error) – "هغه پوله چې د تېروتنې احتمال ترې کوچنی کېدای نه شي، په بله وینا 'د وېشونو سره پوښښ'، چې هغه 'نه مخنیوی کېدونکې تېروتنه' ده چې د ځانګړنو د استخراج دا سیستم یې رامنځته کوي" (Ishii et al., 2026, p. 101). کله چې ځانګړنې کټګورۍ له یو بل نه جلا کوي، هېڅ الګوریتم نشته چې جلا یې کړي. دا د Fragile Families ننګونې سمه لوستنه ده: 160 ټیمونه، 4,242 کورنۍ او په هره یوه 12,942 متحولونه – او د ساتل شوې ډلې په معلوماتو R² د مادي سختۍ او د نمرو د اوسط لپاره شاوخوا 0.2 او د نورو څلورو پایلو لپاره شاوخوا 0.05، "یوازې یو څه ښه" د هغه حوالې ماډل په پرتله چې په څلورو متحولونو رګرسیون و چې یوه متخصص ټاکلي وو؛ د وړاندوینې تېروتنه په کلکه له هغې کورنۍ سره تړلې وه چې وړاندوینه یې کېده او یوازې په کمزوري ډول له مېتود سره (Salganik et al., 2020، لنډیز او د Results برخه). "څرنګه چې سلګونو څېړونکو دا دنده هڅه کړه او هېڅوک یې په دقیق ډول وړاندوینه نه شوه کولای"، ټیټ دقت "په اسانۍ سره د یوه ځانګړي څېړونکي یا چلند محدودیتونو ته نه شي منسوبېدای" (Section Discussion) – دا پوله ده، نه ناکامي. Kapoor او Narayanan "د وړاندوینې د پولو نه پوهېدل" د بیا جوړونې د ناکامیو لپاره خپل لومړی تشخیص ګڼي: د انځورونو په پېژندنه کې بریاوې "دا تاثر ورکوي" چې ماډلونه په هره دنده کې له انسانانو مخکې کېږي، او څېړونکي د دې په اړه ګډوډوي چې د ټولنیزو پایلو په وړاندوینه کې د څه تمه کېدای شي؛ سپارښتنه – د دقت پورتنۍ پولې وپېژندل شي، او کله چې ترلاسه شوې، د هغو د تېرولو هڅه ودرول شي او په هغو پایلو شک وشي چې ادعا کوي تېرې شوې (Kapoor & Narayanan, 2023, Section Discussion, D1-R1). څېړونکې ته: هغه ماډل چې د شالید له متحولونو د زده کړې د پرېښودو لپاره AUC = .95 راپور کوي، کومه لویه بریا نه ده – دا د 5 برخې نښه ده.

5. د معلوماتو لیک: حیرانوونکې شمېره چې دروغ ده

Kapoor او Narayanan د ماشیني زده کړې پر بنسټ د ساینس ادبیات وکتل او په 17 برخو کې په 294 مقالو کې یې لیک (leakage) وموند، "په ځینو قضیو کې له وحشیانه خوشبینه پایلو سره" (Kapoor & Narayanan, 2023, Section Summary). د دوی ډلبندي د دې پاڼې چک لیست دی: [L1] د روزنې او ازموینې ترمنځ پاک جلاوالی نشته – اصلاً د ازموینې ډله نشته (L1.1)؛ په ټولو معلوماتو مخکینی پروسس – د ورکو ارزښتونو ډکول، معیاري کول (standardization) یا زیاته نمونه اخیستنه (oversampling) له وېش مخکې (L1.2؛ دا د Géron خبرداری دی: "هېڅکله fit() یا fit_transform() د روزنې له ډلې پرته د بل څه لپاره مه کاروئ"، 2 څپرکی، "Feature Scaling and Transformation")؛ په ټولو معلوماتو د ځانګړنو ټاکل (L1.3)؛ تکرارونه (L1.4). [L2] ناروا ځانګړنې – چې په حقیقت کې پخپله هدف دي: د دوی بېلګه یوه څېړنه ده چې د لوړ فشار د درملو له اخیستلو یې لوړ فشار وړاندوینه کړ. [L3] د ازموینې ډله چې له هغه وېش څخه نه ده چې ادعا پرې ده – په وخت کې لیک (د روزنې په پرتله په پخوانیو معلوماتو ازموینه، L3.1)، او ماته شوې خپلواکي (L3.2, Section 6). د دوی بېلګه سیاسي علوم دي: د کورنیو جګړو په وړاندوینه کې، چې پکې پیچلي ماډلونه "په لوی واټن ګټونکي ګڼل کېدل" د لوجستیک رګرسیون (logistic regression) په پرتله، "کله چې تېروتنې سمې شوې، د ماشیني زده کړې پیچلي ماډلونه د لسیزو زړو LR ماډلونو څخه په بنسټیز ډول ښه کار نه کوي" (Section Summary). د دوی وړاندیز – "د ماډل لپاره د معلوماتو پاڼه" چې پکې څېړونکی د لیک هر ډول ته ځواب ورکوي – او لوستونکو ته: "د ماشیني زده کړې پر بنسټ د ساینس پایلې لنډمهاله وګڼئ" (R2).

هغه تجربه چې دا یې څوارلس کاله مخکې ښودلې وه. Hastie او همکاران په دوو مساوي کټګوریو کې 50 ګډونوال او 5,000 تصادفي وړاندوینوونکي (predictors) سمولیټ کوي چې اصلاً له کټګورۍ سره تړاو نه لري – د ډلبندۍ ریښتینې تېروتنه 50% ده. "ناسمه لاره": په ټوله نمونه هغه 100 وړاندوینوونکي فلټر کړئ چې له کټګورۍ سره تر ټولو ډېره همبستګي لري، او بیا تېروتنه په متقاطع تایید (cross-validation) اټکل کړئ – په 50 سمولیشنونو کې اوسط 3%، "له ریښتینې تېروتنې ډېر ټیټ"، ځکه وړاندوینوونکو هغه ګډونوال چې بهر پرېښودل شوي وو "لا دمخه لیدلي وو"؛ "سمه لاره": لومړی په ټوټو ووېشئ، او فلټر کول، د ډلبندوونکي جوړول او وړاندوینه په هره ټوټه کې دننه ترسره کړئ (Hastie et al., 2009, pp. 245-246). دا دقیقاً L1.3 دی – او همدا لامل دی چې د پایلې سره د همبستګۍ له مخې د توکو فلټر کول، چې د مقیاسونو په جوړولو کې یو منل شوی عادت دی، له وېش مخکې منع دی. تخنیکي حل پایپ لاین (Pipeline په scikit-learn کې) دی: د چمتو کولو ټول پړاوونه او ماډل د یوه واحد په توګه، چې د روزنې په ټوټه برابرېږي او د ازموینې په ټوټه پلي کېږي – نو لیک نه شي کولای.

6. هغه معلومات چې خپلواک نه دي: کورنۍ، ټولګي، شبکې

هر هغه څه چې پورته دي، دا انګېري چې کتنې خپلواکې دي او یو شان وېش لري (i.i.d.) – او په ټولنیزه څېړنه کې تقریباً هېڅکله داسې نه وي: په یوه ټولګي کې زده کوونکي، د یوې کورنۍ غړي، په شبکه کې ملګري، د یوه کس تکراري اندازه ګیرنې (repeated measures). ستونزه د Kapoor او Narayanan په L3.2 برخه کې د تایید د خنډ په توګه بیان شوې: "د روزنې او ازموینې د نمونو ترمنځ نه خپلواکي لیک دی، مګر دا چې علمي ادعا د داسې وېش په اړه وي چې همغه د تړاو جوړښت لري. په افراطي (خو له بده مرغه عامه) قضیه کې، د روزنې او ازموینې نمونې له همغو کسانو یا واحدونو راځي" (Kapoor & Narayanan, 2023, L3.2). د اړیکه ییزې زده کړې ادبیات همدا شی د معلوماتو د ځانګړنې په توګه بیانوي، نه د څېړونکي د تېروتنې په توګه: "د احصایوي ډلبندۍ په مېتودونو کې د کار لویه برخه په 'هوارو' معلوماتو تمرکز کړی – هغه معلومات چې د یو شان جوړښت لرونکو ادارو څخه جوړ دي، چې معمولاً i.i.d. انګېرل کېږي. خو په ریښتینې نړۍ کې ډېرې معلوماتي ټولګې په ذات کې اړیکه ییزې دي: تړل شوې وېب پاڼې، په پېټنټونو او علمي مقالو کې متقابلې حوالې، ټولنیزې شبکې، طبي ریکارډونه" (Taskar, Abbeel, Wong & Koller, 2007, p. 175)؛ "د ماشیني زده کړې د دودیزو سناریوګانو برعکس، چې پکې د زده کړې سیستم د ننوتو په توګه د i.i.d. کتنو لړۍ ترلاسه کوي، د اړیکه ییزې زده کړې الګوریتم ته ننوتنه اکثره یوه واحده، په بډایه توګه تړل شوې بېلګه ده" (Getoor & Taskar, 2007, p. 4). میکانیزم ځاني همبستګي (autocorrelation) ده: "په تړلو ادارو کې د یوه متحول د ارزښتونو ترمنځ احصایوي تړاو"، چې "د اړیکه ییزو معلوماتي ټولګو تقریباً نړیواله ځانګړنه ده" – Neville او Jensen، د نورو په منځ کې، د هغو شرکتونو د صنعت ډلبندي یادوي چې د مدیره هیئت غړي سره شریکوي، د ګرځنده ټیلیفون د هغو پېرودونکو د درغلۍ حالت چې ګډو شمېرو ته زنګ وهي، او د نږدې تماس لرونکو کسانو ترمنځ د نري رنځ لېږد (Neville & Jensen, 2007, p. 240). دا "د ماډل د کړنې د ښه کولو یو ځانګړی فرصت دی، ځکه د یوه شي په اړه استنباط کولای شي د تړلو شیانو په اړه استنباط تغذیه کړي" (همهلته) – او دقیقاً د همدې لامله، یو عادي ماډل چې زده کوونکی په روزنه کې او د هغه ټولګیوال په ازموینه کې ترلاسه کوي، له ځاني همبستګۍ "اټکل لګوي"، نه له ځانګړنو.

څه کېږي. وېش – روزنې او ازموینې ته، او د متقاطع تایید (cross-validation) ټوټو ته – د هغه واحد له مخې کېږي چې ادعا پرې ده: په تکراري اندازه ګیرنو (repeated measures) کې د ګډونوال له مخې، په یو په بل کې ځای پر ځای (nested) معلوماتو کې د ټولګي یا ښوونځي له مخې، د کورنۍ له مخې، د ټولنې له مخې (په وسیلو کې: GroupKFold او ورته په scikit-learn کې). شاخصونه د واحد له مخې: د زده کوونکي لپاره تېروتنه د ټولګي لپاره تېروتنه نه ده. په وخت کې مخکې وړاندوینه – ازموینه له روزنې وروسته ده (L3.1)، ورسره ګډه نه ده. او هغه څوک چې غواړي تړاو وکاروي – د زده کوونکي وړاندوینه د هغه له ملګرو – اړیکه ییزو ماډلونو ته اوړي (ډله ییز استنباط، سلسله مراتبي ماډلونه؛ د وسیلو نقشه، 4 برخه)، او راپور ورکوي چې ادعا د همغه جوړښت لرونکې شبکې په اړه ده، نه د یوه ګډونوال په اړه. د وېبپاڼې ازموینه: پوښتنه وکړئ "که دا ګډونوال له ازموینې ډلې واخلم، د روزنې له ډلې څوک ورته ډېر ورته دی؟" – او که ځواب شته، وېش غلط دی.

7. څه راپور کېږي

بشپړ پاراګراف، په ترتیب سره: شاخص او ولې (د تېروتنې بیه؛ ټاکل شوی حد)؛ وېش – د ازموینې کچه، طبقه بندي، د کوم واحد له مخې، تخم؛ متقاطع تایید (cross-validation) – څو ټوټې، د هر ازمویل شوي ماډل لپاره اوسط او معیاري انحراف، په شمول د هغو چې ناکام شول؛ د حوالې کرښه – ډمي ډلبندوونکی او په معلومو متحولونو رګرسیون؛ مهمه شمېره له هغې څخه توپیر دی، نه پخپله شاخص؛ د ازموینې ډله – یو ځل، شاخص او د باور واټن (confidence interval)، د ګډوډۍ ماتریس، او له متقاطع تایید سره واټن؛ فرعي ډلې – Géron غوښتنه کوي چې ډاډ ترلاسه شي چې ماډل نه یوازې په اوسط کې بلکې "د ولسوالیو په ټولو کټګوریو کې، کلیوالي یا ښاري، شتمن یا بې وزله، شمالي یا جنوبي، لږکي یا نه" کار کوي، او که په یوه بشپړه کټګورۍ ناکام شي، د هغې لپاره ونه کارول شي "ځکه چې ښایي له ګټې ډېر زیان ورسوي" (Géron, 2022, Chapter 2, "Analyzing the Best Models and Their Errors")؛ لیک – د ډلبندۍ هر ډول ته څرګند ځواب، د "د ماډل لپاره د معلوماتو پاڼې" په بڼه؛ او ماډل څه نه وایي – وړاندوینه لامل نه دی. هر څه له ضمیمه شوې نوټبوک څخه بیا جوړېدای شي – د وېبپاڼې د ټولو حساب ماشینونو همغه قاعده: نا مستند محاسباتي پایله موندنه نه ده.

او په راپور کې دا څنګه ښکاري. د Truong 11 څپرکی په پنځو کتابونو کې یوازینی څپرکی دی چې له لیکلو سره سروکار لري. د اکاډمیکې مقالې لپاره د هغه جوړښت پېژندل شوی جوړښت دی – سرلیک، لنډیز، سریزه، د ادبیاتو بیاکتنه، مېتود، پایلې، بحث او پایلې – خو په مېتود کې څلور فرعي برخې دي چې په رګرسیون (regression) کې نشته: د معلوماتو سرچینه او د متحولونو تشریح (په شمول د هر متحول د رول – هدف یا ننوتنه – او د هغه د مقیاس)؛ د معلوماتو د کیندنې بهیر؛ "الګوریتمونه او تنظیمات" – یو جدول چې پکې هر ماډل خپل هایپر-پارامیټرونه لري، لکه څنګه چې داخل شوي (د ونې اعظمي ژوروالی، د وېشلو قاعده، د درېدو قاعده، د "د زیات برابرولو د مخنیوي ډلې" کچه)، "د دې کار تر ټولو اسانه لاره دا ده چې تنظیمات په یوه جدول کې لنډ کړئ"؛ او د ارزونې شاخصونه – کوم، او ولې (Truong, 2026, pp. 396, 414-415). په پایلو کې: په همغه ډله د ټولو ماډلونو پرتله، د اتل ماډل (champion model) پېژندل – "چې یوازې د هغو ماډلونو تر منځ اتل دی چې موږ په ورکړل شویو معلوماتو روزلي او ازمویلي"، او کېدای شي نسبتاً غوره وي نه غوره (مخ 189) – او بیا، یوازې د اتل لپاره، په ټولو ډلو کې شاخصونه څنګ په څنګ، او د متحولونو د اهمیت پرتله. له دې پاڼې سره یو توپیر د پوهېدو وړ دی: Truong لیکي چې "د روزنې د نمونې پایلې په جلا توګه راپور کولو ته اړتیا نشته" (مخ 188)، په داسې حال کې چې دلته د روزنې او متقاطع تایید (cross-validation) ترمنځ واټن راپور کېږي – ځکه دا د زیات برابرولو (overfitting) شاهد دی، او ځکه پخپله Truong په هغه سره ثبات (reliability) اندازه کوي (2 برخه). او هغه څه چې باید د هغه له خولې لکه څنګه چې دي وانخیستل شي: د ګوتې قاعدې – "د 5% یا لږ غلطې ډلبندۍ کچه عالي ګڼل کېږي، او د 5% او 10% ترمنځ – ښه"، او د دقت، حساسیت، ځانګړتیا (specificity) او F1 لپاره "95% او پورته عالي، 90-95% ښه" – د هغه لخوا په ښکاره د شخصي نظر په توګه راوړل شوي، له دې جملې وروسته چې "د دې شاخصونو لپاره معیاري حد ارزښتونه نشته؛ پرېکړه په صنعت او د تېروتنې د زغم په کچې پورې اړه لري" (مخ 199-200). د شالید له متحولونو د انساني پایلو په وړاندوینه کې (4 برخه) دا ارزښتونه شتون نه لري، او هغه څوک چې ورته رسېږي – 5 برخې ته بېرته ستنېږي.

8. او دا په R کې څنګه کېږي

دوه برخې. الف. د 1 برخې شاخصونه په له نمونې بهر وړاندوینو: د د ماشیني زده کړې پاڼې د بېلګې په فایل (320 زده کوونکي، د زده کړې پرېښودل 11.6%) د لسو ټوټو په متقاطع تایید (cross-validation) کې لوجستیک رګرسیون (logistic regression)، او بیا د ګډوډۍ ماتریس له ټولو شاخصونو سره (د caret confusionMatrix، mode = "everything" – حساسیت، ځانګړتیا، precision، F1، او "د معلوماتو د نشتوالي کچه"، چې د ډمي ډلبندوونکي دقت دی)، د ROC منحني د AUC لپاره له د باور واټن (confidence interval) سره، د Youden له مخې "غوره" حد، او له همغو وړاندوینو د precision-recall منحني (pROC). د شاخصونو لېست – دقت، حساسیت، ځانګړتیا، precision، د غلط مثبتو او غلط منفي کچې – د Gutierrez لېست دی (2015, Chapter 7, "Measuring Classification Performance")، چې دا خبرداری هم ورکوي: "که د الګوریتم کړنه دومره ښه وي چې ریښتیا نه ښکاري، د معلوماتو لیک ښایي لامل وي" (Chapter 7, "Data Leakage"). ب. د 5 برخې د تجربې بیا جوړونه – د Hastie او همکارانو "د متقاطع تایید ناسمه او سمه لاره" (2009، مخ 245-246) – په سلو کرښو کې: 50 ګډونوال، 5,000 تصادفي وړاندوینوونکي، د 100 تر ټولو ډېرو همبستګو فلټر کول، یو نږدې ګاونډی، پنځه ټوټې. لار C:\Rdata\ – د وېبپاڼې دود.

# model_evaluation.R - performance measures and validation in R: confusion matrix, ROC, cross-validation - and leakage in numbers
library(readxl); library(caret); library(pROC); library(class)

# --- A. The measures - on out-of-sample predictions, not on the training set ---
d <- read_excel("C:/Rdata/DATA_ml_example_eng.xlsx")
d$dropout <- factor(d$dropout, levels = c(0, 1), labels = c("no", "yes"))
d$gender  <- factor(d$gender, levels = c(1, 2), labels = c("male", "female"))
d$id <- NULL
ctrl <- trainControl(method = "cv", number = 10, classProbs = TRUE,
                     summaryFunction = twoClassSummary, savePredictions = "final")
set.seed(1)
m <- train(dropout ~ . - school_id, data = d, method = "glm", family = binomial,
           metric = "ROC", trControl = ctrl, preProcess = c("medianImpute", "center", "scale"),
           na.action = na.pass)
cv <- m$pred                                   # one prediction per observation - from the fold where it was held out
confusionMatrix(cv$pred, cv$obs, positive = "yes", mode = "everything")   # at threshold 0.5
r <- roc(cv$obs, cv$yes, levels = c("no", "yes"), direction = "<")
auc(r); ci.auc(r)                              # AUC and confidence interval
coords(r, "best", best.method = "youden", ret = c("threshold", "sensitivity", "specificity", "precision"))
# precision-recall curve - for a rare class - from the same predictions:
pr <- coords(r, x = seq(0.05, 0.6, by = 0.05), ret = c("threshold", "recall", "precision"))
pr

# --- B. The wrong and right way to do cross-validation (Hastie et al., 2009, pp. 245-246) ---
# 50 subjects in two equal classes, 5,000 random predictors - true error 50%.
set.seed(20260920)
N <- 50; P <- 5000; K <- 5; n_keep <- 100
y <- factor(rep(c("A", "B"), each = N / 2))
X <- matrix(rnorm(N * P), N, P)
folds <- createFolds(y, k = K)
screen <- function(X, y, n) {                   # the 100 predictors most correlated with the class
  r <- abs(cor(X, as.numeric(y)))
  order(-r)[1:n]
}
# wrong way: screen on the whole sample, then cross-validate
keep_all <- screen(X, y, n_keep)
err_wrong <- sapply(folds, function(te) {
  tr <- setdiff(seq_len(N), te)
  mean(knn(X[tr, keep_all], X[te, keep_all], y[tr], k = 1) != y[te])
})
# right way: screening inside each fold, on that fold's training data only
err_right <- sapply(folds, function(te) {
  tr <- setdiff(seq_len(N), te)
  keep <- screen(X[tr, ], y[tr], n_keep)
  mean(knn(X[tr, keep], X[te, keep], y[tr], k = 1) != y[te])
})
c(wrong = mean(err_wrong), right = mean(err_right))   # ~0.03 vs ~0.50

څه راووتل (R 4.3.3، caret 6.0-94، pROC 1.18.5، class 7.3-22؛ بشپړې پایلې – qa/ml/ev_out.txt). الف. په 0.5 حد کې: ټولیز دقت .884 – دقیقاً د معلوماتو د نشتوالي کچه (.884)، یعنې ماډل په دې حد کې له ډمي ډلبندوونکي ښه نه دی؛ حساسیت .03، precision .50، F1 .05. همغه ماډل، همغه وړاندوینې: AUC = .66، د باور واټن [.57, .76]؛ د Youden له مخې حد .13 – حساسیت .57، ځانګړتیا .72، precision .21؛ او د حدونو په اوږدو کې، له .05 څخه تر .50 پورې، حساسیت له .89 څخه .03 ته ټیټېږي او precision له .14 څخه .50 ته لوړېږي – دا د 1 برخې منځنۍ لاره په شمېرو کې ده، او هغه څه چې یو واحد شاخص یې پټوي. ب. ناسمه لاره: تېروتنه 2%؛ سمه لاره: 60% – په بشپړ ډول تصادفي وړاندوینوونکو، چې ریښتینې تېروتنه پرې 50% ده (او په 50 ګډونوالو کې 60% د پنځو ټوټو په شور کې 50% دی). Hastie او همکارانو په 50 سمولیشنونو کې 3% راپور کړی؛ دلته یو سمولیشن، تخم 20260920. څوک چې له وېش مخکې د پایلې سره د همبستګۍ له مخې توکي فلټر کوي، لومړۍ شمېره ترلاسه کوي.

عامې تېروتنې

په نادره کټګورۍ ټولیز دقت راپور کول. د 6% زده کوونکو د زده کړې د پرېښودو په وړاندوینه کې 94% دقت همغه ډمي ډلبندوونکی دی. د ګډوډۍ ماتریس، precision او حساسیت راپور کېږي – د ډمي ډلبندوونکي په وړاندې (1 برخه).

په ټولو معلوماتو معیاري کول (standardization)، ډکول یا د ځانګړنو ټاکل – او بیا وېشل. تر ټولو عام لیک (L1.2-L1.3). د SPSS عادت – "لومړی فایل پاکېږي" – ستونزه ده. پایپ لاین یوازې په روزنه برابرېږي (5 برخه).

د کتارونو وېشل کله چې واحد ګډونوال، ټولګی یا کورنۍ وي. د همغه کس درې اندازه ګیرنې په روزنه او ازموینه کې – او ماډل هغه "پېژني" د وړاندوینې پر ځای (6 برخه). وېش د هغه واحد له مخې چې ادعا پرې ده.

د ازموینې په ډله تنظیم. ترسره کول، لیدل چې پایله ښه نه ده، بدلول، بیا ترسره کول. له دویم ځل وروسته د ازموینې ډله د تایید ډله ده، او هغه شمېره چې راپور کېږي خوشبینه ده (2 برخه).

یوه شمېره پرته له خپراوي. له یوې ټوټې AUC = .78 په بله ټوټه کې .71 کېدای شي. په ټوټو کې اوسط او معیاري انحراف، په ازموینه کې د باور واټن (confidence interval) (3 برخه).

له ماډل پرته له حوالې کرښې اغېزمن کېدل. AUC = .78 عالي ښکاري تر هغه چې ولیدل شي چې په څلورو متحولونو لوجستیک رګرسیون (logistic regression) .76 ورکوي. شمېره توپیر دی – او Salganik او همکارانو (2020) وښودله چې څومره کوچنی کېدای شي.

د ازموینې R² ته د رګرسیون د R² په سترګه کتل. په نویو معلوماتو کې صفر او ان منفي کېدای شي؛ د Fragile Families په ننګونه کې 0.2 د 160 ټیمونو لوړه کچه وه.

په زیاته نمونه اخیستنه (oversampling) د کټګوریو توازن – او د احتمالونو راپور. له SMOTE یا تکرار وروسته، د نادرې کټګورۍ لپاره وړاندوینه شوی احتمال ډېر اټکل کېږي، او AUC نه لوړېږي (van den Goorbergh et al., 2022). حد خوځول کېږي، یا د پرېکړې ماتریس داخلېږي (1 برخه)؛ او که توازن جوړېږي – یوازې د روزنې د ټوټې دننه.

ډېر لوړ شاخص د بریا په توګه لوستل. کله چې پایله له ادبیاتو او د حوالې له کرښې ډېره تېره شي، لومړی شک لیک دی (5 برخه) – داسې ځانګړنه چې په بدل شکل کې پخپله هدف دی، یا داسې ګډونوال چې په دواړو خواوو کې دی. "پایلې… لنډمهاله وګڼئ" (Kapoor & Narayanan, 2023, R2).

چک لیست – د وړاندوینې د پایلې له راپور مخکې

سرچینې

Bishop, C. M. (2006). Pattern recognition and machine learning. Springer.

Géron, A. (2022). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems (3rd ed.). O'Reilly Media.

Getoor, L., & Taskar, B. (2007). Introduction. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 1-12). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0003

Gutierrez, D. D. (2015). Machine learning and data science: An introduction to statistical learning methods with R. Technics Publications.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

IBM Corporation. (2016). IBM SPSS Modeler 18.0 source, process, and output nodes. IBM. https://public.dhe.ibm.com/software/analytics/spss/documentation/modeler/18.0/en/ModelerSPOnodes.pdf

Ishii, K., Ueda, N., Maeda, E., & Murase, H. (2026). Pattern recognition and machine learning for self-study I: Supervised learning. Springer. https://doi.org/10.1007/978-981-95-1478-6

Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), Article 100804. https://doi.org/10.1016/j.patter.2023.100804

Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1-26. https://doi.org/10.18637/jss.v028.i05

Neville, J., & Jensen, D. (2007). Relational dependency networks. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 239-268). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0010

Salganik, M. J., Lundberg, I., Kindel, A. T., Ahearn, C. E., Al-Ghoneim, K., Almaatouq, A., Altschul, D. M., Brand, J. E., Carnegie, N. B., Compton, R. J., Datta, D., Davidson, T., Filippova, A., Gilroy, C., Goode, B. J., Jahani, E., Kashyap, R., Kirchner, A., McKay, S., . . . McLanahan, S. (2020). Measuring the predictability of life outcomes with a scientific mass collaboration. Proceedings of the National Academy of Sciences, 117(15), 8398-8403. https://doi.org/10.1073/pnas.1915006117

Shmueli, G. (2010). To explain or to predict? Statistical Science, 25(3), 289-310. https://doi.org/10.1214/10-STS330

Taskar, B., Abbeel, P., Wong, M.-F., & Koller, D. (2007). Relational Markov networks. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 175-200). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0008

Truong, D. (2026). Demystifying AI: Data science and machine learning using IBM SPSS Modeler. Chapman and Hall/CRC. https://doi.org/10.1201/9781003468196

van den Goorbergh, R., van Smeden, M., Timmerman, D., & Van Calster, B. (2022). The harm of class imbalance corrections for risk prediction models: Illustration and simulation using logistic regression. Journal of the American Medical Informatics Association, 29(9), 1525-1534. https://doi.org/10.1093/jamia/ocac093

Wendler, T., & Gröttrup, S. (2021). Data mining with SPSS Modeler: Theory, exercises and solutions (2nd ed.). Springer. https://doi.org/10.1007/978-3-030-54338-9