מדדי ביצוע ואימות: איך יודעים שהמודל טוב

מדריך

מה בעמוד

מודל חיזוי מאומת בדרך אחת בלבד – על נתונים שלא ראה. עמוד למידת המכונה מסביר מה ההבדל בין מודל שמסביר למודל שחוזה, מהם המודלים ואיך בונים פרויקט; העמוד הזה עוסק בשאלה אחת שכל דיווח על מודל כזה עומד או נופל עליה: מאיפה המספר. ארבע שאלות-משנה, בסדר שבו הן מתעוררות: איזה מדד (1) – כי "דיוק" הוא לרוב המדד הלא-נכון; על אילו נתונים (2) – אימון, תיקוף ובדיקה, ולמה קבוצת הבדיקה מופרשת לפני הכול; איך מקבלים לא רק מספר אלא גם את דיוקו (3) – אימות צולב; ומה המספר יכול להיות בכלל (4) – הטיה, שונות, ושגיאת בייס, הגבול שמתחתיו שום מודל אינו יורד. ואז שתי הדרכים שבהן המספר נעשה שקר בלי שאיש רימה: דליפת נתונים (5), ונבדקים שאינם בלתי-תלויים זה בזה – משפחות, כיתות, רשתות – שהחלוקה הרגילה לאימון ולבדיקה מתעלמת מהם (6). סעיף 7 הופך את הכול לפסקת דיווח. המקורות הם ארבעת ספרי הלימוד של עמוד למידת המכונה – ז'רון (2022), הייסטי, טיבשיראני ופרידמן (2009), בישופ (2006), אישיי ועמיתיו (2026) – ושלושה מאמרים שנכתבו לחוקרים: על דליפה (Kapoor & Narayanan, 2023), על גבולות החיזוי (Salganik et al., 2020) ועל ההבדל בין אימות של מודל מסביר לאימות של מודל חוזה (Shmueli, 2010); ולסעיף 6 – ספר היסוד של הלמידה היחסית (Getoor & Taskar, 2007). ומקור חמישי, מהצד של התוכנה: ספר הלימוד של טרואונג (2026) ל-SPSS Modeler, שנכתב "ללומדים מתחומים לא-טכניים ולחוקרים מנוסים כאחד" – ואומר איך אותם מושגים נקראים בתפריטים של IBM, מה התוכנה עושה כברירת מחדל, ואיך כותבים את הדוח. ומה קורה כשאין משתנה תלוי בכלל – ולכן אין מדד – בלמידה בלתי-מונחית.

1. המדד: לפי המשימה ולפי מחיר הטעות

המדד נבחר בתחילת הפרויקט, לא בסופו – כי הוא קובע איזה מודל "טוב" (Géron, 2022, Chapter 2, "Select a Performance Measure"). לרגרסיה – RMSE, שורש ממוצע ריבועי השגיאות, ביחידות היעד, שנותן משקל גבוה לשגיאות גדולות; או MAE, ממוצע השגיאות המוחלטות, כשיש חריגים רבים. לסיווג – כאן מתחילה הבעיה. פרק 3 של ז'רון מאמן מסווג בינארי לזיהוי הספרה 5 בתמונות של ספרות בכתב יד: אימות צולב מראה דיוק כולל (accuracy, שיעור הסיווגים הנכונים) מעל 95% בכל קיפול. ואז מסווג-דמה שאומר על כל תמונה "לא 5" – ומקבל מעל 90%, כי רק כעשירית מהתמונות הן 5. "מנצח את נוסטרדמוס." המסקנה: "דיוק אינו בדרך כלל מדד הביצוע המועדף למסווגים, במיוחד כשעוסקים במערכי נתונים מוטים" (Chapter 3, "Performance Measures") – והמערכים של המחקר החברתי מוטים כמעט תמיד: נשירה, אלימות, אבטלה, הצבעה למפלגה קטנה. בישופ מביא את אותה דוגמה מהרפואה: סרטן ב-1 מכל 1,000 צילומי רנטגן – "מסווג שישייך כל נקודה למחלקה הנורמלית ישיג כבר 99.9% דיוק, ויהיה קשה להימנע מהפתרון הטריוויאלי הזה"; הפתרון שלו הוא לאמן על מערך מאוזן ואז לתקן את ההסתברויות בחזרה לפי שיעורי המחלקות באוכלוסייה (Bishop, 2006, p. 45).

מטריצת הבלבול (confusion matrix) היא הכלי: שורות – המחלקה האמיתית, עמודות – המחלקה החזויה; בדוגמת ז'רון 53,892 שליליים-אמיתיים, 687 חיוביים-שגויים (טעות מסוג I), 1,891 שליליים-שגויים (טעות מסוג II) ו-3,530 חיוביים-אמיתיים – והיא מחושבת על תחזיות "נקיות", מחוץ-למדגם, שהמודל נתן לתצפיות שלא ראה באימון. ממנה נגזרים precision ("דיוק חיובי": כשהמודל אומר 5 – באיזה שיעור הוא צודק; 83.7%) ורגישות (recall: איזה שיעור מה-5 האמיתיים הוא תופס; 65.1%), ו-F1 – הממוצע ההרמוני שלהם (.73), שגבוה רק כששניהם גבוהים. ואיזה מהם חשוב – זו שאלה של מחיר הטעות, לא של סטטיסטיקה: מסנן סרטונים לילדים צריך precision גבוה גם במחיר רגישות נמוכה; גלאי גנבים בחנות יכול להסתפק ב-30% precision אם הרגישות 99%. השניים מתחלפים זה בזה דרך הסף: העלאת הסף מעלה precision ומורידה רגישות (Chapter 3, "The Precision/Recall Trade-off"). עקומת ROC מציגה רגישות מול שיעור החיוביים-השגויים על כל הספים, והשטח מתחתיה (AUC) – 1 למסווג מושלם, 0.5 לאקראי – משווה מסווגים בלי לבחור סף; אבל במחלקה נדירה ה-ROC מחמיא, ו"ככלל אצבע, יש להעדיף את עקומת ה-PR בכל פעם שהמחלקה החיובית נדירה או כשאכפת לכם יותר מהחיוביים-השגויים מאשר מהשליליים-השגויים" (Chapter 3, "The ROC Curve"). את העקומה עצמה – עם רווח סמך לשטח, סף לפי מדד יודן, רגישות וסגוליות בכל סף והשוואה בין מדדים – מחשבים בעמוד ניתוח ROC. מי שמכיר את לוח הסיווג ב-SPSS מכיר את הסף 0.5 כברירת מחדל שאיש אינו משנה; כאן הוא החלטה מדווחת.

מחלקה נדירה: מה עושים – ומה לא. טרואונג מסדר את התרופות לפי סדר עדיפות: קודם מדדים מרובים במקום דיוק כולל, אחר כך חלוקה ואימות, אחר כך למידה רגישת-עלות (cost-sensitive learning) – ורק "אם השיטות הקודמות אינן פותרות ביעילות את בעיות חוסר האיזון ויש חשש שהמודלים שלנו אינם תקפים, דגימה-מחדש נעשית אפשרות סבירה" (Truong, 2026, pp. 78-79). הלמידה רגישת-העלות היא הניסוח הפורמלי של "מחיר הטעות": מטריצת החלטה שבה לכל טעות מחיר – C(FN) להחמצה, C(FP) להתראת שווא – והמודל הנבחר הוא זה שסך המחיר שלו, C(FP) × FP + C(FN) × FN, הוא הנמוך ביותר, לא זה ששיעור הטעות שלו הנמוך ביותר; "רוב התוכנות כוללות אפשרות להזין את מטריצת ההחלטה" (עמ' 203-204). ואילו דגימת-יתר של המחלקה הנדירה (שכפול תצפיות, או SMOTE – תצפיות סינתטיות בין שכנים קרובים) ודגימת-חסר של השכיחה – שעל הראשונה טרואונג עצמו מעיר ש"שכפול הנתונים הופך את המודלים למועדים יותר להתאמת-יתר" (עמ' 79) – נבדקו בסימולציה על רגרסיה לוגיסטית: שלושתן "הניבו מודלים מכוילים גרוע: ההסתברות להשתייך למחלקת המיעוט הוערכה ביתר במידה ניכרת", לא העלו את ה-AUC לעומת מודל בלי תיקון, ואת האיזון בין רגישות לספציפיות שהשיגו "אפשר היה להשיג באותה מידה על ידי הזזת סף ההסתברות במקום זאת"; המסקנה – "חוסר איזון בתוצאה אינו בעיה בפני עצמו, ותיקון חוסר האיזון עלול אף להרע את ביצועי המודל" (van den Goorbergh et al., 2022, תקציר). שתי הקריאות מתיישבות: המחלקה הנדירה היא בעיה של המדד והסף, לא של הנתונים. מי שצריכה הסתברויות – לניקוד סיכון, לדיווח – אינה מאזנת; מי שמאזנת בכל זאת, עושה זאת רק בתוך קיפול האימון (דליפה L1.2, סעיף 5) ומדווחת שההסתברויות שהמודל מפיק אינן הסתברויות עוד. ספר הלימוד של Modeler עומד בצד של הדגימה-מחדש – המחברים "נוטים לטפל במערכי נתונים בשיטות איזון או דגימה-מחדש" כשמחלקת המיעוט היא "10% או פחות" (יחס של 10:1 או 20:1) – אך מסכימים על שני הדברים שחשובים כאן: "לעולם אל לנו להסתמך רק על הדיוק הכולל", ו"כדי להפריד תת-מדגם בדיקה מייצג, יש להשתמש בשיטת החלוקה לפני יישום הליך של דגימה-מחדש" (Wendler & Gröttrup, 2021, pp. 1148, 1150).

ובין "כן" ל"לא" – לא להכריע. תורת ההחלטות של בישופ מוסיפה את אפשרות הדחייה (reject option): להימנע מהכרעה במקרים שבהם ההסתברות הפוסטריורית הגבוהה ביותר נמוכה מסף, ולהשאיר אותם "למומחה אנושי" (Bishop, 2006, p. 42). לחוקרת שמקודדת תשובות פתוחות במודל (עמוד NLP, צעד 6), זהו הנוהל הנכון: המודל מסווג את הברור, אדם את הדו-משמעי, וההסכמה ביניהם נמדדת במהימנות בין מקודדים.

2. על אילו נתונים: אימון, תיקוף, בדיקה

ההבדל מהאימות של רגרסיה מסבירה. שמואלי מבחינה: במידול מסביר, האימות בודק שהמודל מייצג את התיאוריה ושהוא מתאים לנתונים – מבחני מפרט, מהימנות ותוקף של פריטים, ניתוח שאריות; במידול חוזה האימות "מתמקד בהכללה, כלומר ביכולת של המודל לחזות נתונים חדשים", ו"הסכנה הגדולה ביותר להכללה היא התאמת-יתר לנתוני האימון" (Shmueli, 2010, Section 2.6.1). ולכן "הדרך היחידה לדעת עד כמה מודל יכליל למקרים חדשים היא לנסות אותו בפועל על מקרים חדשים" – מפרישים קבוצת בדיקה, מקובל 20% מהנתונים (Géron, 2022, Chapter 1, "Testing and Validating"). "שגיאת האימון אינה אומדן טוב של שגיאת הבדיקה" – היא יורדת בעקביות עם מורכבות המודל, עד אפס, "אך מודל עם שגיאת אימון אפס מותאם-יתר לנתוני האימון ובדרך כלל יכליל גרוע" (Hastie et al., 2009, pp. 220-221); ובניסוח של זיהוי התבניות, שגיאת ה"החזרה" (resubstitution, בדיקת המסווג על אותן תצפיות שלמד מהן) היא חסם תחתון של השגיאה האמיתית ושגיאת הבדיקה חסם עליון – האמת ביניהן (Ishii et al., 2026, pp. 113-114).

לפני החקירה, לא אחריה. "זה עשוי להיראות מוזר להניח בצד חלק מהנתונים בשלב הזה", כותב ז'רון, אבל "המוח שלכם הוא מערכת מדהימה לזיהוי דפוסים, וזה גם אומר שהוא נוטה מאוד להתאמת-יתר": מי שמסתכל על קבוצת הבדיקה יבחר מודל לפי מה שראה שם, ואומדן ההכללה שלו יהיה אופטימי מדי – הטיית הצצה (data snooping bias; Chapter 2, "Create a Test Set"). נספח א של הספר מנסח זאת כפקודה: "דגמו קבוצת בדיקה, הניחו אותה בצד, ואל תסתכלו עליה לעולם". שני פרטים טכניים שחשובים לשחזור: החלוקה צריכה להיות יציבה בין הרצות (זרע קבוע, או גיבוב של מזהה הנבדק – כך שנבדק שהיה באימון לא יעבור לבדיקה כשמתווספים נתונים); והיא צריכה להיות מרובדת – ז'רון מסביר זאת דרך סקרים: אוכלוסיית ארצות הברית היא 51.1% נשים, ולכן מדגם של 1,000 ישמור על 511 נשים; בדגימה אקראית טהורה יש סיכוי של 10.7% למדגם מוטה (פחות מ-48.5% או יותר מ-53.5% נשים). באותו אופן מרבדים את קבוצת הבדיקה לפי משתנה מפתח – ובמחלקה נדירה, לפי התוצאה עצמה.

שלוש קבוצות, לא שתיים. אם מכווננים מודל – בוחרים בין מודלים, או קובעים היפר-פרמטר כמו עוצמת הרגולריזציה – לפי קבוצת הבדיקה, מדדנו את שגיאת ההכללה "פעמים רבות על קבוצת הבדיקה, והתאמנו את המודל ואת ההיפר-פרמטרים כדי להפיק את המודל הטוב ביותר לקבוצה המסוימת הזאת"; המודל שנראה עם 5% שגיאה מייצר 15% בשטח. הפתרון הוא קבוצת תיקוף (validation set, גם dev set): מפרישים חלק מקבוצת האימון, בוחרים עליו בין המועמדים, מאמנים את המודל שנבחר על כל האימון, ורק אז – פעם אחת – מודדים על הבדיקה (Chapter 1, "Hyperparameter Tuning and Model Selection"). ומה קורה אחרי המדידה: "עליכם לעמוד בפיתוי לכוונן את ההיפר-פרמטרים כדי שהמספרים ייראו טוב על קבוצת הבדיקה; השיפורים לא צפויים להכליל לנתונים חדשים" (Chapter 2, "Evaluate Your System on the Test Set"); נספח א: "אל תשנו את המודל אחרי שמדדתם את שגיאת ההכללה: רק תתחילו להתאים-יתר לקבוצת הבדיקה". גם המספר על קבוצת הבדיקה מגיע עם רווח סמך: בדוגמת ז'רון RMSE של 41,424 ורווח של 95% – בהתפלגות t על השגיאות הריבועיות – בין 39,275 ל-43,467.

השמות מתחלפים בין תוכנות. "בעוד שרוב התוכנות קוראות בעקביות למדגם החלוקה הראשון 'אימון', השמות של המדגם השני והשלישי משתנים, וזה עלול לבלבל" (Truong, 2026, p. 85): ב-SPSS Modeler החלוקה היא Train / Test / Validation – ה"בדיקה" משמשת להשוואת המודלים ולתיקונם, וה"תיקוף" הוא המדידה הסופית – בלשון התיעוד: "לאמן את המודל במדגם אחד, לבדוק ולעדן את המודל במדגם שני, ולתקף את התוצאות בשלישי" (IBM Corporation, 2016, p. 157); ב-SAS Enterprise Miner – Train / Validation / Test, ההפך (לוח 3.8 שם); וז'רון והייסטי ועמיתיו, שהעמוד הזה הולך בעקבותיהם, הולכים כמו SAS: תיקוף לבחירה, בדיקה למדידה האחרונה. הסדר הוא העיקר, לא השם – ומי שמדווחת "דיוק על קבוצת הבדיקה" מפלט של Modeler מדווחת, בשמות של העמוד הזה, את קבוצת התיקוף. גם היחסים שונים: טרואונג ממליץ 60-20-20 למדגם של אלף עד מיליון תצפיות, ו"פחות מ-1,000 תצפיות – 60-40 בלי קבוצה שלישית" (עמ' 87), כשהמלצת המדגם שלו לכריית נתונים היא "לפחות 100,000 מקרים" (עמ' 73). זהו עולם אחר מסקר של 300 נבדקים – ובו קבוצת תיקוף קבועה של 60 נבדקים היא מספר שתלוי במקרה, ולכן סעיף 3. ומה טרואונג תורם למי שעובדת בקנה המידה הקטן: ההבחנה שלו בין מהימנות של מודל – "עקביות פנימית", אותן תוצאות על מדגמים שונים – לתוקף – "דיוק", תחזית נכונה של היעד; "למעשה, תוקף המודל זהה לכוח החיזוי", ומהימנות בלי תוקף היא משקל שמראה בעקביות כ-22 ליברות על שק של 25 (עמ' 186). הראיה למהימנות, אצלו, היא פער קטן בין המדד על האימון למדד על הבדיקה – "אם אי-ההתאמה קטנה מ-5%, אפשר לראות בו מהימן" (עמ' 187) – וזה בדיוק הפער שסעיף 7 דורש לדווח.

איך זה נראה בקנה מידה גדול. באתגר המשפחות השבריריות, מארגני התחרות פיצלו את חצי הנתונים שלא שימשו לאימון לשתי קבוצות: "לוח תוצאות" (leaderboard), שעליו 160 הקבוצות יכלו לבדוק את עצמן במהלך התחרות, ו"השארה" (holdout), שדיוקה "לא היה ידוע למשתתפים – ולמארגנים – עד סוף האתגר" (Salganik et al., 2020, Section Methods). ואפילו כך המחברים מסייגים: השימוש באותה קבוצת השארה גם לבחירת ההגשה הטובה ביותר מבין 160 וגם להערכתה "ייצר אומדנים אופטימיים במקצת" – הטיה קטנה במקרה שלהם, אך קיימת (Section Results). מי שבודקת פעם אחת על מדגם של 300, ההטיה הזאת אינה קטנה.

3. אימות צולב: לא רק מספר, גם דיוקו

קבוצת תיקוף אחת נותנת מספר אחד, שתלוי במקרה באיזו חלוקה יצאה. אימות צולב (k-fold cross-validation) מחלק את קבוצת האימון ל-k קיפולים, מאמן k פעמים על k − 1 ובודק על הנותר, ומקבל "לא רק אומדן לביצועי המודל אלא גם מדד לדיוקו של האומדן – סטיית התקן שלו" (Géron, 2022, Chapter 2, "Better Evaluation Using Cross-Validation"). בדוגמת המחירים של ז'רון: עץ החלטה עם שגיאת אימון 0.0 מקבל באימות צולב של 10 קיפולים RMSE של 66,868 (±2,061) – כמעט כמו רגרסיה ליניארית (69,858 ±4,182); יער אקראי 47,019 (±1,034), אך על קבוצת האימון עצמה כ-17,474 – עדיין התאמת-יתר ניכרת. שני מספרים לכל מודל, ואותם קיפולים לכל המודלים.

כמה קיפולים. "בסך הכול, אימות צולב בחמישה או בעשרה קיפולים מומלץ כפשרה טובה": פחות קיפולים מאמנים על מדגם קטן מדי ומטים את אומדן השגיאה כלפי מעלה; השמטה-של-אחד (leave-one-out, k = N) בלתי-מוטה אך תנודתית (Hastie et al., 2009, p. 243). וכלל שגיאת התקן האחת: מבין המודלים שנבדקו, בוחרים את החסכני ביותר ששגיאתו אינה עולה על שגיאת תקן אחת מעל המודל הטוב ביותר – כי עקומת האימות הצולב עצמה נאמדת בשגיאה (עמ' 244). המחיר, אצל בישופ: "חיסרון עיקרי אחד של אימות צולב הוא שמספר ריצות האימון גדל פי S" (Bishop, 2006, p. 33) – במחשבוני האתר זה כלום, ברשת נוירונים זה ימים. ולמה בכלל אימות צולב ולא קבוצת תיקוף אחת: בשיטת ההשארה (hold-out) מה שניתן לבדיקה נגרע מהלמידה, ולהפך – "כשמספר התצפיות קטן, שיטת ה-H אינה שיטה מדויקת" לאמידת השגיאה, ואילו האימות הצולב "מבטיח שכל האיברים ישמשו ללמידה ולבדיקה" (Ishii et al., 2026, p. 89). ליערות אקראיים יש אימות חינם: כל עץ מאומן על מדגם עם החזרה שמשאיר כ-37% מהתצפיות בחוץ, ואומדן השגיאה על התצפיות "מחוץ-לשק" (out-of-bag) "כמעט זהה" לאימות צולב של N קיפולים (Hastie et al., 2009, p. 593).

גם הכוונון – בתוך האימות הצולב. חיפוש רשת (כל צירופי ההיפר-פרמטרים) או חיפוש אקראי (מספר קבוע של צירופים; עדיף כשמרחב הצירופים גדול – נספח א: להעדיף אקראי אלא אם יש מעט ערכים) מריצים אימות צולב לכל צירוף, ובוחרים לפי הממוצע. הכלל: כל החלטה שמבוססת על ביצועים – מודל, היפר-פרמטר, סף, סינון מאפיינים – נעשית בתוך הקיפולים, לא עליהם (סעיף 5).

4. הטיה, שונות – וגבול השגיאה

שגיאת ההכללה של מודל היא סכום של שלוש: הטיה – הנחות שגויות (קו ישר לנתונים ריבועיים) – שמובילה לתת-התאמה; שונות – רגישות-יתר לשינויים קטנים בנתוני האימון, מנת חלקם של מודלים עם דרגות חופש רבות – שמובילה להתאמת-יתר; ושגיאה בלתי-ניתנת-לצמצום – הרעש בנתונים עצמם, שרק ניקוי הנתונים מקטין. הגדלת מורכבות המודל מעלה שונות ומורידה הטיה, ולהפך – "ולכן זה נקרא פשרה" (Géron, 2022, Chapter 4, "The Bias/Variance Trade-Off"). הפירוק הפורמלי – שגיאת החיזוי הצפויה בנקודה = שונות הרעש + ריבוע ההטיה + שונות האומד – הוא משוואה 7.9 אצל הייסטי ועמיתיו (עמ' 223), ובזיהוי התבניות "דילמת ההטיה והשונות": MSE = Bias² + Var, ולכן כשמעלים את דרגת פונקציית ההבחנה ובודקים על תצפיות חדשות, השגיאה יורדת "עד דרגה מסוימת, ואחר כך" עולה (Ishii et al., 2026, pp. 111-112). האבחון: טוב על האימון ורע באימות הצולב – התאמת-יתר; רע בשניהם – תת-התאמה. עקומות למידה – שגיאת אימון ושגיאת תיקוף כפונקציה של גודל המדגם – מראות זאת בעין, ובישופ מוסיף מה עוזר: "למורכבות מודל נתונה, בעיית ההתאמת-יתר נעשית פחות חמורה ככל שמערך הנתונים גדל" (Bishop, 2006, p. 9). על היחס בין מספר התצפיות למספר הפרמטרים והמאפיינים – כלל האצבע של בישופ ותופעת יוז – ראו עמוד למידת המכונה, סעיף 2.

ומה המספר יכול להיות בכלל. יש גבול שמתחתיו שום מודל אינו יורד: שגיאת בייס – "הגבול שבו הסתברות השגיאה אינה יכולה להיות קטנה יותר, במילים אחרות 'חפיפת ההתפלגויות', שהיא 'השגיאה הבלתי-נמנעת' שמערכת חילוץ המאפיינים הזאת מכניסה" (Ishii et al., 2026, p. 101). כשהמאפיינים אינם מפרידים בין המחלקות, אין אלגוריתם שיפריד. זו הקריאה הנכונה של אתגר המשפחות השבריריות: 160 קבוצות, 4,242 משפחות ו-12,942 משתנים על כל אחת – ו-R² על נתוני ההשארה של כ-0.2 למצוקה חומרית ולממוצע הציונים וכ-0.05 לארבע התוצאות האחרות, "רק במקצת טוב יותר" ממודל ייחוס של רגרסיה על ארבעה משתנים שבחר מומחה; שגיאת החיזוי הייתה קשורה חזק למשפחה שחוזים ורק חלש לשיטה (Salganik et al., 2020, תקציר וסעיף Results). "מאחר שמאות חוקרים ניסו את המשימה ואיש לא יכול היה לחזות במדויק", דיוק נמוך "אינו ניתן לייחוס בקלות למגבלות של חוקר או גישה מסוימים" (Section Discussion) – זהו הגבול, לא הכישלון. קאפור ונאראיאנן מונים "חוסר הבנה של גבולות החיזוי" כאבחנה הראשונה שלהם לכשלי השחזור: ההצלחות בזיהוי תמונות "נותנות את הרושם" שמודלים עוברים בני אדם בכל משימה, ומבלבלות חוקרים לגבי מה שאפשר לצפות לו בחיזוי תוצאות חברתיות; ההמלצה – לזהות חסמים עליונים לדיוק, ומשהושגו, לחדול מהניסיון לעבור אותם ולהטיל ספק בתוצאות שטוענות שעברו (Kapoor & Narayanan, 2023, Section Discussion, D1-R1). לחוקרת: מודל שמדווח AUC = .95 על נשירה ממשתני רקע אינו פריצת דרך – הוא סימן לסעיף 5.

5. דליפת נתונים: המספר המרשים שהוא שקר

קאפור ונאראיאנן סקרו את ספרות המדע מבוסס-למידת-המכונה ומצאו דליפה (leakage) ב-294 מאמרים ב-17 תחומים, "במקרים מסוימים עם מסקנות אופטימיות בפראות" (Kapoor & Narayanan, 2023, Section Summary). הטקסונומיה שלהם היא רשימת הבדיקה של העמוד הזה: [L1] אין הפרדה נקייה בין אימון לבדיקה – אין קבוצת בדיקה כלל (L1.1); עיבוד-מקדים על כל הנתונים – זקיפת חסרים, תקנון או דגימת-יתר לפני החלוקה (L1.2; זו האזהרה של ז'רון: "לעולם אל תשתמשו ב-fit() או ב-fit_transform() לשום דבר מלבד קבוצת האימון", פרק 2, "Feature Scaling and Transformation"); בחירת מאפיינים על כל הנתונים (L1.3); כפילויות (L1.4). [L2] מאפיינים לא-לגיטימיים – שהם למעשה היעד: הדוגמה שלהם היא מחקר שניבא יתר לחץ דם מנטילת תרופות ליתר לחץ דם. [L3] קבוצת בדיקה שאינה מההתפלגות שעליה הטענה – דליפה בזמן (בדיקה על נתונים מוקדמים מהאימון, L3.1), ואי-תלות שנשברה (L3.2, Section 6). ההדגמה שלהם היא מדע המדינה: בחיזוי מלחמות אזרחים, שבו מודלים מורכבים "נחשבו למנצחים בפער" את הרגרסיה הלוגיסטית, "כשהשגיאות תוקנו, מודלי למידת מכונה מורכבים אינם מתפקדים טוב באופן מהותי ממודלי LR בני עשורים" (Section Summary). ההצעה שלהם – "גיליון מידע למודל" שבו החוקר עונה על כל סוג דליפה – ולקוראים: "להתייחס לתוצאות ממדע מבוסס-למידת-מכונה כזמניות" (R2).

הניסוי שהראה זאת ארבע-עשרה שנה קודם. הייסטי ועמיתיו מדמים 50 נבדקים בשתי מחלקות שוות ו-5,000 מנבאים אקראיים שאינם קשורים למחלקה כלל – שגיאת הסיווג האמיתית היא 50%. "הדרך הלא-נכונה": לסנן על כל המדגם את 100 המנבאים המתואמים ביותר עם המחלקה, ואז לאמוד את השגיאה באימות צולב – ממוצע 3% ב-50 סימולציות, "נמוך בהרבה משיעור השגיאה האמיתי", כי המנבאים "כבר ראו" את הנבדקים שהושארו בחוץ; "הדרך הנכונה": לחלק לקיפולים קודם, ולבצע את הסינון, את בניית המסווג ואת החיזוי בתוך כל קיפול (Hastie et al., 2009, pp. 245-246). זהו L1.3 בדיוק – והוא הסיבה שסינון פריטים לפי מתאם עם התוצאה, הרגל מקובל בבניית סולמות, אסור לפני החלוקה. הפתרון הטכני הוא צינור (Pipeline ב-scikit-learn): כל שלבי ההכנה והמודל כיחידה אחת, שמותאמת על קיפול האימון ומוחלת על קיפול הבדיקה – ולכן אינה יכולה לדלוף.

6. נתונים שאינם בלתי-תלויים: משפחות, כיתות, רשתות

כל מה שלמעלה מניח שהתצפיות בלתי-תלויות ומתפלגות זהה (i.i.d.) – ובמחקר החברתי הן כמעט אף פעם לא: תלמידים באותה כיתה, בני אותה משפחה, חברים ברשת, מדידות חוזרות של אותו אדם. הבעיה תוארה כמכשול לאימות בסעיף L3.2 של קאפור ונאראיאנן: "אי-תלות בין דגימות האימון והבדיקה מהווה דליפה, אלא אם הטענה המדעית היא על התפלגות בעלת אותו מבנה תלות. במקרה הקיצוני (אך למרבה הצער נפוץ), דגימות האימון והבדיקה מגיעות מאותם אנשים או יחידות" (Kapoor & Narayanan, 2023, L3.2). ספרות הלמידה היחסית מתארת את אותו דבר כתכונה של הנתונים, לא כטעות של החוקר: "רוב מכריע של העבודה בשיטות סיווג סטטיסטיות התמקד בנתונים 'שטוחים' – נתונים שמורכבים מישויות בעלות מבנה זהה, שמניחים בדרך כלל שהן i.i.d. אולם מערכי נתונים רבים בעולם האמיתי הם יחסיים במהותם: דפי אינטרנט מקושרים, ציטוטים הדדיים בפטנטים ובמאמרים מדעיים, רשתות חברתיות, רשומות רפואיות" (Taskar, Abbeel, Wong & Koller, 2007, p. 175); "שלא כמו בתרחישי למידת המכונה המסורתיים, שבהם מערכת הלמידה מקבלת כקלט רצף של תצפיות i.i.d., הקלט לאלגוריתם של למידה יחסית הוא לרוב מופע יחיד, מקושר בעושר" (Getoor & Taskar, 2007, p. 4). המנגנון הוא מתאם-עצמי (autocorrelation): "תלות סטטיסטית בין ערכי אותו משתנה על ישויות קשורות", ש"היא תכונה כמעט אוניברסלית של מערכי נתונים יחסיים" – נוויל וג'נסן מונים, בין השאר, סיווג הענף של תאגידים שחולקים חברי דירקטוריון, מעמד ההונאה של לקוחות סלולר שמתקשרים למספרים משותפים, והדבקה בשחפת בין אנשים במגע קרוב (Neville & Jensen, 2007, p. 240). זו "הזדמנות ייחודית לשפר את ביצועי המודל, כי הסקה על אובייקט אחד יכולה להזין הסקה על אובייקטים קשורים" (שם) – ובדיוק מאותה סיבה, מודל רגיל שמקבל את התלמיד באימון ואת חברו לכיתה בבדיקה "מנחש" מהמתאם-העצמי, לא מהמאפיינים.

מה עושים. החלוקה – לאימון ולבדיקה, ולקיפולי האימות הצולב – נעשית לפי היחידה שהטענה עליה: לפי נבדק במדידות חוזרות, לפי כיתה או בית ספר בנתונים מקוננים, לפי משפחה, לפי קהילה (בכלים: GroupKFold ודומיו ב-scikit-learn). מדדים לפי יחידה: שגיאה לתלמיד היא לא שגיאה לכיתה. חיזוי קדימה בזמן – הבדיקה מאוחרת מהאימון (L3.1), לא מעורבת בו. ומי שרוצה לנצל את התלות – לחזות תלמיד מחבריו – עובר למודלים יחסיים (הסקה קולקטיבית, מודלים היררכיים; מפת הכלים, סעיף 4), ומדווח שהטענה היא על רשת בעלת אותו מבנה, לא על נבדק בודד. הבדיקה של האתר: לשאול "אם אקח את הנבדק הזה מקבוצת הבדיקה, מי מקבוצת האימון דומה לו יותר מדי?" – ואם יש תשובה, החלוקה שגויה.

7. מה מדווחים

הפסקה השלמה, לפי הסדר: המדד ולמה (מחיר הטעות; הסף שנבחר); החלוקה – שיעור הבדיקה, ריבוד, לפי איזו יחידה, זרע; אימות צולב – כמה קיפולים, ממוצע וסטיית תקן לכל מודל שנבדק, כולל מי שנכשל; קו הייחוס – מסווג-דמה ורגרסיה על המשתנים הידועים; המספר החשוב הוא ההפרש ממנו, לא המדד עצמו; קבוצת הבדיקה – פעם אחת, המדד ורווח סמך, מטריצת הבלבול, והפער מהאימות הצולב; תת-קבוצות – ז'רון דורש לוודא שהמודל עובד לא רק בממוצע אלא "על כל קטגוריות המחוזות, כפריים או עירוניים, עשירים או עניים, צפוניים או דרומיים, מיעוט או לא", ואם הוא נכשל על קטגוריה שלמה, לא לפרוס אותו עבורה "כי הוא עלול להזיק יותר מלהועיל" (Géron, 2022, Chapter 2, "Analyzing the Best Models and Their Errors"); דליפה – תשובה מפורשת לכל סוג בטקסונומיה, בנוסח "גיליון מידע למודל"; ומה המודל אינו אומר – חיזוי אינו סיבה. הכול ניתן לשחזור מהמחברת המצורפת – אותו כלל של כל מחשבוני האתר: תוצאה חישובית לא-מתועדת אינה ממצא.

ואיך זה נראה בדוח. פרק 11 של טרואונג הוא הפרק היחיד בחמשת הספרים שעוסק בכתיבה. המבנה שלו למאמר אקדמי הוא המבנה המוכר – כותרת, תקציר, מבוא, סקירת ספרות, שיטה, תוצאות, דיון ומסקנות – אך בשיטה ארבעה תת-סעיפים שאין ברגרסיה: מקור הנתונים ותיאור המשתנים (כולל תפקיד כל משתנה – יעד או קלט – וסולמו); תהליך כריית הנתונים; "האלגוריתמים והתצורות" – לוח שבו לכל מודל ההיפר-פרמטרים שלו, כפי שהוזנו (עומק עץ מרבי, כלל הפיצול, כלל העצירה, שיעור "קבוצת מניעת התאמת-היתר"), "הדרך הקלה ביותר לעשות זאת היא לסכם את התצורות בלוח"; ומדדי ההערכה – אילו, ולמה (Truong, 2026, pp. 396, 414-415). בתוצאות: השוואת כל המודלים על אותה קבוצה, זיהוי מודל האלוף (champion model) – "שהוא רק האלוף מבין המודלים שאימנו ובדקנו על הנתונים הנתונים", ויכול להיות הטוב-יחסית ולא הטוב (עמ' 189) – ואז, לאלוף בלבד, המדדים על כל הקבוצות זו לצד זו, והשוואת חשיבות המשתנים. הבדל אחד מהעמוד הזה כדאי לדעת: טרואונג כותב ש"אין צורך לדווח בנפרד את תוצאות מדגם האימון" (עמ' 188), ואילו כאן הפער בין האימון לאימות הצולב מדווח – כי הוא הראיה להתאמת-יתר, וכי טרואונג עצמו מודד בו את המהימנות (סעיף 2). ומה שלא לקחת ממנו כלשונו: כללי האצבע – "שיעור סיווג שגוי של 5% או פחות נחשב מצוין, ובין 5% ל-10% – טוב", ולדיוק, לרגישות, לספציפיות ול-F1 "95% ומעלה מצוין, 90-95% טוב" – מובאים אצלו במפורש כדעה אישית, אחרי המשפט "אין ערכי סף תקניים למדדים האלה; ההחלטה תלויה בענף ובסובלנות לטעות" (עמ' 199-200). בחיזוי תוצאות אנושיות ממשתני רקע (סעיף 4) הערכים האלה אינם קיימים, ומי שמגיעה אליהם – חוזרת לסעיף 5.

8. ואיך עושים זאת ב-R

שני חלקים. א. המדדים של סעיף 1 על תחזיות מחוץ-למדגם: רגרסיה לוגיסטית באימות צולב של עשרה קיפולים על קובץ הדוגמה של עמוד למידת המכונה (320 תלמידים, נשירה 11.6%), ואז מטריצת הבלבול עם כל המדדים (confusionMatrix של caret, mode = "everything" – רגישות, ספציפיות, precision, F1, ו"שיעור חוסר המידע", שהוא הדיוק של מסווג-הדמה), עקומת ROC עם רווח סמך ל-AUC, הסף "הטוב ביותר" לפי יודן, ועקומת precision-recall מאותן תחזיות (pROC). רשימת המדדים – דיוק, רגישות, ספציפיות, precision, שיעורי החיוביים-השגויים והשליליים-השגויים – היא זו של גוטיירז (2015, Chapter 7, "Measuring Classification Performance"), שגם מזהיר: "אם ביצועי האלגוריתם טובים מכדי להיות אמיתיים, דליפת נתונים עשויה להיות הסיבה" (Chapter 7, "Data Leakage"). ב. שחזור הניסוי של סעיף 5 – "הדרך הלא-נכונה והנכונה לאימות צולב" של הייסטי ועמיתיו (2009, עמ' 245-246) – במאה שורות: 50 נבדקים, 5,000 מנבאים אקראיים, סינון 100 המתואמים ביותר, שכן קרוב אחד, חמישה קיפולים. הנתיב C:\Rdata\ – מוסכמת האתר.

# model_evaluation.R - performance measures and validation in R: confusion matrix, ROC, cross-validation - and leakage in numbers
library(readxl); library(caret); library(pROC); library(class)

# --- A. The measures - on out-of-sample predictions, not on the training set ---
d <- read_excel("C:/Rdata/DATA_ml_example_eng.xlsx")
d$dropout <- factor(d$dropout, levels = c(0, 1), labels = c("no", "yes"))
d$gender  <- factor(d$gender, levels = c(1, 2), labels = c("male", "female"))
d$id <- NULL
ctrl <- trainControl(method = "cv", number = 10, classProbs = TRUE,
                     summaryFunction = twoClassSummary, savePredictions = "final")
set.seed(1)
m <- train(dropout ~ . - school_id, data = d, method = "glm", family = binomial,
           metric = "ROC", trControl = ctrl, preProcess = c("medianImpute", "center", "scale"),
           na.action = na.pass)
cv <- m$pred                                   # one prediction per observation - from the fold where it was held out
confusionMatrix(cv$pred, cv$obs, positive = "yes", mode = "everything")   # at threshold 0.5
r <- roc(cv$obs, cv$yes, levels = c("no", "yes"), direction = "<")
auc(r); ci.auc(r)                              # AUC and confidence interval
coords(r, "best", best.method = "youden", ret = c("threshold", "sensitivity", "specificity", "precision"))
# precision-recall curve - for a rare class - from the same predictions:
pr <- coords(r, x = seq(0.05, 0.6, by = 0.05), ret = c("threshold", "recall", "precision"))
pr

# --- B. The wrong and right way to do cross-validation (Hastie et al., 2009, pp. 245-246) ---
# 50 subjects in two equal classes, 5,000 random predictors - true error 50%.
set.seed(20260920)
N <- 50; P <- 5000; K <- 5; n_keep <- 100
y <- factor(rep(c("A", "B"), each = N / 2))
X <- matrix(rnorm(N * P), N, P)
folds <- createFolds(y, k = K)
screen <- function(X, y, n) {                   # the 100 predictors most correlated with the class
  r <- abs(cor(X, as.numeric(y)))
  order(-r)[1:n]
}
# wrong way: screen on the whole sample, then cross-validate
keep_all <- screen(X, y, n_keep)
err_wrong <- sapply(folds, function(te) {
  tr <- setdiff(seq_len(N), te)
  mean(knn(X[tr, keep_all], X[te, keep_all], y[tr], k = 1) != y[te])
})
# right way: screening inside each fold, on that fold's training data only
err_right <- sapply(folds, function(te) {
  tr <- setdiff(seq_len(N), te)
  keep <- screen(X[tr, ], y[tr], n_keep)
  mean(knn(X[tr, keep], X[te, keep], y[tr], k = 1) != y[te])
})
c(wrong = mean(err_wrong), right = mean(err_right))   # ~0.03 vs ~0.50

מה יצא (R 4.3.3, caret 6.0-94, pROC 1.18.5, class 7.3-22; הפלט המלא – qa/ml/ev_out.txt). א. בסף 0.5: דיוק כולל .884 – בדיוק שיעור חוסר המידע (.884), כלומר המודל אינו טוב ממסווג-הדמה בסף הזה; רגישות .03, precision .50, F1 .05. אותו מודל, אותן תחזיות: AUC = .66, רווח סמך [.57, .76]; הסף לפי יודן .13 – רגישות .57, ספציפיות .72, precision .21; ולאורך הספים, מ-.05 ל-.50, הרגישות יורדת מ-.89 ל-.03 וה-precision עולה מ-.14 ל-.50 – זו הפשרה של סעיף 1 במספרים, ומה שמדד יחיד מסתיר. ב. הדרך הלא-נכונה: שגיאה 2%; הדרך הנכונה: 60% – על מנבאים אקראיים לחלוטין, שהשגיאה האמיתית עליהם היא 50% (ו-60% ב-50 נבדקים הוא 50% ברעש של חמישה קיפולים). הייסטי ועמיתיו דיווחו 3% ב-50 סימולציות; כאן סימולציה אחת, זרע 20260920. מי שמסנן פריטים לפי מתאם עם התוצאה לפני החלוקה מקבל את המספר הראשון.

טעויות נפוצות

לדווח דיוק כולל על מחלקה נדירה. 94% דיוק בחיזוי נשירה של 6% מהתלמידים הוא מסווג-הדמה. מדווחים מטריצת בלבול, precision ורגישות – מול מסווג-הדמה (סעיף 1).

לתקנן, לזקוף או לבחור מאפיינים על כל הנתונים – ואז לחלק. הדליפה הנפוצה ביותר (L1.2-L1.3). ההרגל מ-SPSS – "קודם מנקים את הקובץ" – הוא הבעיה. הצינור מותאם על האימון בלבד (סעיף 5).

לחלק שורות כשהיחידה היא נבדק, כיתה או משפחה. שלוש מדידות של אותו אדם באימון ובבדיקה – והמודל "מזהה" אותו במקום לחזות (סעיף 6). החלוקה לפי היחידה שהטענה עליה.

לכוונן על קבוצת הבדיקה. להריץ, לראות שהתוצאה לא טובה, לשנות, להריץ שוב. אחרי הפעם השנייה קבוצת הבדיקה היא קבוצת תיקוף, והמספר שמדווחים אופטימי (סעיף 2).

מספר אחד בלי פיזור. AUC = .78 מקיפול אחד יכול להיות .71 בקיפול אחר. ממוצע וסטיית תקן על הקיפולים, רווח סמך על הבדיקה (סעיף 3).

להתרשם מהמודל בלי קו ייחוס. AUC = .78 נשמע מצוין עד שרואים שרגרסיה לוגיסטית על ארבעה משתנים נותנת .76. המספר הוא ההפרש – וסלגניק ועמיתיו (2020) הראו כמה קטן הוא יכול להיות.

להתייחס ל-R² של הבדיקה כאל R² של רגרסיה. על נתונים חדשים הוא יכול להיות אפס ואף שלילי; 0.2 באתגר המשפחות השבריריות היה השיא של 160 קבוצות.

לאזן את המחלקות בדגימת-יתר – ולדווח הסתברויות. אחרי SMOTE או שכפול, ההסתברות החזויה למחלקה הנדירה מוערכת ביתר, וה-AUC אינו עולה (van den Goorbergh et al., 2022). מזיזים את הסף, או מזינים מטריצת החלטה (סעיף 1); ואם מאזנים – רק בתוך קיפול האימון.

לקרוא מדד גבוה מדי כהצלחה. כשהתוצאה עוברת בהרבה את הספרות ואת קו הייחוס, החשד הראשון הוא דליפה (סעיף 5) – מאפיין שהוא היעד בתחפושת, או נבדק שנמצא בשני הצדדים. "להתייחס לתוצאות… כזמניות" (Kapoor & Narayanan, 2023, R2).

רשימת בדיקה – לפני שמדווחים תוצאת חיזוי

מקורות

Bishop, C. M. (2006). Pattern recognition and machine learning. Springer.

Géron, A. (2022). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems (3rd ed.). O'Reilly Media.

Getoor, L., & Taskar, B. (2007). Introduction. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 1-12). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0003

Gutierrez, D. D. (2015). Machine learning and data science: An introduction to statistical learning methods with R. Technics Publications.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

IBM Corporation. (2016). IBM SPSS Modeler 18.0 source, process, and output nodes. IBM. https://public.dhe.ibm.com/software/analytics/spss/documentation/modeler/18.0/en/ModelerSPOnodes.pdf

Ishii, K., Ueda, N., Maeda, E., & Murase, H. (2026). Pattern recognition and machine learning for self-study I: Supervised learning. Springer. https://doi.org/10.1007/978-981-95-1478-6

Kapoor, S., & Narayanan, A. (2023). Leakage and the reproducibility crisis in machine-learning-based science. Patterns, 4(9), Article 100804. https://doi.org/10.1016/j.patter.2023.100804

Kuhn, M. (2008). Building predictive models in R using the caret package. Journal of Statistical Software, 28(5), 1-26. https://doi.org/10.18637/jss.v028.i05

Neville, J., & Jensen, D. (2007). Relational dependency networks. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 239-268). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0010

Salganik, M. J., Lundberg, I., Kindel, A. T., Ahearn, C. E., Al-Ghoneim, K., Almaatouq, A., Altschul, D. M., Brand, J. E., Carnegie, N. B., Compton, R. J., Datta, D., Davidson, T., Filippova, A., Gilroy, C., Goode, B. J., Jahani, E., Kashyap, R., Kirchner, A., McKay, S., . . . McLanahan, S. (2020). Measuring the predictability of life outcomes with a scientific mass collaboration. Proceedings of the National Academy of Sciences, 117(15), 8398-8403. https://doi.org/10.1073/pnas.1915006117

Shmueli, G. (2010). To explain or to predict? Statistical Science, 25(3), 289-310. https://doi.org/10.1214/10-STS330

Taskar, B., Abbeel, P., Wong, M.-F., & Koller, D. (2007). Relational Markov networks. In L. Getoor & B. Taskar (Eds.), Introduction to statistical relational learning (pp. 175-200). MIT Press. https://doi.org/10.7551/mitpress/7432.003.0008

Truong, D. (2026). Demystifying AI: Data science and machine learning using IBM SPSS Modeler. Chapman and Hall/CRC. https://doi.org/10.1201/9781003468196

van den Goorbergh, R., van Smeden, M., Timmerman, D., & Van Calster, B. (2022). The harm of class imbalance corrections for risk prediction models: Illustration and simulation using logistic regression. Journal of the American Medical Informatics Association, 29(9), 1525-1534. https://doi.org/10.1093/jamia/ocac093

Wendler, T., & Gröttrup, S. (2021). Data mining with SPSS Modeler: Theory, exercises and solutions (2nd ed.). Springer. https://doi.org/10.1007/978-3-030-54338-9