ערכים חסרים: למה הם חסרים, ומה עושים

מדריך

מה בעמוד

ערכים חסרים יש כמעט בכל ניתוח רציני (Gelman & Hill, 2007, p. 529): מי שסירב לענות על שאלת ההכנסה, מי שדילג על עמוד, מי שלא הגיע לגל השני. הבעיה אינה שהם חסרים – היא שמי שחסר לו אינו בהכרח דומה למי שענה, ולכן כל דרך לטפל בחסרים היא הנחה על הסיבה לחסר. העמוד עוקב אחרי פרק 25 של Gelman ו-Hill: ארבעה מנגנוני חסר, מהפשוט לקשה; השיטות שזורקות נתונים ומה הן מסכנות; השיטות הפשוטות ששומרות את כולם ומה הן מעוותות; והגישה שהם ממליצים עליה – השלמה אקראית ממודל רגרסיה, ובמקרים שצריך – השלמה מרובה. בסוף: מה עושים בפועל, מה האתר ו-SPSS עושים בעצמם, ואיך מדווחים.

1. למה חסר – ארבעה מנגנונים, מהפשוט לקשה

כדי להחליט מה לעשות עם חסרים, מועיל לדעת למה הם חסרים. Gelman ו-Hill (2007, עמ' 530-531) מבחינים בין ארבעה מנגנונים. חסר לגמרי באקראי (missing completely at random): ההסתברות לחסר זהה לכל היחידות – כאילו כל משיב הטיל קובייה וסירב לענות על שאלת ההכנסה כשיצא 6. רק במקרה הזה זריקת המקרים החסרים אינה מטה את המסקנות. חסר באקראי (missing at random): רוב החסר אינו לגמרי מקרי, וזה נראה בנתונים עצמם – בסקר המדדים החברתיים של ניו יורק, שיעורי אי-המענה על ההכנסה שונים בין קבוצות אתניות. ההנחה הכללית יותר היא שההסתברות לחסר תלויה רק במידע זמין: אם מין, מוצא, השכלה וגיל נרשמו לכולם, ההכנסה "חסרה באקראי" אם אי-המענה תלוי רק בהם. ואז מותר להוציא את המקרים החסרים – בתנאי שהמודל מפקח על כל המשתנים שמשפיעים על ההסתברות לחסר: מודל להכנסה יצטרך לכלול מוצא, אחרת יהיה מוטה. חסר שתלוי במה שלא נצפה: אם אנשים "עצבניים" נוטים פחות לענות על ההכנסה, עצבנות מנבאת הכנסה, ועצבנות לא נמדדה – ההכנסה כבר אינה חסרה באקראי; כמוהו מטופל שנושר מניסוי בגלל אי-נוחות שלא נמדדה. חסר כזה צריך למדל במפורש, או להשלים עם הטיה. חסר שתלוי בערך החסר עצמו: בעלי הכנסה גבוהה נוטים פחות לחשוף אותה; במקרה הקיצוני – כל מי שמרוויח מעל סף מסרב – זה צנזור, אבל גם המקרה ההסתברותי קשה. אפשר למדל, או להקטין את הבעיה בעזרת עוד מנבאים שמקרבים אותה ל"חסר באקראי": לבנים ובעלי תואר מרוויחים יותר, ופיקוח עליהם מתקן במקצת – "אבל כנראה רק במקצת" – את שיעור אי-המענה הגבוה של בעלי ההכנסה הגבוהה.

והנקודה המכרעת (Gelman & Hill, 2007, p. 531): אי-אפשר להוכיח שנתונים חסרים באקראי. "המשתנים האורבים" שעליהם החסר עשוי להיות תלוי אינם נצפים – בהגדרה – ולכן לעולם אי-אפשר לשלול אותם. מניחים, או בודקים מול מחקרים אחרים שעשו מעקב אחרי לא-משיבים. בפועל מנסים לכלול במודל כמה שיותר מנבאים כדי שההנחה תהיה סבירה: להניח שאי-מענה על ההכנסה תלוי רק במין, מוצא והשכלה היא הנחה חזקה, אבל סבירה הרבה יותר מלהניח שההסתברות קבועה לכולם.

2. שיטות שזורקות נתונים – ומה הן מסכנות

הרבה גישות מפשטות את הבעיה בזריקת נתונים; Gelman ו-Hill (2007, עמ' 531-532) מראים איך זה מטה, ומזכירים שגם בלי הטיה – שגיאות התקן גדלות כי המדגם קטן. ניתוח מקרים שלמים (complete-case) – מחיקה רשימתית: מוציאים כל יחידה שחסר לה ערך בתוצאה או באחד המנבאים; R ו-SPSS עושים זאת ברגרסיה אוטומטית. שתי הבעיות: אם היחידות עם חסרים שונות שיטתית מהשלמות – הטיה; ואם יש הרבה משתנים במודל – יישארו מעט מקרים שלמים, ורוב הנתונים ייזרקו למען ניתוח פשוט. ניתוח מקרים זמינים (available-case) – מחיקה זוגית: כל היבט נבדק על תת-המדגם שיש לו נתונים. בסקר של 2001 כל 1,501 המשיבים דיווחו השכלה ו-16% סירבו לדווח הכנסה – אז מסכמים השכלה על כולם והכנסה על 84%. הבעיה: ניתוחים שונים מבוססים על תת-מדגמים שונים ואינם בהכרח עקביים זה עם זה; ואם הלא-משיבים שונים – הטיה כמו קודם: 90% מהאפרו-אמריקאים אך רק 81% מהלבנים דיווחו הכנסה, ולכן סיכום ההכנסה מייצג אוכלוסייה אחרת מסיכום ההשכלה. גם השמטת משתנה שלם בגלל שיעור חסרים גבוה היא ניתוח מקרים זמינים – ובהקשר סיבתי היא עלולה להשמיט משתנה שההנחות דורשות. שקלול אי-מענה: מודל שמנבא מי ענה, וההופכי של ההסתברות החזויה כמשקל, כדי להחזיר למדגם השלם ייצוגיות – מסתבך עם יותר ממשתנה חסר אחד, ושגיאות התקן נעשות לא-יציבות כשההסתברויות קרובות ל-0 או ל-1.

3. שיטות פשוטות ששומרות את כולם – ומה הן מעוותות

במקום להסיר, אפשר למלא – "להשלים" (impute). השיטות שומרות על גודל המדגם, אבל מייצרות הטיות מסוג אחר, וכלל אחד חל על כולן: כשמשלימים ערך יחיד, שגיאות התקן יוצאות נמוכות מדי, כי יש אי-ודאות רבה על הערך החסר, ובבחירת ערך אחד מעמידים פנים שהוא ידוע בוודאות (Gelman & Hill, 2007, p. 532). החלפה בממוצע: הקלה ביותר – וגם מעוותת מאוד את התפלגות המשתנה, מקטינה את סטיית התקן, ו"מושכת" את אומדני המתאם לאפס. Pallant (2020, פרק 6) אומרת על האפשרות הזאת ב-SPSS: "אין להשתמש בה לעולם", ו-Field (2024, טיפ 6.1) מסביר למה: לערך שהוחלף אין מרחק מהממוצע, ושגיאת התקן המכווצת מייצרת "מובהקות" שהיא תוצר ההחלפה. גרירת הערך האחרון (last value carried forward): בהערכת התערבויות, להחליף תוצאה חסרה במדידת הבסיס. נחשב שמרני, אבל יכול להיות ההפך: בשל הנסיגה לממוצע צפויה ירידה בהתנהגות מסוכנת גם בלי ההתערבות, ולכן הערך הישן נראה גרוע מהאמת – ואם שיעורי החסר שונים בין הקבוצות, אומדן האפקט מוטה בכיוון הלא-שמרני. מידע מתצפיות קרובות: הכנסת האב מדיווח האם – סביר, אך מעביר שגיאת מדידה, ויש לשאול אם למדווח יש תמריץ לעוות. קטגוריית "חסר" למנבא קטגוריאלי: פשוט ולעיתים קרובות מועיל. מחוון חסר למנבא רציף (משתנה-דמה "חסר" + אפס או ממוצע במקום הערך): פופולרי במדעי החברה, אך נוטה להטות את מקדמי שאר המנבאים, כי הוא כופה אותו שיפוע על שתי קבוצות החסר. כללים לוגיים: מי שדיווח אפס חודשי עבודה – הכנסתו מעבודה אפס; השלמה כזאת אינה נשענת על הנחות חזקות, כי מנגנון החסר ידוע.

4. השלמה אקראית ממודל – הגישה של Gelman ו-Hill

כשחסר יותר מחלק זניח, Gelman ו-Hill (2007, סעיף 25.4) מעדיפים להשלים בצורה פורמלית. המקרה הפשוט: משתנה אחד עם חסרים – ההכנסה – ומשתנים שנצפו לכולם. השלמה אקראית פשוטה – דגימה מהערכים שנצפו – מתעלמת מכל המידע שבשאר השאלות; היא רק נקודת התחלה. רגרסיה: מתאימים מודל למקרים שנצפו ומנבאים את החסרים. אבל השלמה דטרמיניסטית – הניבוי עצמו – מייצרת ערכים צרים מדי: במודל שלהם R² = .44, כלומר סטיית התקן המוסברת היא 66% מזו של הנתונים, ולכן הערכים החזויים פחות משתנים מהמקוריים – ורוב הלא-משיבים היו נראים כאילו הכנסתם באמצע הסולם, בטעות (עמ' 536). התיקון: השלמה אקראית מרגרסיה – מוסיפים לניבוי את שגיאת הניבוי, ערך אקראי מהתפלגות נורמלית עם סטיית התקן של השאריות – והערכים המושלמים נפרשים על פני הטווח כמו הנתונים האמיתיים (תרשים 1).

שלוש הערות מעשיות מהם. אילו מנבאים? כל מה שמנבא – גם תוצאות של המשתנה החסר: מוזר למדל הכנסה לפי קבלת קצבאות, שהיא בחלקה תוצאה של ההכנסה, אבל לצורך השלמה זה מקובל – המטרה אינה היסק סיבתי אלא ניבוי מדויק, ומותר להשתמש בכל קלט שמשרת אותה (עמ' 537). סקאלה: הם מודלים את שורש ההכנסה, ו"קוטמים" (topcode) ערכים גבוהים – לא כדי לתקן את הנתונים אלא כדי לשפר את הניבוי בטווח שמעניין. אפס או חיובי: כשמשתנה יכול להיות אפס (לא עבד) או חיובי, משלימים בשני שלבים – רגרסיה לוגיסטית לשאלה אם חיובי, ורגרסיה ליניארית לערך החיובי (עמ' 537-538). ויש גם התאמה (hot-deck): לכל יחידה חסרה מוצאים יחידה דומה בנתונים שנצפו ולוקחים את ערכה – גרסה לא-פרמטרית של רגרסיה; דוגמתם – השלמת גורמי סיכון לתיקים לא-פתורים מתוך חמשת התיקים הפתורים הדומים ביותר.

5. כמה משתנים חסרים – והשלמה מרובה

בדרך כלל חסרים מפוזרים בכמה משתנים, ואי-אפשר להעמיד משתנה אחד מול מנבאים שלמים (Gelman & Hill, 2007, Section 25.5). שתי דרכים: מודל רב-משתני אחד לכל המשתנים החסרים – בפועל מודל "מהמדף" (נורמלי רב-משתני) שתוכנות מריצות בלחיצת כפתור, "ההשלמות טובות רק כמו המודל ולכן צריך לבדוק אותן – אבל זו נקודת התחלה טובה"; או השלמה איטרטיבית: משלימים גס, ואז לכל משתנה חסר בתורו מתאימים רגרסיה על כל השאר (כולל הערכים שזה עתה הושלמו), משלימים אקראית, וחוזרים עד התכנסות. יתרונה – כל רגרסיה מובנת בנפרד ואפשר להכניס אינטראקציות; חסרונה – צריך לוודא שהמודלים עקביים (לא להשלים גיל לפי הכנסה ואז להתעלם מגיל בהשלמת הכנסה), ובכל מקרה: להסתכל על היסטוגרמות וגרפי פיזור של הערכים שנצפו מול אלה שהושלמו, כדי לוודא שההשלמות סבירות (עמ' 540).

השלמה מרובה (multiple imputation; Section 25.7, p. 542): במקום ערך מושלם אחד – כמה (נניח חמישה), כל אחד ממודל מעט שונה, שמשקפים לא רק את שונות הדגימה אלא גם את אי-הוודאות על מקדמי מודל ההשלמה. מריצים את הניתוח הרגיל על כל אחד מחמשת קובצי הנתונים המושלמים, ומאחדים: האומדן הסופי הוא ממוצע האומדנים, והשונות משלבת את השונות בתוך ההשלמות (ממוצע ריבועי שגיאות התקן) עם השונות בין ההשלמות (כמה האומדנים שונים זה מזה), עם תיקון קטן למספר ההשלמות. כך שגיאת התקן משקפת שלא ידענו את הערכים החסרים – מה שהשלמה יחידה מסתירה. Pallant (2020, פרק 6) מצטטת את Tabachnick ו-Fidell שההשלמה המרובה היא כיום "השיטה המכובדת ביותר" לטיפול בחסרים.

6. מה עושים בפועל – מדריך החלטה

הסדר שנגזר מהפרק, כמדריך של האתר (ההכרעות – של החוקרת): קודם סופרים – כמה חסר בכל משתנה, ובאיזה דפוס (אותם אנשים? שאלה אחת?) – ובודקים אם יש כלל לוגי שמשלים בלי הנחות (אפס חודשי עבודה – אפס הכנסה; "לא רלוונטי" שאינו חסר). אחר כך שואלים למה: מי לא ענה, והאם זה קשור למשתנים שנמדדו – טבלת שכיחויות של "ענה / לא ענה" מול מין, גיל, השכלה (חי-בריבוע) היא הבדיקה הפשוטה של Gelman ו-Hill (תרגיל 25.1). ואז לפי המידה: חסר מועט ופזור – מחיקה זוגית, עם דיווח N לכל ניתוח; במודל רגרסיה עם כמה מנבאים – לזכור שהרשימתית מוציאה כל מי שחסר לו משהו, ולכלול במודל את המשתנים שמנבאים אי-מענה. חסר ניכר במשתנה מרכזי – השלמה אקראית מרגרסיה עם כל המנבאים הזמינים, או השלמה מרובה, ודיווח על השיטה. חסר שתלוי בערך עצמו (הכנסה, התנהגויות רגישות) – אין פתרון סטטיסטי נקי: מוסיפים מנבאים, מדווחים את ההנחה ובודקים רגישות – מה קורה למסקנה בהשלמות שונות. ובכל מקרה: לא ממוצע, לא גרירת ערך אחרון, ולא השלמה יחידה שמדווחת כאילו הערכים נמדדו.

7. באתר וב-SPSS – מה קורה לחסרים בלי שביקשתם

בתבנית התקנית של האתר תא ריק הוא חסר. מטריצת המתאמים מחשבת כל זוג על מי שיש לו שני הערכים (מחיקה זוגית) ומדווחת N לכל זוג – ולכן N משתנה בין תאי הלוח, וזה מידע, לא תקלה. המהימנות בין מקודדים מטפלת בחסרים בשתי דרכים שונות בכוונה: κ של כהן על יחידות שקודדו על-ידי שני המקודדים בלבד, ו-α של קריפנדורף על כל ערך שיש לו בן-זוג ביחידתו – ההבדל בין N-ים מוצג בלוח. מ-SPSS לאקסל מעביר קודי חסר שהוגדרו ב-SPSS (user-missing) כתאים ריקים – ומזהיר כשקוד כמו "אחר, פרט/י" או "מסרב/ת" לא הוגדר כחסר ולכן יעבור כערך תקף, כפי שקרה בקובץ הדוגמה בתשעה משתנים. ב-SPSS, Pallant (2020, פרק 6) ממליצה ללחוץ תמיד על Options ולבדוק מה מסומן, כי ברירת המחדל משתנה בין הליכים: מחיקה זוגית אלא אם יש סיבה טובה; רשימתית רק כשרוצים תת-מדגם שענה על הכול; החלפה בממוצע – לעולם לא. להליך Missing Value Analysis היא מפנה למי שרוצה השלמה ודפוסי חסר.

8. איך מדווחים

שיעור החסר לכל משתנה מרכזי, ואם יש דפוס – מי לא ענה (הבדיקה מסעיף 6); מה ההנחה על המנגנון ומה מבסס אותה; השיטה: "מחיקה זוגית; N לכל ניתוח מדווח בלוחות", או "השלמה מרובה, חמישה קבצים, מודל ההשלמה כלל את X, Y, Z; האומדנים ושגיאות התקן אוחדו לפי Gelman ו-Hill (2007, סעיף 25.7)"; ומה קורה למסקנה בניתוח מקרים שלמים לעומת ההשלמה – אם הן מסכימות, אומרים; אם לא, זה ממצא. ערך שהושלם לפי כלל לוגי מדווחים כהשלמה (עשרה משיבים עם אפס חודשי עבודה – הכנסה אפס), לא כמדידה.

טעויות נפוצות

"החסרים מקריים" – בלי לבדוק. טבלה אחת של ענה/לא-ענה מול משתני רקע מראה אם החסר תלוי במה שנמדד. אם כן – מחיקה פשוטה מטה.

להחליף בממוצע. מכווץ את השונות ומייצר מובהקות מלאכותית; Pallant: לעולם לא.

לזרוק את כל מי שחסר לו משהו – ברגרסיה עם עשרה מנבאים. נשארים עם מחצית המדגם, ולא ידוע איזו מחצית. סופרים כמה נשארו לפני שמפרשים.

להשלים ערך יחיד ולדווח כאילו נמדד. שגיאות התקן נמוכות מדי בהגדרה. השלמה מרובה, או לפחות דיווח שהערכים הושלמו.

לנבא מרגרסיה ולשכוח את השגיאה. כל הלא-משיבים "באמצע" – ארטיפקט של ניבוי בלי פיזור. מוסיפים את שגיאת הניבוי.

לפחד להשתמש ב"תוצאות" כמנבאים להשלמה. לצורך השלמה המטרה היא ניבוי, ומותר כל מה שמנבא.

לטפל בקוד "מסרב" כערך. 99 שלא הוגדר כחסר נכנס לממוצע. בודקים במקרא לפני הכול.

לשכוח ש-N השתנה. מחיקה זוגית פירושה N אחר לכל ניתוח – מדווחים אותו, ולא מעתיקים N של המדגם המלא.

רשימת בדיקה – לפני שמריצים עם חסרים

מקורות

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. Cambridge University Press.

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.