القيم المفقودة: لماذا هي مفقودة، وما العمل

دليل

في هذه الصفحة

توجد القيم المفقودة في كل تحليل جاد تقريبًا (Gelman & Hill, 2007, p. 529): من رفض الإجابة عن سؤال الدخل، ومن تخطى صفحة، ومن لم يحضر في الموجة الثانية. والمشكلة ليست أنها مفقودة – بل أن من تنقصه بيانات لا يشبه بالضرورة من أجاب، ولذلك فإن كل طريقة لمعالجة القيم المفقودة افتراضٌ بشأن سبب الفقد. تتبع الصفحة الفصل 25 من Gelman وHill: أربع آليات للفقد، من البسيط إلى الصعب؛ والأساليب التي تتخلص من البيانات وما تخاطر به؛ والأساليب البسيطة التي تحتفظ بالجميع وما تشوّهه؛ والمقاربة التي يوصيان بها – التعويض العشوائي من نموذج انحدار، وحيث يلزم – التعويض المتعدد. وفي النهاية: ما يُفعل عمليًا، وما يفعله الموقع وSPSS من تلقاء نفسيهما، وكيف يُبلَّغ.

1. لماذا تُفقد البيانات – أربع آليات، من البسيط إلى الصعب

لتقرير ما يُفعل بالقيم المفقودة، من المفيد معرفة لماذا هي مفقودة. يميّز Gelman وHill (2007، ص 530-531) بين أربع آليات. مفقودة عشوائيًا تمامًا (missing completely at random): احتمال الفقد متساوٍ لكل الوحدات – كأن كل مستجيب رمى نردًا ورفض الإجابة عن سؤال الدخل حين خرج 6. في هذه الحالة فقط لا يُحدث التخلص من الحالات المفقودة تحيّزًا في الاستنتاجات. مفقودة عشوائيًا (missing at random): معظم الفقد ليس عرضيًا تمامًا، وهذا يظهر في البيانات نفسها – في مسح المؤشرات الاجتماعية في نيويورك، تختلف معدلات عدم الإجابة عن الدخل بين المجموعات الإثنية. والافتراض الأعم هو أن احتمال الفقد يتوقف فقط على المعلومات المتاحة: إذا سُجِّل الجنس والأصل والتعليم والعمر للجميع، فالدخل "مفقود عشوائيًا" إذا كان عدم الإجابة يتوقف عليها فقط. وعندها يجوز إخراج الحالات المفقودة – بشرط أن يضبط النموذج كل المتغيرات التي تؤثر في احتمال الفقد: نموذج للدخل سيحتاج إلى تضمين الأصل، وإلا كان متحيزًا. فقد يتوقف على ما لم يُشاهَد: إذا كان الأشخاص "العصبيون" أقل ميلًا إلى الإجابة عن الدخل، والعصبية تتنبأ بالدخل، والعصبية لم تُقَس – فلم يعد الدخل مفقودًا عشوائيًا؛ ومثله مريض ينسحب من تجربة بسبب انزعاج لم يُقَس. فقد كهذا يجب نمذجته صراحةً، أو التعويض مع قبول التحيّز. فقد يتوقف على القيمة المفقودة نفسها: ذوو الدخل المرتفع أقل ميلًا إلى الكشف عنه؛ وفي الحالة القصوى – كل من يكسب فوق عتبة يرفض – هذه رقابة (censoring)، لكن الحالة الاحتمالية صعبة أيضًا. يمكن النمذجة، أو تخفيف المشكلة بمزيد من المتنبِّئات التي تقرّبها من "المفقود عشوائيًا": البيض وحملة الشهادات يكسبون أكثر، وضبطهم يصحح قليلًا – "لكن على الأرجح قليلًا فقط" – معدل عدم الإجابة المرتفع لدى ذوي الدخل المرتفع.

والنقطة الحاسمة (Gelman & Hill, 2007, p. 531): لا يمكن إثبات أن البيانات مفقودة عشوائيًا. "المتغيرات الكامنة في الخفاء" التي قد يتوقف عليها الفقد غير مُشاهَدة – بحكم التعريف – ولذلك لا يمكن أبدًا استبعادها. يُفترض ذلك، أو يُفحص مقابل دراسات أخرى تابعت غير المستجيبين. وفي الممارسة يُحاوَل تضمين أكبر عدد ممكن من المتنبِّئات في النموذج ليكون الافتراض معقولًا: افتراض أن عدم الإجابة عن الدخل يتوقف فقط على الجنس والأصل والتعليم افتراض قوي، لكنه أكثر معقولية بكثير من افتراض أن الاحتمال ثابت للجميع.

2. أساليب تتخلص من البيانات – وما تخاطر به

مقاربات كثيرة تبسّط المشكلة بالتخلص من البيانات؛ ويبيّن Gelman وHill (2007، ص 531-532) كيف يُحدث ذلك تحيّزًا، ويذكّران بأنه حتى بلا تحيّز – تكبر الأخطاء المعيارية لأن العيّنة تصغر. تحليل الحالات الكاملة (complete-case) – الحذف القائمي: تُستبعد كل وحدة تنقصها قيمة في النتيجة أو في أحد المتنبِّئات؛ وR وSPSS يفعلان ذلك في الانحدار تلقائيًا. والمشكلتان: إن كانت الوحدات ذات القيم المفقودة تختلف منهجيًا عن الكاملة – تحيّز؛ وإن كانت في النموذج متغيرات كثيرة – ستبقى حالات كاملة قليلة، وسيُتخلَّص من معظم البيانات من أجل تحليل بسيط. تحليل الحالات المتاحة (available-case) – الحذف الزوجي: كل جانب يُفحص على العيّنة الفرعية التي لديها بيانات. في مسح عام 2001 أبلغ كل المستجيبين الـ1,501 عن تعليمهم ورفض 16% الإبلاغ عن الدخل – فيُلخَّص التعليم على الجميع والدخل على 84%. والمشكلة: التحليلات المختلفة تستند إلى عيّنات فرعية مختلفة وليست بالضرورة متسقة فيما بينها؛ وإن كان غير المستجيبين مختلفين – فالتحيّز كما سبق: 90% من الأمريكيين الأفارقة لكن 81% فقط من البيض أبلغوا عن الدخل، ولذلك يمثّل ملخص الدخل مجتمعًا مختلفًا عن ملخص التعليم. وحذف متغير كامل بسبب ارتفاع نسبة القيم المفقودة هو أيضًا تحليل حالات متاحة – وفي السياق السببي قد يحذف متغيرًا تتطلبه الافتراضات. ترجيح عدم الإجابة: نموذج يتنبأ بمن أجاب، ومقلوب الاحتمال المتنبَّأ به وزنًا، لإعادة التمثيلية إلى العيّنة الكاملة – يتعقّد مع أكثر من متغير مفقود واحد، وتصبح الأخطاء المعيارية غير مستقرة حين تقترب الاحتمالات من 0 أو 1.

3. أساليب بسيطة تحتفظ بالجميع – وما تشوّهه

بدل الحذف، يمكن الملء – "التعويض" (impute). تحافظ هذه الأساليب على حجم العيّنة، لكنها تُنتج تحيّزات من نوع آخر، وقاعدة واحدة تسري عليها كلها: حين تُعوَّض قيمة واحدة، تخرج الأخطاء المعيارية أدنى من اللازم، لأن هناك عدم يقين كبيرًا بشأن القيمة المفقودة، وباختيار قيمة واحدة نتظاهر بأنها معروفة يقينًا (Gelman & Hill, 2007, p. 532). الاستبدال بالمتوسط: الأسهل – وهو أيضًا يشوّه توزيع المتغير كثيرًا، ويقلّص الانحراف المعياري، و"يسحب" تقديرات الارتباط نحو الصفر. تقول Pallant (2020، الفصل 6) عن هذا الخيار في SPSS: "لا ينبغي استخدامه أبدًا"، ويشرح Field (2024، النصيحة 6.1) السبب: القيمة المستبدَلة لا بُعد لها عن المتوسط، والخطأ المعياري المنكمش يُنتج "دلالة إحصائية" هي نتاج الاستبدال. ترحيل القيمة الأخيرة (last value carried forward): في تقييم التدخلات، استبدال النتيجة المفقودة بقياس خط الأساس. يُعدّ محافظًا، لكنه قد يكون العكس: بسبب الانحدار نحو المتوسط يُتوقَّع انخفاض في السلوك الخطر حتى بلا تدخل، ولذلك تبدو القيمة القديمة أسوأ من الحقيقة – وإن اختلفت نسب الفقد بين المجموعات، يكون تقدير الأثر متحيزًا في الاتجاه غير المحافظ. معلومات من مشاهدات قريبة: دخل الأب من تقرير الأم – معقول، لكنه ينقل خطأ القياس، ويجب السؤال عمّا إذا كان لدى المُبلِّغ حافز للتشويه. فئة "مفقود" لمتنبِّئ تصنيفي: بسيط ومفيد في كثير من الأحيان. مؤشر فقد لمتنبِّئ متصل (متغير وهمي "مفقود" + صفر أو متوسط بدل القيمة): شائع في العلوم الاجتماعية، لكنه يميل إلى تحيّز معاملات المتنبِّئات الأخرى، لأنه يفرض الميل نفسه على مجموعتي الفقد. القواعد المنطقية: من أبلغ عن صفر أشهر عمل – فدخله من العمل صفر؛ تعويض كهذا لا يستند إلى افتراضات قوية، لأن آلية الفقد معروفة.

4. التعويض العشوائي من نموذج – مقاربة Gelman وHill

حين يُفقد أكثر من جزء ضئيل، يفضّل Gelman وHill (2007، القسم 25.4) التعويض بطريقة رسمية. الحالة البسيطة: متغير واحد فيه قيم مفقودة – الدخل – ومتغيرات شوهدت للجميع. التعويض العشوائي البسيط – المعاينة من القيم المُشاهَدة – يتجاهل كل المعلومات الموجودة في بقية الأسئلة؛ إنه مجرد نقطة بداية. الانحدار: يُواءَم نموذج على الحالات المُشاهَدة ويُتنبَّأ بالمفقودة. لكن التعويض الحتمي – التنبؤ نفسه – يُنتج قيمًا ضيقة أكثر من اللازم: في نموذجهما R² = .44، أي أن الانحراف المعياري المفسَّر هو 66% من انحراف البيانات، ولذلك تتباين القيم المتنبَّأ بها أقل من الأصلية – وكان معظم غير المستجيبين سيبدون كأن دخلهم في منتصف السلّم، خطأً (ص 536). والتصحيح: التعويض العشوائي من الانحدار – يُضاف إلى التنبؤ خطأ التنبؤ، قيمة عشوائية من توزيع طبيعي بالانحراف المعياري للبواقي – فتنتشر القيم المعوَّضة على المدى كالبيانات الحقيقية (الشكل 1).

ثلاث ملاحظات عملية منهما. أيّ متنبِّئات؟ كل ما يتنبأ – بما في ذلك نتائج المتغير المفقود: من الغريب نمذجة الدخل بحسب تلقي الإعانات، وهو في جزء منه نتيجة للدخل، لكن لغرض التعويض هذا مقبول – فالهدف ليس الاستدلال السببي بل التنبؤ الدقيق، ويجوز استخدام كل مُدخل يخدمه (ص 537). المقياس: ينمذجان جذر الدخل، و"يقصّان" (topcode) القيم المرتفعة – لا لتصحيح البيانات بل لتحسين التنبؤ في المدى الذي يهمّ. صفر أو موجب: حين يمكن أن يكون المتغير صفرًا (لم يعمل) أو موجبًا، يُعوَّض على مرحلتين – انحدار لوجستي لسؤال ما إذا كان موجبًا، وانحدار خطي للقيمة الموجبة (ص 537-538). وهناك أيضًا المطابقة (hot-deck): لكل وحدة مفقودة تُوجد وحدة مشابهة في البيانات المُشاهَدة وتؤخذ قيمتها – نسخة لامعلمية من الانحدار؛ ومثالهما – تعويض عوامل الخطر للقضايا غير المحلولة من القضايا المحلولة الخمس الأكثر شبهًا.

5. عدة متغيرات مفقودة – والتعويض المتعدد

عادةً تتوزع القيم المفقودة على عدة متغيرات، ولا يمكن وضع متغير واحد مقابل متنبِّئات كاملة (Gelman & Hill, 2007, Section 25.5). طريقتان: نموذج متعدد المتغيرات واحد لكل المتغيرات المفقودة – في الممارسة نموذج "جاهز" (طبيعي متعدد المتغيرات) تشغّله البرمجيات بضغطة زر، "والتعويضات جيدة بقدر جودة النموذج فقط ولذلك يجب فحصها – لكنها نقطة بداية جيدة"؛ أو التعويض التكراري: يُعوَّض تعويضًا خامًا، ثم لكل متغير مفقود بدوره يُواءَم انحدار على كل البقية (بما فيها القيم التي عُوِّضت للتو)، ويُعوَّض عشوائيًا، ويُكرَّر حتى التقارب. ميزته – كل انحدار مفهوم على حدة ويمكن إدخال تفاعلات؛ وعيبه – يجب التأكد من أن النماذج متسقة (لا يُعوَّض العمر بحسب الدخل ثم يُتجاهَل العمر في تعويض الدخل)، وفي كل الأحوال: النظر في المدرّجات التكرارية وأشكال الانتشار للقيم المُشاهَدة مقابل المعوَّضة، للتأكد من أن التعويضات معقولة (ص 540).

التعويض المتعدد (multiple imputation; Section 25.7, p. 542): بدل قيمة معوَّضة واحدة – عدة قيم (لنقل خمسًا)، كل منها من نموذج مختلف قليلًا، تعكس لا تباين المعاينة فقط بل أيضًا عدم اليقين بشأن معاملات نموذج التعويض. يُشغَّل التحليل المعتاد على كل واحد من ملفات البيانات المعوَّضة الخمسة، ثم تُدمج النتائج: التقدير النهائي هو متوسط التقديرات، والتباين يجمع التباين داخل التعويضات (متوسط مربعات الأخطاء المعيارية) مع التباين بين التعويضات (مقدار اختلاف التقديرات فيما بينها)، مع تصحيح صغير لعدد التعويضات. وهكذا يعكس الخطأ المعياري أننا لم نعرف القيم المفقودة – وهو ما يخفيه التعويض المفرد. تقتبس Pallant (2020، الفصل 6) من Tabachnick وFidell أن التعويض المتعدد هو اليوم "الطريقة الأكثر احترامًا" لمعالجة القيم المفقودة.

6. ما يُفعل عمليًا – دليل قرار

الترتيب المستمد من الفصل، بوصفه دليلًا من الموقع (والقرارات – للباحثة): أولًا العدّ – كم يُفقد في كل متغير، وبأي نمط (الأشخاص أنفسهم؟ سؤال واحد؟) – والتحقق مما إذا كانت هناك قاعدة منطقية تعوّض بلا افتراضات (صفر أشهر عمل – صفر دخل؛ "لا ينطبق" ليس قيمة مفقودة). بعد ذلك السؤال عن السبب: من لم يُجب، وهل يرتبط ذلك بمتغيرات قيست – جدول تكرارات لـ"أجاب / لم يُجب" مقابل الجنس والعمر والتعليم (مربع كاي) هو الفحص البسيط لدى Gelman وHill (التمرين 25.1). ثم بحسب الحجم: فقد قليل ومتناثر – الحذف الزوجي، مع الإبلاغ عن N لكل تحليل؛ وفي نموذج انحدار بعدة متنبِّئات – تذكّر أن الحذف القائمي يستبعد كل من ينقصه شيء، وتضمين المتغيرات التي تتنبأ بعدم الإجابة في النموذج. فقد ملحوظ في متغير مركزي – التعويض العشوائي من الانحدار بكل المتنبِّئات المتاحة، أو التعويض المتعدد، والإبلاغ عن الطريقة. فقد يتوقف على القيمة نفسها (الدخل، والسلوكيات الحساسة) – لا يوجد حل إحصائي نظيف: تُضاف متنبِّئات، ويُبلَّغ عن الافتراض ويُفحص الحساسية – ماذا يحدث للاستنتاج في تعويضات مختلفة. وفي كل الأحوال: لا متوسط، ولا ترحيل للقيمة الأخيرة، ولا تعويض مفرد يُبلَّغ عنه كأن القيم قيست.

7. في الموقع وفي SPSS – ما يحدث للقيم المفقودة دون أن تطلبوا

في القالب القياسي للموقع الخلية الفارغة قيمة مفقودة. مصفوفة الارتباطات تحسب كل زوج على من لديه القيمتان (الحذف الزوجي) وتُبلغ عن N لكل زوج – ولذلك يتغير N بين خلايا الجدول، وهذه معلومة، لا عطل. الثبات بين المرمِّزين يعالج القيم المفقودة بطريقتين مختلفتين عن قصد: κ لكوهين على الوحدات التي رمّزها كلا المرمِّزَين فقط، وα لكريبندورف على كل قيمة لها نظير في وحدتها – والفرق بين قيم N معروض في الجدول. من SPSS إلى إكسل ينقل رموز القيم المفقودة المعرَّفة في SPSS (user-missing) خلايا فارغة – ويحذّر حين لا يكون رمز مثل "آخر، حدِّد/ي" أو "رافض/ة" معرَّفًا قيمةً مفقودة فيمرّ بوصفه قيمة صالحة، كما حدث في ملف المثال في تسعة متغيرات. في SPSS، توصي Pallant (2020، الفصل 6) بالضغط دائمًا على Options والتحقق مما هو مؤشَّر عليه، لأن الإعداد الافتراضي يختلف بين الإجراءات: الحذف الزوجي ما لم يوجد سبب وجيه؛ والقائمي فقط حين يُراد عيّنة فرعية أجابت عن كل شيء؛ والاستبدال بالمتوسط – أبدًا. وإلى إجراء Missing Value Analysis تحيل من يريد التعويض وأنماط الفقد.

8. كيف تُعرض النتائج

نسبة الفقدان في كل متغير رئيسي، وإن كان هناك نمط – مَن لم يُجب (الفحص من القسم 6)؛ ما الافتراض بشأن الآلية وما الذي يسنده؛ الطريقة: "الحذف الزوجي؛ N لكل تحليل مذكور في الجداول"، أو "التعويض المتعدد، خمسة ملفات، شمل نموذج التعويض X وY وZ؛ دُمجت التقديرات والأخطاء المعيارية وفق Gelman وHill (2007، القسم 25.7)"؛ وما يحدث للاستنتاج في تحليل الحالات الكاملة مقارنةً بالتعويض – إن اتفقا، يُذكر ذلك؛ وإن لم يتفقا، فهذه نتيجة بحد ذاتها. القيمة التي عُوِّضت وفق قاعدة منطقية يُبلَّغ عنها على أنها تعويض (عشرة مستجيبين بصفر أشهر عمل – دخل صفر)، لا على أنها قياس.

أخطاء شائعة

"القيم المفقودة عشوائية" – دون فحص. جدول واحد لـ"أجاب/لم يُجب" مقابل متغيرات الخلفية يُظهر ما إذا كان الفقدان متوقفًا على ما قيس. إن كان كذلك – فالحذف البسيط يُحدث تحيّزًا.

التعويض بالمتوسط. يقلّص التباين ويُنتج دلالة إحصائية مصطنعة؛ Pallant: أبدًا.

استبعاد كل من ينقصه شيء – في انحدار بعشرة متنبِّئات. يبقى نصف العينة، ولا يُعرف أي نصف. يُحصى كم بقي قبل التفسير.

تعويض قيمة مفردة والإبلاغ عنها كأنها قيست. الأخطاء المعيارية منخفضة أكثر من اللازم بحكم التعريف. التعويض المتعدد، أو على الأقل الإبلاغ بأن القيم عُوِّضت.

التنبؤ من الانحدار ونسيان الخطأ. جميع غير المستجيبين "في الوسط" – أثر مصطنع لتنبؤ بلا تشتت. يُضاف خطأ التنبؤ.

الخوف من استخدام "متغيرات النتيجة" كمتنبِّئات في التعويض. الهدف في التعويض هو التنبؤ، ويجوز كل ما يتنبأ.

التعامل مع رمز "رفض الإجابة" كقيمة. الرمز 99 الذي لم يُعرَّف كقيمة مفقودة يدخل في المتوسط. يُفحص مفتاح الترميز قبل كل شيء.

نسيان أن N تغيّر. الحذف الزوجي يعني N مختلفًا لكل تحليل – يُبلَّغ عنه، ولا يُنسخ N العينة الكاملة.

قائمة تحقق – قبل التشغيل مع قيم مفقودة

المراجع

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. Cambridge University Press.

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.