مقادیر گمشده: چرا گمشده‌اند، و چه باید کرد

راهنما

در این صفحه

مقادیر گمشده تقریباً در هر تحلیل جدی وجود دارند (Gelman & Hill, 2007, p. 529): کسی که از پاسخ به پرسش درآمد سر باز زد، کسی که از یک صفحه گذشت، کسی که به موج دوم نرسید. مشکل این نیست که گمشده‌اند – بلکه این است که کسی که داده‌اش گمشده است لزوماً شبیه کسی که پاسخ داده نیست، و از همین رو هر راه برخورد با گمشده‌ها فرضی درباره علت گمشدگی است. این صفحه از فصل 25 Gelman و Hill پیروی می‌کند: چهار سازوکار گمشدگی، از ساده تا دشوار؛ روش‌هایی که داده‌ها را دور می‌ریزند و آنچه به خطر می‌اندازند؛ روش‌های ساده‌ای که همه را نگه می‌دارند و آنچه تحریف می‌کنند؛ و رویکردی که آنان توصیه می‌کنند – جانهی تصادفی از یک مدل رگرسیون، و در موارد لازم – جانهی چندگانه. در پایان: در عمل چه باید کرد، سایت و SPSS خودشان چه می‌کنند، و چگونه گزارش می‌شود.

1. چرا گمشده است – چهار سازوکار، از ساده تا دشوار

برای تصمیم‌گیری درباره این‌که با گمشده‌ها چه کنیم، دانستن این‌که چرا گمشده‌اند سودمند است. Gelman و Hill (2007، ص. 530-531) چهار سازوکار را از هم متمایز می‌کنند. گمشدگی کاملاً تصادفی (missing completely at random): احتمال گمشدگی برای همه واحدها یکسان است – گویی هر پاسخ‌گو تاسی انداخته و هرگاه 6 آمده از پاسخ به پرسش درآمد سر باز زده است. تنها در این حالت دور ریختن موارد گمشده نتیجه‌گیری‌ها را اریب نمی‌کند. گمشدگی تصادفی (missing at random): بیشتر گمشدگی‌ها کاملاً تصادفی نیستند، و این در خود داده‌ها پیداست – در پیمایش شاخص‌های اجتماعی نیویورک، نرخ عدم پاسخ به درآمد میان گروه‌های قومی متفاوت است. فرض کلی‌تر این است که احتمال گمشدگی تنها به اطلاعات در دسترس بستگی دارد: اگر جنس، نژاد/قومیت، تحصیلات و سن برای همه ثبت شده باشد، درآمد "به‌طور تصادفی گمشده" است اگر عدم پاسخ تنها به آن‌ها بستگی داشته باشد. در این صورت می‌توان موارد گمشده را کنار گذاشت – به شرط آن‌که مدل همه متغیرهایی را که بر احتمال گمشدگی اثر می‌گذارند کنترل کند: مدلی برای درآمد باید نژاد/قومیت را در بر گیرد، وگرنه اریب خواهد بود. گمشدگی وابسته به آنچه مشاهده نشده: اگر افراد "عصبی" کمتر به پرسش درآمد پاسخ دهند، عصبی بودن درآمد را پیش‌بینی کند، و عصبی بودن اندازه‌گیری نشده باشد – درآمد دیگر به‌طور تصادفی گمشده نیست؛ همچنین بیماری که به‌سبب ناراحتی‌ای که اندازه‌گیری نشده از کارآزمایی کنار می‌رود. چنین گمشدگی‌ای باید صریحاً مدل‌سازی شود، یا با پذیرش اریبی جانهی شود. گمشدگی وابسته به خود مقدار گمشده: افراد پردرآمد کمتر آن را آشکار می‌کنند؛ در حالت حدی – هر کس بیش از یک آستانه درآمد داشته باشد سر باز می‌زند – این سانسور است، اما حالت احتمالاتی نیز دشوار است. می‌توان مدل‌سازی کرد، یا مسئله را با پیش‌بین‌های بیشتری که آن را به "گمشدگی تصادفی" نزدیک می‌کنند کوچک کرد: سفیدپوستان و دارندگان مدرک دانشگاهی درآمد بیشتری دارند، و کنترل آن‌ها – "اما احتمالاً فقط تا حدی" – نرخ بالای عدم پاسخ افراد پردرآمد را تا حدی اصلاح می‌کند.

و نکته تعیین‌کننده (Gelman & Hill, 2007, p. 531): نمی‌توان ثابت کرد که داده‌ها به‌طور تصادفی گمشده‌اند. "متغیرهای کمین‌کرده"ای که گمشدگی ممکن است به آن‌ها وابسته باشد – بنا به تعریف – مشاهده نمی‌شوند، و از همین رو هرگز نمی‌توان آن‌ها را کنار گذاشت. یا فرض می‌شود، یا در برابر پژوهش‌های دیگری که غیرپاسخ‌گویان را پیگیری کرده‌اند بررسی می‌شود. در عمل می‌کوشند هرچه بیشتر پیش‌بین در مدل بگنجانند تا فرض معقول باشد: این فرض که عدم پاسخ به درآمد تنها به جنس، نژاد/قومیت و تحصیلات بستگی دارد فرضی قوی است، اما بسیار معقول‌تر از این فرض است که احتمال برای همه ثابت است.

2. روش‌هایی که داده‌ها را دور می‌ریزند – و آنچه به خطر می‌اندازند

بسیاری از رویکردها مسئله را با دور ریختن داده‌ها ساده می‌کنند؛ Gelman و Hill (2007، ص. 531-532) نشان می‌دهند که این کار چگونه اریبی ایجاد می‌کند، و یادآوری می‌کنند که حتی بدون اریبی – خطاهای استاندارد بزرگ می‌شوند زیرا نمونه کوچک می‌شود. تحلیل موارد کامل (complete-case) – حذف لیستی: هر واحدی که در پیامد یا در یکی از پیش‌بین‌ها مقداری ندارد کنار گذاشته می‌شود؛ R و SPSS در رگرسیون این کار را خودکار انجام می‌دهند. دو مشکل: اگر واحدهای دارای گمشده به‌طور نظام‌مند با واحدهای کامل تفاوت داشته باشند – اریبی؛ و اگر متغیرهای مدل زیاد باشند – موارد کامل اندکی باقی می‌مانند، و بیشتر داده‌ها به خاطر یک تحلیل ساده دور ریخته می‌شوند. تحلیل موارد در دسترس (available-case) – حذف زوجی: هر جنبه روی زیرنمونه‌ای بررسی می‌شود که برای آن داده دارد. در پیمایش 2001 همه 1,501 پاسخ‌گو تحصیلات را گزارش کردند و 16% از گزارش درآمد سر باز زدند – پس تحصیلات روی همه و درآمد روی 84% خلاصه می‌شود. مشکل: تحلیل‌های مختلف بر زیرنمونه‌های مختلف استوارند و لزوماً با یکدیگر سازگار نیستند؛ و اگر غیرپاسخ‌گویان متفاوت باشند – اریبی مانند پیش: 90% از آفریقایی‌تبارهای آمریکایی اما تنها 81% از سفیدپوستان درآمد را گزارش کردند، و از همین رو خلاصه درآمد نماینده جامعه آماری دیگری است تا خلاصه تحصیلات. کنار گذاشتن کل یک متغیر به‌سبب نرخ بالای گمشدگی نیز تحلیل موارد در دسترس است – و در بافت علّی ممکن است متغیری را حذف کند که فرض‌ها به آن نیاز دارند. وزن‌دهی عدم پاسخ: مدلی که پیش‌بینی می‌کند چه کسی پاسخ داده، و معکوس احتمال پیش‌بینی‌شده به‌عنوان وزن، تا نمایندگی به نمونه کامل بازگردد – با بیش از یک متغیر گمشده پیچیده می‌شود، و وقتی احتمال‌ها به 0 یا 1 نزدیک باشند خطاهای استاندارد ناپایدار می‌شوند.

3. روش‌های ساده‌ای که همه را نگه می‌دارند – و آنچه تحریف می‌کنند

به جای حذف، می‌توان پر کرد – "جانهی" (impute). این روش‌ها حجم نمونه را حفظ می‌کنند، اما اریبی‌هایی از نوعی دیگر پدید می‌آورند، و یک قاعده بر همه آن‌ها صدق می‌کند: وقتی یک مقدار واحد جانهی می‌شود، خطاهای استاندارد بیش از حد کوچک درمی‌آیند، زیرا درباره مقدار گمشده عدم قطعیت زیادی هست، و با انتخاب یک مقدار وانمود می‌شود که با قطعیت معلوم است (Gelman & Hill, 2007, p. 532). جایگزینی با میانگین: آسان‌ترین – و همچنین توزیع متغیر را به‌شدت تحریف می‌کند، انحراف معیار را کوچک می‌کند، و برآوردهای همبستگی را به سوی صفر "می‌کشد". Pallant (2020، فصل 6) درباره این گزینه در SPSS می‌گوید: "هرگز نباید از آن استفاده کرد"، و Field (2024، نکته 6.1) توضیح می‌دهد چرا: مقدار جایگزین‌شده هیچ فاصله‌ای از میانگین ندارد، و خطای استاندارد منقبض‌شده "معناداری"ای پدید می‌آورد که محصول جایگزینی است. کشاندن آخرین مقدار (last value carried forward): در ارزیابی مداخله‌ها، جایگزین کردن پیامد گمشده با اندازه‌گیری پایه. محافظه‌کارانه پنداشته می‌شود، اما ممکن است وارونه باشد: به‌سبب بازگشت به میانگین، حتی بدون مداخله کاهشی در رفتار پرخطر انتظار می‌رود، و از همین رو مقدار قدیمی بدتر از واقعیت به نظر می‌رسد – و اگر نرخ گمشدگی میان گروه‌ها متفاوت باشد، برآورد اثر در جهت غیرمحافظه‌کارانه اریب می‌شود. اطلاعات از مشاهدات نزدیک: درآمد پدر از گزارش مادر – معقول است، اما خطای اندازه‌گیری را منتقل می‌کند، و باید پرسید آیا گزارش‌دهنده انگیزه‌ای برای تحریف دارد. طبقه "گمشده" برای پیش‌بین طبقه‌ای: ساده و اغلب سودمند. نشانگر گمشدگی برای پیش‌بین پیوسته (متغیر مجازی "گمشده" + صفر یا میانگین به جای مقدار): در علوم اجتماعی محبوب است، اما گرایش دارد ضرایب دیگر پیش‌بین‌ها را اریب کند، زیرا همان شیب را بر دو گروه گمشدگی تحمیل می‌کند. قواعد منطقی: کسی که صفر ماه کار گزارش کرده – درآمدش از کار صفر است؛ چنین جانهی‌ای بر فرض‌های قوی تکیه ندارد، زیرا سازوکار گمشدگی معلوم است.

4. جانهی تصادفی از یک مدل – رویکرد Gelman و Hill

وقتی بیش از بخشی ناچیز گمشده باشد، Gelman و Hill (2007، بخش 25.4) جانهی صوری را ترجیح می‌دهند. حالت ساده: یک متغیر با گمشده – درآمد – و متغیرهایی که برای همه مشاهده شده‌اند. جانهی تصادفی ساده – نمونه‌گیری از مقادیر مشاهده‌شده – همه اطلاعات موجود در پرسش‌های دیگر را نادیده می‌گیرد؛ تنها نقطه آغاز است. رگرسیون: مدلی بر موارد مشاهده‌شده برازش داده و گمشده‌ها پیش‌بینی می‌شوند. اما جانهی قطعی – خود پیش‌بینی – مقادیری بیش از حد باریک پدید می‌آورد: در مدل آنان R² = .44، یعنی انحراف معیار تبیین‌شده 66% انحراف معیار داده‌هاست، و از همین رو مقادیر پیش‌بینی‌شده کمتر از مقادیر اصلی تغییر می‌کنند – و بیشتر غیرپاسخ‌گویان، به اشتباه، چنان به نظر می‌آمدند که گویی درآمدشان در میانه مقیاس است (ص. 536). اصلاح: جانهی تصادفی از رگرسیون – خطای پیش‌بینی به پیش‌بینی افزوده می‌شود، مقداری تصادفی از توزیع نرمال با انحراف معیار باقیمانده‌ها – و مقادیر جانهی‌شده مانند داده‌های واقعی در سراسر دامنه پخش می‌شوند (نمودار 1).

سه نکته عملی از آنان. کدام پیش‌بین‌ها؟ هر چیزی که پیش‌بینی کند – حتی پیامدهای متغیر گمشده: مدل‌سازی درآمد بر اساس دریافت مستمری‌های رفاهی، که تا حدی پیامد درآمد است، عجیب است، اما برای جانهی پذیرفتنی است – هدف استنباط علّی نیست بلکه پیش‌بینی دقیق است، و استفاده از هر ورودی که به آن خدمت کند مجاز است (ص. 537). مقیاس: آنان جذر درآمد را مدل می‌کنند، و مقادیر بالا را "سرکوب از بالا" (topcode) می‌کنند – نه برای اصلاح داده‌ها بلکه برای بهبود پیش‌بینی در دامنه مورد نظر. صفر یا مثبت: وقتی متغیری می‌تواند صفر (کار نکرده) یا مثبت باشد، جانهی در دو مرحله انجام می‌شود – رگرسیون لجستیک برای این پرسش که آیا مثبت است، و رگرسیون خطی برای مقدار مثبت (ص. 537-538). و همتاسازی (hot-deck) نیز هست: برای هر واحد گمشده واحدی مشابه در داده‌های مشاهده‌شده یافته و مقدار آن برداشته می‌شود – نسخه‌ای ناپارامتری از رگرسیون؛ مثال آنان – جانهی عوامل خطر برای پرونده‌های حل‌نشده از میان پنج پرونده حل‌شده‌ای که بیشترین شباهت را دارند.

5. چند متغیر گمشده – و جانهی چندگانه

معمولاً گمشده‌ها در چند متغیر پراکنده‌اند، و نمی‌توان یک متغیر را در برابر پیش‌بین‌های کامل قرار داد (Gelman & Hill, 2007, Section 25.5). دو راه: یک مدل چندمتغیره برای همه متغیرهای گمشده – در عمل مدلی "آماده" (نرمال چندمتغیره) که نرم‌افزارها با فشار یک دکمه اجرا می‌کنند، "جانهی‌ها تنها به اندازه مدل خوب‌اند و از همین رو باید بررسی شوند – اما نقطه آغاز خوبی است"؛ یا جانهی تکراری: جانهی خامی انجام می‌شود، و سپس برای هر متغیر گمشده به نوبت رگرسیونی بر همه دیگر متغیرها (از جمله مقادیری که تازه جانهی شده‌اند) برازش داده، جانهی تصادفی انجام، و تا همگرایی تکرار می‌شود. مزیت آن – هر رگرسیون به‌طور جداگانه قابل فهم است و می‌توان تعامل‌ها را وارد کرد؛ عیب آن – باید اطمینان یافت که مدل‌ها سازگارند (سن را بر اساس درآمد جانهی نکنید و سپس در جانهی درآمد سن را نادیده بگیرید)، و در هر حال: به هیستوگرام‌ها و نمودارهای پراکنش مقادیر مشاهده‌شده در برابر مقادیر جانهی‌شده نگاه کنید، تا از معقول بودن جانهی‌ها اطمینان یابید (ص. 540).

جانهی چندگانه (multiple imputation; Section 25.7, p. 542): به جای یک مقدار جانهی‌شده – چند مقدار (مثلاً پنج)، هر کدام از مدلی اندکی متفاوت، که نه تنها واریانس نمونه‌گیری بلکه عدم قطعیت درباره ضرایب مدل جانهی را نیز بازتاب می‌دهند. تحلیل معمول روی هر یک از پنج فایل داده جانهی‌شده اجرا و نتایج ادغام می‌شوند: برآورد نهایی میانگین برآوردهاست، و واریانس، واریانس درون جانهی‌ها (میانگین مجذور خطاهای استاندارد) را با واریانس میان جانهی‌ها (برآوردها چه اندازه با یکدیگر متفاوت‌اند) ترکیب می‌کند، با اصلاحی کوچک برای تعداد جانهی‌ها. بدین ترتیب خطای استاندارد بازتاب می‌دهد که مقادیر گمشده را نمی‌دانستیم – همان چیزی که جانهی واحد پنهان می‌کند. Pallant (2020، فصل 6) از Tabachnick و Fidell نقل می‌کند که جانهی چندگانه امروز "معتبرترین روش" برای برخورد با گمشده‌هاست.

6. در عمل چه باید کرد – راهنمای تصمیم

ترتیبی که از این فصل برمی‌آید، به‌عنوان راهنمای سایت (تصمیم‌ها – با پژوهشگر): نخست شمارش – در هر متغیر چه اندازه گمشده است، و با چه الگویی (همان افراد؟ یک پرسش؟) – و بررسی این‌که آیا قاعده‌ای منطقی هست که بدون فرض جانهی کند (صفر ماه کار – درآمد صفر؛ "نامربوط" که گمشده نیست). سپس پرسیدن چرا: چه کسی پاسخ نداد، و آیا این با متغیرهای اندازه‌گیری‌شده رابطه دارد – جدول فراوانی "پاسخ داد / پاسخ نداد" در برابر جنس، سن، تحصیلات (خی‌دو) همان بررسی ساده Gelman و Hill است (تمرین 25.1). و سپس بر حسب میزان: گمشدگی اندک و پراکنده – حذف زوجی، با گزارش N برای هر تحلیل؛ در مدل رگرسیون با چند پیش‌بین – به یاد داشته باشید که حذف لیستی هر کسی را که چیزی از او گمشده کنار می‌گذارد، و متغیرهایی را که عدم پاسخ را پیش‌بینی می‌کنند در مدل بگنجانید. گمشدگی چشمگیر در یک متغیر محوری – جانهی تصادفی از رگرسیون با همه پیش‌بین‌های در دسترس، یا جانهی چندگانه، و گزارش روش. گمشدگی وابسته به خود مقدار (درآمد، رفتارهای حساس) – راه‌حل آماری تمیزی وجود ندارد: پیش‌بین‌ها افزوده می‌شوند، فرض گزارش می‌شود و حساسیت بررسی می‌شود – نتیجه‌گیری در جانهی‌های مختلف چه می‌شود. و در هر حال: نه میانگین، نه کشاندن آخرین مقدار، و نه جانهی واحدی که چنان گزارش شود که گویی مقادیر اندازه‌گیری شده‌اند.

7. در سایت و در SPSS – بی‌آن‌که بخواهید با گمشده‌ها چه می‌شود

در الگوی استاندارد سایت خانه خالی گمشده است. ماتریس همبستگی هر جفت را روی کسانی محاسبه می‌کند که هر دو مقدار را دارند (حذف زوجی) و N را برای هر جفت گزارش می‌کند – از همین رو N در خانه‌های جدول تغییر می‌کند، و این اطلاعات است، نه نقص. پایایی بین کدگذاران عمداً با دو روش متفاوت با گمشده‌ها برخورد می‌کند: κ کوهن روی واحدهایی که فقط هر دو کدگذار کدگذاری کرده‌اند، و α کریپندورف روی هر مقداری که در واحد خود جفتی دارد – تفاوت میان Nها در جدول نشان داده می‌شود. از SPSS به اکسل کدهای گمشده‌ای را که در SPSS تعریف شده‌اند (user-missing) به‌صورت خانه‌های خالی منتقل می‌کند – و هشدار می‌دهد وقتی کدی مانند "سایر، مشخص کنید" یا "امتناع از پاسخ" به‌عنوان گمشده تعریف نشده و از همین رو به‌عنوان مقدار معتبر منتقل خواهد شد، چنان‌که در فایل نمونه در نه متغیر رخ داد. در SPSS، Pallant (2020، فصل 6) توصیه می‌کند همیشه روی Options کلیک کنید و بررسی کنید چه چیزی علامت خورده است، زیرا پیش‌فرض میان رویه‌ها متفاوت است: حذف زوجی مگر آن‌که دلیل خوبی در کار باشد؛ لیستی فقط وقتی زیرنمونه‌ای مطلوب است که به همه چیز پاسخ داده؛ جایگزینی با میانگین – هرگز. او کسی را که جانهی و الگوهای گمشدگی می‌خواهد به رویه Missing Value Analysis ارجاع می‌دهد.

8. چگونه گزارش کنیم

نرخ گمشدگی برای هر متغیر اصلی، و اگر الگویی وجود دارد – چه کسانی پاسخ نداده‌اند (بررسی بخش 6)؛ چه فرضی درباره سازوکار گمشدگی وجود دارد و چه چیزی آن را پشتیبانی می‌کند؛ روش: "حذف زوجی؛ N هر تحلیل در جدول‌ها گزارش شده است"، یا "جانهی چندگانه، پنج فایل، مدل جانهی شامل X، Y، Z بود؛ برآوردها و خطاهای استاندارد طبق Gelman و Hill (2007، بخش 25.7) ترکیب شدند"؛ و اینکه نتیجه‌گیری در تحلیل موارد کامل در مقایسه با جانهی چه می‌شود – اگر هم‌خوان باشند، همین را می‌گوییم؛ اگر نه، این خود یک یافته است. مقداری که طبق یک قاعده منطقی جانهی شده است به‌عنوان جانهی گزارش می‌شود (ده پاسخ‌گو با صفر ماه اشتغال – درآمد صفر)، نه به‌عنوان اندازه‌گیری.

اشتباهات رایج

"گمشده‌ها تصادفی‌اند" – بدون بررسی. یک جدول پاسخ داده/پاسخ نداده در برابر متغیرهای زمینه‌ای نشان می‌دهد که آیا گمشدگی به آنچه اندازه‌گیری شده وابسته است یا نه. اگر وابسته باشد – حذف ساده سوگیری ایجاد می‌کند.

جایگزینی با میانگین. واریانس را کوچک می‌کند و معناداری ساختگی تولید می‌کند؛ Pallant: هرگز.

کنار گذاشتن هر کسی که چیزی از او گمشده است – در رگرسیونی با ده پیش‌بین. نیمی از نمونه باقی می‌ماند، و معلوم نیست کدام نیمه. پیش از تفسیر، شمرده می‌شود که چند نفر باقی مانده‌اند.

جانهی تک‌مقداری و گزارش آن گویی اندازه‌گیری شده است. خطاهای استاندارد بنا به تعریف بیش از حد کوچک‌اند. جانهی چندگانه، یا دست‌کم گزارش اینکه مقادیر جانهی شده‌اند.

پیش‌بینی با رگرسیون و فراموش کردن خطا. همه بی‌پاسخ‌ها "در وسط" قرار می‌گیرند – مصنوعی از پیش‌بینی بدون پراکندگی. خطای پیش‌بینی افزوده می‌شود.

ترس از استفاده از "پیامدها" به‌عنوان پیش‌بین‌های جانهی. در جانهی هدف پیش‌بینی است، و هر چیزی که پیش‌بینی کند مجاز است.

برخورد با کد "امتناع از پاسخ" به‌عنوان یک مقدار. 99ای که به‌عنوان گمشده تعریف نشده وارد میانگین می‌شود. پیش از هر چیز، کاربرگ راهنمای کدها بررسی می‌شود.

فراموش کردن اینکه N تغییر کرده است. حذف زوجی یعنی N متفاوت برای هر تحلیل – آن را گزارش می‌کنیم، و N نمونه کامل را رونویسی نمی‌کنیم.

چک‌لیست – پیش از اجرا با داده‌های گمشده

منابع

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Gelman, A., & Hill, J. (2007). Data analysis using regression and multilevel/hierarchical models. Cambridge University Press.

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.