داده‌های پرت و مفروضه‌ها: چه چیزی نتایج را سوگیر می‌کند، و چه باید کرد

دو سر "هیولای سوگیری" فیلد – داده‌های پرت و تخطی از مفروضه‌های مدل خطی – هر کدام به چه چیزی آسیب می‌زند (برآورد، خطای استاندارد، فاصله اطمینان، آزمون)، چگونه آن‌ها را در داده‌ها می‌بینیم، و چرا نرمال بودن کم‌اهمیت‌ترین مفروضه است. بخش ب – آماده‌سازی داده‌ها برای تحلیل.

راهنما

در این صفحه

تقریباً همه آزمون‌های سایت – همبستگی، t، ANOVA، رگرسیون – گونه‌هایی از یک مدل‌اند، مدل خطی، و از این رو مفروضه‌های یکسان و دشمنان یکسانی دارند. Field (2024، فصل 6) این را "هیولای سوگیری" دوسر می‌نامد: داده‌های پرت و تخطی از مفروضه‌ها. این صفحه توضیح می‌دهد که هر سر به چه چیزی آسیب می‌زند – زیرا همه چیز به یک اندازه آسیب نمی‌بیند: خود برآورد اغلب درست است، و آنچه می‌شکند خطای استاندارد و همراه با آن فاصله اطمینان و آزمون است – مفروضه‌ها را به ترتیب اهمیت می‌چیند (خطی بودن نخست، نرمال بودن آخر)، نشان می‌دهد مشکلات چگونه در نمودارها و اعداد شناسایی می‌شوند، و چه باید کرد: روش‌های استوار، نه حذف و نه تبدیل پیامد.

سوگیری

شکافی نظام‌مند میان آنچه برآورد کرده‌ایم و مقدار واقعی. ممکن است به برآورد، به فاصله اطمینان (که 95% را پوشش نمی‌دهد) یا به نرخ‌های خطای آزمون آسیب بزند.

داده پرت

نمره‌ای که با بقیه داده‌ها بسیار متفاوت است. برآورد را اندکی سوگیر می‌کند، و خطای استاندارد را بسیار – زیرا خطاها به توان دو می‌رسند. در داده‌ها باقی می‌ماند، مگر آنکه ثابت شود از جامعه آماری نیست.

مفروضه

شرطی که تضمین می‌کند روش همان کاری را می‌کند که باید. خطی بودن – مفروضه‌ای که بالاتر از آن چیزی نیست؛ برابری واریانس و استقلال خطاها؛ و در پایان – نرمال بودن، نرمال بودن خطاها، نه داده‌ها.

استواری

روش‌های برآوردی که از داده‌های پرت و تخطی‌ها تأثیر نمی‌پذیرند: میانگین پیراسته، خطاهای استاندارد سازگار با ناهمسانی واریانس، bootstrap. بر حذف و بر تبدیل ارجح‌اند.

1. سوگیری چیست – و دقیقاً چه چیزی آسیب می‌بیند

داور "سوگیر" کسی است که جمع‌بندی‌اش با حقیقت عینی مطابقت ندارد؛ در آمار هم چنین است – پارامترهایی که برآورد می‌کنیم ممکن است با مقادیر واقعی‌شان متفاوت باشند، و آزمون‌ها ممکن است خطا کنند (Field, 2024, Section 6.3). آنچه برای این صفحه مهم است این است که "سوگیری" یک چیز واحد نیست. Field آن را بر اساس آنچه از مدل می‌خواهیم تجزیه می‌کند: اگر می‌خواهیم برآورد کنیم – برآوردگر نااریب برآوردگری است که به‌طور میانگین، در میان نمونه‌ها، به مقدار جامعه آماری می‌رسد؛ برآوردگر سازگار با بزرگ‌تر شدن نمونه به آن همگرا می‌شود؛ برآوردگر کارا کمترین واریانس را در میان گزینه‌ها دارد. اگر فاصله اطمینان می‌خواهیم – آنچه بررسی می‌شود پوشش است: فاصله 95% باید مقدار جامعه آماری را در 95% نمونه‌ها در بر بگیرد، و اگر نه – سوگیر است. و اگر می‌خواهیم فرضیه‌ای را بیازماییم – آزمون نااریب نرخ خطای نوع I تعیین‌شده (5%) و نرخ خطای نوع II (20%) را حفظ می‌کند. این تمایز کلید همه چیزهایی است که در ادامه می‌آید: بیشتر تخطی‌ها برآورد را سالم می‌گذارند و به خطای استاندارد آسیب می‌زنند – و همراه با آن به فاصله اطمینان و آزمون.

2. داده‌های پرت – سر نخست

داده پرت نمره‌ای است که با بقیه داده‌ها بسیار متفاوت است. مثال Field (2024، بخش 6.4) هفت نقد نخست بر ویراست اول کتابش در آمازون است: 2، 5، 4، 5، 5، 5، 5. میانگین 4.43؛ بدون نقد نخست – 4.83. یک نمره میانگین را 0.4 پایین کشید، و خریداری تازه نتیجه می‌گرفت که کتاب بدتر از آن است که جامعه آماری فکر می‌کند. در مدلی با یک پیش‌بین – کنسرتی بسیار پرسروصدا با وزوز گوش نسبتاً کوتاه – داده پرت خط رگرسیون را تخت کرد: شیب از 9.94 به 6.01 پایین آمد. اما نکته مهم Field این است که داده‌های پرت به خطا بسیار بیشتر از برآورد آسیب می‌زنند: در مثال پنج مدرس (1، 3، 4، 3، 2)، جایگزینی 4 با 10 میانگین را از 2.6 به 3.8 جابه‌جا می‌کند، اما مجموع مجذورات خطا را از 5.2 به 50.8 – که 38.44 از آن سهم داده پرت است. دلیل: خطاها به توان دو می‌رسند، و انحرافی بزرگ در خودش ضرب می‌شود. و مجموع مجذورات همان چیزی است که انحراف معیار، خطای استاندارد، فاصله اطمینان و آماره آزمون از آن محاسبه می‌شوند. یک داده پرت – فاصله اطمینان پهن و آزمون ضعیف.

با این حال، Field قاطع است: داده‌های پرت در داده‌ها باقی می‌مانند، مگر آنکه شاهدی محکم وجود داشته باشد که از جامعه آماری مورد نظر ما نیستند. این واقعیت که نمره‌ای پرت است دلیلی برای حذف آن نیست. پرسشی که باید پرسید این است که چرا: اگر کنسرت پرسروصدا با وزوزی کوتاه به پایان رسید، و معلوم شد که این فرد تنها کسی بوده که گوش‌گیر گذاشته – این هم توضیح می‌دهد و هم او را به جامعه آماری دیگری منتقل می‌کند، و می‌توان او را کنار گذاشت، به شرط آنکه گزارش شود که کنار گذاشته شده و چرا؛ و بهتر است معیارهای کنار گذاشتن از پیش، در ثبت پیشاپیش، تعیین شوند. و اگر چنین توضیحی نیست – پیش‌فرض این است که داده پرت بازتاب تغییرپذیری طبیعی است، و می‌خواهیم آن را نگه داریم. Field هشداری درباره "داده‌های پرت گریزان" می‌افزاید (کادر 6.5): نه نمره‌ای افراطی و منفرد، بلکه زیرجمعیتی کوچک با دنباله‌های سنگین که درون توزیعی پنهان شده که زنگوله‌ای کامل به نظر می‌رسد – توزیع نرمال آمیخته (Tukey, 1960, as cited in Field). این توزیع برآورد واریانس را متورم و توان آزمون‌ها را کم می‌کند، و بسیار رایج است.

3. مفروضه‌ها – به ترتیب اهمیت، نه به ترتیبی که تدریس می‌شوند

مفروضه شرطی است که تضمین می‌کند آنچه می‌کوشیم انجام دهیم درست کار کند (Field, 2024, Section 6.5). رویه‌های آماری معمولاً به‌عنوان آزمون‌هایی جداگانه با مفروضه‌های خاص خود معرفی می‌شوند، اما بیشترشان گونه‌هایی از مدل خطی‌اند که با کمترین مجذورات برآورد می‌شود، و از این رو مجموعه مفروضه‌های مشترکی دارند. Field آن را به ترتیب اهمیت می‌چیند: (1) خطی بودن و جمع‌پذیری؛ (2) امید ریاضی خطاها صفر است – تقریباً همیشه برقرار است؛ (3) "خطاهای کروی" – برابری واریانس (همسانی واریانس) و استقلال؛ (4) نرمال بودن "چیزی". و جدول 6.1 او می‌افزاید که هر مفروضه چه چیزی می‌خرد: خطی بودن برای همه چیز لازم است؛ برای برآورد نااریب کافی است خطاها به‌طور میانگین صفر باشند؛ برای بهترین برآورد – خطاهای کروی نیز؛ برای خطای استاندارد نااریب – خطاهای کروی و نیز نرمال بودن خطاها یا نمونه بزرگ. فاصله اطمینان و آزمون، مفروضه‌های خطای استاندارد را به ارث می‌برند.

خطی بودن و جمع‌پذیری. این فرض که پیامد با پیش‌بین‌ها در یک خط راست مرتبط است، و اینکه چند پیش‌بین به‌صورت جمعی عمل می‌کنند. Field (2024، بخش 6.6) آن را بالاتر از همه قرار می‌دهد: اگر نادرست باشد، مدل جهان را نادرست توصیف می‌کند – حتی وقتی همه مفروضه‌های دیگر برقرارند – و تفسیر ضرایب یا نگرانی درباره معناداری بی‌فایده است. تمثیل او: گربه را سگ نامیدن. می‌توان کوشید آن را در لانه سگ گذاشت یا برایش توپ انداخت، اما گربه باقی خواهد ماند. رابطه‌ای منحنی که با خط راست توصیف شود مدلی نادرست است، نه مدلی با یک مشکل.

همسانی واریانس (برابری واریانس). پراکندگی خطاها پیرامون مدل در همه مقادیر پیش‌بین یکسان است – ابر داده‌ها موازی با خط، و نه گشادشونده مانند قیف (Field, 2024, Section 6.7.1). وقتی این مفروضه نقض می‌شود، برآوردهای ضرایب نااریب باقی می‌مانند – اما خطاهای استاندارد، فاصله‌های اطمینان و آزمون‌ها دقیق نیستند، و فاصله‌های اطمینان ممکن است "به‌شدت نادقیق" باشند (Wilcox, 2010, as cited in Field, Section 6.7.2). یعنی: اگر فقط برآورد می‌کنیم – چندان بد نیست؛ اگر معناداری را می‌آزماییم یا فاصله اطمینان گزارش می‌کنیم – مهم است، و راه‌حلی وجود دارد (بخش 6). در مقایسه گروه‌ها این مفروضه همگنی واریانس‌ها نامیده می‌شود.

استقلال خطاها. خطا در پیش‌بینی یک آزمودنی با خطای دیگری مرتبط نیست. مثال Field (2024، بخش 6.7.3): پل و جولی که با هم مشورت می‌کنند کدام تصاویر را دیده‌اند – پاسخ‌ها، و بنابراین خطاها، مستقل نیستند. این مفروضه همیشه نقض می‌شود وقتی داده‌ها را از همان موجودیت‌ها در طول زمان گردآوری می‌کنیم – اندازه‌گیری‌های مکرر، پژوهش طولی – زیرا پاسخ یک فرد در یک زمان با پاسخ او در زمانی دیگر همبسته است؛ و از نظر این سایت، همچنین وقتی آزمودنی‌ها در گروه‌هایی آشیانه‌ای‌اند که بر آن‌ها اثر می‌گذارند (خانواده‌ها، سکونتگاه‌ها، کلاس‌ها). پیامدها مانند همسانی واریانس است – خطای استاندارد نادرست – و راه‌حل مدلی است که وابستگی را به حساب آورد، نه کمترین مجذورات معمولی.

جدول 1. مفروضه‌های مدل خطی – وقتی نقض می‌شوند چه چیزی آسیب می‌بیند، چگونه دیده می‌شوند، و چه باید کرد

مفروضهوقتی نقض می‌شود چه چیزی آسیب می‌بیندچگونه دیده می‌شودچه باید کرد
خطی بودن و جمع‌پذیریهمه چیز – مدل نادرست استکمان در نمودار باقیمانده‌ها در برابر مقادیر پیش‌بینی‌شده؛ انحنا در نمودار پراکنشمدلی دیگر: تبدیل پیش‌بین ("صاف کردن")، جمله درجه دوم، تعامل
امید ریاضی خطاها صفربرآورد–تقریباً همیشه برقرار است؛ کاری لازم نیست
همسانی واریانسخطای استاندارد، فاصله اطمینان، آزمون (برآورد نااریب است اما کارا نیست)قیف در نمودار باقیمانده‌ها؛ واریانس‌های بسیار متفاوت میان گروه‌هاخطاهای استاندارد سازگار با ناهمسانی واریانس (HC3/HC4)، bootstrap؛ در مقایسه گروه‌ها – Welch
استقلال خطاهاخطای استاندارد، فاصله اطمینان، آزموناز طرح پژوهش: اندازه‌گیری‌های مکرر، طولی، آزمودنی‌ها در گروه‌هامدلی که وابستگی را به حساب آورد: اندازه‌گیری‌های مکرر، مدل‌های چندسطحی
نرمال بودن (خطاها)در نمونه کوچک – خطای استاندارد و آنچه از آن مشتق می‌شود؛ در نمونه بزرگ – تقریباً هیچبافت‌نگار و Q-Q باقیمانده‌ها؛ چولگی و کشیدگی – نه آزمون‌های معنادارینمونه بزرگ (قضیه حد مرکزی)؛ bootstrap؛ روش‌های استوار

یادداشت. ترتیب – ترتیب اهمیت نزد Field (2024، بخش 6.5، جدول 6.1). "چه چیزی آسیب می‌بیند" – بر اساس آنچه از مدل می‌خواهیم: برآورد، یا خطای استاندارد و آنچه بر آن بنا شده است (فاصله اطمینان و آزمون). "چه باید کرد" – بخش 6 در ادامه.

4. نرمال بودن – کم‌اهمیت‌ترین مفروضه، و بدفهمیده‌ترین

Field (2024، بخش 6.8) با این شروع می‌کند که این مفروضه شاید بدفهمیده‌ترین چیز در آمار باشد، و بخشی از تقصیر را به گردن می‌گیرد. اشتباه رایج: گمان اینکه "مفروضه نرمال بودن" می‌گوید داده‌ها باید توزیع نرمال داشته باشند. نه. آنچه باید نرمال باشد خطاهای مدل است، و به‌ویژه – توزیع نمونه‌گیری برآورد: برای دانستن خطای استاندارد از فرمولی استفاده می‌شود که وقتی برآوردها در میان نمونه‌ها توزیع نرمال دارند درست است؛ اگر نه – خطای استاندارد، فاصله اطمینان و آزمون دقیق نیستند. سردرگمی از اینجا ناشی می‌شود که اگر پیامد نرمال باشد، خطاها نیز چنین خواهند بود، و از این رو پیامد به‌عنوان جانشین ناتنیِ آن چیزی به کار می‌رود که مهم است.

و سه دلیلی که به خاطر آن‌ها این کم‌اهمیت‌ترین مفروضه است (Field, 2024, Section 6.8.3): برآورد به نرمال بودن نیاز ندارد – کمترین مجذورات برآوردی نااریب می‌دهد که خطا را کمینه می‌کند حتی وقتی خطاها نرمال نیستند؛ نرمال بودن فقط آن را به "بهترین" تبدیل می‌کند. در نمونه بزرگ نرمال بودن اهمیتی ندارد – قضیه حد مرکزی تضمین می‌کند که توزیع نمونه‌گیری صرف‌نظر از شکل جامعه آماری نرمال خواهد بود. و در نمونه کوچک باقیمانده‌های مدل بررسی می‌شوند: اگر نرمال باشند، می‌توان ادامه داد. "بزرگ" چقدر بزرگ است؟ مقدار پذیرفته‌شده 30 است، اما پاسخ ساده‌ای وجود ندارد (کادر 6.4): در توزیع‌هایی با دنباله‌های سبک حتی 20 کافی است؛ با دنباله‌های سنگین – که در آن‌ها داده‌های پرت رایج‌اند – شاید 100 و حتی 160 لازم باشد، و با چولگی و کشیدگی زیاد – باز هم بیشتر. و از اینجا نتیجه عملی Field: در نمونه بزرگ، داده‌های پرت نگرانی فوری‌تری از نرمال بودن‌اند.

5. چگونه بررسی کنیم – نمودارها پیش از اعداد، اعداد پیش از آزمون‌ها

داده‌های پرت در داده‌ها دیده می‌شوند؛ تخطی از مفروضه‌ها – در باقیمانده‌های مدل، و در تقریب نخست در خود پیامد نیز (Field, 2024, Section 6.9). مثال Field: نمره‌های بهداشت 810 شرکت‌کننده در یک جشنواره متال، در مقیاس 0 تا 4، در سه روز. نمودار پراکنش، بافت‌نگار و نمودار جعبه‌ای همگی یک مورد را نشان می‌دهند که از همه دور است – نمره 20.02 در روز نخست، در مقیاسی که به 4 ختم می‌شود. به پرونده اصلی بازمی‌گردیم: 2.02، خطای تایپی. این درس نخست است: داده پرت پیش از هر چیز پرسشی درباره خود داده است، و تنها پس از آن پرسشی آماری. در سایت: از SPSS به اکسل درباره مقادیر خارج از دامنه‌ای که کاربرگ راهنمای کدها تعریف می‌کند هشدار می‌دهد، و ماشین‌حساب فراوانی‌ها و آمار توصیفی حداقل، حداکثر و نموداری برای هر متغیر نشان می‌دهد – کار از آنجا آغاز می‌شود.

نمره‌های استاندارد (کادر 6.6): به نمره‌های z تبدیل می‌کنیم و با آنچه در توزیع نرمال انتظار می‌رود مقایسه می‌کنیم – حدود 5% بالای 1.96 در قدر مطلق، 1% بالای 2.58، و تقریباً هیچ‌کس بالای 3.29. در مثال Field: 6.8% بالای 1.96 (در برابر 5%)، 2.3% بالای 2.58 (در برابر 1%)، 0.8% بالای 3.29 – "تقریباً همان چیزی که انتظار می‌رود". نمودار جعبه‌ای داده‌های پرت و موارد افراطی را با شماره سطر علامت می‌زند. نمودار Q-Q داده‌ها را با خط قطری توزیع نرمال مقایسه می‌کند – نقطه‌ها روی خط: نرمال؛ خمیدگی رو به بالا: چولگی مثبت (بخش 6.9.4-6.9.5). همه این‌ها را – نمره‌های z، بافت‌نگار، Q-Q، چولگی و کشیدگی با خطاهای استانداردشان، و نیز دو آزمونی که در بند بعد می‌آیند، با وزنی بر اساس حجم نمونه – ماشین‌حساب آزمون نرمال بودن تولید می‌کند، برای کل نمونه یا به تفکیک گروه. چولگی و کشیدگی: SPSS مقادیری می‌دهد که در آن‌ها صفر یعنی نرمال؛ چولگی مثبت میانگین را بالاتر از میانه می‌کشد، و از این رو میانگین بزرگ‌تر از میانه نشانه چولگی مثبت است؛ کشیدگی مثبت – دنباله‌های سنگین. در مثال: روز 1 متقارن (چولگی تقریباً صفر)، روزهای 2-3 با چولگی حدود 1 – افراد بیشتری با نمره‌های پایین، "هرچه جشنواره پیش‌تر رفت، مردم بدبوتر شدند".

و آزمون‌های معناداری برای نرمال بودن – نه. Field (کادر 6.7) کولموگروف-اسمیرنوف، شاپیرو-ویلک و لوین را پوشش می‌دهد "بیشتر به این دلیل که مردم انتظار دارند آن‌ها را در کتاب‌های مقدماتی ببینند، و نه به این دلیل که ایده خوبی‌اند": در نمونه بزرگ حتی برای انحراف‌های کوچک و بی‌اهمیت معنادارند – دقیقاً وقتی که نرمال بودن دیگر اهمیتی ندارد؛ در نمونه کوچک توان کشف تخطی‌ها را ندارند – دقیقاً وقتی که اهمیت دارد. در مثال، K-S روی روز 1 (N = 810) تقریباً معنادار است (p = .097) هرچند بافت‌نگار به‌طرز شگفت‌انگیزی نرمال است. توصیه: در نمونه بزرگ – از آن‌ها استفاده نکنید، و اصلاً نگران نرمال بودن نباشید؛ در نمونه کوچک – توجه کنید که آیا معنادارند، و اگر نیستند خیالتان راحت نشود. و برای همه نمونه‌ها: نمودار بکشید. خطی بودن و همسانی واریانس با هم در یک نمودار بررسی می‌شوند – باقیمانده‌های استانداردشده در برابر مقادیر پیش‌بینی‌شده (نمودار 1): ابر یکنواخت – درست؛ قیف – ناهمسانی واریانس؛ کمان – غیرخطی. با یک پیش‌بین واحد، نمودار پراکنش معمولی تقریب معقولی است.

نمودار 1. باقیمانده‌های استانداردشده در برابر مقادیر پیش‌بینی‌شده – چهار الگو

محور افقی – مقداری که مدل پیش‌بینی می‌کند (استانداردشده)؛ محور عمودی – باقیمانده؛ خط‌چین – باقیمانده صفر. داده‌های شبیه‌سازی‌شده، برای نمایش شکل

الف. درست – ابر یکنواخت بدون الگو ب. قیف – ناهمسانی واریانس ج. کمان – رابطه خطی نیست د. کمان گشادشونده – هر دو

یادداشت. به سبک شکل 6.27 نزد Field (2024، بخش 6.9.6): اگر خطی بودن و همسانی واریانس برقرار باشند، میان آنچه مدل پیش‌بینی می‌کند و خطاهایش رابطه نظام‌مندی نیست. قیف – واریانس با مقدار پیش‌بینی‌شده افزایش می‌یابد؛ انحنا – مدل خطی نادرست است. داده‌ها شبیه‌سازی‌شده‌اند (بذر ثابت)، نه تجربی.

و مقادیر گمشده، در این میان (Field, 2024، نکته 6.1): حذف لیستی آزمودنی را اگر یک مقدار از او گمشده باشد از کل تحلیل بیرون می‌گذارد؛ حذف زوجی او را فقط از تحلیل‌هایی بیرون می‌گذارد که مقدار گمشده به آن‌ها مربوط است – ماتریس همبستگی در سایت چنین عمل می‌کند، و N را برای هر جفت گزارش می‌کند. جایگزینی گمشده با میانگین متغیر – که SPSS گاهی پیشنهاد می‌کند – انحراف معیار و خطای استاندارد را کوچک می‌کند، زیرا هر مقدار جایگزین‌شده هیچ فاصله‌ای از میانگین ندارد، و با گمشده‌های زیاد نتایجی "معنادار" تولید می‌کند که محصول جایگزینی‌اند. به تفصیل – در صفحه مقادیر گمشده.

6. چه باید کرد – استواری به جای حذف و تبدیل

راه تاریخی آزمون‌های ناپارامتری بود، که نمره‌ها را به رتبه تبدیل می‌کنند – و اطلاعات را از دست می‌دهند – و دامنه محدودی از طرح‌ها را پوشش می‌دهند (Field, 2024, Section 6.10). به گفته Field، بهترین راه امروز برآورد پارامترها، خطاهای استاندارد، فاصله‌های اطمینان و p با روش‌هایی است که در حضور داده‌های پرت و تخطی‌ها سوگیر نیستند – روش‌های استوار (robust methods):

پیرایش (trimming): درصد ثابتی از هر انتها حذف می‌شود – 5%، 10%، 20% – و میانگین پیراسته محاسبه می‌شود؛ در سر دیگر طیف میانه قرار دارد، که پیرایش همه چیز جز وسط است (بخش 6.10.5). پیرایش بر اساس انحراف معیار ("حذف هر چیزی بالاتر از 2.5 انحراف معیار") ایده بدی است (کادر 6.8): خود میانگین و انحراف معیار به دست داده‌های پرت متورم شده‌اند، و از این رو داده‌های پرت معیاری را که قرار است با آن‌ها برخورد کند سوگیر می‌کنند – در مثال Field این قاعده هیچ نمره‌ای را در مقیاس 0-10 حذف نکرد، زیرا آستانه فراتر از مرزهای مقیاس افتاد. وینزوری‌سازی: به جای حذف، نمره‌هایی که فراتر از آستانه‌اند با مقدار آستانه جایگزین می‌شوند (بخش 6.10.6). شبیه تقلب است؟ Field: اگر نمره نماینده نمونه نیست و مدل را سوگیر می‌کند، بهتر از گزارش مدلی سوگیر است. تقلب آن است که به مقادیر افراطی وقتی به سود فرضیه سوگیری ایجاد می‌کنند رسیدگی نکنیم، یا نمره‌ها را به‌طور نظام‌مند به دلیلی جز کاهش سوگیری تغییر دهیم. خطاهای استاندارد سازگار با ناهمسانی واریانس (HC3 یا HC4): خطای استاندارد از باقیمانده‌ها برآورد می‌شود بی‌آنکه برابری واریانس فرض شود (بخش 6.10.7). Bootstrap: با نمونه به‌عنوان جامعه آماری رفتار می‌شود، 1,000-2,000 بار با جایگذاری از آن نمونه‌گیری می‌شود، برآورد در هر نمونه محاسبه می‌شود، و از توزیع برآوردها فاصله اطمینان (صدکی) و خطای استاندارد به دست می‌آید – بی‌آنکه درباره شکل توزیع نمونه‌گیری چیزی فرض شود (Efron & Tibshirani, 1993; Field, 2024, Section 6.10.8). در SPSS در بیشتر رویه‌ها دکمه‌ای برای این کار هست؛ Field یادآوری می‌کند که نتایج در هر اجرا اندکی متفاوت‌اند زیرا نمونه‌گیری تصادفی است – و در سایت، در مقابل، bootstrap با بذر ثابت اجرا می‌شود، به‌طوری که همان ورودی همیشه همان فاصله را می‌دهد (ببینید پایایی بین کدگذاران).

و پیامد را تبدیل نکنید (Field, 2024، بخش 6.10.3 – "این کار را نکنید"). لگاریتم یا ریشه برای "نرمال کردن" متغیر پیامد: نرمال بودن در نمونه بزرگ اهمیتی ندارد، برای ناهمسانی واریانس راه‌حل‌های استوار وجود دارد، و تبدیل مشکلات تازه‌ای ایجاد می‌کند. Field از Glass و دیگران (1972) نقل می‌کند: سود تبدیل‌های نرمال‌ساز "اندک است، و به‌ندرت به زحمتش می‌ارزند"، و چهار نکته Games (1984) را: در نمونه‌ای بالای حدود 30 توزیع نمونه‌گیری به هر حال نرمال است؛ تبدیل فرضیه را تغییر می‌دهد – لگاریتم میانگین‌های هندسی را مقایسه می‌کند، نه حسابی را، و سازه‌ای متفاوت از آنچه اندازه‌گیری شده می‌سنجد؛ تصمیم درباره نرمال بودن در نمونه کوچک دشوار است؛ و تبدیل "نادرست" ممکن است بیش از تحلیل داده‌های خام زیان برساند. تنها استثنا: "صاف کردن" یک رابطه منحنی – تبدیل پیش‌بین تا مدل خطی رابطه را درست توصیف کند – و این همان مفروضه خطی بودن است، مهم‌ترین همه.

جدول 2. مشکل، راه‌حل پیشنهادی، و آنچه نباید کرد

مشکلچه باید کردچه نباید کرد
مقدار خارج از دامنه مقیاسدر پرونده اصلی بررسی و اصلاح کنید؛ مستند کنیدحذف بدون بررسی
داده پرت واقعی، از جامعه آمارینگه دارید؛ میانگین پیراسته / وینزوری‌سازی / bootstrap؛ با آن و بدون آن گزارش کنیدحذف چون "نتیجه را خراب می‌کند"؛ پیرایش بر اساس انحراف معیار
داده پرتی که از جامعه آماری نیستبر اساس معیاری که از پیش تعیین شده کنار بگذارید، و گزارش کنید چند مورد و چراتصمیم‌گیری پس از دیدن p
رابطه منحنیمدلی دیگر: تبدیل پیش‌بین، جمله درجه دومنادیده گرفتن و تفسیر ضریب خطی
قیف (ناهمسانی واریانس)HC3/HC4؛ bootstrap؛ Welch در مقایسه گروه‌هاتبدیل پیامد
باقیمانده‌های غیرنرمال، نمونه بزرگهیچ – قضیه حد مرکزیآزمون K-S، و سپس "اصلاح" چیزی که خراب نیست
باقیمانده‌های غیرنرمال، نمونه کوچکbootstrap؛ روش‌های استوار؛ گزارش محدودیتتکیه بر آزمون نرمال بودنِ غیرمعنادار
خطاهای وابسته (اندازه‌گیری‌های مکرر، گروه‌ها)مدل اندازه‌گیری‌های مکرر / چندسطحیt نمونه‌های مستقل روی همان افراد

یادداشت. بر اساس Field (2024، بخش‌های 6.4، 6.9-6.11). "Welch" – گونه‌ای از t و ANOVA که برابری واریانس‌ها را فرض نمی‌کند؛ ماشین‌حساب ANOVA در سایت آن را در کنار گونه معمولی نشان می‌دهد. مدل‌های استوار کامل – در R (بسته WRS2؛ Wilcox, 2017، به نقل از Field، بخش 6.11)؛ از این رو بخش‌های R در صفحات سایت.

7. چگونه گزارش کنیم

برخورد با داده‌های پرت و مفروضه‌ها بخشی از بخش روش یا آغاز نتایج است، و به‌عنوان تصمیم گزارش می‌شود، نه به‌عنوان توجیه: کدام بررسی‌ها انجام شد (نمودارها، نمره‌های استاندارد، چولگی و کشیدگی – نه فقط "داده‌ها توزیع نرمال داشتند")؛ چند مورد کنار گذاشته شد، بر اساس کدام معیار، آیا از پیش تعیین شده بود، و نتیجه با آن‌ها و بدون آن‌ها چیست؛ کدام روش استوار به کار رفت – "فاصله‌های اطمینان با bootstrap صدکی، 2,000 نمونه، محاسبه شدند" یا "خطاهای استاندارد HC3" – و چرا؛ و اگر اندازه‌گیری‌ها مکررند – کدام مدل وابستگی را به حساب آورد. نتیجه‌ای که با کنار گذاشتن یک مورد به‌طور اساسی تغییر کرد خود یک یافته است، و گزارش می‌شود. Field یادآوری می‌کند (پانوشت بخش 6.10.6) که داده‌های پرت به‌خودی‌خود جالب‌اند: اگر نماینده جامعه آماری نیستند، این پرسش که چرا متفاوت‌اند می‌تواند موضوع پژوهش بعدی باشد.

اشتباهات رایج

"داده‌ها باید توزیع نرمال داشته باشند." نه داده‌ها – خطاها، و به‌ویژه توزیع نمونه‌گیری؛ و در نمونه بزرگ حتی این هم نه. پیش‌بین دووجهیِ "غیرنرمال" اصلاً مشکلی نیست.

K-S روی 800 آزمودنی. حتی روی توزیعی تقریباً کامل معنادار خواهد بود، و شما را به اصلاح چیزی می‌فرستد که خراب نیست. در نمونه بزرگ – نمودارها و بس.

حذف داده پرت چون "خراب می‌کند". داده پرت باقی می‌ماند مگر آنکه ثابت شود از جامعه آماری نیست. شاهد، یک علت است (گوش‌گیر، خطای تایپی)، نه فاصله از میانگین.

پیرایش بر اساس انحراف معیار. معیار از میانگین و انحراف معیار محاسبه می‌شود – که هر دو به دست همان داده‌های پرتی متورم شده‌اند که می‌خواهیم با آن‌ها برخورد کنیم. بر اساس درصد پیرایش کنید.

لگاریتم روی پیامد "برای نرمال کردن". فرضیه و سازه اندازه‌گیری‌شده را تغییر می‌دهد، و معمولاً به زحمتش نمی‌ارزد. تبدیل برای صاف کردن پیش‌بین است.

بررسی نرمال بودن و فراموش کردن خطی بودن. مفروضه‌ای که بالاتر از آن چیزی نیست. کمان در نمودار باقیمانده‌ها – مدل نادرست است، و هیچ اصلاح نرمال بودنی کمکی نخواهد کرد.

جایگزینی گمشده‌ها با میانگین. خطای استاندارد را کوچک می‌کند و معناداری ساختگی تولید می‌کند. حذف زوجی، یا روش‌های جانهی مبتنی بر مدل – در صفحه مقادیر گمشده.

t نمونه‌های مستقل روی اندازه‌گیری‌های مکرر. همان افراد دو بار – خطاها وابسته‌اند، خطای استاندارد نادرست است. آزمون نمونه‌های زوجی یا مدل اندازه‌گیری‌های مکرر.

چک‌لیست – پیش از اجرای آزمون

سؤالچرا این مهم است
آیا هر متغیر را پیش از هر آزمونی در نمودار دیده‌اید – بافت‌نگار، جعبه‌ای، پراکنش؟داده‌های پرت و انحنا دیده می‌شوند؛ آزمون‌ها پنهان می‌کنند (بخش 5).
آیا مقادیری خارج از دامنه مقیاس وجود دارد؟ آیا با منبع مقایسه شده‌اند؟20.02 در مقیاس 0-4 خطای تایپی است، نه داده پرت (بخش 5).
برای هر داده پرت واقعی – آیا دلیلی برای کنار گذاشتن هست؟ از پیش تعیین شده؟ گزارش شده؟پیش‌فرض: نگه داشتن (بخش 2).
آیا رابطه خطی است؟ (نمودار پراکنش / باقیمانده‌ها)مفروضه‌ای که بالاتر از آن چیزی نیست (بخش 3).
آیا قیفی هست؟ واریانس‌های بسیار متفاوت میان گروه‌ها؟خطاهای استاندارد استوار یا Welch، نه تبدیل (بخش‌های 3، 6).
آیا آزمودنی‌ها مستقل‌اند – یا همان افراد / همان گروه‌ها؟وابستگی به مدلی دیگر نیاز دارد (بخش 3).
حجم نمونه چقدر است؟ اگر بزرگ است – آیا از نگرانی درباره نرمال بودن دست کشیده‌اید؟قضیه حد مرکزی (بخش 4).
اگر کوچک است – آیا باقیمانده‌ها را در نمودار Q-Q بررسی کرده‌اید، و نه فقط با آزمون؟آزمون دقیقاً وقتی به آن نیاز است توان ندارد (بخش 5).
آیا تصمیم‌های مربوط به گمشده‌ها – لیستی / زوجی – مستند شده‌اند؟ جایگزینی با میانگین نشده است؟N میان تحلیل‌ها تغییر می‌کند، و گزارش می‌شود (بخش 5).

منابع

Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall. https://doi.org/10.1007/978-1-4899-4541-9

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.