نمونه و نمونه‌گیری

جامعه آماری، نمونه و خطای نمونه‌گیری؛ چه چیزی نمونه را "تصادفی" می‌کند و وقتی چنین نیست چه پیش می‌آید؛ روش‌های نمونه‌گیری – تصادفی، نظام‌مند، طبقه‌ای، خوشه‌ای، گلوله برفی، مرتبط، در دسترس – و اینکه هر یک امکان استنباط چه چیزی را می‌دهد؛ خطای استاندارد و قضیه حد مرکزی؛ چند آزمودنی لازم است – و در عمل چگونه جذب می‌شوند: نرخ پاسخ، اطلاع‌رسانی پیشاپیش، یادآوری‌ها، مشوق‌ها. بخش الف – طراحی پژوهش.

راهنما

در این صفحه

هر نتیجه‌گیری آماری از نمونه – افراد، متن‌ها یا سکونتگاه‌هایی که اندازه‌گیری شده‌اند – به جامعه آماری‌ای منتقل می‌شود که واقعاً برایمان اهمیت دارد. این گام به دو پرسش بستگی دارد که پیش از نخستین پرسشنامه تعیین می‌شوند: نمونه به چه کسانی ارجاع دارد، یعنی چگونه انتخاب شده، و چقدر بزرگ است. این صفحه جامعه آماری، نمونه، پارامتر، آماره و خطای نمونه‌گیری را تعریف می‌کند (Gravetter & Wallnau, 2017)؛ توضیح می‌دهد که "نمونه‌گیری تصادفی" دقیقاً چه چیزی را لازم دارد و چرا فهرست اعضای باشگاه قایق‌رانی نمونه‌ای از شهر نیست؛ روش‌های نمونه‌گیری احتمالی و غیراحتمالی را بر اساس Krippendorff (2019، فصل 6) مرور می‌کند – که درباره متن‌ها نوشته شده، اما برای افراد و اسناد نیز معتبر است؛ خطای استاندارد و قضیه حد مرکزی را عرضه می‌کند – دلیل اینکه نمونه‌ای چندصدنفری برای جامعه‌ای چندمیلیونی کافی است؛ و با پرسش حجم نمونه، که پرسشی درباره توان آماری است (ببینید سؤال پژوهش و فرضیه‌ها)، و با کسانی که پاسخ ندادند (ببینید مقادیر گمشده) به پایان می‌رسد. در نسخه 3 فصل جذب Chandler (2023) از راهنمای کمبریج برای روش‌های پژوهش در علوم اجتماعی و رفتاری (Nichols & Edlund, 2023) افزوده شد: آنچه میان نمونه‌ای که برنامه‌ریزی کرده‌اید و نمونه‌ای که به دست خواهید آورد قرار دارد – چه زمانی نمونه غیراحتمالی کافی است، چند نفر باید دعوت شوند تا به n برسیم، و شواهد درباره اطلاع‌رسانی پیشاپیش، یادآوری‌ها و مشوق‌ها چه می‌گویند.

جامعه آماری

همه افراد یا واحدهایی که مورد علاقه پژوهش‌اند – افراد، سکونتگاه‌ها، مقاله‌های خبری. پژوهشگر آن را تعریف می‌کند، و نتیجه‌گیری تنها به آن ارجاع دارد.

نمونه

گروهی که از جامعه آماری انتخاب شده تا نماینده آن باشد. همیشه بر اساس جامعه‌ای که از آن انتخاب شده – و بر اساس چگونگی انتخابش – شناخته می‌شود.

خطای نمونه‌گیری

فاصله طبیعی میان آماره یک نمونه و پارامتر جامعه آماری. دو نمونه از یک جامعه اعداد متفاوتی خواهند داد – بی‌هیچ "دلیلی".

خطای استاندارد

انحراف معیار میانگین‌های نمونه‌ها: یک میانگین انتظار می‌رود چقدر از μ فاصله بگیرد. به نسبت جذر حجم نمونه کوچک می‌شود – σ/√n.

1. جامعه آماری، نمونه، پارامتر، آماره – و خطای نمونه‌گیری

پژوهش با پرسشی درباره گروهی مشخص آغاز می‌شود. کل گروهی که پژوهشگر می‌خواهد بررسی کند جامعه آماری است – همه افراد یا واحدهایی که مورد علاقه پژوهش‌اند؛ می‌تواند بسیار بزرگ باشد (همه زنان جهان) یا محدود (زنانی که رئیس کشورند)، و لزوماً از انسان‌ها تشکیل نمی‌شود – شرکت‌ها، قطعات در یک کارخانه، مقاله‌های خبری. پژوهشگر است که آن را تعریف می‌کند، و همیشه باید آن را به‌صراحت مشخص کند (Gravetter & Wallnau, 2017, p. 3). از آنجا که جامعه‌ها بزرگ‌تر از آن‌اند که همه اعضایشان اندازه‌گیری شوند، نمونه انتخاب می‌شود – گروهی از جامعه که قرار است نماینده آن باشد، و همیشه بر اساس جامعه‌ای که از آن انتخاب شده شناخته می‌شود. مقداری که جامعه را توصیف می‌کند پارامتر است؛ مقداری که نمونه را توصیف می‌کند آماره است؛ هر پارامتر آماره‌ای متناظر دارد، و بیشتر پژوهش‌ها به رابطه میان آن دو می‌پردازند (همان، ص. 4).

و مسئله بنیادینی که کل آمار استنباطی برای حل آن پدید آمده اینجاست: خطای نمونه‌گیری – فاصله طبیعی و تصادفی میان آماره یک نمونه و پارامتر جامعه آماری (Gravetter & Wallnau, 2017, pp. 5-7). مثال آن‌ها: جامعه‌ای از 1,000 دانشجو، دو نمونه پنج‌نفری – میانگین سن در یک نمونه 19.8، در دیگری 20.4، و در جامعه 21.3. هیچ نمونه‌ای با جامعه یکسان نیست، و نمونه‌ها با یکدیگر نیز متفاوت‌اند – و این‌ها تنها دو نمونه از صدها نمونه ممکن‌اند. یا: کلاسی را با خطی فرضی در میانه اتاق به دو بخش تقسیم می‌کنیم و میانگین سن هر طرف را محاسبه می‌کنیم – تقریباً به‌یقین تفاوتی خواهد بود، و هیچ نیروی مرموزی افراد مسن‌تر را به سمت راست نمی‌کشد؛ تفاوت‌های پیش‌بینی‌ناپذیر و غیرنظام‌مند میان نمونه‌ها همان خطای نمونه‌گیری است. "خطای نمونه‌گیری" در نظرسنجی‌های انتخاباتی – "به اضافه یا منهای 4 درصد" – دقیقاً همین است. همه آزمون‌های آماری یک پرسش واحد می‌پرسند: آیا تفاوتی که دیدیم بزرگ‌تر از آن است که خطای نمونه‌گیری به‌تنهایی پدید می‌آورد؟

2. "نمونه تصادفی" یعنی چه – و چرا به معنای "هر که پیش آمد" نیست

"تصادفی" یک اصطلاح فنی است، نه توصیفی از بی‌برنامگی. نمونه تصادفی ساده لازم دارد که هر فرد در جامعه آماری شانس برابری برای انتخاب شدن داشته باشد؛ فرمول‌های آماری شرط دومی نیز لازم دارند – اینکه احتمال از یک انتخاب به انتخاب بعدی ثابت بماند، یعنی مستقل از کسانی باشد که پیش‌تر انتخاب شده‌اند – و این "نمونه تصادفی مستقل" است که بیشتر کاربردهای آماری آن را فرض می‌کنند (Gravetter & Wallnau, 2017, pp. 161-162). شرط نخست همان چیزی است که تضمین می‌کند در انتخاب سوگیری وجود ندارد: در جامعه‌ای از N فرد، هر فرد احتمال 1/N دارد. و از این رو، در مثال‌های آن‌ها، از فهرست اعضای باشگاه قایق‌رانی نمونه تصادفی ساکنان شهر به دست نمی‌آید، و از درس روان‌شناسی خودتان نمونه‌ای از دانشجویان. برای قرعه‌کشی چارچوب نمونه‌گیری لازم است – فهرستی شماره‌دار از همه افراد جامعه – و سازوکاری برای قرعه‌کشی که به هر فرد احتمال یکسانی بدهد (Krippendorff, 2019, p. 114). و به بیان Krippendorff (ص. 119): نمونه تصادفی اعترافی است به اینکه هیچ تصوری نداریم جامعه چه شکلی دارد و اطلاعات کجاست – و وقتی تصوری داریم، روش‌های دیگر از آن بهره می‌برند.

3. روش‌های نمونه‌گیری – هر یک امکان استنباط چه چیزی را می‌دهد

Krippendorff (2019، فصل 6) میان سه روش احتمالی – که قرار است برای هر واحد شانس یکسانی برای گنجانده شدن تضمین کنند، و این پایه تعمیم آماری است – و روش‌هایی که از دانش درباره ساختار جامعه بهره می‌برند یا از نمایندگی چشم می‌پوشند تمایز می‌گذارد. تصادفی ساده: شماره‌گذاری همه واحدها و قرعه‌کشی (ص. 114). نظام‌مند: هر k-امین واحد در فهرست، از نقطه شروعی که با قرعه تعیین شده؛ برای نشریات و رویدادهای تکرارشونده مناسب است، اما وقتی فاصله ثابت با "ضرباهنگی" طبیعی در فهرست همبسته باشد سوگیری دارد – فصلی بودن، دوره‌ای بودن: هر هفتمین روز در یک روزنامه روزانه همیشه همان روز هفته را می‌دهد (و صفحه علمی سه‌شنبه‌ها یا در کل نمونه ظاهر می‌شود یا در هیچ‌جای آن)، و همه ماه‌های ژوئن میان 1932 تا 1942 در آگهی‌های ازدواج نیویورک تایمز هیچ عروسی‌ای در کنیسه نیافتند – زیرا ژوئن در دوره‌ای قرار می‌گیرد که سنت یهودی در آن ازدواج را ممنوع می‌کند (ص. 115). طبقه‌ای: زیرجامعه‌هایی (طبقه‌هایی) شناسایی می‌شوند که هر واحد تنها به یکی از آن‌ها تعلق دارد، و درون هر طبقه جداگانه به‌صورت تصادفی یا نظام‌مند نمونه‌گیری می‌شود – بدین ترتیب همه طبقه‌ها نمایندگی می‌شوند، به نسبت اندازه نسبی‌شان یا بر اساس هر تعریفی که از پیش تعیین شده باشد؛ مثال: "هفته نوعی" تلویزیون آمریکا، که با قرعه‌کشی یک برنامه از 52 برای هر بازه پخش ساخته شد (ص. 115-116). احتمال متغیر: وقتی واحدها از نظر اطلاعاتی که در بر دارند برابر نیستند – روزنامه‌ها بر اساس شمارگان – به هر یک احتمالی ویژه خودش داده می‌شود (ص. 116). خوشه‌ای: وقتی نمی‌توان واحدها را فهرست کرد اما می‌توان گروه‌هایی از آن‌ها را فهرست کرد – سکونتگاه‌ها، مدرسه‌ها، شماره‌های نشریه – از خوشه‌ها نمونه‌گیری می‌شود و همه واحدهای درون آن‌ها اندازه‌گیری می‌شوند؛ آسان و رایج است، اما احتمال گنجانده شدن یک واحد به اندازه خوشه‌اش بستگی دارد، واریانس بیش از حد برآورد می‌شود و خطای نمونه‌گیری کنترل نمی‌شود – نمونه نماینده خوشه‌هاست، نه لزوماً واحدهای درون آن‌ها (ص. 116-117). گلوله برفی: از واحدهای اولیه آغاز می‌شود و معیاری که واحدهایی می‌افزاید بارها بر آن‌ها اعمال می‌شود – ارجاع‌ها در منابع، پیوندها در یک شبکه اجتماعی – تا رسیدن به مرزی طبیعی؛ نمونه آغازین اهمیت دارد، و وقتی گلوله برفی منفجر می‌شود معیار توقف لازم است (ص. 117-118). مرتبط (هدفمند): همه واحدهایی که به پاسخ کمک می‌کنند انتخاب می‌شوند، در سلسله‌مراتبی مفهومی که جامعه را محدود می‌کند – غیراحتمالی است، و حاصل آن "نمونه معرف" نیست بلکه جامعه واحدهای مرتبط است؛ تنها پس از آن، اگر هنوز بیش از حد بزرگ باشد، از آن نمونه‌گیری می‌شود (ص. 118-120). سرشماری: همه واحدهای یک نوع – آثار یک نویسنده، همه مقاله‌های خبری درباره یک رویداد – چیزی برای نمونه‌گیری نیست (ص. 120). در دسترس: مجموعه داده‌ای موجود که معلوم است کل جامعه را دربر نمی‌گیرد؛ انتخاب اینکه چه کسی وارد شود در دست شرایطی بیرون از کنترل پژوهشگر می‌ماند، و گاهی در دست کسی که منفعتی دارد – خاطرات روزانه برای تحت تأثیر قرار دادن دیگران نوشته می‌شوند، سخنرانی‌های انتخاباتی آنچه را هزینه‌زا خواهد بود حذف می‌کنند، و شاهدان عینی که زنده مانده‌اند اندک‌اند (ص. 120-121). نمونه در دسترس مردود نیست – اما پژوهشگر را ملزم می‌کند بیندیشد چه چیزی این داده‌ها را، و نه داده‌های دیگر را، به دست او رسانده است.

جدول 1. روش‌های نمونه‌گیری – چه چیزی لازم است، چه چیزی به دست می‌آید، و خطر چیست

روشچه چیزی لازم استچه چیزی را می‌توان استنباط کردخطر اصلی
تصادفی سادهفهرست کامل جامعه آماری + قرعه‌کشیتعمیم آماری با خطای نمونه‌گیری معلومفهرست ناقص یا قدیمی است – و آنگاه "تصادفی" از جامعه‌ای دیگر
نظام‌مندفهرست + فاصله k + شروع با قرعهمانند تصادفی، اگر در فهرست دوره‌ای بودن وجود نداشته باشدk که با ضرباهنگی طبیعی همبسته است (روزهای هفته، فصل‌ها)
طبقه‌ایدانش درباره طبقه‌ها؛ فهرستی برای هر طبقهتعمیم + نمایندگی هر طبقه، حتی طبقه کوچکطبقه‌هایی که نادرست تعریف شده‌اند یا همپوشانی دارند
خوشه‌ایفهرست خوشه‌ها (سکونتگاه‌ها، کلاس‌ها)، نه فهرست واحدهاتعمیم به خوشه‌ها؛ به واحدها – با احتیاطواریانس بیش از حد؛ واحدهای خوشه‌های بزرگ بیش از اندازه نمونه‌گیری می‌شوند؛ وابستگی درون خوشه (ببینید داده‌های پرت و مفروضه‌ها)
گلوله برفیواحدهای آغازین + معیار گسترش + توقفنقشه‌برداری شبکه؛ جامعه‌های پنهاننمونه بازتاب نقطه آغاز و تراکم پیوندهاست
مرتبط (هدفمند)معیارهای مفهومی، مستندشدهتنها درباره جامعه واحدهای مرتبطمعیارها مستند نشده‌اند – و آنگاه "آنچه مناسب بود را انتخاب کردم"
سرشماریدسترسی به همه واحدهادرباره خود جامعه آماری – خطای نمونه‌گیری وجود ندارد"همه"ای که همه نیست: چه چیزی حفظ شده، چه چیزی از دست رفته
در دسترسهیچدرباره کسانی که نمونه‌گیری شده‌اند؛ تعمیم – استدلال است، نه آمارچه کسی داده‌ها را آورده و چرا؛ چه کسی غایب است

یادداشت. بر اساس Krippendorff (2019، بخش 6.2). سه سطر نخست نمونه‌گیری احتمالی‌اند؛ خوشه‌ای – احتمالی در سطح خوشه. پیامدهای عملی در ستون آخر – جمع‌بندی سایت است. برای مثال، در پیمایشی از سکونتگاه‌های پیرامونی، "همه ساکنانی که به مرکز محله آمدند" نمونه در دسترس است؛ "20 خانوار که از فهرست عوارض شهری در هر یک از ده سکونتگاهِ قرعه‌کشی‌شده با قرعه انتخاب شدند" نمونه‌گیری خوشه‌ای دومرحله‌ای است.

چه زمانی نمونه غیراحتمالی کافی است. Chandler (2023) روش‌ها را روی یک پیوستار واحد از هزینه و دقت مرتب می‌کند: سرشماری (کل جامعه آماری – وقتی کوچک است عملی است: کارکنان یک سازمان، دانش‌آموزان یک مؤسسه)، نمونه احتمالی (هر فرد قابل شناسایی است، و هر یک احتمالی معلوم و بزرگ‌تر از صفر برای گنجانده شدن دارد – "استاندارد طلایی"، زیرا نتیجه سرشماری را با کسری از هزینه تقریب می‌زند، و سوگیری‌های آن را می‌توان از نظر آماری اصلاح و عدم قطعیت آن را کمّی کرد)، و نمونه غیراحتمالی – هر آنچه این شرط را برآورده نمی‌کند، عمداً یا ناخواسته. نکته مهم او: نمونه غیراحتمالی لزوماً سوگیری بیشتری ندارد – بلکه اگر سوگیری داشته باشد، و به چه میزان، نمی‌توان دانست. این عدم قطعیت در چهار وضعیت قابل تحمل است: وقتی نمونه بخش بزرگی از جامعه را پوشش می‌دهد و نرخ پاسخ بالاست؛ وقتی متغیرهای مورد بررسی با شانس گنجانده شدن در نمونه رابطه ندارند؛ وقتی پرسش درباره رابطه میان متغیرها است و نه برآورد نقطه‌ای – رابطه‌ها نسبت به میانگین‌ها و درصدها به تفاوت‌های جامعه بسیار کمتر حساس‌اند؛ و وقتی نظریه آزموده می‌شود و نه اینکه جهان توصیف شود – درستی نظریه با توانایی‌اش در پیش‌بینی آنچه در شرایط معین رخ خواهد داد تعیین می‌شود، نه با فراوانی آن شرایط در واقعیت (Chandler, 2023). سایت هر دو را نگه می‌دارد: مطابق جدول 1 – نمونه در دسترس به‌عنوان نمونه در دسترس گزارش می‌شود، و تعمیم از آن به جامعه یک استدلال است؛ و Chandler واژه‌های این استدلال را فراهم می‌کند – "رابطه، نه برآورد" و "نظریه، نه توصیف" – و مرز آن را: کسی که باید بداند چقدر (درصد موافقان، میانگین در جامعه) به قرعه‌کشی نیاز دارد.

ترکیب نمونه. حتی بدون قرعه‌کشی، و به طریق اولی با آن، می‌توان از پیش تصمیم گرفت چه کسانی در نمونه باشند (Chandler, 2023): نمونه هدفمند – افرادی با ویژگی‌های معین، یا سهمیه‌ها – یا نمونه احتمالی طبقه‌ای. ترکیب از سؤال پژوهش استنتاج می‌شود: برای برآورد یک اثر در جامعه – نمونه‌ای که در ویژگی‌های مؤثر بر اندازه اثر نماینده جامعه باشد؛ برای مقایسه میان گروه‌ها – گروه‌هایی با اندازه برابر، زیرا مقایسه از نظر آماری کاراتر است (و از این رو در پیمایش سکونتگاه‌ها طبقه با طبقه مقایسه می‌شود و نه به نسبت اندازه آن‌ها روی نقشه)؛ برای رابطه میان متغیرهای پیوسته – نمونه‌گیری مازاد از دارندگان نمره‌های حدی، که توان کشف رابطه را افزایش می‌دهد و شناسایی موارد حدی مؤثر بر نتیجه را آسان‌تر می‌کند. و در مرحله بنیادین یک پژوهش – مورد بحرانی: نخست سراغ کسانی بروید که پدیده در آن‌ها محتمل‌تر از همه است، تا پیش از سرمایه‌گذاری روی نمونه معرف بدانید که اصلاً وجود دارد یا نه.

4. خطای استاندارد و قضیه حد مرکزی – چرا چند صد نفر کافی است

اگر از یک جامعه آماری هر نمونه ممکن به حجم n را برداریم و برای هر یک میانگین را محاسبه کنیم، توزیعی از میانگین‌های نمونه‌ها به دست می‌آید – توزیع نمونه‌گیری. در عمل نمی‌توان چنین کرد، اما قضیه حد مرکزی دقیقاً می‌گوید این توزیع چه شکلی دارد: برای هر جامعه‌ای با میانگین μ و انحراف معیار σ، توزیع میانگین‌های نمونه‌های به حجم n حول μ متمرکز است، انحراف معیار آن σ/√n است، و هرچه n بزرگ‌تر شود به توزیع نرمال نزدیک‌تر می‌شود – "تقریباً کاملاً نرمال" از همان n = 30، صرف‌نظر از شکل جامعه (Gravetter & Wallnau, 2017, p. 199). این انحراف معیار میانگین‌های نمونه‌ها همان خطای استاندارد است: چه فاصله‌ای را می‌توان به‌طور معقول میان میانگین یک نمونه و میانگین جامعه انتظار داشت. دو کار انجام می‌دهد – توصیف می‌کند میانگین‌های نمونه‌ها چقدر با یکدیگر تفاوت دارند، و می‌سنجد یک میانگین واحد چقدر خوب نماینده جامعه است (همان، ص. 200-201). دو چیز اندازه آن را تعیین می‌کنند: انحراف معیار جامعه، و حجم نمونه – هرچه n بزرگ‌تر شود، میانگین به μ نزدیک‌تر است، "قانون اعداد بزرگ" (همان، ص. 201). Field (2024، بخش 2.8) می‌افزاید که هر آنچه درباره میانگین گفته شد برای هر پارامتری صادق است – همبستگی، ضریب رگرسیون: هر برآوردی توزیع نمونه‌گیری و خطای استاندارد دارد، و فاصله اطمینان و آزمون از آن ساخته می‌شوند.

نمودار 1. توزیع نمونه‌گیری میانگین با بزرگ‌تر شدن نمونه جمع می‌شود

محور افقی – میانگین نمونه، در واحدهای انحراف معیار جامعه حول μ؛ سه منحنی – n = 1، 4، 25 (خطای استاندارد σ، σ/2، σ/5). ارتفاع‌ها برای مقایسه پهنا نرمال‌سازی شده‌اند

μ−2σ−σ+σ+2σ n = 1: خطای استاندارد = σ n = 4: خطای استاندارد = σ/2 n = 25: خطای استاندارد = σ/5

یادداشت. بر اساس قضیه حد مرکزی (Gravetter & Wallnau, 2017, pp. 199-201; Field, 2024, Section 2.8): توزیع میانگین‌های نمونه‌ها حول μ متمرکز است، انحراف معیار آن σ/√n است، و هرچه n بزرگ‌تر شود، صرف‌نظر از شکل جامعه، به توزیع نرمال نزدیک‌تر می‌شود. منحنی‌ها از فرمول محاسبه شده‌اند (شبیه‌سازی نشده‌اند)؛ ارتفاع‌ها به قله‌ای برابر نرمال‌سازی شده‌اند تا پهناها مقایسه شوند.

دو نتیجه عملی. نخست – √n: برای نصف کردن خطای استاندارد باید نمونه را چهار برابر کرد. از 100 به 400 آزمودنی سود زیادی به دست می‌آید؛ از 4,000 به 16,000 – نسبت به هزینه، بسیار اندک. از این رو پیمایشی ملی با چند صد تا هزار و اندی پاسخ‌گو برای جامعه‌ای چندمیلیونی کافی است – اگر تصادفی باشد. دوم – آنچه این عدد انجام نمی‌دهد: خطای نمونه‌گیری را کاهش می‌دهد، نه سوگیری را. نمونه در دسترسی از 10,000 نفر که به‌طور غیرتصادفی انتخاب شده‌اند نمونه‌ای سوگیرانه و بزرگ است؛ خطای استاندارد آن کوچک و فاصله اطمینان آن باریک است، حول مقدار نادرست. حجم نمونه و معرف بودن آن دو پرسش جداگانه‌اند، و تنها دومی تعیین می‌کند که نتیجه‌گیری به چه کسانی ارجاع دارد.

5. چند آزمودنی لازم است – پرسشی درباره توان آماری، نه درصد

عدد واحدی وجود ندارد. پرسش درست این است: چند آزمودنی لازم است تا شانس معقولی برای کشف اثری با اندازه مورد نظرمان وجود داشته باشد – و این پرسش توان آماری است، که در سؤال پژوهش و فرضیه‌ها به تفصیل آمده است: بر اساس اندازه اثر مورد انتظار، سطح معناداری، و توان مطلوب (.80)، n با ابزاری رایگان مانند G*Power محاسبه می‌شود، که Pallant (2020، مقدمه بخش پنجم) نیز آن را توصیه می‌کند و از Stevens نقل می‌کند: در نمونه بزرگ (100 و بیشتر) "توان آماری مشکلی نیست"، و در گروه‌های کوچک (n = 20) نتیجه غیرمعنادار ممکن است بازتاب توان ناکافی باشد. چند قاعده سرانگشتی از منابعی که سایت نقل می‌کند، همه نقل قول دست دوم: در رگرسیون چندگانه – حدود 15 آزمودنی برای هر پیش‌بین (Stevens, 1996)، یا N > 50 + 8m که در آن m شمار پیش‌بین‌هاست (Tabachnick & Fidell, 2013) – هر دو به نقل از Pallant (2020، فصل 13)؛ و بیشتر اگر پیامد چوله باشد. و در تحلیل محتوا، Krippendorff (2019، ص. 121-122) یک اصل محکم می‌افزاید: وقتی واحدهایی که پاسخ را تغییر می‌دهند نادرند، نمونه باید بسیار بزرگ‌تر باشد – برای "به دام انداختن" پدیده‌ای با احتمال 1 در 1,000 با اطمینان 95%، 2,995 واحد لازم است (جدول 6.1 او)؛ در انتخابات تنگاتنگ نمونه بزرگ‌تری لازم است تا وقتی فاصله زیاد است. او راهی تجربی نیز پیشنهاد می‌کند: نمونه‌هایی با حجم‌های مختلف را با جامعه کامل مقایسه کنید و ببینید از چه حجمی به بعد افزودن واحد دیگر پاسخ را تغییر نمی‌دهد.

و آنچه تعیین‌کننده نیست: درصدی از جامعه آماری. خطای استاندارد به n بستگی دارد، نه به نسبت n/N (مگر وقتی نمونه بخش قابل‌توجهی از جامعه باشد)؛ 400 پاسخ‌گوی تصادفی نماینده شهری 100,000 نفری هستند به همان اندازه که نماینده کشوری 10 میلیونی‌اند. و همچنین: Pallant (2020، فصل 1) یادآوری می‌کند که بدبینانه برنامه‌ریزی کنید – افراد نمی‌آیند، ریزش می‌کنند و درست پر نمی‌کنند – و اطمینان حاصل کنید که در آزمایش در هر گروه آزمودنی کافی وجود دارد، ترجیحاً به تعداد برابر.

حساب جذب. Chandler (2023) "بدبینانه برنامه‌ریزی کنید" را به عدد تبدیل می‌کند: محاسبه توان آماری n فایل تحلیل را می‌دهد – نقطه آغاز، نه هدف. پیمایشی که در تحلیل به 100 آزمودنی نیاز دارد دست‌کم به 112 پرسشنامه کامل نیاز دارد، زیرا برخی در پاک‌سازی داده‌ها کنار گذاشته می‌شوند (ببینید الگوی استاندارد): حدود 2% از پاسخ‌دهندگان از هر سؤال معین می‌گذرند، و حدود 10% از پاسخ‌ها – در پیمایش آنلاین بیشتر – قابل استفاده نیستند. و 112 پرسشنامه کامل مستلزم دعوت از چند صد نفر است، زیرا بسیاری دعوت را نمی‌بینند یا نمی‌پذیرند: 80%-90% از کسانی که پیمایشی آنلاین با مشوق را آغاز می‌کنند آن را به پایان می‌برند، اما نسبت تکمیل‌کنندگان از میان دعوت‌شدگان به‌طور میانگین حدود 40%-50% است – حدود 60% حضوری، حدود 50% پستی، حدود 30% آنلاین، حدود 20% تلفنی – و این نرخ‌ها سال به سال کاهش می‌یابند، "و همه این برآوردها شاید خوش‌بینانه باشند" (Chandler, 2023؛ برآوردها جمع‌بندی او از منابع آمریکایی‌اند و میان جامعه‌ها متفاوت‌اند). از این رو یک برنامه نمونه‌گیری خوب، نمونه آغازین کوچکی را با قرعه انتخاب می‌کند و نیز نمونه‌های تکمیلی (replicates) که بر حسب نیاز از آن‌ها استفاده می‌شود: بدین ترتیب بیش از حد جذب نمی‌شود، تنها کسانی که آسان پیدا می‌شوند جذب نمی‌شوند، و با نمونه‌ای فاقد توان کافی گیر نمی‌افتیم. برآورد نرخ پاسخ از همان لحظه آغاز جذب دوباره بررسی می‌شود.

6. چه کسی پاسخ نداد – نمونه‌ای که برنامه‌ریزی کردید در برابر نمونه‌ای که به دست آوردید

تنها نمونه تصادفی‌ای که همواره وجود دارد همان است که برنامه‌ریزی شده است. نمونه‌ای که در عمل اندازه‌گیری می‌شود کسانی‌اند که پذیرفتند، پیدا شدند، و تا پایان پاسخ دادند. اگر کسانی که پاسخ ندادند به‌طور نظام‌مند با کسانی که پاسخ دادند تفاوت داشته باشند – جوانانی که تلفن را جواب نمی‌دهند، افراد پرمشغله‌ای که پرسشنامه طولانی را پر نمی‌کنند، کسانی که سؤال برایشان بیش از حد شخصی است – نمونه‌گیری تصادفی بوده اما نمونه دیگر تصادفی نیست. این دقیقاً پرسش سازوکار گمشدگی در مقادیر گمشده است، در سطح پاسخ‌گو به جای سطح گویه: عدم پاسخی را که به متغیرهای ثبت‌شده برای همه (سن، سکونتگاه، جنسیت) بستگی دارد می‌توان با وزن‌دهی و کنترل اصلاح کرد؛ عدم پاسخی را که به آنچه اندازه‌گیری نشده، یا به خود پاسخ، بستگی دارد – نه، و نمی‌توان اثبات کرد که چنین نیست. آنچه می‌توان کرد: مستند کردن نرخ پاسخ و ترکیب پاسخ‌دهندگان در برابر چارچوب، و مقایسه پاسخ‌گویان با جامعه آماری روی متغیرهای معلوم – با خی‌دو. Chandler (2023) قید و استثنا را می‌افزاید: نرخ پاسخ بالا معمولاً سوگیری عدم پاسخ را کاهش می‌دهد – اما نه همیشه (Groves & Peytcheva, 2008, as cited in Chandler)؛ و در نمونه رهگیری یا داوطلبان، که در آن معلوم نیست چند نفر فراخوان را دیده‌اند، اصلاً نرخ پاسخ وجود ندارد – حداکثر نرخ همکاری وجود دارد (چند نفر از کسانی که با آن‌ها تماس گرفته شد پذیرفتند)، مطابق تعریف‌های AAPOR (2016, as cited in Chandler).

7. جذب – چگونه به نمونه‌ای که برنامه‌ریزی کرده‌اید می‌رسید

Chandler (2023) با این جمله آغاز می‌کند: "برنامه جذب قوی عاملی کلیدی در موفقیت پژوهش روی انسان‌هاست" – و پژوهشی بدون چنین برنامه‌ای در معرض جذب افرادی بسیار اندک، یا از نوع نادرست، قرار دارد و این را تنها در تحلیل کشف می‌کند. برنامه از پنج پرسش استنتاج می‌شود: کدام جامعه آماری؛ کدام استنباط (توصیف یا نظریه)؛ چه میزان دقت؛ با چه سرعتی؛ و با کدام منابع – "سریع، خوب یا ارزان: دو تا را انتخاب کنید". از کجا جذب می‌شود. از یک فهرست (چارچوب نمونه‌گیری: نام‌ها، نشانی‌ها، تلفن‌ها، گاهی ویژگی‌های جمعیت‌شناختی – اغلب فهرست یک سازمان که باید به آن دسترسی گرفت): هر نمونه احتمالی از آن آغاز می‌شود؛ مزایای آن – اطلاعات تماس، پیوند دادن هر شرکت‌کننده به مواد پژوهش (فقط واجدان شرایط، فقط یک بار)، نرخ پاسخی که قابل محاسبه است، و مقایسه پاسخ‌دهندگان با کسانی که پاسخ ندادند – اما باید فهمید چگونه ساخته شده و چه کسانی در آن غایب‌اند (خطای پوشش)، و برای پاک‌سازی آن آماده شد: بسیاری از نشانی‌های ایمیل معتبر نیستند. بدون فهرست: رهگیری (intercept) – جذب از جریانی از فعالیت: مراجعان مرکز خرید، بازدیدکنندگان یک وب‌سایت، آگهی در شبکه اجتماعی که گروهی را هدف می‌گیرد؛ برای جامعه‌هایی که در یک مکان گرد می‌آیند کارآمد است، اما واحد نمونه‌گیری رویداد (بازدید) است و نه فرد – خریداران پرتکرار بیش از اندازه نمایندگی می‌شوند؛ داوطلبان – آگهی‌ها، پست‌ها، فهرست‌های پستی: آسان است، و داوطلبان وظیفه‌شناس‌ترند، اما خودشان را بر اساس علاقه به پژوهش برگزیده‌اند؛ شبکه (گلوله برفی – در جدول 1): هر شرکت‌کننده دیگران را معرفی می‌کند – برای جامعه‌هایی که یافتنشان دشوار است، یا جامعه‌هایی که تا یک همتا مشروع بودن پژوهش را تأیید نکند خود را معرفی نمی‌کنند. و خرید دسترسی: شرکت‌های پژوهشی با پنل – احتمالی (گران) یا غیراحتمالی؛ پیش از خرید، پاسخ‌های ESOMAR-36، پرسشنامه استاندارد برای توصیف تأمین‌کننده نمونه، درخواست می‌شود. و ترکیب: نتیجه‌ای که در نمونه‌های گوناگون از انواع مختلف تکرار شود خود شاهدی بر تعمیم‌پذیری است (Chandler, 2023).

نرخ پاسخ – چهار عامل و آنچه شواهد می‌گویند. آیا می‌دانستند پژوهشی در کار است (حدود 80% تماس‌ها از شماره ناشناس را فیلتر می‌کنند، 75% از ایمیل‌ها باز نمی‌شوند)؛ سود مورد انتظار چیست؛ هزینه ادراک‌شده چیست (زمان، دستورالعمل‌های پیچیده، سؤال‌های حساس)؛ و جامعه آماری کیست. Chandler میانگین‌های فراتحلیل‌ها را می‌آورد، که بیشترشان درباره پیمایش‌های پستی و اینترنتی‌اند – اعداد، آن‌گونه که او عرضه می‌کند، تغییر نسبی در نرخ پاسخ‌اند و نه واحد درصد (مگر جایی که خلافش گفته شود): طول – به پرسشنامه کوتاه بیشتر پاسخ می‌دهند، و 20 دقیقه احتمالاً مرز بیشتر افراد است؛ سؤال‌های باز و سؤال‌های حساس پاسخ را کاهش می‌دهند، پرسشنامه "جالب" آن را دو برابر می‌کند، و آغاز با سؤال باز 5% کاهش می‌دهد؛ شیوه اجرا – پیمایش آنلاین حدود 11% پاسخ کمتری از شیوه‌های غیرالکترونیکی دریافت می‌کند، و کاربران اینترنت جوان‌تر، تحصیل‌کرده‌تر و پردرآمدترند؛ ترکیب شیوه‌ها – به‌صورت متوالی، نه به‌صورت انتخابی (پیشنهاد انتخاب از ابتدا پاسخ را کاهش می‌دهد): نخست ارزان‌ترین (آنلاین)، سپس پست یا تلفن برای کسانی که پاسخ ندادند؛ اطلاع‌رسانی پیشاپیش (نامه‌ای که درباره پیمایش، هدف آن، و وضعیت حریم خصوصی توضیح می‌دهد) – +50% در پیمایش‌های پستی، و همچنین در تلفنی و آنلاین؛ نامه پستی نشانه مشروعیت است؛ یادآوری‌ها – +35% در پستی، +30% در آنلاین، با بازده نزولی؛ حدود نیمی از پاسخ‌دهندگان به پیمایش آنلاین در روز نخست پاسخ می‌دهند و تقریباً همه بقیه ظرف یک هفته، و از این رو فاصله گذاشته می‌شود؛ متن متفاوت برای هر یادآوری – +30% در مقایسه با همان متن؛ مشوق مالی – +87% در پستی، +20% در آنلاین، با بازده نزولی (دلار نخست +5 واحد درصد، بیش از 10 دلار – حدود یک واحد برای هر دلار)؛ مشوق پیشاپیش، بی‌قیدوشرط – +61% در مقایسه با همان مبلغ پس از تکمیل، در پستی و تلفنی (تعهد متقابل)، و کمتر در آنلاین؛ مشوق‌های غیرمالی – تنها +15% و مستقل از ارزششان، و سهیم کردن در نتایج – تقریباً هیچ؛ قرعه‌کشی‌ها – محبوب‌اند چون ارزان‌اند، اما "به‌ندرت" پاسخ را بهبود می‌دهند؛ خطاب شخصی با نام – +10% در پستی، +25% در آنلاین؛ امضا و نشانی دست‌نویس – بیش از 25%؛ و در ایمیل – عنوان مستقیمی که بگوید پژوهش چیست، نه "طعمه کلیک"، و گاهی نخستین سؤال درون خود دعوت‌نامه. دعوت‌نامه چه چیزهایی دارد: هدف و محتوای پژوهش، که حول آنچه برای گیرنده مرتبط است قاب‌بندی شده؛ مشوق؛ طول (به‌ویژه اگر کوتاه است)؛ مهلت نهایی. ادعاهای سودمندی برای جامعه یا علم – تقریباً بی‌اثر (Chandler, 2023؛ میانگین‌ها – از فراتحلیل‌هایی که او نقل می‌کند، به‌ویژه Edwards et al., 2009، و در اینجا همان‌گونه که او جمع‌بندی می‌کند عرضه شده‌اند).

چه کسی کمتر پاسخ می‌دهد، و چه کسی جعل می‌کند. مردان، جوانان، کم‌درآمدها (و بسیار پردرآمدها)، کم‌سوادترها و مجردها به پیمایش‌ها کمتر پاسخ می‌دهند، بسته به شیوه اجرا – و این تلاش جذب را، وقتی معرف بودن مطلوب است، به سوی کسانی که احتمال پاسخشان کمتر است، و وقتی صرفه‌جویی مطلوب است، به سوی کسانی که احتمال پاسخشان بیشتر است هدایت می‌کند. وقتی شرکت‌کنندگان باید شرطی را برآورده کنند، غربالگری نیازمند احتیاط است: در پژوهشی که از طریق آگهی جذب کرد، 14% اعتراف کردند که برای واجد شرایط شدن در پژوهشی با پرداخت، بیماری‌ای را از خود ساخته‌اند – و در جامعه‌ای نادر، جاعلان ممکن است اکثریت باشند. محافظت: پیش از هر چیز در جایی جذب کنید که واجدان شرایط فراوان‌اند، شرایط واجد بودن را پیش از اندازه‌گیری آن‌ها فاش نکنید، و ترجیحاً پاسخ‌دهنده اصلاً نداند که غربال شده است – پژوهشی کوتاه با سؤال‌های غربالگری، که واجدان شرایط از آن به مرحله بعد هدایت می‌شوند (Chandler, 2023).

پیش‌آزمون، پایش و مستندسازی. روند جذب مانند خود پرسشنامه در پیش‌آزمون اجرا می‌شود – "تمرین نهایی" که ابهام در دستورالعمل، سوءتفاهم در میان کارکنان، و فرض‌های نادرست درباره هزینه و نرخ پاسخ را آشکار می‌کند. و در طول گردآوری سه شاخص پایش می‌شود: نرخ پاسخ یا تکمیل، میزان شباهت پاسخ‌دهندگان به جامعه آماری، و هزینه هر تکمیل (کل هزینه‌ها تقسیم بر شمار پرسشنامه‌های کامل) – و تنظیم صورت می‌گیرد: کانال‌ها، متن دعوت‌نامه، تماس اضافی یا مشوق بزرگ‌تر برای گروه‌هایی که کمتر پاسخ می‌دهند. و برنامه، تلاش‌ها و آنچه مؤثر بود و نبود مستند می‌شود – هم در پیش‌ثبت، هم به‌عنوان مواد تکمیلی مقاله – زیرا بدون این نمی‌توان جامعه پژوهش را فهمید یا پژوهش را تکرار کرد (Chandler, 2023). جنبه اخلاقی مشوق – اجبار در برابر نفوذ ناروا – در صفحه اخلاق در پژوهش.

8. چگونه گزارش کنیم

در بخش روش، ذیل "شرکت‌کنندگان" یا "نمونه": جامعه آماری همان‌طور که تعریف شد؛ چارچوب نمونه‌گیری (کدام فهرست، از چه زمانی)؛ روش نمونه‌گیری با نام و جزئیاتش (نظام‌مند – k و نقطه شروع؛ طبقه‌ای – طبقه‌ها و تخصیص؛ خوشه‌ای – خوشه چیست و چه تعداد؛ در دسترس – چه کسانی، کجا، چگونه جذب شدند)؛ حجم نمونه برنامه‌ریزی‌شده و چگونگی تعیین آن (محاسبه توان آماری، اندازه اثر فرض‌شده)؛ نرخ پاسخ؛ N واقعی؛ و مقایسه پاسخ‌گویان با جامعه روی متغیرهای معلوم. و در بخش بحث – نتیجه‌گیری به چه کسانی ارجاع دارد. نمونه در دسترس به‌عنوان نمونه در دسترس گزارش می‌شود، بدون "معرف" و بدون "تصادفی" – واژه "تصادفی" برای قرعه‌کشی محفوظ است. حداقل بر اساس Chandler (2023): آیا چارچوب نمونه‌گیری وجود داشت؛ شرکت‌کنندگان چگونه انتخاب شدند؛ گام‌هایی که برای جذبشان برداشته شد؛ نرخ‌های پاسخ یا همکاری – و چگونگی محاسبه آن‌ها، صورت و مخرج، زیرا چند روش وجود دارد (تعریف‌های استاندارد – AAPOR، 2016، به نقل از Chandler)؛ معیارهای کنارگذاری در غربالگری؛ و بدون چارچوب – جامعه هدف، زمان و مکان جذب که ممکن است بر ترکیب اثر بگذارند، و محدودیت‌های تعمیم ناشی از آن‌ها.

اشتباهات رایج

"نمونه تصادفی" از هر که پیش آمد. تصادفی یعنی قرعه‌کشی از یک فهرست با شانس برابر برای همه. دانشجویان یک درس، کاربرانی که کلیک کردند، مراجعان مرکز محله – نمونه در دسترس‌اند، و به همین عنوان گزارش می‌شوند.

اینکه گمان کنیم حجم سوگیری را اصلاح می‌کند. 10,000 پاسخ‌گو که به‌طور غیرتصادفی انتخاب شده‌اند نمونه‌ای سوگیرانه و بزرگ‌اند، با فاصله اطمینانی باریک حول مقدار نادرست. حجم خطای نمونه‌گیری را کاهش می‌دهد؛ تنها قرعه‌کشی سوگیری را چاره می‌کند.

محاسبه n به‌صورت درصدی از جامعه آماری. خطای استاندارد به n بستگی دارد، نه به n/N. 400 نفر برای یک شهر و یک کشور به یک اندازه کافی‌اند.

نمونه‌گیری نظام‌مند با فاصله‌ای که با یک چرخه همبسته است. هر هفتمین روز، هر تماس زوج – فاصله نمونه را روی یک زیرگروه قفل می‌کند. پیش از تعیین k، فهرست از نظر دوره‌ای بودن بررسی می‌شود.

نمونه‌گیری خوشه‌ای و تحلیل به گونه‌ای که گویی افراد مستقل‌اند. 20 ساکن از هر یک از ده سکونتگاه 200 مشاهده مستقل نیستند – وابستگی درون سکونتگاه خطای استاندارد را کوچک‌تر از واقع نشان می‌دهد. مدل چندسطحی، یا دست‌کم گزارش ساختار.

فراموش کردن کسانی که پاسخ ندادند. نرخ پاسخ 30% یعنی نمونه تصادفی به نمونه‌ای از کسانی که پذیرفتند تبدیل شده است. نرخ گزارش می‌شود و پاسخ‌گویان با چارچوب مقایسه می‌شوند.

تعیین n پس از گردآوری داده‌ها. "تا وقتی معنادار شود گردآوری می‌کنیم" معنای p را از بین می‌برد. n از پیش با محاسبه توان آماری تعیین می‌شود، و حتی اگر به دست نیامد گزارش می‌شود.

نوشتن "معرف" بدون قرعه‌کشی. نمونه مرتبط یا در دسترس می‌تواند درست و سودمند باشد – اما تعمیم از آن استدلالی است که باید دلیل آورد، نه نتیجه آمار.

دعوت دقیقاً از n نفر. محاسبه توان آماری مربوط به فایل تحلیل است؛ چندین برابر دعوت می‌شود، و نمونه‌های تکمیلی با قرعه انتخاب می‌شوند (Chandler, 2023).

قرعه‌کشی جایزه به‌عنوان مشوق، و سهیم کردن در نتایج به‌عنوان ترغیب. تقریباً بی‌اثرند؛ مشوق مالی کوچک پیشاپیش، اطلاع‌رسانی پیشاپیش و یادآوری‌ها – مؤثرند (Chandler, 2023).

اعلام شرایط واجد بودن در آگهی جذب. کسی که می‌خواهد شرکت کند خود را با آن‌ها منطبق می‌کند؛ سؤال‌های غربالگری پیش از فاش کردن آنچه غربال می‌شود (Chandler, 2023).

چک‌لیست – پیش از جذب

سؤالچرا این مهم است
جامعه آماری چیست – با واژه‌های دقیق؟ چه کسانی درون آن‌اند و چه کسانی بیرون؟نتیجه‌گیری تنها به آن ارجاع خواهد داشت (بخش 1).
آیا چارچوب نمونه‌گیری – فهرستی از همه افراد – وجود دارد؟ چه چیزی در آن کم است؟بدون فهرست قرعه‌کشی وجود ندارد؛ آنچه در فهرست کم است در نتیجه‌گیری کم است (بخش 2).
کدام روش نمونه‌گیری، با نامش؟ احتمالی یا نه؟تعیین می‌کند که تعمیم آماری است یا استدلالی (جدول 1).
اگر نظام‌مند است – آیا در فهرست دوره‌ای بودن وجود دارد؟ اگر خوشه‌ای است – چند خوشه، و وابستگی درون آن‌ها چه می‌شود؟دو سوگیری خاموش روش‌های آسان (بخش 3).
آیا n با محاسبه توان آماری تعیین شده است – اندازه اثر، α، .80؟نه از روی درصد و نه از روی عادت (بخش 5).
آیا مازادی برای ریزش و عدم پاسخ برنامه‌ریزی شده است؟نمونه واقعی همیشه کوچک‌تر از نمونه برنامه‌ریزی‌شده است (بخش 5).
آیا راهی برای مقایسه پاسخ‌گویان با جامعه آماری روی متغیرهای معلوم وجود دارد؟تنها بررسی ممکن برای عدم پاسخ نظام‌مند (بخش 6).
از کجا جذب می‌شود – فهرست، رهگیری، داوطلبان، شبکه، پنل – و هر یک بر اینکه چه کسانی گنجانده شوند چه اثری دارد؟منبع جذب ترکیب نمونه را تعیین می‌کند (بخش 7).
آیا برنامه جذب شامل اطلاع‌رسانی پیشاپیش، یادآوری‌هایی با فاصله و متن متغیر، و مشوقی است که شواهد از آن پشتیبانی می‌کنند؟این‌ها عواملی‌اند که نرخ پاسخ را تغییر می‌دهند (بخش 7).
آیا روند جذب پیش‌آزمون شده، و آیا در حین کار نرخ پاسخ، ترکیب نمونه و هزینه هر تکمیل پایش می‌شوند؟فرض‌ها درباره پاسخ و هزینه تقریباً همیشه نادقیق‌اند (بخش 7).
آیا بخش روش این موارد را دربر خواهد داشت: جامعه آماری، چارچوب، روش، جذب، n برنامه‌ریزی‌شده و واقعی، نرخ پاسخ و چگونگی محاسبه آن؟آنچه گزارش نشود قابل ارزیابی نیست (بخش 8).

منابع

Chandler, J. (2023). Participant recruitment. In A. L. Nichols & J. E. Edlund (Eds.), The Cambridge handbook of research methods and statistics for the social and behavioral sciences: Vol. 1. Building a program of research (pp. 179-201). Cambridge University Press. https://doi.org/10.1017/9781009010054.010

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Gravetter, F. J., & Wallnau, L. B. (2017). Statistics for the behavioral sciences (10th ed.). Cengage Learning.

Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE.

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Stevens (1996)، Tabachnick و Fidell (2013) و Cohen (1988) – به نقل از Pallant (2020)؛ Edwards و همکاران (2009)، Göritz (2006, 2014)، Mercer و همکاران (2015)، Groves و Peytcheva (2008)، Devine و همکاران (2013)، Simons و همکاران (2017) و AAPOR (2016) – به نقل از Chandler (2023). مطابق قاعده سایت، در فهرست منابع تنها منابعی می‌آیند که اصل آن‌ها خوانده شده است؛ Chandler (2023) – بر اساس کل فصل، بدون شماره صفحه در متن.