سؤال پژوهش و فرضیه‌ها

راهنما

در این صفحه

بیشتر مشکلات تحلیل آماری در خودِ تحلیل زاده نمی‌شوند – پیش‌تر زاده می‌شوند، وقتی سؤال پژوهش به فرضیه‌ای ابطال‌پذیر تبدیل نشده است، و وقتی تصمیم‌هایی که باید پیش از گردآوری داده‌ها گرفته می‌شدند پس از آن گرفته شده‌اند. این صفحه مسیر Field (2024، فصل‌های 1-3) را دنبال می‌کند: مشاهده ← نظریه ← فرضیه ← پیش‌بینی ← داده‌ها، و سپس فرض صفر و فرض جایگزین، جهت آزمون، سطح معناداری، حجم نمونه – و آنچه در دهه گذشته روشن شده است درباره اینکه وقتی این‌ها پس از واقعه تعیین شوند چه رخ می‌دهد. صفحه با آنچه p می‌گوید و آنچه نمی‌گوید، و با اندازه اثر – عددی که باید همراه هر p باشد – به پایان می‌رسد.

1. فرایند پژوهش – و چرا فرضیه همان پیش‌بینی نیست

پژوهش با مشاهده‌ای آغاز می‌شود که نیازمند توضیح است – مشاهده‌ای شخصی ("متوجه شدم که...") یا مبتنی بر داده – و با پرسش "چرا". برای آنکه بررسی شود خود مشاهده درست است و سوگیری ندارد، ابتدا دست‌کم یک متغیر لازم است که آن را کمّی کند؛ سپس به نظریه‌های مرتبط رجوع می‌شود، از آن‌ها توضیحی (فرضیه) استخراج می‌شود و از فرضیه – پیش‌بینی‌ها. پیش‌بینی‌ها به داده نیاز دارند: مشخص می‌شود چه چیزی را می‌توان اندازه گرفت، داده‌ها گردآوری و تحلیل می‌شوند. تحلیل یا از فرضیه پشتیبانی می‌کند، یا فرضیه تازه‌ای پدید می‌آورد، یا نظریه را اصلاح می‌کند – و از این رو گردآوری داده‌ها و نظریه در هر دو جهت با هم پیوند دارند (Field, 2024, Sections 1.2-1.3).

تمایزی که از همه آسان‌تر نادیده گرفته می‌شود – و Field (2024، بخش 1.4) اصلاحیه‌ای صریح به آن اختصاص می‌دهد – تمایز میان فرضیه و پیش‌بینی است. فرضیه یک توضیح است، گزاره‌ای درباره یک سازوکار، و نمی‌توان آن را مشاهده کرد. پیش‌بینی چیزی است که از فرضیه استنتاج می‌شود و آن را به قلمرو مشاهده‌پذیر منتقل می‌کند: همان چیزی است که امکان گردآوری داده‌هایی را فراهم می‌کند که بر محتمل بودن فرضیه اثر دارند. مثالی که در این صفحه به آن بازمی‌گردیم: مشاهده – در سکونتگاه‌هایی که یک انجمن محلی فعال دارند، ساکنان احساس تعلق بیشتری گزارش می‌کنند. نظریه – سرمایه اجتماعی: شبکه‌های آشنایی و اعتماد، تعلق و کنش جمعی پدید می‌آورند. فرضیه – مشارکت در فعالیت‌های محلی احساس تعلق به سکونتگاه را تقویت می‌کند. پیش‌بینی – ساکنانی که در فعالیت‌های محلی مشارکت می‌کنند، تعلق بیشتری نسبت به ساکنانی که مشارکت نمی‌کنند گزارش خواهند کرد، حتی وقتی ساکنانی با سابقه سکونت یکسان مقایسه شوند. اکنون چیزی برای اندازه‌گیری وجود دارد: مشارکت (ساعت در ماه، یا بله/خیر) و تعلق (مقیاس چندگویه‌ای – ببینید پایایی و روایی).

توجه کنید که همان مشاهده با فرضیه‌ای معکوس هم سازگار است – کسی که از پیش احساس تعلق می‌کند همان کسی است که به فعالیت می‌پیوندد – و با فرضیه سومی: سابقه سکونت هم تعلق و هم مشارکت را پدید می‌آورد. پیش‌بینی خوب میان فرضیه‌ها تمایز می‌گذارد: اگر فرضیه نخست درست باشد، کسی که امسال به فعالیت پیوسته باید نسبت به سال گذشته افزایش تعلق نشان دهد؛ اگر فرضیه دوم درست باشد – تعلق پیش از پیوستن وجود داشته است. آنچه فرضیه‌های رقیب لازم دارند طرح پژوهشی است که بتواند آن‌ها را از هم جدا کند، و این موضوع صفحه متغیرها، مقیاس‌های اندازه‌گیری و طرح‌های پژوهشی است. نکته اصلی در اینجا: فرضیه‌ای که هر نتیجه ممکنی را توضیح دهد، فرضیه نیست.

2. نظریه، فرضیه، پیش‌بینی – و آنچه یک گزاره را علمی می‌کند

Field (2024، بخش 1.4) این سه را بر اساس گستره و جایگاه از هم متمایز می‌کند: نظریه مجموعه گسترده‌ای از پدیده‌ها را به کمک نظام کوچکی از اصول تثبیت‌شده توضیح می‌دهد؛ فرضیه پدیده محدودتری را توضیح می‌دهد و هنوز آزموده نشده است؛ پیش‌بینی گزاره مشاهده‌پذیری است که از فرضیه استنتاج می‌شود. یک گزاره زمانی علمی است که بتوان آن را در برابر شواهد تجربی تأیید یا ابطال کرد. "بیتلز تأثیرگذارترین گروه موسیقی تمام دوران است" علمی نیست – "تأثیر" احتمالاً به شکل معناداری کمّی‌شدنی نیست – اما "بیتلز پرفروش‌ترین گروه موسیقی تمام دوران است" علمی است، زیرا می‌توان داده‌های فروش را گردآوری و بررسی کرد. گزاره‌های غیرعلمی را گاهی می‌توان به گزاره‌های علمی بازنویسی کرد، و نظریه خوب پیش‌بینی‌هایی تولید می‌کند که چنین گزاره‌هایی هستند (Field در اینجا از پوپر یاد می‌کند). و به زبان پژوهش اجتماعی: "برنامه، اجتماع محلی را تقویت کرد" پیش‌بینی نیست؛ "یک سال پس از برنامه، نسبت ساکنانی که دست‌کم پنج همسایه را به نام می‌شناسند افزایش خواهد یافت" – پیش‌بینی است.

روی دیگر همین سکه ابطال است: داده‌هایی که با فرضیه در تناقض‌اند. Field این را با داستانی طولانی درباره شرکت‌کنندگان برنامه‌های واقع‌نما و نظریه‌ای از خودش که شکست خورد نشان می‌دهد: یکی از پیش‌بینی‌های آن ابطال شد، یافته‌های پژوهشگران دیگر با آن سازگار نبود، و نظریه‌ای رقیب – که هم مشاهده اصلی و هم یافته‌های تازه را توضیح می‌داد – پیروز شد. محک یک نظریه این نیست که درست به نظر برسد؛ این است که داده‌ها را توضیح دهد، پیش‌بینی‌هایش در داده‌های تازه تأیید شوند، و یافته‌های دیگران را نیز توضیح دهد. نظریه‌ای که با هیچ داده‌ای نمی‌تواند شکست بخورد، هیچ چیز را توضیح نمی‌دهد.

3. از پیش‌بینی تا فرضیه آماری

پیش‌بینی به دو فرضیه آماری تجزیه می‌شود (Field, 2024, Section 2.10.2). فرض جایگزین (H₁) همان پیش‌بینی برآمده از نظریه است – معمولاً اینکه اثری وجود دارد: مشارکت‌کنندگان تعلق بیشتری گزارش خواهند کرد. فرض صفر (H₀) عکس آن است – اثری وجود ندارد: مشارکت‌کنندگان و غیرمشارکت‌کنندگان تعلق یکسانی گزارش خواهند کرد. فرض صفر سودمند است زیرا خط پایه‌ای فراهم می‌کند: اگر هیچ اثری وجود نداشت، به دست آوردن داده‌هایی که به دست آوردیم – یا داده‌هایی حدی‌تر از آن‌ها – چقدر محتمل بود؟ این همان چیزی است که p می‌سنجد، و نه بیشتر. Field درباره زبان "پذیرش" و "رد" فرضیه‌ها هشدار می‌دهد: مقادیر p شاهدی برای چنین تصمیم‌های سیاه و سفیدی فراهم نمی‌کنند، و حتی وقتی فرض جایگزین محتمل‌تر از فرض صفر است، ممکن است مدل‌های دیگری – که آن‌ها را نیازموده‌ایم – با داده‌ها برازش بهتری داشته باشند. سخن از محتمل بودن نسبی است، نه از حقیقت.

جهت. فرضیه جهت‌دار جهت اثر را نیز بیان می‌کند ("مشارکت‌کنندگان تعلق بیشتری گزارش خواهند کرد")؛ فرضیه بی‌جهت تنها می‌گوید اثری وجود دارد ("مشارکت با تعلق رابطه دارد"). آزمون آماری برای فرضیه جهت‌دار یک‌دامنه است؛ برای فرضیه بی‌جهت – دودامنه (Field, 2024, Section 2.10.6). این تفاوت فنی نیست: در آزمون یک‌دامنه، نتیجه معنادار در جهت مخالف به حساب نمی‌آید – و از این رو تنها زمانی موجه است که نتیجه مخالف به همان اقدامی می‌انجامید که نتیجه غیرمعنادار (دارویی که از داروی موجود بدتر باشد تأیید نمی‌شود، درست مانند دارویی که بهتر از آن نیست)، یا زمانی که نتیجه مخالف از نظر نظری بی‌معناست. Field دو بررسی از مجلات بوم‌شناسی را می‌آورد: در یکی "همه کاربردهای آزمون‌های یک‌دامنه نامعتبر به نظر می‌رسیدند"، و در دیگری تنها یکی از 17 مقاله موجه بود. و وسوسه روشن است: p = .06 دودامنه به p = .03 یک‌دامنه تبدیل می‌شود – اما قواعد را نمی‌توان پس از گردآوری داده‌ها تغییر داد. پیش‌فرض سایت، همانند Field: دودامنه.

4. پیش از گردآوری داده‌ها چه چیزهایی تعیین می‌شود – و تعیین آن‌ها پس از آن چه هزینه‌ای دارد

آزمون آماری تنها زمانی کار می‌کند که فرضیه‌ها و معیارها پیش از گردآوری داده‌ها تعیین شده باشند (Field, 2024, Section 2.10.3). تمثیل Field: شرط‌بندی روی جام جهانی. تیمی انتخاب می‌شود و ضریبی پیش از مسابقات دریافت می‌شود؛ نمی‌توان در میانه کار تیم را عوض کرد، و دفتر شرط‌بندی نمی‌تواند پس از فینال ضریب را تغییر دهد. پژوهشگران وقتی فرضیه‌ها را پس از گردآوری داده‌ها صورت‌بندی می‌کنند، آن‌ها را در میانه کار تغییر می‌دهند، یا سطح معناداری را پس از دیدن نتیجه انتخاب می‌کنند، "تقلب" می‌کنند – و هر تغییری از این دست احتمال نتیجه معنادار را افزایش می‌دهد، و همچنین احتمال اینکه هیچ‌کس نتواند آن را تکرار کند. چهار تصمیم به این مرحله تعلق دارند:

سطح معناداری (α). نرخ خطای بلندمدتی که حاضریم بپذیریم – احتمال اعلام اثری که وجود ندارد (خطای نوع I). Field تأکید می‌کند که این باید تصمیمی سنجیده بر اساس حوزه پژوهش و آنچه آزموده می‌شود باشد، و اذعان می‌کند که در عمل همه از .05 استفاده می‌کنند "بی‌آنکه فکر کنند چه معنایی دارد و چرا"؛ خود فیشر هرگز نگفت که .05 عددی جادویی است (Field, 2024, Sections 2.10.1, 2.10.3; Box 3.1). قاعده: از پیش تعیین می‌شود، و اگر از قرارداد رایج عدول شود، دلیل آن ذکر می‌شود.

حجم نمونه – و از پیش. مقدار p یک احتمال بلندمدت است: اگر همان فرایند نمونه‌گیری را بی‌نهایت بار تکرار می‌کردیم، چند بار چنین آماره‌ای به دست می‌آوردیم. از این رو باید شمار آزمودنی‌هایی را که برنامه‌ریزی کرده بودیم گردآوری کنیم: راهی برای محاسبه p برای نمونه‌گیری‌های مکرر 80 نفری وجود دارد، اما راهی برای دانستن p برای نمونه‌گیری‌های 74 نفری "چون ترم تمام شد و آزمودنی دیگری پیدا نکردیم" وجود ندارد (Field, 2024, Section 2.10.3). توقف زودهنگام یا ادامه دادن تا معنادار شدن نتیجه – دو روی یک خطای واحدند. چند آزمودنی لازم است؟ این پرسش توان آماری است: احتمال اینکه آزمون اثری را که در جامعه آماری وجود دارد بیابد، 1 − β، که در آن β احتمال از دست دادن آن است (خطای نوع II). قرارداد رایج، به پیروی از Cohen (1988, 1992, as cited in Field, 2024, Sections 2.10.7 and 2.10.9)، توان .80 است – احتمال 80% برای کشف یک اثر واقعی، یعنی از دست دادن یکی از هر پنج اثر. توان آماری به اندازه اثر، α و حجم نمونه بستگی دارد؛ وقتی سه تا معلوم باشند، چهارمی محاسبه می‌شود. به گفته Field، کاربرد سودمند آن پیش از پژوهش است: اندازه اثر مورد انتظار از پژوهش‌های پیشین برآورد می‌شود، α = .05 و توان .80 تعیین می‌شود، و شمار آزمودنی‌های لازم به دست می‌آید – با ابزاری رایگان مانند G*Power یا بسته pwr در R. او می‌افزاید که محاسبه توان پس از پژوهش هرگز برایش قابل درک نبوده است: اگر نتیجه غیرمعنادار باشد – توان کافی نبوده؛ اگر معنادار باشد – بوده است.

فرضیه‌ها و برنامه تحلیلی. "درجات آزادی پژوهشگر" (Simmons et al., 2011, as cited in Field, 2024, Section 3.3.2) همه تصمیم‌هایی است که پژوهشگر در طول مسیر می‌گیرد: کدام مدل، با مقادیر حدی چه کنیم، کدام متغیرهای کنترل، کدام شاخص‌ها، چه زمانی گردآوری را متوقف کنیم. Field پژوهشی را می‌آورد که در آن 29 تیم داده‌ها و سؤال یکسانی دریافت کردند – آیا داوران فوتبال به بازیکنان تیره‌پوست بیشتر کارت قرمز می‌دهند – 20 تیم اثر معناداری یافتند و نه تیم نیافتند، با طیف گسترده‌ای از مدل‌ها. وقتی این تصمیم‌ها بر اساس آنچه p را به زیر .05 می‌برد انتخاب شوند – چند تحلیل امتحان می‌شود و یکی گزارش می‌شود، متغیرها بر اساس اثرشان بر p افزوده یا حذف می‌شوند، ده پیامد اندازه‌گیری و پیامد معنادار گزارش می‌شود – این p-hacking است؛ و وقتی فرضیه‌ای که پس از نتایج صورت‌بندی شده در مقاله چنان عرضه شود که گویی پیش از آن‌ها صورت‌بندی شده – این HARKing است، "فرضیه‌سازی پس از معلوم شدن نتایج" (Field, 2024, Section 3.3.3). درمانی که علم پذیرفته پیش‌ثبت (preregistration) است: انتشار عمومی منطق، فرضیه‌ها، طرح و برنامه پردازش و تحلیل داده‌ها پیش از گردآوری داده‌ها – در قالب گزارش ثبت‌شده در یک مجله، که پیش از وجود نتایج داوری می‌شود و نتایج هرچه باشد منتشر می‌شود، یا به سادگی در یک مخزن باز مانند Open Science Framework (Field, 2024, Section 3.6). انحراف از برنامه مجاز است – تنها شفاف می‌شود. و در پژوهش بدون ثبت رسمی: سندی تاریخ‌دار برای برنامه‌ریزی، شامل فرضیه‌ها، آزمون‌ها و نمونه، پیش از نخستین پرسشنامه.

5. p چه می‌گوید – و چه نمی‌گوید

p احتمال به دست آوردن نتیجه‌ای است که به دست آوردیم، یا نتیجه‌ای حدی‌تر از آن، با فرض اینکه فرض صفر درست باشد. Field (2024، بخش 3.2.1) با سه اشتباه رایج در آنچه از یک نتیجه معنادار استنباط می‌شود آغاز می‌کند. "معنادار" به معنای "مهم" نیست: p به حجم نمونه بستگی دارد، و از این رو اثرهای بسیار کوچک و بی‌اهمیت اگر داده کافی گردآوری کنیم معنادار خواهند شد، و اثرهای بزرگ و مهم در نمونه کوچک از دست خواهند رفت. غیرمعنادار به معنای "فرض صفر درست است" نیست: نتیجه غیرمعنادار تنها می‌گوید که اثر آن‌قدر بزرگ نبود که در این نمونه یافت شود؛ نمی‌گوید که اندازه آن صفر است. اثری به اندازه .000000001 در جامعه آماری صفر نیست، و در نمونه‌ای به اندازه کافی بزرگ آن هم "یافت خواهد شد"؛ از این رو نباید نتیجه غیرمعنادار را به "تفاوتی وجود ندارد" یا "رابطه‌ای وجود ندارد" تفسیر کرد. و معنادار به معنای "فرض صفر نادرست است" نیست: استنباط احتمالاتی چنین نتیجه‌گیری‌ای را مجاز نمی‌کند – Field این را با قیاسی درباره گروه Iron Maiden نشان می‌دهد: "اگر کسی گیتار بنوازد، بعید است عضو Iron Maiden باشد؛ این شخص عضو این گروه است؛ پس بعید است گیتار بنوازد" – و نتیجه نادرست است، زیرا نیمی از اعضای گروه گیتار می‌نوازند. معناداری درباره هیچ‌یک از دو فرضیه شاهدی فراهم نمی‌کند.

مشکل عملی بزرگ تفکر همه یا هیچ است (Field, 2024, Section 3.2.2): p = .0499 معنادار است و p = .0501 نیست، و از اعدادی که تفاوتشان .0002 است و اندازه اثر یکسانی را بازتاب می‌دهند، به نتایج متضادی می‌رسیم. Field ده پژوهش درباره یک داروی فرضی واحد را نشان می‌دهد: چهار معنادار و شش غیرمعنادار – و بر اساس دستورالعمل NHST، "شواهد متناقض‌اند". سپس به فاصله‌های اطمینان نگاه می‌کنیم: هر ده تفاوت مثبت‌اند، فاصله‌های اطمینان تا حد زیادی همپوشانی دارند، و بیشتر هر فاصله بالای صفر است – شاهدی پایدار بر اینکه اثر در جامعه آماری احتمالاً مثبت است. فاصله اطمینان پایداری‌ای را نشان می‌دهد که p پنهان می‌کند. در بخش "عقل سلیم" (بخش 3.5) او شش رهنمود انجمن آمار آمریکا را می‌آورد (Wasserstein & American Statistical Association, 2016, as cited in Field): p می‌تواند نشان دهد داده‌ها تا چه حد با فرض صفر ناسازگارند – و از مقدار دقیق آن استفاده می‌شود، نه از اینکه در کدام سوی آستانه است؛ p احتمال درستی فرضیه نیست، و احتمال اینکه داده‌ها تصادفی پدید آمده‌اند هم نیست؛ نتیجه‌گیری‌های علمی و تصمیم‌های سیاستی نباید تنها بر عبور از یک آستانه مبتنی باشند؛ نباید مقادیر p را گزینشی گزارش کرد، و گزارش می‌شود که چند فرضیه آزموده شده است؛ معناداری به معنای اهمیت عملی نیست؛ و p به‌تنهایی شاخص خوبی برای شواهد به نفع یک مدل یا فرضیه نیست.

6. اندازه اثر – عددی که همراه هر p می‌آید

پاسخ به انتقاد "معنادار به معنای مهم نیست" اندازه‌گیری اندازه اثر است: میزان اثر و جهت آن (Field, 2024, Section 3.7). دو نوع وجود دارد. خام – در واحدهای اندازه‌گیری اصلی: تفاوت 2 دقیقه‌ای میان گروه‌ها، ضریب b در رگرسیون که می‌گوید هر ساعت مشارکت چند امتیاز تعلق می‌افزاید. Field (به پیروی از Baguley) آن را سودمندترین راه برای کمّی کردن اثر می‌داند، زیرا مستقیماً فهمیده می‌شود – به شرط آنکه واحدها معنادار باشند. استانداردشده – در واحدهای انحراف معیار، برای مقایسه میان پژوهش‌هایی که متغیرهای متفاوتی را اندازه گرفته‌اند: d کوهن برای تفاوت میان میانگین‌ها، r برای رابطه، نسبت شانس برای پیامدهای دووجهی. بهای آن: شهود. "نیم انحراف معیار" در جهان واقعی یعنی چه؟ و در نبود فهم مستقیم، افراد به خط‌کش‌ها چنگ می‌زنند.

خط‌کش‌های Cohen (1988, 1992, as cited in Field, 2024, Sections 3.7.3-3.7.4) – d برابر .2 (کوچک)، .5 (متوسط)، .8 (بزرگ)؛ r برابر .10 (1% واریانس)، .30 (9%)، .50 (25%) – رایج‌اند، اما Field یادآوری می‌کند که خود کوهن اذعان داشت که این‌ها تفکر تنبلانه را تشویق می‌کنند و بافت اثر را نادیده می‌گیرند: ابزار اندازه‌گیری، هنجارهای حوزه. او از Lenth نقل می‌کند: هنگام تفسیر اندازه اثر، تی‌شرت سفارش نمی‌دهیم – "من اثر متالیکا را در سایز M برمی‌دارم". اثر در بافت سؤال پژوهش ارزیابی می‌شود: r = .30 میان مشارکت و تعلق، وقتی پای پیمایشی با ده‌ها متغیر زمینه‌ای در میان است یک یافته است، و وقتی تنها یافته به دست آمده باشد یافته‌ای دیگر. مزیت دیگر اندازه اثر (بخش 3.7.6): قاعده تصمیم ندارد. روی یک پیوستار تفسیر می‌شود، و از این رو میان .0499 و .0501 نمی‌شکند، و به پایان زودهنگام یا دیرهنگام گردآوری داده‌ها کمتر حساس است – هرچند در نمونه بزرگ بهتر برآورد می‌شود.

7. صورت‌بندی و گزارش‌دهی

در پیشنهاده پژوهش: سؤال پژوهش در یک جمله؛ فرضیه به‌عنوان توضیح؛ پیش‌بینی‌ها به‌عنوان گزاره‌های مشاهده‌پذیر، جهت‌دار یا بی‌جهت، هر یک با متغیرهایی که آن را اندازه می‌گیرند، آزمونی که آن را می‌آزماید و شاخص اثر؛ سطح معناداری؛ حجم نمونه برنامه‌ریزی‌شده و چگونگی تعیین آن (اندازه اثر برآوردشده، توان آماری). آنچه در اینجا صورت‌بندی نشده پیش‌بینی نیست – یافته‌ای اکتشافی است، و به همین عنوان گزارش می‌شود.

در فصل نتایج (Field, 2024, Sections 2.11 and 3.9): مقدار دقیق p – p = .023، نه p < .05 – زیرا رایانه آن را محاسبه می‌کند، و اطلاعات بیشتری از "زیر یک آستانه دلبخواهی" به خواننده می‌دهد؛ تنها استثنا p < .001 است که ارقام زیر آن جالب نیستند. فاصله اطمینان در کروشه، همراه با سطح آن: M = 30, 95% CI [20, 40]. و اندازه اثر در کنار هر p، زیرا p به حجم نمونه بستگی دارد: "تعلق در میان مشارکت‌کنندگان بیشتر بود، t(148) = 2.31, p = .022, d = 0.38, 95% CI [0.05, 0.71]". نتیجه غیرمعنادار به همین شکل گزارش می‌شود، با p دقیق و اندازه اثر – نه "تفاوتی یافت نشد". در سایت، همانند APA (2020، بخش 6.36)، ضرایبی که نمی‌توانند از 1 بیشتر شوند بدون صفر پیش از نقطه نوشته می‌شوند (p = .023، r = .30)؛ Field این قاعده را ذکر می‌کند و در کتابش ترجیح می‌دهد از آن پیروی نکند – جمله‌های گزارشی که ماشین‌حساب‌های سایت تولید می‌کنند از آن پیروی می‌کنند.

اشتباهات رایج

صورت‌بندی فرضیه به‌صورت پیش‌بینی. "تفاوتی میان گروه‌ها یافت خواهد شد" توضیح هیچ چیز نیست. فرضیه می‌گوید چرا؛ پیش‌بینی می‌گوید چه خواهیم دید. بدون "چرا"، وقتی پیش‌بینی شکست می‌خورد نظریه‌ای برای اصلاح وجود ندارد.

فرضیه‌ای که هر نتیجه‌ای آن را تأیید می‌کند. اگر افزایش تعلق از نظریه پشتیبانی کند، و کاهش آن نیز ("مقاومت اولیه")، و نبود تغییر نیز ("اثر تأخیری") – در اینجا پیش‌بینی‌ای وجود ندارد. پیش‌بینی چنان نوشته می‌شود که نتیجه‌ای مشخص آن را ابطال کند.

تعیین آزمون یک‌دامنه پس از دیدن p = .06. آزمون یک‌دامنه تنها زمانی موجه است که نتیجه مخالف به همان اقدامی می‌انجامید که نتیجه غیرمعنادار، و تنها اگر از پیش تعیین شده باشد. در غیر این صورت – دودامنه، و نتیجه معنادار نیست.

"کمی بیشتر گردآوری می‌کنیم و می‌بینیم." ادامه گردآوری تا معنادار شدن نتیجه، یا توقف در لحظه معنادار شدن آن، معنای p را از بین می‌برد. حجم نمونه از پیش با محاسبه توان آماری تعیین و رعایت می‌شود؛ اگر به دست نیامد، این موضوع گزارش می‌شود.

محاسبه توان آماری پس از پژوهش برای توضیح نتیجه غیرمعنادار. این کار دوری است: نتیجه غیرمعنادار همیشه "فاقد توان" به نظر خواهد رسید. توان آماری پیش از پژوهش و برای تعیین نمونه محاسبه می‌شود.

گزارش نتیجه معنادار و سکوت درباره بقیه. بیست آزمون، یکی معنادار – در آستانه .05 این دقیقاً همان چیزی است که به‌طور تصادفی انتظار می‌رود. گزارش می‌شود که چند فرضیه آزموده شده، و یافته‌ای که پیش‌بینی نشده بود به‌عنوان یافته اکتشافی و برای آزمودن در نمونه‌ای تازه عرضه می‌شود.

خواندن "غیرمعنادار" به‌عنوان "رابطه‌ای وجود ندارد". نتیجه غیرمعنادار شاهدی بر صفر نیست؛ شاهدی است بر اینکه این نمونه کافی نبود. فاصله اطمینان نشان می‌دهد کدام اندازه‌های اثر هنوز محتمل‌اند.

تکیه بر خط‌کش اندازه به جای بافت. "اثر متوسط" تفسیر نیست. پرسش این است که d = 0.4 در واحدهای اصلی چه می‌گوید، و در این پژوهش چه ارزشی دارد – برای کسی که یک برنامه محلی طراحی می‌کند، دو امتیاز در مقیاس تعلق 7 درجه‌ای یافته‌ای متفاوت است تا برای یک نظریه‌پرداز.

چک‌لیست – پیش از نخستین پرسشنامه

منابع

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.