فراتحلیل

بارگذاری داده‌ها

ستون‌ها را مستقیماً از کاربرگ بچسبانید (همراه با سطر عنوان) – در اکسل انتخاب کنید، کپی کنید و اینجا بچسبانید:

متغیرها و تنظیمات

چه زمانی استفاده می‌شود؟

وقتی چند پژوهش یک سؤال را بررسی کرده‌اند – یک مداخله در برابر کنترل، یک رابطه میان دو متغیر – و می‌خواهیم بدانیم با هم چه می‌گویند: اثر میانگین چیست، چقدر دقیق است، و آیا میان پژوهش‌ها سازگار است. فراتحلیل این کار را با میانگین وزنی اندازه‌های اثر انجام می‌دهد، که در آن پژوهش دقیق‌تر وزن بیشتری می‌گیرد. جایگزین آشنا – شمردن اینکه چند پژوهش معنادار شده‌اند – نادرست است: "شمارش آرا" نتیجه غیرمعنادار را شاهدی بر نبود اثر در نظر می‌گیرد، هرچند ممکن است از توان آماری پایین ناشی شود، و Hedges و Olkin نشان دادند که توان آن حتی ممکن است با افزایش تعداد پژوهش‌ها به صفر میل کند (به نقل از Borenstein et al., 2009، ص. 251-252). در مثال آنجا، پنج پژوهش که هیچ‌کدام معنادار نیست (p = .265) روی هم اثری معنادار می‌سازند (p = .013).

محاسبه بخش کوچک کار است. پیش از رسیدن به آن، سؤال تعریف‌شده، جست‌وجوی نظام‌مند، معیارهای ورود و کدگذاری لازم است – Harrer و همکاران (2021، ص. 9-11) دام‌ها را برمی‌شمارند: "سیب و پرتقال" (پژوهش‌هایی متفاوت‌تر از آن که بتوان وزن‌دهی‌شان کرد)، "زباله وارد، زباله خارج" (پژوهش‌های سوگیر)، "کشوی میز" (پژوهش‌های منتشرنشده)، و دستور کار پژوهشگر – که آخری را می‌توان با ثبت پیشاپیش برنامه تحلیل کاهش داد. فراتحلیل حساسیت و ویژگی آزمون‌های تشخیصی به مدل‌های دومتغیره نیاز دارد که هر دو را با هم وزن‌دهی می‌کنند (Macaskill et al., 2023, p. 203) – صفحه آن‌ها را اجرا نمی‌کند؛ برای یک آزمون – صفحه تحلیل ROC.

اندازه اثر

میانگین‌ها در دو گروه. وقتی همه پژوهش‌ها از یک مقیاس استفاده کرده‌اند – می‌توان تفاوت خام میانگین‌ها را وزن‌دهی کرد، که در واحدهای اصلی قابل فهم است؛ وقتی از ابزارهای متفاوت استفاده کرده‌اند – فقط تفاوت استانداردشده، یعنی تفاوت میانگین‌ها تقسیم بر انحراف معیار مشترک (Borenstein et al., 2009, p. 25). d در نمونه‌های کوچک "سوگیری اندکی دارد"، و از این رو به g هجز تصحیح می‌شود (همان، ص. 27). برای واریانس g چند فرمول وجود دارد، و خود Borenstein و همکاران یادآوری می‌کنند که نویسندگان مختلف "عبارت‌های اندکی متفاوت" داده‌اند (ص. 28) – "هم این و هم آن": صفحه مانند escalc در metafor محاسبه می‌کند (تصحیح دقیق، و واریانس با g²)، و کتاب از تصحیح تقریبی و واریانس d ضرب در J² استفاده می‌کند. تفاوت جز در نمونه‌های بسیار کوچک ناچیز است؛ در مثال کامل کتاب اثر وزنی 0.3585 در برابر 0.3582. جهت دلبخواهی است، اما باید یکسان باشد: اگر مثبت یعنی گروه آزمایش بهتر است، این باید درباره همه پژوهش‌ها صدق کند (همان، ص. 25).

جدول‌های 2×2. نسبت مخاطره و نسبت شانس شاخص‌های نسبی‌اند، "نسبتاً به تفاوت‌ها در نرخ پایه حساس نیستند"؛ تفاوت مخاطره مطلق است – به نرخ پایه حساس، اما گاهی "از نظر بالینی معنادارتر" (Borenstein et al., 2009, p. 38). نسبت‌ها در مقیاس لگاریتمی تحلیل و برای نمایش برگردانده می‌شوند (ص. 39). وقتی در پژوهشی خانه‌ای با صفر هست، صفحه به هر چهار خانه آن پژوهش نیم می‌افزاید، مانند escalc.

همبستگی‌ها. واریانس r به خود r وابسته است، و از این رو پس از تبدیل z فیشر وزن‌دهی می‌شود و برای نمایش به r برگردانده می‌شود (Borenstein et al., 2009, pp. 41-43).

همبستگی جزئی از ضریب رگرسیون. در پژوهش‌های سیاست‌گذاری، مدیریت دولتی و علوم اجتماعی بیشتر یافته‌ها به‌صورت ضرایب رگرسیون می‌آیند، و Ringquist (2013، ص. 104-105) توصیه می‌کند از آن‌ها در اندازه‌های اثر خانواده r استفاده شود: از t ضریب، r = t/√(t² + df) محاسبه می‌شود – همبستگی جزئی میان پیش‌بین و متغیر وابسته، صرف‌نظر از تعداد پیش‌بین‌ها در مدل؛ سوگیری کوچکی که از تعداد پیش‌بین‌ها پدید می‌آید در بیشتر موارد "ناچیز" است (ص. 105-106). علامت همان علامت ضریب است، و باید اطمینان یافت که جهت آن در همه پژوهش‌ها یکسان است (ص. 137-138). پژوهشی که فقط ستاره‌ها را گزارش کرده – مقدار آستانه t جای‌گذاری می‌شود، و همبستگی به‌دست‌آمده یک کران پایین است؛ پژوهشی که فقط نوشته "غیرمعنادار" – بهتر است r = 0 جای‌گذاری شود تا اینکه حذف شود، چون حذف "تقریباً به‌یقین" اثر میانگین را متورم می‌کند (ص. 108). "هم این و هم آن" در واریانس: Ringquist از واریانس معمول z فیشر، 1/(n − 3)، استفاده می‌کند (ص. 109)؛ صفحه مانند escalc("ZPCOR") در metafor محاسبه می‌کند، 1/(n − m − 2) با m پیش‌بین – تفاوت در نمونه‌های بزرگ کوچک است.

اثر از پیش محاسبه‌شده. وقتی پژوهش‌ها فقط اثر و فاصله اطمینان را گزارش کرده‌اند، خطای استاندارد برابر است با پهنای فاصله تقسیم بر 2 × 1.96؛ برای نسبت (OR, RR, HR) – در مقیاس لگاریتمی. برای g که به این شکل وارد می‌شود – بهتر است اطمینان یابید که تصحیح سوگیری از پیش اعمال شده است، چون صفحه نمی‌داند (Harrer et al., 2021, p. 105).

اثر ثابت یا اثرات تصادفی

در مدل اثر ثابت فرض می‌شود که همه پژوهش‌ها اثر واقعی یکسانی دارند، و فقط در خطای نمونه‌گیری متفاوت‌اند؛ در مدل اثرات تصادفی – اینکه اثر واقعی میان پژوهش‌ها تغییر می‌کند، و هدف میانگین توزیع اثرهاست (Borenstein et al., 2009, p. 77). اثر ثابت وقتی مناسب است که پژوهش‌ها "از نظر کارکردی یکسان" باشند و هدف تعمیم فراتر از آن‌ها نباشد – وضعیتی "نسبتاً نادر"؛ وقتی پژوهش‌ها را پژوهشگران مختلف انجام داده‌اند و از متون گردآوری شده‌اند، اثرات تصادفی "معمولاً معقول‌ترند" (ص. 83-86). Harrer و همکاران (2021، ص. 101) می‌افزایند که در علوم اجتماعی "مرسوم است که همیشه" از اثرات تصادفی استفاده شود، اما "هم این و هم آن": این مدل به پژوهش‌های کوچک وزن بیشتری می‌دهد، که گاهی سوگیرترند – و برخی استدلال کرده‌اند که اثر ثابت گاهی بهتر است (همان). کتاب‌های هر حوزه هم اثرات تصادفی را ترجیح می‌دهند: Ringquist (2013، ص. 33) – "همیشه"، مگر آنکه دلایل بسیار قوی برای فرض اثر ثابت وجود داشته باشد، چون نتیجه‌گیری‌های اثر ثابت فقط درباره پژوهش‌های گردآوری‌شده صدق می‌کنند (ص. 120-121)؛ Cooke (2024، ص. 133) – پژوهش‌های روان‌شناختی در تیم‌های مختلف به یک شیوه انجام نمی‌شوند، و از این رو "توجیه" اثر ثابت "دشوار است". و "هم این و هم آن": Kumar (2023، ص. 112-113) می‌نویسد که خود او تا وقتی واریانس زیاد نیست اثر ثابت را ترجیح می‌دهد، و اینکه بهتر است منابع ناهمگنی بررسی شوند تا اینکه مدل‌سازی شوند. صفحه هر دو را نمایش می‌دهد؛ پاراگراف اثرات تصادفی را گزارش می‌کند.

آنچه نباید انجام داد: شروع با اثر ثابت و رفتن به اثرات تصادفی اگر آزمون ناهمگنی معنادار شد – "باید قاطعانه از آن پرهیز کرد"، چون انتخاب به این فهم بستگی دارد که آیا پژوهش‌ها یک اثر مشترک دارند، و آزمون ضعیف است (Borenstein et al., 2009, p. 84)؛ مدل "در مرحله طراحی" انتخاب می‌شود (Kumar, 2023, p. 36). و تفاوتی دیگر: در اثرات تصادفی فاصله اطمینان همیشه پهن‌تر است، و حتی با پژوهش‌های عظیم به صفر کوچک نمی‌شود – چون تعداد پژوهش‌ها، نه اندازه آن‌ها، دقت میانگین را محدود می‌کند (ص. 80-81). وقتی پژوهش‌ها بسیار اندک‌اند، برآورد واریانس میان پژوهش‌ها دقیق نیست، و "هر یک از گزینه‌ها مشکل‌دار است" (ص. 84).

برآوردگر τ² و Knapp-Hartung

برآوردگر. واریانس میان پژوهش‌ها، τ²، را می‌توان به چند روش برآورد کرد. DerSimonian-Laird رایج‌ترین و پیش‌فرض نرم‌افزارهای قدیمی‌تر است، اما "ممکن است سوگیر باشد، به‌ویژه وقتی تعداد پژوهش‌ها کم و ناهمگنی زیاد است". رهنمودهای Harrer و همکاران (2021، ص. 102-103)، "هم این و هم آن": REML برای اثرهای پیوسته به‌عنوان نقطه شروع (و این پیش‌فرض metafor است)؛ Paule-Mandel برای اثرهای دووجهی؛ و DerSimonian-Laird وقتی می‌خواهیم دیگران نتیجه را بیرون از R هم بازتولید کنند. "قواعد آهنین در کار نیست"، و تفاوت‌ها معمولاً کوچک‌اند – بهتر است با برآوردگر دیگری دوباره اجرا شود و دیده شود که آیا تفسیر تغییر می‌کند. صفحه هر سه را ممکن می‌سازد.

Knapp-Hartung. فاصله اطمینان معمول عدم قطعیت در برآورد τ² را نادیده می‌گیرد. تصحیح Knapp و Hartung (با نام کامل HKSJ) خطای استاندارد دیگری محاسبه می‌کند و از توزیع t با k − 1 درجه آزادی استفاده می‌کند؛ در شبیه‌سازی‌ها با تعداد پژوهش‌هایی که در عمل رایج است "بسیار بهتر کار می‌کند" تا آزمون Wald، و در بررسی 689 فراتحلیل Cochrane، یک‌چهارم یافته‌های معنادار با روش معمول با آن معنادار نبودند (Stijnen et al., 2021, p. 51). Harrer و همکاران (2021، ص. 104) آن را "معمولاً معقول" می‌دانند، و یادآوری می‌کنند که برخی استدلال کرده‌اند در موارد نادرِ اثرهای بسیار همگن بیش از حد سهل‌گیر است. صفحه دو فاصله را کنار هم نمایش می‌دهد.

ناهمگنی و فاصله پیش‌بینی

چهار شاخص، و هر کدام نقشی دارد (Borenstein et al., 2009, pp. 119-122; Harrer et al., 2021, pp. 140-150): Q و p آن بررسی می‌کنند که آیا اصلاً واریانس واقعی وجود دارد – اما به تعداد پژوهش‌ها و اندازه آن‌ها حساس‌اند؛ τ² و τ – واریانس و انحراف معیار اثرهای واقعی، در واحدهای اثر؛ I² – بخشی از پراکندگی مشاهده‌شده که واقعی است و نه خطای نمونه‌گیری، "نسبت سیگنال به نویز" میان 0% و 100%. آستانه‌های Higgins و همکاران – 25%، 50%، 75% برای پایین، متوسط و بالا – "موقتی"اند (Borenstein et al., 2009, p. 119)، و I² نمی‌گوید اثرها چقدر پراکنده‌اند: I² نزدیک 100% می‌تواند از اثرهایی در دامنه‌ای باریک ناشی شود که با دقت زیاد برآورد شده‌اند (همان). I² به دقت پژوهش‌ها هم وابسته است – در پژوهش‌های عظیم به 100% میل می‌کند (Harrer et al., 2021, p. 149). کتاب‌ها در آستانه‌ها هم متفاوت‌اند: Kumar (2023، ص. 42) دامنه‌های هم‌پوشان Cochrane را می‌آورد – 0%-40% پایین، 30%-60% متوسط، 50%-90% چشمگیر، 75%-100% بسیار بالا – و هشدار می‌دهد که I² وقتی پژوهش‌ها اندک‌اند سوگیر است. و وقتی ناهمگنی بسیار بالاست، نخستین چیزی که باید بررسی شود اشتباهات تایپی در داده‌هاست (همان، ص. 43).

فاصله اطمینان برای ناهمگنی. "عدم قطعیت پیرامون τ² یا I² اغلب بسیار بزرگ است"، و از این رو "اشتباه خواهد بود" که برآورد صفر شاهدی بر سازگاری تفسیر شود، مگر آنکه فاصله مقادیر بزرگ را رد کند (Borenstein et al., 2009, p. 122). صفحه فاصله‌ها را با روش Q-profile محاسبه می‌کند، مانند metafor و meta (Harrer et al., 2021, pp. 148-149)؛ Borenstein و همکاران (2009، ص. 122-125) فرمولی ساده‌تر دارند، و این جای دیگری است که نرم‌افزارها در آن متفاوت‌اند.

فاصله پیش‌بینی. فاصله اطمینان می‌گوید میانگین چقدر دقیق است؛ فاصله پیش‌بینی – اثر واقعی در یک پژوهش جدید انتظار می‌رود کجا بیفتد، و از این رو "این دو سنجه جایگزین یکدیگر نیستند" (Borenstein et al., 2009, p. 131). هرچه تعداد پژوهش‌ها بیشتر شود، فاصله اطمینان به صفر کوچک می‌شود، و فاصله پیش‌بینی نه – به پراکندگی واقعی نزدیک می‌شود (ص. 132-133). اگر تمامش بالای صفر باشد، انتظار می‌رود مداخله در بافت‌های دیگر هم سودمند باشد؛ اگر صفر را در بر بگیرد – کمتر قطعی است (Harrer et al., 2021, p. 150). فرمول – "هم این و هم آن": Higgins و همکاران (به نقل از Borenstein et al., 2009، ص. 130) از t با k − 2 درجه آزادی استفاده می‌کنند، و صفحه همین را گزارش می‌کند؛ Harrer و همکاران (2021، ص. 150) – k − 1؛ و predict در metafor – توزیع نرمال (در کادر تفسیر نمایش داده می‌شود). Cooke (2024، ص. 165) – که اصلاً τ² را گزارش نمی‌کند (ص. 137) – توصیه می‌کند که "فاصله‌های پیش‌بینی به‌طور معمول گزارش شوند".

زیرگروه‌ها

تحلیل زیرگروه‌ها می‌پرسد آیا اثر میان انواع پژوهش‌ها متفاوت است – برنامه فردی در برابر گروهی، خودگزارشی در برابر ارزیابی متخصص. درون هر گروه – فراتحلیل معمولی، و سپس برآوردهای گروه‌ها با آزمون Q مقایسه می‌شوند، گویی هر گروه یک پژوهش بزرگ است (Harrer et al., 2021, pp. 184-185). یک پرسش باز – "هم این و هم آن" – این است که آیا τ² جداگانه در هر گروه برآورد شود یا یک مقدار مشترک: جداگانه، وقتی انتظار می‌رود پراکندگی میان گروه‌ها متفاوت باشد؛ مشترک، وقتی فرض می‌شود مشابه است، و نیز وقتی در یک گروه پنج پژوهش یا کمتر هست، چون آن‌گاه برآورد جداگانه دقیق نیست (Borenstein et al., 2009, pp. 162-163). صفحه هر دو را محاسبه می‌کند: آزمون Q_between با τ² جداگانه، و مدل آمیخته با τ² مشترک (Q_M، و نسبت واریانس تبیین‌شده R²؛ ص. 179).

سه هشدار (Harrer et al., 2021, pp. 188-190): توان آماری پایین است، و قاعده رایج دست‌کم 10 پژوهش است؛ نبود تفاوت معنادار اثبات برابری گروه‌ها نیست؛ و تحلیل "صرفاً مشاهده‌ای" است – حتی وقتی همه پژوهش‌ها کارآزمایی کنترل‌شده‌اند، گروه‌ها ممکن است در متغیرهای دیگری تفاوت داشته باشند (و نیز Borenstein et al., 2009، ص. 209). و دامی دیگر: تقسیم بر حسب داده‌ای تجمعی، مانند میانگین سن شرکت‌کنندگان، در معرض "سوگیری بوم‌شناختی" قرار می‌دهد – رابطه میان پژوهش‌ها رابطه میان افراد نیست (Harrer et al., 2021, p. 189). Cooke (2024، ص. 146) دست‌کم پنج پژوهش در هر گروه را توصیه می‌کند؛ Kumar (2023، ص. 57) قرارداد بالینی را می‌آورد که در آن p کوچک‌تر از .10 در آزمون تفاوت میان گروه‌ها معنادار شمرده می‌شود، چون آزمون ضعیف است. و Ringquist (2013، ص. 142) فراگرسیون – یک مدل با متغیر گروه به‌عنوان پیش‌بین – را بر فراتحلیل‌های جداگانه برای هر گروه، که "توان کمتری دارند"، ترجیح می‌دهد؛ این دقیقاً راه دوم در صفحه است (τ² مشترک).

سوگیری انتشار

پژوهش‌هایی با اثرهای بزرگ و معنادار بیشتر منتشر می‌شوند، و از این رو فراتحلیلی که بر متون منتشرشده تکیه دارد ممکن است بیش‌برآورد کند (Borenstein et al., 2009, p. 277). نمودار قیفی هر پژوهش را بر حسب اثر و خطای استاندارد آن نمایش می‌دهد؛ بدون سوگیری نقطه‌ها به‌طور متقارن پیرامون میانگین پخش می‌شوند، و پژوهش‌های کوچکی که در یک طرف غایب‌اند علامت هشدارند. آزمون Egger عدم تقارن را با رگرسیون بررسی می‌کند (Harrer et al., 2021, pp. 236-238)، و اصلاح و تکمیل (trim-and-fill) پژوهش‌های "گمشده" را تا متقارن شدن قیف تکمیل می‌کند و برآوردی تصحیح‌شده محاسبه می‌کند (Borenstein et al., 2009, p. 286).

اما – و این اصل مطلب است – هر دو روش "اثر پژوهش‌های کوچک" را شناسایی می‌کنند، نه سوگیری انتشار را: اثر ممکن است به دلایل واقعی (جمعیت متفاوت، دقت متفاوت، کیفیت متفاوت) یا به‌تصادف در پژوهش‌های کوچک بزرگ‌تر باشد (Borenstein et al., 2009, p. 291; Harrer et al., 2021, pp. 235-236). از این رو چنین بیان می‌شود: "اگر عدم تقارن از سوگیری ناشی باشد، تحلیل نشان می‌دهد که…". این آزمون‌ها ضعیف‌اند، و توصیه می‌شود فقط وقتی دست‌کم 10 پژوهش هست اجرا شوند (Sterne et al., 2011، به نقل از Harrer et al., 2021، ص. 242)، و از این رو نبود عدم تقارن معنادار تقارن را تضمین نمی‌کند (Borenstein et al., 2009, p. 291). اصلاح و تکمیل "وقتی ناهمگنی زیاد است نتایج قابل اعتمادی تولید نمی‌کند"، و اغلب به اندازه کافی تصحیح نمی‌کند (Harrer et al., 2021, pp. 243, 282)؛ و هیچ روشی وقتی I² حدود 75% است خوب عمل نمی‌کند (همان، ص. 282). روش‌های جدیدتر – PET-PEESE، p-curve، مدل‌های انتخاب – در این صفحه نیستند، و "هنوز برنده روشنی وجود ندارد" (همان، ص. 281). بهترین راه: جست‌وجوی پژوهش‌های منتشرنشده (همان).

"هم این و هم آن" درباره اصلاح و تکمیل: Borenstein و همکاران (2009، ص. 286) آن را به‌عنوان راهی برای برآورد اثر تصحیح‌شده معرفی می‌کنند، و Ringquist (2013، ص. 256) در پژوهش‌های سیاست‌گذاری و مدیریت دولتی اصلاً آن را توصیه نمی‌کند – وقتی واریانس واقعی میان اثرها هست، اثر میانگین را بسیار کم‌برآورد می‌کند. آزمون Egger هم وقتی ناهمگنی زیاد است بیش از حد سهل‌گیر می‌شود، و نرخ مثبت‌های کاذب آن ممکن است در فراتحلیل‌های بزرگ و ناهمگن به 100% نزدیک شود (Peters et al., 2006، به نقل از Ringquist, 2013، ص. 249). توصیه آنجا: جست‌وجوی جامع، از جمله در گزارش‌های دولتی و ادبیات خاکستری، و متغیر "منتشرشده / منتشرنشده" به‌عنوان زیرگروه (ص. 265-266).

روان‌شناسی، پژوهش بالینی، سیاست‌گذاری

روان‌شناسی. Cooke (2024) برای روان‌شناسان می‌نویسد، و دو اندازه اثر پیشنهاد می‌کند: r از پژوهش‌های پیمایشی و d (در این صفحه – g) از آزمایش‌ها و مداخله‌ها (ص. 1، 75). دو هشدار عملی: r = .5 همبستگی بزرگی است، اما d = .5 اثری متوسط است – و بیشتر dها در روان‌شناسی میان −0.50 و +0.50 قرار دارند، چنان‌که اگر بیشتر مقادیر شما بزرگ‌اند – "بهتر است محاسبات را بررسی کنید" (ص. 26، 29)؛ و ناهمگنی قاعده است، نه استثنا (ص. 135). وقتی پژوهشی چند سنجش یا چند زمان را گزارش کرده، یکی از راه‌ها انتخاب یا میانگین‌گیری از پیش است، و روش‌های چندسطحی امکان گنجاندن همه را می‌دهند (ص. 167-169) – که صفحه آن‌ها را اجرا نمی‌کند. ثبت پیشاپیش در PROSPERO و گزارش طبق PRISMA (ص. 46-47).

پژوهش بالینی. Kumar (2023) برای پژوهشگران بالینی می‌نویسد: فراتحلیل کارآزمایی‌های کنترل‌شده در رأس سلسله‌مراتب شواهد (ص. 1-2)، و گزارش طبق PRISMA (ص. 1، 3). برای پیامد دووجهی – نسبت مخاطره یا نسبت شانس برای وزن‌دهی، چون میان نرخ‌های پایه متفاوت پایدارترند، و تفاوت مخاطره برای نشان دادن سود بالینی (ص. 29)؛ برای پیامد پیوسته – تفاوت میانگین‌ها وقتی همه پژوهش‌ها با یک مقیاس سنجیده‌اند، و تفاوت استانداردشده فقط وقتی نه (ص. 27-28). اشتباهاتی که او بیش از همه می‌بیند: اشتباهات تایپی و جابه‌جایی اعداد، خطای استاندارد میانگین که به جای انحراف معیار وارد شده، و یک پژوهش دو بار (ص. 108-109). به نظر او دست‌کم 10 پژوهش برای نتیجه‌گیری معتبر لازم است (ص. 109) – شرطی سخت‌گیرانه‌تر از معمول، که Borenstein و همکاران (2009، ص. 84) آن را به شکل دیگری بیان می‌کنند: با پژوهش‌های اندک همه گزینه‌ها مشکل‌دارند.

سیاست‌گذاری و مدیریت دولتی. Ringquist (2013) برای حوزه‌ای پژوهشی می‌نویسد که در آن بیشتر پژوهش‌ها مشاهده‌ای‌اند، اثرها از رگرسیون‌ها می‌آیند (همبستگی جزئی – "اندازه اثر" را ببینید)، و ناهمگنی قاعده است (ص. 18، 33). شمردن پژوهش‌های معنادار آنجا به‌ویژه گمراه‌کننده است: بیست پژوهش با توان .50 نیمانیم تقسیم می‌شوند، و این نتیجه‌گیری که "شواهد متناقض‌اند" – "نادرست" است (ص. 24). از این رو به نظر او فراگرسیون "کانون اصلی" است (ص. 20)؛ یک پژوهش معمولاً چند اثر به دست می‌دهد، و وابستگی میان آن‌ها باید تصحیح شود (ص. 150-151) – دو کاری که صفحه انجام نمی‌دهد. آنچه صفحه ارائه می‌دهد: زیرگروه‌ها بر حسب یک متغیر پژوهش (بخش، نوع برنامه، منتشرشده / منتشرنشده) در مدل مشترک، مانند فراگرسیون با یک پیش‌بین طبقه‌ای.

خروجی را چگونه بخوانیم؟

جدول 1 – پژوهش‌ها: برای هر پژوهش – اندازه اثر، فاصله اطمینان، خطای استاندارد و وزن در دو مدل. نمودار 1 – نمودار جنگلی: همان پژوهش‌ها در نمودار، با یک لوزی برای هر اثر وزنی و یک خط برای فاصله پیش‌بینی. جدول 2 – اثر وزنی: اثر ثابت، اثرات تصادفی، و اثرات تصادفی با Knapp-Hartung. جدول 3 – ناهمگنی: Q، τ²، τ، I² و H² با فاصله اطمینان، و فاصله پیش‌بینی.

وقتی زیرگروهی انتخاب شود – جدول زیرگروه‌ها با برآورد هر گروه به دو روش و آزمون‌های تفاوت در یادداشت. از سه پژوهش به بالا – نمودار قیفی و جدول اثر پژوهش‌های کوچک (Egger، اصلاح و تکمیل)، و با یک کلیک – حذف هر پژوهش به نوبت: اگر حذف یک پژوهش تصویر را تغییر دهد، آن پژوهش اثرگذاری ویژه‌ای دارد (Harrer et al., 2021, p. 156).

مفروضه‌ها و هشدارها

یک اثر از یک پژوهش. کل محاسبه فرض می‌کند که هر سطر یک نمونه مستقل است. پژوهشی که چند پیامد را درباره همان شرکت‌کنندگان گزارش کرده (چند مقیاس، چند زمان سنجش) چند پژوهش نیست – وارد کردن همه آن‌ها "به برآوردهای نادرست واریانس منجر می‌شود" (Borenstein et al., 2009, p. 215)؛ یک پیامد بر پایه قاعده‌ای که از پیش تعیین شده انتخاب می‌شود، یا از روش‌های ویژه ساختارهای پیچیده استفاده می‌شود (همان، بخش 5)، که در این صفحه نیستند. زیرگروه‌های مستقل درون یک پژوهش (برای مثال کودکان و بزرگسالان) را می‌توان به‌صورت دو سطر وارد کرد (همان).

تقریب نرمال. تحلیل خطاهای استاندارد را معلوم و اثرها را دارای توزیع نرمال در نظر می‌گیرد – تقریبی که در نمونه‌های بزرگ و در مقیاس‌های مناسب (لگاریتم برای نسبت‌ها، z فیشر برای همبستگی‌ها) بهتر است؛ در پژوهش‌های بسیار کوچک یا رویدادهای نادر روش‌های دقیق ارجح‌اند (Stijnen et al., 2021, p. 43)، که در این صفحه نیستند.

آنچه این صفحه محاسبه نمی‌کند. فراگرسیون با پیش‌بین پیوسته، مدل‌های چندسطحی و چندمتغیره، فراتحلیل شبکه‌ای، روش‌های Mantel-Haenszel و Peto برای جدول‌های 2×2، آزمون Peters، PET-PEESE، p-curve و مدل‌های انتخاب، و فراتحلیل آزمون‌های تشخیصی. محدودیت‌ها: دست‌کم 2 پژوهش (3 برای فاصله پیش‌بینی و آزمون‌های پژوهش‌های کوچک)؛ پژوهش‌هایی با خانه گمشده در ستون‌های انتخاب‌شده – گنجانده نمی‌شوند، و صفحه اعلام می‌کند.

و این کار در SPSS چگونه انجام می‌شود؟

در نسخه‌های جدید SPSS Statistics منوی فراتحلیل (Analyze › Meta Analysis) بر حسب نوع داده‌ها وجود دارد – این اطلاعاتی کلی درباره نرم‌افزار است که اینجا بررسی نشده است. PSPP، جایگزین رایگان، فراتحلیل ندارد. از این رو صفحه به جای سینتکس SPSS یک اسکریپت R با داده‌های گنجانده‌شده در آن صادر می‌کند، که خروجی را با بسته metafor بازتولید می‌کند – و در R روی فایل نمونه اجرا شده است.

و این کار در R چگونه انجام می‌شود؟

بسته metafor (Viechtbauer, 2010): escalc اندازه اثر و واریانس هر پژوهش را محاسبه می‌کند، rma مدل را اجرا می‌کند (method – برآوردگر؛ test = "knha" – Knapp-Hartung؛ mods – پیش‌بین‌ها)، confint فاصله اطمینان برای ناهمگنی می‌دهد، و forest، funnel، regtest، trimfill و leave1out – بقیه را. Harrer و همکاران (2021) همین مطالب را با بسته meta آموزش می‌دهند. صفحه در همه اعداد خروجی در برابر metafor راستی‌آزمایی شده است، و اسکریپت زیر عیناً روی فایل نمونه اجرا شد (مقادیر در توضیحات).

# فراتحلیل – پروفسور استت. این فایل با UTF-8 ذخیره شده است؛ هر سطر توضیح با یک واژه فارسی آغاز می‌شود
library(readxl)    # خواندن اکسل
library(metafor)   # فراتحلیل (Viechtbauer, 2010)

# بارگذاری: سطر = پژوهش؛ کاربرگ "Data"
d <- read_excel("C:/Rdata/DATA_meta_example_eng.xlsx", sheet = "Data")
d <- d[complete.cases(d[, c("mean_mentor", "sd_mentor", "n_mentor", "mean_control", "sd_control", "n_control")]), ]   # 17 از 18

# اندازه اثر: g هجز (مربی‌گری منهای کنترل) و واریانس آن
d <- escalc(measure = "SMD", m1i = mean_mentor, sd1i = sd_mentor, n1i = n_mentor,
            m2i = mean_control, sd2i = sd_control, n2i = n_control, data = d)

# اثرات تصادفی (REML)، و در کنار آن اثر ثابت و Knapp-Hartung
re <- rma(yi, vi, data = d, method = "REML", slab = study)
re                                                      # g = 0.48 [0.34, 0.62]; Q(16) = 36.07, p = .003; I² = 51.8%
rma(yi, vi, data = d, method = "FE")                    # اثر ثابت: g = 0.49 [0.40, 0.58]
rma(yi, vi, data = d, method = "REML", test = "knha")   # روش Knapp-Hartung: [0.34, 0.62], t(16) = 7.35
confint(re)                                             # τ² = 0.042 [0.005, 0.111]; I² [11.3%, 74.1%]

# فاصله پیش‌بینی طبق Higgins و همکاران – t با k − 2 درجه آزادی (predict از توزیع نرمال استفاده می‌کند)
c(re$b) + c(-1, 1) * qt(.975, re$k - 2) * sqrt(re$tau2 + re$se^2)   # فاصله: [0.02, 0.94]

# نمودار جنگلی و نمودار قیفی
forest(re, addpred = TRUE)
funnel(re)

# زیرگروه‌ها بر حسب قالب (1 = گروهی، 2 = فردی): τ² جداگانه، و آزمون Q میان برآوردهای گروه‌ها
sub <- lapply(split(d, d$format), function(x) rma(yi, vi, data = x, method = "REML"))
sub                                                     # گروهی: g = 0.39 [0.23, 0.55]؛ فردی: g = 0.57 [0.35, 0.80]
rma(sapply(sub, coef), sapply(sub, vcov), method = "FE")   # آماره Q بین: Q(1) = 1.67, p = .196
rma(yi, vi, mods = ~ factor(format), data = d, method = "REML", control = list(threshold = 1e-10))   # τ² مشترک: QM(1) = 1.54, p = .214; R² = 16.0% (بدون control: 15.9%، توقف زودهنگام)

# اثر پژوهش‌های کوچک: آزمون Egger و اصلاح و تکمیل
regtest(rma(yi, vi, data = d, method = "FE"), model = "lm")   # عرض از مبدأ Egger: t(15) = -0.24, p = .812
trimfill(re)                                            # هیچ پژوهشی تکمیل نشد
leave1out(re)                                           # حذف هر پژوهش به نوبت

گزارش نتایج

مدل و برآوردگر τ² و اینکه آیا Knapp-Hartung اعمال شده گزارش می‌شوند – Harrer و همکاران (2021، ص. 104) نمونه‌ای از متن می‌آورند: "از آنجا که ناهمگنی چشمگیری میان پژوهش‌ها انتظار می‌رفت، از مدل اثرات تصادفی استفاده شد… برآوردگر REML برای محاسبه τ²… و تعدیل‌های Knapp-Hartung برای محاسبه فاصله اطمینان به کار رفت". و پس از آن: تعداد پژوهش‌ها و شرکت‌کنندگان؛ اثر وزنی با فاصله اطمینان؛ Q، τ² و I² با فاصله اطمینان، و فاصله پیش‌بینی (Harrer et al., 2021, p. 150)؛ زیرگروه‌ها و آزمون‌های سوگیری – چنان‌که از پیش برنامه‌ریزی شده‌اند. نمودار جنگلی بخش پذیرفته‌شده‌ای از گزارش است. پاراگرافی که صفحه تولید می‌کند نقطه شروع است.

اشتباهات رایج

شمردن پژوهش‌های معنادار به جای وزن‌دهی اثرها (Borenstein et al., 2009, pp. 251-252).

انتخاب مدل بر اساس آزمون ناهمگنی (Borenstein et al., 2009, p. 84; Harrer et al., 2021, p. 145).

خواندن I² به‌عنوان شاخص پراکندگی، یا I² صفر به‌عنوان شاهد سازگاری (Borenstein et al., 2009, pp. 119, 122) – و فراموش کردن فاصله پیش‌بینی.

وزن‌دهی تفاوت خام میانگین‌ها میان پژوهش‌هایی که از مقیاس‌های متفاوت استفاده کرده‌اند (Borenstein et al., 2009, p. 25)، یا آمیختن جهت‌ها – پژوهشی که در آن نمره بالا بد است با پژوهشی که در آن خوب است.

وارد کردن چند اثر از یک پژوهش گویی پژوهش‌های جداگانه‌اند (Borenstein et al., 2009, p. 215).

حکم به اینکه "سوگیری انتشار وجود ندارد" چون آزمون Egger معنادار نبود، یا اینکه "وجود دارد" چون معنادار بود (Borenstein et al., 2009, p. 291).

تفسیر زیرگروه‌ها به‌صورت علّی، یا تفاوت غیرمعنادار به‌عنوان برابری (Harrer et al., 2021, pp. 188-190).

برچسب "کوچک" یا "بزرگ" زدن به اثر بر اساس آستانه‌های Cohen بدون بافت – "آخرین راه‌حل" (Ellis, 2010, p. 42).

گزارش z فیشر گویی r است. مثال Cooke (2024، ص. 102-105) r = 0.546 [0.416, 0.676] گزارش می‌کند – اما این‌ها مقادیر z هستند: با بازگرداندن، همبستگی r = .50 [.39، .59] است، و طبق آستانه‌های خود کتاب (ص. 24) – متوسط و نه بزرگ. صفحه همیشه بازمی‌گرداند.

وارد کردن خطای استاندارد میانگین به جای انحراف معیار (Kumar, 2023, pp. 108-109) – اثر متورم می‌شود، و ناهمگنی بالا می‌رود.

حذف پژوهش‌هایی که فقط "غیرمعنادار" گزارش کرده‌اند – این کار اثر میانگین را متورم می‌کند (Ringquist, 2013, p. 108).

منابع

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to meta-analysis. Wiley. https://doi.org/10.1002/9780470743386

Cooke, R. (2024). Meta-analysis for psychologists. Palgrave Macmillan. https://doi.org/10.1007/978-3-031-73773-2

Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press. https://doi.org/10.1017/CBO9780511761676

Harrer, M., Cuijpers, P., Furukawa, T. A., & Ebert, D. D. (2021). Doing meta-analysis with R: A hands-on guide. Chapman & Hall/CRC. https://doi.org/10.1201/9781003107347

Kumar, A. (2023). Meta-analysis in clinical research: Principles and procedures. Springer. https://doi.org/10.1007/978-981-99-2370-0

Macaskill, P., Takwoingi, Y., Deeks, J. J., & Gatsonis, C. (2023). Understanding meta-analysis. In J. J. Deeks, P. M. Bossuyt, M. M. Leeflang, & Y. Takwoingi (Eds.), Cochrane handbook for systematic reviews of diagnostic test accuracy (pp. 203-248). Wiley.

Ringquist, E. J. (2013). Meta-analysis for public management and policy (M. R. Anderson, Ed.). Jossey-Bass.

Stijnen, T., White, I. R., & Schmid, C. H. (2021). Analysis of univariate study-level summary data using normal models. In C. H. Schmid, T. Stijnen, & I. R. White (Eds.), Handbook of meta-analysis (pp. 41-64). Chapman & Hall/CRC. https://doi.org/10.1201/9781315119403

Viechtbauer, W. (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1-48. https://doi.org/10.18637/jss.v036.i03

Hedges و Olkin (1980)، Higgins و همکاران، و Duval و Tweedie (2000) – به نقل از Borenstein و همکاران (2009)؛ Sterne و همکاران (2011)، Schwarzer و همکاران (2015)، Pustejovsky و Rodgers (2019) و van Aert و همکاران (2016) – به نقل از Harrer و همکاران (2021). Peters و همکاران (2006) – به نقل از Ringquist (2013). طبق قاعده سایت، در فهرست منابع فقط منابعی می‌آیند که اصل آن‌ها خوانده شده است؛ ارجاع‌ها بر اساس صفحه چاپی‌اند. از میان کتاب‌های پوشه "فراتحلیل"، Cooper و همکاران (2019)، Cheung (2015) و Chen و Peace (2021) در این صفحه ارجاع داده نشده‌اند – موضوعات آن‌ها (سنتز گسترده پژوهش، SEM، Stata) بیرون از دامنه صفحه است. از نسخه 2 – سه کتاب ویژه هر حوزه هم: Cooke (2024) برای روان‌شناسی، Kumar (2023) برای پژوهش بالینی و Ringquist (2013) برای سیاست‌گذاری و مدیریت دولتی. محاسبه صفحه در برابر R 4.3.3 و بسته metafor 4.4 (escalc، rma، confint، predict، regtest، trimfill، leave1out)، و در برابر مثال‌های محاسبه‌شده در فصل‌های 14 و 17 Borenstein و همکاران (2009) و دو مثال Cooke (2024، جدول‌های 7.3 و 10.1) راستی‌آزمایی شده است.