מטה-אנליזה

מחשבון

טעינת הנתונים

מדביקים עמודות ישירות מהגיליון (כולל שורת הכותרות) – מסמנים באקסל, מעתיקים, ומדביקים כאן:

בחירת המשתנים והגדרות

מדריך

מתי משתמשים?

כשיש כמה מחקרים שבדקו אותה שאלה – אותה התערבות מול ביקורת, אותו קשר בין שני משתנים – ורוצים לדעת מה הם אומרים יחד: מה האפקט הממוצע, כמה הוא מדויק, והאם הוא עקבי בין המחקרים. מטה-אנליזה עושה זאת בממוצע משוקלל של גודלי האפקט, שבו מחקר מדויק יותר מקבל משקל רב יותר. החלופה המוכרת – לספור כמה מחקרים יצאו מובהקים – שגויה: "ספירת קולות" מתייחסת לתוצאה לא מובהקת כעדות להיעדר אפקט, אף שהיא יכולה לנבוע מעוצמה נמוכה, ו-Hedges ו-Olkin הראו שהעוצמה שלה עלולה אף לשאוף לאפס ככל שמספר המחקרים גדל (כמצוטטים אצל Borenstein et al., 2009, עמ' 251-252). בדוגמה שם, חמישה מחקרים שכל אחד מהם לא מובהק (p = .265) מצטברים לאפקט מובהק (p = .013).

החישוב הוא החלק הקטן. לפני שמגיעים אליו יש שאלה מוגדרת, חיפוש שיטתי, קריטריונים להכללה וקידוד – Harrer ועמיתיו (2021, עמ' 9-11) מונים את המלכודות: "תפוחים ותפוזים" (מחקרים שונים מכדי לשקלל), "זבל נכנס, זבל יוצא" (מחקרים מוטים), "המגירה" (מחקרים שלא פורסמו), וסדר היום של החוקר – שאת האחרון אפשר לצמצם ברישום מוקדם של תוכנית הניתוח. מטה-אנליזה של רגישות וסגוליות של בדיקות אבחון דורשת מודלים דו-משתניים, שמשקללים את שתיהן יחד (Macaskill et al., 2023, p. 203) – העמוד אינו מריץ אותם; לבדיקה אחת – עמוד ניתוח ROC.

גודל האפקט

ממוצעים בשתי קבוצות. כשכל המחקרים השתמשו באותו סולם – אפשר לשקלל את הפרש הממוצעים הגולמי, שמובן ביחידות המקור; כשהשתמשו בכלים שונים – רק הפרש מתוקנן, הפרש הממוצעים חלקי סטיית התקן המשותפת (Borenstein et al., 2009, p. 25). ל-d "יש הטיה קלה" במדגמים קטנים, ולכן מתקנים אותו ל-g של Hedges (שם, עמ' 27). לשונות של g יש כמה נוסחאות, ו-Borenstein ועמיתיו עצמם מציינים ש"ביטויים מעט שונים" ניתנו על ידי מחברים שונים (עמ' 28) – "גם וגם": העמוד מחשב כמו escalc ב-metafor (תיקון מדויק, ושונות עם g²), והספר משתמש בתיקון מקורב ובשונות של d כפול J². ההבדל זניח מלבד במדגמים זעירים; בדוגמה המלאה של הספר האפקט המשוקלל 0.3585 לעומת 0.3582. הכיוון שרירותי, אבל חייב להיות אחיד: אם חיובי פירושו שקבוצת הניסוי טובה יותר, זה צריך לחול על כל המחקרים (שם, עמ' 25).

טבלאות 2×2. יחס סיכונים ויחס סיכויים הם מדדים יחסיים, "יחסית לא רגישים להבדלים בשיעור הבסיס"; הפרש הסיכונים מוחלט – רגיש לשיעור הבסיס, אבל לעיתים "משמעותי יותר קלינית" (Borenstein et al., 2009, p. 38). היחסים מנותחים בלוג ומומרים חזרה להצגה (עמ' 39). כשיש במחקר תא של אפס, העמוד מוסיף חצי לכל ארבעת התאים של אותו מחקר, כמו escalc.

מתאמים. השונות של r תלויה ב-r עצמו, ולכן משקללים אחרי טרנספורמציית z של פישר וממירים חזרה ל-r להצגה (Borenstein et al., 2009, pp. 41-43).

מתאם חלקי ממקדם רגרסיה. במחקרי מדיניות, מינהל ומדעי החברה רוב הממצאים מגיעים כמקדמי רגרסיה, ו-Ringquist (2013, עמ' 104-105) ממליץ להשתמש בהם בגודלי אפקט ממשפחת r: מה-t של המקדם מחשבים r = t/√(t² + df) – המתאם החלקי בין המנבא למשתנה התלוי, בלי קשר למספר המנבאים במודל; ההטיה הקטנה שנוצרת ממספר המנבאים "זניחה" ברוב המקרים (עמ' 105-106). הסימן הוא של המקדם, ויש לוודא שהוא מכוון אחיד בכל המחקרים (עמ' 137-138). מחקר שדיווח רק כוכביות – מציבים את ערך הסף של t, והמתאם שמתקבל הוא גבול תחתון; מחקר שכתב רק "לא מובהק" – עדיף להציב r = 0 מלהשמיט אותו, כי השמטה "כמעט בוודאות תנפח" את האפקט הממוצע (עמ' 108). "גם וגם" בשונות: Ringquist משתמש בשונות של z של פישר הרגילה, 1/(n − 3) (עמ' 109); העמוד מחשב כמו escalc("ZPCOR") ב-metafor, 1/(n − m − 2) עם m מנבאים – ההבדל קטן במדגמים גדולים.

אפקט מחושב מראש. כשמחקרים דיווחו רק אפקט ורווח סמך, טעות התקן היא רוחב הרווח חלקי 2 × 1.96; ליחס (OR, RR, HR) – בסולם הלוג. ל-g שמוזן כך – כדאי לוודא שהתיקון להטיה כבר הוחל, כי העמוד אינו יודע (Harrer et al., 2021, p. 105).

אפקט קבוע או אפקטים אקראיים

במודל אפקט קבוע מניחים שלכל המחקרים אותו אפקט אמיתי, והם נבדלים רק בטעות הדגימה; במודל אפקטים אקראיים – שהאפקט האמיתי משתנה בין מחקרים, והמטרה היא הממוצע של התפלגות האפקטים (Borenstein et al., 2009, p. 77). אפקט קבוע מתאים כשהמחקרים "זהים מבחינה תפקודית" והמטרה אינה להכליל מעבר להם – מצב "נדיר יחסית"; כשהמחקרים נעשו בידי חוקרים שונים ונאספו מהספרות, אפקטים אקראיים "סבירים יותר בדרך כלל" (עמ' 83-86). Harrer ועמיתיו (2021, עמ' 101) מוסיפים שבמדעי החברה "מקובל להשתמש תמיד" באפקטים אקראיים, אבל "גם וגם": המודל נותן משקל רב יותר למחקרים קטנים, שלעיתים מוטים יותר – ויש שטענו שאפקט קבוע עדיף לפעמים (שם). גם הספרים לפי תחום מעדיפים אפקטים אקראיים: Ringquist (2013, עמ' 33) – "תמיד", אלא אם יש סיבות חזקות במיוחד להניח אפקט קבוע, כי מסקנות של אפקט קבוע חלות רק על המחקרים שנאספו (עמ' 120-121); Cooke (2024, עמ' 133) – מחקרים פסיכולוגיים אינם נערכים באותו אופן בצוותים שונים, ולכן "קשה להצדיק" אפקט קבוע. ו"גם וגם": Kumar (2023, עמ' 112-113) כותב שהוא עצמו מעדיף אפקט קבוע כל עוד השונות אינה רבה, ושעדיף לחקור את מקורות ההטרוגניות מאשר למדל אותם. העמוד מציג את שניהם; הפסקה מדווחת אפקטים אקראיים.

מה לא לעשות: להתחיל באפקט קבוע ולעבור לאפקטים אקראיים אם מבחן ההטרוגניות מובהק – "צריך להירתע מכך בתוקף", כי הבחירה תלויה בהבנה אם המחקרים חולקים אפקט אחד, והמבחן חלש (Borenstein et al., 2009, p. 84); את המודל בוחרים "בשלב התכנון" (Kumar, 2023, p. 36). ועוד הבדל: באפקטים אקראיים רווח הסמך תמיד רחב יותר, ואינו מצטמצם לאפס גם עם מחקרים ענקיים – כי מספר המחקרים, לא גודלם, מגביל את הדיוק של הממוצע (עמ' 80-81). כשיש מעט מאוד מחקרים, האומדן של השונות בין המחקרים אינו מדויק, ו"כל אחת מהאפשרויות בעייתית" (עמ' 84).

אומד τ² ו-Knapp-Hartung

האומד. את השונות בין המחקרים, τ², אפשר לאמוד בכמה דרכים. DerSimonian-Laird הוא הנפוץ ביותר וברירת המחדל בתוכנות ותיקות, אבל "עלול להיות מוטה, במיוחד כשמספר המחקרים קטן וההטרוגניות גבוהה". ההנחיות של Harrer ועמיתיו (2021, עמ' 102-103), "גם וגם": REML לאפקטים רציפים כנקודת פתיחה (וזו ברירת המחדל של metafor); Paule-Mandel לאפקטים בינאריים; ו-DerSimonian-Laird כשרוצים שאחרים ישחזרו את התוצאה גם מחוץ ל-R. "אין כללי ברזל", וההבדלים בדרך כלל קטנים – כדאי להריץ שוב באומד אחר ולראות אם הפרשנות משתנה. העמוד מאפשר שלושתם.

Knapp-Hartung. רווח הסמך הרגיל מתעלם מאי-הוודאות באומדן τ². התיקון של Knapp ו-Hartung (ובשמו המלא HKSJ) מחשב טעות תקן אחרת ומשתמש בהתפלגות t עם k − 1 דרגות חופש; בסימולציות הוא "עובד הרבה יותר טוב" ממבחן Wald במספרי המחקרים המקובלים בפועל, ובבדיקה של 689 מטה-אנליזות של Cochrane, רבע מהממצאים המובהקים בשיטה הרגילה לא היו מובהקים איתו (Stijnen et al., 2021, p. 51). Harrer ועמיתיו (2021, עמ' 104) רואים בו "בדרך כלל הגיוני", ומציינים שיש מי שטענו שבמקרים נדירים של אפקטים הומוגניים מאוד הוא מקל מדי. העמוד מציג את שני הרווחים זה לצד זה.

הטרוגניות ורווח ניבוי

ארבעה מדדים, ולכל אחד תפקיד (Borenstein et al., 2009, pp. 119-122; Harrer et al., 2021, pp. 140-150): Q ו-p שלו בודקים אם יש בכלל שונות אמיתית – אבל רגישים למספר המחקרים ולגודלם; τ² ו-τ – השונות וסטיית התקן של האפקטים האמיתיים, ביחידות של האפקט; I² – חלק הפיזור הנצפי שהוא אמיתי ולא טעות דגימה, "יחס אות לרעש" בין 0% ל-100%. ספי Higgins ועמיתיו – 25%, 50%, 75% לנמוך, בינוני וגבוה – "זמניים" (Borenstein et al., 2009, p. 119), ו-I² אינו אומר כמה האפקטים מפוזרים: I² קרוב ל-100% יכול לבוא מאפקטים בטווח צר שנאמדו בדיוק רב (שם). גם I² תלוי בדיוק המחקרים – במחקרים ענקיים הוא שואף ל-100% (Harrer et al., 2021, p. 149). גם הספרים נבדלים בספים: Kumar (2023, עמ' 42) מביא את הטווחים החופפים של Cochrane – 0%-40% נמוך, 30%-60% בינוני, 50%-90% ניכר, 75%-100% גבוה מאוד – ומזהיר ש-I² מוטה כשיש מעט מחקרים. וכשההטרוגניות גבוהה במיוחד, הדבר הראשון לבדוק הוא טעויות הקלדה בנתונים (שם, עמ' 43).

רווחי סמך להטרוגניות. "אי-הוודאות סביב τ² או I² לעיתים קרובות גדולה מאוד", ולכן "יהיה זה טעות" לפרש אומדן של אפס כעדות לעקביות, אלא אם הרווח שולל ערכים גדולים (Borenstein et al., 2009, p. 122). העמוד מחשב את הרווחים בשיטת Q-profile, כמו metafor ו-meta (Harrer et al., 2021, pp. 148-149); ל-Borenstein ועמיתיו (2009, עמ' 122-125) יש נוסחה פשוטה יותר, וזה עוד מקום שבו התוכנות נבדלות.

רווח ניבוי. רווח הסמך אומר כמה מדויק הממוצע; רווח הניבוי – איפה צפוי ליפול האפקט האמיתי במחקר חדש, ולכן "שתי המידות אינן ניתנות להחלפה" (Borenstein et al., 2009, p. 131). ככל שמספר המחקרים גדל, רווח הסמך מצטמצם לאפס, ורווח הניבוי לא – הוא מתקרב לפיזור האמיתי (עמ' 132-133). אם כולו מעל האפס, ההתערבות צפויה להועיל גם בהקשרים אחרים; אם הוא כולל את האפס – פחות בטוח (Harrer et al., 2021, p. 150). הנוסחה – "גם וגם": Higgins ועמיתיו (כמצוטטים אצל Borenstein et al., 2009, עמ' 130) משתמשים ב-t עם k − 2 דרגות חופש, וזה מה שהעמוד מדווח; Harrer ועמיתיו (2021, עמ' 150) – k − 1; ו-predict ב-metafor – התפלגות נורמלית (מוצג בתיבת הקריאה). Cooke (2024, עמ' 165) – שאינו מדווח כלל את τ² (עמ' 137) – ממליץ ש"רווחי ניבוי ידווחו באופן שגרתי".

תת-קבוצות

ניתוח תת-קבוצות שואל אם האפקט שונה בין סוגי מחקרים – תוכנית פרטנית מול קבוצתית, דיווח עצמי מול הערכת מומחה. בתוך כל קבוצה – מטה-אנליזה רגילה, ואז משווים את אומדני הקבוצות במבחן Q, כאילו כל קבוצה היא מחקר אחד גדול (Harrer et al., 2021, pp. 184-185). שאלה פתוחה – "גם וגם" – היא אם לאמוד τ² נפרד בכל קבוצה או אחד משותף: נפרד, כשמצפים שהפיזור שונה בין הקבוצות; משותף, כשמניחים שהוא דומה, וגם כשבקבוצה חמישה מחקרים או פחות, כי אז האומדן הנפרד אינו מדויק (Borenstein et al., 2009, pp. 162-163). העמוד מחשב את שניהם: מבחן Q_between עם τ² נפרד, ומודל מעורב עם τ² משותף (Q_M, ושיעור השונות המוסברת R²; עמ' 179).

שלוש אזהרות (Harrer et al., 2021, pp. 188-190): העוצמה נמוכה, והכלל המקובל הוא לפחות 10 מחקרים; היעדר הבדל מובהק אינו הוכחה שהקבוצות שוות; והניתוח "תצפיתי בלבד" – גם כשכל המחקרים ניסויים מבוקרים, הקבוצות עשויות להיבדל במשתנים אחרים (וגם Borenstein et al., 2009, עמ' 209). ועוד מלכודת: חלוקה לפי נתון מצרפי, כמו גיל ממוצע של המשתתפים, חושפת ל"הטיה אקולוגית" – קשר בין מחקרים אינו קשר בין אנשים (Harrer et al., 2021, p. 189). Cooke (2024, עמ' 146) ממליץ על חמישה מחקרים לפחות בכל קבוצה; Kumar (2023, עמ' 57) מביא את המוסכמה הקלינית שבה p קטן מ-.10 במבחן ההבדל בין הקבוצות כבר נחשב מובהק, כי המבחן חלש. ו-Ringquist (2013, עמ' 142) מעדיף מטה-רגרסיה – מודל אחד עם משתנה הקבוצה כמנבא – על פני מטה-אנליזות נפרדות לכל קבוצה, ש"פחות עוצמתיות"; זו בדיוק הדרך השנייה בעמוד (τ² משותף).

הטיית פרסום

מחקרים עם אפקטים גדולים ומובהקים מתפרסמים יותר, ולכן מטה-אנליזה שנשענת על הספרות המפורסמת עלולה לאמוד ביתר (Borenstein et al., 2009, p. 277). תרשים המשפך מציג כל מחקר לפי האפקט וטעות התקן שלו; בלי הטיה הנקודות מתפזרות סימטרית סביב הממוצע, ומחקרים קטנים שחסרים בצד אחד הם סימן אזהרה. מבחן Egger בודק את האסימטריה ברגרסיה (Harrer et al., 2021, pp. 236-238), וגזום-ומלא משלים מחקרים "חסרים" עד שהמשפך סימטרי ומחשב אומדן מתוקן (Borenstein et al., 2009, p. 286).

אבל – וזה העיקר – שתי השיטות מזהות "אפקט של מחקרים קטנים", לא הטיית פרסום: האפקט עשוי להיות גדול יותר במחקרים קטנים מסיבות אמיתיות (אוכלוסייה שונה, הקפדה שונה, איכות שונה), או במקרה (Borenstein et al., 2009, p. 291; Harrer et al., 2021, pp. 235-236). לכן מנסחים "אם האסימטריה נובעת מהטיה, הניתוח מעיד ש…". המבחנים חלשים, ומומלץ להריץ אותם רק כשיש לפחות 10 מחקרים (Sterne et al., 2011, כמצוטטים אצל Harrer et al., 2021, עמ' 242), ולכן היעדר אסימטריה מובהקת אינו מבטיח סימטריה (Borenstein et al., 2009, p. 291). גזום-ומלא "אינו מפיק תוצאות אמינות כשההטרוגניות גדולה", ולעיתים קרובות אינו מתקן מספיק (Harrer et al., 2021, pp. 243, 282); ואין שיטה שמתפקדת היטב כש-I² סביב 75% (שם, עמ' 282). שיטות חדשות יותר – PET-PEESE, p-curve, מודלי בחירה – אינן בעמוד, ו"אין עדיין מנצח ברור" (שם, עמ' 281). הדרך הטובה ביותר: חיפוש של מחקרים שלא פורסמו (שם).

"גם וגם" לגבי גזום-ומלא: Borenstein ועמיתיו (2009, עמ' 286) מציגים אותו כדרך לאמוד אפקט מתוקן, ו-Ringquist (2013, עמ' 256) אינו ממליץ עליו כלל במחקרי מדיניות ומינהל – כשיש שונות של ממש בין האפקטים הוא ממעיט מאוד באפקט הממוצע. גם מבחן Egger הופך מקל מדי כשההטרוגניות גדולה, ושיעור החיוביים-השגויים בו עלול להתקרב ל-100% במטה-אנליזות גדולות והטרוגניות (Peters et al., 2006, כמצוטטים אצל Ringquist, 2013, עמ' 249). ההמלצה שם: חיפוש ממצה גם בדוחות ממשלתיים ובספרות האפורה, ומשתנה "פורסם / לא פורסם" כתת-קבוצה (עמ' 265-266).

פסיכולוגיה, מחקר קליני, מדיניות

פסיכולוגיה. Cooke (2024) כותב לפסיכולוגים, ומציע שני גודלי אפקט: r ממחקרי סקר ו-d (בעמוד – g) מניסויים והתערבויות (עמ' 1, 75). שתי אזהרות מעשיות: r = .5 הוא מתאם גדול, אבל d = .5 הוא אפקט בינוני – ורוב ה-d בפסיכולוגיה נעים בין −0.50 ל-+0.50, כך שאם רוב הערכים שלכם גדולים – "כדאי לבדוק את החישובים" (עמ' 26, 29); והטרוגניות היא הכלל, לא החריג (עמ' 135). כשמחקר דיווח כמה מדידות או כמה מועדים, אחת הדרכים היא לבחור או למצע מראש, ושיטות רב-רמתיות מאפשרות לכלול את כולן (עמ' 167-169) – אותן העמוד אינו מריץ. רישום מוקדם ב-PROSPERO ודיווח לפי PRISMA (עמ' 46-47).

מחקר קליני. Kumar (2023) כותב לחוקרים קליניים: מטה-אנליזה של ניסויים מבוקרים בראש היררכיית הראיות (עמ' 1-2), ודיווח לפי PRISMA (עמ' 1, 3). לתוצאה בינארית – יחס סיכונים או יחס סיכויים לשקלול, כי הם יציבים יותר בין שיעורי בסיס שונים, והפרש סיכונים כדי להראות את התועלת הקלינית (עמ' 29); לתוצאה רציפה – הפרש ממוצעים כשכל המחקרים מדדו באותו סולם, והפרש מתוקנן רק כשלא (עמ' 27-28). הטעויות שהוא פוגש הכי הרבה: טעויות הקלדה והחלפת מספרים, טעות תקן של הממוצע שהוזנה במקום סטיית תקן, ואותו מחקר פעמיים (עמ' 108-109). לדעתו צריך לפחות 10 מחקרים למסקנה תקפה (עמ' 109) – דרישה מחמירה מהמקובל, ש-Borenstein ועמיתיו (2009, עמ' 84) מנסחים אחרת: עם מעט מחקרים כל האפשרויות בעייתיות.

מדיניות ומינהל ציבורי. Ringquist (2013) כותב למחקר שבו רוב המחקרים תצפיתיים, האפקטים מגיעים מרגרסיות (מתאם חלקי – ראו "גודל האפקט"), וההטרוגניות היא הכלל (עמ' 18, 33). ספירת מחקרים מובהקים מטעה במיוחד שם: עשרים מחקרים בעוצמה של .50 מתחלקים חצי-חצי, והמסקנה ש"הראיות חלוקות" – "שגויה" (עמ' 24). לכן לדעתו מטה-רגרסיה היא "המוקד העיקרי" (עמ' 20); מחקר נותן בדרך כלל כמה אפקטים, ואת התלות ביניהם צריך לתקן (עמ' 150-151) – שתי פעולות שהעמוד אינו עושה. מה שהעמוד כן נותן: תת-קבוצות לפי משתנה מחקר (מגזר, סוג תוכנית, פורסם / לא פורסם) במודל משותף, כמו מטה-רגרסיה עם מנבא קטגוריאלי אחד.

איך קוראים את הפלט?

לוח 1 – המחקרים: לכל מחקר – גודל האפקט, רווח הסמך, טעות התקן והמשקל בשני המודלים. תרשים 1 – תרשים יער: אותם מחקרים בגרף, עם מעוין לכל אפקט משוקלל וקו לרווח הניבוי. לוח 2 – האפקט המשוקלל: אפקט קבוע, אפקטים אקראיים, ואפקטים אקראיים עם Knapp-Hartung. לוח 3 – הטרוגניות: Q, τ², τ, I² ו-H² עם רווחי סמך, ורווח הניבוי.

כשבוחרים תת-קבוצה – לוח תת-קבוצות עם האומדן בכל קבוצה בשתי הדרכים ומבחני ההבדל בהערה. משלושה מחקרים ומעלה – תרשים משפך ולוח של אפקט המחקרים הקטנים (Egger, גזום-ומלא), ובלחיצה – השמטת כל מחקר בתורו: אם השמטת מחקר אחד משנה את התמונה, הוא משפיע במיוחד (Harrer et al., 2021, p. 156).

הנחות ואזהרות

אפקט אחד ממחקר אחד. כל החישוב מניח שכל שורה היא מדגם בלתי-תלוי. מחקר שדיווח כמה תוצאות על אותם משתתפים (כמה סולמות, כמה מועדי מדידה) אינו כמה מחקרים – הכנסת כולן "תוביל לאומדנים שגויים של השונות" (Borenstein et al., 2009, p. 215); בוחרים תוצאה אחת לפי כלל שנקבע מראש, או משתמשים בשיטות למבנים מורכבים (שם, חלק 5), שאינן בעמוד. תת-קבוצות בלתי-תלויות בתוך מחקר (למשל ילדים ומבוגרים) אפשר להכניס כשתי שורות (שם).

קירוב נורמלי. הניתוח מתייחס לטעויות התקן כידועות ולאפקטים כמתפלגים נורמלית – קירוב שטוב יותר במדגמים גדולים ובסולמות המתאימים (לוג ליחסים, z של פישר למתאמים); במחקרים זעירים או באירועים נדירים עדיפות שיטות מדויקות (Stijnen et al., 2021, p. 43), שאינן בעמוד.

מה העמוד אינו מחשב. מטה-רגרסיה עם מנבא רציף, מודלים רב-רמתיים ורב-משתניים, מטה-אנליזה רשת, שיטות Mantel-Haenszel ו-Peto לטבלאות 2×2, מבחן Peters, PET-PEESE, p-curve ומודלי בחירה, ומטה-אנליזה של בדיקות אבחון. גבולות: 2 מחקרים לפחות (3 לרווח הניבוי ולמבחני המחקרים הקטנים); מחקרים עם תא חסר בעמודות שנבחרו – לא נכללים, והעמוד מודיע.

ואיך עושים זאת ב-SPSS?

בגרסאות החדשות של SPSS Statistics יש תפריט של מטה-אנליזה (Analyze › Meta Analysis), לפי סוג הנתונים – זהו מידע כללי על התוכנה, שלא נבדק כאן. PSPP, החלופה החינמית, אינו כולל מטה-אנליזה. לכן העמוד מייצא במקום סינטקס SPSS סקריפט R עם הנתונים משובצים בו, שמשחזר את הפלט בחבילת metafor – והוא הורץ ב-R על קובץ הדוגמה.

ואיך עושים זאת ב-R?

חבילת metafor (Viechtbauer, 2010): escalc מחשבת גודל אפקט ושונות לכל מחקר, rma מריצה את המודל (method – האומד; test = "knha" – Knapp-Hartung; mods – מנבאים), confint נותנת רווחי סמך להטרוגניות, ו-forest, funnel, regtest, trimfill ו-leave1out – את השאר. Harrer ועמיתיו (2021) מלמדים את אותו חומר בחבילת meta. העמוד מאומת מול metafor בכל המספרים שבפלט, והסקריפט שלמטה הורץ כלשונו על קובץ הדוגמה (הערכים בהערות).

# מטה-אנליזה – פרופסור סטאט. קובץ זה נשמר ב-UTF-8; כל שורת הערה מתחילה במילה עברית
library(readxl)    # קריאת אקסל
library(metafor)   # מטה-אנליזה (Viechtbauer, 2010)

# טעינה: שורה = מחקר; הגיליון "Data"
d <- read_excel("C:/Rdata/DATA_meta_example_eng.xlsx", sheet = "Data")
d <- d[complete.cases(d[, c("mean_mentor", "sd_mentor", "n_mentor", "mean_control", "sd_control", "n_control")]), ]   # 17 מתוך 18

# גודל האפקט: g של Hedges (חונכות פחות ביקורת) והשונות שלו
d <- escalc(measure = "SMD", m1i = mean_mentor, sd1i = sd_mentor, n1i = n_mentor,
            m2i = mean_control, sd2i = sd_control, n2i = n_control, data = d)

# אפקטים אקראיים (REML), ולצדם אפקט קבוע ו-Knapp-Hartung
re <- rma(yi, vi, data = d, method = "REML", slab = study)
re                                                      # g = 0.48 [0.34, 0.62]; Q(16) = 36.07, p = .003; I² = 51.8%
rma(yi, vi, data = d, method = "FE")                    # אפקט קבוע: g = 0.49 [0.40, 0.58]
rma(yi, vi, data = d, method = "REML", test = "knha")   # Knapp-Hartung: [0.34, 0.62], t(16) = 7.35
confint(re)                                             # τ² = 0.042 [0.005, 0.111]; I² [11.3%, 74.1%]

# רווח ניבוי לפי Higgins ועמיתיו – t עם k − 2 דרגות חופש (predict משתמש בהתפלגות נורמלית)
c(re$b) + c(-1, 1) * qt(.975, re$k - 2) * sqrt(re$tau2 + re$se^2)   # רווח: [0.02, 0.94]

# תרשים יער ותרשים משפך
forest(re, addpred = TRUE)
funnel(re)

# תת-קבוצות לפי מסגרת (1 = קבוצתית, 2 = פרטנית): τ² נפרד, ומבחן Q בין אומדני הקבוצות
sub <- lapply(split(d, d$format), function(x) rma(yi, vi, data = x, method = "REML"))
sub                                                     # קבוצתית: g = 0.39 [0.23, 0.55]; פרטנית: g = 0.57 [0.35, 0.80]
rma(sapply(sub, coef), sapply(sub, vcov), method = "FE")   # Q בין: Q(1) = 1.67, p = .196
rma(yi, vi, mods = ~ factor(format), data = d, method = "REML", control = list(threshold = 1e-10))   # τ² משותף: QM(1) = 1.54, p = .214; R² = 16.0% (בלי control: 15.9%, עצירה מוקדמת)

# אפקט של מחקרים קטנים: מבחן Egger וגזום-ומלא
regtest(rma(yi, vi, data = d, method = "FE"), model = "lm")   # החותך של Egger: t(15) = -0.24, p = .812
trimfill(re)                                            # לא הושלמו מחקרים
leave1out(re)                                           # השמטת כל מחקר בתורו

דיווח התוצאות

מדווחים את המודל ואת אומד τ² ואם הוחל Knapp-Hartung – Harrer ועמיתיו (2021, עמ' 104) מביאים נוסח לדוגמה: "מאחר שציפינו להטרוגניות ניכרת בין המחקרים, נעשה שימוש במודל אפקטים אקראיים… האומד REML שימש לחישוב τ²… והתאמות Knapp-Hartung לחישוב רווח הסמך". ואחר כך: מספר המחקרים והמשתתפים; האפקט המשוקלל עם רווח סמך; Q, τ² ו-I² עם רווחי סמך, ורווח הניבוי (Harrer et al., 2021, p. 150); תת-קבוצות ומבחני הטיה – כפי שתוכננו מראש. תרשים יער הוא חלק מקובל בדיווח. הפסקה שהעמוד מייצר היא נקודת התחלה.

טעויות נפוצות

לספור מחקרים מובהקים במקום לשקלל אפקטים (Borenstein et al., 2009, pp. 251-252).

לבחור מודל לפי מבחן ההטרוגניות (Borenstein et al., 2009, p. 84; Harrer et al., 2021, p. 145).

לקרוא I² כמדד לפיזור, או I² של אפס כעדות לעקביות (Borenstein et al., 2009, pp. 119, 122) – ולשכוח את רווח הניבוי.

לשקלל הפרש ממוצעים גולמי בין מחקרים שהשתמשו בסולמות שונים (Borenstein et al., 2009, p. 25), או לערבב כיוונים – מחקר שבו ציון גבוה רע עם מחקר שבו הוא טוב.

להכניס כמה אפקטים מאותו מחקר כאילו היו מחקרים נפרדים (Borenstein et al., 2009, p. 215).

לקבוע ש"אין הטיית פרסום" כי מבחן Egger לא היה מובהק, או ש"יש" כי היה (Borenstein et al., 2009, p. 291).

לפרש תת-קבוצות כסיבתיות, או הבדל לא מובהק כשוויון (Harrer et al., 2021, pp. 188-190).

לתייג אפקט כ"קטן" או "גדול" לפי ספי Cohen בלי הקשר – "מוצא אחרון" (Ellis, 2010, p. 42).

לדווח את ה-z של פישר כאילו היה r. הדוגמה של Cooke (2024, עמ' 102-105) מדווחת r = 0.546 [0.416, 0.676] – אבל אלה ערכי z: במעבר חזרה המתאם הוא r = .50 [.39, .59], ולפי הספים שבספר עצמו (עמ' 24) – בינוני ולא גדול. העמוד ממיר חזרה תמיד.

להזין טעות תקן של הממוצע במקום סטיית תקן (Kumar, 2023, pp. 108-109) – האפקט מתנפח, וההטרוגניות עולה.

להשמיט מחקרים שדיווחו רק "לא מובהק" – זה מנפח את האפקט הממוצע (Ringquist, 2013, p. 108).

מקורות

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to meta-analysis. Wiley. https://doi.org/10.1002/9780470743386

Cooke, R. (2024). Meta-analysis for psychologists. Palgrave Macmillan. https://doi.org/10.1007/978-3-031-73773-2

Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press. https://doi.org/10.1017/CBO9780511761676

Harrer, M., Cuijpers, P., Furukawa, T. A., & Ebert, D. D. (2021). Doing meta-analysis with R: A hands-on guide. Chapman & Hall/CRC. https://doi.org/10.1201/9781003107347

Kumar, A. (2023). Meta-analysis in clinical research: Principles and procedures. Springer. https://doi.org/10.1007/978-981-99-2370-0

Macaskill, P., Takwoingi, Y., Deeks, J. J., & Gatsonis, C. (2023). Understanding meta-analysis. In J. J. Deeks, P. M. Bossuyt, M. M. Leeflang, & Y. Takwoingi (Eds.), Cochrane handbook for systematic reviews of diagnostic test accuracy (pp. 203-248). Wiley.

Ringquist, E. J. (2013). Meta-analysis for public management and policy (M. R. Anderson, Ed.). Jossey-Bass.

Stijnen, T., White, I. R., & Schmid, C. H. (2021). Analysis of univariate study-level summary data using normal models. In C. H. Schmid, T. Stijnen, & I. R. White (Eds.), Handbook of meta-analysis (pp. 41-64). Chapman & Hall/CRC. https://doi.org/10.1201/9781315119403

Viechtbauer, W. (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1-48. https://doi.org/10.18637/jss.v036.i03

Hedges ו-Olkin (1980), Higgins ועמיתיו, ו-Duval ו-Tweedie (2000) – כמצוטטים אצל Borenstein ועמיתיו (2009); Sterne ועמיתיו (2011), Schwarzer ועמיתיו (2015), Pustejovsky ו-Rodgers (2019) ו-van Aert ועמיתיו (2016) – כמצוטטים אצל Harrer ועמיתיו (2021). Peters ועמיתיו (2006) – כמצוטטים אצל Ringquist (2013). לפי כלל האתר, ברשימת המקורות מופיעים רק מקורות שנקראו במקור; הציטוטים לפי העמוד המודפס. מבין הספרים בתיקייה "מטא אנליזה", Cooper ועמיתיו (2019), Cheung (2015) ו-Chen ו-Peace (2021) לא צוטטו בעמוד – הנושאים שבהם (סינתזה מחקרית רחבה, SEM, Stata) מחוץ להיקפו. מגרסה 2 – גם שלושה ספרים לפי תחום: Cooke (2024) לפסיכולוגיה, Kumar (2023) למחקר קליני ו-Ringquist (2013) למדיניות ומינהל ציבורי. החישוב בעמוד מאומת מול R 4.3.3 וחבילת metafor 4.4 (escalc, rma, confint, predict, regtest, trimfill, leave1out), ומול הדוגמאות המחושבות בפרקים 14 ו-17 של Borenstein ועמיתיו (2009) ושתי הדוגמאות של Cooke (2024, לוחות 7.3 ו-10.1).