שאלת מחקר והשערות

מדריך

מה בעמוד

רוב הבעיות בניתוח סטטיסטי אינן נולדות בניתוח – הן נולדות קודם, כששאלת המחקר לא הפכה להשערה שאפשר להפריך, וכשההחלטות שהיו צריכות להיקבע לפני איסוף הנתונים נקבעו אחריו. העמוד עוקב אחרי המסלול של Field (2024, פרקים 1-3): תצפית ← תיאוריה ← השערה ← ניבוי ← נתונים, ואז השערת האפס והחלופית, כיוון המבחן, רמת המובהקות, גודל המדגם – ומה שהתברר בעשור האחרון על מה שקורה כשמחליטים על אלה בדיעבד. הוא מסתיים במה ש-p אומר ומה לא, ובגודל אפקט – המספר שצריך ללוות כל p.

1. תהליך המחקר – ולמה ההשערה אינה הניבוי

מחקר מתחיל בתצפית שדורשת הסבר – אנקדוטית ("שמתי לב ש...") או מבוססת נתונים – ובשאלה "למה". כדי לבדוק אם התצפית עצמה נכונה ואינה מוטה, צריך קודם משתנה אחד לפחות שמכמת אותה; ואז פונים לתיאוריות רלוונטיות, גוזרים מהן הסבר (השערה), ומההשערה – ניבויים. לניבויים צריך נתונים: מזהים מה אפשר למדוד, אוספים, מנתחים. הניתוח תומך בהשערה, או מוליד חדשה, או מתקן את התיאוריה – ולכן איסוף נתונים ותיאוריה קשורים בשני הכיוונים (Field, 2024, Sections 1.2-1.3).

ההבחנה שהכי קל לפספס – ו-Field (2024, סעיף 1.4) מקדיש לה תיקון מפורש – היא בין השערה לניבוי. השערה היא הסבר, אמירה על מנגנון, ואי-אפשר לצפות בה. ניבוי הוא מה שנגזר ממנה ומעביר אותה לתחום הנצפה: הוא מה שמאפשר לאסוף נתונים שיש להם השלכה על סבירות ההשערה. דוגמה שנחזור אליה בעמוד: תצפית – ביישובים שיש בהם עמותה קהילתית פעילה, תושבים מדווחים על תחושת שייכות גבוהה יותר. תיאוריה – הון חברתי: רשתות של היכרות ואמון מייצרות שייכות ופעולה משותפת. השערה – השתתפות בפעילות קהילתית מחזקת את תחושת השייכות ליישוב. ניבוי – תושבים שמשתתפים בפעילות קהילתית ידווחו על שייכות גבוהה יותר מתושבים שאינם משתתפים, גם כשמשווים תושבים בעלי אותו ותק ביישוב. עכשיו יש מה למדוד: השתתפות (שעות בחודש, או כן/לא) ושייכות (סולם רב-פריטי – ראו מהימנות ותוקף).

שימו לב שאותה תצפית מתיישבת גם עם השערה הפוכה – מי שכבר מרגיש שייך הוא זה שמצטרף לפעילות – ועם השערה שלישית: ותק ביישוב מייצר גם שייכות וגם השתתפות. ניבוי טוב מבחין בין ההשערות: אם ההשערה הראשונה נכונה, מי שהצטרף לפעילות השנה אמור להראות עלייה בשייכות לעומת שנה שעברה; אם השנייה נכונה – השייכות קדמה להצטרפות. מה שההשערות המתחרות דורשות הוא מערך מחקר שיכול להפריד ביניהן, וזה נושא לעמוד משתנים, סולמות מדידה ומערכי מחקר. כאן העיקר: השערה שמסבירה כל תוצאה אפשרית אינה השערה.

2. תיאוריה, השערה, ניבוי – ומה הופך אמירה למדעית

Field (2024, סעיף 1.4) מבחין בין השלוש לפי רוחב ומעמד: תיאוריה מסבירה קבוצה רחבה של תופעות באמצעות מערכת קטנה של עקרונות מבוססים; השערה מסבירה תופעה צרה יותר, ועדיין לא נבדקה; ניבוי הוא האמירה הנצפית שנגזרת מההשערה. אמירה היא מדעית כשאפשר לאמת או להפריך אותה מול ראיות אמפיריות. "הביטלס הם הלהקה המשפיעה ביותר אי-פעם" אינה מדעית – "השפעה" כנראה אינה ניתנת לכימות משמעותי – אבל "הביטלס הם הלהקה הנמכרת ביותר אי-פעם" היא כן, כי אפשר לאסוף נתוני מכירות ולבדוק. אמירות לא-מדעיות אפשר לפעמים לשכתב לאמירות מדעיות, ותיאוריה טובה מייצרת ניבויים שהם אמירות כאלה (Field מזכיר כאן את פופר). ובעברית של מחקר חברתי: "התוכנית חיזקה את הקהילה" אינה ניבוי; "שנה אחרי התוכנית, שיעור התושבים שמכירים בשם לפחות חמישה שכנים יעלה" – כן.

הצד השני של אותה מטבע הוא הפרכה: נתונים שסותרים את ההשערה. Field מדגים זאת בסיפור ארוך על מתמודדי ריאליטי ועל תיאוריה שלו שנכשלה: ניבוי אחד ממנה הופרך, ממצאים של חוקרים אחרים לא התיישבו איתה, ותיאוריה מתחרה – שהסבירה גם את התצפית המקורית וגם את הממצאים החדשים – ניצחה. המבחן לתיאוריה אינו שהיא נשמעת נכון; הוא שהיא מסבירה את הנתונים, שניבוייה מתאמתים בנתונים חדשים, ושהיא מסבירה גם ממצאים של אחרים. תיאוריה שאינה יכולה להיכשל בשום נתון אינה מסבירה כלום.

3. מהניבוי להשערה הסטטיסטית

הניבוי מתפרק לשתי השערות סטטיסטיות (Field, 2024, Section 2.10.2). ההשערה החלופית (H₁) היא הניבוי מהתיאוריה – בדרך כלל שיש אפקט: משתתפים ידווחו על שייכות גבוהה יותר. השערת האפס (H₀) היא היפוכה – אין אפקט: משתתפים ושאינם משתתפים ידווחו על אותה שייכות. השערת האפס שימושית כי היא נותנת קו בסיס: כמה סביר היה לקבל את הנתונים שקיבלנו – או קיצוניים מהם – אילו לא היה שום אפקט? זה מה ש-p מודד, ולא יותר. Field מזהיר מהשפה של "קבלה" ו"דחייה" של השערות: ערכי p אינם נותנים ראיה להכרעות שחור-לבן כאלה, ואפילו כשהחלופית סבירה יותר מהאפס, ייתכנו מודלים אחרים – שלא בדקנו – שמתאימים לנתונים טוב יותר. מדברים על סבירות יחסית, לא על אמת.

כיוון. השערה מכוונת אומרת גם לאיזה כיוון האפקט ("משתתפים ידווחו על שייכות גבוהה יותר"); לא-מכוונת אומרת רק שיש אפקט ("ההשתתפות קשורה לשייכות"). מבחן סטטיסטי להשערה מכוונת הוא חד-זנבי; ללא-מכוונת – דו-זנבי (Field, 2024, Section 2.10.6). ההבדל אינו טכני: במבחן חד-זנבי תוצאה מובהקת בכיוון ההפוך אינה נחשבת – ולכן הוא מוצדק רק כשתוצאה הפוכה הייתה מובילה לאותה פעולה כמו תוצאה לא-מובהקת (תרופה שגרועה מהקיימת לא תאושר, בדיוק כמו תרופה שאינה טובה ממנה), או כשתוצאה הפוכה חסרת משמעות תיאורטית. Field מביא שני סקרים של כתבי-עת באקולוגיה: באחד "כל השימושים במבחנים חד-זנביים נראו לא-תקפים", ובשני רק אחד מ-17 מאמרים היה מוצדק. והפיתוי ברור: p = .06 דו-זנבי הופך ל-p = .03 חד-זנבי – אבל את הכללים אי-אפשר לשנות אחרי שהנתונים נאספו. ברירת המחדל באתר, כמו אצל Field: דו-זנבי.

4. מה קובעים לפני שאוספים נתונים – וכמה עולה לקבוע אחרי

המבחן הסטטיסטי עובד רק אם ההשערות והקריטריונים נקבעו לפני איסוף הנתונים (Field, 2024, Section 2.10.3). המשל של Field: הימור על מונדיאל. בוחרים קבוצה ומקבלים יחס לפני הטורניר; אי-אפשר להחליף קבוצה באמצע, והמשרד אינו יכול לשנות את היחס אחרי הגמר. חוקרים "מרמים" כשהם מנסחים השערות אחרי שהנתונים נאספו, משנים אותן באמצע, או בוחרים את רמת המובהקות אחרי שראו את התוצאה – וכל שינוי כזה מגדיל את הסיכוי לתוצאה מובהקת, וגם את הסיכוי שאיש לא יצליח לשחזר אותה. ארבע החלטות שייכות לשלב הזה:

רמת המובהקות (α). שיעור הטעות ארוך-הטווח שמוכנים לספוג – ההסתברות להכריז על אפקט שאינו קיים (טעות מסוג I). Field מדגיש שזו אמורה להיות החלטה משמעותית לפי תחום המחקר ומה שנבדק, ומודה שבפועל כולם משתמשים ב-.05 "בלי לחשוב מה זה אומר ולמה"; פישר עצמו מעולם לא אמר ש-.05 הוא מספר קסם (Field, 2024, Sections 2.10.1, 2.10.3; Box 3.1). הכלל: קובעים מראש, ומנמקים אם חורגים מהמוסכמה.

גודל המדגם – ומראש. ערך p הוא הסתברות ארוכת-טווח: כמה פעמים היינו מקבלים סטטיסטי כזה אילו חזרנו על אותו תהליך דגימה אינסוף פעמים. לכן חייבים לאסוף את מספר הנבדקים שתכננו: יש דרך לחשב p לדגימות חוזרות של 80, אבל אין דרך לדעת מהו p לדגימות של 74 "כי הסמסטר נגמר ולא מצאנו עוד נבדקים" (Field, 2024, Section 2.10.3). לעצור מוקדם או להמשיך עד שהתוצאה מובהקת – שני הצדדים של אותה טעות. כמה נבדקים צריך? זו שאלת העוצמה: ההסתברות שהמבחן ימצא אפקט שקיים באוכלוסייה, 1 − β, כש-β היא ההסתברות להחמיץ אותו (טעות מסוג II). המוסכמה, בעקבות Cohen (1988, 1992, as cited in Field, 2024, Sections 2.10.7 and 2.10.9), היא עוצמה של .80 – סיכוי של 80% לגלות אפקט אמיתי, כלומר להחמיץ אחד מכל חמישה. העוצמה תלויה בגודל האפקט, ב-α ובגודל המדגם; כשיודעים שלושה, מחשבים את הרביעי. השימוש המועיל, לדברי Field, הוא לפני המחקר: מעריכים את גודל האפקט הצפוי ממחקרים קודמים, קובעים α = .05 ועוצמה .80, ומקבלים את מספר הנבדקים הדרוש – בכלי חינמי כמו G*Power או חבילת pwr ב-R. חישוב עוצמה אחרי המחקר, הוא מוסיף, מעולם לא הובן לו: אם התוצאה לא מובהקת – לא הייתה מספיק עוצמה; אם מובהקת – הייתה.

ההשערות והתוכנית האנליטית. "דרגות החופש של החוקר" (Simmons et al., 2011, as cited in Field, 2024, Section 3.3.2) הן כל ההחלטות שחוקר מקבל בדרך: איזה מודל, מה עושים עם ערכים קיצוניים, אילו משתני בקרה, אילו מדדים, מתי מפסיקים לאסוף. Field מביא מחקר שבו 29 צוותים קיבלו אותם נתונים ואותה שאלה – האם שופטי כדורגל מרבים לתת כרטיס אדום לשחקנים כהי-עור – 20 מצאו אפקט מובהק ותשעה לא, במגוון רחב של מודלים. כשההחלטות האלה נבחרות לפי מה שמוציא p מתחת ל-.05 – מנסים כמה ניתוחים ומדווחים אחד, מוסיפים או מסירים משתנים לפי השפעתם על p, מודדים עשר תוצאות ומדווחים על המובהקת – זה p-hacking; וכשמציגים במאמר השערה שנוסחה אחרי התוצאות כאילו נוסחה לפניהן – זה HARKing, "השערה אחרי שהתוצאות ידועות" (Field, 2024, Section 3.3.3). התרופה שהמדע אימץ היא רישום מוקדם (preregistration): פרסום פומבי של הרציונל, ההשערות, המערך ותוכנית עיבוד וניתוח הנתונים לפני איסוף הנתונים – בדוח רשום בכתב-עת, שנשפט לפני שיש תוצאות ומתפרסם יהיו אשר יהיו, או בפשטות במאגר פתוח כמו Open Science Framework (Field, 2024, Section 3.6). סטייה מהתוכנית מותרת – היא רק נעשית שקופה. ובמחקר ללא רישום פורמלי: מסמך תכנון מתוארך, עם ההשערות, המבחנים והמדגם, לפני השאלון הראשון.

5. מה p אומר – ומה לא

p הוא ההסתברות לקבל את התוצאה שקיבלנו, או קיצונית ממנה, בהנחה שהשערת האפס נכונה. Field (2024, סעיף 3.2.1) פותח בשלוש טעויות נפוצות במה שמסיקים מתוצאה מובהקת. "מובהק" אינו "חשוב": p תלוי בגודל המדגם, ולכן אפקטים זעירים וחסרי חשיבות יהיו מובהקים אם נאסוף מספיק נתונים, ואפקטים גדולים וחשובים יוחמצו במדגם קטן. לא-מובהק אינו "השערת האפס נכונה": תוצאה לא-מובהקת אומרת רק שהאפקט לא היה גדול מספיק להימצא במדגם הזה; היא אינה אומרת שגודלו אפס. אפקט של .000000001 באוכלוסייה אינו אפס, ובמדגם גדול מספיק גם הוא "יימצא"; לכן אין לפרש תוצאה לא-מובהקת כ"אין הבדל" או "אין קשר". ומובהק אינו "השערת האפס שקרית": ההיסק ההסתברותי אינו מאפשר את המסקנה הזאת – Field מדגים בסילוגיזם עם להקת Iron Maiden: "אם אדם מנגן בגיטרה, לא סביר שהוא חבר ב-Iron Maiden; האדם הזה חבר בלהקה; לכן לא סביר שהוא מנגן בגיטרה" – והמסקנה שקרית, כי מחצית מחברי הלהקה מנגנים בגיטרה. המובהקות אינה מספקת ראיה על אף אחת משתי ההשערות.

הבעיה המעשית הגדולה היא חשיבת הכול-או-כלום (Field, 2024, Section 3.2.2): p = .0499 מובהק ו-p = .0501 לא, ומגיעים למסקנות הפוכות ממספרים שההבדל ביניהם .0002 ומשקפים אותו גודל אפקט. Field מציג עשרה מחקרים על אותה תרופה מדומה: ארבעה מובהקים ושישה לא – ולפי ספר המתכונים של NHST, "הראיות סותרות". ואז מסתכלים על רווחי הסמך: כל עשרת ההפרשים חיוביים, רווחי הסמך חופפים במידה רבה, ורובו של כל רווח מעל אפס – ראיה עקבית שהאפקט באוכלוסייה כנראה חיובי. רווח הסמך מראה את העקביות ש-p מסתיר. בפרק "שכל ישר" (סעיף 3.5) הוא מביא את שש ההנחיות של האיגוד הסטטיסטי האמריקאי (Wasserstein & American Statistical Association, 2016, as cited in Field): p יכול להעיד עד כמה הנתונים אינם מתיישבים עם השערת האפס – ומשתמשים בערכו המדויק, לא בצד של הסף; p אינו ההסתברות שההשערה נכונה, ולא ההסתברות שהנתונים נוצרו במקרה; מסקנות מדעיות והחלטות מדיניות אינן מבוססות רק על חציית סף; אין לדווח ערכי p באופן סלקטיבי, ומדווחים כמה השערות נבדקו; מובהקות אינה חשיבות מעשית; ו-p לבדו אינו מדד טוב לראיה בעד מודל או השערה.

6. גודל אפקט – המספר שמלווה כל p

הפתרון לביקורת "מובהק אינו חשוב" הוא למדוד את גודל האפקט: מידת האפקט וכיוונו (Field, 2024, Section 3.7). יש שני סוגים. גולמי – בְּיחידות המדידה המקוריות: הפרש של 2 דקות בין קבוצות, מקדם b ברגרסיה שאומר כמה נקודות שייכות מוסיפה כל שעת השתתפות. Field (בעקבות Baguley) רואה בו את הדרך המועילה ביותר לכמת אפקט, כי הוא מובן ישירות – בתנאי שהיחידות משמעותיות. מתוקנן – ביחידות של סטיות תקן, כדי להשוות בין מחקרים שמדדו משתנים שונים: d של כהן להפרש בין ממוצעים, r לקשר, יחס סיכויים לתוצאות דו-ערכיות. מחירו: אינטואיציה. מה זה "חצי סטיית תקן" בעולם? ובהיעדר הבנה ישירה אנשים נאחזים בסרגלים.

הסרגלים של Cohen (1988, 1992, as cited in Field, 2024, Sections 3.7.3-3.7.4) – d של .2 (קטן), .5 (בינוני), .8 (גדול); r של .10 (1% מהשונות), .30 (9%), .50 (25%) – נפוצים, אבל Field מזכיר שכהן עצמו הודה שהם מעודדים חשיבה עצלה ומתעלמים מהקשר האפקט: כלי המדידה, הנורמות בתחום. הוא מצטט את Lenth: כשמפרשים גודל אפקט לא מוכרים חולצות – "אני אקח את האפקט של מטאליקה במידה M". מעריכים אפקט בהקשר של שאלת המחקר: r = .30 בין השתתפות לשייכות הוא ממצא אחד כשמדובר בסקר עם עשרות משתני רקע, ואחר כשהוא היחיד שנמצא. יתרון נוסף של גודל אפקט (סעיף 3.7.6): אין לו כלל הכרעה. הוא מתפרש על רצף, ולכן לא נשבר בין .0499 ל-.0501, ופחות רגיש לסיום מוקדם או מאוחר של איסוף הנתונים – אף שהוא נאמד טוב יותר במדגם גדול.

7. ניסוח ודיווח

בהצעת המחקר: שאלת המחקר במשפט; ההשערה כהסבר; הניבויים כאמירות נצפות, מכוונות או לא, כל אחד עם המשתנים שמודדים אותו, המבחן שיבדוק אותו ומדד האפקט; רמת המובהקות; גודל המדגם המתוכנן ואיך נקבע (גודל האפקט שהוערך, העוצמה). מה שלא נוסח כאן אינו ניבוי – הוא ממצא חקרני, ומדווחים אותו ככזה.

בפרק התוצאות (Field, 2024, Sections 2.11 and 3.9): ערך p מדויק – p = .023, לא p < .05 – כי המחשב מחשב אותו, והוא נותן לקורא יותר מידע מאשר "מתחת לסף שרירותי"; החריג היחיד הוא p < .001, שמתחתיו הספרות אינן מעניינות. רווח סמך בסוגריים מרובעים, עם רמתו: M = 30, 95% CI [20, 40]. וגודל אפקט לצד כל p, כי p תלוי בגודל המדגם: "השייכות הייתה גבוהה יותר בקרב המשתתפים, t(148) = 2.31, p = .022, d = 0.38, 95% CI [0.05, 0.71]". תוצאה לא-מובהקת מדווחים באותה צורה, עם p מדויק וגודל אפקט – לא "לא נמצא הבדל". באתר, כמו ב-APA (2020, סעיף 6.36), מקדמים שאינם יכולים לעלות על 1 נכתבים בלי אפס מוביל (p = .023, r = .30); Field מציין את הכלל ובוחר לא לנהוג לפיו בספרו – משפטי הדיווח שמייצרים מחשבוני האתר נוהגים לפיו.

טעויות נפוצות

לנסח את ההשערה כניבוי. "נמצא הבדל בין הקבוצות" אינו הסבר לשום דבר. ההשערה אומרת למה; הניבוי אומר מה נראה. בלי ה"למה" אין תיאוריה לתקן כשהניבוי נכשל.

השערה שכל תוצאה מאשרת. אם עלייה בשייכות תומכת בתיאוריה, וגם ירידה ("התנגדות ראשונית"), וגם היעדר שינוי ("השפעה מושהית") – אין כאן ניבוי. ניבוי נכתב כך שתוצאה מסוימת תפריך אותו.

לקבוע חד-זנבי אחרי שראו p = .06. חד-זנבי מוצדק רק כשתוצאה הפוכה הייתה מובילה לאותה פעולה כמו תוצאה לא-מובהקת, ורק כשנקבע מראש. אחרת – דו-זנבי, והתוצאה אינה מובהקת.

"נאסוף עוד קצת ונראה." להמשיך לאסוף עד שהתוצאה מובהקת, או לעצור כשהיא מובהקת, הורס את משמעות p. גודל המדגם נקבע מראש מחישוב עוצמה ונשמר; אם לא הושג, מדווחים זאת.

לחשב עוצמה אחרי המחקר כדי להסביר תוצאה לא-מובהקת. זה מעגלי: תוצאה לא-מובהקת תמיד תיראה "חסרת עוצמה". העוצמה נחשבת לפני, לקביעת המדגם.

לדווח את המובהק ולשתוק על השאר. עשרים מבחנים, אחד מובהק – בסף .05 זה בדיוק מה שמצפים במקרה. מדווחים כמה השערות נבדקו, וממצא שלא נובא מוצג כחקרני, לבדיקה במדגם חדש.

לקרוא "לא-מובהק" כ"אין קשר". תוצאה לא-מובהקת אינה ראיה לאפס; היא ראיה לכך שהמדגם הזה לא הספיק. רווח הסמך אומר אילו גדלי אפקט עדיין סבירים.

לסמוך על סרגל הגודל במקום על ההקשר. "אפקט בינוני" אינו פירוש. השאלה היא מה d = 0.4 אומר ביחידות המקוריות, ומה הוא שווה במחקר הזה – למי שמתכנן תוכנית קהילתית, שתי נקודות בסולם שייכות של 7 הן ממצא אחר מאשר לתיאורטיקן.

רשימת בדיקה – לפני השאלון הראשון

מקורות

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.