מדגם ודגימה

מדריך

מה בעמוד

כל מסקנה סטטיסטית עוברת מהמדגם – האנשים, הטקסטים או היישובים שנמדדו – אל האוכלוסייה שמעניינת אותנו באמת. הצעד הזה תלוי בשתי שאלות שנקבעות לפני השאלון הראשון: למי המדגם מתייחס, כלומר איך נבחר, וכמה הוא גדול. העמוד מגדיר אוכלוסייה, מדגם, פרמטר, סטטיסטי ושגיאת דגימה (Gravetter & Wallnau, 2017); מסביר מה בדיוק דורשת "דגימה מקרית" ולמה רשימת חברי מועדון היאכטות אינה מדגם של העיר; סוקר את שיטות הדגימה ההסתברותיות והלא-הסתברותיות לפי Krippendorff (2019, פרק 6) – שנכתב על טקסטים, אך תקף לאנשים ולמסמכים; מציג את שגיאת התקן ומשפט הגבול המרכזי – הסיבה שמדגם של כמה מאות מספיק לאוכלוסייה של מיליונים; ומסיים בשאלת גודל המדגם, שהיא שאלת עוצמה (ראו שאלת מחקר והשערות), ובמי שלא ענה (ראו ערכים חסרים). בגרסה 3 נוסף פרק הגיוס של Chandler (2023) מהמדריך של קיימברידג' לשיטות מחקר במדעי החברה וההתנהגות (Nichols & Edlund, 2023): מה שבין המדגם שתכננתם למדגם שתקבלו – מתי מדגם לא-הסתברותי מספיק, כמה להזמין כדי להגיע ל-n, ומה הראיות אומרות על הודעות מוקדמות, תזכורות ותמריצים.

1. אוכלוסייה, מדגם, פרמטר, סטטיסטי – ושגיאת הדגימה

מחקר מתחיל בשאלה על קבוצה מסוימת. הקבוצה כולה שהחוקרת רוצה לחקור היא האוכלוסייה – כל הפרטים שמעניינים את המחקר; היא יכולה להיות עצומה (כל הנשים בעולם) או צרה (נשים שהן ראשות מדינה), ואינה חייבת להיות של אנשים – חברות, חלקים במפעל, כתבות. החוקרת היא שמגדירה אותה, ותמיד עליה לזהות אותה במפורש (Gravetter & Wallnau, 2017, p. 3). כיוון שאוכלוסיות גדולות מכדי למדוד את כולן, בוחרים מדגם – קבוצה מהאוכלוסייה שנועדה לייצג אותה, ותמיד מזוהה לפי האוכלוסייה שממנה נבחרה. ערך שמתאר אוכלוסייה הוא פרמטר; ערך שמתאר מדגם הוא סטטיסטי; לכל פרמטר יש סטטיסטי מקביל, ורוב המחקר עוסק ביחס ביניהם (שם, עמ' 4).

וכאן הבעיה היסודית שכל הסטטיסטיקה ההיסקית נועדה לפתור: שגיאת הדגימה – הפער הטבעי, שנוצר במקרה, בין סטטיסטי של מדגם לפרמטר של האוכלוסייה (Gravetter & Wallnau, 2017, pp. 5-7). הדוגמה שלהם: אוכלוסייה של 1,000 סטודנטים, שני מדגמים של חמישה – ממוצע הגיל במדגם אחד 19.8, בשני 20.4, ובאוכלוסייה 21.3. אף מדגם אינו זהה לאוכלוסייה, והמדגמים שונים זה מזה – והם רק שניים ממאות מדגמים אפשריים. או: מחלקים כיתה לשניים בקו דמיוני באמצע החדר ומחשבים גיל ממוצע לכל צד – כמעט בוודאות יהיה הבדל, ואין כוח מסתורי שמושך מבוגרים לצד ימין; ההבדלים הבלתי-צפויים והלא-שיטתיים בין מדגם למדגם הם שגיאת דגימה. "טעות הדגימה" בסקרי הבחירות – "פלוס-מינוס 4 נקודות" – היא בדיוק זה. המבחנים הסטטיסטיים כולם שואלים שאלה אחת: האם ההבדל שראינו גדול ממה ששגיאת הדגימה לבדה הייתה מייצרת?

2. מה זה "מדגם מקרי" – ולמה זה לא "מי שהזדמן"

"מקרי" הוא מונח טכני, לא תיאור של חוסר תכנון. מדגם מקרי פשוט דורש שלכל פרט באוכלוסייה יהיה סיכוי שווה להיבחר; לנוסחאות הסטטיסטיות דרוש גם תנאי שני – שההסתברות תישאר קבועה מבחירה לבחירה, כלומר בלתי-תלויה במי שכבר נבחר – וזה "מדגם מקרי בלתי-תלוי", שרוב היישומים הסטטיסטיים מניחים (Gravetter & Wallnau, 2017, pp. 161-162). התנאי הראשון הוא מה שמבטיח שאין הטיה בבחירה: באוכלוסייה של N פרטים לכל אחד הסתברות 1/N. ולכן, בדוגמאות שלהם, לא מקבלים מדגם מקרי של תושבי העיר מרשימת חברי מועדון היאכטות, ולא מדגם של סטודנטים מהקורס שלכם בפסיכולוגיה. כדי להגריל צריך מסגרת דגימה – רשימה ממוספרת של כל הפרטים באוכלוסייה – ומנגנון הגרלה שנותן לכל פרט אותה הסתברות (Krippendorff, 2019, p. 114). ובניסוח של Krippendorff (עמ' 119): מדגם מקרי הוא הודאה בכך שאין לנו מושג איך האוכלוסייה נראית ואיפה המידע נמצא – וכשיש לנו מושג, שיטות אחרות מנצלות אותו.

3. שיטות הדגימה – מה כל אחת מאפשרת להסיק

Krippendorff (2019, פרק 6) מבחין בין שלוש שיטות הסתברותיות – שנועדו להבטיח לכל יחידה אותו סיכוי להיכלל, וזהו הבסיס להכללה סטטיסטית – ובין שיטות שמנצלות ידע על מבנה האוכלוסייה או מוותרות על ייצוג. מקרית פשוטה: מספור כל היחידות והגרלה (עמ' 114). שיטתית: כל יחידה k-ית ברשימה, מנקודת התחלה שהוגרלה; נוחה לפרסומים ולאירועים חוזרים, אבל מוטה כשהמרווח הקבוע מתואם עם "קצב" טבעי ברשימה – עונתיות, מחזוריות: כל יום שביעי בעיתון יומי ייתן תמיד אותו יום בשבוע (ומדור המדע של יום שלישי יופיע בכל המדגם או באף אחד), וכל יוני בין 1932 ל-1942 במודעות הנישואין של הניו יורק טיימס לא מצא אף חתונה בבית כנסת – כי יוני חל בתקופה שהמסורת היהודית אוסרת בה נישואין (עמ' 115). שכבתית: מזהים תת-אוכלוסיות (שכבות) שכל יחידה שייכת לאחת מהן בלבד, ודוגמים מקרית או שיטתית בתוך כל שכבה בנפרד – כך כל השכבות מיוצגות, לפי גודלן היחסי או לפי כל הגדרה שנקבעה מראש; הדוגמה: "השבוע הטיפוסי" של הטלוויזיה האמריקאית, שנבנה מהגרלת תוכנית אחת מ-52 לכל משבצת שידור (עמ' 115-116). הסתברות משתנה: כשהיחידות אינן שוות במידע שהן נושאות – עיתונים לפי תפוצה – נותנים לכל אחת הסתברות משלה (עמ' 116). אשכולות: כשאי-אפשר למנות את היחידות אך אפשר למנות קבוצות שלהן – יישובים, בתי ספר, גיליונות – דוגמים אשכולות ומודדים את כל היחידות שבתוכם; נוח ונפוץ, אבל ההסתברות של יחידה להיכלל תלויה בגודל האשכול שלה, השונות מוגזמת ושגיאת הדגימה אינה מבוקרת – המדגם מייצג את האשכולות, לא בהכרח את היחידות שבתוכם (עמ' 116-117). כדור שלג: מתחילים מיחידות ראשוניות ומיישמים עליהן שוב ושוב קריטריון שמוסיף יחידות – ציטוטים בספרות, קשרים ברשת חברתית – עד גבול טבעי; המדגם ההתחלתי חשוב, וכשהכדור מתפוצץ צריך קריטריון עצירה (עמ' 117-118). רלוונטיות (מכוונת): בוחרים את כל היחידות שתורמות לתשובה, במדרג מושגי שמצמצם את האוכלוסייה – לא הסתברותי, והתוצאה אינה "מדגם מייצג" אלא אוכלוסיית היחידות הרלוונטיות; רק אחר כך, אם היא עדיין גדולה מדי, דוגמים ממנה (עמ' 118-120). מפקד: כל היחידות מסוגן – כתבי מחבר אחד, כל הכתבות על אירוע – אין מה לדגום (עמ' 120). נוחות: גוף נתונים זמין שידוע כי אינו כולל את כל האוכלוסייה; הבחירה מי נכנס נשארת בידי נסיבות שמחוץ לשליטת החוקרת, ולעיתים בידי מי שיש לו אינטרס – יומנים נכתבים כדי להרשים, נאומי בחירות משמיטים מה שיעלה במחיר, ומעטים עדי הראייה ששרדו (עמ' 120-121). מדגם נוחות אינו פסול – אבל הוא מטיל על החוקרת לחשוב מה הביא את הנתונים האלה, ולא אחרים, לידיה.

מתי מדגם לא-הסתברותי מספיק. Chandler (2023) מסדר את השיטות על רצף אחד של עלות וקפדנות: מפקד (כל האוכלוסייה – מעשי כשהיא קטנה: עובדי ארגון, תלמידי מוסד), מדגם הסתברותי (כל פרט ניתן לזיהוי, ולכל אחד הסתברות ידועה וגדולה מאפס להיכלל – "תקן הזהב", כי הוא מקרב את תוצאת המפקד בשבריר מהעלות, ואת ההטיות שבו אפשר לתקן סטטיסטית ואת אי-הוודאות לכמת), ומדגם לא-הסתברותי – כל מה שאינו עומד בתנאי, בכוונה או לא. הנקודה החשובה שלו: מדגם לא-הסתברותי אינו בהכרח מוטה יותר – אלא שאם הוא מוטה, ובכמה, אי-אפשר לדעת. אי-הוודאות הזאת נסבלת בארבעה מצבים: כשהמדגם מכסה חלק גדול מהאוכלוסייה ושיעור המענה גבוה; כשהמשתנים הנחקרים אינם קשורים לסיכוי להיכלל במדגם; כשהשאלה היא על קשר בין משתנים ולא על אומדן נקודתי – קשרים רגישים הרבה פחות להבדלי אוכלוסייה מאשר ממוצעים ואחוזים; וכשבודקים תאוריה ולא מתארים עולם – אמיתות התאוריה נקבעת לפי יכולתה לנבא מה יקרה בתנאים נתונים, לא לפי שכיחות התנאים במציאות (Chandler, 2023). האתר מחזיק בשניים: ללוח 1 – מדגם נוחות מדווחים כמדגם נוחות, וההכללה ממנו לאוכלוסייה היא טיעון; ולטיעון הזה Chandler נותן את המילים – "קשר, לא אומדן" ו"תאוריה, לא תיאור" – ואת הגבול: מי שצריך לדעת כמה (אחוז התומכים, הממוצע באוכלוסייה) צריך הגרלה.

הרכב המדגם. גם בלי הגרלה, ובטח איתה, אפשר להחליט מראש מי יהיה במדגם (Chandler, 2023): מדגם מכוון – אנשים עם מאפיינים מסוימים, או מכסות – או מדגם הסתברותי שכבתי. ההרכב נגזר משאלת המחקר: לאומדן של אפקט באוכלוסייה – מדגם שמייצג אותה במאפיינים שמשפיעים על גודל האפקט; להשוואה בין קבוצות – קבוצות בגודל שווה, כי ההשוואה יעילה יותר סטטיסטית (ולכן בסקר יישובים משווים שכבה לשכבה ולא לפי גודלן במפה); לקשר בין משתנים רציפים – דגימת-יתר של בעלי ציונים קיצוניים, שמגדילה את העוצמה לגילוי הקשר ומקלה לזהות מקרים קיצוניים שמשפיעים על התוצאה. ובשלב המכונן של מחקר – מקרה קריטי: לפנות קודם למי שהתופעה הכי סבירה אצלו, כדי לדעת אם היא קיימת בכלל לפני שמשקיעים במדגם מייצג.

4. שגיאת התקן ומשפט הגבול המרכזי – למה כמה מאות מספיקות

אם ניקח מאוכלוסייה כל מדגם אפשרי בגודל n ונחשב לכל אחד ממוצע, נקבל התפלגות של ממוצעי מדגמים – התפלגות הדגימה. אי-אפשר לעשות זאת בפועל, אבל משפט הגבול המרכזי אומר בדיוק איך היא נראית: לכל אוכלוסייה עם ממוצע μ וסטיית תקן σ, התפלגות ממוצעי המדגמים בגודל n ממורכזת ב-μ, סטיית התקן שלה היא σ/√n, והיא מתקרבת לנורמלית ככל ש-n גדל – "כמעט לגמרי נורמלית" כבר ב-n = 30, בלי קשר לצורת האוכלוסייה (Gravetter & Wallnau, 2017, p. 199). סטיית התקן הזאת של ממוצעי המדגמים היא שגיאת התקן: כמה מרחק סביר לצפות בין ממוצע של מדגם לממוצע האוכלוסייה. היא עושה שני דברים – מתארת כמה ממוצעי מדגמים שונים זה מזה, ומודדת כמה טוב ממוצע יחיד מייצג את האוכלוסייה (שם, עמ' 200-201). שני דברים קובעים את גודלה: סטיית התקן של האוכלוסייה, וגודל המדגם – ככל ש-n גדל, הממוצע קרוב יותר ל-μ, "חוק המספרים הגדולים" (שם, עמ' 201). Field (2024, סעיף 2.8) מוסיף שכל מה שנאמר על הממוצע נכון לכל פרמטר – מתאם, מקדם רגרסיה: לכל אומדן יש התפלגות דגימה ושגיאת תקן, ורווח הסמך והמבחן נבנים ממנה.

שתי מסקנות מעשיות. הראשונה – ה-√n: כדי לחצות את שגיאת התקן צריך לרבע את המדגם. מ-100 ל-400 נבדקים מרוויחים הרבה; מ-4,000 ל-16,000 – מעט מאוד ביחס למחיר. לכן סקר ארצי של כמה מאות עד אלף ומשהו משיבים מספיק לאוכלוסייה של מיליונים – אם הוא מקרי. השנייה – מה המספר הזה לא עושה: הוא מקטין את שגיאת הדגימה, לא הטיה. מדגם נוחות של 10,000 שנבחרו לא-מקרית הוא מדגם מוטה גדול; שגיאת התקן שלו קטנה ורווח הסמך צר, סביב הערך הלא-נכון. גודל המדגם וייצוגיותו הן שתי שאלות נפרדות, ורק השנייה מכריעה למי המסקנה מתייחסת.

5. כמה נבדקים צריך – שאלה של עוצמה, לא של אחוז

אין מספר אחד. השאלה הנכונה היא: כמה נבדקים דרושים כדי שיהיה סיכוי סביר לגלות אפקט בגודל שמעניין אותנו – וזו שאלת עוצמה, שמפורטת בשאלת מחקר והשערות: לפי גודל האפקט הצפוי, רמת המובהקות, והעוצמה הרצויה (.80), מחשבים n בכלי חינמי כמו G*Power, שגם Pallant (2020, מבוא לחלק החמישי) ממליצה עליו, ומצטטת את Stevens: במדגם גדול (100 ומעלה) "עוצמה אינה בעיה", ובקבוצות קטנות (n = 20) תוצאה לא-מובהקת עלולה לשקף עוצמה חסרה. כמה כללי אצבע מהספרות שהאתר מצטט, כולם ציטוט משני: ברגרסיה מרובה – כ-15 נבדקים לכל מנבא (Stevens, 1996), או N > 50 + 8m כש-m מספר המנבאים (Tabachnick & Fidell, 2013) – שניהם כמצוטטים אצל Pallant (2020, פרק 13); ועוד אם התוצאה מצודדת. ובניתוח תוכן, Krippendorff (2019, עמ' 121-122) מוסיף עיקרון אחד מוצק: כשהיחידות שישנו את התשובה נדירות, המדגם חייב להיות גדול בהרבה – כדי "ללכוד" תופעה שסיכויה 1 ל-1,000 בביטחון של 95% צריך 2,995 יחידות (לוח 6.1 שלו); בבחירות צמודות דרוש מדגם גדול יותר מאשר כשהפער רחב. הוא גם מציע דרך אמפירית: להשוות מדגמים בגדלים שונים לאוכלוסייה מלאה ולראות מאיזה גודל התוספת כבר אינה משנה את התשובה.

ומה שאינו קובע: אחוז מהאוכלוסייה. שגיאת התקן תלויה ב-n, לא ביחס n/N (אלא כשהמדגם הוא חלק ניכר מהאוכלוסייה); 400 משיבים מקריים מייצגים עיר של 100,000 באותה מידה שהם מייצגים מדינה של 10 מיליון. וגם: Pallant (2020, פרק 1) מזכירה לתכנן פסימית – אנשים לא מגיעים, נושרים ולא ממלאים כראוי – ולוודא שבניסוי יש מספיק נבדקים בכל קבוצה, רצוי שווה.

חשבון הגיוס. Chandler (2023) הופך את "לתכנן פסימית" למספרים: חישוב העוצמה נותן את ה-n של קובץ הניתוח – נקודת ההתחלה, לא היעד. סקר שצריך 100 נבדקים בניתוח צריך לפחות 112 שאלונים מלאים, כי חלק ייפסלו בניקוי הנתונים (ראו התבנית התקנית): כ-2% מהנשאלים מדלגים על כל שאלה נתונה, וכ-10% מהתשובות – יותר בסקר מקוון – אינן שמישות. ו-112 שאלונים מלאים דורשים להזמין כמה מאות אנשים, כי רבים לא יראו את ההזמנה או יסרבו: 80%-90% ממי שמתחיל סקר מקוון עם תמריץ מסיים אותו, אבל שיעור המשלימים מבין המוזמנים נע סביב 40%-50% בממוצע – כ-60% פנים אל פנים, כ-50% בדואר, כ-30% במקוון, כ-20% בטלפון – והשיעורים יורדים משנה לשנה, "וכל האומדנים האלה אולי אופטימיים" (Chandler, 2023; האומדנים הם סיכומו של הספרות האמריקנית, ומשתנים בין אוכלוסיות). לכן תוכנית דגימה טובה מגרילה מדגם התחלתי קטן ועוד מדגמי המשך (replicates) שמשתמשים בהם לפי הצורך: כך לא מגייסים יותר מדי, לא רק את הקלים למציאה, ולא נתקעים עם מדגם חסר-עוצמה. ההערכה של שיעור המענה נבדקת מחדש ברגע שהגיוס מתחיל.

6. מי לא ענה – המדגם שתכננתם מול המדגם שקיבלתם

המדגם המקרי היחיד שאי-פעם קיים הוא זה שתוכנן. המדגם שנמדד בפועל הוא מי שהסכים, נמצא, ענה עד הסוף. אם מי שלא ענה שונה שיטתית ממי שענה – צעירים שלא עונים לטלפון, עסוקים שלא ממלאים שאלון ארוך, מי שהשאלה אישית מדי בשבילו – הדגימה הייתה מקרית והמדגם כבר לא. זו בדיוק שאלת מנגנון החסר בערכים חסרים, ברמת המשיב במקום ברמת הפריט: אי-מענה שתלוי במשתנים שנרשמו על כולם (גיל, יישוב, מגדר) אפשר לתקן בשקלול ובפיקוח; אי-מענה שתלוי במה שלא נמדד, או בתשובה עצמה – לא, ואי-אפשר להוכיח שאינו כזה. מה שכן אפשר: לתעד את שיעור המענה ואת ההרכב של מי שענה מול המסגרת, ולהשוות – בחי-בריבוע – את המשיבים לאוכלוסייה על המשתנים הידועים. Chandler (2023) מוסיף את הסייג ואת החריג: שיעור מענה גבוה מקטין בדרך כלל את הטיית אי-המענה – אבל לא תמיד (Groves & Peytcheva, 2008, as cited in Chandler); ובמדגם יירוט או מתנדבים, שבו לא ידוע כמה אנשים ראו את הקריאה, אין בכלל שיעור מענה – יש לכל היותר שיעור שיתוף פעולה (כמה ממי שפנו אליהם הסכימו), לפי ההגדרות של AAPOR (2016, as cited in Chandler).

7. גיוס – איך מגיעים למדגם שתכננתם

"תוכנית גיוס חזקה היא גורם מרכזי בהצלחת מחקר בבני אדם", פותח Chandler (2023) – ומחקר בלי תוכנית כזאת מסתכן בגיוס מעטים מדי, או מהסוג הלא-נכון, ומגלה זאת רק בניתוח. התוכנית נגזרת מחמש שאלות: איזו אוכלוסייה; איזו הסקה (תיאור או תאוריה); כמה דיוק; כמה מהר; ובאילו משאבים – "מהר, טוב או זול: בחרו שניים". מאיפה מגייסים. מרשימה (מסגרת דגימה: שמות, כתובות, טלפונים, לפעמים דמוגרפיה – לעיתים קרובות רשימה של ארגון שצריך לקבל גישה אליה): כל מדגם הסתברותי מתחיל בה; יתרונותיה – פרטי קשר, קישור של כל משתתף לחומרי המחקר (רק זכאים, רק פעם אחת), שיעור מענה שאפשר לחשב, והשוואה של מי שענה למי שלא – אבל מבינים איך נוצרה ומי חסר בה (שגיאת כיסוי), ומתכוננים לנקות אותה: כתובות דוא"ל רבות אינן תקפות. בלי רשימה: יירוט (intercept) – גיוס מזרם של פעילות: באי קניון, גולשי אתר, מודעה ברשת חברתית שמכוונת לקבוצה; יעיל לאוכלוסיות שמתכנסות במקום, אבל יחידת הדגימה היא האירוע (ביקור) ולא האדם – קונים תכופים מיוצגים ביתר; מתנדבים – מודעות, פוסטים, רשימות תפוצה: קל, והמתנדבים מצפוניים יותר, אבל בררו את עצמם לפי עניין במחקר; רשת (כדור שלג – בלוח 1): כל משתתף מפנה לאחרים – לאוכלוסיות קשות לאיתור, או כאלה שלא יזדהו לפני שעמית מאשר שהמחקר לגיטימי. וקניית גישה: חברות מחקר עם פאנלים – הסתברותיים (יקר) או לא; לפני שקונים, מבקשים את התשובות ל-ESOMAR-36, השאלון התקני לתיאור ספק מדגם. ושילוב: תוצאה שחוזרת במדגמים שונים מסוגים שונים היא עצמה ראיה להכללה (Chandler, 2023).

שיעור המענה – ארבעה גורמים ומה הראיות אומרות. האם ידעו שיש מחקר (כ-80% מסננים שיחות ממספר לא מוכר, 75% מהמיילים לא נפתחים); מה התועלת הצפויה; מה העלות הנתפסת (זמן, הוראות מסובכות, שאלות רגישות); ומי האוכלוסייה. Chandler מביא את ממוצעי המטא-אנליזות, רובן על סקרי דואר ואינטרנט – המספרים, כפי שהוא מציג אותם, הם שינוי יחסי בשיעור המענה ולא נקודות אחוז (אלא כשנאמר אחרת): אורך – קצר עונים יותר, ו-20 דקות הן כנראה הגבול של רוב האנשים; שאלות פתוחות ושאלות רגישות מורידות מענה, שאלון "מעניין" מכפיל אותו, ופתיחה בשאלה פתוחה מורידה 5%; אופן – סקר מקוון מקבל כ-11% פחות מענה מאופנים לא-אלקטרוניים, וגולשי הרשת צעירים, משכילים ומשתכרים יותר; שילוב אופנים – ברצף, לא כבחירה (להציע בחירה מראש מוריד מענה): קודם הזול (מקוון), ואז דואר או טלפון למי שלא ענה; הודעה מוקדמת (מכתב שמספר על הסקר, מטרתו, ומה עם הפרטיות) – +50% בסקרי דואר, וגם בטלפון ובמקוון; מכתב בדואר מאותת על לגיטימיות; תזכורות – +35% בדואר, +30% במקוון, בתשואה פוחתת; כמחצית העונים לסקר מקוון עונים ביום הראשון וכמעט כל השאר תוך שבוע, ולכן מרווחים; ניסוח שונה לכל תזכורת – +30% לעומת אותו נוסח; תמריץ כספי – +87% בדואר, +20% במקוון, בתשואה פוחתת (דולר ראשון +5 נקודות, מעל 10 דולר – כנקודה לכל דולר); תמריץ מראש, בלי תנאי – +61% לעומת אותו סכום אחרי ההשלמה, בדואר ובטלפון (מחויבות הדדית), פחות במקוון; תמריצים לא-כספיים – +15% בלבד ובלי תלות בשוויים, ושיתוף בתוצאות – כמעט כלום; הגרלות – פופולריות כי זולות, אבל "לעיתים רחוקות" משפרות מענה; פנייה אישית בשם – +10% בדואר, +25% במקוון; חתימה וכתובת בכתב יד – יותר מ-25%; ובמייל – שורת נושא ישירה שאומרת מה המחקר, לא "קליקבייט", ולפעמים השאלה הראשונה בתוך ההזמנה. מה ההזמנה מכילה: מטרת המחקר ותוכנו, ממוסגרים סביב מה שרלוונטי לנמען; התמריץ; האורך (בעיקר אם קצר); מועד אחרון. טענות על תועלת לחברה או למדע – כמעט בלי השפעה (Chandler, 2023; הממוצעים – ממטא-אנליזות שהוא מצטט, בעיקר Edwards et al., 2009, ומוצגים כאן כפי שהוא מסכם אותם).

מי עונה פחות, ומי מזייף. גברים, צעירים, בעלי הכנסה נמוכה (וגבוהה מאוד), פחות משכילים ורווקים עונים פחות לסקרים, בתלות באופן – וזה מכוון את מאמץ הגיוס אל מי שפחות סביר שיענה כשרוצים ייצוגיות, ואל מי שסביר שיענה כשרוצים לחסוך. כשמשתתפים נדרשים לעמוד בתנאי, הסינון דורש זהירות: במחקר שגייס דרך מודעות, 14% הודו שבדו מצב רפואי כדי להיות זכאים למחקר בתשלום – ובאוכלוסייה נדירה הזייפנים יכולים להיות הרוב. ההגנה: לגייס קודם כול במקום שבו הזכאים שכיחים, לא לחשוף את תנאי הזכאות לפני המדידה שלהם, ורצוי שהנשאל לא ידע כלל שסוננו – מחקר קצר עם שאלות הסינון, והזכאים מנותבים הלאה (Chandler, 2023).

פיילוט, מעקב ותיעוד. את הליך הגיוס מריצים בפיילוט כמו את השאלון עצמו – "חזרה גנרלית" שחושפת עמימות בפרוטוקול, אי-הבנות בצוות, והנחות שגויות על עלות ושיעור מענה. ובמהלך האיסוף עוקבים אחרי שלושה מדדים: שיעור המענה או ההשלמה, עד כמה מי שענה דומה לאוכלוסייה, ועלות להשלמה (כל ההוצאות חלקי מספר השאלונים המלאים) – ומתאימים: ערוצים, נוסח ההזמנה, פנייה נוספת או תמריץ גדול יותר לקבוצות שעונות פחות. ומתעדים את התוכנית, את המאמץ ואת מה שעבד ולא עבד – גם ברישום מוקדם, גם כחומר נלווה למאמר – כי בלי זה אי-אפשר להבין את אוכלוסיית המחקר או לשחזר אותו (Chandler, 2023). ההיבט האתי של התמריץ – כפייה מול השפעה בלתי הוגנת – בעמוד האתיקה במחקר.

8. איך מדווחים

בפרק השיטה, תחת "משתתפים" או "מדגם": האוכלוסייה כפי שהוגדרה; מסגרת הדגימה (איזו רשימה, ממתי); שיטת הדגימה בשמה ובפרטיה (שיטתית – k והתחלה; שכבתית – השכבות והחלוקה; אשכולות – מה האשכול וכמה; נוחות – מי, איפה, איך גויסו); גודל המדגם המתוכנן ואיך נקבע (חישוב העוצמה, גודל האפקט שהונח); שיעור המענה; N בפועל; והשוואת המשיבים לאוכלוסייה על המשתנים הידועים. ובפרק הדיון – למי המסקנה מתייחסת. מדגם נוחות מדווחים כמדגם נוחות, בלי "מייצג" ובלי "מקרי" – המילה "מקרי" שמורה להגרלה. המינימום לפי Chandler (2023): האם הייתה מסגרת דגימה; איך נבחרו המשתתפים; הצעדים שננקטו לגיוסם; שיעורי מענה או שיתוף פעולה – ואיך חושבו, מונה ומכנה, כי יש כמה דרכים (ההגדרות התקניות – AAPOR, 2016, כמצוטט אצל Chandler); קריטריוני ההדרה בסינון; ובלי מסגרת – אוכלוסיית היעד, הזמן והמקום של הגיוס שעשויים להשפיע על ההרכב, ומגבלות ההכללה שנובעות מהם.

טעויות נפוצות

"מדגם מקרי" של מי שהזדמן. מקרי פירושו הגרלה מרשימה עם סיכוי שווה לכולם. סטודנטים בקורס, גולשים שלחצו, באי המרכז הקהילתי – מדגם נוחות, ומדווחים אותו ככזה.

לחשוב שגודל מתקן הטיה. 10,000 משיבים שנבחרו לא-מקרית הם מדגם מוטה גדול, עם רווח סמך צר סביב הערך הלא-נכון. הגודל מקטין שגיאת דגימה; רק ההגרלה מטפלת בהטיה.

לחשב n כאחוז מהאוכלוסייה. שגיאת התקן תלויה ב-n, לא ב-n/N. 400 מספיקים לעיר ולמדינה באותה מידה.

דגימה שיטתית עם מרווח שמתואם עם מחזור. כל יום שביעי, כל שיחה זוגית – המרווח נועל את המדגם על תת-קבוצה אחת. בודקים את הרשימה למחזוריות לפני שקובעים k.

לדגום אשכולות ולנתח כאילו הפרטים בלתי-תלויים. 20 תושבים מכל אחד מעשרה יישובים אינם 200 תצפיות בלתי-תלויות – התלות בתוך היישוב מכווצת את שגיאת התקן. מודל רב-רמתי, או לפחות דיווח על המבנה.

לשכוח מי לא ענה. שיעור מענה של 30% פירושו שהמדגם המקרי הפך למדגם של מי שהסכים. מדווחים את השיעור ומשווים משיבים למסגרת.

לקבוע n אחרי איסוף הנתונים. "נאסוף עד שיהיה מובהק" הורס את משמעות p. n נקבע מראש מחישוב עוצמה, ומדווח גם אם לא הושג.

לכתוב "מייצג" בלי הגרלה. מדגם רלוונטיות או נוחות יכול להיות נכון ומועיל – אבל ההכללה ממנו היא טיעון שיש לנמק, לא תוצאה של סטטיסטיקה.

להזמין בדיוק n. חישוב העוצמה הוא קובץ הניתוח; מזמינים פי כמה, ומגרילים מדגמי המשך (Chandler, 2023).

הגרלת פרס כתמריץ, ושיתוף בתוצאות כפיתוי. כמעט בלי השפעה; תמריץ כספי קטן מראש, הודעה מוקדמת ותזכורות – כן (Chandler, 2023).

לפרסם את תנאי הזכאות במודעת הגיוס. מי שרוצה להשתתף יתאים את עצמו אליהם; שאלות הסינון לפני שמגלים מה מסננים (Chandler, 2023).

רשימת בדיקה – לפני שמגייסים

מקורות

Chandler, J. (2023). Participant recruitment. In A. L. Nichols & J. E. Edlund (Eds.), The Cambridge handbook of research methods and statistics for the social and behavioral sciences: Vol. 1. Building a program of research (pp. 179-201). Cambridge University Press. https://doi.org/10.1017/9781009010054.010

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Gravetter, F. J., & Wallnau, L. B. (2017). Statistics for the behavioral sciences (10th ed.). Cengage Learning.

Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE.

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Stevens (1996), Tabachnick ו-Fidell (2013) ו-Cohen (1988) – כמצוטטים אצל Pallant (2020); Edwards ועמיתיו (2009), Göritz (2006, 2014), Mercer ועמיתיו (2015), Groves ו-Peytcheva (2008), Devine ועמיתיו (2013), Simons ועמיתיו (2017) ו-AAPOR (2016) – כמצוטטים אצל Chandler (2023). לפי כלל האתר, ברשימת המקורות מופיעים רק מקורות שנקראו במקור; Chandler (2023) – לפי הפרק כולו, בלי מספרי עמודים בגוף הטקסט.