בניית שאלון

מדריך

מה בעמוד

"הנתונים טובים בדיוק כמו הכלי שאסף אותם" – כך פותחת Pallant (2020, פרק 1) ספר על SPSS בפרק על תכנון המחקר, ומסבירה למה: הקובץ שייכנס לתוכנה בא מאיפשהו – שאלון, ריאיון, תצפית – ושאלון שתוכנן ברישול לא ייתן נתונים שיענו על שאלת המחקר. העמוד הזה עוקב אחרי הפרק הזה ואחרי מה ש-Field (2024) כותב על מדידה (סעיפים 1.5.2-1.5.4) ועל פיתוח שאלונים (פרק 18), ומוסיף את מה שהאתר צריך: איך כל סוג שאלה הופך לעמודה בקובץ, ואיזה מחשבון יקרא אותה. בגרסה 2 נוספו שני פרקים מהמדריך של קיימברידג' לשיטות מחקר במדעי החברה וההתנהגות (Nichols & Edlund, 2024): Yan (2024) על איך אנשים עונים על שאלה – ארבעת השלבים ומה משתבש בכל אחד – ו-Thomander ו-Krosnick (2024) על מה שמאה שנות ניסויים הראו לגבי כל החלטת עיצוב: פתוח או סגור, כמה דרגות, מילים או מספרים, היגדי הסכמה, "לא יודע", סדר האפשרויות והשאלות. במקומות שבהם הראיות האלה מכריעות שאלה ש-Pallant השאירה פתוחה, או סותרות עצה מקובלת – העמוד אומר זאת.

1. מתכננים מהסוף: הניתוח קובע את השאלה

הכלל הראשון של Pallant (2020, פרק 1) הוא שלפני שכותבים שאלון צריך לדעת איך ישתמשו במידע – כלומר, אילו מבחנים סטטיסטיים מתכננים – כי הניתוח קובע את צורת השאלה ואת פורמט התשובה. הדוגמה שלה: מי שמתכנן מתאם בין גיל להערכה עצמית צריך גיל מדויק בשנים; מי ששאל "עד 30 / 31-50 / מעל 50" קיבל משתנה סדר בשלוש רמות, ומתאם כבר אי-אפשר. אותו היגיון עובד לכל שאלה: כותבים את שאלת המחקר (שאלת מחקר והשערות), גוזרים ממנה את המשתנים ואת רמת המדידה שכל אחד צריך (משתנים, סולמות מדידה ומערכי מחקר), בוחרים את המבחן – ורק אז מנסחים את השאלה שתייצר בדיוק את המשתנה הזה. לוח 1 בסעיף 5 עושה את המסלול ההפוך: מסוג השאלה אל העמודה בקובץ ואל המחשבון.

עוד מהרשימה של Pallant לתכנון המחקר, ככל שהיא נוגעת לשאלון: לגייס יותר נבדקים מהנדרש ("אנשים לא אמינים – לא מגיעים, חולים, נושרים ולא ממלאים שאלונים כמו שצריך"; מתכננים בפסימיות); לחשוב מראש על משתנים מתערבים ולמדוד אותם אם אי-אפשר לשלוט בהם – כלומר להכניס אותם לשאלון; ולתת למישהו אחר לעבור על המערך לפני שיוצאים לשטח (Pallant, 2020, Chapter 1). כמה נבדקים צריך – בעמוד המדגם והדגימה.

2. סולם קיים או פריטים משלכם

מושג שאי-אפשר למדוד ישירות – הערכה עצמית, שחיקה, חוסן קהילתי – נמדד בסולם: כמה פריטים שיחד "מייצגים" את המושג (Pallant, 2020, Chapter 1; Field, 2024, Section 18.2). Pallant: יש אלפי סולמות מתוקפים, והמקום להתחיל הוא סקירת הספרות בתחום – במה השתמשו חוקרים אחרים? לפעמים הפריטים מודפסים בנספח של המאמר; אחרת מאתרים את המאמר המקורי שתיאר את פיתוח הסולם ותיקופו. חלק מהסולמות מוגנים בזכויות יוצרים וצריך לרכוש עותק רשמי; סולם שפורסם במלואו במאמר נחשב "נחלת הכלל" ואפשר להשתמש בו בלי תשלום – אבל תמיד עם ציון מלא של המקור. לכל סולם אוספים את נתוני המהימנות והתוקף שדווחו, כי הם נכנסים לפרק השיטה.

ועדיין, סולם שהוכח מהימן באוכלוסייה אחת יכול להיות "לגמרי לא מהימן" באחרת – Pallant מביאה מבוגרים דוברי אנגלית מול ילדים שאינם דוברי אנגלית – ולכן גם סולם מצוין עובר פיילוט במדגם המיועד (Pallant, 2020, Chapter 1). Field (2024, סעיף 18.9.1) מנסח זאת כעיקרון: מהימנות אינה תכונה של הסולם אלא של הסולם, האנשים שעונים עליו וההקשר שבו הוא מועבר. סולם שתורגם לעברית הוא מקרה פרטי של אותו עיקרון – התרגום הוא כלי חדש, ואת המהימנות שלו מחשבים מחדש (בעמוד האלפא).

סולם משלכם. הדוגמה של Field (2024, סעיף 18.5) לפיתוח שאלון: הוא ראיין סטודנטים חרדים ולא-חרדים מ-SPSS, ניסח מהריאיונות 23 פריטים מועמדים, כל אחד היגד עם סולם ליקרט של חמש דרגות – ואז בדק בניתוח גורמים אילו פריטים נאספים לאילו ממדים (מהם מודדים דבר אחד, ואילו אפשר לוותר) ובניתוח מהימנות עד כמה הם עקיבים. זה המסלול: פריטים רבים מהראוי, מדגם גדול (Field, סעיף 18.5.3: הכלל "10-15 נבדקים לפריט" חסר בסיס אמפירי; מה שקובע הוא גודל המדגם הכולל – 300 נחשב טוב, ועם טעינויות גבוהות גם פחות מספיק), ניתוח גורמים (העקרונות בעמוד הלמידה הבלתי-מונחית; למבנה שאינו ידוע מראש – ניתוח גורמים מגשש; לבדיקת מבנה שנקבע מראש – ניתוח גורמים מאשש) ואלפא של קרונבך.

3. מהימנות ותוקף – מה מדווחים על הסולם

שתי התכונות שכל סולם צריך, לפי שני המקורות: מהימנות – עד כמה הוא חופשי משגיאה מקרית, או: האם הוא נותן את אותה תוצאה באותם תנאים; ותוקף – האם הוא מודד את מה שהוא אמור למדוד (Pallant, 2020, Chapter 1; Field, 2024, Section 1.5.4). Field מוסיף את הסדר: תוקף הוא תנאי הכרחי אבל לא מספיק, וכדי להיות תקף הכלי חייב קודם להיות מהימן. ולמה זה בוער דווקא בשאלון: מדידה עצמית (self-report) סובלת משגיאת מדידה גדולה יותר ממדידה ישירה, כי על התשובה משפיעים גם דברים שאינם המושג הנמדד – האם תודו בשאלון שגנבתם מחנות? (Field, 2024, Section 1.5.3).

מהימנות – שני המדדים הנפוצים (Pallant, 2020, Chapter 1): מהימנות מבחן-חוזר (יציבות בזמן: אותם אנשים, שני מועדים, המתאם ביניהם; לסולם של מצב רוח מצפים למתאם נמוך, לתכונת אישיות – גבוה) ועקיבות פנימית – עד כמה הפריטים "מחזיקים יחד", בדרך כלל אלפא של קרונבך, שהיא ביטוי למתאם הממוצע בין כל הפריטים. הסף המקובל .7 (Nunnally, 1978, as cited in Pallant), אבל אלפא תלויה במספר הפריטים: בסולם קצר (פחות מעשרה פריטים) היא יכולה להיות נמוכה גם כשהפריטים עקיבים, ואז מדווחים את המתאם הבין-פריטי הממוצע – טווח אופטימלי .2 עד .4 (Briggs & Cheek, 1986, as cited in Pallant). Field (2024, סעיף 18.9.4) מסייג: .7-.8 "מוכרז בכל מקום" כמקובל, אבל אלפא מושפעת ממספר הפריטים ומדברים שאינם מהימנות, ולכן מפרשים אותה בהקשר של המדידה והמחקר ולא לפי סף גורף. תוקף – אין מדד יחיד; הספרות מדברת על תוקף תוכן (הפריטים מכסים את תחום המושג), תוקף קריטריון (קשר לקריטריון מדיד – בו-זמנית או ניבויי) ותוקף מבנה (הקשרים למושגים אחרים, קרובים – מתכנס – ורחוקים – מבחין), והתיקוף הוא איסוף ראיות אמפיריות, לא נוסחה (Pallant, 2020, Chapter 1; Field, 2024, Section 1.5.4). ההרחבה – בעמוד המושגים; החישוב – באלפא של קרונבך וציון סולם.

4. סוגי שאלות

שאלה סגורה מציעה רשימת תשובות מוגדרות – כן/לא, או כמה אפשרויות שמסמנים אחת מהן. Pallant (2020, פרק 1) מדגימה בשאלת ההשכלה (שש אפשרויות ממוספרות 1-6) ומציינת את היתרון: הקידוד למספרים כמעט אוטומטי – לא = 0, כן = 1; גבר = 1, אישה = 2; בהשכלה מקלידים את מספר האפשרות שסומנה. העצה הקטנה שחוסכת הכי הרבה: למספר את האפשרויות על השאלון עצמו, ולקבוע מוסכמה לסדר המספור (למשל לרוחב ואז למטה) ולהחזיק בה לאורך כל השאלון.

שאלה פתוחה – כשאי-אפשר לנחש מראש את כל התשובות ("מהו מקור הלחץ העיקרי בחייך כרגע?"). הנשאלים חופשיים, אבל התשובות אינן מספר: אחרי האיסוף עוברים עליהן, מזהים קטגוריות חוזרות (עבודה, כסף, יחסים, בריאות), נותנים לכל קטגוריה קוד – ו"אחר" לכל השאר – ומקלידים את הקוד (Pallant, 2020, Chapters 1-2). שילוב – רשימה סגורה ועוד "אחר, פרט/י" עם שורה לכתיבה – שימושי במיוחד בשלבים המוקדמים של מחקר, כי הוא מראה אם הקטגוריות שהוצעו מכסות את מה שאנשים רוצים לענות (Pallant, 2020, Chapter 1).

מה הראיות אומרות על הבחירה. Thomander ו-Krosnick (2024) מסכמים מאה שנות ניסויים, ושתי מסקנות סותרות את האינטואיציה. הראשונה: לכמויות – שאלה פתוחה. כדי לבחור טווח ("2-5 פעמים") הנשאל ממילא עונה קודם במספר בראשו, וסט הטווחים עצמו דוחף אל האמצע, כי הנשאלים מניחים שהטווח האמצעי הוא השכיח (Schwarz et al., 1985, as cited in Thomander & Krosnick). השנייה: לשאלה קטגוריאלית שמרחב התשובות שלה אינו ידוע – גם כן פתוחה; "אחר" אינו פותר, כי הנשאלים מגבילים את עצמם לאפשרויות שהוצעו להם, ורשימה סגורה מתאימה רק כשהיא ממצה – מה שבדרך כלל דורש פיילוט רחב עם הגרסה הפתוחה. דוגמאות בתוך השאלה ("למשל: גרמנית, פולנית…") ממקדות את תשומת הלב בדוגמאות, ועדיף בלעדיהן. ו"סמנו את כל מה שמתאים": סדרה של שאלות נפרדות ומאוזנות ("קראת את העיתון הזה, או לא?") נותנת מהימנות גבוהה יותר ועיבוד עמוק יותר (Dolnicar et al., 2012; Smyth et al., 2008, כמצוטטים אצל Thomander & Krosnick) – ובקובץ זה אותו דבר בדיוק: עמודה לכל אפשרות (לוח 1). דירוג או סידור. כשהחיים מכריחים לבחור – מועמד אחד, ערך אחד לחנך אליו – בקשה לסדר את הפריטים (ranking) נותנת נתונים טובים יותר מדירוג כל פריט בנפרד, כי בסוללת דירוגים חלק מהנשאלים מסמנים אותה דרגה לכולם; כשאפשר לאהוב שניים במידה שווה – מדרגים, ועושים מה שאפשר כדי שהשאלות יהיו קלות והנשאלים מעורבים (Thomander & Krosnick, 2024).

5. פורמט התשובה – וסולם ליקרט

פורמט התשובה הוא ההחלטה שהניתוח הכי תלוי בה (Pallant, 2020, Chapter 1). שלושה כללים של Pallant: לבקש ערך ממשי כשיש כזה (גיל בשנים, לא קטגוריית גיל – מתאם דורש ציונים רציפים עם טווח רחב); לתת טווח תשובות רחב ככל האפשר, כי "לקבץ אפשר תמיד אחר כך" – ואת ההפך לא; ובמקום "מסכים / לא מסכים" – סולם מסוג ליקרט, למשל מ"כלל לא מסכים" (1) עד "מסכים מאוד" (6), שנותן טווח ציונים רחב יותר ומרחיב את הניתוחים האפשריים. על מספר הדרגות צריך להחליט (Pallant מפנה ל-DeVellis, 2012, לדיון ביתרונות ובחסרונות); Jamieson (2004) מציינת שחמש דרגות הן המקובל, ויש טיעונים בעד שבע ובעד מספר זוגי של דרגות (בלי אמצע) – ואת השאלה הזאת מכריעות הראיות שבהמשך הסעיף. מה שאינו שנוי במחלוקת: הוראות ברורות – לסמן תיבה? להקיף מספר? – עם דוגמה, כי לחלק מהנשאלים זה השאלון הראשון בחייהם (Pallant, 2020, Chapter 1).

מה שאלה אחת מספרת ומה היא מחמיצה. הדוגמה של Pallant: "האם את/ה מעשן/ת? כן / לא". בפיילוט מישהו ישאל אם הכוונה לסיגריות, סיגרים או קנאביס; ואז – האם מספיק לדעת אם, או צריך גם כמה (שתיים-שלוש סיגריות או שתיים-שלוש חפיסות) ובאיזו תדירות (כל יום או באירועים)? על כל שאלה שואלים מה המידע שהיא תיתן ומה המידע שיחסר (Pallant, 2020, Chapter 1).

כמה דרגות, ואיך מסמנים אותן – הראיות. Thomander ו-Krosnick (2024): המהימנות והתוקף עולים עם מספר הדרגות, אבל התוספת קטנה והולכת, והמסקנה מהספרות היא חמש דרגות לסולם חד-קוטבי (האפס בקצה: מ"כלל לא" עד "במידה רבה מאוד") ושבע לסולם דו-קוטבי (האפס באמצע: מ"אוהב מאוד" עד "שונא מאוד", עם "לא אוהב ולא שונא" באמצע). את האמצע לא מורידים: אפשרות ביניים אינה מעודדת תשובות עצלות; יש נשאלים ששייכים באמת לאמצע, ובלעדיו הם בוחרים נקודה סמוכה באקראי; השמטתו אינה משפרת סולם חד-קוטבי ופוגעת בסולם דו-קוטבי. סולם "מחוון" (slider) – להימנע: הדירוג נמשך למקום ההתחלתי של המחוון, ויותר נשאלים נוטשים. ותוויות מילוליות על כל הדרגות, בלי מספרים: מהימנות ותוקף גבוהים יותר מאשר במילים בקצוות בלבד, הנשאלים מעדיפים זאת, וזה גם מהיר יותר; מספרים ליד מילים מזיקים כשהמשמעויות סותרות. תוויות שנמצאו מרווחות בערך שווה – לחד-קוטבי "כלל לא / במידה מעטה / בינונית / רבה / רבה מאוד"; לדו-קוטבי "רע מאוד / די רע / קצת רע / לא רע ולא טוב / קצת טוב / די טוב / טוב מאוד"; לאיכות בחמש "גרוע מאוד / גרוע / סביר / טוב / מצוין" (התרגומים של האתר; במקור – extremely, very, moderately, slightly, not at all). ושאלה דו-קוטבית נענית טוב יותר בשני צעדים – "בעד או נגד?" ואז "במידה רבה, בינונית או מעטה?" – שבע קטגוריות בשתי שאלות קצרות במקום שבע אפשרויות בבת אחת (Thomander & Krosnick, 2024). ההשלכה לקובץ: המספר (1-5, 1-7) הוא הקוד במקרא, לא מה שהנשאל רואה – בשאלון, מודפס או מקוון, מציגים את המילים; וסולם מתוקף קיים מעבירים בפורמט שבו תוקף (סעיף 2). היגדי "מסכים / לא מסכים" הם סולם דו-קוטבי – ועל הבעיה שלהם, סעיף 7.

תדירות וכמות – לא בסולם של "לעיתים קרובות". ממדים בלי מטרי טבעי – חשיבות, אהדה, ידידותיות – חייבים סולם דירוג; ממדים עם מטרי טבעי – תדירות, כמות, זמן – אין מודדים ב"כמתים מעורפלים" ("די הרבה", "לעיתים קרובות למדי") שכל אחד מבין אחרת, אלא בשאלה פתוחה ביחידה הטבעית: 5 ימים בשבוע, 3 שעות (Thomander & Krosnick, 2024) – הכלל של Pallant על גיל בשנים, מורחב. Yan (2024) מראה למה גם רשימת טווחים אינה פתרון: הנשאלים מניחים שכותב השאלון בחר את הטווחים בקפידה, ולכן קוראים מהם מה "נורמלי" ומאתרים את עצמם ביחס לכך. כששאלו כמה טלוויזיה אנשים רואים ביום, סולם שנגמר ב"יותר משעתיים וחצי" הניב דיווחים נמוכים מסולם שהתחיל ב"עד שעתיים וחצי"; ומי שסימן שעתיים וחצי בקצה העליון של הסולם הנמוך גם העיד אחר כך שהטלוויזיה תופסת מקום גדול בפנאי שלו – ומי שסימן אותו ערך בתחתית הסולם הגבוה, להפך (Schwarz et al., 1985, as cited in Yan). ועוד מ-Yan: "כמה פעמים…" מעודד ספירה של אירועים (ונוטה להמעיט); "באיזו תדירות…" מעודד הכללה מקצב ("פעמיים בשנה", ונוטה להפריז) – כשרוצים ספירה, מבקשים זמן, ומזכירים רשומות אם יש.

ליקרט: סדר או רווח? כאן הספרות חלוקה, והאתר נוקט עמדה. Field (2024, קופסה 1.2) סבור שכל דירוג סובייקטיבי – העדפה, ביטחון, הבנה – ראוי שייחשב משתנה סדר, "אף שמדענים רבים אינם נוהגים כך": אי-אפשר להיות בטוחים שהמרחק בין 1 ל-2 שווה למרחק בין 4 ל-5. Jamieson (2004) מחמירה: סולם ליקרט הוא רמת מדידה של סדר, ולכן חציון או שכיח ולא ממוצע, ומבחנים א-פרמטריים (חי-בריבוע, ספירמן, מאן-ויטני) ולא פרמטריים – והיא מזכירה שההתפלגויות של פריטי ליקרט לעיתים קרובות מוטות או מקוטבות, ושאת השאלה הזאת צריך להכריע כבר בשלב התכנון. Norman (2010) עונה לה בראיות על חסינות: במדגם של 93 נשאלים על 64 זוגות של פריטי דירוג, המתאם בין פירסון לספירמן היה .99, וגם כשכיווץ את הסולם לארבע דרגות מוטות מאוד – .987; מבחנים פרמטריים חסינים לאי-נורמליות ולסדר; והוא מביא גם את הטיעון של Carifio ו-Perla (2008, as cited in Norman) – פריט ליקרט יחיד הוא אולי סדר, אבל סולם ליקרט, סכום של פריטים רבים, הוא רווח, בדיוק כמו ציון במבחן רב-ברירה שהוא סכום של תשובות נכונות – אם כי לשיטתו ההכרעה אינה בטיעון הזה אלא בראיות החסינות. מוסכמת האתר, כפי שנקבעה בעמוד המשתנים וסולמות המדידה, היא "גם וגם": פריט דירוג יחיד הוא משתנה סדר (שכיחויות, חציון, ספירמן), ציון של סולם רב-פריטי הוא משתנה רווח (ממוצע, פירסון, t, רגרסיה) – ובשני המקרים מדווחים מה עשו. ההשלכה לתכנון: מי שרוצה ממוצעים, מבחני t ורגרסיה על מושג – בונה לו סולם של כמה פריטים, לא שאלה אחת; ומי שיש לו רק שאלה אחת מדווח אותה כשכיחויות וחציון.

6. איך אנשים עונים על שאלה – ולמה זה קובע את הניסוח

שני הפרקים של המדריך של קיימברידג' מתחילים מאותו מודל: כדי לענות על שאלה הנשאל עובר ארבעה שלבים – הבנה (מה שואלים, ולמה מתכוונים), שליפה מהזיכרון, שיפוט (שילוב מה שנשלף לתשובה אחת, או אומדן) ומיפוי של התשובה לאחת האפשרויות (Yan, 2024; Thomander & Krosnick, 2024). כל שלב דורש מאמץ, ולא כל נשאל מוכן להשקיע אותו. מי שעושה את כולם כראוי "ממטב" (optimizing); מי שמקצר – בעדינות (כל השלבים, ברישול) או בגסות (מדלג על השליפה והשיפוט ובוחר תשובה שנראית סבירה, או סתם כזאת שקל להגן עליה) – "מסתפק" (satisficing; Krosnick, 1991, as cited in Thomander & Krosnick). שלושה דברים קובעים כמה יסתפקו: קושי המשימה, יכולת הנשאל ומוטיבציה – והמוטיבציה יורדת עם העייפות, ככל שהשאלון מתארך. התסמינים מוכרים לכל מי שניתח שאלון: "לא יודע" במקום לחשוב; קו ישר (straightlining) – אותה דרגה לסוללה שלמה של פריטים; הסכמה עם כל היגד; הקצוות; האמצע (Yan, 2024). והנשאלים גם קוראים מההקשר: הם מניחים שכותב השאלון הוא בן-שיח שיתופי – שכל שאלה רלוונטית, שהאפשרויות נבחרו בקפידה, שהשאלה הקודמת קשורה לזו שאחריה – ועונים לפי מה שהם מסיקים שהתכוונו (Yan, 2024, על כללי השיחה של Grice). מכאן כלל העבודה של שני הפרקים: כל החלטת עיצוב נבחנת בשאלה אם היא מקטינה את הקושי ומגדילה את המוטיבציה – ואם היא מכבדת את כללי השיחה.

מה משתבש בכל שלב. בהבנה: שאלות ארוכות, עם כמה פסוקיות או בשלילה, לוקחות יותר זמן ומכבידות; מילים רבות-משמעות; ואפילו מילה פשוטה – כשנשאלו "האם עישנת לפחות 100 סיגריות בחייך?", 54% הבינו "עישון" ככל שאיפה ו-46% רק כשאיפה פנימה (Suessbrick et al., 2000, as cited in Yan) – והגדרה בתוך השאלה משפרת דרמטית את הדיוק במושגים עמומים. בשליפה: שוכחים – בעיקר אירועים שגרתיים ותכופים – ומזיזים בזמן (telescoping: אירוע שהיה מחוץ לתקופה מדווח כאילו בתוכה); ומה שלא קודד בזיכרון באותה קטגוריה (הליכה עם הכלב אינה "פעילות גופנית") לא יישלף. בשיפוט: ספירה מלמטה ממעיטה, הכללה מלמעלה מפריזה, ורושם ("אין לי אף פעם בעיות שיניים") – הגרוע מכולם; עוזרים זמן, רשומות, אירוע-עוגן שמסמן את תחילת התקופה, ויומן. במיפוי: הנשאל עורך את התשובה – בשאלות רגישות (סעיף 8), או כדי להיפטר משאלות המשך: מי שעונה "לא" לשאלת סינון חוסך לעצמו את כל מה שאחריה, ולכן שואלים את כל שאלות הסינון יחד ורק אז את שאלות ההמשך; וסדר האפשרויות משפיע – ברשימה כתובה בוחרים יותר את הראשונות (ראשוניות), ברשימה שמקריאים – את האחרונות (Yan, 2024; Thomander & Krosnick, 2024). ברשימה קטגוריאלית בלי סדר טבעי, בשאלון מקוון, אפשר להציג את האפשרויות בסדר אקראי לכל נשאל – אלא אם הסדר עצמו נושא משמעות (Thomander & Krosnick, 2024). ההמלצה הראשונה של Yan היא עוד לפני כל זה: לדעת בדיוק מה המושג שמודדים – "מובטל" הוא גם מי שאין לו עבודה וגם מי שרוצה אחת, ושאלה על "האם את/ה עובד/ת" לבדה מודדת רק חצי מושג – ועמוד שאלת המחקר מתחיל שם.

7. ניסוח

"יש אמנות אמיתית בניסוח פריטים ברורים", כותבת Pallant (2020, פרק 1) – אין כללים חד-משמעיים, אבל יש רשימה של מה להימנע ממנו, וכל פריט בה מוכר למי שניתח פעם שאלון של מישהו אחר:

הסכמה לכל דבר. ההמלצה המבוססת ביותר של Thomander ו-Krosnick (2024) היא גם הקשה ביותר ליישום: שאלות "מסכים / לא מסכים", "נכון / לא נכון" ו"כן / לא" סובלות מהטיית הסכמה (acquiescence) – הנטייה לאשר היגדים בלי קשר לתוכנם. יותר אנשים מסכימים עם "אני אוהב אננס" מאשר לא-מסכימים עם "אני לא אוהב אננס", אף שהשאלות אמורות להיות תמונת ראי; הסיבות – הסתפקות, נימוס, הימנעות מעימות, כבוד לבעל הסמכות. במקום היגד – שאלה שמזכירה את המושג הנמדד במפורש, עם שתי האפשרויות מאוזנות: לא "אני מרוצה מהשירות – מסכים / לא מסכים", אלא "עד כמה את/ה מרוצה או לא מרוצה מהשירות?" עם סולם מ"לא מרוצה כלל" עד "מרוצה מאוד". האתר מחזיק כאן בשניים: סולם מתוקף שנבנה מהיגדי הסכמה – משתמשים בו כפי שתוקף, והפריטים ההפוכים שבו (סעיף 9) הם ההגנה המוכרת מפני הטיית התגובה (Field, 2024, Section 18.9.4); פריטים חדשים משלכם – מנסחים כשאלה על המושג, לא כהיגד.

"לא יודע" ו"לא רלוונטי" – מתי כן ומתי לא. Pallant (2020, פרק 1) ממליצה להוסיף קטגוריה כזאת כשמתבקש – אחרת מי שאינו יודע יבחר באמצע הסולם, וזה ייקרא כעמדה. Thomander ו-Krosnick (2024) מראים שבשאלות עמדה הבחירה ב"לא יודע" משקפת לרוב לא היעדר עמדה אלא הסתפקות, עמימות של השאלה, אמביוולנטיות או הגנה על הדימוי – ולכן ממליצים להשמיט אותה משאלות עמדה, ולשאול אחריהן על עוצמת העמדה. גם וגם: "לא רלוונטי" לשאלה עובדתית שאינה חלה על כולם (ושאלת סינון לפניה) – כן; "לא יודע" בשאלת עמדה – בדרך כלל לא. ובקובץ, קוד כזה אינו ערך חסר אלא תשובה: מתעדים אותו במקרא, ומוציאים אותו לפני ממוצע או מתאם (ראו ערכים חסרים והתבנית התקנית). אורך השאלה. לא הקצרה ביותר – הקצרה ביותר שמעבירה את הרעיון באופן אחיד לכולם: מילים חד-משמעיות, מוכרות, קצרות; כמה שפחות משפטים; והגדרה בתוך השאלה כשהמושג עמום (Thomander & Krosnick, 2024; Yan, 2024).

8. סדר השאלות, אורך השאלון ושאלות רגישות

סדר. החדשות הטובות: בניתוחים של מאות ניסויים, אפקטי סדר השאלות נדירים – 11-12 מתוך יותר מ-500 משתנים אצל Smith (1988), 8 מתוך 113 ניסויים אצל Schuman ו-Presser (1981; שניהם כמצוטטים אצל Thomander & Krosnick, 2024). כשהם קורים, זה בגלל כללי השיחה: השאלה הקודמת מסבירה את הבאה. הדוגמה של Yan (2024): שביעות רצון מהנישואים ואז מהחיים – המתאם גבוה, כי הנישואים "טריים" בזיכרון; עם פתיח משותף ("שתי שאלות על חייך – הראשונה על הנישואים, השנייה על החיים בכלל") המתאם יורד, כי הנשאל מבין שהשאלה הכללית היא על "שאר החיים" (Strack et al., 1988; Schwarz et al., 1991, כמצוטטים אצל Yan). ההמלצות המצטברות: כללי לפני ספציפי באותו נושא; שאלות על אותו נושא יחד; פתיחה בשאלות קלות ונעימות; שאלות סינון כדי לא לשאול מה שלא חל; ושאלות רגישות ודמוגרפיות – בסוף (Thomander & Krosnick, 2024; Yan, 2024). אורך. העייפות מצטברת, וההסתפקות איתה – ולכן כמה שפחות שאלות, רק מה שמשרת שאלת מחקר (סעיף 1). Thomander ו-Krosnick מזכירים ספרות גדלה שמראה שמדידה בפריט יחיד יכולה לעבוד היטב גם למושגים שנהוג למדוד בסוללה; מוסכמת האתר (סעיף 5) נשארת: ציון סולם רב-פריטי – רווח; פריט יחיד – סדר, ומדווח כשכיחויות וחציון.

שאלות רגישות ורצייה חברתית. שאלה רגישה בשלושה מובנים (Yan, 2024): פרטית – מחוץ לגבולות שיחה רגילה (הכנסה, מיניות); מסכנת – מידע מזהה שחשיפתו לגוף שלישי מסוכנת; או כזאת שיש לה תשובה "נכונה" חברתית – ואז מגזימים ברצוי (הצבעה) וממעיטים בלא-רצוי (שתייה מופרזת). Thomander ו-Krosnick (2024) מסייגים: חלק ניכר ממה שנראה כדיווח כוזב הוא בעצם אי-היענות – מי שלא הצביע גם פחות עונה לסקרים – ורוב הטכניקות "המתוחכמות" לא הוכחו. מה כן מתועד: מילוי עצמי בלי מראיין מקטין את ההטיה, ולכן שאלון מקוון או מודפס עדיף על ריאיון לשאלות רגישות (Yan, 2024); אנונימיות מגדילה דיווח על הלא-רצוי אבל גם מורידה מאמץ ודיוק; ניסוח "סלחני" ("הרבה אנשים לא הספיקו להצביע…") מגדיל דיווח, אבל לא הוכח שהוא מגדיל תוקף (Thomander & Krosnick, 2024). ומה שאינו טכניקה: הסכמה מדעת שאומרת מראש מה יישאל, ולמי פונים אם השאלות העלו מצוקה – בעמוד האתיקה במחקר.

9. פריטים הפוכים

בסולם של היגדים נהוג לנסח חלק מהפריטים בכיוון ההפוך – בשאלון חרדת ה-SPSS של Field (2024, סעיף 18.9.4), 22 פריטים שהסכמה איתם פירושה חרדה ("סטטיסטיקה מביאה אותי לידי בכי") ופריט אחד הפוך ("סטיות תקן מרגשות אותי"). הפריטים ההפוכים חשובים כי הם מפחיתים הטיית תגובה – הנשאלים חייבים לקרוא כדי לענות – אבל יש להם מחיר שחייבים לשלם לפני הניתוח: פריט הפוך מתואם שלילית עם שאר הפריטים, מוריד את אלפא של קרונבך ויכול אפילו להפוך אותה לשלילית. לכן הופכים את הציון שלו לפני ניתוח המהימנות: המקסימום של הסולם ועוד אחד, פחות הערך (בסולם 1-5: 6 − הערך) – 5 נעשה 1, 1 נעשה 5, 3 נשאר 3 (Field, 2024, Section 18.9.4). באתר: מזינים את הפריט כפי שנענה, כותבים "הפוך" בעמודת ההערות במקרא, ועמוד האלפא הופך אותו בעצמו; מתאם פריט-סולם שלילי בפלט הוא כמעט תמיד פריט הפוך שלא סומן.

10. פיילוט

לפני ההפצה, Pallant (2020, פרק 1) דורשת פיילוט – ועל אנשים מאותו סוג שיענו במחקר עצמו (מתבגרים, מובטלים, אסירים): לוודא שההוראות, השאלות ופריטי הסולם ברורים, שהנשאלים מבינים ועונים כראוי, ולאתר שאלות שעלולות לפגוע. זה גם המקום שבו מתגלה ש"האם את/ה מעשן/ת?" אינה שאלה אחת (סעיף 5), ושסולם שעבד בתרבות אחרת אינו עובד כאן (סעיף 2) – אפשר כבר על נתוני הפיילוט לחשב אלפא בעמוד האלפא. ובניסוי – חזרה גנרלית מלאה של המניפולציה ושל המדדים, אימון המראיינים, ובדיקת מהימנות בין צופים כשכמה אנשים מקודדים התנהגות (Pallant, 2020, פרק 1; המחשבון: מהימנות בין מקודדים). "ליישר את מקורות הבלבול לפני שמפיצים מאות שאלונים."

Yan (2024) מרחיבה את ארגז הכלים לפי שלב: קבוצות מיקוד בשלב ההמשגה – איך אנשים מדברים על הנושא, ובאילו מילים; סקירת מומחים וראיונות קוגניטיביים – הנשאל חושב בקול תוך כדי מענה, והחוקר שומע מה הוא הבין ואיך בחר – לפני השטח; ובמהלך האיסוף – זמני תגובה (שאלון מקוון רושם אותם). השיטות אינן תמיד מצביעות על אותן בעיות, אבל כמה שיטות טובות מאחת, ו"כל שיטת הערכה טובה מאף אחת" (Yan, 2024); Thomander ו-Krosnick (2024) קוראים לזה "בדיקה קוגניטיבית מוקדמת", והיא הדרך שלהם למדוד אם השאלה מעבירה את הרעיון באופן אחיד (סעיף 7).

11. מהשאלון לקובץ

את ספר הקודים (codebook) מכינים לפני ההקלדה, לא אחריה: לכל משתנה שם קצר וייחודי, תיאור, אופן הקידוד של התשובות ורמת המדידה; ולכל שאלון – מספר מזהה שנכתב עליו, כדי שאפשר יהיה לחזור אליו כשמתגלה שגיאה (Pallant, 2020, Chapter 2). באתר ספר הקודים הוא גיליון "מקרא" בקובץ האקסל, ומבנה הקובץ – שורה לנבדק, עמודה למשתנה – מתואר בהתבנית התקנית לנתונים, עם תבנית ריקה להורדה ובודק שמדווח מה כל מחשבון יזהה. שני קיצורי דרך: מי שהנתונים שלו כבר ב-SPSS מפיק את התבנית מהקובץ במ-SPSS לאקסל – ואם השאלון כתוב ב-Word בטבלאות שבתא הראשון שלהן קוד השאלה (Q1, Q2, D3), העמוד משלים מהשאלון גם את נוסח השאלה המלא ואת הנחיות הסינון; ומי שמקליד ידנית – ממספר את האפשרויות על השאלון, ומקליד את המספר.

טעויות נפוצות

לשאול בקטגוריות מה שאפשר לשאול כמספר. גיל, ותק, הכנסה, שעות – בקטגוריות הם משתני סדר, והמתאם והממוצע אבדו (Pallant, 2020, Chapter 1).

לחשב ממוצע של שאלה אחת ולדווח אותו כאילו הוא ציון סולם. פריט יחיד הוא משתנה סדר (Field, 2024, Box 1.2; Jamieson, 2004) – שכיחויות וחציון; ממוצע ומבחני t – לציון של סולם רב-פריטי (Norman, 2010).

לכתוב סולם משלכם כשיש סולם מתוקף. סקירת ספרות קודם; ואם בכל זאת – הרבה פריטים מועמדים, מדגם גדול, ניתוח גורמים ואלפא (Pallant, 2020, Chapter 1; Field, 2024, Section 18.5).

לדווח את האלפא מהמאמר המקורי במקום לחשב במדגם שלכם. מהימנות היא של הסולם באוכלוסייה הזאת, בהקשר הזה (Field, 2024, Section 18.9.1; Pallant, 2020, Chapter 1).

שאלה כפולה, שלילה כפולה, שאלה מובילה. לוח 2.

להפיץ בלי פיילוט. כל מה שלא נתפס בפיילוט נתפס בניתוח – כשכבר אי-אפשר לתקן (Pallant, 2020, Chapter 1).

לשכוח את הפריטים ההפוכים. אלפא נמוכה או שלילית, מתאם פריט-סולם שלילי (Field, 2024, Section 18.9.4); "הפוך" במקרא פותר.

"לא יודע" כערך חסר, או כאמצע הסולם. קוד נפרד, מתועד, שמוצא לפני ממוצע (Pallant, 2020, פרק 1 – ההמלצה להוסיף את הקטגוריה; הטיפול בקובץ – מוסכמת האתר) – ובשאלות עמדה, בדרך כלל בלעדיו (Thomander & Krosnick, 2024).

היגדי "מסכים / לא מסכים" לפריטים חדשים. הטיית הסכמה; שאלה על המושג, עם אפשרויות מאוזנות (Thomander & Krosnick, 2024).

תדירות ב"לעיתים קרובות / לפעמים / לעיתים רחוקות". כל אחד מבין אחרת, והסולם עצמו מלמד מה "נורמלי"; מספר ביחידה טבעית (Thomander & Krosnick, 2024; Yan, 2024).

מספרים במקום מילים על הסולם, סולם בלי אמצע, או מחוון. מילים על כל הדרגות, 5 או 7 עם אמצע (Thomander & Krosnick, 2024).

שאלות הסינון משולבות בין שאלות ההמשך. מי שמבין שה"לא" חוסך שאלות – עונה "לא"; כל שאלות הסינון קודם (Yan, 2024).

רשימת בדיקה – לפני ההפצה

מקורות

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Jamieson, S. (2004). Likert scales: How to (ab)use them. Medical Education, 38(12), 1217-1218. https://doi.org/10.1111/j.1365-2929.2004.02012.x

Norman, G. (2010). Likert scales, levels of measurement and the "laws" of statistics. Advances in Health Sciences Education, 15(5), 625-632. https://doi.org/10.1007/s10459-010-9222-y

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Thomander, S. D., & Krosnick, J. A. (2024). Question and questionnaire design. In A. L. Nichols & J. E. Edlund (Eds.), The Cambridge handbook of research methods and statistics for the social and behavioral sciences: Vol. 2. Performing research (pp. 352-370). Cambridge University Press. https://doi.org/10.1017/9781009000796.017

Yan, T. (2024). Self-report measures. In A. L. Nichols & J. E. Edlund (Eds.), The Cambridge handbook of research methods and statistics for the social and behavioral sciences: Vol. 2. Performing research (pp. 329-351). Cambridge University Press. https://doi.org/10.1017/9781009000796.016

Nunnally (1978), Briggs ו-Cheek (1986), DeVellis (2012), De Vaus (2014), Kline (1999, 2005) ו-Streiner ו-Norman (2015) – כמצוטטים אצל Pallant (2020); Pedhazur ו-Schmelkin (1991), Comrey ו-Lee (1992) ו-Guadagnoli ו-Velicer (1988) – כמצוטטים אצל Field (2024); Carifio ו-Perla (2008) – כמצוטטים אצל Norman (2010); Krosnick (1991), Schwarz ועמיתיו (1985), Dolnicar ועמיתיו (2012), Smyth ועמיתיו (2008), Smith (1988) ו-Schuman ו-Presser (1981) – כמצוטטים אצל Thomander ו-Krosnick (2024); Suessbrick ועמיתיו (2000), Strack ועמיתיו (1988), Schwarz ועמיתיו (1985, 1991) ו-Grice – כמצוטטים אצל Yan (2024). לפי כלל האתר, ברשימת המקורות מופיעים רק מקורות שנקראו במקור. Field (2024) ו-Pallant (2020) בעותק דיגיטלי מזורם – ציטוט לפי סעיף ופרק; שני המאמרים ושני פרקי המדריך של קיימברידג' – לפי הפריט כולו, בלי מספרי עמודים בגוף הטקסט.