מהימנות ותוקף: המושגים

מדריך

מה בעמוד

כל מדידה במחקר החברתי – שאלון, סולם עמדות, קידוד של תשובות פתוחות, דירוג של שופטים – היא מספר שמייצג דבר שאי-אפשר למדוד ישירות. שתי שאלות נשאלות על כל מספר כזה, והן שונות זו מזו: האם המדידה עקבית – תיתן אותה תוצאה בתנאים זהים? זו מהימנות. והאם היא מודדת את מה שהתכוונו למדוד, ולא משהו אחר? זה תוקף. העמוד מגדיר את שני המושגים, מפרק כל אחד לסוגיו, מסביר מדוע מהימנות היא תנאי הכרחי לתוקף אך אינה מספיקה, ומפנה למחשבוני האתר שבודקים את החלק שאפשר לחשב. בגרסה 3 נוספו שני פרקים מהמדריך של קיימברידג' לשיטות מחקר במדעי החברה וההתנהגות (Nichols & Edlund, 2024): Raykov (2024) על מהימנות – ההגדרה הפורמלית, מה אלפא היא ומה אינה, ושתי אזהרות על "α בהשמטה" ועל α מתוקננת; ו-Skowronski (2024) על תוקף – למה הוא רצף ולא כן/לא, מאיפה אי-תוקף מגיע, ולמה הוא משתנה עם ההקשר.

1. שגיאת מדידה – למה בכלל צריך את שני המושגים

יש דברים שמודדים ישירות – משקל, גובה, רווח – ויש דברים שמודדים בעקיפין: דיווח עצמי, שאלונים, משימות ממוחשבות. בשני המקרים כמעט תמיד יש פער בין המספר שמייצג את הדבר לבין ערכו האמיתי – הערך שהיינו מקבלים אילו יכולנו למדוד ישירות – וזו שגיאת המדידה (Field, 2024, Section 1.5.3). הדוגמה של Field: מי ששוקל 83 ק"ג ועולה על משקל שמראה 80 – שגיאת מדידה של 3 ק"ג. משקל מכויל טועה מעט; שאלון טועה הרבה יותר, כי על התשובה משפיעים גם גורמים שאינם הדבר הנמדד – למשל, האם תודו בשאלון שגנבתם מחנות?

שגיאת המדידה מתפרקת לשני חלקים שמתנהגים אחרת. חלק מקרי – רעש שמשתנה ממדידה למדידה ומתקזז בממוצע: מצב רוח, עייפות, ניסוח שהובן בשתי דרכים. וחלק שיטתי – הטיה שחוזרת באותו כיוון בכל מדידה: משקל שמראה תמיד 3 ק"ג פחות, שאלון "שביעות רצון מהמרצה" שמודד למעשה כמה קל לקבל ציון גבוה. מהימנות עוסקת בחלק הראשון; תוקף – בשני. ולכן אפשר להיות מהימן מאוד ולא תקף: המשקל המקולקל נותן אותו מספר בכל בוקר.

2. מהימנות – "אותה תוצאה בתנאים זהים"

מהימנות היא יכולתו של כלי המדידה להניב אותן תוצאות באותם תנאים (Field, 2024, Section 1.5.4) – או, בניסוח של Pallant (2020, פרק 1), עד כמה הסולם חופשי משגיאה מקרית. אי-אפשר לראות מהימנות במדידה אחת; רואים אותה רק כשחוזרים על המדידה ומשווים. השאלה היא על מה חוזרים – ולכל תשובה יש סוג מהימנות משלו, מדד משלו, ומקום משלו באתר (לוח 1).

ההגדרה הפורמלית. Raykov (2024) מתחיל מהזהות של תורת המבחנים הקלאסית: כל ציון נצפה הוא ציון אמיתי ועוד שגיאה, X = T + E – לא מודל שאפשר להפריך אלא פירוק שתמיד נכון, כשהציון האמיתי הוא התוחלת של המדידה. המהימנות היא היחס ρ = Var(T) / Var(X): שיעור ההבדלים האמיתיים בין אנשים מתוך ההבדלים הנצפים. מכאן שלוש קריאות של אותו מספר: ρ הוא ה-R² של "ניבוי" הציון הנצפה מהאמיתי; ρ הוא 1 פחות יחס הרעש לאות; ו-ρ הוא המתאם בין שתי מדידות מקבילות של אותו דבר, כששגיאותיהן בלתי-מתואמות – וזה הבסיס לפירוש "חזרה" שבראש הסעיף, ולמהימנות החוזרת בלוח 1, שמניחה בדיוק את זה (מדידות מקבילות עם שגיאות בלתי-מתואמות – הנחה ש-Raykov מעיר שקשה מאוד לבנות בפועל, ולכן מעדיף סולמות רב-פריטיים). ועוד תוצאה שמחברת את הסעיף הזה לעמוד המתאמים: המתאם הנצפה בין שני מדדים קטן מהמתאם בין הציונים האמיתיים שלהם, וr_אמיתי = r_נצפה / √(ρ_U·ρ_V) – נוסחת ההחלשה: שני סולמות במהימנות .7 שמתואמים .40 מודדים דברים שמתואמים כ-.57. ולבסוף, ρ מוגדר לכל מדידה עם שונות חיובית – פריט דו-ערכי, פריט ליקרט, ציון רציף – ותלוי גם בכלי וגם באוכלוסייה, בדיוק כמו ממוצע ושונות (Raykov, 2024).

מהימנות חוזרת (יציבות בזמן). אותם אנשים, אותו סולם, שני מועדים; המתאם בין שני ציוני הסולם הוא המדד (test-retest reliability). זו הדרך הפשוטה ביותר לבדוק מהימנות, אך היא מתאימה רק למה שאמור להישאר יציב: תכונת אישיות – כן; מצב רוח, רמת סוכר, תפוקה – לא, כי שינוי אמיתי בין המועדים ייראה כחוסר מהימנות (Field, 2024, Section 1.5.4; Pallant, 2020, Chapter 1). מרווח הזמן הוא החלטה שמדווחים: קצר מדי – זיכרון של התשובות; ארוך מדי – שינוי אמיתי.

עקיבות פנימית. סולם של כמה פריטים אמור למדוד תכונה אחת, ולכן הפריטים אמורים "ללכת יחד" – מי שגבוה בפריט אחד גבוה גם באחרים. המדד הנפוץ הוא אלפא של קרונבך, שמשקפת את המתאם הממוצע בין הפריטים; הכלל המקובל הוא אלפא מעל .7 (DeVellis, 2012, ו-Nunnally, 1978, כמצוטטים אצל Pallant, 2020, פרקים 1 ו-9). אבל אלפא תלויה במספר הפריטים: בסולם קצר (פחות מעשרה פריטים) היא נמוכה גם כשהפריטים קשורים היטב, ואז מדווחים את המתאם הבין-פריטי הממוצע, שהטווח הרצוי שלו הוא .2 עד .4 (Briggs & Cheek, 1986, כמצוטטים אצל Pallant, 2020, פרק 9). ולהפך: סולם ארוך מאוד יגיע לאלפא גבוהה גם עם פריטים בינוניים – אלפא גבוהה אינה הוכחה שהסולם מודד דבר אחד. שתי הערות מעשיות מ-Pallant (2020, פרק 9): פריטים מנוסחים בהיפוך חייבים להתהפך לפני החישוב, אחרת האלפא תהיה נמוכה ושגויה; והמהימנות תלויה במדגם – מחשבים ומדווחים אותה על המדגם שלכם, לא רק את הערך שדיווח מפתח הסולם.

מה אלפא היא – ומה לא. Raykov (2024) מבהיר את מעמדה: אלפא (Cronbach, 1951, as cited in Raykov) מוגדרת בכל אוכלוסייה שבה לציון הסולם יש שונות חיובית – בלי מודל, בלי הנחת חד-ממדיות, בלי הנחת נורמליות, ועם פריטים דו-ערכיים, סדר או רציפים. היחס שלה למהימנות האמיתית של הסולם מסובך: כשהשגיאות של הפריטים בלתי-מתואמות, אלפא אינה עולה על המהימנות (ולכן כינויה "חסם תחתון"), ושווה לה בדיוק רק כשכל הפריטים מודדים את אותו ציון אמיתי באותן יחידות (שקילות-טאו); כשהטעינויות שונות אבל כולן גבוהות, ההפרש זניח למעשה; וכשהשגיאות מתואמות, אלפא יכולה להיות גם מעל המהימנות. מכאן מסקנתו: הקריאות שנשמעו לנטוש את אלפא לטובת מדדים אחרים הן, לדעתו, שגויות – אלפא נשארת מדד מהימן ושימושי כשהשגיאות אינן מתואמות, וחסם תחתון אינפורמטיבי בכל שאר המקרים. ושתי אזהרות שנוגעות ישירות לפלט של מחשבון האלפא: (1) "α אם הפריט יושמט" – Raykov ממליץ בדרך כלל לא להשתמש בה כמדריך לשינוי סולם, כי בסולם שבו אלפא נמוכה מהמהימנות, השמטת פריט לפי הסטטיסטי הזה יכולה להוריד גם את המהימנות וגם את תוקף הקריטריון; (2) α מתוקננת (על פריטים מתוקננים) – להימנע מאומדן, דיווח או פירוש שלה אלא אם יש סיבה חזקה לתקנן את הפריטים מלכתחילה, כי היא יכולה להיות גבוהה או נמוכה בהרבה מהמהימנות של ציון הסולם שבפועל מנתחים. האתר מחזיק בשניים: המחשבון מציג את שתיהן, כמו SPSS וכמו Field (2024) ו-Pallant (2020) שעליהם הוא בנוי – אבל כאבחון (פריט הפוך שלא סומן מתגלה שם מיד), לא כבסיס להשמטת פריטים ולא כמספר לדיווח; מדווחים את α הרגילה, של ציון הסולם כפי שמסכמים אותו. ולסיום, Raykov מוסיף למה "תלוי במדגם" הוא גם "תלוי בזמן": אוכלוסיות משתנות, המבנה הסמוי של סולם יכול להשתנות, ואוכלוסייה שהייתה הומוגנית יכולה להפוך לכמה תת-אוכלוסיות – ולכן לא מסתמכים על המהימנות שבמדריך הסולם, אלא אוספים נתונים ואומדים מחדש, רצוי עם רווח סמך; ובפיתוח סולם – מדגם גדול שמפוצל לשניים, כדי שהחלק המאשר לא ייבדק על אותם נתונים שעליהם נעשו השינויים (Raykov, 2024).

מהימנות בין מקודדים (או בין שופטים). כשאדם הוא כלי המדידה – מקודד שממיין תשובות פתוחות לקטגוריות, שופט שמדרג – הרעש הוא הפרשנות שלו, והדרך לבדוק היא להעמיד מולו מקודד שני, עצמאי, על אותן יחידות ואותן הוראות. Krippendorff (2019, סעיף 11.2.1) מבחין בין שלושה מערכי בדיקה לפי מקור אי-ההסכמה: יציבות – אותו מקודד חוזר על העבודה אחרי זמן (אי-עקיבות אישית בלבד; המערך החלש ביותר, כי הוא אינו מגלה הטיה עקבית של המקודד); שחזוריות – שני מקודדים או יותר, עצמאיים (גם הבדלי פרשנות ביניהם; זה מה שנקרא בדרך כלל מהימנות בין מקודדים, וזה הסטנדרט); ודיוק – השוואה לתקן שנחשב נכון (גם סטייה מהתקן; המערך החזק ביותר, אך תקן כזה קיים בעיקר באימון מקודדים). המדדים – קאפה של כהן לזוג מקודדים (Cohen, 1960) ואלפא של קריפנדורף לכל מספר מקודדים – מתקנים את ההסכמה הגולמית להסכמה הצפויה במקרה, ומחושבים בעמוד המהימנות בין מקודדים, כולל רווחי סמך ושני סרגלי הפרשנות המקובלים.

3. תוקף – "מודד את מה שהתכוונו"

תוקף הוא השאלה האם הכלי מודד את מה שנבנה למדוד (Field, 2024, Section 1.5.4): סולם "עזרה של המרצה" – האם הוא באמת מודד עזרה? מכשיר שאמור למדוד תנועתיות של זרע ומודד למעשה את כמותו אינו תקף. Field מוסיף הבחנה חשובה: זמן תגובה ומוליכות עור הם תקפים במובן הצר – זמן תגובה באמת מודד את הזמן שלקח להגיב – אבל ברגע שמסיקים מהם על דבר אחר (מוליכות עור כמדד לחרדה), הם תקפים רק אם שום גורם אחר מלבד זה שמעניין אותנו אינו משפיע עליהם. בניגוד למהימנות, לתוקף אין מדד יחיד וחד-משמעי; תיקוף סולם הוא איסוף של ראיות אמפיריות על השימוש בו (Pallant, 2020, Chapter 1). הספרות מבחינה בכמה סוגי ראיות (לוח 2).

תוקף הוא רצף, לא כן/לא. Skowronski (2024) מפרק את "מודד את מה שהתכוונו" לשלוש תכונות: דיוק – הערך שהתקבל משחזר את הערך האמיתי; דייקנות – אי-הדיוקים קטנים; וחוסר הטיה – אי-הדיוקים מתחלקים שווה בין הגזמה להמעטה. מדדים נבדלים בכל אחת, ולכן תוקף הוא מידה, לא תכונה בינארית – ומכאן שגם מדד פגום יכול להיות שימושי: משקל שתמיד מראה 5 ק"ג פחות עדיין מסדר אנשים נכון ועדיין מגלה ירידה במשקל אחרי טיפול; אבל אותו משקל יטעה כשצריך את הערך עצמו, ובהרדמה שמחושבת לפי משקל – יסכן. מאיפה אי-תוקף מגיע. ארבעה מקורות שמחלישים את הקשר הסיבתי בין התכונה לקריאה: הכלי (פגם, התבלות), המשתמש (רשלנות, חוסר יכולת, חוסר הכשרה – מקודד שלא הודרך), התנאים (רעש, הפרעה), והנמדד עצמו – וכשהנמדד הוא אדם, התשובה ל"אני שונא קלינגונים" משקפת גם את הרצון לרצות את החוקר, לקלקל, לא להיראות דעתן, להיראות מסוכן, או להתיישר עם הדעה הרווחת (Skowronski, 2024; הדוגמה שלו על חייזרים מ"מסע בין כוכבים", כדי שלא תתערב בה דעה קדומה אמיתית). ישיר ועקיף, מוחשי והיפותטי. אורך קו, קורטיזול ברוק, זמן – מודדים ישירות; נרקיסיזם, לחץ, יציבות של תפיסה עצמית – מושגים היפותטיים. ומדד יכול להיות עקיף: מודדים דבר אחד (קורטיזול, זמן תגובה, שגיאות זיהוי מילים) ומסיקים ממנו על אחר (לחץ, קלות עיבוד, מה שהנשאל חשב) – כמו תיארוך פחמן-14, שמודד פחמן ומסיק גיל. מדד עקיף דורש תיקוף בשתי רמות: שהמדידה עצמה מדויקת, ושהמשמעות שמייחסים לה נכונה – זמן תגובה יכול להתארך גם מדאגה לרושם ולהתקצר גם משעמום, וכך להיות מדויק לחלוטין ולא-תקף כמדד למה שרצו. ככל שהמושג היפותטי יותר והמדד עקיף יותר, נדרשת יותר עבודת תיקוף – וזו, לשיטתו, פעילות מתמשכת במרכז כל תוכנית מחקר, לא שלב שנגמר.

תוקף תוכן. עד כמה הפריטים מייצגים את המושג ומכסים את כל היבטיו (Field, 2024, Section 1.5.4) – עד כמה הסולם "דגם" כראוי מתחום התוכן שהוא אמור לכסות (Pallant, 2020, Chapter 1). סולם "שביעות רצון מהעבודה" שכל פריטיו על השכר אינו מכסה את התחום. זו ראיה של שיפוט – מומחים, תיאוריה – לא של מספר.

תוקף קריטריון. השוואת הציונים לקריטריון חיצוני שאפשר למדוד: דירוגי סטודנטים על עזרת המרצה מול תצפית אובייקטיבית על עזרתו. כשהקריטריון נמדד בו-זמנית – תוקף מקביל; כשהסולם מנבא תצפית מאוחרת יותר – תוקף ניבוי (Field, 2024, Section 1.5.4). Field מזהיר ששתי הבדיקות לעיתים קרובות אינן מעשיות – קריטריון אובייקטיבי שקל למדוד פשוט לא קיים – ושבמדידת עמדות לפעמים מעניינת אותנו תפיסת המציאות של האדם ולא המציאות עצמה: לא אם נהגו בו בחוסר צדק, אלא אם הוא חושב כך.

תוקף מבנה. כשאין קריטריון יחיד, בודקים את הסולם מול השערות שנגזרות מהתיאוריה על טיב המשתנה: הוא אמור להיות במתאם גבוה עם מדדים של מושגים קרובים – תוקף מתכנס – ובמתאם נמוך עם מדדים של מושגים שאינם קשורים – תוקף מבחין (Pallant, 2020, Chapter 1). סולם חרדה שמתואם .85 עם סולם חרדה אחר ו-.10 עם אינטליגנציה מתנהג כמו שחרדה אמורה להתנהג. באתר: מטריצת המתאמים היא הכלי; הפרשנות – שלכם.

השאלה שמאחורי כולם. Skowronski (2024) מנסח את התיקוף כשאלה אחת: "האם המדד מתנהג כפי שהיינו מצפים אילו באמת מדד את התכונה?" – והראיות הן סוגי התשובה: ניבוי של מה שהוא אמור לנבא (ניבויי), הבחנה בין קבוצות שידוע שהן שונות (מקביל), התכנסות עם מדדים אחרים של אותו דבר (מתכנס), ואי-מתאם עם מה שאינו אמור להתאים (מבחין) – כולל מתאם נמוך עם מדד של רצייה חברתית, כראיה שהסולם אינו מודד רצון להיראות טוב. ועוד ראיה שאינה מתאם: גמישות למניפולציה – המדד זז בכיוון הנכון כשמשנים ניסויית את מה שהוא אמור למדוד (לוח 2). ואיזו ראיה הכי טובה? "כולן" – הטיעון הטוב ביותר מגיע מכמה סוגי ראיות בכמה שיטות, רוח הגישה הרב-תכונתית רב-שיטתית של Campbell ו-Fiske (1959, as cited in Skowronski). ומתי מספיק? Skowronski מזהיר שהתיקוף קשה ממה שהוא נראה: גם כשהתוצאות עקביות, צריך מחקרים רבים; וכשאינן – לפעמים זה הקריטריון (עמדה מנבאת עמדות אחרות טוב יותר משהיא מנבאת התנהגות), ולפעמים התוקף באמת השתנה, כי ההקשר השתנה: נבדק שיודע שצופים בו (הורה שנבדק לסיכון להתעללות), שאלון שתוקף במעבדה ומולא בבית בין הפרעות, אוכלוסייה אחרת (מערב/מזרח, מתחילים/מומחים), ואפילו פרט זעיר בהליך – הדוגמה שלו: סטודנט שלא הצליח לשחזר חיקוי לא-מילולי בין בני זוג לשיחה, עד שגילה שבשחזורים המוצלחים תיקיית התמונות הייתה סגורה, והנבדקים הביטו זה בזה במקום בתמונות. גם זמן הוא הקשר: כל שחזור הוא כבר מדידה בהקשר אחר. ולפני כל אלה, האזהרה ההיסטורית: הפרנולוגיה – מדידת בליטות בגולגולת כמדד לאישיות – שלטה באקדמיה ובתרבות עשרות שנים לפני שהופרכה, והנזק (קרניומטריה, פיזיונומיה, ומה שנבנה עליהן) נמשך; לקח, לדבריו, לא רק על העבר: הוא מונה גם מדדים עכשוויים שתוקפם עדיין שנוי במחלוקת בספרות, ומשתמשים בהם כבר בקבלה לעבודה ובהתערבויות (Skowronski, 2024). מה עושים בינתיים. בוחרים את המדד התקף ביותר שהאילוצים מאפשרים – ובדרך כלל יש מדד מתוקף קיים; מי שבונה משלו אוסף גוף ראיות לפני שבונה עליו תוכנית מחקר; ובכל מקרה: כיול חוזר של כלים, הדרכה יסודית של מי שמודד ומקודד, עם בדיקות תקופתיות שלא "נסחף", שליטה בתנאים – שמירה על אותן נסיבות בין מפגשי איסוף, ובדיקה מחדש אחרי כל שינוי בציוד או בצוות – ומדידות חוזרות: אותו כלי פעמיים, כלים שונים, מודדים אחדים (Skowronski, 2024). שלושת האחרונים הם בדיוק מה שמהימנות בין מקודדים בודקת (סעיף 2).

תוקף נראה. "נראה נכון, סביר, הגיוני" – בעיני נבדקים או קוראים. Krippendorff (2019, פרק 13) מציב אותו, יחד עם תוקף חברתי (הרלוונטיות של המחקר לשיח הציבורי), מול התוקף האמפירי, ומזהיר: כשאין ראיות אמפיריות, תוקף נראה וחברתי – שהחוקרים שולטים בהם דרך הרטוריקה שלהם – נשארים המוצא היחיד. הם לא תחליף.

ובניתוח תוכן. Krippendorff (2019, פרק 13) מפרק את התוקף האמפירי לפי שלבי ניתוח התוכן: תוקף דגימה – עד כמה מדגם הטקסטים מייצג את אוכלוסיית התופעות שבמקומה הוא נותח (טקסטים מגיעים לרוב מבחירת המקור, לא מדגימה); תוקף סמנטי – עד כמה קטגוריות הניתוח תואמות את המשמעויות שיש לטקסטים בהקשר שנבחר, ולא רק לחוקר; תוקף מבני ותפקודי – עד כמה כללי ההסקה נשענים על תיאוריה או נתונים מבוססים, ועד כמה הם עובדים כמו ניתוחים מוצלחים קודמים; ותוקף מתאמי וניבויי – מתאם עם מדדים תקפים יותר (כולל מתכנס ומבחין) וניבוי של אירועים שלא נכנסו לניתוח. הרשימה ארוכה מזו של הפסיכומטריקה מסיבה אחת: ניתוח תוכן מסיק מטקסט על הקשר, וכל שלב בהסקה הזאת דורש ראיה משלו.

4. היחס ביניהם – הכרחי, לא מספיק

שני המושגים קשורים בסדר קבוע: כדי להיות תקף, הכלי חייב קודם להיות מהימן (Field, 2024, Section 1.5.4). Krippendorff (2019, סעיף 11.1) מנסח זאת בשתי טענות והשערה. חוסר מהימנות מגביל את הסיכוי לתוקף: אם עדי ראייה אינם מסכימים ביניהם, צד שלישי אינו יכול לדעת מה קרה – ואם הקידוד הוא פרי מקרה, הוא אולי מכיל תיאור נכון של הטקסט, אבל אי-אפשר לזהות אותו טוב יותר ממקרה. מהימנות אינה מבטיחה תוקף: שני צופים בעלי אותה תפיסה, אותה דעה קדומה או אותו אינטרס יסכימו ביניהם ועדיין יטעו; גם מחשב, המכשיר המהימן ביותר, יכול לטעות – באופן מהימן. וההשערה, מניסיונם של חוקרי תוכן רבים: במרדף אחר מהימנות גבוהה, התוקף נוטה ללכת לאיבוד. הדוגמה שלו – מחקר שביקש למדוד תודעה לאומית עולה במושבות האמריקאיות דרך העיתונות, ובחר לספור אזכורים של שמות מקומות אמריקאיים לעומת אנגליים, כי "תודעה לאומית" קשה להגדרה ולזיהוי: ספירת מילים במקום נושאים – פחות בעיות מהימנות, ותוקף דק.

Raykov (2024) נותן ל"הכרחי, לא מספיק" מספר: כשהשגיאות של המדד ושל הקריטריון בלתי-מתואמות, המהימנות היא חסם עליון לתוקף הקריטריון – המתאם בין סולם לקריטריון אינו יכול לעלות על שורש המהימנות שלו (זו נוסחת ההחלשה מסעיף 2 מהצד השני). סולם במהימנות .5 לא יתואם עם שום דבר מעל .71, גם אם ימדוד בדיוק את הדבר הנכון. ו-Skowronski (2024) מוסיף את הצד שאינו מספר: מדד יכול להיות מהימן ומדויק לחלוטין ועדיין לא-תקף למה שרצו – כשהמשמעות שמייחסים לו שגויה (סעיף 3).

המסקנה המעשית: מדווחים את שניהם, בסדר הזה, ואין להסתפק באחד. אלפא של .90 אינה אומרת שהסולם מודד את המושג; מתאם של .60 עם קריטריון אינו שווה הרבה אם המדידה עצמה אינה עקבית. ובתכנון קידוד של טקסט: הוראות קידוד פשוטות יותר מעלות את ההסכמה – ושואלים בכל פישוט מה נשאר מהמושג.

5. איך בודקים באתר – מה מחושב ומה לא

המהימנות היא החלק החישובי, ושלושת סוגיה נבדקים במחשבוני האתר על קובץ אקסל בתבנית התקנית (שורה = נבדק או יחידת קידוד, עמודה = משתנה): מהימנות חוזרת – בעמוד המתאמים, עמודה לכל מועד; עקיבות פנימית – בעמוד מהימנות – אלפא של קרונבך, עמודה לכל פריט (אחרי היפוך הפריטים ההפוכים); הסכמה בין מקודדים – בעמוד המהימנות בין מקודדים, עמודה לכל מקודד, עם κ של כהן, κ משוקללת לסולמות סדר, κ של פלייס ו-α של קריפנדורף, רווחי סמך, ושני סרגלי הפרשנות – Landis ו-Koch מול Krippendorff – זה מול זה. מה ש-Raykov (2024) ממליץ עליו: רווח סמך ל-α – מגרסה 7 של מחשבון האלפא הוא בלוח 2 (ADF חופשי מהתפלגות, תאוריה נורמלית ו-F של Feldt, ברמות 95%, 99% ו-99.9%; Maydeu-Olivares, Coffman & Hartmann, 2007) – ואומדן מהימנות מבוסס-מודל (ω וחלופות), שהמחשבון אינו מחשב ומי שצריך אותו מופנה משם ל-R; "α בהשמטה" ו-α מתוקננת שבפלט – אבחון, לא דיווח (סעיף 2).

לתוקף אין מחשבון, ולא במקרה: החלק שאפשר לחשב – המתאמים לתוקף קריטריון, מתכנס ומבחין – הוא מטריצת מתאמים רגילה, והפרשנות שלה כראיית תוקף היא טיעון תיאורטי, לא פלט. תוקף תוכן ותוקף סמנטי אינם מספרים כלל. העמוד הזה הוא המקום שבו הטיעון נבנה; המחשבונים מספקים לו את המספרים.

6. איך מדווחים

מהימנות מדווחים בפרק השיטה, תחת "כלים" או "מדדים" (Pallant, 2020, Chapter 9): אחרי תיאור הסולם – מספר הפריטים, סולם התשובה, היסטוריית השימוש – מביאים את המהימנות שדיווח מפתח הסולם ומחקרים אחרים, ואז משפט על המדגם הנוכחי. הדוגמה של Pallant: "לפי Pavot, Diener, Colvin ו-Sandvik (1991), לסולם שביעות הרצון מהחיים עקיבות פנימית טובה, עם אלפא של קרונבך .85. במחקר הנוכחי אלפא של קרונבך הייתה .89." סולם עם תת-סולמות – מהימנות לכל תת-סולם ולציון הכולל בנפרד. מקדמים בין 1- ל-1 נכתבים בלי אפס מוביל: α = .89, r = .72, κ = .65.

למהימנות חוזרת מדווחים את המתאם, את N ואת מרווח הזמן; להסכמה בין מקודדים – את מספר המקודדים, מספר היחידות (ואם זה מדגם מתוך כלל החומר – כמה), את המדד עם רווח הסמך, ואת הסף שנבחר מראש. תוקף מדווחים כטיעון: איזו ראיה נאספה, מול איזה קריטריון או מדד, ומה יצא – כולל מתאמים נמוכים שהיו אמורים להיות נמוכים (תוקף מבחין), שנוטים להישכח. סולם מוכר שנלקח ממחקר קודם: מצטטים את מחקרי התיקוף שלו, ומדווחים בכל זאת את המהימנות במדגם שלכם – היא תלוית-מדגם.

טעויות נפוצות

לחשוב שאלפא גבוהה היא הוכחת תוקף. היא אומרת שהפריטים הולכים יחד, לא שהם הולכים למקום הנכון. סולם של עשרה פריטים על השכר ייתן אלפא מצוינת ל"שביעות רצון מהעבודה" – וימדוד שביעות רצון מהשכר.

אלפא גבוהה בזכות אורך. אלפא עולה עם מספר הפריטים; 25 פריטים בינוניים יגיעו ל-.85. בודקים גם את המתאם הבין-פריטי הממוצע, ובסולם קצר – מדווחים אותו במקום להתנצל על אלפא של .6.

לא להפוך פריטים הפוכים. אלפא נמוכה במפתיע, ולפעמים מתאמי פריט-כלל שליליים – הסימפטום הקלאסי. בודקים במדריך הסולם אילו פריטים מנוסחים בהיפוך, ומהפכים לפני החישוב.

מהימנות חוזרת למשהו שמשתנה. סולם מצב רוח בין שני מועדים בהפרש חודש: מתאם נמוך אינו אומר שהסולם גרוע – מצב הרוח השתנה. לתכונות משתנות בודקים עקיבות פנימית, לא יציבות.

לדווח את המהימנות של מפתח הסולם בלבד. המהימנות תלויה במדגם; אוכלוסייה אחרת, שפה אחרת, תרגום – מספר אחר. מחשבים על המדגם שלכם ומדווחים את שניהם.

מקודד אחד, בלי בדיקת הסכמה. קידוד של תשובות פתוחות שנעשה על-ידי אדם אחד הוא פרשנות שלא נבדקה. מדגם של יחידות מקודד גם על-ידי מקודד שני, עצמאי, ומדווחים κ או α – לפני שהקטגוריות הופכות לשכיחויות.

לרדוף אחרי הסכמה ולאבד את המושג. ככל שהוראות הקידוד פשוטות יותר, ההסכמה עולה – עד שסופרים מילים במקום רעיונות. זו ההשערה של Krippendorff: במרדף אחרי מהימנות התוקף הולך לאיבוד. שואלים בכל פישוט מה נשאר מהמושג.

להשמיט פריט כי "α בהשמטה" עולה. הסטטיסטי הזה יכול להוביל לסולם מהימן פחות ותקף פחות; פריט שמתאמו עם הסולם שלילי הוא כמעט תמיד פריט הפוך שלא סומן, לא פריט להשמטה (Raykov, 2024).

לדווח α מתוקננת כי היא גבוהה יותר. היא מהימנות של סולם אחר – של פריטים מתוקננים שאיש לא מסכם; מדווחים את α של הציון שמנתחים (Raykov, 2024).

להניח שתוקף שהוכח במעבדה או באוכלוסייה אחת עובר כמו שהוא. הקשר, אוכלוסייה וזמן משנים תוקף; בודקים מחדש, ולפחות מדווחים את ההבדל (Skowronski, 2024).

סף קסם. ".7 לאלפא", ".8 לקאפה", ".667 לאלפא של קריפנדורף" – כולם מוסכמות, ולא כולן מאותו מקור או באותו היגיון; Landis ו-Koch עצמם כינו את הסרגל שלהם "שרירותי בעליל". קובעים סף מראש, מנמקים אותו לפי מחיר הטעות במחקר הזה, ומדווחים את המספר עם רווח הסמך – לא רק "עבר".

רשימת בדיקה – לפני שמשתמשים בסולם או בקידוד

מקורות

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE.

Maydeu-Olivares, A., Coffman, D. L., & Hartmann, W. M. (2007). Asymptotically distribution-free (ADF) interval estimation of coefficient alpha. Psychological Methods, 12(2), 157-176. https://doi.org/10.1037/1082-989X.12.2.157

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Raykov, T. (2024). Reliability. In A. L. Nichols & J. E. Edlund (Eds.), The Cambridge handbook of research methods and statistics for the social and behavioral sciences: Vol. 2. Performing research (pp. 189-210). Cambridge University Press. https://doi.org/10.1017/9781009000796.010

Skowronski, J. J. (2024). Measurement validity in the social and behavioral sciences: Some "whys" and "hows". In A. L. Nichols & J. E. Edlund (Eds.), The Cambridge handbook of research methods and statistics for the social and behavioral sciences: Vol. 2. Performing research (pp. 211-231). Cambridge University Press. https://doi.org/10.1017/9781009000796.011

DeVellis (2012), Nunnally (1978), Briggs ו-Cheek (1986) ו-Pavot ועמיתיו (1991) – כמצוטטים אצל Pallant (2020); Cronbach (1951), Novick ו-Lewis (1967) ו-McNeish (2018) – כמצוטטים אצל Raykov (2024); Campbell ו-Fiske (1959) – כמצוטטים אצל Skowronski (2024). לפי כלל האתר, ברשימת המקורות מופיעים רק מקורות שנקראו במקור; שני פרקי המדריך של קיימברידג' – לפי הפרק כולו, בלי מספרי עמודים בגוף הטקסט.