پایایی و روایی: مفاهیم

راهنما

در این صفحه

هر اندازه‌گیری در پژوهش اجتماعی – پرسشنامه، مقیاس نگرش، کدگذاری پاسخ‌های باز، رتبه‌بندی داوران – عددی است که چیزی را نمایندگی می‌کند که نمی‌توان مستقیماً اندازه گرفت. درباره هر عددی از این دست دو پرسش مطرح می‌شود که با هم متفاوت‌اند: آیا اندازه‌گیری ثابت است – در شرایط یکسان همان نتیجه را می‌دهد؟ این پایایی است. و آیا همان چیزی را که قصد اندازه‌گیری‌اش را داشتیم می‌سنجد، و نه چیز دیگری را؟ این روایی است. این صفحه هر دو مفهوم را تعریف می‌کند، هر یک را به انواعش تفکیک می‌کند، توضیح می‌دهد چرا پایایی شرط لازم روایی است اما کافی نیست، و به ماشین‌حساب‌های سایت ارجاع می‌دهد که بخش قابل محاسبه را بررسی می‌کنند. در نسخه 3 دو فصل از راهنمای کمبریج روش‌های پژوهش در علوم اجتماعی و رفتاری (Nichols & Edlund, 2024) افزوده شد: Raykov (2024) درباره پایایی – تعریف صوری، آنچه آلفا هست و آنچه نیست، و دو هشدار درباره "α در صورت حذف" و α استانداردشده؛ و Skowronski (2024) درباره روایی – چرا روایی پیوستار است و نه بله/خیر، ناروایی از کجا می‌آید، و چرا با بافت تغییر می‌کند.

1. خطای اندازه‌گیری – اصلاً چرا به هر دو مفهوم نیاز داریم

برخی چیزها مستقیماً اندازه‌گیری می‌شوند – وزن، قد، سود – و برخی چیزها به‌طور غیرمستقیم: خودگزارشی، پرسشنامه‌ها، تکالیف رایانه‌ای. در هر دو حالت تقریباً همیشه میان عددی که آن چیز را نمایندگی می‌کند و مقدار واقعی‌اش فاصله‌ای هست – مقداری که اگر می‌توانستیم مستقیماً اندازه بگیریم به دست می‌آوردیم – و این خطای اندازه‌گیری است (Field, 2024, Section 1.5.3). مثال Field: کسی که 83 کیلوگرم وزن دارد و روی ترازویی می‌رود که 80 نشان می‌دهد – خطای اندازه‌گیری 3 کیلوگرم. ترازوی کالیبره‌شده اندکی خطا می‌کند؛ پرسشنامه بسیار بیشتر، زیرا عواملی که خودِ چیز اندازه‌گیری‌شده نیستند نیز بر پاسخ اثر می‌گذارند – برای مثال، آیا در پرسشنامه اعتراف می‌کنید که از فروشگاه دزدی کرده‌اید؟

خطای اندازه‌گیری به دو بخش تجزیه می‌شود که رفتار متفاوتی دارند. بخشی تصادفی – نوفه‌ای که از اندازه‌گیری‌ای به اندازه‌گیری دیگر تغییر می‌کند و در میانگین خنثی می‌شود: حال روحی، خستگی، عبارتی که به دو شکل فهمیده شده است. و بخشی نظام‌مند – سوگیری‌ای که در هر اندازه‌گیری در همان جهت تکرار می‌شود: ترازویی که همیشه 3 کیلوگرم کمتر نشان می‌دهد، پرسشنامه "رضایت از استاد" که در واقع می‌سنجد گرفتن نمره بالا چقدر آسان است. پایایی به بخش نخست می‌پردازد؛ روایی – به بخش دوم. و از همین رو می‌توان بسیار پایا و ناروا بود: ترازوی خراب هر صبح همان عدد را نشان می‌دهد.

2. پایایی – "همان نتیجه در شرایط یکسان"

پایایی توانایی ابزار اندازه‌گیری در به دست دادن نتایج یکسان در شرایط یکسان است (Field, 2024, Section 1.5.4) – یا به بیان Pallant (2020، فصل 1)، اینکه مقیاس تا چه حد از خطای تصادفی آزاد است. پایایی را نمی‌توان در یک اندازه‌گیری دید؛ تنها وقتی اندازه‌گیری تکرار و مقایسه می‌شود دیده می‌شود. پرسش این است که چه چیزی تکرار می‌شود – و هر پاسخ نوع پایایی خودش، شاخص خودش و جای خودش را در سایت دارد (جدول 1).

تعریف صوری. Raykov (2024) از اتحاد نظریه کلاسیک آزمون آغاز می‌کند: هر نمره مشاهده‌شده برابر است با نمره واقعی به‌علاوه خطا، X = T + E – نه مدلی که بتوان ابطالش کرد، بلکه تجزیه‌ای که همیشه درست است، و نمره واقعی امید ریاضی اندازه‌گیری است. پایایی نسبت ρ = Var(T) / Var(X) است: سهم تفاوت‌های واقعی میان افراد از تفاوت‌های مشاهده‌شده. از اینجا سه خوانش از همان عدد به دست می‌آید: ρ همان R² "پیش‌بینی" نمره مشاهده‌شده از نمره واقعی است؛ ρ برابر است با 1 منهای نسبت نوفه به سیگنال؛ و ρ همبستگی میان دو اندازه‌گیری موازی از یک چیز است، به شرط آنکه خطاهایشان ناهمبسته باشند – و این پایه تعبیر "تکرار" در آغاز این بخش است، و پایه پایایی بازآزمایی در جدول 1، که دقیقاً همین را فرض می‌کند (اندازه‌گیری‌های موازی با خطاهای ناهمبسته – فرضی که Raykov یادآوری می‌کند ساختنش در عمل بسیار دشوار است، و از همین رو مقیاس‌های چندگویه‌ای را ترجیح می‌دهد). و نتیجه دیگری که این بخش را به صفحه همبستگی‌ها پیوند می‌دهد: همبستگی مشاهده‌شده میان دو شاخص کوچک‌تر از همبستگی میان نمره‌های واقعی آن‌هاست، و r_واقعی = r_{مشاهده‌شده} / √(ρ_U·ρ_V) – فرمول تضعیف: دو مقیاس با پایایی .7 که همبستگی‌شان .40 است چیزهایی را می‌سنجند که همبستگی‌شان حدود .57 است. و سرانجام، ρ برای هر اندازه‌گیری با واریانس مثبت تعریف می‌شود – گویه دووجهی، گویه لیکرت، نمره پیوسته – و هم به ابزار و هم به جامعه آماری وابسته است، درست مانند میانگین و واریانس (Raykov, 2024).

پایایی بازآزمایی (ثبات در طول زمان). همان افراد، همان مقیاس، دو نوبت؛ همبستگی میان دو نمره مقیاس شاخص است (test-retest reliability). این ساده‌ترین راه بررسی پایایی است، اما تنها برای چیزی مناسب است که قرار است ثابت بماند: ویژگی شخصیتی – بله؛ حال روحی، سطح قند، بهره‌وری – نه، زیرا تغییر واقعی میان دو نوبت به شکل ناپایایی دیده می‌شود (Field, 2024, Section 1.5.4; Pallant, 2020, Chapter 1). فاصله زمانی تصمیمی است که گزارش می‌شود: بیش از حد کوتاه – یادآوری پاسخ‌ها؛ بیش از حد بلند – تغییر واقعی.

همسانی درونی. مقیاسی چندگویه‌ای قرار است یک ویژگی را بسنجد، و از همین رو گویه‌ها قرار است "با هم حرکت کنند" – کسی که در یک گویه بالاست در گویه‌های دیگر هم بالاست. شاخص رایج آلفای کرونباخ است که میانگین همبستگی میان گویه‌ها را بازتاب می‌دهد؛ قاعده پذیرفته‌شده آلفای بالاتر از .7 است (DeVellis, 2012، و Nunnally, 1978، به نقل از Pallant, 2020، فصل‌های 1 و 9). اما آلفا به تعداد گویه‌ها وابسته است: در مقیاس کوتاه (کمتر از ده گویه) حتی وقتی گویه‌ها به‌خوبی به هم مرتبط‌اند پایین است، و در این حالت میانگین همبستگی بین‌گویه‌ای گزارش می‌شود که دامنه مطلوبش .2 تا .4 است (Briggs & Cheek, 1986، به نقل از Pallant, 2020، فصل 9). و برعکس: مقیاس بسیار بلند حتی با گویه‌های متوسط به آلفای بالا می‌رسد – آلفای بالا دلیل آن نیست که مقیاس یک چیز را می‌سنجد. دو نکته عملی از Pallant (2020، فصل 9): گویه‌هایی که به‌صورت معکوس نوشته شده‌اند باید پیش از محاسبه معکوس شوند، وگرنه آلفا پایین و نادرست خواهد بود؛ و پایایی به نمونه وابسته است – آن را روی نمونه خودتان محاسبه و گزارش کنید، نه فقط مقداری که سازنده مقیاس گزارش کرده است.

آلفا چه هست – و چه نیست. Raykov (2024) جایگاه آن را روشن می‌کند: آلفا (Cronbach, 1951, as cited in Raykov) در هر جامعه آماری‌ای که نمره مقیاس در آن واریانس مثبت دارد تعریف می‌شود – بدون مدل، بدون فرض تک‌بعدی بودن، بدون فرض نرمال بودن، و با گویه‌های دووجهی، ترتیبی یا پیوسته. رابطه آن با پایایی واقعی مقیاس پیچیده است: وقتی خطاهای گویه‌ها ناهمبسته‌اند، آلفا از پایایی بیشتر نمی‌شود (و از همین رو "حد پایین" نامیده می‌شود)، و تنها وقتی دقیقاً با آن برابر است که همه گویه‌ها همان نمره واقعی را با همان واحدها بسنجند (هم‌ارزی تاو)؛ وقتی بارهای عاملی متفاوت اما همگی بالا هستند، تفاوت در عمل ناچیز است؛ و وقتی خطاها همبسته‌اند، آلفا می‌تواند حتی بالاتر از پایایی باشد. نتیجه‌گیری او: فراخوان‌هایی که برای کنار گذاشتن آلفا به نفع شاخص‌های دیگر شنیده شده‌اند، به نظر او نادرست‌اند – آلفا وقتی خطاها همبسته نیستند شاخصی پایا و سودمند می‌ماند، و در همه موارد دیگر حد پایینی آگاهی‌بخش است. و دو هشدار که مستقیماً به خروجی ماشین‌حساب آلفا مربوط‌اند: (1) "α در صورت حذف گویه" – Raykov معمولاً توصیه می‌کند که از آن به‌عنوان راهنمای تغییر مقیاس استفاده نشود، زیرا در مقیاسی که آلفا در آن کمتر از پایایی است، حذف گویه بر پایه این آماره می‌تواند هم پایایی و هم روایی ملاک را کاهش دهد؛ (2) α استانداردشده (بر پایه گویه‌های استانداردشده) – از برآورد، گزارش یا تفسیر آن پرهیز شود مگر آنکه دلیل محکمی برای استاندارد کردن گویه‌ها از ابتدا وجود داشته باشد، زیرا می‌تواند بسیار بالاتر یا پایین‌تر از پایایی نمره مقیاسی باشد که در عمل تحلیل می‌شود. سایت هر دو را نگه می‌دارد: ماشین‌حساب هر دو را نمایش می‌دهد، مانند SPSS و مانند Field (2024) و Pallant (2020) که بر پایه آن‌ها ساخته شده است – اما به‌عنوان تشخیص (گویه معکوسی که علامت‌گذاری نشده در آنجا فوراً آشکار می‌شود)، نه به‌عنوان مبنای حذف گویه‌ها و نه به‌عنوان عددی برای گزارش؛ α معمولی گزارش می‌شود، یعنی α نمره مقیاس به همان شکلی که جمع زده می‌شود. و در پایان، Raykov می‌افزاید که چرا "وابسته به نمونه" همچنین یعنی "وابسته به زمان": جامعه‌های آماری تغییر می‌کنند، ساختار پنهان یک مقیاس می‌تواند تغییر کند، و جامعه‌ای که همگن بود می‌تواند به چند زیرجامعه تبدیل شود – و از همین رو به پایایی مندرج در راهنمای مقیاس اتکا نمی‌شود، بلکه داده گردآوری و پایایی از نو برآورد می‌شود، ترجیحاً همراه با فاصله اطمینان؛ و در ساخت مقیاس – نمونه‌ای بزرگ که به دو نیم تقسیم می‌شود، تا بخش تأییدی روی همان داده‌هایی که تغییرات بر پایه آن‌ها انجام شد آزموده نشود (Raykov, 2024).

پایایی بین کدگذاران (یا بین داوران). وقتی انسان ابزار اندازه‌گیری است – کدگذاری که پاسخ‌های باز را در طبقه‌ها دسته‌بندی می‌کند، داوری که رتبه می‌دهد – نوفه همان تفسیر اوست، و راه بررسی این است که کدگذار دومی، مستقل، روی همان واحدها و با همان دستورالعمل‌ها در برابرش قرار گیرد. Krippendorff (2019، بخش 11.2.1) سه طرح بررسی را بر حسب منشأ عدم توافق از هم جدا می‌کند: ثبات – همان کدگذار پس از مدتی کار را تکرار می‌کند (فقط ناهمسانی فردی؛ ضعیف‌ترین طرح، زیرا سوگیری ثابت کدگذار را آشکار نمی‌کند)؛ تکرارپذیری – دو کدگذار یا بیشتر، مستقل از هم (شامل تفاوت‌های تفسیری میان آن‌ها نیز؛ این همان چیزی است که معمولاً پایایی بین کدگذاران نامیده می‌شود، و استاندارد همین است)؛ و دقت – مقایسه با معیاری که درست شمرده می‌شود (شامل انحراف از معیار نیز؛ قوی‌ترین طرح، اما چنین معیاری عمدتاً در آموزش کدگذاران وجود دارد). شاخص‌ها – ضریب کاپای کوهن برای یک جفت کدگذار (Cohen, 1960) و آلفای کریپندورف برای هر تعداد کدگذار – توافق خام را نسبت به توافق مورد انتظار از روی تصادف تصحیح می‌کنند، و در صفحه پایایی بین کدگذاران محاسبه می‌شوند، همراه با فاصله‌های اطمینان و دو مقیاس تفسیری رایج.

3. روایی – "همان چیزی را می‌سنجد که قصد داشتیم"

روایی این پرسش است که آیا ابزار همان چیزی را می‌سنجد که برای سنجیدنش ساخته شده است (Field, 2024, Section 1.5.4): مقیاس "کمک استاد" – آیا واقعاً کمک را می‌سنجد؟ دستگاهی که قرار است تحرک اسپرم را بسنجد و در واقع مقدار آن را می‌سنجد روا نیست. Field تمایز مهمی می‌افزاید: زمان واکنش و رسانایی پوست به معنای محدود روا هستند – زمان واکنش واقعاً مدت زمانی را که واکنش طول کشید می‌سنجد – اما به محض آنکه از آن‌ها درباره چیز دیگری استنباط شود (رسانایی پوست به‌عنوان شاخص اضطراب)، تنها در صورتی روا هستند که هیچ عاملی جز آنچه برای ما جالب است بر آن‌ها اثر نگذارد. برخلاف پایایی، روایی شاخص واحد و یک‌معنایی ندارد؛ اعتباریابی مقیاس گردآوری شواهد تجربی درباره کاربرد آن است (Pallant, 2020, Chapter 1). ادبیات پژوهش چند نوع شاهد را از هم جدا می‌کند (جدول 2).

روایی پیوستار است، نه بله/خیر. Skowronski (2024) "همان چیزی را می‌سنجد که قصد داشتیم" را به سه ویژگی تجزیه می‌کند: صحت – مقدار به‌دست‌آمده مقدار واقعی را بازتولید می‌کند؛ دقت – نادرستی‌ها کوچک‌اند؛ و نااریبی – نادرستی‌ها به‌طور مساوی میان بیش‌برآورد و کم‌برآورد تقسیم می‌شوند. شاخص‌ها در هر یک از این‌ها با هم فرق دارند، و از همین رو روایی یک درجه است، نه ویژگی دوتایی – و نتیجه اینکه حتی شاخص معیوب هم می‌تواند سودمند باشد: ترازویی که همیشه 5 کیلوگرم کمتر نشان می‌دهد همچنان افراد را درست مرتب می‌کند و همچنان کاهش وزن پس از درمان را آشکار می‌کند؛ اما همان ترازو وقتی خودِ مقدار لازم است خطا می‌کند، و در بیهوشی‌ای که بر پایه وزن محاسبه می‌شود – خطرآفرین است. ناروایی از کجا می‌آید. چهار منشأ که پیوند علّی میان ویژگی و خوانش را تضعیف می‌کنند: ابزار (نقص، فرسودگی)، کاربر (بی‌دقتی، ناتوانی، نداشتن آموزش – کدگذاری که راهنمایی نشده است)، شرایط (نوفه، مزاحمت)، و خودِ موضوع اندازه‌گیری – و وقتی موضوع اندازه‌گیری انسان است، پاسخ به "من از کلینگان‌ها متنفرم" همچنین بازتاب تمایل به خشنود کردن پژوهشگر، خراب کردن، صاحب‌نظر به نظر نرسیدن، خطرناک به نظر رسیدن، یا همسو شدن با نظر غالب است (Skowronski, 2024؛ مثال او درباره بیگانگان از "پیشتازان فضا" است، تا پیش‌داوری واقعی در آن دخالت نکند). مستقیم و غیرمستقیم، ملموس و فرضی. طول خط، کورتیزول بزاق، زمان – مستقیماً اندازه‌گیری می‌شوند؛ خودشیفتگی، استرس، ثبات خودپنداره – مفاهیم فرضی‌اند. و شاخص می‌تواند غیرمستقیم باشد: یک چیز اندازه‌گیری می‌شود (کورتیزول، زمان واکنش، خطاهای بازشناسی واژه) و از آن درباره چیز دیگری استنباط می‌شود (استرس، سهولت پردازش، آنچه پاسخ‌دهنده فکر می‌کرد) – مانند تاریخ‌گذاری با کربن-14 که کربن را می‌سنجد و سن را استنباط می‌کند. شاخص غیرمستقیم در دو سطح نیاز به اعتباریابی دارد: اینکه خودِ اندازه‌گیری دقیق باشد، و اینکه معنایی که به آن نسبت داده می‌شود درست باشد – زمان واکنش می‌تواند هم از نگرانی درباره تأثیرگذاری طولانی شود و هم از ملال کوتاه شود، و بدین‌سان کاملاً دقیق و به‌عنوان شاخص آنچه مورد نظر بود ناروا باشد. هر چه مفهوم فرضی‌تر و شاخص غیرمستقیم‌تر باشد، کار اعتباریابی بیشتری لازم است – و این، به نظر او، فعالیتی مستمر در مرکز هر برنامه پژوهشی است، نه مرحله‌ای که به پایان می‌رسد.

روایی محتوا. گویه‌ها تا چه حد مفهوم را نمایندگی می‌کنند و همه جنبه‌هایش را پوشش می‌دهند (Field, 2024, Section 1.5.4) – مقیاس تا چه حد به‌درستی از حوزه محتوایی‌ای که باید پوشش دهد "نمونه‌گیری" کرده است (Pallant, 2020, Chapter 1). مقیاس "رضایت شغلی" که همه گویه‌هایش درباره حقوق است این حوزه را پوشش نمی‌دهد. این شاهدی از جنس داوری است – متخصصان، نظریه – نه از جنس عدد.

روایی ملاک. مقایسه نمره‌ها با ملاکی بیرونی که می‌توان آن را اندازه گرفت: رتبه‌بندی دانشجویان از کمک استاد در برابر مشاهده عینی کمک او. وقتی ملاک هم‌زمان اندازه‌گیری می‌شود – روایی هم‌زمان؛ وقتی مقیاس مشاهده‌ای دیرتر را پیش‌بینی می‌کند – روایی پیش‌بین (Field, 2024, Section 1.5.4). Field هشدار می‌دهد که هر دو بررسی اغلب عملی نیستند – ملاک عینی‌ای که اندازه‌گیری‌اش آسان باشد به‌سادگی وجود ندارد – و اینکه در سنجش نگرش‌ها گاهی ادراک فرد از واقعیت برای ما مهم است و نه خودِ واقعیت: نه اینکه آیا با او ناعادلانه رفتار شده، بلکه اینکه آیا خودش چنین فکر می‌کند.

روایی سازه. وقتی ملاک واحدی وجود ندارد، مقیاس در برابر فرضیه‌هایی بررسی می‌شود که از نظریه درباره ماهیت متغیر برمی‌آیند: قرار است با شاخص‌های مفاهیم نزدیک همبستگی بالا داشته باشد – روایی همگرا – و با شاخص‌های مفاهیمی که به آن مربوط نیستند همبستگی پایین – روایی واگرا (Pallant, 2020, Chapter 1). مقیاس اضطرابی که با مقیاس اضطراب دیگری .85 و با هوش .10 همبستگی دارد همان‌گونه رفتار می‌کند که اضطراب باید رفتار کند. در سایت: ماتریس همبستگی ابزار است؛ تفسیر – با شما.

پرسشی که پشت همه آن‌هاست. Skowronski (2024) اعتباریابی را به شکل یک پرسش صورت‌بندی می‌کند: "آیا شاخص همان‌گونه رفتار می‌کند که اگر واقعاً آن ویژگی را می‌سنجید انتظار داشتیم؟" – و شواهد، انواع پاسخ به این پرسش‌اند: پیش‌بینی آنچه باید پیش‌بینی کند (پیش‌بین)، تمایز میان گروه‌هایی که می‌دانیم متفاوت‌اند (هم‌زمان)، همگرایی با شاخص‌های دیگر همان چیز (همگرا)، و عدم همبستگی با آنچه نباید با آن همبسته باشد (واگرا) – از جمله همبستگی پایین با شاخص مطلوبیت اجتماعی، به‌عنوان شاهدی بر اینکه مقیاس تمایل به خوب جلوه کردن را نمی‌سنجد. و شاهد دیگری که همبستگی نیست: حساسیت به دست‌کاری – شاخص وقتی آنچه قرار است بسنجد به‌طور آزمایشی تغییر داده می‌شود در جهت درست حرکت می‌کند (جدول 2). و کدام شاهد بهترین است؟ "همه‌شان" – بهترین استدلال از چند نوع شاهد در چند روش به دست می‌آید، روح رویکرد چندخصیصه-چندروش Campbell و Fiske (1959, as cited in Skowronski). و کِی کافی است؟ Skowronski هشدار می‌دهد که اعتباریابی دشوارتر از آن است که به نظر می‌رسد: حتی وقتی نتایج همسان‌اند، پژوهش‌های بسیاری لازم است؛ و وقتی همسان نیستند – گاهی مشکل از ملاک است (نگرش، نگرش‌های دیگر را بهتر از رفتار پیش‌بینی می‌کند)، و گاهی روایی واقعاً تغییر کرده است، چون بافت تغییر کرده است: آزمودنی‌ای که می‌داند زیر نظر است (والدی که از نظر خطر بدرفتاری ارزیابی می‌شود)، پرسشنامه‌ای که در آزمایشگاه اعتباریابی شده و در خانه میان مزاحمت‌ها پر شده است، جامعه آماری دیگری (غرب/شرق، تازه‌کاران/متخصصان)، و حتی جزئی کوچک در روش اجرا – مثال او: دانشجویی که نتوانست تقلید غیرکلامی میان دو هم‌صحبت را بازتولید کند، تا آنکه دریافت در بازتولیدهای موفق پوشه تصاویر بسته بوده و آزمودنی‌ها به جای تصاویر به یکدیگر نگاه می‌کردند. زمان نیز بافت است: هر بازتولید خود اندازه‌گیری‌ای در بافتی دیگر است. و پیش از همه این‌ها، هشدار تاریخی: جمجمه‌شناسی (فرنولوژی) – اندازه‌گیری برآمدگی‌های جمجمه به‌عنوان شاخص شخصیت – ده‌ها سال پیش از ابطالش بر دانشگاه و فرهنگ چیره بود، و آسیب آن (جمجمه‌سنجی، قیافه‌شناسی، و آنچه بر آن‌ها بنا شد) ادامه یافت؛ درسی که به گفته او فقط درباره گذشته نیست: او شاخص‌های امروزی‌ای را نیز برمی‌شمارد که روایی‌شان در ادبیات پژوهش هنوز محل مناقشه است، و با این حال در استخدام و در مداخله‌ها به کار می‌روند (Skowronski, 2024). در این میان چه باید کرد. رواترین شاخصی که محدودیت‌ها اجازه می‌دهند انتخاب می‌شود – و معمولاً شاخص اعتباریابی‌شده‌ای از پیش وجود دارد؛ کسی که شاخص خودش را می‌سازد پیش از بنا کردن برنامه پژوهشی بر آن، مجموعه‌ای از شواهد گرد می‌آورد؛ و در هر حال: کالیبراسیون مکرر ابزارها، آموزش بنیادین کسانی که اندازه‌گیری و کدگذاری می‌کنند، همراه با بررسی‌های دوره‌ای که "منحرف" نشده باشند، کنترل شرایط – حفظ همان شرایط میان جلسات گردآوری، و بررسی دوباره پس از هر تغییر در تجهیزات یا کارکنان – و اندازه‌گیری‌های مکرر: همان ابزار دو بار، ابزارهای متفاوت، چند اندازه‌گیر (Skowronski, 2024). سه مورد آخر دقیقاً همان چیزی است که پایایی بین کدگذاران بررسی می‌کند (بخش 2).

روایی صوری. "درست، معقول، منطقی به نظر می‌رسد" – در چشم آزمودنی‌ها یا خوانندگان. Krippendorff (2019، فصل 13) آن را، همراه با روایی اجتماعی (ارتباط پژوهش با گفتمان عمومی)، در برابر روایی تجربی قرار می‌دهد، و هشدار می‌دهد: وقتی شواهد تجربی وجود ندارد، روایی صوری و اجتماعی – که پژوهشگران از راه بلاغت خود بر آن‌ها مسلط‌اند – تنها راه باقی می‌مانند. آن‌ها جایگزین نیستند.

و در تحلیل محتوا. Krippendorff (2019، فصل 13) روایی تجربی را بر حسب مراحل تحلیل محتوا تجزیه می‌کند: روایی نمونه‌گیری – نمونه متن‌ها تا چه حد جامعه پدیده‌هایی را که به جای آن تحلیل شد نمایندگی می‌کند (متن‌ها معمولاً از گزینش منبع می‌آیند، نه از نمونه‌گیری)؛ روایی معنایی – طبقه‌های تحلیل تا چه حد با معناهایی که متن‌ها در بافت انتخاب‌شده دارند مطابقت دارند، و نه فقط برای پژوهشگر؛ روایی ساختاری و کارکردی – قواعد استنباط تا چه حد بر نظریه یا داده‌های پشتوانه‌دار تکیه دارند، و تا چه حد مانند تحلیل‌های موفق پیشین کار می‌کنند؛ و روایی همبستگی و پیش‌بین – همبستگی با شاخص‌های رواتر (شامل همگرا و واگرا) و پیش‌بینی رویدادهایی که وارد تحلیل نشدند. این فهرست به یک دلیل از فهرست روان‌سنجی بلندتر است: تحلیل محتوا از متن درباره بافت استنباط می‌کند، و هر مرحله از این استنباط شاهد خودش را لازم دارد.

4. رابطه میان آن‌ها – لازم، نه کافی

این دو مفهوم با ترتیبی ثابت به هم مربوط‌اند: ابزار برای روا بودن ابتدا باید پایا باشد (Field, 2024, Section 1.5.4). Krippendorff (2019، بخش 11.1) این را در دو گزاره و یک فرضیه صورت‌بندی می‌کند. ناپایایی امکان روایی را محدود می‌کند: اگر شاهدان عینی با هم توافق نداشته باشند، شخص ثالث نمی‌تواند بداند چه رخ داده است – و اگر کدگذاری حاصل تصادف باشد، شاید توصیف درستی از متن را در بر داشته باشد، اما نمی‌توان آن را بهتر از تصادف تشخیص داد. پایایی روایی را تضمین نمی‌کند: دو ناظر با ادراک یکسان، پیش‌داوری یکسان یا منفعت یکسان با هم توافق خواهند داشت و باز هم خطا خواهند کرد؛ حتی رایانه، پایاترین ابزار، می‌تواند خطا کند – به‌طور پایا. و فرضیه، برگرفته از تجربه بسیاری از پژوهشگران محتوا: در تعقیب پایایی بالا، روایی میل به گم شدن دارد. مثال او – پژوهشی که می‌خواست آگاهی ملی رو به رشد در مستعمره‌های آمریکایی را از راه مطبوعات بسنجد، و تصمیم گرفت ذکر نام مکان‌های آمریکایی را در برابر نام‌های انگلیسی بشمارد، چون تعریف و تشخیص "آگاهی ملی" دشوار است: شمارش واژه‌ها به جای موضوع‌ها – مشکلات پایایی کمتر، و روایی‌ای نحیف.

Raykov (2024) به "لازم، نه کافی" عدد می‌دهد: وقتی خطاهای شاخص و ملاک ناهمبسته‌اند، پایایی حد بالای روایی ملاک است – همبستگی میان مقیاس و ملاک نمی‌تواند از جذر پایایی آن بیشتر شود (این همان فرمول تضعیف بخش 2 از سوی دیگر است). مقیاسی با پایایی .5 با هیچ چیز بیش از .71 همبسته نخواهد بود، حتی اگر دقیقاً همان چیز درست را بسنجد. و Skowronski (2024) سویه‌ای را می‌افزاید که عدد نیست: شاخص می‌تواند کاملاً پایا و دقیق باشد و باز هم برای آنچه مورد نظر بود ناروا باشد – وقتی معنایی که به آن نسبت داده می‌شود نادرست است (بخش 3).

نتیجه عملی: هر دو گزارش می‌شوند، به همین ترتیب، و نباید به یکی بسنده کرد. آلفای .90 نمی‌گوید که مقیاس مفهوم را می‌سنجد؛ همبستگی .60 با ملاک ارزش چندانی ندارد اگر خودِ اندازه‌گیری ثابت نباشد. و در طراحی کدگذاری متن: دستورالعمل‌های کدگذاری ساده‌تر توافق را بالا می‌برند – و با هر ساده‌سازی پرسیده می‌شود که از مفهوم چه باقی مانده است.

5. بررسی در سایت – چه چیزی محاسبه می‌شود و چه چیزی نه

پایایی بخش محاسباتی است، و سه نوع آن در ماشین‌حساب‌های سایت روی فایل اکسل با الگوی استاندارد (سطر = آزمودنی یا واحد کدگذاری، ستون = متغیر) بررسی می‌شوند: پایایی بازآزمایی – در صفحه همبستگی‌ها، یک ستون برای هر نوبت؛ همسانی درونی – در صفحه پایایی – آلفای کرونباخ، یک ستون برای هر گویه (پس از معکوس کردن گویه‌های معکوس)؛ توافق بین کدگذاران – در صفحه پایایی بین کدگذاران، یک ستون برای هر کدگذار، با κ کوهن، κ وزنی برای مقیاس‌های ترتیبی، κ فلایس و α کریپندورف، فاصله‌های اطمینان، و دو مقیاس تفسیری – Landis و Koch در برابر Krippendorff – کنار هم. آنچه Raykov (2024) توصیه می‌کند: فاصله اطمینان برای α – از نسخه 7 ماشین‌حساب آلفا در جدول 2 است (ADF آزاد از توزیع، نظریه نرمال و F فلت، در سطوح 95%، 99% و 99.9%؛ Maydeu-Olivares, Coffman & Hartmann, 2007) – و برآورد پایایی مبتنی بر مدل (ω و جایگزین‌ها)، که ماشین‌حساب محاسبه نمی‌کند و کسی که به آن نیاز دارد از آنجا به R ارجاع داده می‌شود؛ "α در صورت حذف" و α استانداردشده در خروجی – تشخیص، نه گزارش (بخش 2).

روایی ماشین‌حساب ندارد، و این تصادفی نیست: بخشی که می‌توان محاسبه کرد – همبستگی‌ها برای روایی ملاک، همگرا و واگرا – یک ماتریس همبستگی معمولی است، و تفسیر آن به‌عنوان شاهد روایی استدلالی نظری است، نه خروجی. روایی محتوا و روایی معنایی اصلاً عدد نیستند. این صفحه جایی است که استدلال در آن ساخته می‌شود؛ ماشین‌حساب‌ها عددهایش را فراهم می‌کنند.

6. شیوه گزارش

پایایی در بخش روش، زیر عنوان "ابزارها" یا "شاخص‌ها" گزارش می‌شود (Pallant, 2020, Chapter 9): پس از توصیف مقیاس – تعداد گویه‌ها، مقیاس پاسخ، سابقه کاربرد – پایایی‌ای که سازنده مقیاس و پژوهش‌های دیگر گزارش کرده‌اند آورده می‌شود، و سپس جمله‌ای درباره نمونه کنونی. مثال Pallant: "به گزارش Pavot, Diener, Colvin و Sandvik (1991)، مقیاس رضایت از زندگی همسانی درونی خوبی دارد، با آلفای کرونباخ .85. در پژوهش حاضر آلفای کرونباخ .89 بود." مقیاس دارای زیرمقیاس – پایایی برای هر زیرمقیاس و برای نمره کل به‌طور جداگانه. ضریب‌های میان 1- و 1 بدون صفر پیش از ممیز نوشته می‌شوند: α = .89، r = .72، κ = .65.

برای پایایی بازآزمایی همبستگی، N و فاصله زمانی گزارش می‌شود؛ برای توافق بین کدگذاران – تعداد کدگذاران، تعداد واحدها (و اگر نمونه‌ای از کل مواد است – چه مقدار)، شاخص همراه با فاصله اطمینان، و آستانه‌ای که از پیش انتخاب شده است. روایی به شکل استدلال گزارش می‌شود: چه شاهدی گردآوری شد، در برابر کدام ملاک یا شاخص، و چه به دست آمد – از جمله همبستگی‌های پایینی که قرار بود پایین باشند (روایی واگرا)، و معمولاً فراموش می‌شوند. مقیاس شناخته‌شده‌ای که از پژوهش پیشین گرفته شده: پژوهش‌های اعتباریابی آن نقل می‌شوند، و با این حال پایایی در نمونه خودتان گزارش می‌شود – پایایی وابسته به نمونه است.

اشتباهات رایج

پنداشتن اینکه آلفای بالا اثبات روایی است. آلفا می‌گوید گویه‌ها با هم حرکت می‌کنند، نه اینکه به جای درست می‌روند. مقیاسی ده‌گویه‌ای درباره حقوق، آلفای عالی برای "رضایت شغلی" به دست می‌دهد – و رضایت از حقوق را می‌سنجد.

آلفای بالا به لطف طول مقیاس. آلفا با تعداد گویه‌ها بالا می‌رود؛ 25 گویه متوسط به .85 می‌رسند. میانگین همبستگی بین‌گویه‌ای نیز بررسی می‌شود، و در مقیاس کوتاه – به جای عذرخواهی بابت آلفای .6، همان گزارش می‌شود.

معکوس نکردن گویه‌های معکوس. آلفای به‌طور شگفت‌آوری پایین، و گاهی همبستگی‌های منفی گویه با کل – نشانه کلاسیک. در راهنمای مقیاس بررسی می‌شود که کدام گویه‌ها به‌صورت معکوس نوشته شده‌اند، و پیش از محاسبه معکوس می‌شوند.

پایایی بازآزمایی برای چیزی که تغییر می‌کند. مقیاس حال روحی میان دو نوبت با فاصله یک ماه: همبستگی پایین نمی‌گوید که مقیاس بد است – حال روحی تغییر کرده است. برای ویژگی‌های متغیر همسانی درونی بررسی می‌شود، نه ثبات.

گزارش کردن فقط پایایی سازنده مقیاس. پایایی به نمونه وابسته است؛ جامعه آماری دیگر، زبان دیگر، ترجمه – عددی دیگر. روی نمونه خودتان محاسبه کنید و هر دو را گزارش کنید.

یک کدگذار، بدون بررسی توافق. کدگذاری پاسخ‌های باز که یک نفر انجام داده تفسیری است که بررسی نشده است. نمونه‌ای از واحدها را کدگذار دومی، مستقل، نیز کدگذاری می‌کند و κ یا α گزارش می‌شود – پیش از آنکه طبقه‌ها به فراوانی تبدیل شوند.

دنبال توافق دویدن و گم کردن مفهوم. هر چه دستورالعمل‌های کدگذاری ساده‌تر باشند، توافق بالاتر می‌رود – تا جایی که به جای ایده‌ها واژه‌ها شمرده می‌شوند. این فرضیه Krippendorff است: در تعقیب پایایی، روایی گم می‌شود. با هر ساده‌سازی پرسیده می‌شود که از مفهوم چه باقی مانده است.

حذف گویه چون "α در صورت حذف" بالا می‌رود. این آماره می‌تواند به مقیاسی کم‌پایاتر و کم‌رواتر بینجامد؛ گویه‌ای که همبستگی‌اش با مقیاس منفی است تقریباً همیشه گویه معکوسی است که علامت‌گذاری نشده، نه گویه‌ای برای حذف (Raykov, 2024).

گزارش α استانداردشده چون بالاتر است. این پایایی مقیاس دیگری است – مقیاسی از گویه‌های استانداردشده که هیچ‌کس جمعشان نمی‌زند؛ α نمره‌ای گزارش می‌شود که تحلیل می‌شود (Raykov, 2024).

فرض اینکه روایی اثبات‌شده در آزمایشگاه یا در یک جامعه آماری همان‌طور منتقل می‌شود. بافت، جامعه آماری و زمان روایی را تغییر می‌دهند؛ از نو بررسی کنید، و دست‌کم تفاوت را گزارش کنید (Skowronski, 2024).

آستانه جادویی. ".7 برای آلفا"، ".8 برای کاپا"، ".667 برای آلفای کریپندورف" – همه قرارداد هستند، و نه همه از یک منبع یا با یک منطق؛ Landis و Koch خودشان مقیاس خود را "آشکارا دلبخواهی" نامیدند. آستانه از پیش تعیین می‌شود، بر پایه هزینه خطا در همین پژوهش توجیه می‌شود، و عدد همراه با فاصله اطمینان گزارش می‌شود – نه فقط "قبول شد".

چک‌لیست – پیش از استفاده از مقیاس یا کدگذاری

منابع

Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Krippendorff, K. (2019). Content analysis: An introduction to its methodology (4th ed.). SAGE.

Maydeu-Olivares, A., Coffman, D. L., & Hartmann, W. M. (2007). Asymptotically distribution-free (ADF) interval estimation of coefficient alpha. Psychological Methods, 12(2), 157-176. https://doi.org/10.1037/1082-989X.12.2.157

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Raykov, T. (2024). Reliability. In A. L. Nichols & J. E. Edlund (Eds.), The Cambridge handbook of research methods and statistics for the social and behavioral sciences: Vol. 2. Performing research (pp. 189-210). Cambridge University Press. https://doi.org/10.1017/9781009000796.010

Skowronski, J. J. (2024). Measurement validity in the social and behavioral sciences: Some "whys" and "hows". In A. L. Nichols & J. E. Edlund (Eds.), The Cambridge handbook of research methods and statistics for the social and behavioral sciences: Vol. 2. Performing research (pp. 211-231). Cambridge University Press. https://doi.org/10.1017/9781009000796.011

DeVellis (2012)، Nunnally (1978)، Briggs و Cheek (1986) و Pavot و همکاران (1991) – به نقل از Pallant (2020)؛ Cronbach (1951)، Novick و Lewis (1967) و McNeish (2018) – به نقل از Raykov (2024)؛ Campbell و Fiske (1959) – به نقل از Skowronski (2024). طبق قاعده سایت، در فهرست منابع تنها منابعی می‌آیند که اصل آن‌ها خوانده شده است؛ دو فصل راهنمای کمبریج – بر پایه کل فصل، بدون شماره صفحه در متن.