ANOVA برای اندازه‌گیری‌های مکرر

همان آزمودنی‌ها چند بار اندازه‌گیری می‌شوند – پیش و پس از مداخله، در چند شرایط، در طول زمان – و می‌خواهیم بدانیم آیا میانگین‌ها متفاوت‌اند. این صفحه تحلیل واریانس اندازه‌گیری‌های مکرر را با یک یا دو عامل درون‌آزمودنی اجرا می‌کند، و در طرح آمیخته – با عامل بین‌آزمودنی نیز (گروه آزمایش در برابر کنترل). آزمون کرویت و تصحیح‌های Greenhouse-Geisser و Huynh-Feldt، آزمون‌های چندمتغیره، مقابله‌ها، مقایسه‌های زوجی با بونفرونی، اثرهای ساده، اندازه‌های اثر و نمودار به دست می‌آید – با جدول‌هایی در قالب APA، بند یافته‌ها به فارسی و انگلیسی، Word، سینتکس SPSS و اسکریپت R.

ماشین‌حساب

بارگذاری داده‌ها

یک فایل اکسل یا فایل SPSS (.sav) را به اینجا بکشید، یا برای انتخاب کلیک کنید
در الگوی استاندارد سایت، در قالب پهن: سطر = آزمودنی، یک ستون برای هر اندازه‌گیری (مثلاً پیش، پس، پیگیری)، و ستون گروه در صورت وجود. فایل CSV هم پذیرفته می‌شود.
دست‌کم دو ستون عددی از اندازه‌گیری‌ها لازم است. عامل بین‌آزمودنی (2-6 گروه) – اختیاری.
فقط می‌خواهید امتحان کنید؟ یک فایل داده نمونه دانلود کنید (36 دانشجو، برنامه کاهش اضطراب امتحان در برابر کنترل، سه اندازه‌گیری، همراه با راهنمای کدها): نمونه به عبری نمونه به انگلیسی
یا

ستون‌ها را مستقیماً از کاربرگ بچسبانید (همراه با سطر عنوان) – در اکسل انتخاب کنید، کپی کنید و اینجا بچسبانید:

A
B
C
D
E
F
می‌توانید فقط بچسبانید – داده‌ها به طور خودکار بارگذاری و نمایش داده می‌شوند.

متغیرها و تنظیمات

راهنما

چه زمانی استفاده می‌شود؟

وقتی همان آزمودنی‌ها در همه میانگین‌ها سهم دارند: در همه شرایط یک آزمایش، یا در چند نقطه زمانی اندازه‌گیری می‌شوند (Field, 2024, Section 15.2). مثال‌ها: اضطراب پیش از برنامه، در پایان آن و در پیگیری؛ زمان واکنش در سه شرایط نویز؛ رتبه‌بندی همان گویه‌ها به وسیله همان افراد. وقتی گروه‌های جداگانه هم وجود دارند – برنامه در برابر کنترل – طرح آمیخته است: یک عامل بین‌آزمودنی و یک عامل درون‌آزمودنی (همان، بخش 16.2). فقط دو اندازه‌گیری – این صفحه محاسبه می‌کند، اما آزمون t نمونه‌های زوجی همان تصمیم را می‌دهد (F = t²; Gravetter & Wallnau, 2017, pp. 433-435) و افزون بر آن d و فاصله اطمینان برای تفاوت را. گروه‌های متفاوت در هر شرایط – تحلیل واریانس یک‌راهه؛ چند عامل بین‌آزمودنی – طراحی آزمایش‌ها.

ساختار داده‌ها

قالب پهن، مانند SPSS: یک سطر برای هر آزمودنی، یک ستون برای هر اندازه‌گیری (Field, 2024, Section 15.8.1). با دو عامل درون‌آزمودنی – یک ستون برای هر ترکیب، به ترتیبی که عامل دوم سریع تغییر می‌کند: (1,1)، (1,2)، (1,3)، (2,1)... – مانند فهرست در پنجره SPSS (همان، بخش 15.14). این صفحه زیر فهرست نشان می‌دهد کدام ستون به کدام ترکیب اختصاص یافته، و نام‌هایی مانند absent_0, absent_4... به طور خودکار به نام سطوح تجزیه می‌شوند. آزمودنی‌ای که یک اندازه‌گیری‌اش گمشده است – به طور کامل کنار گذاشته می‌شود (حذف لیستی، مانند SPSS)، و این صفحه گزارش می‌دهد که چند آزمودنی حذف شدند.

منطق: تفکیک واریانس

واریانس کل به واریانس بین شرایط و واریانس درون شرایط تقسیم می‌شود، و سپس – و تفاوت در همین است – واریانس درون شرایط دوباره تفکیک می‌شود: بخشی از آن تفاوت‌های ثابت بین آزمودنی‌ها است، و این بخش از خطا خارج می‌شود (Gravetter & Wallnau, 2017, pp. 420-424). آنچه باقی می‌ماند – تعامل بین شرایط و آزمودنی‌ها – مخرج F است. در مثال همان منبع: SS بین شرایط 84، بین آزمودنی‌ها 66 و خطا 22، و F(2, 10) = 19.09 (همان، ص. 426) – این صفحه همان اعداد را می‌دهد. از این رو طرح درون‌آزمودنی حساس‌تر است: در مثال عددی Gravetter و Wallnau همان تفاوت‌ها در گروه‌های جداگانه F برابر 1.91 و در اندازه‌گیری‌های مکرر 11 می‌دهند (همان، ص. 430-431). در طرحی با دو عامل درون‌آزمودنی، هر اثر خطای خودش را دارد – تعامل آن اثر با آزمودنی‌ها (Maxwell et al., 2018, p. 673).

کرویت و تصحیح ε

آزمون تک‌متغیره کرویت را فرض می‌کند: اینکه واریانس تفاوت بین هر دو اندازه‌گیری برابر است (Maxwell et al., 2018, p. 627; Field, 2024, Section 15.5.1). با دو اندازه‌گیری فقط یک تفاوت وجود دارد، و مفروضه همیشه برقرار است (Maxwell et al., 2018, p. 628). در اندازه‌گیری‌های طول زمان اغلب نقض می‌شود – اندازه‌گیری‌های نزدیک به هم بیشتر از اندازه‌گیری‌های دور همبسته‌اند – و در این صورت نرخ خطای نوع I می‌تواند به جای .05 به .10 یا .15 برسد (همان، ص. 629-630).

راه‌حل: درجه‌های آزادی آزمون در ε ضرب می‌شود، برآوردی از میزان انحراف از کرویت – 1 وقتی برقرار است، و تا 1/(k − 1) در بیشترین انحراف (ibid., p. 630; Field, 2024, Sections 15.5.2, 15.5.4). خود F تغییر نمی‌کند، فقط p. چهار گزینه، از آزادگیرانه تا محافظه‌کارانه: بدون تصحیح، Huynh-Feldt، Greenhouse-Geisser و حد پایین. Maxwell و همکاران "فکر می‌کنند که هرگز نباید" از آزمون تصحیح‌نشده استفاده کرد (2018، ص. 632)، توصیه کلی آن‌ها Greenhouse-Geisser است، چون Huynh-Feldt ممکن است نرخ خطا را حفظ نکند (همان، ص. 634)، و حد پایین بیش از حد محافظه‌کارانه است (همان). Field (2024، بخش 15.5.4) قاعده رایج را هم می‌آورد – Huynh-Feldt وقتی برآورد بالای .75 است – و امکان گرفتن میانگین این دو را. این صفحه بر اساس Greenhouse-Geisser گزارش می‌دهد، و می‌توان گزینه دیگری انتخاب کرد.

Mauchly: آزمون معناداری برای مفروضه کرویت. Field توصیه می‌کند که به آن تکیه نشود: به حجم نمونه وابسته است – در نمونه بزرگ حتی با انحراف ناچیز معنادار است، و در نمونه کوچک حتی با انحراف بزرگ غیرمعنادار – و از این رو بهتر است همیشه بر اساس ε تصحیح شود (2024، بخش 15.5.2). Maxwell و همکاران نیز می‌نویسند که "ارزش اندکی به عنوان آزمون مقدماتی" دارد (2018، ص. 629). این صفحه آن را نشان می‌دهد چون SPSS نشان می‌دهد.

رویکرد چندمتغیره

راه دیگری که اصلاً کرویت را فرض نمی‌کند: k اندازه‌گیری به k − 1 متغیر تفاضل تبدیل می‌شوند و بررسی می‌شود که آیا همه میانگین‌های آن‌ها صفر است – تحلیل واریانس چندمتغیره (Maxwell et al., 2018, pp. 728, 741; Field, 2024, Section 15.5.4). SPSS چهار آزمون چاپ می‌کند: Pillai، Wilks، Hotelling و Roy. در اثر درون‌آزمودنی خالص همیشه یکسان‌اند (Maxwell et al., 2018, pp. 832-833)؛ وقتی متفاوت‌اند، Pillai استوارترین است (همان، ص. 829). Pallant (2020، فصل 18) همیشه آزمون چندمتغیره را می‌خواند.

کدام بهتر است؟ آزمون چندمتغیره وقتی توزیع نرمال است دقیق است، اما در نمونه‌های کوچک ضعیف است، و وقتی تعداد آزمودنی‌ها کمتر از تعداد اندازه‌گیری‌ها باشد غیرممکن (Maxwell et al., 2018, pp. 775-777). قاعده Algina و Keselman (1997, as cited in Maxwell et al., 2018, p. 776): چندمتغیره وقتی تا 4 اندازه‌گیری، ε ≤ .90 و دست‌کم k + 15 آزمودنی وجود دارد، یا 5-8 اندازه‌گیری، ε ≤ .85 و دست‌کم k + 30؛ در غیر این صورت – تک‌متغیره با تصحیح. این قاعده به ε در جامعه آماری اشاره دارد، و انتخاب بر اساس برآورد نمونه "ممکن است مسئله‌ساز باشد" (همان). در جمع‌بندی، Maxwell و همکاران به رویکرد چندمتغیره "برتری اندکی" می‌دهند (همان، ص. 778). "تفسیر نتیجه" در خروجی این قاعده را روی داده‌های شما محاسبه می‌کند.

طرح آمیخته

وقتی عامل بین‌آزمودنی هم وجود دارد، دو نوع آزمون هست (Maxwell et al., 2018, pp. 691-693). اثر بین‌آزمودنی در برابر واریانس بین آزمودنی‌ها درون گروه‌ها آزمون می‌شود – هم‌ارز تحلیل واریانس یک‌راهه روی میانگین هر آزمودنی است، و کرویت به آن ربطی ندارد (همان، ص. 692، 706). اثر درون‌آزمودنی و تعامل با گروه در برابر تعامل عامل درون‌آزمودنی با آزمودنی‌ها درون گروه‌ها آزمون می‌شوند. تعامل معمولاً همان پرسش اصلی است: آیا تغییر در طول زمان در برنامه و در کنترل متفاوت است؟ ابتدا آن گزارش می‌شود (Pallant, 2020, Chapter 20).

مفروضه دیگر: اینکه ماتریس‌های کوواریانس اندازه‌گیری‌ها در گروه‌ها برابرند. آزمون‌ها وقتی گروه‌ها هم‌اندازه‌اند در برابر نقض آن استوارند (Maxwell et al., 2018, p. 704). SPSS آن را با Box's M بررسی می‌کند؛ Pallant (2020، فصل 20) پیشنهاد می‌کند که با α = .001 خوانده شود چون بسیار حساس است، و Maxwell و همکاران (2018، ص. 840) سودمندی عملی آن را اندک می‌دانند. این صفحه آن را و آزمون لوین را برای هر اندازه‌گیری نشان می‌دهد.

مقابله‌ها، مقایسه‌های زوجی و اثرهای ساده

آزمون F می‌گوید تفاوتی هست، نه کجا. سه راه برای ادامه – و یکی بر اساس پرسش انتخاب می‌شود (Field, 2024, Sections 15.9.5, 15.15.3):

مقابله‌های برنامه‌ریزی‌شده – پرسش‌های از پیش تعریف‌شده: روند خطی یا درجه دوم در طول زمان (چندجمله‌ای، پیش‌فرض SPSS)، هر شرایط در برابر شرایط پایه (ساده)، یا هر سطح در برابر سطح بعدی (تکراری) (همان، بخش 15.8.2). اینجا مهم است که هر مقابله با خطای خودش آزمون شود – واریانس نمره‌های مقابله – و نه با خطای مشترک که کرویت را فرض می‌کند؛ مقابله‌ها بسیار بیشتر از آزمون کلی به نقض کرویت حساس‌اند (Maxwell et al., 2018, pp. 638-639). این صفحه چنین می‌کند، و SPSS نیز.

مقایسه‌های زوجی – هر زوج اندازه‌گیری، با تصحیح بونفرونی. در اندازه‌گیری‌های مکرر توصیه همین است، و نه Tukey، که وقتی کرویت برقرار نیست نرخ خطا را حفظ نمی‌کند (Maxwell et al., 2018, pp. 757-758; Field, 2024, Section 15.5.3).

اثرهای ساده – وقتی تعامل وجود دارد: اثر یک عامل در هر سطح عامل دیگر – مثلاً تغییر در طول زمان در برنامه به‌تنهایی و در کنترل به‌تنهایی (Field, 2024, Section 15.15.3). هر اثر این‌چنینی آزمونی اضافی است؛ Field توصیه می‌کند که تعامل با کمترین تعداد ممکن آزمون تجزیه شود و برای تعداد آن‌ها تصحیح انجام شود (همان).

اندازه‌های اثر

SPSS مجذور اتای جزئی را چاپ می‌کند: SSاثر/(SSاثر + SSخطا) – تفاوت‌های بین آزمودنی‌ها در مخرج نیستند (Gravetter & Wallnau, 2017, p. 427). از این رو بزرگ است، و با مجذور اتای یک پژوهش بین‌آزمودنی قابل مقایسه نیست. Maxwell و همکاران (2018، ص. 634-635) مجذور امگا را ترجیح می‌دهند که واریانس بین آزمودنی‌ها را در مخرج نگه می‌دارد، مانند پژوهش بین‌آزمودنی – "به نظر مطلوب می‌رسد که نادیده گرفته نشود" (همان، ص. 635) – و جامعه آماری را برآورد می‌کند نه نمونه را. در مثال McCarthy در همان منبع: ω² = .04 (همان)، در حالی که مجذور اتای جزئی همان داده‌ها .22 است. این صفحه هر دو را نشان می‌دهد، و مجذور امگا را – در طرح‌هایی که در کتاب فرمولی برای آن وجود دارد (یک یا دو عامل درون‌آزمودنی، یا یکی با عامل بین‌آزمودنی؛ همان، معادله‌های 11.35، 12.6 و 12.22-12.24). برای مقابله و مقایسه زوجی می‌توان d را محاسبه کرد (آزمون t نمونه‌های زوجی).

خروجی را چگونه بخوانیم؟

جدول‌ها به ترتیب SPSS: میانگین‌ها؛ کرویت (Mauchly و ε)؛ آزمون‌های درون‌آزمودنی بر اساس تصحیح انتخاب‌شده؛ جدولی که p را در چهار روش مقایسه می‌کند؛ آزمون‌های چندمتغیره؛ در طرح آمیخته – آزمون بین‌آزمودنی، لوین و Box's M؛ مقابله‌ها؛ میانگین‌های حاشیه‌ای؛ مقایسه‌های زوجی؛ اثرهای ساده؛ و نمودار. ابتدا تعامل خوانده می‌شود، سپس اثرهای اصلی. "تفسیر نتیجه" به آنچه در مورد شما مهم است اشاره می‌کند – میزان انحراف از کرویت، تک‌متغیره یا چندمتغیره، و تعامل.

مفروضه‌ها

مفروضه‌های تحلیل واریانس معمولی – استقلال آزمودنی‌ها از یکدیگر، نرمال بودن (به‌ویژه در نمونه کوچک) و برابری واریانس‌ها – و یکی دیگر: "همگنی کوواریانس"، یعنی اینکه آزمودنی‌ها کم و بیش جایگاه نسبی خود را بین شرایط حفظ می‌کنند (Gravetter & Wallnau, 2017, p. 428). در صورت دقیق – کرویت (بالا). در طرح آمیخته – همچنین ماتریس‌های برابر بین گروه‌ها (Maxwell et al., 2018, p. 704). وقتی مفروضه‌ها برقرار نیستند: آزمون استوار روی میانگین‌های پیراسته (rmanova در بسته WRS2 در R؛ Field، 2024، بخش 15.10)، آزمون فریدمن به عنوان آخرین راه (همان، بخش 15.7)، یا مدل چندسطحی (همان، بخش 15.5.4).

و این کار در SPSS چگونه انجام می‌شود؟

Analyze → General Linear Model → Repeated Measures: عامل درون‌آزمودنی و تعداد سطوح تعریف می‌شود، ستون‌ها به ترتیب جای‌گذاری می‌شوند، و در صورت وجود عامل بین‌آزمودنی اضافه می‌شود (Field, 2024, Sections 15.8, 16.5; Pallant, 2020, Chapters 18, 20). در Options – آماره‌های توصیفی، اندازه اثر، و در طرح آمیخته آزمون‌های همگنی؛ در EM Means – مقایسه اثرهای اصلی با بونفرونی. جدول مربوط: Tests of Within-Subjects Effects، در سطر Greenhouse-Geisser (Field, 2024, Section 15.9). این صفحه سینتکس آماده دانلود می‌کند (GLM ... /WSFACTOR). PSPP اندازه‌گیری‌های مکرر را در GLM اجرا نمی‌کند، و از این رو سینتکس در آن آزموده نشده است.

و این کار در R چگونه انجام می‌شود؟

نزدیک‌ترین راه به SPSS: مدل چندمتغیره (lm با ماتریس پاسخ) و car::Anova با idata و idesign – آزمون‌های چندمتغیره، تک‌متغیره، Mauchly و تصحیح‌ها را می‌دهد؛ emmeans – میانگین‌های حاشیه‌ای و مقایسه‌ها. دو تفاوت کوچک با SPSS: Mauchly در R جمله‌ای از مرتبه دوم را در بر دارد، و Huynh-Feldt در بسته car وقتی گروه‌ها وجود دارند با تصحیح دیگری محاسبه می‌شود. اسکریپت زیر بدون تغییر روی فایل نمونه اجرا شد (مقادیر در توضیحات).

# تحلیل ANOVA اندازه‌گیری‌های مکرر در R – فایل نمونه این صفحه (36 دانشجو، برنامه/کنترل × سه اندازه‌گیری اضطراب امتحان)
library(car)       # تابع Anova روی مدل چندمتغیره
library(emmeans)   # میانگین‌های حاشیه‌ای و مقایسه‌ها
options(contrasts = c("contr.sum", "contr.poly"))   # الزامی برای نوع III

d <- data.frame(group = factor(c(1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2), labels = c("program", "control")),
                pre = c(46, 53, 34, 59, 59, 50, 39, 39, 41, 61, 38, 79, 60, 59, 68, 75, 55, 43, 38, 51, 48, 44, 56, 51, 64, 51, 44, 60, 60, 61, 33, 48, 45, 39, 52, 32),
                post = c(48, 34, 39, 48, 53, 42, 32, 27, 25, 41, 44, 65, 54, 59, 51, 67, 39, 38, 40, 46, 47, 59, 45, 54, 64, 55, 55, 64, 50, 56, 30, 39, 46, 43, 50, 30),
                followup = c(34, 45, 27, 42, 55, 43, 41, 42, 40, 55, 45, 67, 55, 57, 51, 70, 44, 36, 37, 51, 53, 52, 54, 64, 78, 50, 49, 62, NA, 53, 37, 53, 47, 47, 51, 30))
d <- na.omit(d)                                     # حذف لیستی: 35 باقی می‌مانند
fit <- lm(cbind(pre, post, followup) ~ group, data = d)
idata <- data.frame(time = factor(1:3))
av <- Anova(fit, idata = idata, idesign = ~ time, type = 3)
summary(av, multivariate = TRUE)
# زمان (time): F(2, 66) = 5.94, GG eps = .94
# تعامل (group:time): F(2, 66) = 9.46, p (GG) = .0003
# آماره Pillai برای تعامل: V = .42, F(2, 32) = 11.50

ml <- list(time = c("pre", "post", "followup"))
pairs(emmeans(fit, ~ time | group, mult.name = "time", mult.levs = ml), adjust = "bonferroni")
# در برنامه: pre - post = 8.44 (p = .0001)

گزارش نتایج

طرح، تصحیح انجام‌شده و ε گزارش می‌شود، و برای هر اثر F با درجه‌های آزادی تصحیح‌شده (مثلاً F(1.60, 11.19))، p و اندازه اثر – و ذکر می‌شود کدام اندازه اثر (Field, 2024, Section 15.12). وقتی آزمون چندمتغیره گزارش می‌شود – Pillai (V) و F آن (همان؛ Pallant، 2020، فصل 18 – آنجا Wilks). میانگین‌ها و انحراف‌های معیار – در جدول. در طرح آمیخته – ابتدا تعامل (Pallant, 2020, Chapter 20). این صفحه چنین بندی را به فارسی و انگلیسی می‌نویسد.

اشتباهات رایج

تحلیل اندازه‌گیری‌های مکرر چنانکه گویی گروه‌های جداگانه‌اند – تفاوت‌های بین آزمودنی‌ها در خطا باقی می‌مانند، و آزمون بیشتر مزیت خود را از دست می‌دهد (Gravetter & Wallnau, 2017, pp. 430-431).

خواندن سطر تصحیح‌نشده – "Sphericity Assumed" – بدون بررسی کرویت (Maxwell et al., 2018, p. 632).

تصمیم درباره تصحیح بر اساس Mauchly – این آزمون به حجم نمونه وابسته است؛ تصحیح بر اساس ε انجام می‌شود (Field, 2024, Section 15.5.2).

انتخاب بین Greenhouse-Geisser و Huynh-Feldt پس از دیدن اینکه کدام معنادار است – Field (2024، بخش 15.9.3) نشان می‌دهد که چگونه در همان داده‌ها یکی .063 و دیگری .048 می‌دهد؛ تصمیم باید از پیش گرفته شود، و آنچه مهم است اندازه اثر است.

Tukey یا مقابله‌ها با خطای مشترک – هر دو کرویت را فرض می‌کنند؛ بونفرونی و خطای جداگانه برای هر مقابله (Maxwell et al., 2018, pp. 639, 757-758).

مقایسه مجذور اتای جزئی اندازه‌گیری‌های مکرر با مجذور اتای پژوهش بین‌آزمودنی – مخرج‌ها متفاوت‌اند (Gravetter & Wallnau, 2017, p. 427; Maxwell et al., 2018, p. 635).

استنتاج علیت از تغییر در طول زمان بدون گروه کنترل – اثرهای ترتیب مانند تمرین، ملال و خستگی می‌توانند آن را توضیح دهند (Field, 2024, Section 1.6.5; Gravetter & Wallnau, 2017, p. 430)؛ در شرایط – ترتیب با قرعه‌کشی متوازن شود (Field، همان؛ صفحه متغیرها، مقیاس‌ها و طرح‌های پژوهشی).

منابع

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Gravetter, F. J., & Wallnau, L. B. (2017). Statistics for the behavioral sciences (10th ed.). Cengage Learning.

Maxwell, S. E., Delaney, H. D., & Kelley, K. (2018). Designing experiments and analyzing data: A model comparison perspective (3rd ed.). Routledge.

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge.

Algina و Keselman (1997) – به نقل از Maxwell و همکاران (2018)؛ Girden (1992) و دیگران – به نقل از Field (2024). طبق قاعده سایت، در فهرست منابع فقط منابعی آمده‌اند که اصل آن‌ها خوانده شده است. Field (2024) و Pallant (2020) در نسخه دیجیتال با متن روان – ارجاع بر اساس بخش و فصل؛ Maxwell و همکاران (2018) و Gravetter و Wallnau (2017) – بر اساس صفحه چاپی. قراردادهای سایت: قالب پهن و حذف لیستی مانند SPSS؛ Greenhouse-Geisser به عنوان پیش‌فرض در گزارش؛ Huynh-Feldt با فرمول اصلی مانند SPSS؛ نوع III و میانگین‌های حاشیه‌ای وزن‌دهی‌نشده؛ دو رقم پس از نقطه در جدول‌ها. محاسبه در برابر R 4.3.3 (car، emmeans) و در برابر اعداد چاپی تأیید شده است: نزد Maxwell و همکاران – جدول‌های 11.5، 12.1، 12.7 و 12.15 (با 12.5، 12.19 و برآوردهای ε)، 13.2 و 14.9؛ نزد Gravetter و Wallnau – جدول 13.2 و خروجی SPSS در شکل 13.4؛ و در مقایسه با خروجی‌های چاپی SPSS نزد Field (2024) و Pallant (2020).