میٹا تجزیہ

تمام تحقیقات مل کر کیا کہتی ہیں؟ میٹا تجزیہ ان تحقیقات کے اثر کے حجم کو وزن دے کر جمع کرتا ہے جنہوں نے ایک ہی سوال جانچا – دو گروہوں میں اوسطیں، ہم بستگیاں، ریگریشن عددی سر، 2×2 جداول یا پہلے سے حساب شدہ اثرات – اور اوسط اثر، وقفۂ اعتماد، اور یہ حساب کرتا ہے کہ تحقیقات ایک دوسرے سے کتنی مختلف ہیں۔ صفحہ مستقل اثر اور تصادفی اثرات (random effects) چلاتا ہے (REML, DerSimonian-Laird یا Paule-Mandel، Knapp-Hartung کے ساتھ)، وقفہ ہائے اعتماد اور پیش گوئی کے وقفے کے ساتھ تفاوت (heterogeneity) کا حساب کرتا ہے، ذیلی گروہوں کا تجزیہ، Egger ٹیسٹ اور تراش و تکمیل (trim-and-fill) کرتا ہے، اور فاریسٹ پلاٹ اور فنل پلاٹ بناتا ہے۔ آؤٹ پٹ: APA فارمیٹ میں جداول، اردو اور انگریزی میں نتائج کا پیراگراف، Word، سب کچھ دوبارہ بنانے والا R اسکرپٹ اور تحقیقات کی ایکسل فائل۔

کیلکولیٹر

ڈیٹا لوڈ کرنا

ایکسل فائل یا SPSS فائل (.sav) یہاں گھسیٹ کر لائیں، یا منتخب کرنے کے لیے کلک کریں
سائٹ کے معیاری سانچے میں، ایک فرق کے ساتھ: قطار = تحقیق۔ پہلی قطار عنوانات کی۔ CSV بھی قبول ہے۔
ہر قطار میں – وہ جو تحقیق نے رپورٹ کیا: دونوں گروہوں میں اوسط، معیاری انحراف اور n؛ یا ہم بستگی اور n؛ یا ریگریشن عددی سر کا t، n اور پیش گو متغیرات کی تعداد؛ یا دونوں گروہوں میں واقعات اور n؛ یا پہلے سے حساب شدہ اثر معیاری خطا یا وقفۂ اعتماد کے ساتھ۔ اور تحقیق کے نام اور ذیلی گروہ کے لیے کالم، اگر ہوں۔
صرف تجربہ کرنا چاہتے ہیں؟ مثال کی ڈیٹا فائل ڈاؤن لوڈ کریں (نوجوانوں کے لیے رہنمائی (mentoring) کے پروگراموں اور خود افادیت پر 18 فرضی تحقیقات، کوڈ بک کے ساتھ): عبرانی مثال انگریزی مثال
یا

شیٹ سے کالم براہِ راست چسپاں کریں (عنوانات کی قطار سمیت) – ایکسل میں منتخب کریں، کاپی کریں اور یہاں چسپاں کریں:

A
B
C
D
E
F
آپ صرف چسپاں بھی کر سکتے ہیں – ڈیٹا خود بخود لوڈ ہو کر دکھایا جائے گا۔

متغیرات اور ترتیبات

رہنما

کب استعمال کریں؟

جب کئی تحقیقات ہوں جنہوں نے ایک ہی سوال جانچا – ایک ہی مداخلت بمقابلہ کنٹرول، دو متغیرات کے درمیان ایک ہی تعلق – اور یہ جاننا ہو کہ وہ مل کر کیا کہتی ہیں: اوسط اثر کیا ہے، یہ کتنا درست ہے، اور کیا یہ تحقیقات کے درمیان یکساں ہے۔ میٹا تجزیہ یہ اثر کے حجموں کی وزنی اوسط سے کرتا ہے، جس میں زیادہ درست تحقیق کو زیادہ وزن ملتا ہے۔ معروف متبادل – یہ گننا کہ کتنی تحقیقات معنی خیز نکلیں – غلط ہے: "ووٹوں کی گنتی" غیر معنی خیز نتیجے کو اثر کی عدم موجودگی کا ثبوت سمجھتی ہے، حالانکہ یہ کم شماریاتی قوت سے پیدا ہو سکتا ہے، اور Hedges اور Olkin نے دکھایا کہ تحقیقات کی تعداد بڑھنے کے ساتھ اس کی قوت صفر کی طرف بھی جا سکتی ہے (بحوالہ Borenstein et al.، 2009، ص 251-252)۔ وہاں کی مثال میں، پانچ تحقیقات جن میں سے ہر ایک غیر معنی خیز ہے (p = .265) جمع ہو کر معنی خیز اثر بنتی ہیں (p = .013)۔

حساب چھوٹا حصہ ہے۔ اس تک پہنچنے سے پہلے ایک متعین سوال، منظم تلاش، شمولیت کے معیار اور کوڈنگ ہوتی ہے – Harrer اور ساتھی (2021، ص 9-11) پھندوں کو گنواتے ہیں: "سیب اور مالٹے" (اتنی مختلف تحقیقات کہ انہیں جمع نہ کیا جا سکے)، "کچرا اندر، کچرا باہر" (متعصب تحقیقات)، "دراز" (غیر مطبوعہ تحقیقات)، اور محقق کا ایجنڈا – جس میں سے آخری کو تجزیے کے منصوبے کی پیشگی رجسٹریشن سے کم کیا جا سکتا ہے۔ تشخیصی ٹیسٹوں کی حساسیت اور مخصوصیت (specificity) کا میٹا تجزیہ دو متغیری ماڈلز کا متقاضی ہے، جو دونوں کو ایک ساتھ وزن دیتے ہیں (Macaskill et al., 2023, p. 203) – صفحہ انہیں نہیں چلاتا؛ ایک ٹیسٹ کے لیے – صفحہ ROC تجزیہ۔

اثر کا حجم

دو گروہوں میں اوسطیں۔ جب تمام تحقیقات نے ایک ہی پیمانہ استعمال کیا ہو – تو اوسطوں کے خام فرق کو جمع کیا جا سکتا ہے، جو اصل اکائیوں میں سمجھ آتا ہے؛ جب مختلف آلات استعمال ہوئے ہوں – تو صرف معیاری شدہ فرق، یعنی اوسطوں کا فرق تقسیم مشترکہ معیاری انحراف (Borenstein et al., 2009, p. 25)۔ چھوٹے نمونوں میں d "میں ہلکا تعصب ہوتا ہے"، اس لیے اسے Hedges کے g میں درست کیا جاتا ہے (وہی، ص 27)۔ g کے تغیر (variance) کے کئی فارمولے ہیں، اور Borenstein اور ساتھی خود نوٹ کرتے ہیں کہ مختلف مصنفین نے "تھوڑے مختلف اظہارات" دیے ہیں (ص 28) – "یہ بھی اور وہ بھی": صفحہ escalc، metafor میں، کی طرح حساب کرتا ہے (ایگزیکٹ تصحیح، اور g² کے ساتھ تغیر)، اور کتاب تخمینی تصحیح اور d کا تغیر ضرب J² استعمال کرتی ہے۔ فرق نہایت ننھے نمونوں کے سوا نہ ہونے کے برابر ہے؛ کتاب کی مکمل مثال میں جمع شدہ اثر 0.3585 بمقابلہ 0.3582۔ سمت صوابدیدی ہے، لیکن یکساں ہونی چاہیے: اگر مثبت کا مطلب یہ ہو کہ تجرباتی گروہ بہتر ہے، تو یہ تمام تحقیقات پر لاگو ہونا چاہیے (وہی، ص 25)۔

2×2 جداول۔ خطرے کا تناسب (risk ratio) اور اوڈز ریشو نسبتی پیمانے ہیں، "بنیادی شرح میں فرقوں کے لیے نسبتاً غیر حساس"؛ خطرے کا فرق مطلق ہے – بنیادی شرح کے لیے حساس، لیکن بعض اوقات "طبی طور پر زیادہ بامعنی" (Borenstein et al., 2009, p. 38)۔ تناسبات کا تجزیہ لاگ میں کیا جاتا ہے اور پیشکش کے لیے واپس تبدیل کیا جاتا ہے (ص 39)۔ جب کسی تحقیق میں صفر والا خانہ ہو، تو صفحہ اس تحقیق کے چاروں خانوں میں نصف کا اضافہ کرتا ہے، escalc کی طرح۔

ہم بستگیاں۔ r کا تغیر خود r پر منحصر ہے، اس لیے فشر کی z تبدیلی کے بعد وزن دیا جاتا ہے اور پیشکش کے لیے واپس r میں تبدیل کیا جاتا ہے (Borenstein et al., 2009, pp. 41-43)۔

ریگریشن عددی سر سے جزوی ہم بستگی۔ پالیسی، انتظامیہ اور سماجی علوم کی تحقیقات میں زیادہ تر نتائج ریگریشن عددی سروں کی صورت میں آتے ہیں، اور Ringquist (2013، ص 104-105) انہیں r خاندان کے اثر کے حجموں میں استعمال کرنے کی سفارش کرتے ہیں: عددی سر کے t سے r = t/√(t² + df) حساب کیا جاتا ہے – پیش گو متغیر اور تابع متغیر کے درمیان جزوی ہم بستگی، ماڈل میں پیش گو متغیرات کی تعداد سے قطع نظر؛ پیش گو متغیرات کی تعداد سے پیدا ہونے والا چھوٹا تعصب زیادہ تر صورتوں میں "نہ ہونے کے برابر" ہے (ص 105-106)۔ علامت عددی سر کی ہوتی ہے، اور یقینی بنانا چاہیے کہ یہ تمام تحقیقات میں یکساں سمت میں ہو (ص 137-138)۔ جس تحقیق نے صرف ستارے رپورٹ کیے – اس میں t کی حدی قدر رکھی جاتی ہے، اور حاصل ہونے والی ہم بستگی نچلی حد ہے؛ جس تحقیق نے صرف "غیر معنی خیز" لکھا – اسے حذف کرنے کی بجائے r = 0 رکھنا بہتر ہے، کیونکہ حذف کرنا اوسط اثر کو "تقریباً یقینی طور پر پھلا دے گا" (ص 108)۔ تغیر میں "یہ بھی اور وہ بھی": Ringquist فشر کے z کا عام تغیر، 1/(n − 3) استعمال کرتے ہیں (ص 109)؛ صفحہ escalc("ZPCOR")، metafor میں، کی طرح 1/(n − m − 2) حساب کرتا ہے، m پیش گو متغیرات کے ساتھ – بڑے نمونوں میں فرق چھوٹا ہے۔

پہلے سے حساب شدہ اثر۔ جب تحقیقات نے صرف اثر اور وقفۂ اعتماد رپورٹ کیا ہو، تو معیاری خطا وقفے کی چوڑائی تقسیم 2 × 1.96 ہے؛ تناسب (OR, RR, HR) کے لیے – لاگ پیمانے پر۔ اس طرح درج کیے گئے g کے لیے – یقینی بنانا بہتر ہے کہ تعصب کی تصحیح پہلے ہی لاگو ہو چکی ہے، کیونکہ صفحہ یہ نہیں جانتا (Harrer et al., 2021, p. 105)۔

مستقل اثر یا تصادفی اثرات

مستقل اثر کے ماڈل میں فرض کیا جاتا ہے کہ تمام تحقیقات کا حقیقی اثر ایک ہی ہے، اور وہ صرف نمونہ گیری کی خطا میں مختلف ہیں؛ تصادفی اثرات (random effects) کے ماڈل میں – کہ حقیقی اثر تحقیقات کے درمیان بدلتا ہے، اور ہدف اثرات کی تقسیم کی اوسط ہے (Borenstein et al., 2009, p. 77)۔ مستقل اثر تب موزوں ہے جب تحقیقات "عملی طور پر یکساں" ہوں اور ہدف ان سے آگے تعمیم نہ ہو – ایک "نسبتاً نایاب" صورت حال؛ جب تحقیقات مختلف محققین نے کی ہوں اور ادب سے جمع کی گئی ہوں، تو تصادفی اثرات "عام طور پر زیادہ معقول" ہیں (ص 83-86)۔ Harrer اور ساتھی (2021، ص 101) اضافہ کرتے ہیں کہ سماجی علوم میں "ہمیشہ تصادفی اثرات استعمال کرنا رائج ہے"، لیکن "یہ بھی اور وہ بھی": ماڈل چھوٹی تحقیقات کو زیادہ وزن دیتا ہے، جو بعض اوقات زیادہ متعصب ہوتی ہیں – اور کچھ نے دلیل دی ہے کہ مستقل اثر کبھی کبھی بہتر ہے (وہی)۔ شعبہ وار کتابیں بھی تصادفی اثرات کو ترجیح دیتی ہیں: Ringquist (2013، ص 33) – "ہمیشہ"، سوائے اس کے کہ مستقل اثر فرض کرنے کی خاص طور پر مضبوط وجوہات ہوں، کیونکہ مستقل اثر کے نتائج صرف جمع کی گئی تحقیقات پر لاگو ہوتے ہیں (ص 120-121)؛ Cooke (2024، ص 133) – نفسیاتی تحقیقات مختلف ٹیموں میں ایک ہی طریقے سے نہیں کی جاتیں، اس لیے مستقل اثر کا "جواز پیش کرنا مشکل" ہے۔ اور "یہ بھی اور وہ بھی": Kumar (2023، ص 112-113) لکھتے ہیں کہ وہ خود مستقل اثر کو ترجیح دیتے ہیں جب تک کہ تغیر زیادہ نہ ہو، اور یہ کہ تفاوت (heterogeneity) کے ماخذوں کی تحقیق کرنا ان کی ماڈلنگ سے بہتر ہے۔ صفحہ دونوں دکھاتا ہے؛ پیراگراف تصادفی اثرات رپورٹ کرتا ہے۔

کیا نہیں کرنا: مستقل اثر سے شروع کرنا اور اگر تفاوت کا ٹیسٹ معنی خیز ہو تو تصادفی اثرات کی طرف جانا – "اس سے سختی سے گریز کرنا چاہیے"، کیونکہ انتخاب اس سمجھ پر منحصر ہے کہ آیا تحقیقات ایک اثر میں شریک ہیں، اور ٹیسٹ کمزور ہے (Borenstein et al., 2009, p. 84)؛ ماڈل کا انتخاب "منصوبہ بندی کے مرحلے میں" کیا جاتا ہے (Kumar, 2023, p. 36)۔ ایک اور فرق: تصادفی اثرات میں وقفۂ اعتماد ہمیشہ زیادہ چوڑا ہوتا ہے، اور بہت بڑی تحقیقات کے ساتھ بھی صفر تک نہیں سکڑتا – کیونکہ تحقیقات کی تعداد، نہ کہ ان کا حجم، اوسط کی درستی کو محدود کرتی ہے (ص 80-81)۔ جب بہت کم تحقیقات ہوں، تو تحقیقات کے درمیان تغیر کا تخمینہ درست نہیں ہوتا، اور "دونوں میں سے ہر اختیار مسئلہ خیز ہے" (ص 84)۔

τ² کا تخمینہ کار اور Knapp-Hartung

تخمینہ کار۔ تحقیقات کے درمیان تغیر، τ²، کا تخمینہ کئی طریقوں سے لگایا جا سکتا ہے۔ DerSimonian-Laird سب سے عام ہے اور پرانے سافٹ ویئر میں طے شدہ (default) انتخاب، لیکن "متعصب ہو سکتا ہے، خاص طور پر جب تحقیقات کی تعداد کم اور تفاوت زیادہ ہو"۔ Harrer اور ساتھیوں (2021، ص 102-103) کی رہنمائی، "یہ بھی اور وہ بھی": مسلسل اثرات کے لیے نقطۂ آغاز کے طور پر REML (اور یہی metafor کا طے شدہ انتخاب ہے)؛ بائنری اثرات کے لیے Paule-Mandel؛ اور DerSimonian-Laird جب چاہیں کہ دوسرے R کے باہر بھی نتیجہ دوبارہ حاصل کر سکیں۔ "کوئی آہنی اصول نہیں"، اور فرق عموماً چھوٹے ہوتے ہیں – بہتر ہے کہ کسی اور تخمینہ کار سے دوبارہ چلا کر دیکھا جائے کہ آیا تشریح بدلتی ہے۔ صفحہ تینوں کی اجازت دیتا ہے۔

Knapp-Hartung۔ عام وقفۂ اعتماد τ² کے تخمینے میں غیر یقینی کو نظر انداز کرتا ہے۔ Knapp اور Hartung کی تصحیح (پورا نام HKSJ) ایک مختلف معیاری خطا حساب کرتی ہے اور t تقسیم، k − 1 درجاتِ آزادی کے ساتھ، استعمال کرتی ہے؛ سیمولیشنز میں یہ عملی طور پر رائج تحقیقات کی تعداد میں Wald ٹیسٹ سے "بہت بہتر کام کرتی ہے"، اور Cochrane کے 689 میٹا تجزیوں کی جانچ میں، عام طریقے میں معنی خیز نتائج میں سے ایک چوتھائی اس کے ساتھ معنی خیز نہیں تھے (Stijnen et al., 2021, p. 51)۔ Harrer اور ساتھی (2021، ص 104) اسے "عام طور پر معقول" سمجھتے ہیں، اور نوٹ کرتے ہیں کہ بعض نے دلیل دی ہے کہ بہت یکساں اثرات کی نادر صورتوں میں یہ حد سے زیادہ نرم ہے۔ صفحہ دونوں وقفے ساتھ ساتھ دکھاتا ہے۔

تفاوت اور پیش گوئی کا وقفہ

چار پیمانے، اور ہر ایک کا اپنا کردار (Borenstein et al., 2009, pp. 119-122; Harrer et al., 2021, pp. 140-150): Q اور اس کا p جانچتے ہیں کہ آیا کوئی حقیقی تغیر ہے بھی – لیکن تحقیقات کی تعداد اور حجم کے لیے حساس ہیں؛ τ² اور τ – حقیقی اثرات کا تغیر اور معیاری انحراف، اثر کی اکائیوں میں؛ I² – مشاہدہ شدہ پھیلاؤ کا وہ حصہ جو حقیقی ہے اور نمونہ گیری کی خطا نہیں، 0% سے 100% کے درمیان "سگنل اور شور کا تناسب"۔ Higgins اور ساتھیوں کی حدیں – کم، درمیانے اور زیادہ کے لیے 25%، 50%، 75% – "عارضی" ہیں (Borenstein et al., 2009, p. 119)، اور I² یہ نہیں بتاتا کہ اثرات کتنے بکھرے ہوئے ہیں: 100% کے قریب I² ایسے اثرات سے آ سکتا ہے جو تنگ دائرے میں ہوں اور بڑی درستی سے ناپے گئے ہوں (وہی)۔ I² بھی تحقیقات کی درستی پر منحصر ہے – بہت بڑی تحقیقات میں یہ 100% کی طرف جاتا ہے (Harrer et al., 2021, p. 149)۔ کتابیں حدوں میں بھی مختلف ہیں: Kumar (2023، ص 42) Cochrane کی ایک دوسرے پر چڑھی ہوئی حدیں پیش کرتے ہیں – 0%-40% کم، 30%-60% درمیانہ، 50%-90% نمایاں، 75%-100% بہت زیادہ – اور خبردار کرتے ہیں کہ کم تحقیقات ہوں تو I² متعصب ہوتا ہے۔ اور جب تفاوت غیر معمولی طور پر زیادہ ہو، تو سب سے پہلے ڈیٹا میں ٹائپنگ کی غلطیاں جانچنی چاہییں (وہی، ص 43)۔

تفاوت کے لیے وقفہ ہائے اعتماد۔ "τ² یا I² کے گرد غیر یقینی اکثر بہت بڑی ہوتی ہے"، اس لیے صفر کے تخمینے کو یکسانیت کا ثبوت سمجھنا "غلطی ہوگی"، سوائے اس کے کہ وقفہ بڑی قدروں کو خارج کر دے (Borenstein et al., 2009, p. 122)۔ صفحہ وقفوں کا حساب Q-profile طریقے سے کرتا ہے، metafor اور meta کی طرح (Harrer et al., 2021, pp. 148-149)؛ Borenstein اور ساتھیوں (2009، ص 122-125) کے پاس ایک سادہ تر فارمولا ہے، اور یہ ایک اور جگہ ہے جہاں سافٹ ویئر مختلف ہوتے ہیں۔

پیش گوئی کا وقفہ۔ وقفۂ اعتماد بتاتا ہے کہ اوسط کتنی درست ہے؛ پیش گوئی کا وقفہ – کہ کسی نئی تحقیق میں حقیقی اثر کہاں پڑنے کی توقع ہے، اس لیے "دونوں پیمانے ایک دوسرے کی جگہ نہیں لے سکتے" (Borenstein et al., 2009, p. 131)۔ تحقیقات کی تعداد بڑھنے کے ساتھ وقفۂ اعتماد صفر تک سکڑ جاتا ہے، اور پیش گوئی کا وقفہ نہیں – یہ حقیقی پھیلاؤ کے قریب آتا ہے (ص 132-133)۔ اگر یہ پورا صفر سے اوپر ہو، تو مداخلت کے دوسرے سیاق و سباق میں بھی مفید ہونے کی توقع ہے؛ اگر اس میں صفر شامل ہو – کم یقینی (Harrer et al., 2021, p. 150)۔ فارمولا – "یہ بھی اور وہ بھی": Higgins اور ساتھی (بحوالہ Borenstein et al.، 2009، ص 130) t، k − 2 درجاتِ آزادی کے ساتھ، استعمال کرتے ہیں، اور یہی صفحہ رپورٹ کرتا ہے؛ Harrer اور ساتھی (2021، ص 150) – k − 1؛ اور predict، metafor میں – نارمل تقسیم (تشریح کے خانے میں دکھایا گیا)۔ Cooke (2024، ص 165) – جو τ² بالکل رپورٹ نہیں کرتے (ص 137) – سفارش کرتے ہیں کہ "پیش گوئی کے وقفے معمول کے طور پر رپورٹ کیے جائیں"۔

ذیلی گروہ

ذیلی گروہوں کا تجزیہ پوچھتا ہے کہ آیا اثر تحقیقات کی اقسام کے درمیان مختلف ہے – انفرادی بمقابلہ گروہی پروگرام، خود رپورٹنگ بمقابلہ ماہر کی تشخیص۔ ہر گروہ کے اندر – عام میٹا تجزیہ، اور پھر گروہوں کے تخمینوں کا Q ٹیسٹ سے موازنہ کیا جاتا ہے، گویا ہر گروہ ایک بڑی تحقیق ہو (Harrer et al., 2021, pp. 184-185)۔ ایک کھلا سوال – "یہ بھی اور وہ بھی" – یہ ہے کہ آیا ہر گروہ میں الگ τ² کا تخمینہ لگایا جائے یا ایک مشترکہ: الگ، جب توقع ہو کہ گروہوں میں پھیلاؤ مختلف ہے؛ مشترکہ، جب فرض کیا جائے کہ یہ ملتا جلتا ہے، اور تب بھی جب کسی گروہ میں پانچ یا کم تحقیقات ہوں، کیونکہ تب الگ تخمینہ درست نہیں ہوتا (Borenstein et al., 2009, pp. 162-163)۔ صفحہ دونوں کا حساب کرتا ہے: Qbetween ٹیسٹ، الگ τ² کے ساتھ، اور مخلوط ماڈل، مشترکہ τ² کے ساتھ (QM، اور وضاحت شدہ تغیر کا تناسب R²؛ ص 179)۔

تین انتباہات (Harrer et al., 2021, pp. 188-190): شماریاتی قوت کم ہے، اور رائج اصول کم از کم 10 تحقیقات ہے؛ معنی خیز فرق کی عدم موجودگی اس کا ثبوت نہیں کہ گروہ برابر ہیں؛ اور تجزیہ "محض مشاہداتی" ہے – تب بھی جب تمام تحقیقات کنٹرول شدہ تجربات ہوں، گروہ دوسرے متغیرات میں مختلف ہو سکتے ہیں (اور Borenstein et al.، 2009، ص 209 بھی)۔ ایک اور پھندا: کسی مجموعی ڈیٹا، جیسے شرکاء کی اوسط عمر، کے لحاظ سے تقسیم "ایکولوجیکل تعصب" (ecological bias) کا شکار بناتی ہے – تحقیقات کے درمیان تعلق افراد کے درمیان تعلق نہیں (Harrer et al., 2021, p. 189)۔ Cooke (2024، ص 146) ہر گروہ میں کم از کم پانچ تحقیقات کی سفارش کرتے ہیں؛ Kumar (2023، ص 57) وہ طبی رواج پیش کرتے ہیں جس میں گروہوں کے درمیان فرق کے ٹیسٹ میں p، .10 سے کم ہو تو ہی معنی خیز سمجھا جاتا ہے، کیونکہ ٹیسٹ کمزور ہے۔ اور Ringquist (2013، ص 142) ہر گروہ کے لیے الگ میٹا تجزیوں پر، جو "کم طاقتور" ہیں، میٹا ریگریشن کو ترجیح دیتے ہیں – گروہ کے متغیر کو پیش گو متغیر بنا کر ایک ماڈل؛ یہی بالکل صفحے کا دوسرا طریقہ ہے (مشترکہ τ²)۔

اشاعتی تعصب

بڑے اور معنی خیز اثرات والی تحقیقات زیادہ شائع ہوتی ہیں، اس لیے شائع شدہ ادب پر مبنی میٹا تجزیہ اثر کا زائد تخمینہ لگا سکتا ہے (Borenstein et al., 2009, p. 277)۔ فنل پلاٹ ہر تحقیق کو اس کے اثر اور معیاری خطا کے لحاظ سے دکھاتا ہے؛ تعصب کے بغیر نقاط اوسط کے گرد متشاکل طور پر بکھرتے ہیں، اور ایک طرف غائب چھوٹی تحقیقات انتباہی علامت ہیں۔ Egger ٹیسٹ ریگریشن میں عدم تشاکل کی جانچ کرتا ہے (Harrer et al., 2021, pp. 236-238)، اور تراش و تکمیل (trim-and-fill) "غائب" تحقیقات کو اس وقت تک پورا کرتا ہے جب تک فنل متشاکل نہ ہو جائے اور ایک تصحیح شدہ تخمینہ حساب کرتا ہے (Borenstein et al., 2009, p. 286)۔

لیکن – اور یہ اصل بات ہے – دونوں طریقے "چھوٹی تحقیقات کے اثر" کی نشاندہی کرتے ہیں، اشاعتی تعصب کی نہیں: اثر حقیقی وجوہات کی بنا پر چھوٹی تحقیقات میں بڑا ہو سکتا ہے (مختلف آبادی، مختلف احتیاط، مختلف معیار)، یا اتفاقاً (Borenstein et al., 2009, p. 291; Harrer et al., 2021, pp. 235-236)۔ اس لیے یوں بیان کیا جاتا ہے: "اگر عدم تشاکل تعصب کی وجہ سے ہے، تو تجزیہ ظاہر کرتا ہے کہ…"۔ ٹیسٹ کمزور ہیں، اور انہیں صرف تب چلانے کی سفارش کی جاتی ہے جب کم از کم 10 تحقیقات ہوں (Sterne et al.، 2011، بحوالہ Harrer et al.، 2021، ص 242)، اس لیے معنی خیز عدم تشاکل کی عدم موجودگی تشاکل کی ضمانت نہیں (Borenstein et al., 2009, p. 291)۔ تراش و تکمیل "جب تفاوت بڑا ہو تو قابلِ اعتماد نتائج پیدا نہیں کرتا"، اور اکثر کافی تصحیح نہیں کرتا (Harrer et al., 2021, pp. 243, 282)؛ اور جب I² تقریباً 75% ہو تو کوئی طریقہ اچھی کارکردگی نہیں دکھاتا (وہی، ص 282)۔ نئے طریقے – PET-PEESE، p-curve، انتخابی ماڈل – صفحے پر نہیں، اور "ابھی کوئی واضح فاتح نہیں" (وہی، ص 281)۔ بہترین راستہ: غیر مطبوعہ تحقیقات کی تلاش (وہی)۔

"یہ بھی اور وہ بھی" تراش و تکمیل کے بارے میں: Borenstein اور ساتھی (2009، ص 286) اسے تصحیح شدہ اثر کا تخمینہ لگانے کے طریقے کے طور پر پیش کرتے ہیں، اور Ringquist (2013، ص 256) پالیسی اور انتظامیہ کی تحقیقات میں اس کی بالکل سفارش نہیں کرتے – جب اثرات کے درمیان خاطر خواہ تغیر ہو تو یہ اوسط اثر کو بہت کم کر کے دکھاتا ہے۔ Egger ٹیسٹ بھی تفاوت بڑا ہونے پر حد سے زیادہ نرم ہو جاتا ہے، اور بڑے اور متفاوت میٹا تجزیوں میں اس کی غلط مثبت شرح 100% کے قریب پہنچ سکتی ہے (Peters et al.، 2006، بحوالہ Ringquist، 2013، ص 249)۔ وہاں سفارش: سرکاری رپورٹوں اور گرے لٹریچر میں بھی جامع تلاش، اور "شائع شدہ / غیر شائع شدہ" متغیر بطور ذیلی گروہ (ص 265-266)۔

نفسیات، طبی تحقیق، پالیسی

نفسیات۔ Cooke (2024) ماہرینِ نفسیات کے لیے لکھتے ہیں، اور اثر کے دو حجم تجویز کرتے ہیں: سروے تحقیقات سے r اور تجربات اور مداخلتوں سے d (صفحے پر – g) (ص 1، 75)۔ دو عملی انتباہات: r = .5 بڑی ہم بستگی ہے، لیکن d = .5 درمیانہ اثر ہے – اور نفسیات میں زیادہ تر d، −0.50 اور +0.50 کے درمیان ہوتے ہیں، لہٰذا اگر آپ کی زیادہ تر قدریں بڑی ہیں – "حسابات جانچ لینا بہتر ہے" (ص 26، 29)؛ اور تفاوت قاعدہ ہے، استثنا نہیں (ص 135)۔ جب کسی تحقیق نے کئی پیمائشیں یا کئی اوقات رپورٹ کیے ہوں، تو ایک طریقہ یہ ہے کہ پیشگی انتخاب یا اوسط کی جائے، اور کثیر سطحی طریقے سب کو شامل کرنے دیتے ہیں (ص 167-169) – جنہیں صفحہ نہیں چلاتا۔ PROSPERO میں پیشگی رجسٹریشن اور PRISMA کے مطابق رپورٹنگ (ص 46-47)۔

طبی تحقیق۔ Kumar (2023) طبی محققین کے لیے لکھتے ہیں: کنٹرول شدہ تجربات کا میٹا تجزیہ شواہد کی درجہ بندی میں سب سے اوپر ہے (ص 1-2)، اور PRISMA کے مطابق رپورٹنگ (ص 1، 3)۔ بائنری نتیجے کے لیے – جمع کرنے کے لیے خطرے کا تناسب یا اوڈز ریشو، کیونکہ یہ مختلف بنیادی شرحوں میں زیادہ مستحکم ہیں، اور طبی فائدہ دکھانے کے لیے خطرے کا فرق (ص 29)؛ مسلسل نتیجے کے لیے – اوسطوں کا فرق جب تمام تحقیقات نے ایک ہی پیمانے پر ناپا ہو، اور معیاری شدہ فرق صرف تب جب نہیں (ص 27-28)۔ وہ غلطیاں جو انہیں سب سے زیادہ ملتی ہیں: ٹائپنگ کی غلطیاں اور اعداد کا الٹ پھیر، معیاری انحراف کی جگہ اوسط کی معیاری خطا کا اندراج، اور ایک ہی تحقیق دو بار (ص 108-109)۔ ان کی رائے میں درست نتیجے کے لیے کم از کم 10 تحقیقات درکار ہیں (ص 109) – رائج سے زیادہ سخت شرط، جسے Borenstein اور ساتھی (2009، ص 84) مختلف انداز میں بیان کرتے ہیں: کم تحقیقات کے ساتھ تمام اختیارات مسئلہ خیز ہیں۔

پالیسی اور عوامی انتظامیہ۔ Ringquist (2013) ایسی تحقیق کے لیے لکھتے ہیں جس میں زیادہ تر تحقیقات مشاہداتی ہیں، اثرات ریگریشنز سے آتے ہیں (جزوی ہم بستگی – "اثر کا حجم" دیکھیں)، اور تفاوت قاعدہ ہے (ص 18، 33)۔ وہاں معنی خیز تحقیقات کی گنتی خاص طور پر گمراہ کن ہے: .50 کی قوت والی بیس تحقیقات آدھی آدھی بٹ جاتی ہیں، اور یہ نتیجہ کہ "شواہد منقسم ہیں" – "غلط" ہے (ص 24)۔ اس لیے ان کی رائے میں میٹا ریگریشن "مرکزی توجہ" ہے (ص 20)؛ ایک تحقیق عموماً کئی اثرات دیتی ہے، اور ان کے درمیان انحصار کی تصحیح کرنی چاہیے (ص 150-151) – دو کام جو صفحہ نہیں کرتا۔ جو صفحہ ضرور دیتا ہے: تحقیق کے متغیر (شعبہ، پروگرام کی قسم، شائع شدہ / غیر شائع شدہ) کے لحاظ سے مشترکہ ماڈل میں ذیلی گروہ، ایک زمرہ جاتی پیش گو متغیر والی میٹا ریگریشن کی طرح۔

آؤٹ پٹ کیسے پڑھیں؟

جدول 1 – تحقیقات: ہر تحقیق کے لیے – اثر کا حجم، وقفۂ اعتماد، معیاری خطا اور دونوں ماڈلز میں وزن۔ شکل 1 – فاریسٹ پلاٹ: وہی تحقیقات گراف میں، ہر جمع شدہ اثر کے لیے ایک معین اور پیش گوئی کے وقفے کے لیے ایک لکیر کے ساتھ۔ جدول 2 – جمع شدہ اثر: مستقل اثر، تصادفی اثرات، اور Knapp-Hartung کے ساتھ تصادفی اثرات۔ جدول 3 – تفاوت: Q، τ²، τ، I² اور H² وقفہ ہائے اعتماد کے ساتھ، اور پیش گوئی کا وقفہ۔

جب ذیلی گروہ منتخب کیا جائے – ذیلی گروہوں کا جدول جس میں ہر گروہ میں دونوں طریقوں سے تخمینہ اور نوٹ میں فرق کے ٹیسٹ ہوں۔ تین یا زیادہ تحقیقات سے – فنل پلاٹ اور چھوٹی تحقیقات کے اثر کا جدول (Egger، تراش و تکمیل)، اور کلک پر – ہر تحقیق کو باری باری حذف کرنا: اگر ایک تحقیق کو حذف کرنے سے تصویر بدل جائے، تو وہ خاص طور پر بااثر ہے (Harrer et al., 2021, p. 156)۔

مفروضات اور انتباہات

ایک تحقیق سے ایک اثر۔ سارا حساب فرض کرتا ہے کہ ہر قطار ایک آزاد نمونہ ہے۔ جس تحقیق نے انہی شرکاء پر کئی نتائج رپورٹ کیے (کئی پیمانے، پیمائش کے کئی اوقات) وہ کئی تحقیقات نہیں – سب کو شامل کرنا "تغیر کے غلط تخمینوں کی طرف لے جائے گا" (Borenstein et al., 2009, p. 215)؛ پیشگی طے شدہ اصول کے مطابق ایک نتیجہ منتخب کیا جاتا ہے، یا پیچیدہ ڈھانچوں کے طریقے استعمال کیے جاتے ہیں (وہی، حصہ 5)، جو صفحے پر نہیں۔ کسی تحقیق کے اندر آزاد ذیلی گروہ (مثلاً بچے اور بالغ) دو قطاروں کے طور پر شامل کیے جا سکتے ہیں (وہی)۔

نارمل تخمینی قرب۔ تجزیہ معیاری خطاؤں کو معلوم اور اثرات کو نارمل تقسیم شدہ سمجھتا ہے – ایک تخمینی قرب جو بڑے نمونوں اور موزوں پیمانوں میں بہتر ہے (تناسبات کے لیے لاگ، ہم بستگیوں کے لیے فشر کا z)؛ ننھی تحقیقات یا نایاب واقعات میں ایگزیکٹ طریقے بہتر ہیں (Stijnen et al., 2021, p. 43)، جو صفحے پر نہیں۔

یہ صفحہ کیا حساب نہیں کرتا۔ مسلسل پیش گو متغیر کے ساتھ میٹا ریگریشن، کثیر سطحی اور کثیر متغیری ماڈلز، نیٹ ورک میٹا تجزیہ، 2×2 جداول کے لیے Mantel-Haenszel اور Peto طریقے، Peters ٹیسٹ، PET-PEESE، p-curve اور انتخابی ماڈل، اور تشخیصی ٹیسٹوں کا میٹا تجزیہ۔ حدود: کم از کم 2 تحقیقات (پیش گوئی کے وقفے اور چھوٹی تحقیقات کے ٹیسٹوں کے لیے 3)؛ منتخب کالموں میں گمشدہ خانے والی تحقیقات – شامل نہیں کی جاتیں، اور صفحہ اطلاع دیتا ہے۔

اور SPSS میں یہ کیسے کریں؟

SPSS Statistics کے نئے نسخوں میں میٹا تجزیے کا مینو ہے (Analyze › Meta Analysis)، ڈیٹا کی قسم کے مطابق – یہ سافٹ ویئر کے بارے میں عمومی معلومات ہے، جو یہاں جانچی نہیں گئی۔ PSPP، مفت متبادل، میں میٹا تجزیہ شامل نہیں۔ اس لیے صفحہ SPSS سنٹیکس کی بجائے ایک R اسکرپٹ برآمد کرتا ہے جس میں ڈیٹا شامل ہوتا ہے، جو metafor پیکج میں آؤٹ پٹ دوبارہ بناتا ہے – اور اسے مثال کی فائل پر R میں چلایا گیا۔

اور R میں یہ کیسے کریں؟

metafor پیکج (Viechtbauer، 2010): escalc ہر تحقیق کے لیے اثر کا حجم اور تغیر حساب کرتا ہے، rma ماڈل چلاتا ہے (method – تخمینہ کار؛ test = "knha" – Knapp-Hartung؛ mods – پیش گو متغیرات)، confint تفاوت کے لیے وقفہ ہائے اعتماد دیتا ہے، اور forest، funnel، regtest، trimfill اور leave1out – باقی۔ Harrer اور ساتھی (2021) وہی مواد meta پیکج میں سکھاتے ہیں۔ صفحہ آؤٹ پٹ کے تمام اعداد میں metafor کے مقابل تصدیق شدہ ہے، اور نیچے کا اسکرپٹ مثال کی فائل پر جوں کا توں چلایا گیا (قدریں تبصروں میں)۔

# میٹا تجزیہ – پروفیسر اسٹیٹ۔ یہ فائل UTF-8 میں محفوظ ہے؛ ہر تبصرے کی سطر اردو لفظ سے شروع ہوتی ہے
library(readxl)    # ایکسل پڑھنا
library(metafor)   # میٹا تجزیہ (Viechtbauer, 2010)

# لوڈنگ: قطار = تحقیق؛ شیٹ "Data"
d <- read_excel("C:/Rdata/DATA_meta_example_eng.xlsx", sheet = "Data")
d <- d[complete.cases(d[, c("mean_mentor", "sd_mentor", "n_mentor", "mean_control", "sd_control", "n_control")]), ]   # 18 میں سے 17

# اثر کا حجم: Hedges کا g (رہنمائی منفی کنٹرول) اور اس کا تغیر
d <- escalc(measure = "SMD", m1i = mean_mentor, sd1i = sd_mentor, n1i = n_mentor,
            m2i = mean_control, sd2i = sd_control, n2i = n_control, data = d)

# تصادفی اثرات (REML)، اور ان کے ساتھ مستقل اثر اور Knapp-Hartung
re <- rma(yi, vi, data = d, method = "REML", slab = study)
re                                                      # g = 0.48 [0.34, 0.62]; Q(16) = 36.07, p = .003; I² = 51.8%
rma(yi, vi, data = d, method = "FE")                    # مستقل اثر: g = 0.49 [0.40, 0.58]
rma(yi, vi, data = d, method = "REML", test = "knha")   # Knapp-Hartung: [0.34, 0.62], t(16) = 7.35
confint(re)                                             # τ² = 0.042 [0.005, 0.111]; I² [11.3%, 74.1%]

# پیش گوئی کا وقفہ Higgins اور ساتھیوں کے مطابق – t، k − 2 درجاتِ آزادی کے ساتھ (predict نارمل تقسیم استعمال کرتا ہے)
c(re$b) + c(-1, 1) * qt(.975, re$k - 2) * sqrt(re$tau2 + re$se^2)   # وقفہ: [0.02, 0.94]

# فاریسٹ پلاٹ اور فنل پلاٹ
forest(re, addpred = TRUE)
funnel(re)

# ذیلی گروہ بلحاظ فارمیٹ (1 = گروہی، 2 = انفرادی): الگ τ²، اور گروہوں کے تخمینوں کے درمیان Q ٹیسٹ
sub <- lapply(split(d, d$format), function(x) rma(yi, vi, data = x, method = "REML"))
sub                                                     # گروہی: g = 0.39 [0.23, 0.55]; انفرادی: g = 0.57 [0.35, 0.80]
rma(sapply(sub, coef), sapply(sub, vcov), method = "FE")   # گروہوں کے درمیان Q: Q(1) = 1.67, p = .196
rma(yi, vi, mods = ~ factor(format), data = d, method = "REML", control = list(threshold = 1e-10))   # مشترکہ τ²: QM(1) = 1.54, p = .214; R² = 16.0% (control کے بغیر: 15.9%، جلد رکاؤ)

# چھوٹی تحقیقات کا اثر: Egger ٹیسٹ اور تراش و تکمیل
regtest(rma(yi, vi, data = d, method = "FE"), model = "lm")   # مقطع (Egger): t(15) = -0.24, p = .812
trimfill(re)                                            # کوئی تحقیق شامل نہیں کی گئی
leave1out(re)                                           # ہر تحقیق کو باری باری حذف کرنا

نتائج کی رپورٹنگ

ماڈل، τ² کا تخمینہ کار اور یہ کہ آیا Knapp-Hartung لاگو کیا گیا رپورٹ کیے جاتے ہیں – Harrer اور ساتھی (2021، ص 104) ایک نمونہ عبارت دیتے ہیں: "چونکہ ہمیں تحقیقات کے درمیان نمایاں تفاوت کی توقع تھی، تصادفی اثرات کا ماڈل استعمال کیا گیا… τ² کے حساب کے لیے REML تخمینہ کار استعمال ہوا… اور وقفۂ اعتماد کے حساب کے لیے Knapp-Hartung ایڈجسٹمنٹس"۔ اور اس کے بعد: تحقیقات اور شرکاء کی تعداد؛ وقفۂ اعتماد کے ساتھ جمع شدہ اثر؛ Q، τ² اور I² وقفہ ہائے اعتماد کے ساتھ، اور پیش گوئی کا وقفہ (Harrer et al., 2021, p. 150)؛ ذیلی گروہ اور تعصب کے ٹیسٹ – جیسے پیشگی منصوبہ بندی کی گئی۔ فاریسٹ پلاٹ رپورٹنگ کا رائج حصہ ہے۔ صفحہ جو پیراگراف تیار کرتا ہے وہ نقطۂ آغاز ہے۔

عام غلطیاں

معنی خیز تحقیقات گننا اثرات کو جمع کرنے کی بجائے (Borenstein et al., 2009, pp. 251-252)۔

تفاوت کے ٹیسٹ کی بنیاد پر ماڈل منتخب کرنا (Borenstein et al., 2009, p. 84; Harrer et al., 2021, p. 145)۔

I² کو پھیلاؤ کا پیمانہ سمجھنا، یا صفر I² کو یکسانیت کا ثبوت (Borenstein et al., 2009, pp. 119, 122) – اور پیش گوئی کے وقفے کو بھول جانا۔

اوسطوں کے خام فرق کو جمع کرنا ان تحقیقات میں جنہوں نے مختلف پیمانے استعمال کیے (Borenstein et al., 2009, p. 25)، یا سمتیں ملانا – وہ تحقیق جس میں بڑا اسکور برا ہو اس تحقیق کے ساتھ جس میں یہ اچھا ہو۔

ایک ہی تحقیق سے کئی اثرات شامل کرنا گویا وہ الگ تحقیقات ہوں (Borenstein et al., 2009, p. 215)۔

یہ طے کرنا کہ "کوئی اشاعتی تعصب نہیں" کیونکہ Egger ٹیسٹ معنی خیز نہیں تھا، یا کہ "ہے" کیونکہ تھا (Borenstein et al., 2009, p. 291)۔

ذیلی گروہوں کی سببی تشریح کرنا، یا غیر معنی خیز فرق کو برابری سمجھنا (Harrer et al., 2021, pp. 188-190)۔

Cohen کی حدوں کے مطابق اثر کو "چھوٹا" یا "بڑا" قرار دینا سیاق و سباق کے بغیر – "آخری چارہ" (Ellis, 2010, p. 42)۔

فشر کے z کو یوں رپورٹ کرنا گویا وہ r ہو۔ Cooke (2024، ص 102-105) کی مثال r = 0.546 [0.416, 0.676] رپورٹ کرتی ہے – لیکن یہ z کی قدریں ہیں: واپس تبدیل کرنے پر ہم بستگی r = .50 [.39, .59] ہے، اور خود کتاب کی حدوں کے مطابق (ص 24) – درمیانی، بڑی نہیں۔ صفحہ ہمیشہ واپس تبدیل کرتا ہے۔

معیاری انحراف کی جگہ اوسط کی معیاری خطا درج کرنا (Kumar, 2023, pp. 108-109) – اثر پھول جاتا ہے، اور تفاوت بڑھ جاتا ہے۔

ان تحقیقات کو حذف کرنا جنہوں نے صرف "غیر معنی خیز" رپورٹ کیا – یہ اوسط اثر کو پھلا دیتا ہے (Ringquist, 2013, p. 108)۔

حوالہ جات

American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000

Borenstein, M., Hedges, L. V., Higgins, J. P. T., & Rothstein, H. R. (2009). Introduction to meta-analysis. Wiley. https://doi.org/10.1002/9780470743386

Cooke, R. (2024). Meta-analysis for psychologists. Palgrave Macmillan. https://doi.org/10.1007/978-3-031-73773-2

Ellis, P. D. (2010). The essential guide to effect sizes: Statistical power, meta-analysis, and the interpretation of research results. Cambridge University Press. https://doi.org/10.1017/CBO9780511761676

Harrer, M., Cuijpers, P., Furukawa, T. A., & Ebert, D. D. (2021). Doing meta-analysis with R: A hands-on guide. Chapman & Hall/CRC. https://doi.org/10.1201/9781003107347

Kumar, A. (2023). Meta-analysis in clinical research: Principles and procedures. Springer. https://doi.org/10.1007/978-981-99-2370-0

Macaskill, P., Takwoingi, Y., Deeks, J. J., & Gatsonis, C. (2023). Understanding meta-analysis. In J. J. Deeks, P. M. Bossuyt, M. M. Leeflang, & Y. Takwoingi (Eds.), Cochrane handbook for systematic reviews of diagnostic test accuracy (pp. 203-248). Wiley.

Ringquist, E. J. (2013). Meta-analysis for public management and policy (M. R. Anderson, Ed.). Jossey-Bass.

Stijnen, T., White, I. R., & Schmid, C. H. (2021). Analysis of univariate study-level summary data using normal models. In C. H. Schmid, T. Stijnen, & I. R. White (Eds.), Handbook of meta-analysis (pp. 41-64). Chapman & Hall/CRC. https://doi.org/10.1201/9781315119403

Viechtbauer, W. (2010). Conducting meta-analyses in R with the metafor package. Journal of Statistical Software, 36(3), 1-48. https://doi.org/10.18637/jss.v036.i03

Hedges اور Olkin (1980)، Higgins اور ساتھی، اور Duval اور Tweedie (2000) – بحوالہ Borenstein اور ساتھی (2009)؛ Sterne اور ساتھی (2011)، Schwarzer اور ساتھی (2015)، Pustejovsky اور Rodgers (2019) اور van Aert اور ساتھی (2016) – بحوالہ Harrer اور ساتھی (2021)۔ Peters اور ساتھی (2006) – بحوالہ Ringquist (2013)۔ سائٹ کے اصول کے مطابق، حوالہ جات کی فہرست میں صرف وہ ماخذ شامل ہیں جو اصل میں پڑھے گئے؛ حوالے مطبوعہ صفحے کے مطابق ہیں۔ "میٹا تجزیہ" فولڈر کی کتابوں میں سے، Cooper اور ساتھی (2019)، Cheung (2015) اور Chen اور Peace (2021) کا صفحے پر حوالہ نہیں دیا گیا – ان کے موضوعات (وسیع تحقیقی ترکیب، SEM، Stata) اس کے دائرے سے باہر ہیں۔ نسخہ 2 سے – شعبہ وار تین کتابیں بھی: نفسیات کے لیے Cooke (2024)، طبی تحقیق کے لیے Kumar (2023) اور پالیسی اور عوامی انتظامیہ کے لیے Ringquist (2013)۔ صفحے کا حساب R 4.3.3 اور metafor 4.4 پیکج (escalc، rma، confint، predict، regtest، trimfill، leave1out) کے مقابل تصدیق شدہ ہے، اور Borenstein اور ساتھیوں (2009) کے ابواب 14 اور 17 کی حساب شدہ مثالوں اور Cooke (2024، جداول 7.3 اور 10.1) کی دو مثالوں کے مقابل بھی۔