غیر نگرانی شدہ لرننگ: کلسٹرز، اجزاء اور عوامل

رہنما

اس صفحے پر

دونوں ہم شیرہ صفحات – سماجی محقق کے لیے مشین لرننگ اور کارکردگی کے پیمانے اور توثیق – نگرانی شدہ (supervised) لرننگ سے متعلق ہیں: ایک تابع متغیر موجود ہوتا ہے، ماڈل اس کی پیش گوئی کرنا سیکھتا ہے، اور اس کی توثیق ایسے ڈیٹا پر کی جاتی ہے جو اس نے نہیں دیکھا۔ یہ صفحہ اس بارے میں ہے کہ جب کوئی تابع متغیر نہ ہو تو کیا ہوتا ہے – اور سماجی محقق یہ کام برسوں سے کر رہا ہے، اسے یہ نام دیے بغیر: سوالنامے کے آئٹمز پر عاملی تجزیہ، کلسٹر تجزیہ جو جواب دہندگان کو اقسام میں بانٹتا ہے، بنیادی اجزاء کا تجزیہ جو بیس متغیرات کو سمیٹ کر تین کر دیتا ہے۔ مشین لرننگ کی کتابوں میں ان سب کو غیر نگرانی شدہ لرننگ (unsupervised learning؛ اسے "بغیر نگرانی کے سیکھنا" بھی کہا جاتا ہے) کہا جاتا ہے، اور اس صفحے کے دو مقاصد ہیں: ترجمہ کرنا – یہ دکھانا کہ Modeler کا کلسٹر وہی SPSS کا CLUSTER ہے جو R کا kmeans() ہے – اور خبردار کرنا، کیونکہ یہاں وہ واحد چیز غائب ہو جاتی ہے جو پیش گو ماڈلنگ میں محقق کی حفاظت کرتی ہے: کارکردگی کا پیمانہ۔ کوئی جانچ کا سیٹ نہیں جو بتائے کہ تین عوامل "درست" ہیں یا چار کلسٹرز موجود ہیں۔ ترتیب: لرننگ کو "غیر نگرانی شدہ" کیا چیز بناتی ہے، اور یہ ناخوشگوار صورتِ حال کیوں ہے (1)؛ ابعاد میں کمی – بنیادی اجزاء کا تجزیہ (2)؛ وہ امتیاز جسے سافٹ ویئر دھندلا دیتا ہے – اجزاء عوامل نہیں ہیں (3)؛ کلسٹرز – طریقے اور ہر طریقہ کیا فرض کرتا ہے (4)؛ کتنے کلسٹرز، اور آیا کوئی ہیں بھی (5)؛ کلسٹر ملنے کے بعد اس کے ساتھ کیا کیا جائے (6)؛ SPSS اور Modeler کے مینوز میں ہر چیز کو کیا کہا جاتا ہے (7)؛ اور R میں یہ کیسے کریں (8)۔ حوالہ جات دونوں ہم شیرہ صفحات کی پانچ درسی کتابیں ہیں – Géron (2022، ابواب 8-9)، Hastie، Tibshirani اور Friedman (2009، باب 14)، Bishop (2006، ابواب 9 اور 12)، Truong (2026، ابواب 12-13) اور Gutierrez (2015، باب 8) – اور ان کے ساتھ، سائیکومیٹرک پہلو سے، نفسیات میں عاملی تجزیے کے رواج کا جائزہ (Costello & Osborne, 2005)، اور ان تین معیارات کے ماخذ مقالے جن کی یہ صفحہ سفارش کرتا ہے: متوازی تجزیہ (parallel analysis) (Horn, 1965)، سلہوٹ (silhouette) (Rousseeuw, 1987) اور گیپ شماریہ (gap statistic) (Tibshirani, Walther & Hastie, 2001)؛ اور SPSS Statistics کی طرف سے – ان دو کتابوں میں عاملی تجزیے کے ابواب جن کا حوالہ سائٹ کیلکولیٹر صفحات میں دیتی ہے: Field (2024، باب 18) اور Pallant (2020، باب 15)؛ اور SPSS Modeler کی طرف سے – IBM کی دستاویزات اور Wendler اور Gröttrup کی تعلیمی درسی کتاب (2021، ابواب 6-7)۔ حوالے کے بارے میں نوٹ: ہم شیرہ صفحات کی طرح – Géron، Gutierrez، Field اور Pallant کا حوالہ باب اور سیکشن کے مطابق (نسخے صفحات کے بغیر ہیں)، باقی کا صفحے کے مطابق۔

1. استاد کے بغیر: یہ کیا ہے، اور یہ ناخوشگوار صورتِ حال کیوں ہے

Hastie اور ان کے ساتھی باب 14 کا آغاز ایک امتیاز سے کرتے ہیں: نگرانی شدہ (supervised) لرننگ "استاد کے ساتھ سیکھنا" ہے – "طالب علم" کے پاس ہر مشاہدے کا جواب ہوتا ہے اور استاد تصحیح کرتا ہے؛ غیر نگرانی شدہ لرننگ (unsupervised learning) "استاد کے بغیر سیکھنا" ہے – ویکٹر X کے N مشاہدات ہوتے ہیں، اور "مقصد اس تقسیم کی خصوصیات کو براہِ راست اخذ کرنا ہے، کسی نگران یا استاد کی مدد کے بغیر جو ہر مشاہدے کے لیے درست جوابات یا خطا کی مقدار فراہم کرے" (Hastie et al., 2009, p. 486)۔ پھر وہ جملہ جس سے باقی سارا صفحہ نکلتا ہے: "نگرانی شدہ لرننگ میں کامیابی، یا اس کی عدم موجودگی، کا ایک واضح پیمانہ ہوتا ہے… غیر نگرانی شدہ لرننگ کے تناظر میں کامیابی کا ایسا کوئی براہِ راست پیمانہ نہیں۔ زیادہ تر الگورتھمز کے آؤٹ پٹ سے اخذ ہونے والے نتائج کی صداقت کی تصدیق مشکل ہے۔ نہ صرف الگورتھمز کا جواز پیش کرنے کے لیے… بلکہ نتائج کے معیار کو پرکھنے کے لیے بھی ہیورسٹک دلائل کا سہارا لینا پڑتا ہے۔ اس ناخوشگوار صورتِ حال کی وجہ سے مجوزہ طریقوں کی بہتات ہو گئی ہے، کیونکہ افادیت رائے کا معاملہ ہے اور اس کی براہِ راست تصدیق نہیں کی جا سکتی" (ص 487)۔ Gutierrez یہ بات سادگی سے کہتے ہیں: "غیر نگرانی شدہ لرننگ میں اپنے کام کی تصدیق کا کوئی طریقہ نہیں، کیونکہ کوئی درست جواب نہیں۔ اسی لیے اسے غیر نگرانی شدہ لرننگ کہا جاتا ہے" (Gutierrez، 2015، باب 8، آغاز)۔ Géron، Yann LeCun کا قول نقل کرتے ہیں: اگر ذہانت ایک کیک ہے تو غیر نگرانی شدہ لرننگ خود کیک ہے، نگرانی شدہ – اس کی آئسنگ، اور تقویتی لرننگ – چیری؛ "دستیاب ڈیٹا کی بھاری اکثریت لیبل شدہ نہیں ہوتی" (Géron، 2022، باب 9، آغاز)۔

جب y نہ ہو تو کیا تلاش کیا جاتا ہے۔ Hastie اور ان کے ساتھی طریقوں کو اس بنیاد پر ترتیب دیتے ہیں کہ طریقہ X کی تقسیم میں کیا تلاش کرتا ہے: بنیادی اجزاء، کثیر جہتی پیمانہ بندی (multidimensional scaling) اور ان جیسے طریقے "X کی فضا کے اندر کم جہتی منیفولڈز کی شناخت کی کوشش کرتے ہیں جو ڈیٹا کی زیادہ کثافت کی نمائندگی کرتے ہیں"، اور اس طرح بتاتے ہیں کہ "آیا متغیرات کو 'مخفی' متغیرات کے ایک چھوٹے مجموعے کے تفاعل سمجھا جا سکتا ہے"؛ کلسٹر تجزیہ "X کی فضا میں متعدد محدب علاقے تلاش کرنے کی کوشش کرتا ہے جن میں" تقسیم کے "موڈز ہوں"، اور اس طرح بتاتا ہے کہ آیا اسے "سادہ تر کثافتوں کے آمیزے کے طور پر پیش کیا جا سکتا ہے جو مشاہدات کی الگ الگ اقسام یا جماعتوں کی نمائندگی کرتی ہیں" (ص 486)۔ Truong اسی تقسیم کو ایک جدول میں بیان کرتے ہیں: اجزاء کے تجزیے کا "تجزیے کا موضوع" متغیرات ہیں، کلسٹر تجزیے کا – مشاہدات؛ پہلا ایسے اجزاء نکالتا ہے جو خلاصہ کرتے ہیں، دوسرا گروہ نکالتا ہے (Truong, 2026, Table 13.1, p. 459)۔ یہ وہ امتیاز ہے جو سماجی محقق اپنے میٹرکس سے جانتا ہے: کالموں کو سمیٹنا (سیکشن 2-3) یا قطاروں کو گروہ بند کرنا (سیکشن 4-6)۔ Géron دو ہم شیرہ کام شامل کرتے ہیں – آؤٹ لائرز کی شناخت، "یہ سیکھنا کہ 'نارمل' ڈیٹا کیسا دکھتا ہے اور پھر اسے غیر معمولی نمونوں کی شناخت کے لیے استعمال کرنا"، اور کثافت کا تخمینہ (باب 9، آغاز) – اور دونوں سیکشن 4 میں انہی الگورتھمز کی ضمنی پیداوار کے طور پر لوٹتے ہیں۔

2. ابعاد میں کمی: بنیادی اجزاء کا تجزیہ

یہ طریقہ جس مسئلے کو حل کرتا ہے وہ ابعاد کی لعنت ہے (مشین لرننگ کا صفحہ، سیکشن 2): Géron یاد دلاتے ہیں کہ اکائی مربع میں دو تصادفی نقطے اوسطاً ایک دوسرے سے 0.52 کے فاصلے پر ہوتے ہیں، اور دس لاکھ ابعاد کے مکعب میں – تقریباً 408؛ "اعلیٰ ابعاد میں بس بہت زیادہ جگہ ہوتی ہے"، اور اسی لیے "کثیر جہتی ڈیٹا سیٹس کے بہت زیادہ بکھرے ہوئے ہونے کا خطرہ ہوتا ہے" (Géron, 2022, Chapter 8, "The Curse of Dimensionality")۔ بنیادی اجزاء کا تجزیہ (PCA) ڈیٹا کو ایک چھوٹی فضا پر پروجیکٹ کرتا ہے۔ Bishop کے ہاں دو تعریفیں ہیں "جو ایک ہی الگورتھم دیتی ہیں": عمودی پروجیکشن "اس طرح کہ پروجیکٹ شدہ ڈیٹا کا تغیر زیادہ سے زیادہ ہو" (Hotelling، 1933)، یا اس کے مساوی – وہ لکیری پروجیکشن "جو اوسط پروجیکشن لاگت کو کم سے کم کرتی ہے، جس کی تعریف ڈیٹا نقاط اور ان کے پروجیکشنز کے درمیان اوسط مربع فاصلے کے طور پر کی جاتی ہے" (Pearson، 1901) (Bishop, 2006, p. 561)؛ Hastie اور ان کے ساتھیوں کے الفاظ میں، بنیادی اجزاء "ڈیٹا کے بہترین لکیری تخمینوں کا ایک سلسلہ فراہم کرتے ہیں، ہر درجے کے" (Hastie et al., 2009, p. 534)۔ Géron اسے ایک تصویر سے سمجھاتے ہیں: ممکنہ محوروں میں سے PCA "وہ محور چنتا ہے جو تغیر کی زیادہ سے زیادہ مقدار کو محفوظ رکھتا ہے"، پھر دوسرا محور، پہلے پر عمود، جو باقی ماندہ تغیر کا زیادہ سے زیادہ حصہ محفوظ رکھتا ہے، اور اسی طرح آگے؛ "i-واں محور i-واں بنیادی جزو کہلاتا ہے" (Chapter 8, "Preserving the Variance", "Principal Components")۔ پروجیکشن کے بعد ہاتھ میں جو چیز ہوتی ہے وہ وضاحت شدہ تغیر کے تناسب (explained variance) کا جدول ہے: Géron کی مثال میں پہلے جزو پر 76%، دوسرے پر 15%، تیسرے پر 9% – "اس لیے یہ فرض کرنا معقول ہے کہ تیسرا جزو غالباً بہت کم معلومات رکھتا ہے" (Chapter 8, "Explained Variance Ratio")۔

کتنے اجزاء۔ اس پر منحصر ہے کہ کس لیے: "اگر آپ بصری پیشکش کے لیے ابعاد کم کر رہے ہیں تو آپ انہیں 2 یا 3 تک کم کرنا چاہیں گے" – بصورتِ دیگر، Géron تجویز کرتے ہیں کہ ابعاد کی وہ تعداد چنی جائے "جو مل کر تغیر کا کافی بڑا حصہ بنائیں – مثلاً 95%"، یا ابعاد کی تعداد کے تفاعل کے طور پر مجموعی تغیر کا خاکہ بنایا جائے اور "کہنی (elbow) تلاش کی جائے، جہاں وضاحت شدہ تغیر تیزی سے بڑھنا بند کر دیتا ہے"؛ اور اگر PCA کسی نگرانی شدہ ماڈل کی تیاری کا مرحلہ ہے، تو "ابعاد کی تعداد کو کسی بھی دوسرے ہائپر پیرامیٹر کی طرح ٹیون کریں" – کراس ویلیڈیشن (cross-validation) کے ذریعے، بعد والے ماڈل کی کارکردگی کے مطابق (Chapter 8, "Choosing the Right Number of Dimensions")۔ اور ایک انتباہ جو ہر چیز سے پہلے آتا ہے: ابعاد میں کمی "واقعی معلومات کے ضیاع کا باعث بنتی ہے… اس لیے میری سفارش ہے کہ ابعاد میں کمی پر غور کرنے سے پہلے آپ سسٹم کو اصل ڈیٹا پر تربیت دینے کی کوشش کریں" (باب 8، آغاز)۔ دو تکنیکی تفصیلات جو سافٹ ویئر آپ کے لیے نہیں کرے گا: معیاری بنانا – مختلف اکائیوں والے متغیرات پر PCA دراصل سب سے بڑے تغیر والے متغیر پر PCA ہے؛ Gutierrez امریکہ کے جرائم کے ڈیٹا پر مثال دیتے ہیں، جس میں حملوں کا تغیر 6,945 اور قتل کا تغیر 19 ہے، اور ہدایت کرتے ہیں: "تاہم آپ کو scale=TRUE متعین کرنا چاہیے" (Gutierrez, 2015, Chapter 8, "Principal Component Analysis")؛ اور سمت – کسی جزو کی لوڈنگز کی علامت من مانی ہوتی ہے، اور "منفی" جزو کوئی نتیجہ نہیں۔ اور جو چیز یہاں سے تعلق نہیں رکھتی: t-SNE، جس کے بارے میں Géron کہتے ہیں کہ یہ "زیادہ تر بصری پیشکش کے لیے استعمال ہوتا ہے، خاص طور پر کثیر جہتی فضا میں نمونوں کے کلسٹرز دکھانے کے لیے"، اور اس کا بھائی UMAP – تصویر کشی کے اوزار، جن کی تصویر میں فاصلے حقیقی فاصلے نہیں (Chapter 8, "Other Dimensionality Reduction Techniques")۔ اور پہلے جزو کی لوڈنگز کا جدول، جو عاملی تجزیے کے جدول جیسا دکھتا ہے – سیکشن 3۔

3. PCA عاملی تجزیہ نہیں ہے – اور SPSS کیوں یہ گمان پیدا کرتا ہے کہ ہے

سماجی محقق کے لیے یہ اس صفحے کا اہم ترین سیکشن ہے۔ Hastie اور ان کے ساتھی دکھاتے ہیں کہ PCA کو مخفی متغیرات کے ماڈل کے طور پر پڑھا جا سکتا ہے – ہر مشاہدہ شدہ متغیر p غیر ہم بستہ متغیرات کا لکیری مجموعہ ہے – "لیکن یہ کچھ خاص تسلی بخش نہیں"، کیونکہ ہر عمودی گردش ایک مختلف تجزیہ دیتی ہے، "اور اس لیے مخصوص مخفی متغیرات کو منفرد بنیادی ماخذ کے طور پر شناخت کرنا ناممکن ہے"۔ "کلاسیکی عاملی تجزیے کا ماڈل، جو زیادہ تر سائیکومیٹرکس کے محققین نے تیار کیا، ان مسائل کو کسی حد تک کم کرتا ہے": q < p مخفی عوامل، لوڈنگز کا میٹرکس، اور غیر ہم بستہ "خلل" ε – "خیال یہ ہے کہ مخفی متغیرات مشاہدہ شدہ متغیرات کے درمیان تغیر کے مشترکہ ماخذ ہیں، اور ان کے درمیان ہم بستگی کے ڈھانچے کی وضاحت کرتے ہیں، جبکہ غیر ہم بستہ خلل ہر متغیر کے لیے منفرد ہیں اور باقی ماندہ تغیر کو سمیٹتے ہیں" (Hastie et al., 2009, pp. 558-559)۔ یہی پورا فرق ہے، اور Bishop اسے ایک جملے میں بیان کرتے ہیں: عاملی تجزیہ ایک احتمالی PCA ہے جس میں ہر متغیر کا پیمائشی شور مختلف ہوتا ہے – "ماڈل ڈیٹا کے مشاہدہ شدہ ہم تغیر (covariance) کے ڈھانچے کی وضاحت اس طرح کرتا ہے کہ ہر کوآرڈینیٹ سے وابستہ آزاد تغیر کو میٹرکس Ψ میں پیش کرتا ہے اور متغیرات کے درمیان ہم تغیر کو میٹرکس W میں سمیٹتا ہے"؛ W کے کالم "عاملی لوڈنگز" ہیں، اور Ψ کے وتر کے ارکان – "انفرادیتیں" (uniquenesses) (Bishop, 2006, pp. 583-584)۔ اور اس سے یہ نتیجہ نکلتا ہے: "عاملی تجزیہ متغیرات کے ہم بستگی کے ڈھانچے کی ماڈلنگ کرتا ہے نہ کہ ہم تغیر کے ڈھانچے کی۔ یہ عاملی تجزیے اور PCA کے درمیان ایک اہم امتیاز ہے" (Hastie et al., 2009, p. 560)۔ PCA آئٹمز کے تمام تغیر کی وضاحت کرتا ہے – وہی آئٹمز جنہیں محقق کرونباخ الفا میں جانچتا ہے – بشمول ہر آئٹم کی پیمائشی خطا؛ عاملی تجزیہ صرف اس کی وضاحت کرتا ہے جو آئٹمز میں مشترک ہے۔ سوالناموں پر گزارا کرنے والی برادری دوسری سمت سے اسی نتیجے پر پہنچی: "PCA عاملی تجزیے کا حقیقی طریقہ نہیں، اور شماریاتی نظریہ دانوں میں اس پر اختلاف ہے کہ اسے کب استعمال کیا جائے، اگر کیا بھی جائے"؛ "اجزاء کا تجزیہ محض ڈیٹا کم کرنے کا ایک طریقہ ہے"؛ "بنیادی اجزاء کا تجزیہ مشترکہ اور منفرد تغیر میں امتیاز نہیں کرتا" – اور اس کے باوجود "PCA بہت سے مقبول شماریاتی پیکجوں میں، جن میں SPSS اور SAS شامل ہیں، طے شدہ اخراجی طریقہ ہے" (Costello & Osborne, 2005, p. 2)۔ جو محققہ SPSS میں Analyze، Dimension Reduction، Factor پر کلک کرتی ہے اور کچھ نہیں چھیڑتی – اسے اجزاء ملتے ہیں، وہ انہیں عوامل کہتی ہے اور "عاملی تجزیہ" رپورٹ کرتی ہے۔ Modeler بھی: نوڈ کا نام PCA/Factor ہے، اور یہ "PCA کے مراحل پہلے سے متعین کر دیتا ہے… جو عمل کو آسان بناتا ہے لیکن ہمارے کنٹرول کی حد بھی کم کر دیتا ہے" (Truong, 2026, p. 442)۔ اور Pallant، جن کی کتاب وہ ذریعہ ہے جس سے اسرائیل میں زیادہ تر محققین نے SPSS سیکھا، یہ بات کھل کر کہتی ہیں: PCA میں "متغیرات کا تمام تغیر استعمال ہوتا ہے"، عاملی تجزیے میں "صرف مشترکہ تغیر کا تجزیہ کیا جاتا ہے"؛ "اگرچہ تکنیکی طور پر PCA اجزاء دیتا ہے، بہت سے مصنفین PCA اور FA دونوں کے آؤٹ پٹ کے لیے 'عامل' کی اصطلاح استعمال کرتے ہیں۔ اگر آپ مقالے پڑھتے ہوئے 'عامل' کی اصطلاح دیکھیں تو یہ فرض نہ کریں کہ مصنف نے FA استعمال کیا ہے" – اور وہ خود PCA کی مثال دینا چنتی ہیں، اور Tabachnick اور Fidell کا اصول نقل کرتی ہیں: "اگر آپ ایسے نظریاتی حل میں دلچسپی رکھتے ہیں جو منفرد تغیر اور خطا کے تغیر سے آلودہ نہ ہو… تو FA آپ کا انتخاب ہے۔ اگر اس کے برعکس آپ محض ڈیٹا سیٹ کا تجرباتی خلاصہ چاہتے ہیں، تو PCA بہتر انتخاب ہے" (Tabachnick & Fidell، 2013، ص 640، بحوالہ Pallant، 2020، باب 15، آغاز)۔ ایک جملے میں پورا اصول یہ ہے: کسی تصور (construct) کی پیمائش کرنے والا پیمانہ – FA؛ ریگریشن سے پہلے متغیرات میں کمی – PCA۔ اور Field مشترکیت (communality) کے ذریعے سمجھاتے ہیں کہ ایسا کیوں ہے: عوامل نکالنے کے لیے یہ جاننا ضروری ہے کہ تغیر کا کتنا حصہ مشترک ہے، اور یہ اخراج کے بعد ہی معلوم ہوتا ہے؛ "دو حل ہیں۔ پہلا یہ فرض کرنا ہے کہ تمام تغیر مشترک ہے، یعنی یہ فرض کر کے کہ ہر متغیر کی مشترکیت 1 ہے… یہ طریقہ PCA ہے" – اس لیے "PCA فرض کرتا ہے کہ کوئی پیمائشی خطا نہیں"، اور "یہ حقیقت کہ PCA فرض کرتا ہے کہ کوئی پیمائشی خطا نہیں، عاملی تجزیہ استعمال کرنے والے بہت سے لوگوں کو پریشان کرتی ہے" (Field, 2024, Sections 18.4.2, 18.3.2)۔ وہ Cliff کا قول نقل کرتے ہیں: عاملی تجزیے کے حامی "اصرار کرتے ہیں کہ اجزاء کا تجزیہ بہترین صورت میں مشترکہ عاملی تجزیہ ہے جس میں کچھ خطا شامل کر دی گئی ہو، اور بدترین صورت میں ایک ناقابلِ شناخت ملغوبہ جس سے کچھ بھی طے نہیں کیا جا سکتا" – اور اعتراف کرتے ہیں: "کچھ لوگوں کا دعویٰ ہے کہ جب PCA استعمال کیا جائے تو اسے عاملی تجزیہ نہیں کہنا چاہیے (اوہ!)" (سیکشن 18.4.3)۔ اور دوسرا پہلو: Guadagnoli اور Velicer کے جائزے کے مطابق "PCA کے حل عاملی تجزیے کی تکنیکوں کے حل سے بہت کم مختلف ہوتے ہیں" – 30 یا زیادہ متغیرات اور .7 سے زیادہ مشترکیت کے ساتھ "مختلف حل کا امکان نہیں"، لیکن "20 سے کم متغیرات اور کچھ کم مشترکیتوں (.4 سے کم) کے ساتھ فرق پیدا ہو سکتے ہیں" (ایضاً) – اور یہ بالکل کمزور آئٹمز والے مختصر سوالنامے کی صورت ہے۔ SPSS کی دونوں کتابیں عملاً دونوں انتخابات کی مثال دیتی ہیں: Pallant – PCA؛ Field، چھٹے ایڈیشن میں – principal axis factoring (سیکشن 18.6.1)۔ اور Modeler کی درسی کتاب میں وہی امتیاز، Backhaus کے الفاظ میں: عاملی تجزیے کے عوامل کی "تشریح 'مشترکہ تغیر کی وجہ' کے طور پر کی جا سکتی ہے"، جبکہ PCA کے اجزاء کو "'مشترکہ تغیر کی عمومی وضاحت [وجہ نہیں!]' کے طور پر بیان کیا جا سکتا ہے" – اور "PCA کا استعمال PFA سے کہیں زیادہ ہوتا ہے" (Wendler & Gröttrup, 2021, pp. 549, 552)۔

دونوں باتیں۔ دوسرا پہلو Hastie اور ان کے ساتھیوں کے اسی صفحے سے آتا ہے: چونکہ عوامل کے ماڈل میں بھی لوڈنگز کی ہر گردش ایک مساوی حل دیتی ہے، "عاملی تجزیے کے استعمال میں کچھ موضوعیت باقی رہتی ہے، کیونکہ صارف عوامل کے ایسے گھمائے ہوئے نسخے تلاش کر سکتا ہے جن کی تشریح آسان ہو۔ اس پہلو نے بہت سے تجزیہ کاروں کو عاملی تجزیے کے بارے میں شکی بنا دیا ہے، اور شاید یہ عصری شماریات میں اس کی عدم مقبولیت کی وضاحت کرتا ہے" (ص 560)۔ سائیکومیٹرکس جواب دیتی ہے کہ گردش (rotation) ہی تو اصل آلہ ہے: مخفی عوامل ریاضی سے نہیں بلکہ تشریح سے متعین ہوتے ہیں، اور گردش ایسا "سادہ ڈھانچہ" تلاش کرتی ہے جسے پڑھا جا سکے۔ دونوں قراءتیں درست ہیں، اور عملی نتیجہ ایک ہے: رپورٹ کریں کہ کون سا ماڈل (اجزاء یا عوامل)، کون سی گردش، اور کیوں۔ اور خود گردش کے بارے میں: اگر عوامل ہم بستہ ہوں – اور نفسیاتی تصورات تقریباً ہمیشہ ہم بستہ ہوتے ہیں – تو ترچھی گردش (oblique rotation) (oblimin، promax) "نظریاتی طور پر زیادہ درست حل دینی چاہیے، اور شاید زیادہ قابلِ تکرار بھی"؛ اور "اگر عوامل واقعی غیر ہم بستہ ہوں تو عمودی اور ترچھی گردش تقریباً یکساں نتائج دیتی ہیں" (Costello & Osborne, 2005, p. 4) – یعنی ترچھی گردش میں کھونے کو کچھ نہیں؛ اور Pallant: "میں ہمیشہ سفارش کرتی ہوں کہ عوامل کے درمیان ہم بستگی کی حد جانچنے کے لیے ترچھی گردش سے آغاز کریں" (Pallant, 2020, Chapter 15, "Step 3: Rotate and interpret the factors")۔ Varimax بطور طے شدہ ایک مفروضہ ہے، انتخاب نہیں۔ اور سب سے پہلے – آیا نکالنے کو کچھ ہے بھی: Pallant میٹرکس میں .3 یا زیادہ کی ہم بستگیوں، KMO اشاریے کی کم از کم .6 قدر اور معنی خیز Bartlett ٹیسٹ کا تقاضا کرتی ہیں (ibid., "Step 1") – تینوں SPSS کے آؤٹ پٹ میں ہیں، اور تینوں صرف یہ جانچتے ہیں کہ کوئی مشترکہ ڈھانچہ موجود ہے، یہ نہیں کہ کون سا۔

کتنے عوامل – طے شدہ اصول بدترین ہے۔ SPSS اور Modeler ہر وہ عامل رکھ لیتے ہیں جس کی آئگن ویلیو 1 سے زیادہ ہو (Kaiser)۔ "ادب میں وسیع اتفاق ہے کہ یہ عوامل کی تعداد چننے کے سب سے کم درست طریقوں میں سے ہے"؛ Costello اور Osborne کی سمیولیشنز میں "اس معیار کے مطابق ہمارے 36% نمونوں نے ضرورت سے زیادہ عوامل رکھے" (ص 2-3)۔ Truong نے یہ براہِ راست تجربہ کیا: Modeler نے ان کے لیے پانچ اجزاء نکالے "اس شرط کی بنیاد پر کہ آئگن ویلیوز 1 سے زیادہ ہوں"، اور وہ پوچھتے ہیں "کیا یہ بہترین فیصلہ ہے؟"، دریافت کرتے ہیں کہ "SPSS Modeler، PCA/Factor نوڈ کے آؤٹ پٹ میں scree چارٹ فراہم نہیں کرتا"، ایکسل میں ایک بناتے ہیں – اور اعتراف کرتے ہیں کہ "اس چارٹ میں کہنی کی درست شناخت کچھ مشکل ہے" (Truong, 2026, pp. 445-446)۔ یہی scree چارٹ کی خامی ہے: یہ آنکھ کا فیصلہ ہے۔ یہ صفحہ جس اصول کی سفارش کرتا ہے وہ متوازی تجزیہ ہے (parallel analysis; Horn, 1965): اسی حجم کا تصادفی ڈیٹا سمیولیٹ کیا جاتا ہے – وہی N، آئٹمز کی وہی تعداد – اس کی آئگن ویلیوز کا حساب لگایا جاتا ہے، اور صرف وہ عوامل رکھے جاتے ہیں جن کی آئگن ویلیو اس سے بڑی ہو جو شور دیتا ہے۔ یہ بالکل ہم شیرہ صفحات کے جانچ کے سیٹ والی منطق ہے، اس واحد سوال پر لاگو جو ممکن ہے: یہ نہیں کہ "کیا عامل درست ہے" بلکہ یہ کہ "کیا وہ شور سے زیادہ ہے"۔ Pallant ادب کا خلاصہ کرتی ہیں: متوازی تجزیہ "سب سے زیادہ درست ثابت ہوا ہے، جبکہ Kaiser کا معیار اور Catell کا scree ٹیسٹ دونوں اجزاء کی تعداد کا زیادہ اندازہ لگانے کا رجحان رکھتے ہیں"، اور "اگر آپ… نفسیات یا تعلیم میں شائع کرنے کا ارادہ رکھتے ہیں، تو آپ کو متوازی تجزیے کے نتائج استعمال اور رپورٹ کرنے ہوں گے" (Pallant, 2020, Chapter 15, "Parallel analysis")۔ Modeler میں صورتِ حال بدتر ہے: Wendler اور Gröttrup میٹرکس کی موزونیت کے اشاریے گنواتے ہیں – Bartlett، معکوس میٹرکس، اینٹی امیج، KMO – اور خلاصہ کرتے ہیں: "بدقسمتی سے SPSS Modeler یہ اشاریہ پیش نہیں کرتا اور نہ ہی اوپر بیان کردہ دیگر شماریوں یا اشاریوں میں سے کوئی"؛ اس کے برعکس Kaiser کا اصول "SPSS Modeler میں نافذ اور فعال ہے"، اور scree چارٹ – "SPSS Modeler، بدقسمتی سے، نہیں" (Wendler & Gröttrup, 2021, pp. 551-552)۔ Pallant کی مثال ہی ثبوت ہے: 435 جواب دہندگان پر PANAS کے 20 آئٹمز – Kaiser چار اجزاء رکھتا ہے (آئگن ویلیوز 6.25، 3.40، 1.22، 1.16)، scree دوسرے کے بعد ٹوٹ دکھاتا ہے، اور متوازی تجزیہ، 100 تصادفی ڈیٹا سیٹس سے 1.40، 1.33، 1.27 اور 1.22 کی معیاری قدروں کے ساتھ، دو رکھتا ہے – بالکل وہ دو عوامل جن پر پیمانہ بنایا گیا تھا (ایضاً، "Interpretation of Output from Factor Analysis: Part 1"، مراحل 2-4)۔ SPSS کا طے شدہ اصول دو کی غلطی کر گیا۔ Field مزید بتاتے ہیں کہ Kaiser پھر بھی کب درست ہوتا ہے: "جب متغیرات کی تعداد 30 سے کم ہو اور حاصل شدہ مشترکیتیں (اخراج کے بعد) سب .7 سے بڑی ہوں؛ یہ اس وقت بھی درست ہو سکتا ہے جب نمونے کا حجم 250 سے زیادہ ہو اور اوسط مشترکیت .6 یا زیادہ ہو" (Field, 2024, Section 18.4.5) – اور Auerswald اور Moshagen (2019) کی سمیولیشن کا خلاصہ کرتے ہیں: "اگر آپ کے عوامل بہت زیادہ ہم بستہ ہیں تو تمام طریقے خراب ہوں گے"؛ "آٹھ یا زیادہ آئٹمز اور 200+ کے نمونے کے ساتھ، متوازی تجزیہ… کافی معقول کام کرے گا"؛ اور واحد صورت جس میں Kaiser بہتر ہے وہ ہے "جب آپ کے پاس آئٹمز کی تھوڑی تعداد (مثلاً چار) اور ہم بستہ عوامل ہوں، اور تب بھی صرف بڑے نمونوں میں اور PCA کے طریقے سے" (ایضاً)۔ R میں متوازی تجزیہ ایک لائن ہے (fa.parallel, Section 8)؛ SPSS کے مینوز میں یہ نہیں ہے، اور دونوں کتابیں مختلف طریقوں سے اس کا حل نکالتی ہیں – Pallant ایک الگ چھوٹے پروگرام کی طرف رجوع کراتی ہیں، Watkins کا Monte Carlo PCA for Parallel Analysis، کتاب کی ویب سائٹ سے، جو تصادفی آئگن ویلیوز چھاپتا ہے اور موازنہ ہاتھ سے کیا جاتا ہے (ایضاً، مرحلہ 4)؛ Field، SPSS سنٹیکس کے اندر سے R کا psych چلاتے ہیں (BEGIN PROGRAM R، کتاب کی ویب سائٹ پر تیار فائل؛ Field، 2024، SPSS Tip 18.1) – جو دراصل سیکشن 8 کی R لائن ہی ہے۔ اور آخر میں، N: عاملی تجزیہ "ایک 'بڑے نمونے' کا طریقہ ہے"؛ Costello اور Osborne کی سمیولیشن میں، فی آئٹم دو جواب دہندگان کے تناسب پر صرف 10% نمونوں نے حقیقی ڈھانچہ دہرایا، 20:1 کے تناسب پر – 70% (ص 4-7)۔ Pallant، Tabachnick اور Fidell کی پیروی میں، 150 جواب دہندگان اور 5:1 کے تناسب کو کافی سمجھتی ہیں، اور Nunnally (1978) کا 10:1 بھی نقل کرتی ہیں (Pallant, 2020, Chapter 15, "Step 1")۔ اور Field خود تناسب پر سوال اٹھاتے ہیں: فی آئٹم 10-15 کے بارے میں "میں نے یہ اصول بہت سے مواقع پر سنا ہے، لیکن اس کی تجرباتی بنیاد واضح نہیں"؛ "اہم چیز نمونے کا مجموعی حجم، عاملی لوڈنگز اور مشترکیت ہے" – Comrey اور Lee 100 کو خراب نمونہ، 300 کو اچھا اور 1,000 کو بہترین درجہ دیتے ہیں؛ .6 سے زیادہ چار یا زیادہ لوڈنگز والا عامل "نمونے کے حجم سے قطع نظر قابلِ اعتبار ہے"؛ اور جب مشترکیتیں کم ہوں (.5 سے بہت کم) اور عوامل زیادہ ہوں، تو 500 سے زیادہ؛ "اس کام سے جو بات واضح ہے وہ یہ کہ 300 یا اس سے زیادہ کا نمونہ غالباً ایک مستحکم عاملی حل فراہم کرے گا" (Field, 2024, Section 18.5.3)۔ مجموعی قراءت: تناسب انگوٹھے کے اصول ہیں، جو عدد تمام ماخذوں میں دہرایا جاتا ہے وہ 300 ہے – اور جو چیز اس سے نیچے جانے کی اجازت دیتی ہے وہ مضبوط آئٹمز ہیں، نہ کہ کم جواب دہندگان۔ 90 جواب دہندگان پر 30 آئٹمز کا سوالنامہ عوامل دے گا؛ وہ اگلے نمونے میں نہیں دہرائے جائیں گے۔

4. کلسٹرز: طریقے اور ہر طریقہ کیا فرض کرتا ہے

"کلسٹر تجزیہ، جسے ڈیٹا کی تقسیم بندی بھی کہا جاتا ہے… کا تعلق اشیاء کے ایک مجموعے کو ذیلی گروہوں یا 'کلسٹرز' میں گروہ بند کرنے یا تقسیم کرنے سے ہے، اس طرح کہ ہر کلسٹر کے اندر والی اشیاء ایک دوسرے سے اس سے زیادہ متعلق ہوں جتنا مختلف کلسٹرز میں تفویض کی گئی اشیاء" (Hastie et al., 2009, p. 501)۔ Géron: "یہ مشابہ نمونوں کی شناخت اور انہیں کلسٹرز میں تفویض کرنے کا کام ہے"؛ "بالکل درجہ بندی کی طرح، ہر نمونہ ایک گروہ میں تفویض کیا جاتا ہے۔ لیکن درجہ بندی کے برعکس، کلسٹرنگ ایک غیر نگرانی شدہ کام ہے" (Géron, 2022, Chapter 9, "Clustering Algorithms")۔ اور وہ لفظ جس پر سب کچھ منحصر ہے "مشابہ" ہے: Gutierrez چار سوال گنواتے ہیں – "قریب" کی تعریف کیسے کی جائے، گروہ بندی کیسے کی جائے، پیش کیسے کیا جائے، اور "گروہ بندیوں کی تشریح کیسے کی جائے… جن پر یقین کرنا شاید مشکل ہو یا جو محض شور کی وجہ سے بنی ہوں" – اور فیصلہ دیتے ہیں کہ "قربت کی تعریف کلسٹرنگ الگورتھم کا اہم ترین مرحلہ ہے" (Gutierrez, 2015, Chapter 8, "Clustering")۔ فاصلہ – اقلیدسی (Euclidean)، مین ہیٹن، متون کے لیے کوسائن، فہرستوں کے لیے Jaccard – محقق کا فیصلہ ہے، الگورتھم کا نہیں، اور Truong اپنے تجزیے کے آٹھ مراحل میں سے تیسرا مرحلہ اسی کے لیے وقف کرتے ہیں (Truong, 2026, p. 462)۔ اور اس سے پہلے، PCA کی طرح، معیاری بنانا: "k-مینز (k-means) چلانے سے پہلے ان پٹ خصوصیات کو معیاری بنانا اہم ہے… ورنہ کلسٹرز بہت کھنچے ہوئے ہو سکتے ہیں اور k-مینز خراب کارکردگی دکھائے گا" (Géron, 2022, Chapter 9, "Limits of k-means")۔

k-مینز (k-means) نقطۂ آغاز ہے، اور Géron اس خیال کو دو تشاکلات سے سمجھاتے ہیں: اگر ہمیں کلسٹرز کے مراکز معلوم ہوتے تو ہم ہر مشاہدے کو اس کے قریب ترین مرکز میں تفویض کر دیتے؛ اگر ہمیں تفویضات معلوم ہوتیں تو ہم ہر مرکز کو اوسط کے طور پر نکال لیتے؛ ہمارے پاس نہ یہ ہے نہ وہ – "مراکز کو تصادفی طور پر رکھ کر شروع کیا جاتا ہے… پھر نمونوں کو لیبل کیا جاتا ہے، مراکز کو اپ ڈیٹ کیا جاتا ہے، لیبل کیا جاتا ہے، اپ ڈیٹ کیا جاتا ہے، اور یوں ہی جب تک مراکز حرکت کرنا بند نہ کر دیں" (Chapter 9, "The k-means algorithm")۔ Bishop دکھاتے ہیں کہ یہ دونوں مراحل EM الگورتھم کے E اور M مراحل ہیں (Bishop, 2006, pp. 424-425)۔ دو جال: الگورتھم کے "یکجا ہونے کی ضمانت ہے، لیکن ضروری نہیں کہ درست حل کی طرف" – یہ آغاز پر منحصر ہے، اس لیے اسے مختلف آغازوں سے کئی بار چلایا جاتا ہے اور سب سے کم انرشیا (inertia) والا حل رکھا جاتا ہے، یعنی مراکز سے فاصلوں کے مربعوں کا مجموعہ (Géron، باب 9، "Centroid initialization methods"؛ R میں – nstart، Gutierrez، باب 8، "K-Means Clustering"؛ اور k-means++ آغاز مراکز کو پہلے ہی بکھیر دیتا ہے)؛ اور "جب کلسٹرز کے حجم، کثافتیں یا غیر کروی شکلیں مختلف ہوں تو k-مینز اچھی کارکردگی نہیں دکھاتا" – Géron کی مثال میں یہ ایک بیضوی کلسٹر کا چوتھائی حصہ کاٹ کر پڑوسی سے جوڑ دیتا ہے، "اگرچہ اس کی انرشیا کم ہے" (Chapter 9, "Limits of k-means")۔ اور سب سے خاموش مفروضہ: ہر مشاہدہ ایک ہی کلسٹر سے تعلق رکھتا ہے۔ Bishop: "ایسے ڈیٹا نقاط ہو سکتے ہیں جو کلسٹر مراکز کے تقریباً درمیان میں ہوں۔ ایسی صورت میں یہ واضح نہیں کہ قریب ترین کلسٹر میں سخت تفویض سب سے مناسب ہے" (ص 428) – اور متبادل گاؤسی آمیزہ (Gaussian mixture) ہے: ہر کلسٹر اپنی کثیر جہتی نارمل تقسیم ہے، "مختلف بیضوی شکل، حجم، کثافت اور سمت کے ساتھ"، اور ماڈل ہر مشاہدے کو ہر کلسٹر سے تعلق کا احتمال دیتا ہے – "نرم تفویض، پوسٹیریئر احتمالات کی بنیاد پر" (Bishop, 2006, p. 443; Géron, 2022, Chapter 9, "Gaussian Mixtures")۔ k-مینز اس ماڈل کی حد ہے جب تمام کلسٹرز کا تغیر یکساں ہو اور صفر کی طرف مائل ہو (Bishop, p. 443)۔ محقق کے لیے: اگر کچھ جواب دہندگان اقسام کے "درمیان" ہوں – اور ہمیشہ ہوتے ہیں – تو تعلق کا احتمال ہی نتیجہ ہے، لیبل نہیں۔

درجہ وار کلسٹرز (hierarchical clustering) کو پہلے سے k کی ضرورت نہیں: "اس کے بجائے، ان کے لیے صارف کو مشاہدات کے (غیر متداخل) گروہوں کے درمیان عدم مشابہت کا پیمانہ متعین کرنا ہوتا ہے" – پھر، تجمیعی (agglomerative) طریقے میں، ہر مشاہدے کو ایک کلسٹر مان کر آغاز کیا جاتا ہے اور ہر مرحلے پر دو قریب ترین کو ملا دیا جاتا ہے، یہاں تک کہ ایک ہی کلسٹر رہ جائے؛ نتیجہ ڈینڈروگرام (dendrogram) ہے، ایک درخت جس کے ہر نوڈ کی اونچائی اس کے دو بچوں کے درمیان عدم مشابہت ہے، اور اسے افقی طور پر کاٹنے سے ایک تقسیم ملتی ہے (Hastie et al., 2009, pp. 520-521)۔ گروہوں کے درمیان "قریب" کیا ہے – یعنی ربط (linkage): واحد، مکمل، اوسط، یا Ward (کلسٹرز کے اندر تغیر کو کم سے کم کرنا) – یہ درخت کو بدل دیتا ہے۔ اور Hastie اور ان کے ساتھیوں کا انتباہ، جسے پورا نقل کرنا مناسب ہے: "ایسے ڈینڈروگرام کو اکثر الگورتھم کے نتائج کی وضاحت کے بجائے خود ڈیٹا کا گرافیکی خلاصہ سمجھا جاتا ہے۔ تاہم ایسی تشریحات کو احتیاط سے لینا چاہیے۔ اول، مختلف درجہ وار طریقے…، نیز ڈیٹا میں چھوٹی تبدیلیاں، کافی مختلف ڈینڈروگرامز کا باعث بن سکتی ہیں۔ نیز، ایسا خلاصہ صرف اسی حد تک درست ہوگا جس حد تک مشاہدات کے درمیان جوڑی وار عدم مشابہتیں واقعی اس درجہ وار ڈھانچے کی پابندی کرتی ہوں جو الگورتھم پیدا کرتا ہے۔ درجہ وار طریقے درجہ وار ڈھانچہ مسلط کرتے ہیں، چاہے ایسا ڈھانچہ ڈیٹا میں واقعی موجود ہو یا نہ ہو" (ص 521-522)۔ DBSCAN کلسٹرز کی تعریف "زیادہ کثافت کے مسلسل علاقوں کے طور پر" کرتا ہے: جس مشاہدے کے رداس ε میں کافی پڑوسی ہوں وہ "مرکزی" ہے، مرکزی مشاہدات کے پڑوسی کلسٹر میں شامل ہو جاتے ہیں، اور جو مرکزی نہ ہو اور اس کے پڑوس میں کوئی مرکزی نہ ہو وہ "آؤٹ لائر سمجھا جاتا ہے" – اور یہ "اچھا کام کرتا ہے اگر تمام کلسٹرز کم کثافت کے علاقوں کے ذریعے اچھی طرح الگ ہوں" (Géron, 2022, Chapter 9, "DBSCAN")؛ کوئی k نہیں، ε ہے، اور آؤٹ لائرز ضمنی پیداوار کے طور پر ملتے ہیں۔ اور SPSS اور Modeler کا TwoStep: ڈیٹا پر ایک گزر جو اسے ذیلی کلسٹرز میں سمیٹ دیتا ہے، پھر ان پر درجہ وار کلسٹرنگ – بڑے ڈیٹا کے لیے بنایا گیا، اور "شماریاتی معیارات کی بنیاد پر کلسٹرز کی تعداد کے خودکار تعین" کے ساتھ (Truong, 2026, pp. 470, 473) – جو BIC ہے، یعنی سیکشن 5۔

5. کتنے کلسٹرز – اور آیا کوئی ہیں بھی

Hastie اور ان کے ساتھی دو صورتوں میں امتیاز کرتے ہیں۔ جب مقصد تقسیم بندی ہو تو "k عموماً مسئلے کے حصے کے طور پر متعین ہوتا ہے" – k سیلز پرسنز والی کمپنی گاہکوں کو k میں تقسیم کرے گی؛ "تاہم اکثر کلسٹر تجزیہ ایک توضیحی شماریے کے طور پر یہ معلوم کرنے کے لیے استعمال ہوتا ہے کہ مشاہدات… کس حد تک الگ الگ فطری گروہوں میں آتے ہیں۔ یہاں گروہوں کی تعداد k* معلوم نہیں" اور اس کا تخمینہ ڈیٹا سے لگانا ہوتا ہے (Hastie et al., 2009, p. 518)۔ اور مسئلہ: کلسٹرز کے اندر عدم مشابہت، W_k، "عموماً k بڑھنے کے ساتھ گھٹتی ہے۔ ایسا اس وقت بھی ہوگا جب معیار کا اندازہ ایک آزاد جانچ کے سیٹ پر لگایا جائے، کیونکہ کلسٹر مراکز کی بڑی تعداد خصوصیات کی فضا کو گنجان طور پر بھر دیتی ہے اور اس لیے تمام ڈیٹا نقاط کے قریب ہوتی ہے۔ لہٰذا کراس ویلیڈیشن کی تکنیکیں، جو نگرانی شدہ لرننگ میں ماڈل کے انتخاب کے لیے اتنی مفید ہیں، اس تناظر میں قابلِ استعمال نہیں" (ص 519)۔ یہی وجہ ہے کہ یہاں "کارکردگی کے پیمانے" نہیں ہیں: جو کچھ باقی رہتا ہے وہ ہیورسٹکس ہیں، اور یہ صفحہ تین کی سفارش کرتا ہے، صداقت کی بڑھتی ترتیب میں۔

کہنی (elbow)۔ Géron: k=3 کے لیے انرشیا 653 ہے، k=5 کے لیے – 212، k=8 کے لیے – 119؛ "انرشیا k چننے کے لیے کارکردگی کا اچھا پیمانہ نہیں، کیونکہ k بڑھانے کے ساتھ یہ گھٹتی رہتی ہے"۔ اسے k کے تفاعل کے طور پر کھینچا جاتا ہے اور "ایک موڑ کا نقطہ جسے کہنی کہتے ہیں" تلاش کیا جاتا ہے – "یہ تکنیک… کافی موٹی ہے" (Géron, 2022, Chapter 9, "Finding the optimal number of clusters")؛ Hastie اور ان کے ساتھیوں کے ہاں یہ W_k میں "خم" (kink) ہے، "اور کلسٹرنگ کے طریقۂ کار کے دیگر پہلوؤں کی طرح، یہ طریقہ کچھ ہیورسٹک ہے" (ص 519)۔ سلہوٹ (silhouette; Rousseeuw, 1987): ہر مشاہدے کے لیے، (b − a) / max(a, b)، جہاں a اس کے کلسٹر کے ارکان تک اوسط فاصلہ ہے اور b اگلے قریب ترین کلسٹر تک اوسط فاصلہ؛ "+1 کے قریب عددی سر کا مطلب ہے کہ نمونہ اپنے کلسٹر کے اندر اچھی طرح موجود ہے اور دوسروں سے دور ہے… 0 کے قریب – کہ یہ حد کے قریب ہے… اور −1 کے قریب – کہ شاید اسے غلط کلسٹر میں تفویض کیا گیا ہے"؛ سلہوٹ اسکور تمام مشاہدات پر اوسط ہے، اور سلہوٹ چارٹ – ہر کلسٹر کے لیے "چاقو کی شکل" – ایسے کلسٹرز بھی دکھاتا ہے جن کے زیادہ تر ارکان اوسط سے نیچے ہوں (باب 9، ایضاً)۔ Géron کی مثال میں سلہوٹ k=4 کی تصدیق کرتا ہے لیکن دکھاتا ہے کہ k=5 "بھی کافی اچھا ہے، اور 6 یا 7 سے کہیں بہتر۔ یہ انرشیا کے موازنے میں نظر نہ آتا" – اور وہ 5 چنتے ہیں، ملتے جلتے حجم کے کلسٹرز کے لیے: سلہوٹ مدد کرتا ہے، فیصلہ باقی رہتا ہے۔ گیپ شماریہ (gap statistic; Tibshirani, Walther & Hastie, 2001) تینوں میں واحد ہے جو "اور آیا کوئی ہیں بھی" کا بھی جواب دیتا ہے: یہ "منحنی log W_k کا موازنہ اس منحنی سے کرتا ہے جو ڈیٹا پر مشتمل مستطیل پر یکساں طور پر پھیلے ہوئے ڈیٹا سے حاصل ہوتا ہے"، اور وہ k چنتا ہے جہاں دونوں کے درمیان فرق سب سے بڑا ہو؛ "درحقیقت یہ 'خم' کو تلاش کرنے کا ایک خودکار طریقہ ہے… یہ اس وقت بھی معقول کام کرتا ہے جب ڈیٹا ایک ہی کلسٹر میں آئے، اور ایسی صورت میں بہترین کلسٹرز کی تعداد کا تخمینہ ایک لگانے کا رجحان رکھے گا۔ یہ وہ منظرنامہ ہے جس میں زیادہ تر مسابقتی طریقے ناکام ہو جاتے ہیں" (Hastie et al., 2009, p. 519)۔ گاؤسی آمیزوں (Gaussian mixtures) کے لیے، جن میں انرشیا اور سلہوٹ "قابلِ اعتبار نہیں جب کلسٹرز کروی نہ ہوں یا مختلف حجم کے ہوں"، Géron BIC اور AIC کی طرف جاتے ہیں – معلوماتی معیارات جو پیرامیٹرز پر جرمانہ عائد کرتے ہیں (Chapter 9, "Selecting the Number of Clusters") – اور یہی TwoStep "خودکار طور پر" کے پیچھے کرتا ہے۔

اور کیلکولیٹر میں: کلسٹر تجزیہ کا صفحہ مقداری متغیرات پر دو مرحلہ طریقہ چلاتا ہے – Ward، اور اس کے بعد k-مینز جو Ward کے کلسٹر مراکز سے شروع ہوتا ہے – اور ہر k کے لیے اس سیکشن کے تینوں معیارات چھاپتا ہے: W_k (کہنی)، سلہوٹ کا اوسط اور گیپ شماریہ (clusGap کی طرح، R کے رینڈم جنریٹر کے ساتھ)۔ وہاں سے – ڈینڈروگرام، کلسٹرز کا پروفائل، سلہوٹ چارٹ اور سیکشن 6 کے مطابق توثیق کے لیے کلسٹر کالم والی فائل۔ اور ایک کلک پر – دوبارہ نمونہ گیری (resampling) میں استحکام: کیا تقسیم، اور اس کا ہر کلسٹر، bootstrap نمونوں میں دہرایا جاتا ہے – بیرونی پیمانے کے بغیر وہ توثیق جو سیکشن 6 میں ہے۔

6. کلسٹر بطور مفروضہ: اسے پانے کے بعد کیا کیا جائے

وہ اصول جس کا کوئی متبادل نہیں: الگورتھم ہمیشہ کلسٹرز لوٹاتا ہے۔ بالکل یکساں، بغیر کسی ڈھانچے کے دو متغیرات پر k-مینز معقول حجم کے اور غیر شرمناک سلہوٹ کے ساتھ تین کلسٹرز لوٹائے گا – سیکشن 8 یہ اعداد میں دکھاتا ہے۔ Truong اس طریقے کی خامیوں میں آغاز، آؤٹ لائرز اور ابعاد کے تئیں حساسیت، اور تشریح کو گنواتے ہیں: "خود کلسٹرز واضح لیبلز یا وضاحتوں کے بغیر ہو سکتے ہیں" (Truong, 2026, p. 462) – اور ان کے آخری دو مراحل خاکہ سازی (profiling: ہر کلسٹر کے اوسط اور تعددات) اور توثیق ہیں، "یہ یقینی بنانا کہ کلسٹرنگ کے نتائج بامعنی، قابلِ اعتبار اور ڈیٹا کے لیے موزوں ہیں" (ص 462)۔ جس چیز کا کوئی پیمانہ نہ ہو اس کی توثیق کیسے کی جائے؟ تین طریقوں سے، کمزور سے مضبوط تک، اور تینوں ایسے ڈیٹا پر جس سے کلسٹر نہیں بنایا گیا۔

استحکام۔ جو کلسٹر ڈیٹا میں موجود ہو وہ دہرایا جائے گا: کسی دوسرے الگورتھم میں (k-مینز بمقابلہ Ward بمقابلہ گاؤسی آمیزہ – دونوں تقسیموں کے درمیان ایڈجسٹڈ رینڈ انڈیکس، ARI)، نمونے کے دوسرے نصف میں (ایک نصف کو کلسٹر کیا جاتا ہے، دوسرے نصف کو پائے گئے مراکز میں تفویض کیا جاتا ہے، اور اس کی آزاد تقسیم سے موازنہ کیا جاتا ہے)، اور کسی دوسرے آغاز میں۔ جو کلسٹر ربط بدلنے یا دس جواب دہندگان نکالنے سے بدل جائے وہ الگورتھم کی پیداوار ہے، آبادی کی نہیں – یہ ڈینڈروگرام کے بارے میں Hastie اور ان کے ساتھیوں کا انتباہ ہے (سیکشن 4)، اور یہ ہر طریقے پر لاگو ہوتا ہے۔ بیرونی متغیرات۔ اگر کلسٹرز حقیقی اقسام ہیں تو وہ ایسے متغیر میں بھی مختلف ہوں گے جس نے ان کی تشکیل میں حصہ نہیں لیا – بعد میں ناپا گیا کوئی نتیجہ، باہر رکھا گیا کوئی پس منظر متغیر۔ یہ فرق وہ واحد ثبوت ہے جو سماجی تحقیق کے پاس اس بات کا ہے کہ کلسٹر "کچھ کہتا ہے"، اور اسے معمول کے آلات سے جانچا جاتا ہے (کائی اسکوائر، ANOVA) – ایک شرط پر: متغیر واقعی باہر رہا ہو۔ جو پانچ ایسے متغیرات کے مطابق کلسٹر کرے جن میں سے ایک نتیجہ ہو، اور پھر رپورٹ کرے کہ کلسٹرز اس کی "پیش گوئی کرتے ہیں"، وہ دراصل تعریف کو رپورٹ کر رہا ہے۔ اور کلسٹر کیا نہیں ہے۔ یہ اس نمونے کا، اس فاصلے اور ان متغیرات کے ساتھ، ایک "توضیحی شماریہ" (Hastie et al., 2009, p. 518) ہے؛ محقق اسے جو نام دیتا ہے – "لاتعلق"، "شامل" – وہ تشریح ہے، بالکل عامل کے نام کی طرح۔ آلات کا نقشہ Drucker اور Albrezzi کی موضوعاتی ماڈلنگ پر تنقید پیش کرتا ہے، جسے یوں بیان کیا جاتا ہے گویا موضوعات "پہلے سے متن میں موجود ہیں اور پڑھنے اور تشریح کے عمل کے طور پر پیدا نہیں ہوتے" (ایضاً، سیکشن 1) – یہ تنقید لفظ بہ لفظ جواب دہندگان کے کلسٹرز پر لاگو ہوتی ہے۔ اور اگر کلسٹر آگے چل کر کسی نگرانی شدہ ماڈل میں متغیر کے طور پر استعمال ہو – بطور خصوصیت، یا ایسے لیبل کے طور پر جو لیبلنگ کا کام کم کرے: Géron دکھاتے ہیں کہ 50 تصادفی تصاویر کے بجائے 50 "نمائندہ تصاویر" کو، ہر کلسٹر کے مرکز کے لیے ایک، لیبل کرنا درستی کو 74.8% سے 84.9% تک بڑھا دیتا ہے (Chapter 9, "Using Clustering for Semi-Supervised Learning") – تو اس پر رساؤ کے تمام اصول لاگو ہوتے ہیں: کلسٹر کا حساب صرف تربیتی سیٹ پر، پائپ لائن کے ایک مرحلے کے طور پر، کیا جاتا ہے۔

7. اور مینو میں اسے کیا کہتے ہیں: SPSS Statistics اور SPSS Modeler

SPSS Statistics۔ Pallant کا طریقۂ کار، مرحلہ وار (Pallant, 2020, Chapter 15, "Procedure for Factor Analysis: Part 1"): Analyze، Dimension Reduction، Factor؛ آئٹمز کو Variables میں منتقل کریں؛ Descriptives بٹن میں Initial Solution، Coefficients اور KMO and Bartlett's test of sphericity پر نشان لگائیں؛ Extraction بٹن میں – "یقینی بنائیں کہ Principal components دکھایا گیا ہے، یا اخراج کی دوسری تکنیکوں میں سے کوئی چنیں (e.g., Maximum likelihood)" – یہ وہ ڈراپ ڈاؤن فہرست ہے جس سے سیکشن 3 متعلق ہے، اور عاملی تجزیے کے لیے اس میں Principal axis factoring یا Maximum likelihood چنا جاتا ہے؛ Scree plot پر نشان لگائیں، اور Extract والے حصے میں – Based on Eigenvalue (Kaiser کا اصول، طے شدہ) یا Fixed number of factors، جس میں وہ تعداد درج کی جاتی ہے جو متوازی تجزیے نے دی؛ Rotation بٹن میں – Direct Oblimin (طے شدہ None ہے)؛ Options بٹن میں – Sorted by size اور Suppress small coefficients، .3 کے ساتھ۔ اس سے جو سنٹیکس نکلتا ہے وہ FACTOR کمانڈ ہے جس میں /EXTRACTION PC، /CRITERIA MINEIGEN(1) اور /ROTATION OBLIMIN ہیں – وہ تین لائنیں جو بتاتی ہیں کہ کیا کیا گیا، اور اسی لیے یہی رپورٹ کے ساتھ منسلک کی جاتی ہیں۔ اور Pallant کے مطابق کیا رپورٹ کیا جاتا ہے: اخراج کا طریقہ، عوامل کی تعداد کے معیارات – "اور اس میں متوازی تجزیہ شامل ہونا چاہیے" – گردش کا طریقہ، کُل وضاحت شدہ تغیر، گردش سے پہلے اور بعد کی آئگن ویلیوز، لوڈنگز کا مکمل جدول "جو تمام قدریں دکھائے (صرف .3 سے اوپر والی نہیں)"، اور oblimin گردش میں – پیٹرن میٹرکس اور اسٹرکچر میٹرکس مکمل، عوامل کے درمیان ہم بستگیوں کے ساتھ (ibid., "Presenting the Results from Factor Analysis")۔ Field، انہی ونڈوز میں، Principal axis factoring چنتے ہیں، ہم بستگی کے میٹرکس کا تجزیہ کرتے ہیں ("ایک مفید طے شدہ انتخاب، کیونکہ یہ معیاری شدہ شکل لیتا ہے… اگر متغیرات مختلف پیمانوں پر ناپے گئے ہوں تو اس سے حل متاثر نہیں ہوگا")، اور سفارش کرتے ہیں کہ "1 سے بڑی آئگن ویلیوز کے ساتھ ابتدائی تجزیہ چلائیں، scree چارٹ چنیں اور موازنہ کریں… بہتر ہے کہ متوازی تجزیہ بھی چلائیں۔ اگر مختلف معیارات مختلف نتائج دیں تو مشترکیتوں کا جائزہ لیں اور خود فیصلہ کریں" (Field, 2024, Section 18.6.1, SPSS Tip 18.2)۔ Field کے مطابق رپورٹنگ: تمام آئٹمز کی گھمائی ہوئی لوڈنگز کا جدول "جس میں ایک معیار سے اوپر کی قدریں (میں ذاتی طور پر .40 چنوں گا) نمایاں ہوں"، ہر عامل کے لیے تغیر کا فیصد اور شاید آئگن ویلیو بھی، ڈیٹا کی موزونیت کے اشاریے – Kaiser اور Rice کے لیبلز کے ساتھ KMO (.90 "شاندار"، .80 "قابلِ تعریف"، .70 "درمیانہ"، .60 "معمولی"، .50 "ناقص"، اور .5 سے کم – مزید ڈیٹا جمع کریں یا متغیرات پر دوبارہ غور کریں؛ سیکشن 18.5.2) – "اور مثالی طور پر، ہم بستگی کا جدول OSF جیسے اوپن سائنس ذخیرے میں جمع کرائیں تاکہ کوئی تجزیے کو دہرا سکے" (سیکشن 18.8)؛ ان کی مثال: principal axis، oblimin، KMO .92، 20 تصادفی سیٹس کے 95ویں فیصدیے کے مقابل متوازی تجزیے میں چار عوامل۔ اور ان کا خلاصہ جملہ، جو اسکرین پر چسپاں ہونا چاہیے: "عاملی تجزیہ استعمال کرنے والے محقق کے لیے بہت زیادہ فیصلے باقی رہ جاتے ہیں، اس لیے محقق کے درجاتِ آزادی… کافی حد تک سامنے آتے ہیں: باخبر اور غیر جانبدارانہ فیصلے کرنے کی کوشش کریں، اور ان فیصلوں کی ترغیب کا مقابلہ کریں جو آپ کو وہ نتائج دیں جو آپ حاصل کرنا چاہتے ہیں" (سیکشن 18.7.6)۔ کلسٹرز – Analyze، Classify (یہاں Pallant کے بغیر، جو کلسٹرز سے بحث نہیں کرتیں؛ راستے – سافٹ ویئر کے بارے میں عمومی معلومات): Hierarchical Cluster (Plots کے تحت ڈینڈروگرام اور Method کے تحت فاصلے اور ربط کے انتخاب کے ساتھ)، K-Means Cluster (کلسٹرز کی تعداد لازمی؛ Iterate اور Classify)، اور TwoStep Cluster (BIC یا AIC کے مطابق خودکار تعداد)۔ معیاری بنانا – Descriptives، Save standardized values، یا درجہ وار ونڈو کے اندر Standardize – ایک الگ مرحلہ ہے، اور جو محققہ اسے بھول جائے اسے سب سے بڑی وسعت والے متغیر کے کلسٹرز ملتے ہیں۔ سلہوٹ اور گیپ شماریے کا حساب SPSS نہیں کرتا؛ TwoStep، Model Viewer کے آؤٹ پٹ میں "ہم آہنگی اور علیحدگی کا سلہوٹ پیمانہ" دکھاتا ہے، اور باقی کے لیے – سیکشن 8۔

SPSS Modeler۔ نوڈز میں وہی چیز (اسٹریم – مشین لرننگ کا صفحہ، سیکشن 10)، اور اس بار خود IBM کی دستاویزات سے۔ Modeling گروپ کا PCA/Factor نوڈ "دو ملتے جلتے لیکن الگ طریقے" پیش کرتا ہے، اور سیکشن 3 کو اپنے الفاظ میں بیان کرتا ہے: "PCA تمام تغیر پر توجہ دیتا ہے، بشمول مشترکہ اور منفرد تغیر… عاملی تجزیہ صرف مشترکہ تغیر پر توجہ دیتا ہے۔ مخصوص فیلڈز کا منفرد تغیر ماڈل کے تخمینے میں شامل نہیں کیا جاتا" (IBM Corporation, 2016a, p. 182)۔ Extraction Method کا طے شدہ انتخاب Principal Components ہے؛ متبادل – Unweighted / Generalized Least Squares، Maximum Likelihood، Principal Axis Factoring وغیرہ – Expert موڈ میں ہیں، اور وہیں Extract factors بھی: Eigenvalues over (Kaiser کا اصول) یا Maximum number، جس کا "طے شدہ پانچ عوامل/اجزاء ہے"؛ اور Rotation، جس کا طے شدہ "No rotation" ہے (ص 183)۔ یعنی SPSS Statistics کے وہی تین طے شدہ انتخابات، دوسرے ناموں سے – اور scree کے بغیر: Truong، جنہیں نوڈ نے پانچ اجزاء دیے، نے اسے ایکسل میں بنایا (Truong, 2026, pp. 445-446)۔ کلسٹرز کے لیے تین نوڈز: K-Means – "کلسٹرز کی وہ تعداد جو متعین کی جاتی ہے… طے شدہ 5 ہے"، اور ایک انتباہ جسے دو بار پڑھنا چاہیے: "حاصل ہونے والا ماڈل کسی حد تک تربیتی ڈیٹا کی ترتیب پر منحصر ہے۔ ڈیٹا کو دوبارہ ترتیب دینے اور ماڈل کو دوبارہ بنانے سے ایک مختلف حتمی کلسٹر ماڈل بن سکتا ہے" (IBM Corporation, 2016a, p. 227) – ایک ہی رن، سیکشن 8 کے nstart کے بغیر، اور Wendler اور Gröttrup وجہ بتاتے ہیں: پہلا مرکز "ڈیٹا سیٹ کے پہلے ریکارڈ کی قدریں" ہے، اور اگلے – وہ ریکارڈ جو پہلے سے طے شدہ مراکز سے سب سے دور ہوں؛ عددی متغیرات پہلے، اندرونی طور پر، 0-1 کی حد میں معیاری بنائے جاتے ہیں (Wendler & Gröttrup, 2021, pp. 676-677)؛ TwoStep – عددی فیلڈز کو بطور طے شدہ معیاری بناتا ہے، آؤٹ لائرز کو "شور" کلسٹر میں نکال سکتا ہے، اور کلسٹرز کی تعداد خودکار طور پر چنتا ہے "کلسٹرز شامل کرنے کے ساتھ Bayes کے معلوماتی معیار (BIC) میں تبدیلی کی بنیاد پر" اور پھر کلسٹرز کے درمیان کم سے کم فاصلے میں سب سے بڑی تبدیلی کے مطابق؛ فاصلہ – لاگ امکان (عددی اور زمرہ جاتی ایک ساتھ؛ مسلسل متغیرات کو نارمل اور آزاد فرض کرتا ہے) یا اقلیدسی (ص 229-230) – اور یہ بھی، Wendler اور Gröttrup کے مطابق، ابتدائی کلسٹرنگ کی وجہ سے "ڈیٹا سیٹ میں اشیاء کی ترتیب پر منحصر ہے" (Wendler & Gröttrup, 2021, p. 651)؛ اور Auto Cluster، جو TwoStep، K-Means اور Kohonen چلاتا ہے، سلہوٹ کے مطابق (طے شدہ؛ "منفی سلہوٹ والے ماڈلز کو بلا خوف رد کیا جا سکتا ہے")، کلسٹرز کی تعداد یا ان کے حجم کے مطابق درجہ بندی کرتا ہے – اور "جانچ کے فیلڈز" کی اجازت دیتا ہے: "اگرچہ ہدف استعمال نہیں کیا جاتا، ماڈلز کے موازنے کے لیے ایک یا زیادہ جانچ کے فیلڈز متعین کیے جا سکتے ہیں۔ کلسٹر ماڈل کی افادیت کا اندازہ یہ ناپ کر لگایا جا سکتا ہے کہ کلسٹرز ان فیلڈز میں کس حد تک (اچھی یا بری طرح) امتیاز کرتے ہیں" (ص 70-71) – یہ سیکشن 6 کا بیرونی متغیر ہے، سافٹ ویئر میں ہی شامل۔ اور جو نہیں ہے: Analysis نوڈ، جو پیش گوئیوں کا حقیقت سے موازنہ کرتا ہے، "صرف نگرانی شدہ ماڈلز میں مفید ہے… کلسٹرنگ الگورتھمز جیسے غیر نگرانی شدہ ماڈلز کے کوئی حقیقی نتائج نہیں جو موازنے کی بنیاد بنیں" (IBM Corporation, 2016b, p. 276) – IBM ایک جملے میں سیکشن 1 کہہ دیتی ہے۔ اور Modeler کی درسی کتاب سیکشن 5-6 کہتی ہے: "عملی تجربے کی بنیاد پر، ہمارا خیال ہے کہ کتنے کلسٹرز متعین کیے جائیں اس کا فیصلہ پہلے کیا جانا چاہیے"، موزونیت کے پیمانے کے طور پر سلہوٹ کے ساتھ (ص 724)؛ "اسی طرح، کلسٹرز کی تعداد عملی علم کی بنیاد پر متعین کی جانی چاہیے" (ص 750)؛ اور "کلسٹرنگ کے طریقے ہر کلسٹر کی مناسب وضاحت تلاش کرنے میں کوئی مدد فراہم نہیں کرتے۔ محققہ یا محقق کو خود سمجھنا ہوگا کہ ہر کلسٹر کو بہترین طور پر کیسے بیان کیا جائے" (Wendler & Gröttrup, 2021, p. 650)۔ متوازی تجزیہ، گیپ شماریہ اور الگورتھمز کے درمیان استحکام – R کی ایک لائن میں موجود ہیں۔

8. اور R میں یہ کیسے کریں

درج ذیل اسکرپٹ صفحے کی مثال کی ڈیٹا فائل پر ہو بہو چلایا گیا – DATA_unsup_example_eng.xlsx (اور عبرانی میں _heb.xlsx؛ دونوں qa/ml/ میں): ایک کمیونٹی سروے میں 300 جواب دہندگان، 12 لیکرٹ آئٹمز (وابستگی، اعتماد، تحفظ – ہر ایک کے لیے چار آئٹمز)، چار رویّاتی متغیرات (رضاکارانہ کام کے گھنٹے، تقریبات، جانے پہچانے پڑوسی، کمیونٹی میں سال)، دو یکساں "شور" متغیرات، اور بعد میں ناپا گیا ایک نتیجہ – چھوڑ جانا۔ ڈیٹا مصنوعی ہے، اور تین عوامل اور تین پروفائلز سے تیار کیا گیا – تاکہ ہمیں جواب معلوم ہو اور ہم دیکھیں کہ کون سا معیار اسے پاتا ہے؛ حقیقی پروفائل فائل میں نہیں۔ پیکجز: readxl، psych (متوازی تجزیہ، عوامل)، cluster (سلہوٹ، گیپ شماریہ)، mclust – آمیزے اور رینڈ انڈیکس (Scrucca et al., 2016)۔ راستہ – تبدیل کریں۔ تبصرے انگریزی میں ہیں، کیونکہ بلاک بائیں سے دائیں دکھایا جاتا ہے۔

library(readxl); library(psych); library(cluster); library(mclust)
d <- read_excel("C:/Rdata/DATA_unsup_example_eng.xlsx")
items <- d[, c("belong1","belong2","belong3","belong4","trust1","trust2","trust3","trust4",
               "safe1","safe2","safe3","safe4")]
beh   <- d[, c("volunteer_h","events","neighbours","years")]

# --- Step 1: PCA on the 12 items - standardised (scale = TRUE), because units differ ------
pca <- prcomp(items, scale. = TRUE)
ev  <- pca$sdev^2                                   # eigenvalues of the correlation matrix
round(rbind(eigenvalue = ev, proportion = ev / sum(ev), cumulative = cumsum(ev) / sum(ev)), 3)
cat("Kaiser (eigenvalue > 1) keeps:", sum(ev > 1), "components\n")

# --- Step 2: how many? parallel analysis (Horn) for components AND factors ----------------
set.seed(20260922)
pa <- fa.parallel(items, fa = "both", n.iter = 100, plot = FALSE)
cat("parallel analysis: components =", pa$ncomp, " factors =", pa$nfact, "\n")

# --- Step 3: PCA is not factor analysis: same items, two models ---------------------------
pc3 <- principal(items, nfactors = 3, rotate = "oblimin")   # components: total variance
fa3 <- fa(items, nfactors = 3, fm = "ml", rotate = "oblimin") # common factors: shared variance
print(pc3$loadings, cutoff = .30)
print(fa3$loadings, cutoff = .30)
cat("factor correlations (EFA):\n"); print(round(fa3$Phi, 2))
cat("communalities - PCA vs EFA (first 4 items):\n")
print(round(rbind(PCA = pc3$communality[1:4], EFA = fa3$communality[1:4]), 2))

# --- Step 4: k-means on the 4 behaviour variables - scaled first ---------------------------
X <- scale(beh)
set.seed(20260922)
km <- lapply(2:6, function(k) kmeans(X, centers = k, nstart = 25, iter.max = 100))
inertia <- sapply(km, function(m) m$tot.withinss)              # the "elbow" curve
sil     <- sapply(km, function(m) mean(silhouette(m$cluster, dist(X))[, 3]))
gap     <- clusGap(X, FUN = function(x, k) kmeans(x, k, nstart = 25), K.max = 6, B = 100)
round(cbind(k = 2:6, inertia = inertia, silhouette = sil), 3)
print(gap, method = "Tibs2001SEmax")

# --- Step 5: the chosen solution - and what it looks like in the original units ---------
k3 <- km[[2]]                                                   # k = 3
cat("sizes:", k3$size, "\n")
round(aggregate(beh, by = list(cluster = k3$cluster), FUN = mean), 1)

# --- Step 6: does another algorithm agree? hierarchical (Ward) vs k-means ----------------
hc  <- hclust(dist(X), method = "ward.D2")
hc3 <- cutree(hc, k = 3)
table(kmeans = k3$cluster, ward = hc3)
cat("adjusted Rand index, k-means vs Ward:", round(adjustedRandIndex(k3$cluster, hc3), 3), "\n")

# --- Step 7: stability - split-half: cluster each half, predict the other by nearest centre
set.seed(20260922)
h  <- sample(rep(c(TRUE, FALSE), length.out = nrow(X)))
kA <- kmeans(X[h, ], 3, nstart = 25); kB <- kmeans(X[!h, ], 3, nstart = 25)
nearest <- function(x, centres) apply(x, 1, function(r) which.min(colSums((t(centres) - r)^2)))
predB <- nearest(X[!h, ], kA$centers)                          # A's rule applied to B
cat("split-half ARI (A's centres on B vs B's own clusters):",
    round(adjustedRandIndex(predB, kB$cluster), 3), "\n")

# --- Step 8: the control - two pure-noise variables get clustered too ---------------------
Z <- scale(d[, c("noise_a", "noise_b")])
set.seed(20260922)
kz <- kmeans(Z, 3, nstart = 25)
cat("noise, k = 3: sizes", kz$size, " silhouette",
    round(mean(silhouette(kz$cluster, dist(Z))[, 3]), 3), "\n")
gz <- clusGap(Z, FUN = function(x, k) kmeans(x, k, nstart = 25), K.max = 6, B = 100)
cat("noise, gap statistic chooses k =", maxSE(gz$Tab[, "gap"], gz$Tab[, "SE.sim"], method = "Tibs2001SEmax"), "\n")

# --- Step 9: model-based alternative - Gaussian mixture, number of components by BIC ------
mc <- Mclust(beh, G = 1:6, verbose = FALSE)
cat("Mclust: model", mc$modelName, "with G =", mc$G, "components; ARI vs k-means",
    round(adjustedRandIndex(mc$classification, k3$cluster), 3), "\n")

# --- Step 10: the cluster is a hypothesis, not a finding: an outcome that was NOT clustered on
tab <- table(cluster = k3$cluster, moved_out = d$moved_out)
round(prop.table(tab, 1), 2)
chisq.test(tab)

کیا نکلا (R 4.3.3، psych 2.4.1، cluster 2.1.6، mclust 6.0.1؛ مکمل آؤٹ پٹ – qa/ml/unsup_out.txt)۔ آئٹمز: 12 آئٹمز کی آئگن ویلیوز – 2.88، 2.12، 1.80، اور پھر 0.85 اور اس سے نیچے؛ پہلی تین تغیر کے 56.7% کی وضاحت کرتی ہیں۔ Kaiser کا اصول تین رکھتا ہے، اور متوازی تجزیہ بھی – تین اجزاء اور تین عوامل؛ یہاں وہ متفق ہیں، کیونکہ ڈھانچہ صاف ہے، اور حقیقی سوالنامے میں وہ ہمیشہ متفق نہیں ہوں گے۔ دونوں ماڈلز میں وہی آئٹمز، دونوں oblimin گردش میں: ہر آئٹم دونوں میں اپنے عامل پر لوڈ ہوتا ہے – لیکن اجزاء کی لوڈنگز زیادہ ہیں (وابستگی کے لیے 0.80، 0.79، 0.68، 0.75، بمقابلہ 0.74، 0.71، 0.55، 0.63)، اور وابستگی کے چاروں آئٹمز کی مشترکیتیں PCA میں 0.65، 0.63، 0.48، 0.55 ہیں بمقابلہ عاملی تجزیے میں 0.56، 0.51، 0.32، 0.39؛ تینوں اجزاء 56.7% کی "وضاحت کرتے ہیں" اور تینوں عوامل 43.0% کی۔ فرق آئٹمز کا منفرد تغیر ہے – پیمائشی خطا – جسے PCA اجزاء میں شامل کرتا ہے اور عاملی تجزیہ باہر رکھتا ہے؛ یہ سیکشن 3 اعداد میں ہے۔ عوامل کی ہم بستگیاں .17، .09، .26 – صفر نہیں، اس لیے ترچھی گردش۔ رویّہ: چاروں معیاری شدہ متغیرات پر، 2 سے 6 تک کے k کے لیے انرشیا 498، 274، 245، 227، 200 تک گھٹتی ہے – 3 پر کہنی؛ سلہوٹ .47، .48، .44، .44، .37 – 3 پر زیادہ سے زیادہ، لیکن 2 اور 4 قریب؛ گیپ شماریہ، 100 سمیولیشنز میں – 3۔ کلسٹرز کے حجم 71، 120 اور 109، اور اصل اکائیوں میں ان کے اوسط: ایک کلسٹر میں رضاکارانہ کام کے 15 گھنٹے، 22 تقریبات، 25 پڑوسی اور 20 سال؛ دوسرے میں 1.8، 3، 6 اور 4.5؛ تیسرے میں 8، 10، 14 اور 12.5 – شامل، لاتعلق، درمیانی؛ نام ہمارے ہیں، الگورتھم کے نہیں۔ استحکام: Ward، 300 میں سے 298 جواب دہندگان پر k-مینز سے متفق ہے (ARI .98)؛ ایک نصف پر سیکھی گئی اور دوسرے پر لاگو کی گئی تقسیم اسی نصف کی آزاد تقسیم سے ARI .96 پر متفق ہے؛ گاؤسی آمیزہ BIC کے ذریعے تین اجزاء چنتا ہے (VEI ماڈل) اور k-مینز سے مکمل طور پر متفق ہے (ARI 1)۔ شور: بغیر کسی ڈھانچے کے دو یکساں متغیرات پر، k-مینز 108، 104 اور 88 کے حجم کے تین کلسٹرز .39 کے سلہوٹ کے ساتھ لوٹاتا ہے – ایک ایسا عدد جو حقیقی سوالنامے میں رپورٹ کر دیا جاتا؛ گیپ شماریہ k=1 چنتا ہے۔ یہی پوری دلیل ہے۔ اور مفروضہ: چھوڑ جانا، جس نے کلسٹرنگ میں حصہ نہیں لیا، کلسٹرز کے درمیان مختلف ہے – 7%، 30% اور 21% (χ²(2) = 14.0, p < .001)؛ یہ ثبوت ہے کہ کلسٹرز کچھ کہتے ہیں، اور یہی وہ سطح ہے جس پر انہیں رپورٹ کیا جاتا ہے: بیرونی متغیر میں فرق، نہ کہ "کمیونٹی میں تین اقسام"۔

عام غلطیاں

بنیادی اجزاء کو "عاملی تجزیہ" کے طور پر رپورٹ کرنا۔ SPSS کا طے شدہ انتخاب – "اوہ!" (Field)۔ اجزاء میں پیمائشی خطا شامل ہوتی ہے، مشترکیتیں بڑھی ہوئی ہوتی ہیں، اور مخفی ڈھانچے کی بات نہیں کی جا سکتی (سیکشن 3)۔ عاملی تجزیے کے لیے – Principal axis یا Maximum likelihood، ترچھی گردش۔

آئگن ویلیو 1 کو فیصلہ کرنے دینا۔ "سب سے کم درست طریقوں میں سے"، اور پھر بھی دونوں سافٹ ویئرز میں طے شدہ؛ Pallant کی PANAS مثال میں یہ دو والے پیمانے کے لیے چار اجزاء دیتا ہے۔ متوازی تجزیہ – اور اگر نہ ہو، تو کم از کم مدلل صوابدید کے ساتھ scree (جدول 2)۔

معیاری بنائے بغیر کلسٹر کرنا۔ 0-100 کی حد والا متغیر 1-5 کی حد والے متغیرات کے ساتھ: کلسٹرز بڑے متغیر کے ہوتے ہیں (Géron، باب 9؛ Gutierrez، باب 8)۔ SPSS میں معیاری بنانا ایک الگ مرحلہ ہے۔

انرشیا کے مطابق – یا عادت کے مطابق – k چننا۔ انرشیا ہمیشہ گھٹتی ہے؛ "تین کلسٹرز" عادت ہیں۔ سلہوٹ اور گیپ شماریہ، اور "ایک" کا جواب بھی (سیکشن 5)۔

ڈینڈروگرام کو "ڈیٹا کا ڈھانچہ" کہنا۔ یہ الگورتھم کی پیداوار ہے؛ دوسرا ربط، دس جواب دہندگان کم – دوسرا درخت۔ "درجہ وار طریقے درجہ وار ڈھانچہ مسلط کرتے ہیں چاہے وہ موجود ہو یا نہ ہو" (Hastie اور ساتھی، ص 522)۔

کلسٹر کی توثیق اسی متغیر سے کرنا جس نے اسے بنایا۔ "کلسٹرز رضاکارانہ کام میں معنی خیز طور پر مختلف ہیں" – جب رضاکارانہ کام کلسٹرنگ کے متغیرات میں سے ایک ہو – تعریف کی رپورٹنگ ہے۔ توثیق صرف اس متغیر سے جو باہر رہا (سیکشن 6)۔

نام دینا اور بھول جانا کہ وہ آپ کے دیے ہوئے ہیں۔ "لاتعلق" اوسطوں کی تشریح ہے، کوئی خصوصیت نہیں جو الگورتھم نے دریافت کی؛ اور درمیان والے مشاہدات – جنہیں گاؤسی آمیزہ 50/50 دیتا – لیبل میں غائب ہو جاتے ہیں۔

t-SNE میں فاصلوں کی تشریح کرنا۔ نقشہ دیکھنے کے لیے ہے؛ تصویر میں کلسٹر کا حجم اور دوسروں سے اس کا فاصلہ پیرامیٹرز پر منحصر ہیں اور کوئی نتیجہ نہیں (سیکشن 2)۔

جانچ کی فہرست – اجزاء، عوامل یا کلسٹرز رپورٹ کرنے سے پہلے

حوالہ جات

Bishop, C. M. (2006). Pattern recognition and machine learning. Springer.

Costello, A. B., & Osborne, J. (2005). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment, Research, and Evaluation, 10(7). https://doi.org/10.7275/jyj1-4868

Field, A. (2024). Discovering statistics using IBM SPSS statistics (6th ed.). SAGE.

Géron, A. (2022). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow: Concepts, tools, and techniques to build intelligent systems (3rd ed.). O'Reilly Media.

Gutierrez, D. D. (2015). Machine learning and data science: An introduction to statistical learning methods with R. Technics Publications.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

IBM Corporation. (2016a). IBM SPSS Modeler 18.0 modeling nodes. IBM. https://public.dhe.ibm.com/software/analytics/spss/documentation/modeler/18.0/en/ModelerModelingNodes.pdf

IBM Corporation. (2016b). IBM SPSS Modeler 18.0 source, process, and output nodes. IBM. https://public.dhe.ibm.com/software/analytics/spss/documentation/modeler/18.0/en/ModelerSPOnodes.pdf

Horn, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30(2), 179-185. https://doi.org/10.1007/BF02289447

Pallant, J. (2020). SPSS survival manual: A step by step guide to data analysis using IBM SPSS (7th ed.). Routledge. https://doi.org/10.4324/9781003117452

Rousseeuw, P. J. (1987). Silhouettes: A graphical aid to the interpretation and validation of cluster analysis. Journal of Computational and Applied Mathematics, 20, 53-65. https://doi.org/10.1016/0377-0427(87)90125-7

Scrucca, L., Fop, M., Murphy, T. B., & Raftery, A. E. (2016). mclust 5: Clustering, classification and density estimation using Gaussian finite mixture models. The R Journal, 8(1), 289-317. https://doi.org/10.32614/RJ-2016-021

Tibshirani, R., Walther, G., & Hastie, T. (2001). Estimating the number of clusters in a data set via the gap statistic. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 63(2), 411-423. https://doi.org/10.1111/1467-9868.00293

Truong, D. (2026). Demystifying AI: Data science and machine learning using IBM SPSS Modeler. Chapman and Hall/CRC. https://doi.org/10.1201/9781003468196

Wendler, T., & Gröttrup, S. (2021). Data mining with SPSS Modeler: Theory, exercises and solutions (2nd ed.). Springer. https://doi.org/10.1007/978-3-030-54338-9