عبرانی NLP: آلات اور مسائل

رہنما

اس صفحے پر

فطری زبان کی پروسیسنگ (natural language processing, NLP) متن کے ہر مقداری تجزیے کے نیچے کی پرت ہے – الفاظ کی گنتی، مواد کا تجزیہ، موضوعاتی ماڈلنگ، جذبات کی شناخت۔ انگریزی میں یہ پرت شفاف ہے: خالی جگہوں سے الگ کیا جاتا ہے، لاحقہ ہٹایا جاتا ہے، گنا جاتا ہے۔ عبرانی میں یہ شفاف نہیں، اور جو محقق اسے شفاف سمجھے گی اسے اعداد ملیں گے – خاموشی سے غلط۔ یہ صفحہ وضاحت کرتا ہے کہ عبرانی میں کیا عمومی آلات کو توڑتا ہے (سیکشن 1)، وہ تکنیکی مسئلہ جو ہر تجزیے سے پہلے آتا ہے – انکوڈنگ اور سمتیت (2)، ایک درست عبرانی پروسیسنگ پائپ لائن کیا کرتی ہے اور کون سے آلات اسے نافذ کرتے ہیں (3)، کون سے زبان کے ماڈل دستیاب ہیں (4)، کون سے کارپس اور ٹیگ شدہ ذخیرے موجود ہیں (5)، بائبلی اور ربانی عبرانی میں کیا مختلف ہے (6)، اور سماجی تحقیق میں عبرانی متن کے تجزیے کے لیے ایک عملی نسخہ (7) – اس مقام تک جہاں متن اعداد بن جاتا ہے، اور سائٹ کے کیلکولیٹر کام سنبھال لیتے ہیں۔

1. عبرانی کمپیوٹر کے لیے مشکل کیوں ہے – چار مسائل

الف۔ املا اعراب کے بغیر ہے، اس لیے مبہم ہے۔ ٹوکن ספר סֵפֶר، סַפָּר، סָפַר، סִפֵּר یا סְפָר ہو سکتا ہے – انہی تین حروف میں پانچ مختلف الفاظ، اور قاری دھیان دیے بغیر سیاق سے انتخاب کر لیتا ہے۔ کمپیوٹر نہیں کر سکتا۔ صحافت کے ساٹھ لاکھ الفاظ پر پیمائش میں، عبرانی ٹوکن کے ممکنہ صرفی تجزیوں کی تعداد اوسطاً 2.4 ہے، انگریزی میں 1.4 کے مقابلے میں (Adler & Elhadad, 2006) – اور یہی وجہ ہے کہ ہر عبرانی پائپ لائن میں ایک ایسا مرحلہ ہے جو انگریزی میں نہیں: ابہام کا ازالہ (disambiguation)، جس میں ماڈل اندازہ لگاتا ہے کہ کون سی قرأت درست ہے۔ آج یہ اندازہ کتنا اچھا ہے؟ رپورٹ شدہ بہترین عبرانی ماڈل، DictaBERT-Parse-large، درختوں کے ذخیرے (treebank) کے امتحان پر سابقوں کی تقسیم بندی میں 97.9%، اجزائے کلام کی ٹیگنگ میں 97.3% اور صرفی خصوصیات میں 95.6% تک پہنچتا ہے – لیکن لیبل شدہ نحوی تجزیے (LAS) میں صرف 85.4% تک، اور تربیتی کارپس کو 975 ہزار الفاظ تک بڑھانے سے پہلے اعداد کچھ کم تھے (Shmidman, Shmidman, Koppel & Tsarfaty, 2024, Table 1)۔ یعنی: لفظ کی سطح پر 95% سے اوپر، جملے کی سطح پر کم؛ اور 10,000 الفاظ کے متن پر 2-5% بھی سینکڑوں غلطیاں ہیں جو گنتی میں شامل ہو جاتی ہیں۔

ب۔ صرف بھرپور ہے، اور لفظ "ضم ہو جاتا" ہے۔ حروفِ جار، حروفِ عطف اور حرفِ تعریف (ו، ה، ב، כ، ל، מ، ש) لفظ سے پہلے چپک جاتے ہیں، اور ملکیت اور مفعول کی ضمیریں – اس کے بعد: בביתם = ב + בית + הם (ان کے گھر میں)؛ ראיתיו = ראיתי + אותו (میں نے اسے دیکھا)۔ عبرانی درختوں کے ذخیرے (treebank) میں (جدول 3)، 114,648 ٹوکنز میں 160,195 نحوی الفاظ ہیں – یعنی عام صحافتی متن میں ہر تین میں سے ایک ٹوکن کو گننے سے پہلے تقسیم ہونا ضروری ہے۔ جو آلہ تقسیم بندی چھوڑ دے وہ "בבית"، "לבית"، "הבית" اور "בית" کو چار الفاظ گنے گا – اور عام لفظ "ש" (کہ) کو بالکل نہیں دیکھے گا، کیونکہ وہ کبھی اکیلا نہیں آتا۔

ج۔ مادہ اور وزن: غیر سلسلہ وار صرف۔ انگریزی میں لفظ جوڑ کر بنتا ہے – walk + ed: منفصل مارفیم جو اساس کے کنارے پر جڑتے ہیں، اور اس لیے، جیسا کہ McCarthy نے کہا، انہیں "بار بار آنے والے جزوی سلسلوں کی تلاش میں الفاظ کو بائیں سے دائیں توڑ کر" دوبارہ حاصل کیا جا سکتا ہے (McCarthy, 1981, p. 373)۔ عبرانی اور عربی میں مادہ ایک الگ پرت پر حروفِ صحیح کی "دھن" ہے، جو حروفِ صحیح اور حرکات کے خانوں کے ایک عروضی سانچے میں سما جاتی ہے (ص 386-387): כ-ת-ב وزن کے اندر "بُنا" جاتا ہے – כָּתַב، כּוֹתֵב، מִכְתָּב، הִכְתִּיב، כְּתוּבָה، הִתְכַּתֵּב – اور McCarthy اپنے مضمون کا آغاز عربی میں بالکل ایسے ہی صرفی نمونے سے کرتے ہیں (kataba, kattaba, kitaabun, maktabun…)، ایسی شکلیں جو "صرفی طور پر ایک دوسرے سے متعلق ہیں حالانکہ آوازوں کے الگ تھلگ سلسلے مشترک نہیں رکھتیں" (ص 374-375)۔ اس سے ظاہر ہے کہ حروف کا کوئی مشترک سلسلہ نہیں جسے "کاٹا" جا سکے (stemming)، اور لاحقے ہٹانے والے آلات – انگریزی کا معیار – عبرانی میں بے معنی ہیں۔ حل لغت کے ساتھ لیمیٹائزیشن (lemmatization) ہے، اور وہ بھی لیما لوٹاتی ہے (כתב، מכתב، כתובה – تین لیماز کے طور پر)، مادہ نہیں۔ اور بولنے والوں کے ہاں مادہ ایک حقیقی پرت ہے، محض قواعدی وضاحت نہیں: Ravid اور Schiff خلاصہ کرتی ہیں کہ مادہ عبرانی اور عربی بولنے والوں کے "ذہنی لغت میں نمائندگی کی ایک الگ سطح رکھتا ہے"، جو وہ بنیادی معنی رکھتا ہے جو صرفی خاندان کے تمام افراد کو جوڑتا ہے (ג-ד-ל: גדל، גידל، הגדיל، גידול، מגדל، מגדלת، גדול…)، اور یہ کہ بچے دو سال کی عمر میں ہی الفاظ سے مادے نکال لیتے ہیں (Ravid & Schiff, 2006, pp. 790-791)؛ 300 اسکولی بچوں پر ان کے تجربات میں، دونوں میں سے مادے کی شناخت "مرکزی اور مستحکم" تھی، جبکہ وزن کا ادراک زیادہ نازک ہے اور دیر سے ظاہر ہوتا ہے – جزوی طور پر اس لیے کہ تقریباً 4,000 مادوں کے مقابلے میں زیادہ سے زیادہ تقریباً 200 اوزان ہیں، اور اس لیے کہ وزن کا معنی یکساں نہیں ہوتا (ص 808-809)۔ چنانچہ "کسی مادے کے معنوی میدان" کے بارے میں تحقیقی سوال ایک حقیقی نفسیاتی اکائی پر قائم ہے – لیکن لیما کے اوپر ایک اضافی پرت درکار ہے، جس کا کوئی تیار آلہ نہیں۔

د۔ چار اسالیب، چار زبانیں۔ عبرانی لسانیات میں رائج تقسیم چار ادوار میں ہے – بائبلی، ربانی (حزل کی)، قرونِ وسطیٰ کی اور اسرائیلی – ذیلی تقسیموں اور عبوری مراحل کے ساتھ: بائبلی کو قدیم، کلاسیکی اور متاخر (جلاوطنی کے بعد کی) میں، اور ربانی کو تنائیم کی زبان اور اموراییم کی زبان میں (Pérez Fernández, 1997, p. 1)۔ یہ ایک زبان کے اسالیب نہیں بلکہ وہ مراحل ہیں جو بول چال کی زبان کے طور پر بھی بدلتے رہے: بائبل کی زبان، "جو بنیادی طور پر ایک ادبی بولی تھی، بابل کی جلاوطنی کے بعد کے دور میں زندہ زبان نہ رہی"، اور حکماء کی زبان یہودیہ میں بار کوخبا کی بغاوت کو کچلے جانے (135 عیسوی) تک روزمرہ بول چال تھی اور پھر آرامی کے ساتھ صرف تحریر کی زبان رہی (Sáenz-Badillos, 1993, pp. 166, 171)۔ ان فرقوں کو Pérez Fernández اپنی کتاب کے آغاز میں گنواتے ہیں، جو ربانی متن کے ہر قاری کو حیران کرتے ہیں: אשר کی جگہ -ש، اضافت (סמיכות) کی جگہ "של"، اسمِ فاعل کے ساتھ "היה"، واوِ تقلیب کا غائب ہونا، مصدرِ مطلق کا ختم ہونا اور امر کی خاص شکلیں، اور جمع کے لاحقے میں میم کی جگہ نون (ص 1)؛ اور تنائیم کی زبان کے ذخیرۂ الفاظ کا صرف تقریباً نصف بائبل سے مشترک ہے – باقی آرامی، یونانی، اور کم حد تک لاطینی، اکادی اور فارسی (ص 4)۔ قرونِ وسطیٰ کی عبرانی تحریر کی زبان تھی، بول چال کی نہیں، جسے دسویں صدی سے عربی قواعد سے متاثر ہو کر زندہ کیا گیا اور جو غیر مذہبی شاعری، فلسفے اور سائنس تک پھیلی (Sáenz-Badillos, pp. 202-203)؛ اور اسرائیلی عبرانی، Rosén کے مطابق (1958, as cited in Sáenz-Badillos, pp. 275-276)، ایک کوئنے ہے جس میں بائبلی اور ربانی عناصر اسلوب کی دو سطحوں کے طور پر ساتھ ساتھ استعمال ہوتے ہیں، ایک غیر عبرانی بنیاد پر اور ایسے نحو اور ذخیرۂ الفاظ کے ساتھ جو سلاوی، جرمن اور سب سے بڑھ کر انگریزی سے متاثر ہوئے (ص 280) – "جسے روایتی قواعد غلطیاں سمجھتی ہیں وہ دراصل زبان کے ایک نئے مرحلے کی جدتیں ہیں" (ص 276)۔ کمپیوٹر کے لیے نتیجہ: "ہآرتص" اور ویکیپیڈیا پر تربیت یافتہ ماڈل (AlephBERT، DictaBERT) گمارا کے صفحے پر ناکام ہو گا؛ اسی کے لیے BEREL بنایا گیا (جدول 2)؛ اور بائبل کا اپنا ہاتھ سے ٹیگ شدہ ڈیٹا بیس ہے (BHSA, Table 4) جسے کسی ماڈل کی ضرورت ہی نہیں۔ محقق کا پہلا انتخاب "کون سا آلہ" نہیں بلکہ "کون سی عبرانی" ہے۔

اس شعبے کے بنیادی جائزے: Wintner (2004) – عبرانی کمپیوٹیشنل لسانیات کی پہلی دہائی؛ Itai & Wintner (2008) – ٹیکنیون میں بنائے گئے وسائل جن پر بعد میں آنے والی ہر چیز قائم ہے؛ اور نیورل دہائی میں کیا بدلا – Tsarfaty, Bareket, Klein & Seker (2020)۔

2. وہ مسئلہ جو نظر نہیں آتا: انکوڈنگ، اعراب اور سمتیت

صرف کی بات کرنے سے پہلے، ایک پرت ہے جس میں عبرانی کسی کے دھیان دیے بغیر ٹوٹ جاتی ہے – اور محققین کو ملنے والا زیادہ تر "بے معنی کچرا" اسی سے آتا ہے۔

انکوڈنگ۔ عبرانی فائل UTF-8 یا windows-1255 ہوتی ہے (Windows میں عبرانی کی پرانی انکوڈنگ، جو اب بھی SPSS اور پرانے سافٹ ویئر سے نکلتی ہے)۔ UTF-8 کے طور پر کھولی گئی 1255 فائل علامات کا سلسلہ نظر آتی ہے؛ BOM کے بغیر UTF-8 فائل جسے لاطینی انکوڈنگ فرض کرنے والی لائبریری کھولے – وہی معاملہ۔ سائٹ کے کیلکولیٹر صفحات دونوں صورتوں کو خودکار طور پر درست کر دیتے ہیں (دیکھیں آلات کا نقشہ، سیکشن 7)؛ بیرونی آلہ – ضروری نہیں۔ اصول: سب کچھ UTF-8 کے طور پر محفوظ کریں، اور ہر تجزیے سے پہلے پہلی سطر کو آنکھ سے جانچیں۔ ایک نادر رکاوٹ: "بصری عبرانی" (پرانی ISO-8859-8)، جس میں حروف نمائش کی ترتیب میں، دائیں سے بائیں، محفوظ ہوتے ہیں – تبدیلی کے بعد الفاظ الٹے نظر آتے ہیں۔

اعراب اور تجوید (کینٹیلیشن) کی علامات۔ یونیکوڈ میں اعراب کی علامت ایک الگ کیریکٹر ہے جو حرف کے ساتھ جڑتا ہے (combining mark): عبرانی بلاک (U+0590 سے U+05FF) میں ایسی 51 علامات ہیں – تجوید کی علامات، اعراب، داغیش اور شین اور سین کے نقطے – U+0591 (اتناحتا) سے U+05C7 (قامص قاطان) تک، 27 حروف (U+05D0 سے U+05EA) اور رموزِ اوقاف کے ساتھ (Unicode Consortium, 2026، بلاک Hebrew)۔ اعراب والا "שָׁלוֹם" اور بغیر اعراب کا "שלום" دو مختلف سلسلے ہیں، اور اعراب والے سلسلے کی ایک سے زیادہ ذخیرہ شکلیں ہیں: ایک ہی حرف پر علامات کی ترتیب ("ש + قامص + شین کا نقطہ" بمقابلہ "ש + شین کا نقطہ + قامص") اور بلاک U+FB1D سے U+FB4F کے مرکب نمائندگی کے کیریکٹر (46 کیریکٹر، مثلاً שׁ بطور ایک کیریکٹر)۔ نارملائزیشن (NFC یا NFD) دونوں کو حل کرتی ہے – یہ نمائندگی کے کیریکٹرز کو توڑتی ہے اور علامات کو ان کی ترکیبی جماعت کے مطابق ترتیب دیتی ہے (Whistler, 2026، معیاری ترتیب کا الگورتھم)۔ گنتی سے پہلے – نارملائز کریں، پھر اعراب زمرے کے مطابق ہٹائیں (Mn، غیر فاصلاتی علامت) نہ کہ رینج کے مطابق: رینج U+0591 سے U+05C7 میں مقاف (U+05BE)، پاسق، سوف پاسوق اور الٹا نون بھی شامل ہیں – اور جو رینج مٹائے وہ انہیں بھی مٹا دیتا ہے۔ اعراب اور تجوید والا بائبلی متن جسے نارملائز نہ کیا گیا ہو ہر لفظ کو تعدد 1 دے گا۔

مکمل اور ناقص املا، آخری حروف، عبرانی رموزِ اوقاف۔ "תוכנית" اور "תכנית"، "אמיתי" اور "אמתי"، "ליברלי" اور "ליבראלי" – ایک ہی لفظ، دو سلسلے، دو تعددات۔ عبرانی زبان کی اکیڈمی کے مکمل املا کے اصول (2017) نے تقسیم ختم نہیں کی – صرف اس کی سمت بدلی۔ عبرانی گیریش اور گیرشائیم (׳ ״) بمقابلہ ASCII اپوسٹروفی اور کوٹیشن (' ") – "ד״ר" اور "ד"ר" دو مختلف ٹوکن ہیں، اور یہی حال تمام مخففات کا ہے۔ عبرانی مقاف (־) بمقابلہ ASCII ہائفن (-)۔ کوئی مکمل خودکار حل نہیں؛ ایک واضح نارملائزیشن ہے جسے درج کیا جاتا ہے۔

سمتیت۔ عبرانی متن RTL ہے، لیکن اعداد، انگریزی میں متغیرات کے نام اور اس کے آخر کے اوقاف ایسے نہیں: یونیکوڈ کے سمتیت کے الگورتھم میں عبرانی حروف R قسم کے ہیں، ہندسے EN قسم کے، اور اوقاف اور قوسین "غیر جانبدار" ہیں – وہ اپنے دونوں طرف کے مضبوط متن کی سمت لیتے ہیں، اور اگر دونوں طرفیں مختلف ہوں تو پیراگراف کی سمت (Goregaokar & Leroy, 2026, Sections 3.2, 3.3.5) – اور نتیجہ جانا پہچانا ہے: الٹے قوسین، عدد کے دائیں طرف منفی کا نشان، چارٹ میں ٹوٹتے ہوئے متغیرات کے نام۔ معیار خود جو حل پیش کرتا ہے وہ علیحدگی (isolate) ہے: "علیحدگی کے اندر کے حروف اس کے باہر کے حروف کی ترتیب پر اثر انداز نہیں ہو سکتے، اور اس کے برعکس"، اور پوری علیحدگی اپنے ماحول کے لیے ایک غیر جانبدار حرف کی طرح برتاؤ کرتی ہے (ایضاً، سیکشن 2.4)۔ اس سائٹ پر یہ ہر لاطینی رسم الخط والی قدر کے لیے span.en (unicode-bidi: isolate) ہے؛ R میں – AGG گرافکس انجن (دیکھیں سکیٹر پلاٹ کا صفحہ، سیکشن "اور R میں یہ کیسے کریں")۔ AntConc یا Voyant جیسے ٹولز میں عبرانی کام کرتی ہے – لیکن ڈسپلے الٹا یا ٹوٹا ہوا ہو سکتا ہے، تجزیہ نہیں۔ فرق یاد رکھیں: ٹوٹا ہوا ڈسپلے غلط گنتی کا ثبوت نہیں، اور غلط گنتی (تقسیم بندی کی وجہ سے) ڈسپلے میں نظر نہیں آتی۔

3. پائپ لائن: تقسیم بندی سے نحوی تجزیے تک – اور ٹولز

ایک درست عبرانی پروسیسنگ پائپ لائن، اسی ترتیب سے، یہ کام کرتی ہے: تقسیم بندی (سابقوں اور لاحقوں کی علیحدگی)، صرفی تجزیہ (ہر قطعے کی تمام ممکنہ قراءتیں)، ابہام کا ازالہ (سیاق میں درست قراءت کا انتخاب)، اجزائے کلام اور لیما کی ٹیگنگ، نحوی تجزیہ (کون کس کا فاعل ہے) اور ہستیوں کی شناخت (لوگوں، مقامات، اداروں کے نام)۔ پچھلی دہائی کی مرکزی بصیرت یہ ہے کہ یہ مراحل خود مختار نہیں: "הבית" کی درست تقسیم بندی نحو پر منحصر ہے، اور نحو تقسیم بندی پر – اس لیے اچھے ماڈل انہیں یکجا انجام دیتے ہیں، ایک کے بعد ایک نہیں (More, Seker, Basmova &; Tsarfaty, 2019; Tsarfaty, Sadde, Klein &; Seker, 2019)۔ موجودہ نسل – DictaBERT-joint – یہ چھے کے چھے کام ایک ہی ماڈل میں کرتی ہے۔

سماجی محقق کے لیے اس کا مطلب عملی ہے: کوئی "عبرانی کے لیے ٹوکنائزر" نہیں جسے چلا کر پھر کسی انگریزی ٹول میں آگے بڑھا جا سکے۔ تقسیم بندی اور لیمیٹائزیشن کا عبرانی پائپ لائن سے آنا لازم ہے، اور اس کا آؤٹ پٹ – لیمیٹائز شدہ اور تقسیم شدہ متن – باقی تمام ٹولز (موضوعاتی ماڈلنگ، کانکورڈنس، لغات) کے لیے ان پٹ ہے۔

4. عبرانی کے لسانی ماڈل – اور ٹوکنائزیشن کی ہمیں کیا قیمت چکانی پڑتی ہے

پہلے سے تربیت یافتہ لسانی ماڈل (pretrained language models) ہی یکجا پائپ لائن، ہستیوں کی شناخت اور جذبات کی درجہ بندی کو ممکن بناتے ہیں۔ عبرانی کے پاس آج ایک چھوٹا لیکن سنجیدہ خاندان ہے، سب کا سب Hugging Face پر؛ جدول 2 اسے لسانی اسلوب اور کردار کے مطابق ترتیب دیتا ہے۔ اہم امتیاز انکوڈنگ ماڈلز (BERT اور اس کے مشتقات – موجودہ متن کا تجزیہ کرتے ہیں) اور تخلیقی ماڈلز (DictaLM، اور بڑے تجارتی ماڈل – متن پیدا کرتے ہیں) کے درمیان ہے۔ تحقیق میں مقداری تجزیے کے لیے پہلی قسم درکار ہے؛ دوسری قسم خلاصہ نویسی اور معاون ٹیگنگ کے لیے مفید ہے، اور اس سائٹ پر – "رن ٹائم میں مصنوعی ذہانت نہیں" کے اصول سے باہر ہے۔ تکنیکی لحاظ سے ایسا ماڈل کیا ہے – ایک گہرا نیورل نیٹ ورک جسے پہلے سے تربیت دی گئی ہے اور جسے فائن ٹیون کیا جاتا ہے – اور ایسا نیٹ ورک سماجی تحقیق کے لیے کب موزوں ہے اور کب نہیں: مشین لرننگ کا صفحہ، سیکشن 6۔

ٹوکنائزیشن کی قیمت۔ لسانی ماڈل الفاظ نہیں بلکہ "ٹکڑے" (subword tokens) دیکھتا ہے جو تربیتی کارپس میں تعدد کے مطابق طے کیے گئے ہیں۔ کثیر لسانی ماڈل میں، جسے زیادہ تر انگریزی پر تربیت دی گئی، ایک عبرانی لفظ اسی لمبائی کے انگریزی لفظ کے مقابلے میں زیادہ ٹکڑوں میں بٹ جاتا ہے – اس لیے عبرانی متن زیادہ ٹوکن "خرچ" کرتا ہے، کم درستی (accuracy) سے تجزیہ ہوتا ہے، اور تجارتی ماڈلز میں اسی مواد کے لیے زیادہ پیسے بھی لگتے ہیں (Rust, Pfeiffer, Vulić, Ruder &; Gurevych, 2021; Ahia et al., 2023)۔ یہی وجہ ہے کہ ذخیرۂ الفاظ AlephBERT میں 52K سے بڑھ کر AlephBERTGimmel میں 128K ہو گیا، اور عبرانی کے تخلیقی ماڈل جان بوجھ کر عبرانی ذخیرۂ الفاظ کو وسعت دیتے ہیں۔ محققہ کے لیے: عبرانی کے لیے بنایا گیا ماڈل دس گنا بڑے کثیر لسانی ماڈل سے بہتر ہے – حجم کی وجہ سے نہیں بلکہ ٹوکنائزیشن کی وجہ سے۔

کھلا یا بند، مقامی یا دور دراز۔ ڈیجیٹل ہیومینٹیز کی درسی کتاب لسانی ماڈل کے انتخاب کے لیے دو محور تجویز کرتی ہے، اور انہیں جدول 2 پر لاگو کرنا مفید ہے: کسی کمپنی کے سرور پر چلنے والے بند ماڈل کا مطلب ہے کہ "آپ کا ڈیٹا ملکیتی سرورز پر قید اور پروسیس ہوتا ہے"، اور بہت سے ٹولز کی شرائطِ استعمال میں صارف اس پر رضامند ہوتا ہے کہ پرامپٹس اور آؤٹ پٹس آئندہ تربیت کے لیے استعمال ہوں گے؛ متبادل ایک کھلا ماڈل ہے جسے ڈاؤن لوڈ کر کے مقامی طور پر چلایا جاتا ہے (مثلاً Ollama میں)، اور دستاویزات کے کسی متعین مجموعے کے بارے میں سوالات کے لیے – RAG قسم کا بازیافت کا نظام، جو صرف اسی ذخیرے سے جواب دیتا ہے جو محقق نے متعین کیا، اس لیے زیادہ درست ہے اور حساس یا محفوظ ڈیٹا کے لیے موزوں ہے (Drucker & Albrezzi, 2026, pp. 118-119, 121)۔ جدول 2 کے تمام ماڈل پہلی قسم کے ہیں – کھلے اور آپ کے کمپیوٹر پر چلنے والے؛ انٹرویو کے ٹرانسکرپٹس کے لیے یہ سہولت کا فائدہ نہیں بلکہ شرط ہے (دیکھیں "آپ کا متن کہاں ہے؟" سیکشن 7 میں)۔ اور اسی باب سے ایک اور انتباہ: ہیلوسینیشنز (hallucinations) اب بھی ہوتی ہیں، اور جو چیز کسی عمومی ماڈل کے تربیتی ڈیٹا میں نہیں وہ ایسے لگتی ہے جیسے موجود ہی نہیں – تخلیقی ماڈل کا آؤٹ پٹ ماخذ کے مقابلے میں جانچا جاتا ہے، ماخذ کے طور پر نقل نہیں کیا جاتا (ص 119، 121)۔

5. کارپس، ٹیگ شدہ ٹری بینکس اور ذخیرے

ٹری بینک (treebank) ایک ایسا کارپس ہے جس میں انسانوں نے درست تقسیم بندی، ٹیگنگ اور نحو کی نشان دہی کی ہے – یہ ہر ماڈل کا "استاد" ہے، اور وہ پیمانہ بھی جس پر اسے ناپا جاتا ہے۔ عبرانی کے پاس Universal Dependencies میں دو عوامی ٹری بینک ہیں: پرانا HTB (90 کی دہائی کی صحافت) اور نیا IAHLTwiki (موجودہ ویکیپیڈیا)۔ ان کا چھوٹا حجم – ہر ایک تقریباً 5,000-6,000 جملے، جبکہ انگریزی میں دسیوں ہزار – پورے شعبے کی ایک ساختی حد ہے (Tsarfaty et al., 2020)۔ ان کے ساتھ: سیاسی گفتگو کا حوالہ جاتی کارپس – کنیسٹ کی کارروائیاں – اور ویب کے بڑے کارپس۔

6. جدید عبرانی سے پہلے کی عبرانی: عبرانی بائبل، حزل، قرونِ وسطیٰ

عبرانی بائبل کی محققہ اور حزل کے ادب کے محقق کے لیے صورت حال بنیادی طور پر مختلف ہے – اور ایک لحاظ سے بہتر۔ پورا بائبلی متن، لفظ بہ لفظ، اس سطح پر ٹیگ شدہ ہے جو کسی جدید کارپس کو حاصل نہیں: ETCBC کا ڈیٹا بیس (ایمسٹرڈیم کی فری یونیورسٹی میں Eep Talstra سینٹر برائے بائبل اور کمپیوٹر؛ 2013 تک – انفارمیٹکس گروپ WIVU، جس کی بنیاد 1977 میں رکھی گئی؛ Kingham & van Peursen, 2018، ص 1-2) ہر لفظ کے لیے املا، صرفیات، جزوِ کلام اور لیکسیم درج کرتا ہے، ہر ترکیب اور ہر فقرے کے لیے ان کی حدود اور ان کا کردار، اور ہر فقرے کے لیے اس کی قسم، اس کا دائرۂ کلام اور فقروں کے درجہ وار ڈھانچے میں اس کا مقام بھی (ایضاً، ص 3)۔ کوڈیکس لیننگراڈ (BHS کے مطابق) کے 426,555 الفاظ پر تقریباً 946 ہزار لسانی آبجیکٹس اور 22.6 ملین خصوصیاتی قدریں قائم ہیں (Roorda, 2017, Table 18.2, p. 222)، جو پوری عبرانی بائبل پر نحوی سوالات کے لیے کھلی ہیں – براؤزر میں SHEBANQ کے ذریعے (2014 سے) اور Python میں Text-Fabric کے ذریعے (2017 سے؛ Roorda, 2017، ص 223-224؛ Roorda, 2018)۔ قیمت: ٹیگنگ کے پیچھے لسانی ماڈل ایک مخصوص نظریہ ہے، اور اس پر مبنی تحقیقی نتائج اس کے فیصلے ورثے میں پاتے ہیں۔ بالکل کیا ورثے میں ملتا ہے – آگے، خود ڈیٹا بیس بنانے والوں کی زبانی۔

"مشاہدات، نظریہ نہیں" – اور دعوے کی حدود۔ Roorda بنیادی انتخاب کو یوں بیان کرتے ہیں: ٹیم نے "حواشی کو کسی درجہ وار لسانی ماڈل میں ڈھالنے سے گریز کیا، کیونکہ وہ مشاہدات کی نمائندگی کرنا چاہتی تھی، نظریے کی نہیں"، اور جو وجود میں آیا وہ "ڈیٹا بیس ہے، ایسے مشاہداتی ڈیٹا کے معنی میں جن پر نظریات کی بنیاد رکھی جا سکتی ہے" (Roorda, 2017, pp. 218-219)۔ کام کے دو اصول اسے مجسم کرتے ہیں (Kingham & van Peursen, 2018, pp. 3-4; Talstra & Sikkel, 2000, pp. 54-56, Figure 7): صورت سے کردار تک – پہلے سطحی خصوصیات درج کی جاتی ہیں اور اس کے بعد ہی کردار کے لیبل، ڈیٹا جمع ہونے کے بعد تک کسی لسانی نظریے سے وابستگی کے بغیر؛ اور نیچے سے اوپر – مارفیمز سے لیکسیمز، تراکیب، فقروں، جملوں اور متن تک، ایسے سانچوں کی شناخت کے ذریعے جن کی صارف تصدیق کرتا ہے اور سافٹ ویئر سیکھتا ہے ("قواعد پہلے سے فرض نہیں کیے جائیں گے، بلکہ ڈیٹا کے تجزیے کے دوران شکل اختیار کریں گے" – Talstra & Sikkel، ص 46)۔ لیکن ڈیٹا بیس بنانے والے خود تحفظ ظاہر کرتے ہیں: "کسی نظریے سے عدم وابستگی بذاتِ خود ایک طرح کا نظریہ ہے – ایسا جو صرف اسی وقت کام کرتا ہے جب متن میں ساخت اور کردار براہ راست جڑے ہوں" (Kingham & van Peursen, p. 4)؛ نظریاتی بنیادیں Wolfgang Schneider اور Harald Weinrich کے ساختیاتی متنی قواعد تک جاتی ہیں (ibid., Note 10; Talstra & Sikkel, p. 62, Note 26)؛ اور "لسانی ڈیٹا کا کوئی 'غیر جانبدار'، یعنی نظریاتی غور و فکر سے خالی، اندراج ممکن نہیں" – ڈیٹا بیس کی تعمیر بذاتِ خود تحقیق ہے، محض اس کا بنیادی ڈھانچہ نہیں (Talstra & Sikkel, p. 53)۔ وہ چار فیصلے جو ہر نتیجہ ورثے میں پاتا ہے:

1. فقرے کی حدود۔ تقسیم بندی دو مرحلوں میں ہوتی ہے: پہلے تقسیم کی اکائیوں میں – "ایٹمز"، یعنی الفاظ کے ایسے سلسلے جو مزید تقسیم نہیں ہو سکتے اور منقطع نہیں ہوتے – اور اس کے بعد ہی عملی اکائیوں میں، جو کئی ایٹمز سے مل کر بن سکتی ہیں اور اس لیے ان میں شمولیت اور خلا ہو سکتے ہیں (Talstra & Sikkel, 2000، ص 47-48، 51؛ Kingham & van Peursen, 2018، ص 5-6؛ ان کی مثال: پیدائش باب تین، آیت 11، جس میں "אשר" والا فقرہ اور "לבלתי" والا فقرہ محیط فقرے کے دو حصوں کے درمیان حائل ہیں)۔ مشکل فیصلہ اسمِ حالیہ (participle) کا ہے: جب صرفیات مبہم ہو اور ملحقہ تراکیب کو اس کے تابع سمجھا جا سکے تو اسمِ حالیہ کو فقرے کی سطح پر خبر مانا جاتا ہے – اس لیے "ארץ אכלת יושביה הוא" (گنتی باب تیرہ، آیت 32) کو ایک الگ صفتی فقرے کے طور پر کوڈ کیا جاتا ہے نہ کہ ایک اسمی ترکیب کے طور پر (Talstra & Sikkel, pp. 49-51, 52)۔ جو محققہ فقرے گنتی ہے، فقرے کی لمبائی ناپتی ہے یا فقروں کے باہمی تعلقات کا حساب لگاتی ہے، وہ یہی فیصلہ گن رہی ہے۔

2. فقرے کی قسم اور دائرۂ کلام۔ ہر فقرے کو مرکزی فعل کی صورت اور اجزا کی ترتیب کی بنیاد پر ایک قسم ملتی ہے (واضح فاعل کے بغیر wayyiqtol، w-X-qatal، اسمی جملہ، اسمِ حالیہ والا فقرہ وغیرہ)، ایک "جنس" (فعلیہ، اسمیہ، خبر کے بغیر) اور ایک دائرۂ کلام – بیانیہ، تکلم یا شامل شدہ (Kingham & van Peursen, 2018, p. 3)۔ دائرۂ کلام فعل کی بنیاد پر طے ہوتا ہے نہ کہ ادبی قراءت کی بنیاد پر: wayyiqtol فقرے پر بیانیہ (N) کا نشان لگتا ہے، "אמר" یا "דבר" سے شروع ہونے والا فقرہ اقتباس (Q) کھولتا ہے، امر یا yiqtol، تمہیدِ کلام کے بغیر – گفتگو (D)، اور کسی قواعدی اشارے کی عدم موجودگی میں فقرہ اپنے اوپر والے فقرے کا نشان ورثے میں پاتا ہے؛ یوں "QN" براہ راست تکلم کے اندر wayyiqtol کی نشان دہی کرتا ہے، اور "ND" – بیانیے کے اندر yiqtol کی (Talstra & Sikkel, 2000, p. 62)۔ یہ Weinrich اور Schneider کا متنی نحو (text-syntax) ہے، اس لیے یہاں "بیانیہ" اور "گفتگو" فعل کے نظام کے زمرے ہیں، صنف کے نہیں۔ اجزا کے کردار (فاعل، خبر، مفعول، تکملہ) عملی، یعنی دوسرا، مرحلہ ہیں، اور یہی مثال کے طور پر فعلوں کی ویلنسی (valency) کے منظم موازنے کو ممکن بناتے ہیں (ایضاً، ص 63)۔

3. واو عطف اور فقروں کا درجہ وار ڈھانچہ۔ فقرے کی حد، دیگر باتوں کے علاوہ، اس وقت طے ہوتی ہے جب واو (ו) کے دونوں طرف مختلف اقسام کی تراکیب ہوں – حرفِ جار والی ترکیب، واو، اسمی ترکیب – اور مصنفین کی مثال پیدائش باب بائیس، آیت 1 ہے (Kingham & van Peursen, 2018, p. 5)۔ لیکن ڈیٹا بیس حد پر نہیں رکتا: وہ "ماں" اور "بیٹی" فقروں کا ایک درجہ وار ڈھانچہ بناتا ہے۔ اس کا کم تجرباتی حصہ واضح حروفِ عطف اور موصولات پر مبنی ہے؛ اس سے آگے سافٹ ویئر مماثلت تلاش کرتا ہے – فعل کی صورتوں کی قربت، شخص، عدد اور جنس کا تسلسل، اور فقروں کی دونوں اقسام کے درمیان پہلے سے پائے گئے روابط کا تعدد (ایضاً، ص 6)۔ Talstra اور Sikkel اسے دو مسترد شدہ متبادلات کی اصلاح کے طور پر پیش کرتے ہیں: BHt میں Richter کی لکیری تقسیم بندی، جو واو کے ذریعے مرکزی فقروں کے باہمی ربط کو بالکل نہیں دیکھتی (Talstra & Sikkel, 2000, pp. 39-40)، اور سائلہائمر کا "اوپر سے نیچے" والا تجزیہ، جو متن کی سطحوں کو لسانی نہیں بلکہ ادبی معیارات کے مطابق الگ کرتا ہے اور اسمِ حالیہ اور مصدر والے فقروں کو فقرے تسلیم نہیں کرتا (ایضاً، ص 40-42)۔ اور اہم بات: فقروں کا درجہ وار ڈھانچہ اور پیراگراف ڈیٹا بیس میں تجرباتی خصوصیات کے طور پر درج ہیں (Kingham & van Peursen, p. 3) – جو ان پر انحصار کرے اسے یہ بتانا چاہیے۔

4. متن، نقل حرفی اور کوڈنگ۔ متن BHS ایڈیشن کے مطابق کوڈیکس لیننگراڈ ہے (Roorda, 2017, p. 218)؛ صرفیات "کوڈ شدہ ہے، ٹیگ شدہ نہیں" – سابقے، لیکسیم، امتیازی حرکات اور لاحقے ETCBC کی اندرونی نقل حرفی میں، جس سے سافٹ ویئر تجزیہ اخذ کرتا ہے (Verheij, 1994, as cited in Kingham & van Peursen, 2018, p. 4)؛ اور Roorda خود لکھتے ہیں کہ مرکز "اپنے طور طریقوں میں ڈوبا ہوا" ہے – اپنی نقل حرفی اور اپنے کوڈنگ کے طریقے، جو 2014 میں کھلنے کے ساتھ ہی عوام کے لیے دستاویز کیے گئے (Roorda, 2017, p. 226)۔ ڈیٹا بیس ورژنز میں اپ ڈیٹ ہوتا ہے (ETCBC4, 4b, 4c; ibid., p. 221)، اور Text-Fabric ہمیشہ سرور کے ورژن سے مماثل نہیں ہوتا (Kingham & van Peursen, Note 26)۔

طریقۂ کار کے باب میں کیا لکھا جائے۔ یہ کہ فقروں میں تقسیم بندی، فقروں کی اقسام، دائرہ ہائے کلام اور فقروں کا درجہ وار ڈھانچہ ETCBC کے ماڈل کی پیداوار ہیں – نیچے سے اوپر، صورت سے کردار تک، Weinrich اور Schneider کے متنی قواعد کی بنیادوں پر – نہ کہ متن کے خام حقائق؛ ڈیٹا کا کون سا ورژن استعمال ہوا (اور GitHub پر BHSA کا نمبر یا DANS میں DOI)؛ اور کون سی تجرباتی خصوصیات تجزیے میں شامل ہوئیں۔ ڈیٹا بیس بنانے والے خود اسے "متنی-قواعدی تحقیق کا آلہ" سمجھتے ہیں نہ کہ حتمی نتیجہ (Talstra & Sikkel, 2000, p. 35) – اور جو محققہ اس کا حوالہ دیتی ہے وہ یہ حیثیت بھی ورثے میں پاتی ہے۔ اس پیراگراف کی حتمی عبارت، صفحے کے تمام فیصلوں کی طرح، ETCBC کی نہیں بلکہ اس سائٹ کی ہے؛ جو محققہ کمپیوٹیشنل بائبلی تنقید میں کام کرتی ہے وہ اسے اپنے کام کی روشنی میں خود لکھنا پسند کرے گی۔

حزل کے ادب کے لیے کوئی مکمل دستی ٹیگنگ موجود نہیں، اس لیے وہاں لسانی ماڈل کام آتا ہے: BEREL کو تلمود، مدراش اور ریشونیم – باہم گندھی ہوئی عبرانی اور آرامی – پر تربیت دی گئی، اور یہ ان متون میں اعراب گذاری، اوقاف اور متوازی عبارتوں کی شناخت کے لیے Dicta کے ٹولز کی بنیاد ہے۔ جو یہ تلاش کر رہا ہو کہ "یہ لفظ پہلی بار کب ظاہر ہوا" – اس کے لیے اکیڈمی کی تاریخی لغت (Ma'agarim)؛ اور جسے خود متون کی، پروگرامنگ کے ذریعے رسائی کے ساتھ، ضرورت ہو – اس کے لیے Sefaria کا API۔

7. کام کا نسخہ: سماجی تحقیق میں عبرانی متن کا مقداری تجزیہ

عام صورت: سروے میں 400 کھلے جوابات، انٹرویو کے 30 ٹرانسکرپٹس، یا ایک ہزار پوسٹس۔ مقصد: متن سے ایسے اعداد تک پہنچنا جنہیں سائٹ کے کیلکولیٹرز میں منتقل کیا جا سکے – زمروں کے تعددات، ہر جواب دہندہ کے لیے جذبات کے اسکور، مواد اور پس منظر کے متغیرات کے درمیان تعلق۔ سات قدم، اور ہر ایک دستاویزی۔

عام غلطیاں

ٹوکن گن کر یہ سمجھنا کہ الفاظ گن لیے۔ "בבית"، "לבית"، "הבית"، "ביתנו" – تعددات کے جدول میں چار قطاریں، حقیقت میں ایک لفظ۔ ہر وہ تجزیہ جو تقسیم بندی کو چھوڑ دیتا ہے حروفِ جار کی تقسیم کی رپورٹ دیتا ہے، مواد کی نہیں۔

stemmer چلانا۔ عمومی ٹولز "عبرانی کے لیے لاحقے ہٹانے" کی سہولت پیش کرتے ہیں۔ مادہ اور وزن کی صرفیات میں ایسی کوئی چیز نہیں؛ نتیجہ حروف کے ایسے سلسلے ہیں جو الفاظ نہیں۔

LIWC یا کسی ترجمہ شدہ جذباتی لغت میں منتقل کرنا۔ کوئی سرکاری عبرانی LIWC لغت نہیں: LIWC-22 کی لغات کا ذخیرہ 18 زبانیں شمار کرتا ہے (ستمبر 2026)، اور عبرانی ان میں نہیں۔ واحد گروہ جس نے اس کا مکمل ترجمہ کیا – Shapira اور دیگر (2021) – نے یہ 150 ہزار ترجمے کے امیدواروں اور تقریباً 1,000 گھنٹوں کی جانچ کے ساتھ کیا، اور وہ نتیجہ شائع کرنے کا مجاز نہیں کیونکہ LIWC تجارتی ہے (ص 56، 62)۔ وہ یہ بھی بتاتا ہے کہ لفظ بہ لفظ ترجمہ کیوں ناکام ہوتا ہے: "براہ راست ترجمہ جزوی یا غلط نتائج تک لے جاتا ہے" (ص 55) – گردانیں اور فعل کی صورتیں جن کا کوئی انگریزی مماثل نہیں، مختلف الفاظ جو ایک ہی لیما میں ضم ہو جاتے ہیں، اور LIWC کی "میں" والی لغت (انگریزی میں 12 الفاظ) جسے عبرانی صرفیات "گننے سے روکتی ہے" (ص 56)۔ اس کی جگہ کیا ہے: Hebrew Psychological Lexicons – جذبات، افسردگی اور بہبود کی لغات جو سائیکو تھراپی کے 872 ٹرانسکرپٹس سے عبرانی کے لیے بنائی گئیں اور تین جانچ کاروں کے ذریعے ان کی توثیق کی گئی (Fleiss کا κ پہلے دور میں .54، مصالحت کے بعد .95؛ ص 57)، GitHub پر مفت (CC BY-SA؛ hepsylex پیکیج)۔ HebEMO کے پاس کم از کم عبرانی تربیت ہے – اور پھر بھی توثیق درکار ہے (سیکشن 7، قدم 6)۔

کسی عمومی ٹول میں "عبرانی کی حمایت" پر بھروسہ کرنا۔ spaCy میں عبرانی "none yet" ہے؛ AntConc اور Voyant میں عبرانی لوڈ تو ہوتی ہے لیکن اس کی تقسیم بندی نہیں ہوتی؛ کثیر لسانی ماڈلز میں اس کا تجزیہ انگریزی ذخیرۂ الفاظ کے ذریعے ہوتا ہے۔ حمایت = ٹوکنائزیشن، الا یہ کہ کچھ اور کہا گیا ہو۔

غیر جدید متن پر جدید ماڈل چلانا۔ گمارا کے ایک صفحے پر AlephBERT، یسعیاہ کے ایک باب پر HebPipe – آؤٹ پٹ درست نظر آئے گا اور زیادہ تر غلط ہو گا۔ لسانی اسلوب ٹول پر مقدم ہے (سیکشن 1د)۔

نارملائز نہ کرنا – اور ہر لفظ کے بدلے دو لفظ پانا۔ اعراب جو ہٹائے نہیں گئے، گرشائیم جو یکساں نہیں کیے گئے، مکمل اور ناقص املا ساتھ ساتھ۔ علامت: سب سے عام لفظ حیرت انگیز طور پر کم تعدد کے ساتھ ظاہر ہوتا ہے۔

فیصلہ ماڈل کے حوالے کر دینا۔ موضوعات کی تعداد، سینٹیمنٹ کی حد، اسٹاپ ورڈز کی فہرست – یہ محقق کے فیصلے ہیں، جو دستاویزی اور مدلل ہوں۔ جس ماڈل نے "خود" انتخاب کیا وہ ایسا ماڈل ہے جس نے کسی اور کی طے شدہ ترتیب (default) کو چنا۔

جانچ کی فہرست – عبرانی متن کا تجزیہ کرنے سے پہلے

حوالہ جات

عبرانی زبان کی اکیڈمی۔ (2017)۔ כללי הכתיב המלא [مکمل املا کے قواعد]۔ https://hebrew-academy.org.il/topic/hahlatot/missingvocalizationspelling/

Adler, M., & Elhadad, M. (2006). An unsupervised morpheme-based HMM for Hebrew morphological disambiguation. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (pp. 665-672). Association for Computational Linguistics. https://doi.org/10.3115/1220175.1220259

Ahia, O., Kumar, S., Gonen, H., Kasai, J., Mortensen, D. R., Smith, N. A., & Tsvetkov, Y. (2023). Do all languages cost the same? Tokenization in the era of commercial language models. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (pp. 9904-9923). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.emnlp-main.614

Bareket, D., & Tsarfaty, R. (2021). Neural modeling for named entities and morphology (NEMO²). Transactions of the Association for Computational Linguistics, 9, 909-928. https://doi.org/10.1162/tacl_a_00404

Chriqui, A., & Yahav, I. (2022). HeBERT and HebEMO: A Hebrew BERT model and a tool for polarity analysis and emotion recognition. INFORMS Journal on Data Science, 1(1), 81-95. https://doi.org/10.1287/ijds.2022.0016

Drucker, J., & Albrezzi, F. (2026). The digital humanities coursebook: Applied concepts and critical approaches (2nd ed.). Routledge. https://doi.org/10.4324/9781003589792

Goldin, G., Howell, N., Ordan, N., Rabinovich, E., & Wintner, S. (2025). The Knesset corpus: An annotated corpus of Hebrew parliamentary proceedings. Language Resources and Evaluation, 59(3), 2973-3004. https://doi.org/10.1007/s10579-025-09833-4

Goregaokar, M., & Leroy, R. (Eds.). (2026). Unicode bidirectional algorithm (Unicode Standard Annex No. 9, Revision 52). Unicode Consortium. https://www.unicode.org/reports/tr9/

Itai, A., & Wintner, S. (2008). Language resources for Hebrew. Language Resources and Evaluation, 42(1), 75-98. https://doi.org/10.1007/s10579-007-9050-8

Kingham, C., & van Peursen, W. (2018). The ETCBC database of the Hebrew Bible. Journal for Semitics, 27(1), Article 2974. https://doi.org/10.25159/1013-8471/2974

McCarthy, J. J. (1981). A prosodic theory of nonconcatenative morphology. Linguistic Inquiry, 12(3), 373-418.

More, A., Seker, A., Basmova, V., & Tsarfaty, R. (2019). Joint transition-based models for morpho-syntactic parsing: Parsing strategies for MRLs and a case study from Modern Hebrew. Transactions of the Association for Computational Linguistics, 7, 33-48. https://doi.org/10.1162/tacl_a_00253

Neguse, T. T., Gabay, H., Reychav, I., McHaney, R., & Jonathan, G. M. (2026). AI-based chatbots and public value creation in digital government services. Transforming Government: People, Process and Policy. Advance online publication. https://doi.org/10.1108/TG-02-2026-0074

Pérez Fernández, M. (1997). An introductory grammar of Rabbinic Hebrew (J. Elwolde, Trans.). Brill. (Original work published 1992)

Ravid, D., & Schiff, R. (2006). Roots and patterns in Hebrew language development: Evidence from written morphological analogies. Reading and Writing, 19(8), 789-818. https://doi.org/10.1007/s11145-006-9004-3

Roorda, D. (2017). The Hebrew Bible as data: Laboratory – sharing – experiences. In J. Odijk & A. van Hessen (Eds.), CLARIN in the Low Countries (pp. 217-229). Ubiquity Press. https://doi.org/10.5334/bbi.18

Roorda, D. (2018). Coding the Hebrew Bible. Research Data Journal for the Humanities and Social Sciences, 3(1), 27-41. https://doi.org/10.1163/24523666-01000011

Rust, P., Pfeiffer, J., Vulić, I., Ruder, S., & Gurevych, I. (2021). How good is your tokenizer? On the monolingual performance of multilingual language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) (pp. 3118-3135). Association for Computational Linguistics. https://doi.org/10.18653/v1/2021.acl-long.243

Sáenz-Badillos, A. (1993). A history of the Hebrew language (J. Elwolde, Trans.). Cambridge University Press. (Original work published 1988)

Seker, A., Bandel, E., Bareket, D., Brusilovsky, I., Greenfeld, R., & Tsarfaty, R. (2022). AlephBERT: Language model pre-training and evaluation from sub-word to sentence level. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 46-56). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.acl-long.4

Shapira, N., Atzil-Slonim, D., Juravski, D., Baruch, M., Stolowicz-Melman, D., Paz, A., Alfi-Yogev, T., Azoulay, R., Singer, A., Revivo, M., Dahbash, C., Dayan, L., Naim, T., Gez, L., Yanai, B., Maman, A., Nadaf, A., Sarfati, E., Baloum, A., . . . Goldberg, Y. (2021). Hebrew psychological lexicons. In Proceedings of the Seventh Workshop on Computational Linguistics and Clinical Psychology: Improving Access (pp. 55-69). Association for Computational Linguistics. https://doi.org/10.18653/v1/2021.clpsych-1.6

Shmidman, A., Guedalia, J., Shmidman, S., Shmidman, C. S., Handel, E., & Koppel, M. (2022). Introducing BEREL: BERT embeddings for rabbinic-encoded language. arXiv. https://arxiv.org/abs/2208.01875

Shmidman, A., Shmidman, S., Koppel, M., & Goldberg, Y. (2020). Nakdan: Professional Hebrew diacritizer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations (pp. 197-203). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-demos.23

Shmidman, S., Shmidman, A., Cohen, A. D. N., & Koppel, M. (2024). Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with enhanced vocabulary and instruction capabilities. arXiv. https://arxiv.org/abs/2407.07080

Shmidman, S., Shmidman, A., & Koppel, M. (2023). DictaBERT: A state-of-the-art BERT suite for Modern Hebrew. arXiv. https://arxiv.org/abs/2308.16687

Shmidman, S., Shmidman, A., Koppel, M., & Tsarfaty, R. (2024). MRL parsing without tears: The case of Hebrew. In Findings of the Association for Computational Linguistics: ACL 2024 (pp. 4537-4550). Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.findings-acl.269

Sima'an, K., Itai, A., Winter, Y., Altman, A., & Nativ, N. (2001). Building a tree-bank of Modern Hebrew text. Traitement Automatique des Langues, 42(2), 347-380.

Talstra, E., & Sikkel, C. J. (2000). Genese und Kategorienentwicklung der WIVU-Datenbank, oder: Ein Versuch, dem Computer Hebräisch beizubringen. In C. Hardmeier, W.-D. Syring, J. D. Range, & E. Talstra (Eds.), Ad fontes! Quellen erfassen – lesen – deuten. Was ist Computerphilologie? Ansatzpunkte und Methodologie – Instrumente und Praxis (Applicatio 15, pp. 33-68). VU University Press.

Tsarfaty, R., Bareket, D., Klein, S., & Seker, A. (2020). From SPMRL to NMRL: What did we learn (and unlearn) in a decade of parsing morphologically-rich languages (MRLs)? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 7396-7408). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.660

Tsarfaty, R., Sadde, S., Klein, S., & Seker, A. (2019). What's wrong with Hebrew NLP? And how to make it right. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations (pp. 259-264). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-3044

Unicode Consortium. (2026). The Unicode Standard, Version 18.0.0. https://www.unicode.org/versions/Unicode18.0.0/

Whistler, K. (Ed.). (2026). Unicode normalization forms (Unicode Standard Annex No. 15, Revision 58). Unicode Consortium. https://www.unicode.org/reports/tr15/

Wintner, S. (2004). Hebrew computational linguistics: Past and future. Artificial Intelligence Review, 21(2), 113-138. https://doi.org/10.1023/B:AIRE.0000020865.73561.bc

Zeldes, A., Howell, N., Ordan, N., & Ben Moshe, Y. (2022). A second wave of UD Hebrew treebanking and cross-domain parsing. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (pp. 4331-4344). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.emnlp-main.292