NLP برای عبری: ابزارها و مسائل

راهنما

در این صفحه

پردازش زبان طبیعی (natural language processing, NLP) لایه زیرین هر تحلیل کمّی متن است – شمارش واژه‌ها، تحلیل محتوا، مدل‌سازی موضوعی، تشخیص احساس. در انگلیسی این لایه شفاف است: با فاصله جدا می‌کنیم، پسوند را برمی‌داریم، می‌شماریم. در عبری شفاف نیست، و پژوهشگری که آن را شفاف فرض کند اعدادی به دست می‌آورد – بی‌صدا نادرست. این صفحه توضیح می‌دهد چه چیزی در عبری ابزارهای عمومی را از کار می‌اندازد (بخش 1)، مسئله فنی‌ای که بر هر تحلیلی مقدم است – رمزگذاری و جهت‌نویسی (2)، یک خط لوله پردازش عبری درست چه می‌کند و کدام ابزارها آن را پیاده می‌کنند (3)، مدل‌های زبانی در دسترس کدام‌اند (4)، چه پیکره‌ها و بانک‌های برچسب‌خورده‌ای وجود دارند (5)، چه چیزی در عبری کتاب مقدسی و ربّانی متفاوت است (6)، و دستور کاری عملی برای تحلیل متن عبری در پژوهش اجتماعی (7) – تا نقطه‌ای که متن به عدد تبدیل می‌شود و ماشین‌حساب‌های سایت ادامه می‌دهند.

1. چرا عبری برای رایانه دشوار است – چهار مسئله

الف. نوشتار بدون اعراب است، و بنابراین مبهم. توکن ספר می‌تواند סֵפֶר (کتاب)، סַפָּר (آرایشگر)، סָפַר (شمرد)، סִפֵּר (تعریف کرد) یا סְפָר (مرز) باشد – پنج واژه متفاوت با همان سه حرف، و خواننده بی‌آنکه متوجه شود بر اساس بافت انتخاب می‌کند. رایانه نمی‌تواند. در سنجشی روی شش میلیون واژه از متون مطبوعاتی، تعداد تحلیل‌های صرفی ممکن برای یک توکن عبری به‌طور میانگین 2.4 است، در برابر 1.4 در انگلیسی (Adler & Elhadad, 2006) – و به همین دلیل هر خط لوله عبری مرحله‌ای دارد که در انگلیسی نیست: ابهام‌زدایی (disambiguation)، که در آن مدل حدس می‌زند کدام خوانش درست است. این حدس امروز چقدر خوب است؟ بهترین مدل عبری گزارش‌شده، DictaBERT-Parse-large، روی مجموعه آزمون بانک درختی به 97.9% در بخش‌بندی پیشوندها، 97.3% در برچسب‌گذاری اجزای کلام و 95.6% در ویژگی‌های صرفی می‌رسد – اما فقط به 85.4% در تجزیه نحوی برچسب‌دار (LAS)، و پیش از گسترش پیکره آموزشی به 975 هزار واژه اعداد اندکی پایین‌تر بودند (Shmidman, Shmidman, Koppel & Tsarfaty, 2024, Table 1). یعنی: در سطح واژه بالای 95%، در سطح جمله کمتر؛ و در متنی 10,000 واژه‌ای حتی 2-5% یعنی صدها خطا که وارد شمارش می‌شوند.

ب. صرف غنی است، و واژه "درهم می‌آمیزد". حروف اضافه، ربط و تعریف (ו، ה، ב، כ، ל، מ، ש) پیش از واژه می‌چسبند، و ضمایر ملکی و مفعولی – پس از آن: בביתם = ב + בית + הם (در + خانه + شان)؛ ראיתיו = ראיתי + אותו (دیدم + او را). در بانک درختی عبری (جدول 3)، 114,648 توکن شامل 160,195 واژه نحوی است – یعنی از هر سه توکن در یک متن مطبوعاتی معمولی یکی باید پیش از شمارش تجزیه شود. ابزاری که از بخش‌بندی صرف‌نظر کند "בבית"، "לבית"، "הבית" و "בית" را چهار واژه می‌شمارد – و واژه پربسامد "ש" (שֶ، که) را اصلاً نمی‌بیند، چون هرگز تنها نمی‌آید.

ج. ریشه و وزن: صرف غیرزنجیره‌ای. در انگلیسی واژه با زنجیره‌سازی ساخته می‌شود – walk + ed: تکواژهای گسسته‌ای که در لبه پایه به هم می‌پیوندند، و بنابراین، چنان‌که McCarthy بیان کرده، می‌توان آن‌ها را "با تجزیه چپ‌به‌راست واژه‌ها در جست‌وجوی زیررشته‌های تکرارشونده" بازیافت (McCarthy, 1981, p. 373). در عبری و عربی ریشه "ملودی"ای از همخوان‌ها بر لایه‌ای جداگانه است، که در قالبی نوایی از جایگاه‌های همخوان و واکه می‌نشیند (ص. 386-387): כ-ת-ב (ک-ت-ب) در وزن "بافته می‌شود" – כָּתַב، כּוֹתֵב، מִכְתָּב، הִכְתִּיב، כְּתוּבָה، הִתְכַּתֵּב – و McCarthy مقاله‌اش را دقیقاً با چنین صیغه‌ای در عربی آغاز می‌کند (kataba, kattaba, kitaabun, maktabun…)، صورت‌هایی که "از نظر صرفی به هم مربوط‌اند هرچند رشته‌های جداشده‌ای از واج‌ها را با هم شریک نیستند" (ص. 374-375). از اینجا نتیجه می‌شود که رشته حروف مشترکی وجود ندارد که بتوان آن را "برید" (stemming)، و ابزارهایی که پسوند برمی‌دارند – استاندارد انگلیسی – در عبری بی‌معنایند. راه‌حل بن‌واژه‌سازی (lemmatization) با واژه‌نامه است، و آن نیز بن‌واژه را برمی‌گرداند (כתב، מכתב، כתובה – سه بن‌واژه)، نه ریشه را. و نزد گویشوران ریشه لایه‌ای واقعی است، نه فقط توصیفی دستوری: Ravid و Schiff جمع‌بندی می‌کنند که ریشه "سطح بازنمایی جداگانه‌ای در واژگان ذهنی" گویشوران عبری و عربی دارد، که معنای هسته‌ای پیونددهنده همه اعضای خانواده صرفی را حمل می‌کند (ג-ד-ל: גדל، גידל، הגדיל، גידול، מגדל، מגדלת، גדול…)، و کودکان از دوسالگی ریشه‌ها را از واژه‌ها استخراج می‌کنند (Ravid & Schiff, 2006, pp. 790-791)؛ در آزمایش‌های آن‌ها روی 300 کودک دبستانی، شناسایی ریشه "محوری و پایدار" از میان این دو بود، در حالی که درک وزن شکننده‌تر است و دیرتر پدید می‌آید – از جمله چون حدود 4,000 ریشه در برابر حداکثر حدود 200 وزن وجود دارد، و چون معنای وزن یکدست نیست (ص. 808-809). پرسش پژوهشی درباره "حوزه معنایی یک ریشه" بنابراین بر واحدی روان‌شناختی و واقعی تکیه دارد – اما لایه‌ای افزون بر بن‌واژه می‌طلبد که ابزار آماده‌ای ندارد.

د. چهار گونه زبانی، چهار زبان. تقسیم‌بندی رایج در زبان‌شناسی عبری چهار دوره است – کتاب مقدسی، ربّانی (عبری حکیمان)، سده‌های میانه و اسرائیلی – با زیرتقسیم‌ها و مراحل گذار: عبری کتاب مقدسی به کهن، کلاسیک و متأخر (پس از تبعید)، و عبری ربّانی به زبان تنائیم و زبان آموراییم (Pérez Fernández, 1997, p. 1). این‌ها سبک‌های یک زبان نیستند بلکه مراحلی‌اند که به‌عنوان زبان گفتاری نیز جای یکدیگر را گرفتند: زبان کتاب مقدس، "که در اصل گویشی ادبی بود، در دوره پس از تبعید بابل دیگر زبانی زنده نبود"، و زبان حکیمان تا سرکوب شورش بارکوخبا (135 میلادی) گفتار روزمره در یهودیه بود و سپس فقط زبان نوشتار در کنار آرامی (Sáenz-Badillos, 1993, pp. 166, 171). Pérez Fernández در آغاز کتابش تفاوت‌ها را برمی‌شمارد، به اندازه‌ای که هر خواننده متن ربّانی را شگفت‌زده می‌کند: ש- به جای אשר، "של" به جای اضافه سمیخوت، "היה" با وجه وصفی، ناپدید شدن واو قلب، از دست رفتن مصدر مطلق و صورت‌های ویژه امر، و نون به جای میم در پسوند جمع (ص. 1)؛ و فقط حدود نیمی از واژگان زبان تنائیم با کتاب مقدس مشترک است – بقیه آرامی، یونانی، و به میزان کمتر لاتین، اکدی و فارسی است (ص. 4). عبری سده‌های میانه زبان نوشتار بود و نه گفتار، که از سده دهم با الهام از دستور زبان عربی احیا شد و به شعر غیردینی، فلسفه و علم گسترش یافت (Sáenz-Badillos, pp. 202-203)؛ و عبری اسرائیلی، به گفته Rosén (1958, as cited in Sáenz-Badillos, pp. 275-276)، کوینه‌ای است که در آن عناصر کتاب مقدسی و ربّانی در کنار هم به‌عنوان دو سطح سبکی به کار می‌روند، بر زیرلایه‌ای غیرعبری و با نحو و واژگانی متأثر از اسلاوی، آلمانی و به‌ویژه انگلیسی (ص. 280) – "آنچه دستور سنتی خطا می‌شمرد، در واقع نوآوری‌های مرحله‌ای تازه از زبان است" (ص. 276). پیامد برای رایانه: مدلی که روی روزنامه "هاآرتص" و ویکی‌پدیا آموزش دیده (AlephBERT، DictaBERT) روی صفحه‌ای از گمارا شکست می‌خورد؛ برای این کار BEREL ساخته شد (جدول 2)؛ و کتاب مقدس پایگاه داده دستی‌برچسب‌خورده خود را دارد (BHSA, Table 4) که اصلاً به مدل نیاز ندارد. نخستین انتخاب پژوهشگر "کدام ابزار" نیست بلکه "کدام عبری" است.

مرورهای بنیادین این حوزه: Wintner (2004) – نخستین دهه زبان‌شناسی رایانشی عبری؛ Itai & Wintner (2008) – منابعی که در تکنیون ساخته شدند و هر آنچه پس از آن آمد بر آن‌ها استوار است؛ و آنچه در دهه عصبی تغییر کرد – Tsarfaty, Bareket, Klein & Seker (2020).

2. مسئله‌ای که دیده نمی‌شود: رمزگذاری، اعراب و جهت‌نویسی

پیش از سخن گفتن از صرف، لایه‌ای هست که عبری در آن می‌شکند بی‌آنکه کسی متوجه شود – و بیشتر "حروف درهم‌ریخته‌ای" که پژوهشگران با آن روبه‌رو می‌شوند از آن می‌آید.

رمزگذاری. فایل عبری UTF-8 یا windows-1255 است (رمزگذاری قدیمی Windows برای عبری، که هنوز از SPSS و نرم‌افزارهای قدیمی بیرون می‌آید). فایل 1255 که به‌صورت UTF-8 باز شود رشته‌ای از نمادها به نظر می‌رسد؛ فایل UTF-8 بدون BOM که کتابخانه‌ای با فرض رمزگذاری لاتین آن را باز کند – همین‌طور. صفحه‌های ماشین‌حساب سایت هر دو حالت را خودکار اصلاح می‌کنند (نقشه ابزارها، بخش 7 را ببینید)؛ ابزار بیرونی – نه لزوماً. قاعده: همه چیز را با UTF-8 ذخیره کنید، و پیش از هر تحلیل سطر نخست را با چشم بررسی کنید. خطای نادرتر: "عبری دیداری" (ISO-8859-8 قدیمی)، که در آن حروف به ترتیب نمایش، از راست به چپ، ذخیره شده‌اند – واژه‌ها پس از تبدیل وارونه به نظر می‌رسند.

اعراب و نشانه‌های تجوید (کانتیلاسیون). در یونیکد، نشانه اعراب نویسه‌ای جداگانه است که به حرف می‌پیوندد (combining mark): در بلوک عبری (U+0590 تا U+05FF) 51 نشانه از این دست هست – نشانه‌های تجوید، اعراب، داگش و نقطه‌های شین و سین – از U+0591 (اتناختا) تا U+05C7 (قامص قاطان)، در کنار 27 حرف (U+05D0 تا U+05EA) و نشانه‌های نقطه‌گذاری (Unicode Consortium, 2026، بلوک Hebrew). "שָׁלוֹם" با اعراب و "שלום" بدون اعراب دو رشته متفاوت‌اند، و رشته اعراب‌دار بیش از یک صورت ذخیره‌سازی دارد: ترتیب نشانه‌ها روی یک حرف ("ש + قامص + نقطه شین" در برابر "ש + نقطه شین + قامص") و نویسه‌های ترکیبی نمایشی بلوک U+FB1D تا U+FB4F (46 نویسه، برای نمونه שׁ به‌صورت یک نویسه). نرمال‌سازی (NFC یا NFD) هر دو را حل می‌کند – نویسه‌های نمایشی را تجزیه و نشانه‌ها را بر اساس رده ترکیبشان مرتب می‌کند (Whistler, 2026، الگوریتم ترتیب‌دهی متعارف). پیش از شمارش – نرمال کنید، و سپس اعراب را بر اساس رده (Mn، نشانه بی‌فاصله) حذف کنید و نه بر اساس محدوده: محدوده U+0591 تا U+05C7 مقاف (U+05BE)، پاسِق، سوف پاسوق و نون وارونه را نیز دربر دارد – و کسی که محدوده را پاک کند آن‌ها را هم پاک می‌کند. متن کتاب مقدسی اعراب‌دار و با نشانه‌های تجوید که نرمال نشده باشد به هر واژه فراوانی 1 می‌دهد.

املای کامل و ناقص، حروف پایانی، نقطه‌گذاری عبری. "תוכנית" و "תכנית"، "אמיתי" و "אמתי"، "ליברלי" و "ליבראלי" – یک واژه، دو رشته، دو فراوانی. قواعد املای کامل آکادمی زبان عبری (2017) این دوپارگی را پایان نداد – فقط جهتش را تغییر داد. گِرِش و گِرْشایِم عبری (׳ ״) در برابر آپوستروف و گیومه ASCII (' ") – "ד״ר" و "ד"ר" دو توکن متفاوت‌اند، و همین‌طور همه سرواژه‌ها. مقاف عبری (־) در برابر خط تیره ASCII (-). راه‌حل خودکار کاملی وجود ندارد؛ نرمال‌سازی صریحی هست که مستند می‌شود.

جهت‌مندی. متن عبری RTL است، اما اعداد، نام‌های انگلیسی متغیرها و علائم نگارشی پایان آن چنین نیستند: در الگوریتم دوسویه یونیکد، حروف عبری از نوع R، ارقام از نوع EN، و علائم نگارشی و پرانتزها "خنثی" هستند – آن‌ها جهت قوی متنِ دو طرفشان را می‌گیرند، و اگر دو طرف متفاوت باشند، جهت بند را (Goregaokar & Leroy, 2026, Sections 3.2, 3.3.5) – و نتیجه آشناست: پرانتزهای وارونه، منفی در سمت راست عدد، نام‌های متغیر که در نمودار می‌شکنند. راه‌حلی که خود استاندارد پیشنهاد می‌کند جداسازی (isolate) است: "نویسه‌های درون یک جداسازی نمی‌توانند بر ترتیب نویسه‌های بیرون از آن اثر بگذارند، و برعکس"، و کل جداسازی نسبت به پیرامونش مانند یک نویسه خنثی رفتار می‌کند (همان، بخش 2.4). در این سایت این همان span.en (unicode-bidi: isolate) برای هر مقدار لاتین است؛ در R – موتور گرافیکی AGG (صفحه نمودار پراکنش، بخش "و این کار در R چگونه انجام می‌شود" را ببینید). در ابزارهایی مانند AntConc یا Voyant عبری کار می‌کند – اما ممکن است نمایش وارونه یا شکسته باشد، نه تحلیل. در مقابل: نمایش شکسته نشانه شمارش نادرست نیست، و شمارش نادرست (به‌سبب تقطیع) در نمایش دیده نمی‌شود.

3. زنجیره پردازش: از تقطیع تا تجزیه نحوی – و ابزارها

یک زنجیره پردازش درست برای عبری، به این ترتیب، این کارها را انجام می‌دهد: تقطیع (جدا کردن پیشوندها و پسوندها)، تحلیل صرفی (همه خوانش‌های ممکن برای هر قطعه)، ابهام‌زدایی (انتخاب خوانش درست در بافت)، برچسب‌گذاری اجزای کلام و لم، تجزیه نحوی (چه چیزی نهادِ چه چیزی است) و شناسایی موجودیت‌های نام‌دار (نام افراد، مکان‌ها، سازمان‌ها). بینش اصلی دهه گذشته این است که این مراحل مستقل نیستند: تقطیع درست "הבית" به نحو بستگی دارد، و نحو به تقطیع – و از همین رو مدل‌های خوب آن‌ها را به‌صورت یکپارچه انجام می‌دهند، نه یکی پس از دیگری (More, Seker, Basmova &; Tsarfaty, 2019; Tsarfaty, Sadde, Klein &; Seker, 2019). نسل کنونی – DictaBERT-joint – هر شش کار را در یک مدل انجام می‌دهد.

برای پژوهشگر اجتماعی معنای عملی این است: "توکن‌ساز عبری"ای وجود ندارد که بتوان آن را اجرا کرد و سپس با یک ابزار انگلیسی ادامه داد. تقطیع و لم‌یابی باید از یک زنجیره پردازش عبری بیایند، و خروجی آن – متن لم‌یابی‌شده و تقطیع‌شده – ورودی همه ابزارهای دیگر است (مدل‌سازی موضوعی، هم‌نمایی، واژه‌نامه‌ها).

4. مدل‌های زبانی برای عبری – و توکن‌سازی برای ما چه هزینه‌ای دارد

مدل‌های زبانی ازپیش‌آموزش‌دیده (pretrained language models) همان چیزی‌اند که زنجیره یکپارچه، شناسایی موجودیت‌ها و طبقه‌بندی هیجان را ممکن می‌کنند. عبری امروز خانواده‌ای کوچک اما جدی دارد، همه در Hugging Face؛ جدول 2 آن را بر اساس گونه زبانی و کارکرد مرتب می‌کند. تمایز مهم میان مدل‌های رمزگذار (BERT و مشتقات آن – متن موجود را تحلیل می‌کنند) و مدل‌های مولد (DictaLM، و مدل‌های غول‌پیکر تجاری – متن تولید می‌کنند) است. برای تحلیل کمّی در پژوهش به دسته نخست نیاز است؛ دسته دوم برای خلاصه‌سازی و برچسب‌گذاری کمکی سودمندند، و در این سایت – بیرون از اصل "بدون هوش مصنوعی در زمان اجرا". چنین مدلی از نظر فنی چیست – شبکه عصبی ژرفی که ازپیش آموزش دیده و تنظیم دقیق می‌شود – و چه زمانی چنین شبکه‌ای برای پژوهش اجتماعی مناسب است و چه زمانی نه: صفحه یادگیری ماشین، بخش 6.

هزینه توکن‌سازی. مدل زبانی واژه‌ها را نمی‌بیند بلکه "تکه‌هایی" (subword tokens) را می‌بیند که بر اساس فراوانی در پیکره آموزشی تعیین شده‌اند. در یک مدل چندزبانه که بیشتر بر انگلیسی آموزش دیده، یک واژه عبری به تکه‌های بیشتری از یک واژه انگلیسی هم‌طول تقسیم می‌شود – و از همین رو متن عبری توکن‌های بیشتری "می‌خورد"، با دقت کمتری تحلیل می‌شود، و در مدل‌های تجاری برای همان محتوا پول بیشتری هم هزینه دارد (Rust, Pfeiffer, Vulić, Ruder &; Gurevych, 2021; Ahia et al., 2023). به همین دلیل است که واژگان از 52K در AlephBERT به 128K در AlephBERTGimmel رسید، و مدل‌های مولد عبری واژگان عبری را عمداً گسترش می‌دهند. برای پژوهشگر: مدلی که برای عبری ساخته شده بر مدل چندزبانه‌ای که ده برابر بزرگ‌تر است برتری دارد – نه به‌سبب اندازه بلکه به‌سبب توکن‌سازی.

باز یا بسته، محلی یا راه دور. کتاب درسی علوم انسانی دیجیتال دو محور برای انتخاب مدل زبانی پیشنهاد می‌کند، و بهتر است آن‌ها را بر جدول 2 اعمال کرد: مدل بسته‌ای که روی سرور یک شرکت اجرا می‌شود یعنی "داده‌های شما در سرورهای اختصاصی گرفته و پردازش می‌شوند"، و در شرایط استفاده بسیاری از ابزارها کاربر می‌پذیرد که پرامپت‌ها و خروجی‌ها برای ادامه آموزش به کار روند؛ جایگزین، مدلی باز است که دانلود و به‌صورت محلی اجرا می‌شود (مثلاً در Ollama)، و برای پرسش‌هایی درباره مجموعه‌ای معین از اسناد – یک سامانه بازیابی از نوع RAG، که تنها از درون مخزنی که پژوهشگر تعریف کرده پاسخ می‌دهد، و از همین رو دقیق‌تر است و برای داده‌های حساس یا حفاظت‌شده مناسب است (Drucker & Albrezzi, 2026, pp. 118-119, 121). همه مدل‌های جدول 2 از نوع نخست‌اند – باز و قابل اجرا روی رایانه شما؛ برای متن پیاده‌شده مصاحبه‌ها این یک مزیت رفاهی نیست بلکه یک شرط است ("متن شما کجاست؟" در بخش 7 را ببینید). و هشداری دیگر از همان فصل: توهم‌ها (hallucinations) هنوز رخ می‌دهند، و آنچه در مجموعه آموزشی یک مدل عمومی نیست چنان می‌نماید که گویی وجود ندارد – خروجی مدل مولد در برابر منبع بررسی می‌شود، نه این‌که به‌عنوان منبع نقل شود (ص. 119، 121).

5. پیکره‌ها، درخت‌بانک‌ها و مخازن

درخت‌بانک (treebank) پیکره‌ای است که در آن انسان‌ها تقطیع، برچسب‌گذاری و نحو درست را نشانه‌گذاری کرده‌اند – این "آموزگار" هر مدل است، و نیز معیاری که مدل با آن سنجیده می‌شود. عبری دو درخت‌بانک عمومی در Universal Dependencies دارد: HTB قدیمی (مطبوعات دهه 90) و IAHLTwiki جدید (ویکی‌پدیای امروزی). کوچکی آن‌ها – هر کدام حدود 5,000-6,000 جمله، در برابر ده‌ها هزار در انگلیسی – محدودیتی ساختاری برای کل این حوزه است (Tsarfaty et al., 2020). در کنار آن‌ها: پیکره مرجع گفتار سیاسی – صورت‌جلسه‌های کنست – و پیکره‌های بزرگ وب.

6. عبری پیش از عبری امروزی: کتاب مقدس، حکمای تلمود، سده‌های میانه

برای پژوهشگر کتاب مقدس و پژوهشگر ادبیات حکمای تلمود (حَزال) وضعیت به‌طور بنیادین متفاوت است – و از یک جهت بهتر. کل متن کتاب مقدس، واژه به واژه، در سطحی برچسب‌گذاری شده است که هیچ پیکره امروزی‌ای ندارد: پایگاه داده ETCBC (مرکز اِپ تالسترا برای کتاب مقدس و رایانه در دانشگاه آزاد آمستردام؛ تا 2013 – گروه انفورماتیک WIVU، که در 1977 بنیان نهاده شد؛ Kingham & van Peursen, 2018, ص. 1-2) برای هر واژه املا، صرف، جزء کلام و واژگانه را ثبت می‌کند، برای هر گروه و هر بند مرزها و نقش آن‌ها را، و برای هر بند نیز نوع آن، حوزه گفتمانی آن و جایگاهش در سلسله‌مراتب بندها را (همان، ص. 3). روی 426,555 واژه کدکس لنینگراد (بر اساس BHS) حدود 946 هزار شیء زبانی و 22.6 میلیون مقدار ویژگی قرار دارد (Roorda, 2017, Table 18.2, p. 222)، که برای پرس‌وجوهای نحوی روی کل تَنَخ باز است – در مرورگر از طریق SHEBANQ (از 2014) و در Python از طریق Text-Fabric (از 2017؛ Roorda, 2017, ص. 223-224؛ Roorda, 2018). بها: مدل زبان‌شناختی پشت برچسب‌گذاری یک نظریه مشخص است، و نتایج پژوهشی که بر آن تکیه دارند تصمیم‌های آن را به ارث می‌برند. دقیقاً چه چیزی به ارث می‌رسد – در ادامه، از زبان خود سازندگان پایگاه.

"مشاهدات، نه نظریه" – و حدود این ادعا. روردا انتخاب بنیادین را چنین توصیف می‌کند: تیم "از شکل دادن به حاشیه‌نویسی‌ها در یک مدل زبان‌شناختی سلسله‌مراتبی پرهیز کرد، زیرا می‌خواست مشاهدات را بازنمایی کند، نه نظریه را"، و آنچه پدید آمد "پایگاه داده‌ای است به معنای داده‌های مشاهده‌ای که می‌توان نظریه‌ها را بر آن‌ها بنا کرد" (Roorda, 2017, pp. 218-219). دو اصل کاری این را تجسم می‌بخشند (Kingham & van Peursen, 2018, pp. 3-4; Talstra & Sikkel, 2000, pp. 54-56, Figure 7): از صورت به نقش – نخست ویژگی‌های سطحی ثبت می‌شوند و تنها پس از آن برچسب‌های نقش، بدون تعهد به نظریه زبان‌شناختی تا پس از گردآوری داده‌ها؛ و از پایین به بالا – از تکواژها به واژگانه‌ها، به گروه‌ها، به بندها، به جمله‌ها، به متن، با شناسایی الگوهایی که کاربر تأیید می‌کند و نرم‌افزار می‌آموزد ("دستور از پیش فرض نخواهد شد، بلکه در جریان تحلیل داده‌ها شکل خواهد گرفت" – Talstra & Sikkel، ص. 46). اما خود سازندگان پایگاه قید می‌زنند: "تعهد نداشتن به هیچ نظریه‌ای خود نوعی نظریه است – نظریه‌ای که تنها در صورتی کار می‌کند که ساختار و نقش در متن مستقیماً به هم مربوط باشند" (Kingham & van Peursen, p. 4)؛ بنیان‌های نظری به دستور متن ساختارگرای ولفگانگ اشنایدر و هارالد واینریش بازمی‌گردند (ibid., Note 10; Talstra & Sikkel, p. 62, Note 26)؛ و "ورود 'خنثی'، یعنی بدون تأمل نظری، داده‌های زبانی ممکن نیست" – ساختن پایگاه خود پژوهش است، نه صرفاً زیرساختی برای آن (Talstra & Sikkel, p. 53). چهار تصمیمی که هر نتیجه‌ای به ارث می‌برد:

1. مرزهای بند. تقطیع در دو مرحله انجام می‌شود: نخست به واحدهای توزیعی – "اتم‌ها"، توالی‌هایی از واژه‌ها که بیش از این تقسیم‌پذیر نیستند و گسسته نمی‌شوند – و تنها پس از آن به واحدهای نقشی، که می‌توانند از چند اتم تشکیل شوند و بنابراین درونه‌گیری و گسست را در بر گیرند (Talstra & Sikkel, 2000, ص. 47-48, 51؛ Kingham & van Peursen, 2018, ص. 5-6؛ مثال آن‌ها: پیدایش، باب سوم، 11، که در آن بند "אשר" و بند "לבלתי" میان دو بخش بند دربرگیرنده فاصله می‌اندازند). تصمیم دشوار وجه وصفی (بینونی) است: هنگامی که صرف دوپهلوست و گروه‌های مجاور را می‌توان وابسته به آن تفسیر کرد، وجه وصفی در سطح بند گزاره به شمار می‌آید – و از همین رو "ארץ אכלת יושביה הוא" (اعداد، باب سیزدهم، 32) به‌صورت یک بند وصفی جداگانه کدگذاری می‌شود و نه به‌صورت یک گروه اسمی واحد (Talstra & Sikkel, pp. 49-51, 52). کسی که بندها را می‌شمارد، طول بند را اندازه می‌گیرد یا روابط بندها را محاسبه می‌کند، همین تصمیم را می‌شمارد.

2. نوع بند و حوزه گفتمانی. هر بند بر اساس صورت فعل اصلی و ترتیب سازه‌ها نوعی می‌گیرد (wayyiqtol بدون نهاد صریح، w-X-qatal، جمله اسمیه، بند وجه وصفی و غیره)، "گونه" (فعلی، اسمی، بدون گزاره) و حوزه گفتمانی – روایت، گفتار یا درونه‌ای (Kingham & van Peursen, 2018, p. 3). حوزه گفتمانی بر پایه فعل تعیین می‌شود و نه بر پایه خوانش ادبی: بند wayyiqtol روایت (N) نشانه‌گذاری می‌شود، بندی که با "אמר" یا "דבר" آغاز می‌شود نقل‌قولی را می‌گشاید (Q)، امر یا yiqtol بدون آغازگر گفتار – گفتمان (D)، و در نبود سرنخ دستوری بند نشانه بند بالاتر از خود را به ارث می‌برد؛ بدین ترتیب "QN" نشانگر wayyiqtol درون گفتار مستقیم است، و "ND" – yiqtol درون روایت (Talstra & Sikkel, 2000, p. 62). این همان نحو متن واینریش و اشنایدر است، و از همین رو "روایت" و "گفتمان" در اینجا مقوله‌های نظام فعل‌اند، نه ژانر. نقش‌های سازه‌ها (نهاد، گزاره، مفعول، متمم) مرحله نقشی، یعنی مرحله دوم، هستند و همان‌ها برای نمونه مقایسه نظام‌مند ظرفیت افعال را ممکن می‌کنند (همان، ص. 63).

3. واو عطف و سلسله‌مراتب بندها. مرز بند، از جمله، هنگامی تعیین می‌شود که در دو سوی واو گروه‌هایی از انواع مختلف قرار گیرند – گروه حرف اضافه‌ای، واو، گروه اسمی – و مثال نویسندگان پیدایش، باب بیست‌ودوم، 1 است (Kingham & van Peursen, 2018, p. 5). اما پایگاه در مرز متوقف نمی‌شود: سلسله‌مراتبی از بندهای "مادر" و "دختر" می‌سازد. بخش کم‌تر آزمایشی آن بر حروف ربط و ادات موصولی صریح تکیه دارد؛ فراتر از آن نرم‌افزار به دنبال شباهت می‌گردد – نزدیکی صورت‌های فعل، پیوستگی شخص، شمار و جنس، و فراوانی پیوندهایی که پیش‌تر میان دو نوع بند یافت شده‌اند (همان، ص. 6). تالسترا و سیکل این را اصلاحی بر دو جایگزین ردشده معرفی می‌کنند: تقطیع خطی ریشتر در BHt، که اصلاً به پیوند میان بندهای اصلی با واو نمی‌پردازد (Talstra & Sikkel, 2000, pp. 39-40)، و تحلیل "از بالا به پایین" سایلهایمر، که سطوح متن را بر اساس معیارهای ادبی و نه زبان‌شناختی جدا می‌کند و از بندهای وجه وصفی و مصدر به‌عنوان بند چشم می‌پوشد (همان، ص. 40-42). و مهم: سلسله‌مراتب بندها و بند متنی در پایگاه به‌عنوان ویژگی‌های آزمایشی ثبت شده‌اند (Kingham & van Peursen, p. 3) – کسی که بر آن‌ها تکیه می‌کند باید این را بگوید.

4. متن، آوانویسی و کدگذاری. متن کدکس لنینگراد بر اساس ویراست BHS است (Roorda, 2017, p. 218)؛ صرف "کدگذاری‌شده است و نه برچسب‌گذاری‌شده" – پیشوندها، واژگانه، مصوت‌های متمایزکننده و پسوندها در آوانویسی درونی ETCBC، که نرم‌افزار تحلیل را از آن استخراج می‌کند (Verheij, 1994, as cited in Kingham & van Peursen, 2018, p. 4)؛ و خود روردا می‌نویسد که مرکز "در شیوه‌های خود فرو رفته" است – آوانویسی خاص خود و شیوه‌های کدگذاری خاص خود، که تنها با گشایش در 2014 برای عموم مستند شدند (Roorda, 2017, p. 226). پایگاه در نسخه‌هایی به‌روز می‌شود (ETCBC4, 4b, 4c; ibid., p. 221)، و Text-Fabric همیشه با نسخه سرور یکسان نیست (Kingham & van Peursen, Note 26).

در فصل روش‌شناسی چه نوشته می‌شود. این‌که تقطیع به بندها، انواع بند، حوزه‌های گفتمانی و سلسله‌مراتب بندها محصول مدل ETCBC هستند – از پایین به بالا، از صورت به نقش، بر بنیان دستور متن واینریش و اشنایدر – و نه واقعیت‌های خام متن؛ کدام نسخه از داده‌ها به کار رفت (و شماره BHSA در GitHub یا DOI در DANS)؛ و کدام ویژگی‌های آزمایشی وارد تحلیل شدند. خود سازندگان پایگاه آن را "ابزار پژوهشی دستوری-متنی" می‌دانند و نه نتیجه نهایی (Talstra & Sikkel, 2000, p. 35) – و پژوهشگری که به آن استناد می‌کند همین جایگاه را نیز به ارث می‌برد. صورت‌بندی نهایی این بند، مانند همه تصمیم‌های این صفحه، از آنِ ETCBC نیست بلکه از آنِ سایت است؛ کسی که در نقد کتاب مقدس محاسباتی کار می‌کند ترجیح خواهد داد آن را از دل کار خود صورت‌بندی کند.

برای ادبیات حکمای تلمود برچسب‌گذاری دستی کامل وجود ندارد، و از همین رو در آنجا مدل زبانی وارد می‌شود: BEREL بر تلمود، میدراش و ریشونیم آموزش دیده است – عبری و آرامی درهم‌تنیده – و پایه ابزارهای دیکتا برای اعراب‌گذاری، نشانه‌گذاری و شناسایی متون موازی در این متن‌هاست. برای کسی که به دنبال "این واژه نخستین بار کی پدید آمد" است – فرهنگ تاریخی آکادمی زبان عبری (مآگاریم)؛ و برای کسی که به خود متن‌ها، با دسترسی برنامه‌نویسی، نیاز دارد – API سفاریا.

7. دستورالعمل کار: تحلیل کمّی متن عبری در پژوهش اجتماعی

مورد نمونه: 400 پاسخ باز در یک پیمایش، 30 متن پیاده‌شده مصاحبه، یا هزار پست. هدف: رسیدن از متن به اعدادی که بتوان به ماشین‌حساب‌های سایت منتقل کرد – فراوانی‌های طبقه‌ها، نمره‌های هیجان برای هر آزمودنی، رابطه میان محتوا و متغیرهای زمینه‌ای. هفت گام، و هر کدام مستند می‌شود.

اشتباهات رایج

شمردن توکن‌ها و پنداشتن این‌که واژه‌ها را شمرده‌اید. "בבית"، "לבית"، "הבית"، "ביתנו" – چهار سطر در جدول فراوانی، یک واژه در واقعیت. هر تحلیلی که از تقطیع بگذرد توزیع حروف اضافه را گزارش می‌کند، نه توزیع محتوا را.

به کار انداختن stemmer. ابزارهای عمومی "حذف پسوند برای عبری" پیشنهاد می‌کنند. در صرف ریشه و وزن چنین چیزی وجود ندارد؛ نتیجه توالی‌هایی از حروف است که واژه نیستند.

سپردن به LIWC یا به یک واژه‌نامه هیجان ترجمه‌شده. واژه‌نامه رسمی LIWC برای عبری وجود ندارد: مخزن واژه‌نامه‌های LIWC-22 به 18 زبان می‌رسد (سپتامبر 2026)، و عبری در میان آن‌ها نیست. تنها گروهی که آن را به‌طور کامل ترجمه کرد – شاپیرا و همکاران (2021) – این کار را با 150 هزار نامزد ترجمه و حدود 1,000 ساعت داوری انجام داد، و مجاز به انتشار نتیجه نیست زیرا LIWC تجاری است (ص. 56، 62). این گروه همچنین توضیح می‌دهد که چرا ترجمه واژه به واژه شکست می‌خورد: "ترجمه مستقیم به نتایج ناقص یا نادرست می‌انجامد" (ص. 55) – صرف‌ها و صورت‌های فعلی که هم‌تای انگلیسی ندارند، واژه‌های مختلفی که در یک لم واحد ادغام می‌شوند، و واژه‌نامه "من" در LIWC (12 واژه در انگلیسی) که صرف عبری "مانع شمارش آن می‌شود" (ص. 56). به جای آن چه هست: Hebrew Psychological Lexicons – واژه‌نامه‌های هیجان، افسردگی و بهزیستی که برای عبری از 872 متن پیاده‌شده روان‌درمانی ساخته و با سه داور اعتباریابی شده‌اند (کاپای فلایس .54 در دور نخست، .95 پس از رفع اختلاف؛ ص. 57)، رایگان در GitHub (CC BY-SA؛ بسته hepsylex). HebEMO دست‌کم آموزش عبری دارد – و همچنان به اعتباریابی نیاز دارد (بخش 7، گام 6).

اعتماد به "پشتیبانی از عبری" در یک ابزار عمومی. در spaCy عبری "none yet" است؛ در AntConc و Voyant عبری بارگذاری می‌شود اما تقطیع نمی‌شود؛ در مدل‌های چندزبانه از راه واژگان انگلیسی تحلیل می‌شود. پشتیبانی = توکن‌سازی، مگر این‌که خلاف آن گفته شود.

اجرای یک مدل امروزی روی متنی غیرامروزی. AlephBERT روی یک صفحه گمارا، HebPipe روی یک باب از اشعیا – خروجی درست به نظر خواهد رسید و در بیشتر موارد نادرست خواهد بود. گونه زبانی بر ابزار مقدم است (بخش 1د).

نرمال‌سازی نکردن – و دو واژه به جای هر واژه گرفتن. اعرابی که حذف نشده، گِرشایمی که یکسان نشده، املای کامل و ناقص در کنار هم. نشانه: پرتکرارترین واژه با فراوانی شگفت‌آوری پایین ظاهر می‌شود.

سپردن تصمیم به مدل. تعداد موضوع‌ها، آستانه احساس، فهرست واژه‌های ایست – تصمیم‌های پژوهشگرند، که مستند و مستدل می‌شوند. مدلی که "خودش" انتخاب کرده، مدلی است که پیش‌فرض کس دیگری را برگزیده است.

چک‌لیست – پیش از تحلیل متن عبری

منابع

آکادمی زبان عبری. (2017). قواعد املای کامل. https://hebrew-academy.org.il/topic/hahlatot/missingvocalizationspelling/

Adler, M., & Elhadad, M. (2006). An unsupervised morpheme-based HMM for Hebrew morphological disambiguation. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (pp. 665-672). Association for Computational Linguistics. https://doi.org/10.3115/1220175.1220259

Ahia, O., Kumar, S., Gonen, H., Kasai, J., Mortensen, D. R., Smith, N. A., & Tsvetkov, Y. (2023). Do all languages cost the same? Tokenization in the era of commercial language models. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (pp. 9904-9923). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.emnlp-main.614

Bareket, D., & Tsarfaty, R. (2021). Neural modeling for named entities and morphology (NEMO²). Transactions of the Association for Computational Linguistics, 9, 909-928. https://doi.org/10.1162/tacl_a_00404

Chriqui, A., & Yahav, I. (2022). HeBERT and HebEMO: A Hebrew BERT model and a tool for polarity analysis and emotion recognition. INFORMS Journal on Data Science, 1(1), 81-95. https://doi.org/10.1287/ijds.2022.0016

Drucker, J., & Albrezzi, F. (2026). The digital humanities coursebook: Applied concepts and critical approaches (2nd ed.). Routledge. https://doi.org/10.4324/9781003589792

Goldin, G., Howell, N., Ordan, N., Rabinovich, E., & Wintner, S. (2025). The Knesset corpus: An annotated corpus of Hebrew parliamentary proceedings. Language Resources and Evaluation, 59(3), 2973-3004. https://doi.org/10.1007/s10579-025-09833-4

Goregaokar, M., & Leroy, R. (Eds.). (2026). Unicode bidirectional algorithm (Unicode Standard Annex No. 9, Revision 52). Unicode Consortium. https://www.unicode.org/reports/tr9/

Itai, A., & Wintner, S. (2008). Language resources for Hebrew. Language Resources and Evaluation, 42(1), 75-98. https://doi.org/10.1007/s10579-007-9050-8

Kingham, C., & van Peursen, W. (2018). The ETCBC database of the Hebrew Bible. Journal for Semitics, 27(1), Article 2974. https://doi.org/10.25159/1013-8471/2974

McCarthy, J. J. (1981). A prosodic theory of nonconcatenative morphology. Linguistic Inquiry, 12(3), 373-418.

More, A., Seker, A., Basmova, V., & Tsarfaty, R. (2019). Joint transition-based models for morpho-syntactic parsing: Parsing strategies for MRLs and a case study from Modern Hebrew. Transactions of the Association for Computational Linguistics, 7, 33-48. https://doi.org/10.1162/tacl_a_00253

Neguse, T. T., Gabay, H., Reychav, I., McHaney, R., & Jonathan, G. M. (2026). AI-based chatbots and public value creation in digital government services. Transforming Government: People, Process and Policy. Advance online publication. https://doi.org/10.1108/TG-02-2026-0074

Pérez Fernández, M. (1997). An introductory grammar of Rabbinic Hebrew (J. Elwolde, Trans.). Brill. (Original work published 1992)

Ravid, D., & Schiff, R. (2006). Roots and patterns in Hebrew language development: Evidence from written morphological analogies. Reading and Writing, 19(8), 789-818. https://doi.org/10.1007/s11145-006-9004-3

Roorda, D. (2017). The Hebrew Bible as data: Laboratory – sharing – experiences. In J. Odijk & A. van Hessen (Eds.), CLARIN in the Low Countries (pp. 217-229). Ubiquity Press. https://doi.org/10.5334/bbi.18

Roorda, D. (2018). Coding the Hebrew Bible. Research Data Journal for the Humanities and Social Sciences, 3(1), 27-41. https://doi.org/10.1163/24523666-01000011

Rust, P., Pfeiffer, J., Vulić, I., Ruder, S., & Gurevych, I. (2021). How good is your tokenizer? On the monolingual performance of multilingual language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) (pp. 3118-3135). Association for Computational Linguistics. https://doi.org/10.18653/v1/2021.acl-long.243

Sáenz-Badillos, A. (1993). A history of the Hebrew language (J. Elwolde, Trans.). Cambridge University Press. (Original work published 1988)

Seker, A., Bandel, E., Bareket, D., Brusilovsky, I., Greenfeld, R., & Tsarfaty, R. (2022). AlephBERT: Language model pre-training and evaluation from sub-word to sentence level. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 46-56). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.acl-long.4

Shapira, N., Atzil-Slonim, D., Juravski, D., Baruch, M., Stolowicz-Melman, D., Paz, A., Alfi-Yogev, T., Azoulay, R., Singer, A., Revivo, M., Dahbash, C., Dayan, L., Naim, T., Gez, L., Yanai, B., Maman, A., Nadaf, A., Sarfati, E., Baloum, A., . . . Goldberg, Y. (2021). Hebrew psychological lexicons. In Proceedings of the Seventh Workshop on Computational Linguistics and Clinical Psychology: Improving Access (pp. 55-69). Association for Computational Linguistics. https://doi.org/10.18653/v1/2021.clpsych-1.6

Shmidman, A., Guedalia, J., Shmidman, S., Shmidman, C. S., Handel, E., & Koppel, M. (2022). Introducing BEREL: BERT embeddings for rabbinic-encoded language. arXiv. https://arxiv.org/abs/2208.01875

Shmidman, A., Shmidman, S., Koppel, M., & Goldberg, Y. (2020). Nakdan: Professional Hebrew diacritizer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations (pp. 197-203). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-demos.23

Shmidman, S., Shmidman, A., Cohen, A. D. N., & Koppel, M. (2024). Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with enhanced vocabulary and instruction capabilities. arXiv. https://arxiv.org/abs/2407.07080

Shmidman, S., Shmidman, A., & Koppel, M. (2023). DictaBERT: A state-of-the-art BERT suite for Modern Hebrew. arXiv. https://arxiv.org/abs/2308.16687

Shmidman, S., Shmidman, A., Koppel, M., & Tsarfaty, R. (2024). MRL parsing without tears: The case of Hebrew. In Findings of the Association for Computational Linguistics: ACL 2024 (pp. 4537-4550). Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.findings-acl.269

Sima'an, K., Itai, A., Winter, Y., Altman, A., & Nativ, N. (2001). Building a tree-bank of Modern Hebrew text. Traitement Automatique des Langues, 42(2), 347-380.

Talstra, E., & Sikkel, C. J. (2000). Genese und Kategorienentwicklung der WIVU-Datenbank, oder: Ein Versuch, dem Computer Hebräisch beizubringen. In C. Hardmeier, W.-D. Syring, J. D. Range, & E. Talstra (Eds.), Ad fontes! Quellen erfassen – lesen – deuten. Was ist Computerphilologie? Ansatzpunkte und Methodologie – Instrumente und Praxis (Applicatio 15, pp. 33-68). VU University Press.

Tsarfaty, R., Bareket, D., Klein, S., & Seker, A. (2020). From SPMRL to NMRL: What did we learn (and unlearn) in a decade of parsing morphologically-rich languages (MRLs)? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 7396-7408). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.660

Tsarfaty, R., Sadde, S., Klein, S., & Seker, A. (2019). What's wrong with Hebrew NLP? And how to make it right. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations (pp. 259-264). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-3044

Unicode Consortium. (2026). The Unicode Standard, Version 18.0.0. https://www.unicode.org/versions/Unicode18.0.0/

Whistler, K. (Ed.). (2026). Unicode normalization forms (Unicode Standard Annex No. 15, Revision 58). Unicode Consortium. https://www.unicode.org/reports/tr15/

Wintner, S. (2004). Hebrew computational linguistics: Past and future. Artificial Intelligence Review, 21(2), 113-138. https://doi.org/10.1023/B:AIRE.0000020865.73561.bc

Zeldes, A., Howell, N., Ordan, N., & Ben Moshe, Y. (2022). A second wave of UD Hebrew treebanking and cross-domain parsing. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (pp. 4331-4344). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.emnlp-main.292