NLP בעברית: הכלים והבעיות

מדריך

מה בעמוד

עיבוד שפה טבעית (natural language processing, NLP) הוא השכבה שמתחת לכל ניתוח כמותי של טקסט – ספירת מילים, ניתוח תוכן, מידול נושאים, זיהוי רגש. באנגלית השכבה הזאת שקופה: מפרידים ברווחים, מורידים סיומת, סופרים. בעברית היא אינה שקופה, וחוקר שמתייחס אליה כשקופה יקבל מספרים – שגויים בשקט. העמוד מסביר מה בעברית שובר את הכלים הכלליים (סעיף 1), את הבעיה הטכנית שקודמת לכל ניתוח – קידוד וכיווניות (2), מה עושה צינור עיבוד עברי תקין ואילו כלים מיישמים אותו (3), מהם מודלי השפה הזמינים (4), אילו קורפוסים ואוצרות מתויגים קיימים (5), מה שונה בעברית המקראית והחז"לית (6), ומרשם עבודה מעשי לניתוח טקסט עברי במחקר חברתי (7) – עד לנקודה שבה הטקסט הופך למספרים, ומחשבוני האתר ממשיכים.

1. למה עברית קשה למחשב – ארבע בעיות

א. הכתיב חסר ניקוד, ולכן דו-משמעי. הטוקן ספר יכול להיות סֵפֶר, סַפָּר, סָפַר, סִפֵּר או סְפָר – חמש מילים שונות באותן שלוש אותיות, והקורא בוחר לפי ההקשר בלי לשים לב. המחשב אינו יכול. במדידה על שישה מיליון מילות עיתונות, מספר הניתוחים המורפולוגיים האפשריים לטוקן עברי הוא בממוצע 2.4, לעומת 1.4 באנגלית (Adler & Elhadad, 2006) – וזו הסיבה שלכל צינור עברי יש שלב שאין באנגלית: פירוק דו-משמעות (disambiguation), שבו המודל מנחש איזו מהקריאות נכונה. כמה טוב הניחוש היום? המודל העברי הטוב ביותר שדווח, DictaBERT-Parse-large, מגיע על מבחן אוצר העצים ל-97.9% בפילוח התחיליות, 97.3% בתיוג חלקי הדיבר ו-95.6% במאפיינים המורפולוגיים – אבל רק ל-85.4% בניתוח התחבירי המתויג (LAS), ולפני הרחבת קורפוס האימון ל-975 אלף מילים המספרים היו נמוכים במעט (Shmidman, Shmidman, Koppel & Tsarfaty, 2024, Table 1). כלומר: ברמת המילה מעל 95%, ברמת המשפט פחות; ועל טקסט של 10,000 מילים גם 2-5% הם מאות שגיאות שנכנסות לספירה.

ב. המורפולוגיה עשירה, והמילה "מתמזגת". מיליות היחס, הקישור והיידוע (ו, ה, ב, כ, ל, מ, ש) נדבקות לפני המילה, וכינויי הקניין והמושא – אחריה: בביתם = ב + בית + הם; ראיתיו = ראיתי + אותו. באוצר העצים העברי (לוח 3), 114,648 טוקנים מכילים 160,195 מילים תחביריות – כלומר אחד מכל שלושה טוקנים בטקסט עיתונאי רגיל צריך להתפצל לפני שאפשר לספור אותו. כלי שמדלג על הפילוח יספור את "בבית", "לבית", "הבית" ו"בית" כארבע מילים – ואת המילה השכיחה "ש" (שֶ) לא יראה כלל, כי היא לעולם אינה עומדת לבד.

ג. השורש והמשקל: מורפולוגיה לא-שרשורית. באנגלית מילה נבנית בשרשור – walk + ed: מורפמות בדידות שמצטרפות בקצה הבסיס, ולכן, כפי שניסח מקארתי, אפשר לשחזר אותן "בפירוק משמאל לימין של מילים בחיפוש אחר מחרוזות חלקיות חוזרות" (McCarthy, 1981, p. 373). בעברית ובערבית השורש הוא "מנגינה" של עיצורים על רובד נפרד, שמשתבצת בתבנית פרוזודית של משבצות עיצורים ותנועות (עמ' 386-387): כ-ת-ב "נשזר" בתוך המשקל – כָּתַב, כּוֹתֵב, מִכְתָּב, הִכְתִּיב, כְּתוּבָה, הִתְכַּתֵּב – ומקארתי פותח את מאמרו בדיוק בפרדיגמה כזאת בערבית (kataba, kattaba, kitaabun, maktabun…), צורות ש"קשורות זו לזו מורפולוגית אף שאינן חולקות מחרוזות מבודדות של הגאים" (עמ' 374-375). מכאן שאין רצף אותיות משותף שאפשר "לחתוך" (stemming), וכלים שמורידים סיומות – הסטנדרט באנגלית – חסרי משמעות בעברית. הפתרון הוא לֶמָטִיזַצְיָה (lemmatization) עם מילון, וגם היא מחזירה למה (כתב, מכתב, כתובה – כשלוש למות), לא שורש. ואצל הדוברים השורש הוא רובד ממשי, לא רק תיאור דקדוקי: רביד ושיף מסכמות שהשורש "תופס רמת ייצוג נפרדת בלקסיקון המנטלי" של דוברי עברית וערבית, שנושא את משמעות-הליבה שמקשרת את כל בני המשפחה המורפולוגית (ג-ד-ל: גדל, גידל, הגדיל, גידול, מגדל, מגדלת, גדול…), ושילדים מחלצים שורשים ממילים כבר בגיל שנתיים (Ravid & Schiff, 2006, pp. 790-791); בניסוייהן על 300 ילדי בית ספר, זיהוי השורש היה "המרכזי והיציב" מבין השניים, ואילו תפיסת המשקל שבירה יותר ומופיעה מאוחר – בין השאר כי יש כ-4,000 שורשים לעומת כ-200 משקלים לכל היותר, וכי משמעות המשקל אינה עקבית (עמ' 808-809). שאלת מחקר על "שדה סמנטי של שורש" נשענת אפוא על יחידה פסיכולוגית אמיתית – אך דורשת שכבה נוספת מעל הלמה, שאין לה כלי מוכן.

ד. ארבעה משלבים, ארבע שפות. החלוקה המקובלת בבלשנות העברית היא לארבע תקופות – מקראית, חז"לית (רבנית), ימי-ביניימית וישראלית – עם חלוקות-משנה ושלבי מעבר: המקראית לארכאית, לקלאסית ולמאוחרת (שאחרי הגלות), והחז"לית ללשון התנאים וללשון האמוראים (Pérez Fernández, 1997, p. 1). אלה אינם סגנונות של שפה אחת אלא שלבים שהתחלפו גם כשפה מדוברת: לשון המקרא, "שהייתה ביסודה ניב ספרותי, חדלה להיות שפה חיה בתקופה שאחרי גלות בבל", ולשון חכמים הייתה דיבור יומיומי ביהודה עד דיכוי מרד בר-כוכבא (135 לספירה) ואחר כך לשון כתיבה בלבד לצד הארמית (Sáenz-Badillos, 1993, pp. 166, 171). את ההבדלים פרז פרננדס מונה בפתח ספרו כמה שמפתיע כל קורא של טקסט חז"לי: ש- במקום אשר, "של" במקום הסמיכות, "היה" עם בינוני, היעלמות וי"ו ההיפוך, אובדן המקור המוחלט וצורות הציווי המיוחדות, ונו"ן במקום מ"ם בסיומת הרבים (עמ' 1); ורק כמחצית מאוצר המילים של לשון התנאים משותף למקרא – השאר ארמי, יווני, ובמידה פחותה לטיני, אכדי ופרסי (עמ' 4). עברית ימי הביניים הייתה לשון כתיבה ולא דיבור, שהוחייתה מהמאה העשירית בהשראת הדקדוק הערבי והתרחבה לשירה חילונית, לפילוסופיה ולמדע (Sáenz-Badillos, pp. 202-203); והעברית הישראלית היא, לפי רוזן (1958, as cited in Sáenz-Badillos, pp. 275-276), קוינה שבה יסודות מקראיים וחז"ליים משמשים זה לצד זה כשתי רמות סגנון, על תשתית לא-עברית ועם תחביר ואוצר מילים שהושפעו מהסלאבית, מהגרמנית ובעיקר מהאנגלית (עמ' 280) – "מה שהדקדוק המסורתי היה רואה כשגיאות הוא, למעשה, חידושים של שלב חדש בשפה" (עמ' 276). ההשלכה למחשב: מודל שאומן על "הארץ" וויקיפדיה (AlephBERT, DictaBERT) ייכשל על דף גמרא; לזה נבנה BEREL (לוח 2); ולמקרא יש מסד נתונים מתויג-ידנית משלו (BHSA, Table 4) שאינו זקוק למודל כלל. הבחירה הראשונה של החוקר היא לא "איזה כלי" אלא "איזו עברית".

הסקירות הבסיסיות של השדה: Wintner (2004) – עשור ראשון של בלשנות חישובית עברית; Itai & Wintner (2008) – המשאבים שנבנו בטכניון ושעליהם עומד כל מה שבא אחר כך; ומה שהשתנה בעשור הנוירוני – Tsarfaty, Bareket, Klein & Seker (2020).

2. הבעיה שלא רואים: קידוד, ניקוד וכיווניות

לפני שמדברים על מורפולוגיה, יש שכבה שבה עברית נשברת בלי שאף אחד שם לב – ורוב "הג'יבריש" שחוקרים פוגשים מגיע ממנה.

קידוד. קובץ עברי הוא UTF-8 או windows-1255 (הקידוד הישן של Windows בעברית, שעדיין יוצא מ-SPSS ומתוכנות ותיקות). קובץ 1255 שנפתח כ-UTF-8 נראה כרצף סימנים; קובץ UTF-8 בלי BOM שנפתח על-ידי ספרייה שמניחה קידוד לטיני – אותו דבר. עמודי המחשבון של האתר מתקנים את שני המקרים אוטומטית (ראו מפת הכלים, סעיף 7); כלי חיצוני – לא בהכרח. הכלל: לשמור הכול כ-UTF-8, ולבדוק את השורה הראשונה בעין לפני כל ניתוח. מכשלה נדירה יותר: "עברית ויזואלית" (ISO-8859-8 הישן), שבה האותיות שמורות בסדר התצוגה, מימין לשמאל – המילים נראות הפוכות אחרי המרה.

ניקוד וסימני קנטילציה. ביוניקוד, סימן ניקוד הוא תו נפרד שמצטרף לאות (combining mark): בבלוק העברי (U+0590 עד U+05FF) יש 51 סימנים כאלה – טעמים, ניקוד, דגש ונקודות שי"ן ושי"ן – מ-U+0591 (אתנחתא) עד U+05C7 (קמץ קטן), לצד 27 אותיות (U+05D0 עד U+05EA) וסימני פיסוק (Unicode Consortium, 2026, בלוק Hebrew). "שָׁלוֹם" מנוקד ו"שלום" בלי ניקוד הם שתי מחרוזות שונות, ולמחרוזת המנוקדת יש יותר מצורת אחסון אחת: סדר הסימנים על אותה אות ("ש + קמץ + נקודת שי"ן" לעומת "ש + נקודת שי"ן + קמץ") ותווי הייצוג המורכבים של הבלוק U+FB1D עד U+FB4F (46 תווים, למשל שׁ כתו אחד). נרמול (NFC או NFD) פותר את שניהם – הוא מפרק את תווי הייצוג וממיין את הסימנים לפי מחלקת הצירוף שלהם (Whistler, 2026, אלגוריתם הסידור הקנוני). לפני ספירה – לנרמל, ואז להסיר ניקוד לפי קטגוריה (Mn, סימן לא-רווחי) ולא לפי טווח: הטווח U+0591 עד U+05C7 מכיל גם מקף (U+05BE), פסק, סוף פסוק ונו"ן הפוכה – ומי שמוחק את הטווח מוחק גם אותם. טקסט מקראי מנוקד וממוטעם שלא נורמל ייתן לכל מילה שכיחות 1.

כתיב מלא וחסר, אותיות סופיות, פיסוק עברי. "תוכנית" ו"תכנית", "אמיתי" ו"אמתי", "ליברלי" ו"ליבראלי" – אותה מילה, שתי מחרוזות, שתי שכיחויות. כללי הכתיב המלא של האקדמיה ללשון העברית (2017) לא סיימו את הפיצול – רק שינו את כיוונו. גרש וגרשיים עבריים (׳ ״) לעומת גרש ומירכאות ASCII (' ") – "ד״ר" ו"ד"ר" הם שני טוקנים שונים, וכך גם כל ראשי התיבות. מקף עברי (־) לעומת מקף ASCII (-). אין פתרון אוטומטי מלא; יש נורמליזציה מפורשת שמתעדים.

כיווניות. טקסט עברי הוא RTL, אבל המספרים, שמות המשתנים באנגלית וסימני הפיסוק בסופו אינם: באלגוריתם הכיווניות של יוניקוד האותיות העבריות הן מסוג R, הספרות מסוג EN, וסימני פיסוק וסוגריים "ניטרליים" – הם מקבלים את כיוון הטקסט החזק שמשני צדיהם, ואם הצדדים שונים, את כיוון הפסקה (Goregaokar & Leroy, 2026, Sections 3.2, 3.3.5) – והתוצאה מוכרת: סוגריים הפוכים, מינוס מימין למספר, שמות משתנים שנשברים בתרשים. הפתרון שהתקן עצמו מציע הוא בידוד (isolate): "תווים בתוך בידוד אינם יכולים להשפיע על סדר התווים מחוצה לו, ולהפך", והבידוד כולו מתנהג כלפי סביבתו כתו ניטרלי (שם, סעיף 2.4). באתר זה זהו span.en (unicode-bidi: isolate) לכל ערך לועזי; ב-R – מנוע הגרפיקה AGG (ראו עמוד גרף הפיזור, סעיף "ואיך עושים זאת ב-R"). בכלים כמו AntConc או Voyant העברית מתפקדת – אך התצוגה עלולה להיות הפוכה או שבורה, ולא הניתוח. להבדיל: תצוגה שבורה אינה עדות לספירה שגויה, וספירה שגויה (בגלל פילוח) אינה נראית בתצוגה.

3. הצינור: מפילוח לניתוח תחבירי – והכלים

צינור עיבוד עברי תקין עושה, בסדר הזה: פילוח (הפרדת התחיליות והסופיות), ניתוח מורפולוגי (כל הקריאות האפשריות לכל סגמנט), פירוק דו-משמעות (בחירת הקריאה הנכונה בהקשר), תיוג חלקי-דיבר ולמה, ניתוח תחבירי (מי הנושא של מי) וזיהוי ישויות (שמות אנשים, מקומות, ארגונים). התובנה המרכזית של העשור האחרון היא שהשלבים האלה אינם עצמאיים: הפילוח הנכון של "הבית" תלוי בתחביר, והתחביר תלוי בפילוח – ולכן המודלים הטובים עושים אותם במשולב, לא בזה אחר זה (More, Seker, Basmova &; Tsarfaty, 2019; Tsarfaty, Sadde, Klein &; Seker, 2019). הדור הנוכחי – DictaBERT-joint – עושה את כל השישה במודל אחד.

לחוקר החברתי המשמעות מעשית: אין "טוקנייזר לעברית" שאפשר להריץ ואז להמשיך בכלי אנגלי. הפילוח והלמטיזציה חייבים לבוא מצינור עברי, והפלט שלו – טקסט מלומטז ומפולח – הוא הקלט לכל שאר הכלים (מידול נושאים, קונקורדנציה, מילונים).

4. מודלי שפה לעברית – ומה עולה לנו הטוקניזציה

מודלי השפה המאומנים-מראש (pretrained language models) הם מה שמאפשר את הצינור המשולב, את זיהוי הישויות ואת סיווג הרגש. לעברית יש היום משפחה קטנה אך רצינית, כולה ב-Hugging Face; לוח 2 מסדר אותה לפי משלב ותפקיד. ההבחנה החשובה היא בין מודלי קידוד (BERT ונגזרותיו – מנתחים טקסט קיים) למודלים מחוללים (DictaLM, ומודלי הענק המסחריים – מייצרים טקסט). לניתוח כמותי במחקר צריך את הראשונים; השניים שימושיים לסיכום ולתיוג-עזר, ובאתר זה – מחוץ לעיקרון "בלי בינה מלאכותית בזמן ריצה". מה מודל כזה הוא מבחינה טכנית – רשת נוירונים עמוקה שאומנה-מראש ומכווננים אותה – ומתי רשת כזאת מתאימה למחקר חברתי ומתי לא: עמוד למידת המכונה, סעיף 6.

עלות הטוקניזציה. מודל שפה אינו רואה מילים אלא "חתיכות" (subword tokens) שנקבעו לפי שכיחות בקורפוס האימון. במודל רב-לשוני שאומן ברובו על אנגלית, מילה עברית מתפצלת לחתיכות רבות יותר ממילה אנגלית באותו אורך – ולכן טקסט עברי "עולה" יותר טוקנים, מנותח בדיוק נמוך יותר, ובמודלים מסחריים גם עולה יותר כסף לאותו תוכן (Rust, Pfeiffer, Vulić, Ruder &; Gurevych, 2021; Ahia et al., 2023). זו הסיבה שאוצר המילים גדל מ-52K ב-AlephBERT ל-128K ב-AlephBERTGimmel, ושהמודלים המחוללים לעברית מרחיבים את אוצר המילים העברי בכוונה. לחוקרת: מודל שנבנה לעברית עדיף על מודל רב-לשוני גדול פי עשרה – לא בגלל גודל אלא בגלל טוקניזציה.

פתוח או סגור, מקומי או מרוחק. ספר הלימוד למדעי הרוח הדיגיטליים מציע שני צירים לבחירת מודל שפה, וכדאי להחיל אותם על לוח 2: מודל סגור שמופעל בשרת של חברה פירושו ש"הנתונים שלכם נלכדים ומעובדים בשרתים קנייניים", ובתנאי השימוש של כלים רבים המשתמש מסכים שהפרומפטים והפלטים ישמשו לאימון המשך; החלופה היא מודל פתוח שמורידים ומריצים מקומית (למשל ב-Ollama), ולשאלות על אוסף מסמכים מוגדר – מערכת אחזור מסוג RAG, שעונה רק מתוך המאגר שהחוקר הגדיר, ולכן מדויקת יותר ומתאימה לנתונים רגישים או מוגנים (Drucker & Albrezzi, 2026, pp. 118-119, 121). כל המודלים בלוח 2 הם מהסוג הראשון – פתוחים ורצים על המחשב שלכם; לתמלילי ראיונות זה לא יתרון נוחות אלא תנאי (ראו "איפה הטקסט שלכם?" בסעיף 7). ועוד אזהרה מאותו פרק: הזיות (hallucinations) עדיין קורות, ומה שאינו במערך האימון של מודל כללי נראה כאילו אינו קיים – פלט של מודל מחולל נבדק מול מקור, לא מצוטט כמקור (עמ' 119, 121).

5. קורפוסים, אוצרות מתויגים ומאגרים

אוצר מתויג (treebank) הוא קורפוס שבו בני אדם סימנו את הפילוח, התיוג והתחביר הנכונים – זהו "המורה" של כל מודל, וגם קנה המידה שעליו מודדים אותו. לעברית יש שניים ציבוריים ב-Universal Dependencies: HTB הוותיק (עיתונות שנות ה-90) ו-IAHLTwiki החדש (ויקיפדיה עכשווית). קטנותם – כ-5,000-6,000 משפטים כל אחד, לעומת עשרות אלפים באנגלית – היא מגבלה מבנית של השדה כולו (Tsarfaty et al., 2020). לצדם: קורפוס ההתייחסות של דיבור פוליטי – פרוטוקולי הכנסת – וקורפוסי הרשת הגדולים.

6. עברית לפני העברית המודרנית: מקרא, חז"ל, ימי הביניים

לחוקרת המקרא ולחוקר ספרות חז"ל המצב שונה מהותית – ובמובן אחד טוב יותר. הטקסט המקראי כולו מתויג, מילה-מילה, ברמה שאין לשום קורפוס מודרני: מסד הנתונים של ETCBC (המרכז ע"ש אפ טלסטרה למקרא ומחשב באוניברסיטה החופשית של אמסטרדם; עד 2013 – קבוצת האינפורמטיקה WIVU, שנוסדה ב-1977; Kingham & van Peursen, 2018, עמ' 1-2) רושם לכל מילה את הכתיב, המורפולוגיה, חלק הדיבר והלקסמה, לכל צירוף ולכל פסוקית את גבולותיהם ואת תפקידם, ולכל פסוקית גם את סוגה, את תחום השיח שלה ואת מקומה בהיררכיית הפסוקיות (שם, עמ' 3). על 426,555 המילים של קודקס לנינגרד (לפי BHS) יושבים כ-946 אלף אובייקטים לשוניים ו-22.6 מיליון ערכי מאפיין (Roorda, 2017, Table 18.2, p. 222), הפתוחים לשאילתות תחביריות על התנ"ך כולו – בדפדפן דרך SHEBANQ (מ-2014) וב-Python דרך Text-Fabric (מ-2017; Roorda, 2017, עמ' 223-224; Roorda, 2018). המחיר: המודל הבלשני שמאחורי התיוג הוא תיאוריה ספציפית, ותוצאות מחקר שנשענות עליו יורשות את הכרעותיה. מה בדיוק יורשים – להלן, מפי בוני המסד עצמם.

"תצפיות, לא תיאוריה" – וגבולות הטענה. רורדה מתאר את הבחירה המכוננת כך: הצוות "נמנע מלעצב את ההערות במודל בלשני היררכי, כי רצה לייצג תצפיות, לא תיאוריה", ומה שנוצר הוא "מסד נתונים במובן של נתוני תצפית שעליהם אפשר לבסס תיאוריות" (Roorda, 2017, pp. 218-219). שני עקרונות עבודה מגלמים זאת (Kingham & van Peursen, 2018, pp. 3-4; Talstra & Sikkel, 2000, pp. 54-56, Figure 7): מצורה לתפקיד – רושמים קודם את תכונות פני השטח ורק אחר כך תוויות תפקיד, בלי מחויבות לתיאוריה בלשנית עד אחרי איסוף הנתונים; ומלמטה למעלה – ממורפמות ללקסמות, לצירופים, לפסוקיות, למשפטים, לטקסט, בזיהוי תבניות שהמשתמש מאשר והתוכנה לומדת ("הדקדוק לא יונח מראש, אלא ילבש צורה במהלך ניתוח הנתונים" – Talstra & Sikkel, עמ' 46). אבל בוני המסד עצמם מסייגים: "המחויבות לשום תיאוריה היא בעצמה סוג של תיאוריה – כזו שעובדת רק אם מבנה ותפקיד בטקסט קשורים ישירות" (Kingham & van Peursen, p. 4); היסודות התיאורטיים חוזרים לדקדוק הטקסט הסטרוקטורליסטי של וולפגנג שניידר והרלד ויינריך (ibid., Note 10; Talstra & Sikkel, p. 62, Note 26); ו"לא ייתכן קלט 'ניטרלי', כלומר לא-מהורהר תיאורטית, של נתונים לשוניים" – בניית המסד היא בעצמה מחקר, לא רק תשתית לו (Talstra & Sikkel, p. 53). ארבע ההכרעות שכל תוצאה יורשת:

1. גבולות הפסוקית. הפילוח נעשה בשני שלבים: קודם ליחידות הפצה – "אטומים", רצפי מילים שאינם ניתנים לחלוקה נוספת ואינם נקטעים – ורק אחר כך ליחידות תפקודיות, שיכולות להיות מורכבות מכמה אטומים ולכן להכיל שיבוץ ופערים (Talstra & Sikkel, 2000, עמ' 47-48, 51; Kingham & van Peursen, 2018, עמ' 5-6; הדוגמה שלהם: בראשית ג' 11, שבה פסוקית "אשר" ופסוקית "לבלתי" חוצצות בין שני חלקי הפסוקית העוטפת). ההכרעה הקשה היא הבינוני: כשהמורפולוגיה דו-משמעית וצירופים סמוכים יכולים להתפרש כתלויים בו, הבינוני נחשב נשוא ברמת הפסוקית – ולכן "ארץ אכלת יושביה הוא" (במדבר י"ג 32) מקודד כפסוקית-לוואי נפרדת ולא כצירוף שמני אחד (Talstra & Sikkel, pp. 49-51, 52). מי שסופרת פסוקיות, מודדת אורך פסוקית או מחשבת יחסי פסוקיות, סופרת את ההכרעה הזאת.

2. סוג הפסוקית ותחום השיח. כל פסוקית מקבלת סוג לפי צורת הפועל הראשי וסדר הרכיבים (ויקטול בלי נושא מפורש, ו-X-קטל, משפט שמני, פסוקית בינוני וכו'), "מין" (פועלית, שמנית, ללא נשוא) ותחום שיח – סיפור, דיבור או משובץ (Kingham & van Peursen, 2018, p. 3). תחום השיח נקבע על פי הפועל ולא על פי קריאה ספרותית: פסוקית ויקטול מסומנת סיפור (N), פסוקית הנפתחת ב"אמר" או "דבר" פותחת ציטוט (Q), ציווי או יקטול בלי פתיח דיבור – שיח (D), ובהיעדר רמז דקדוקי הפסוקית יורשת את הסימון של הפסוקית שמעליה; כך "QN" מסמן ויקטול בתוך דיבור ישיר, ו-"ND" – יקטול בתוך סיפור (Talstra & Sikkel, 2000, p. 62). זו הטקסט-סינטקס של ויינריך ושניידר, ולכן "סיפור" ו"שיח" הם כאן קטגוריות של מערכת הפועל, לא של הז'אנר. תפקידי הרכיבים (נושא, נשוא, מושא, משלים) הם השלב הפונקציונלי, השני, והם שמאפשרים למשל השוואה שיטתית של ואלנטיות פעלים (שם, עמ' 63).

3. ו"ו החיבור והיררכיית הפסוקיות. גבול פסוקית נקבע, בין השאר, כשמשני צידי ו"ו עומדים צירופים מסוגים שונים – צירוף יחס, ו"ו, צירוף שמני – והדוגמה של המחברים היא בראשית כ"ב 1 (Kingham & van Peursen, 2018, p. 5). אבל המסד אינו עוצר בגבול: הוא בונה היררכיה של פסוקיות "אם" ו"בת". החלק הפחות ניסיוני שלה נשען על מילות חיבור ומיליות זיקה מפורשות; מעבר לו התוכנה מחפשת דמיון – קרבת צורות פועל, רציפות של גוף, מספר ומין, ושכיחות הקשרים שכבר נמצאו בין שני סוגי הפסוקיות (שם, עמ' 6). טלסטרה וסיקל מציגים זאת כתיקון לשתי חלופות שנדחו: הפילוח הליניארי של ריכטר ב-BHt, שאינו מתייחס כלל לחיבור בין פסוקיות ראשיות ב-ו"ו (Talstra & Sikkel, 2000, pp. 39-40), והניתוח "מלמעלה למטה" של סיילהיימר, שמפריד רמות טקסט לפי קריטריונים ספרותיים ולא בלשניים ומוותר על פסוקיות בינוני ומקור כפסוקיות (שם, עמ' 40-42). וחשוב: היררכיית הפסוקיות והפסקה רשומות במסד כמאפיינים ניסיוניים (Kingham & van Peursen, p. 3) – מי שנשען עליהן צריך לומר זאת.

4. הטקסט, התעתיק והקידוד. הטקסט הוא קודקס לנינגרד לפי מהדורת BHS (Roorda, 2017, p. 218); המורפולוגיה "מקודדת ולא מתויגת" – תחיליות, לקסמה, תנועות מבחינות וסופיות בתעתיק הפנימי של ETCBC, שממנו התוכנה גוזרת את הניתוח (Verheij, 1994, as cited in Kingham & van Peursen, 2018, p. 4); ורורדה עצמו כותב שהמרכז "שקוע בדרכיו" – תעתיק משלו ודרכי קידוד משלו, שתועדו לציבור רק עם הפתיחה ב-2014 (Roorda, 2017, p. 226). המסד מתעדכן בגרסאות (ETCBC4, 4b, 4c; ibid., p. 221), וה-Text-Fabric אינו תמיד זהה לגרסת השרת (Kingham & van Peursen, Note 26).

מה כותבים בפרק המתודולוגיה. שהפילוח לפסוקיות, סוגי הפסוקיות, תחומי השיח והיררכיית הפסוקיות הם תוצרי המודל של ETCBC – מלמטה למעלה, מצורה לתפקיד, על יסודות דקדוק הטקסט של ויינריך ושניידר – ולא עובדות גולמיות של הטקסט; איזו גרסה של הנתונים שימשה (ומספר ה-BHSA ב-GitHub או ה-DOI ב-DANS); ואילו מאפיינים ניסיוניים נכנסו לניתוח. בוני המסד עצמם רואים בו "מכשיר מחקר טקסט-דקדוקי" ולא תוצאה סופית (Talstra & Sikkel, 2000, p. 35) – והחוקרת שמצטטת אותו יורשת גם את המעמד הזה. הניסוח הסופי של הפסקה הזאת, כמו כל ההכרעות בעמוד, אינו של ETCBC אלא של האתר; מי שעובדת בביקורת המקרא החישובית תעדיף לנסח אותו מתוך עבודתה.

לספרות חז"ל אין תיוג ידני מלא, ולכן שם נכנס מודל שפה: BEREL אומן על תלמוד, מדרש וראשונים – עברית וארמית שזורות – והוא הבסיס לכלי דיקטה לניקוד, לפיסוק ולזיהוי מקבילות בטקסטים הללו. למי שמחפש "מתי המילה הופיעה לראשונה" – המילון ההיסטורי של האקדמיה (מאגרים); ולמי שצריך את הטקסטים עצמם, בגישה תכנותית – ה-API של ספריא.

7. מרשם עבודה: ניתוח כמותי של טקסט עברי במחקר חברתי

המקרה הטיפוסי: 400 תשובות פתוחות בסקר, 30 תמלילי ראיונות, או אלף פוסטים. המטרה: להגיע מהטקסט למספרים שאפשר להעביר למחשבוני האתר – שכיחויות של קטגוריות, ציוני רגש לנבדק, קשר בין תוכן למשתני רקע. שבעה צעדים, וכל אחד מהם מתועד.

טעויות נפוצות

לספור טוקנים ולחשוב שספרתם מילים. "בבית", "לבית", "הבית", "ביתנו" – ארבע שורות בטבלת השכיחויות, מילה אחת במציאות. כל ניתוח שמדלג על הפילוח מדווח על התפלגות של מיליות היחס, לא של התוכן.

להפעיל stemmer. כלים כלליים מציעים "הורדת סיומות לעברית". אין דבר כזה במורפולוגיה של שורש ומשקל; התוצאה היא רצפי אותיות שאינם מילים.

להעביר ל-LIWC או למילון רגש מתורגם. אין מילון LIWC עברי רשמי: מאגר המילונים של LIWC-22 מונה 18 שפות (ספטמבר 2026), ועברית אינה ביניהן. הקבוצה היחידה שתרגמה אותו במלואו – שפירא ואחרים (2021) – עשתה זאת ב-150 אלף מועמדי תרגום ובכ-1,000 שעות שיפוט, ואינה רשאית לפרסם את התוצאה כי LIWC מסחרי (עמ' 56, 62). היא גם מסבירה למה תרגום מילה-מילה נכשל: "תרגום ישיר מוביל לתוצאות חלקיות או שגויות" (עמ' 55) – נטיות וצורות פועל שאין להן מקבילה אנגלית, מילים שונות שמתמזגות לאותה למה, ומילון "אני" של LIWC (12 מילים באנגלית) שהמורפולוגיה העברית "מונעת ממנו לספור" (עמ' 56). מה יש במקום: Hebrew Psychological Lexicons – מילוני רגש, דיכאון ורווחה שנבנו לעברית מ-872 תמלילי פסיכותרפיה ואומתו בשלושה שופטים (κ של פלייס .54 בסבב הראשון, .95 אחרי פישור; עמ' 57), חופשיים ב-GitHub (CC BY-SA; חבילת hepsylex). ל-HebEMO יש לפחות אימון עברי – ועדיין דורש אימות (סעיף 7, צעד 6).

לסמוך על "תמיכה בעברית" בכלי כללי. ב-spaCy עברית היא "none yet"; ב-AntConc וב-Voyant העברית נטענת אך אינה מפולחת; במודלים רב-לשוניים היא מנותחת דרך אוצר מילים אנגלי. תמיכה = טוקניזציה, אלא אם נאמר אחרת.

להריץ מודל מודרני על טקסט לא-מודרני. AlephBERT על דף גמרא, HebPipe על פרק בישעיהו – הפלט ייראה תקין ויהיה שגוי ברובו. משלב קודם לכלי (סעיף 1ד).

לא לנרמל – ולקבל שתי מילים לכל מילה. ניקוד שלא הוסר, גרשיים שלא אוחדו, כתיב מלא וחסר זה לצד זה. הסימפטום: המילה השכיחה ביותר מופיעה בשכיחות נמוכה במפתיע.

לתת למודל את ההחלטה. מספר הנושאים, סף הסנטימנט, רשימת מילות העצירה – החלטות של החוקר, שמתועדות ומנומקות. מודל שבחר "לבד" הוא מודל שבחר בברירת מחדל של מישהו אחר.

רשימת בדיקה – לפני שמנתחים טקסט עברי

מקורות

האקדמיה ללשון העברית. (2017). כללי הכתיב המלא. https://hebrew-academy.org.il/topic/hahlatot/missingvocalizationspelling/

Adler, M., & Elhadad, M. (2006). An unsupervised morpheme-based HMM for Hebrew morphological disambiguation. In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (pp. 665-672). Association for Computational Linguistics. https://doi.org/10.3115/1220175.1220259

Ahia, O., Kumar, S., Gonen, H., Kasai, J., Mortensen, D. R., Smith, N. A., & Tsvetkov, Y. (2023). Do all languages cost the same? Tokenization in the era of commercial language models. In Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (pp. 9904-9923). Association for Computational Linguistics. https://doi.org/10.18653/v1/2023.emnlp-main.614

Bareket, D., & Tsarfaty, R. (2021). Neural modeling for named entities and morphology (NEMO²). Transactions of the Association for Computational Linguistics, 9, 909-928. https://doi.org/10.1162/tacl_a_00404

Chriqui, A., & Yahav, I. (2022). HeBERT and HebEMO: A Hebrew BERT model and a tool for polarity analysis and emotion recognition. INFORMS Journal on Data Science, 1(1), 81-95. https://doi.org/10.1287/ijds.2022.0016

Drucker, J., & Albrezzi, F. (2026). The digital humanities coursebook: Applied concepts and critical approaches (2nd ed.). Routledge. https://doi.org/10.4324/9781003589792

Goldin, G., Howell, N., Ordan, N., Rabinovich, E., & Wintner, S. (2025). The Knesset corpus: An annotated corpus of Hebrew parliamentary proceedings. Language Resources and Evaluation, 59(3), 2973-3004. https://doi.org/10.1007/s10579-025-09833-4

Goregaokar, M., & Leroy, R. (Eds.). (2026). Unicode bidirectional algorithm (Unicode Standard Annex No. 9, Revision 52). Unicode Consortium. https://www.unicode.org/reports/tr9/

Itai, A., & Wintner, S. (2008). Language resources for Hebrew. Language Resources and Evaluation, 42(1), 75-98. https://doi.org/10.1007/s10579-007-9050-8

Kingham, C., & van Peursen, W. (2018). The ETCBC database of the Hebrew Bible. Journal for Semitics, 27(1), Article 2974. https://doi.org/10.25159/1013-8471/2974

McCarthy, J. J. (1981). A prosodic theory of nonconcatenative morphology. Linguistic Inquiry, 12(3), 373-418.

More, A., Seker, A., Basmova, V., & Tsarfaty, R. (2019). Joint transition-based models for morpho-syntactic parsing: Parsing strategies for MRLs and a case study from Modern Hebrew. Transactions of the Association for Computational Linguistics, 7, 33-48. https://doi.org/10.1162/tacl_a_00253

Neguse, T. T., Gabay, H., Reychav, I., McHaney, R., & Jonathan, G. M. (2026). AI-based chatbots and public value creation in digital government services. Transforming Government: People, Process and Policy. Advance online publication. https://doi.org/10.1108/TG-02-2026-0074

Pérez Fernández, M. (1997). An introductory grammar of Rabbinic Hebrew (J. Elwolde, Trans.). Brill. (Original work published 1992)

Ravid, D., & Schiff, R. (2006). Roots and patterns in Hebrew language development: Evidence from written morphological analogies. Reading and Writing, 19(8), 789-818. https://doi.org/10.1007/s11145-006-9004-3

Roorda, D. (2017). The Hebrew Bible as data: Laboratory – sharing – experiences. In J. Odijk & A. van Hessen (Eds.), CLARIN in the Low Countries (pp. 217-229). Ubiquity Press. https://doi.org/10.5334/bbi.18

Roorda, D. (2018). Coding the Hebrew Bible. Research Data Journal for the Humanities and Social Sciences, 3(1), 27-41. https://doi.org/10.1163/24523666-01000011

Rust, P., Pfeiffer, J., Vulić, I., Ruder, S., & Gurevych, I. (2021). How good is your tokenizer? On the monolingual performance of multilingual language models. In Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) (pp. 3118-3135). Association for Computational Linguistics. https://doi.org/10.18653/v1/2021.acl-long.243

Sáenz-Badillos, A. (1993). A history of the Hebrew language (J. Elwolde, Trans.). Cambridge University Press. (Original work published 1988)

Seker, A., Bandel, E., Bareket, D., Brusilovsky, I., Greenfeld, R., & Tsarfaty, R. (2022). AlephBERT: Language model pre-training and evaluation from sub-word to sentence level. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 46-56). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.acl-long.4

Shapira, N., Atzil-Slonim, D., Juravski, D., Baruch, M., Stolowicz-Melman, D., Paz, A., Alfi-Yogev, T., Azoulay, R., Singer, A., Revivo, M., Dahbash, C., Dayan, L., Naim, T., Gez, L., Yanai, B., Maman, A., Nadaf, A., Sarfati, E., Baloum, A., . . . Goldberg, Y. (2021). Hebrew psychological lexicons. In Proceedings of the Seventh Workshop on Computational Linguistics and Clinical Psychology: Improving Access (pp. 55-69). Association for Computational Linguistics. https://doi.org/10.18653/v1/2021.clpsych-1.6

Shmidman, A., Guedalia, J., Shmidman, S., Shmidman, C. S., Handel, E., & Koppel, M. (2022). Introducing BEREL: BERT embeddings for rabbinic-encoded language. arXiv. https://arxiv.org/abs/2208.01875

Shmidman, A., Shmidman, S., Koppel, M., & Goldberg, Y. (2020). Nakdan: Professional Hebrew diacritizer. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations (pp. 197-203). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-demos.23

Shmidman, S., Shmidman, A., Cohen, A. D. N., & Koppel, M. (2024). Adapting LLMs to Hebrew: Unveiling DictaLM 2.0 with enhanced vocabulary and instruction capabilities. arXiv. https://arxiv.org/abs/2407.07080

Shmidman, S., Shmidman, A., & Koppel, M. (2023). DictaBERT: A state-of-the-art BERT suite for Modern Hebrew. arXiv. https://arxiv.org/abs/2308.16687

Shmidman, S., Shmidman, A., Koppel, M., & Tsarfaty, R. (2024). MRL parsing without tears: The case of Hebrew. In Findings of the Association for Computational Linguistics: ACL 2024 (pp. 4537-4550). Association for Computational Linguistics. https://doi.org/10.18653/v1/2024.findings-acl.269

Sima'an, K., Itai, A., Winter, Y., Altman, A., & Nativ, N. (2001). Building a tree-bank of Modern Hebrew text. Traitement Automatique des Langues, 42(2), 347-380.

Talstra, E., & Sikkel, C. J. (2000). Genese und Kategorienentwicklung der WIVU-Datenbank, oder: Ein Versuch, dem Computer Hebräisch beizubringen. In C. Hardmeier, W.-D. Syring, J. D. Range, & E. Talstra (Eds.), Ad fontes! Quellen erfassen – lesen – deuten. Was ist Computerphilologie? Ansatzpunkte und Methodologie – Instrumente und Praxis (Applicatio 15, pp. 33-68). VU University Press.

Tsarfaty, R., Bareket, D., Klein, S., & Seker, A. (2020). From SPMRL to NMRL: What did we learn (and unlearn) in a decade of parsing morphologically-rich languages (MRLs)? In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 7396-7408). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.660

Tsarfaty, R., Sadde, S., Klein, S., & Seker, A. (2019). What's wrong with Hebrew NLP? And how to make it right. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP): System Demonstrations (pp. 259-264). Association for Computational Linguistics. https://doi.org/10.18653/v1/D19-3044

Unicode Consortium. (2026). The Unicode Standard, Version 18.0.0. https://www.unicode.org/versions/Unicode18.0.0/

Whistler, K. (Ed.). (2026). Unicode normalization forms (Unicode Standard Annex No. 15, Revision 58). Unicode Consortium. https://www.unicode.org/reports/tr15/

Wintner, S. (2004). Hebrew computational linguistics: Past and future. Artificial Intelligence Review, 21(2), 113-138. https://doi.org/10.1023/B:AIRE.0000020865.73561.bc

Zeldes, A., Howell, N., Ordan, N., & Ben Moshe, Y. (2022). A second wave of UD Hebrew treebanking and cross-domain parsing. In Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing (pp. 4331-4344). Association for Computational Linguistics. https://doi.org/10.18653/v1/2022.emnlp-main.292