פישוט טקסט

פישוט טקסט הוא פעולה בתחום עיבוד שפה טבעית שמטרתה לשנות, לשפר, לסווג או לעבד גוף טקסט כתוב כך שמבנהו התחבירי והדקדוקי יהיה פשוט יותר באופן משמעותי, תוך שמירה על המשמעות והמידע המקורי. תחום זה מהווה מוקד חשוב של מחקר נוכח הצורך הגובר בתקשורת נגישה בעולם מורכב ומקושר, הנשלט יותר ויותר בידי המדע, הטכנולוגיה והמדיה החדשה.

ואולם, שפות אנוש טבעיות יוצרות אתגרים גדולים בשל אוצר המילים הרחב והמבנים התחביריים המורכבים שבהן – תכונות שהופכות את עיבודן לקשה גם עבור מחשבים מהירים ומתוכנתים היטב. אחד הפתרונות שמציעים החוקרים הוא שימוש בדחיסה סמנטית כדי לצמצם את הגיוון הלשוני ולהגביל את מערך המילים שבשימוש.

 דוגמה 
החוקר אדוויט סידהרתן (Siddharthan) הציג דוגמה לפישוט טקסט (2006):

המשפט המקורי כולל שתי פסוקיות זיקה ותחביר מורכב, והמערכת שואפת לפשט אותו לקבוצת משפטים פשוטים יותר:

 כמו כן תרם להתחזקות מחירי הנחושת, לדברי האנליסט, דו"ח של סוכנות הרכש משיקגו, אשר קדם לדו"ח המלא של סוכנויות הרכש שאמור להתפרסם היום, ומהווה אינדיקציה לתוכנו האפשרי של הדו"ח המלא.

פישוט:

 כמו כן תרם להתחזקות מחירי הנחושת, לדברי האנליסט, דו"ח של סוכנות הרכש משיקגו.
 דו"ח שיקגו מקדים את הדו"ח המלא של סוכנויות הרכש.
 דו"ח שיקגו מהווה אינדיקציה לתוכנו האפשרי של הדו"ח המלא.
 הדו"ח המלא צפוי להתפרסם היום.

 שיטות פישוט 
אחת השיטות היא פישוט לקסיקלי באמצעות החלפה לקסיקלית – תהליך דו-שלבי: זיהוי מילים מורכבות והחלפתן במילים פשוטות יותר (מילים נרדפות). האתגר המרכזי כאן הוא שלב הזיהוי, שמתבצע באמצעות למידת מכונה על סמך נתונים מתוייגים.

חוקרים, שהתאכזבו משיטות קלאסיות שבהן נדרשו משתתפים להכריע אם מילה היא פשוטה או מורכבת, גילו שניתן להשיג עקביות רבה יותר כאשר מבקשים מהמשתתפים לדרג מילים לפי רמות קושי.

 ראו גם 

 רפורמה בשפה
 אנגלית בסיסית

 מקורות 
 Wei Xu, Chris Callison-Burch and Courtney Napoles. "בעיות במחקר העכשווי של פישוט טקסט" בכתב העת Transactions of the Association for Computational Linguistics (TACL), כרך 3, 2015, עמ' 283–297.
 Advaith Siddharthan. "פישוט תחבירי וקוהזיה טקסטואלית" בכתב העת Research on Language and Computation, כרך 4, גיליון 1, יוני 2006, עמ' 77–109, Springer Science.
 Siddhartha Jonnalagadda, Luis Tari, Joerg Hakenberg, Chitta Baral and Graciela Gonzalez. Towards Effective Sentence Simplification for Automatic Processing of Biomedical Text. NAACL-HLT 2009, Boulder, ארצות הברית, יוני. 

 הערות שוליים 

קטגוריה:בלשנות חישובית