テキスト編集システムの能力を評価するためには、システムが適用した編集操作を基本的な単位で同定することが重要である。このような編集操作の同定に向け、本稿ではテキスト編集事例の分解タスクを、所与の原文と編集文の間をつなぐ、非冗長かつ文法性を保つ、意味的に関連した最小のまとまりであるプリミティブな編集操作の系列を生成するタスクと定義する。これを自動化するためにアライメントツールと事前学習済み大規模言語モデルを用いた手法を提案し、テキスト平易化と機械翻訳後編集のデータセットを用いた実験の結果について報告する。

テキスト編集は人間の執筆活動において重要な役割を担う。その自動化はテキスト平易化や文法誤り訂正、機械翻訳向け前編集・後編集、文圧縮など様々な自然言語処理タスクにおいて取り組まれてきた。これらの性能は、深層学習に基づくテキスト編集技術により大きく向上してきた[1,2,3,4]。テキスト編集システムの振る舞いを理解することは、システムの編集能力の理解につながるため、重要である。深層学習に基づくテキスト編集システムを開発・評価する際の問題点として、システムの振る舞い、つまり、システムが編集文を生成するためにどのように原文を編集したか、を説明できないことが挙げられる。システムの評価には、BLEU[5]やROUGE[6]、BLEURT[7]などの評価指標が広く用いられている。しかし、これらの評価指標はいずれもシステムの振る舞いを一つの数値に集約するものであるため、解釈可能性が低い[8]。システムの振る舞いを理解する方法の1つに分析的評価がある[9]。この評価手法は詳細な分析を可能にするものの、他の人手評価と比較して、労力が原文Scientistswhostudythebrainhavefounditistough.編集操作1Scientists→ResearchersResearcherswhostudythebrainhavefounditistough.編集操作2φ→thatResearcherswhostudythebrainhavefoundthatitistough.編集操作3Researcherswhostudythebrain→Brainresearchers編集文Brainresearchershavefoundthatitistough.かかる。従って、システム開発の高速なサイクルに取り入れるためには、評価の自動化が求められる。分析的評価は原文・編集文の対における編集操作の同定と各編集操作の分類という2つのサブタスクで構成される。編集操作は、所与の文対を文法性を保つ最小単位の編集操作に分解することで同定できる[10]。しかし、これまでの研究において編集操作の同定はアノテータの経験に基づいて行われており、形式化も自動化もされておらず、アノテータ間での一貫した編集操作の同定の難しさが示唆されている[11]。一方、編集操作の分類については、様々なタスクに対して編集操作の分類体系が構築されており[9,12,13,14]、自動分類も試みられている[15]。本稿ではテキスト編集事例の分解タスクの形式化とその自動化の試みについて述べる。一般に、人間によるテキスト編集は文法性を保ち、意味的に関連した最小のまとまりであるプリミティブな編集操作を組み合わせることで行われる。例えば、図1に示す原文と編集文の対は3つの独立したプリミティブな編集操作に分解できる。このような分解の自動化に向けて、アライメントツールと事前学習済み大規模言語モデル(LLM)を用いた手法を実装し、テキスト平易化と機械翻訳後編集のデータセットを用いて有効性を検証した。その結果、それぞれのデータセットに含まれる編集事例の44%と64%を適切な粒度と順序の編集操作系列に分解できた。.