日本語の文書レベルのテキスト平易化の自動評価

テキスト平易化は文単位の研究が中心であったが[3]，文レベルの平易化では文書全体の平易度が必ずしも向上しないことが指摘されてきた[4]．一方，文書レベルテキスト平易化では，情報の取捨選択や段落間の結束性の保持といった，単文処理とは異なる課題が生じる[2,5]．こうした背景を受け，近年はSWiPE[6]やSIMSUM[7]など英語を中心に文書レベルテキスト平易化のための資源が整備されてきており，日本語においてもJADOS[8]やそれに平易度に関するメタデータを付与したJADOS-eval[1]の公開によって基盤が整いつつある．しかし，文書レベルテキスト平易化の「自動評価」に着目した研究は依然として少なく，文単位指標SARI[9]を文書レベルに拡張したD-SARIも談話的一貫性の評価には十分ではないことが報告されている[2]．加えて，近年はLLMを評価器とするLLM-as-a-Judgeが注目されているものの[10]，その評価はモデルや言語に依存して不安定になりうることが指摘されている[11,12]．これらの経緯から，本研究では日本語文書レベルテキスト平易化において，人手評価とLLM評価を体系的に比較し，を対象とした人手評価と自動評価の比較の概要．LLM-as-a-Judgeによる自動評価の有効性を検討する（表1）．また，従来の評価指標であるD-SARIとの比較を行い，LLM-as-a-Judgeの有効性を調査する．