本研究は，日本語の文書レベルにおける，テキスト平易化の大規模言語モデル（LLM）の自動評価能力を検証するものである．データセットとしてJADOS-eval[1]を用い，ソース文書に対応する複数の平易化文書について，必要性・十分性・文平易度・文書平易度の4指標を対象に，人手評価とLLMの分類結果を比較した．その結果，GPT-4oとGemini2.5Proは0-shotでも高い一致率を示し，従来指標D-SARI[2]より人手評価との相関が高い傾向が確認された．一方，多くのモデルは文書平易度を体系的に過小評価し，特に漢字出現率など表層的難度が判断に影響する可能性が示された．

テキスト平易化は文単位の研究が中心であったが[3]，文レベルの平易化では文書全体の平易度が必ずしも向上しないことが指摘されてきた[4]．一方，文書レベルテキスト平易化では，情報の取捨選択や段落間の結束性の保持といった，単文処理とは異なる課題が生じる[2,5]．こうした背景を受け，近年はSWiPE[6]やSIMSUM[7]など英語を中心に文書レベルテキスト平易化のための資源が整備されてきており，日本語においてもJADOS[8]やそれに平易度に関するメタデータを付与したJADOS-eval[1]の公開によって基盤が整いつつある．しかし，文書レベルテキスト平易化の「自動評価」に着目した研究は依然として少なく，文単位指標SARI[9]を文書レベルに拡張したD-SARIも談話的一貫性の評価には十分ではないことが報告されている[2]．加えて，近年はLLMを評価器とするLLM-as-a-Judgeが注目されているものの[10]，その評価はモデルや言語に依存して不安定になりうることが指摘されている[11,12]．これらの経緯から，本研究では日本語文書レベルテキスト平易化において，人手評価とLLM評価を体系的に比較し，を対象とした人手評価と自動評価の比較の概要．LLM-as-a-Judgeによる自動評価の有効性を検討する（表1）．また，従来の評価指標であるD-SARIとの比較を行い，LLM-as-a-Judgeの有効性を調査する．