日本語の文書レベルのテキスト平易化の自動評価

本研究は，日本語の文書レベルにおける，テキスト平易化の大規模言語モデル（LLM）の自動評価能力を検証するものである．データセットとしてJADOS-eval[1]を用い，ソース文書に対応する複数の平易化文書について，必要性・十分性・文平易度・文書平易度の4指標を対象に，人手評価とLLMの分類結果を比較した．その結果，GPT-4oとGemini2.5Proは0-shotでも高い一致率を示し，従来指標D-SARI[2]より人手評価との相関が高い傾向が確認された．一方，多くのモデルは文書平易度を体系的に過小評価し，特に漢字出現率など表層的難度が判断に影響する可能性が示された．