物語文評価における評価モデル統合手法としての

近年，自然言語生成技術の発展に伴い，自動生成された文章の品質を適切に評価する手法の重要性が高まっている．特に，物語生成や長文生成の分野においては，文法的な正しさのみならず，内容の一貫性や自然さ，さらには人間が感じる主観的な評価をどの程度反映できているかが重要な課題となっている．従来の自動文章評価では，BLEU[1]やMETEOR[2]に代表される参照文との類似度に基づく指標や，BERTScore[3]やCOMET[4]のように文脈表現を用いた高度な評価指標が広く用いられてきた．一方で，これらの評価指標はそれぞれ異なる観点から文章を評価しており，単一の指標のみでは人手評価を十分に再現できない場合があることが指摘されている．また，参照文を必要としない評価手法として，言語モデルのPerplexity[5](以下，PPL)が広く利用されている．PPLは文章の流暢さを測る指標として有用であるが，物語としての面白さや内容的妥当性を直接評価するものではない．そのため，PPL単体で人手評価と高い整合性を示すとは限らない．また，物語に特化しているモデルとしてStoryER[6]がある．StoryERはRanking/Rating/Reasoningを統合し，対人相関が高いが，学習データやカテゴリに依存があり評価の精度にもまだ課題が残る．評価モデルごとに観点とスケールが異なるため，単独・単純集約では一貫した品質判断が難しい．このような背景から，本研究では複数の自動文章評価指標を統合する枠組みに着目する．具体的には，心理測定学の分野で用いられてきた項目反応理論(IRT)を用いて，複数の評価指標を統合し，文章の潜在的な品質を表す能力値を推定する．そして，推定された能力値と人手評価との相関を分析することで，IRTによる統合評価の有効性を検証する．本研究の貢献は以下の2点である．(1)複数の参照あり・参照なし自動評価指標をIRTにより統合する手法を提案する．(2)統合された能力値と人手評価との相関を定量的に評価する．