物語文評価における評価モデル統合手法としての

本研究では，物語文の自動評価において複数の評価指標を統合する手法として，多次元項目反応理論(IRT)の適用を検討した．METEOR，BERTScore，COMET，Perplexityを対象に，人手評価との相関を単体評価，単純平均，IRT統合で比較した．その結果，順位相関では単体指標や単純平均が強力なベースラインとなる一方，識別力パラメータを用いた重み付け統合では線形相関が向上することが示された．さらに，多次元IRTにより評価指標の役割の違いを分析し，Perplexityの特異性を明らかにした．