高度な言語理解能力に加えて人間的な感性をも備えつつある高性能大規模言語モデルを、人手評価の代替手段として活用することに関する議論が近年広がりを見せている。しかし、大規模言語モデルによる人手評価の代替については、いまだ現行技術の限界や致命的な課題など未解明の側面も多く、言語やタスク横断的に広く知見を収集することが重要な段階にある。本研究は、日本語を対象として、対話データの品質評価における大規模言語モデルの活用について経験的な知見を提供するものである。評価軸や回答形式が異なる複数の評価設定において、モデルの評価性能や動作傾向がどのように変動するかを定性的および定量的に調査し、結果を報告する。

自然言語処理分野における大規模言語モデルの急速な発展は、多くの研究領域に革新をもたらしている。膨大な知識と高い言語理解能力、論理的思考力を備えた大規模言語モデルは、分野横断的なタスクにより測定される総合的な問題解決能力において、人間の専門家に匹敵する水準に達しつつある[1,2]。高性能な大規模言語モデルの活用先として近年大きな注目を集めているのが「評価者」としての役割である[3]。高度な言語理解と人間的な感性に基づく判断が必要ゆえに従来は人手評価が強く推奨されてきた文生成タスクの評価においては、大規模言語モデルの活用により低コストかつ実用的な代替手段が提供される可能性があり、とくに高い関心が寄せられている[4,5,6]。人間の作業をより高精度に代替する方法論の開発[7,8]が進む一方で、大規模言語モデルによる人手評価の代替については現行技術の限界や致命的な課題など未解明の側面も多く、言語やタスク横断的に経験的知見を広く収集することは引き続き重要な取り組みの方向性となる[9,10]。本研究は、日本語を対象として、対話データの品質評価における大規模言語モデルの活用について経験的な知見を収集することを目的とするものである。対象とする対話品質評価タスクの実用的な応用先としては、学習データ高品質化のための対話データフィルタリングなどが挙げられる。実験では、評価軸や回答形式が異なる複数の評価設定において、モデルの評価性能や動作傾向がどのように変動するかを定性的および定量的に調査し、その結果を報告する。調査の結果、モデルとデータセットを固定し評価設定のみを変更した場合、モデルの評価性能には順位相関係数で最大0.9ポイント超の差が生じることが明らかとなった。また、評価スコアとして用いる数字そのものにモデルがバイアスを持っており評価結果がその影響を受けている可能性があることも示唆された。実際、この影響を回避した評価設定においては評価性能が改善されることを確認した。