対話データにおける個人の評価傾向の違いの分析-個人の評価傾向を反映した対話システム自動評価に向けて-

対話システムは使用環境や目的に応じてその振る舞いを調整すべきである．調整のためには，個々のシステムに合わせた評価をする必要がある．評価の質を確保するため人手による評価を行うことが多いが，時間的・金銭的コストから何度も行うことは難しい．そのため，FED[1]やACUTE-EVAL[2]など人手で付与された評価値と相関の高い自動評価手法が多く提案されている．近年，言語生成タスクにおいてLLMを用いた評価手法が多く用いられており，対話評価においても有効とされている[3]．プロンプトの調整のみで様々な評価軸を評価でき，新しく対話評価データを収集する必要がないため低コストである．LLMを用いた対話評価手法としてGPT-Score[4]やG-EVAL[5]などが提案されており，人手評価と比較的相関が高いとされている．これらの手法では，評価対象とするシステムの情報は使用されておらず，システムに合わせた評価とはなっていない．個々のシステムにはそれぞれの目的や用途があり，それに合わせた評価が必要である．設計者など特定の個人の評価傾向を反映することで個々の対話システムに合わせて評価できる．反映すべき評価傾向を明らかとするためには，人手評価の相違について分析する必要がある．本研究では，対話データセットに含まれる人手評価の値から評価傾向の相違を明確にする．まず，同一対話データに付与された評価値の相違をスピアマンの順位相関を用いて分析する．個々の付与した評価値間の相関係数より，評価の個人差を定量的に示す．次に，評価者ごとの重視する評価軸の違いを総合評価と各評価軸の重回帰により分析する．回帰係数の比較より，個人の重視する評価軸を明らかにする．本研究の分析より以下のことが明らかになった．•同一の対話データに対して付与される評価値は個人差があり，評価者間の相関は低い．•評価傾向の違いは，重視する評価軸の違いに現れる．この結果より，対話評価における個人差が明確となった．また，開発者など特定の個人の評価傾向を反映するためには，重視する評価軸の傾向が有用であることが示された．