RLAIFを対話システム学習に適応する上では、シングルターンの対話だけでなく、対話文脈全体の一貫性、個性、共感性などの対話印象を向上させる必要がある。本研究では、対話印象評価のための報酬モデルの比較、及びその報酬をフィードバックとしたシステムの対話印象の改善を行った。自動評価と人手評価の結果、個々の対話印象の向上だけでなく、応答の自然さも向上することが示された。

近年の大規模言語モデル(LargeLanguageModel;LLM)の発展により、多くの対話システムもLLMを主としたものに置き換わっているが、特定の目的に沿った対話システムの構築のためには、いまだに学習のためのデータ構築が必要となっている。そのような中で、教師データの構築を行わずに多様な目的でLLMの学習を行うことができる、ReinforcementLearningfromAIFeedback(RLAIF)が注目を浴びている[1,2,3,4,5]。RLAIFでは報酬モデルの用意ができれば、教師データの構築を無しにLLMの学習が可能になるという点で、対話システムへの応用が期待される技術である。RLAIFの既存研究の多くは、生成されたテキストに対して一対一で与えられる評価を仮定している。例えば、Chengらは推論と翻訳[1]を目的として、LeeやBaiらは生成文からユーザにとって有害な文を取り除くこと[2,3]を目的として、LLMによるフィードバックに基づいたモデル学習を行っている。これに対し、対話モデルに対してLLMや報酬モデルによるフィードバックを行おうとする場合、各発話応答の評価だけではなく、対話全体に対するユーザからの評価、つまり対話印象が重要な場合がある。対話全体に対する評価をAIモデルに行わせる取り組みはFED[6]やMEEP[7]、INCAHARACTER[8]、LLM-Eval[9]、G-Eval[10]、LLM-as-a-Judge[11]などいくつか存在する。しかし、zero-shot,few-shotのpromptingのみで対話全体に対し特定の観点に立った適切な評価を与えることは困難が伴う。本研究では対話全体で得られる各対話印象を評価するための最適な戦略の調査のため、プロンプティングベースの手法と少量の対話評価データで教師あり学習（SupervisedFine-Tuning;SFT）を行ったモデルの2種類の報酬モデルの比較を行った。この結果、promptingのような報酬モデルに明示的な学習を行わないケースと比較して、SFTを行う方がより適切に対話印象を評価できることが確認された。また、これらの報酬モデルからの出力を向上させるよう対話モデルの適応を行った結果、応答の自然さと対話印象の改善が確認され、適応したモデルが自動評価、人手評価双方で高い評価を得た。