生成・分類言語モデルに基づく対話システムの構築

近年，MicrosoftのDialoGPT[1]や，GoogleのMeena[2]など，Transfomerベースの言語モデルを用いて，人間同士の対話データを応答生成のタスクで学習し，学習した言語モデルを用いて応答を生成するという生成言語モデルに基づく対話システム（以下，生成対話システムと呼ぶ）が主流となっている．このような対話システムは入力した対話履歴に基づいて，流暢な応答文を生成できる利点はあるが，「猫が好き．猫が好き」と言った繰り返される応答，または「分からない」と言った一般化された応答を頻繁に出力してしまい，情報性が低い対話になる傾向があり，問題となっている．本研究では，上に述べたような応答を生成しないことを目的とし，複数応答を生成した後に応答の適切性を判定できる生成・分類言語モデルに基づく対話システム（以下，生成・分類対話システムと呼ぶ）を提案する．図1に提案する対話システムの応答生成の流れを示す．従来手法との比較実験により，提案する対話システムは，多様性と正解性評価指標にGoodmorning!Goodmorning,sirDoyoulikemovies?Idonʼtknow⽣成1Idon'tlikemovies.⽣成2⽣成3Ilovemovies!Whatkindofmoviesdoyoulike?Ilovemovies!Whatkindofmoviesdoyoulike?分類生成の流れ．おいて最高値を示した．本稿では，まず生成言語モデルと生成・分類言語モデルについて述べる．次に生成対話システムと，提案する生成・分類対話システムについて述べる．最後に提案する対話システムの実験と評価について報告する.