適応的対話システムのための終盤の会話を予測する埋め込みモデルの構築

大規模言語モデル（LargeLanguageModel;LLM）の登場により，対話システムの性能は飛躍的に向上している[1,2,3,4]．そのような対話システムが普及していく中で，人間が対話において行う，相手の性別や年代，性格に合わせた話し方の調整は，タスクの達成や満足度向上において，より重要となっている．これまでに，相手に適応する対話システムを構築する取り組みはいくつか提案されている[5,6,7]．しかし，従来の対話システムでは，適応のルールや話し方の調整方法を事前に設計する必要があるため，未知のユーザに柔軟に適応することが難しい．我々は，対話相手の話し方に着目し，序盤の対話から対話相手との終盤の対話を予測することで，対話相手に適応した応答生成を実現する手法を提案する．人間の対話では，進行に伴い互いの話し方が調整され，親密さや信頼感が築かれる[8]．また，会話における言語スタイルの適応が，相手への関与や相互理解を高めるうえで重要な役割を果たすことも示唆されている[9]．本研究では，序盤の対話から終盤の話し方を予測し，その結果を応答生成に活用することで，通常対話を重ねる中で得られる適応を短時間で実現することを目指す．[10]を利用し，話し方に基づいて序盤と終盤とを紐づける埋め込みモデルを学習する．さらに，最近傍探索ライブラリであるFaiss1）[11]を用いて序盤の対話から類似した話し方を持つユーザの終盤の対話を獲得する仕組みを構築する．実際の対話時には，蓄積された対話履歴から，対話相手との終盤の対話となるものを検索し，それを利用して対話相手に適応した発話を実現する．例えば，得られた対話をプロンプトにショットとして含めるなどが想定される．本稿では，序盤の対話から，その話者との終盤の対話を予測するための埋め込みモデルの構築と評価を行った．評価の結果，対照学習を導入することで，終盤の対話に対する検索の精度が向上することを確認した．特に，一つの学習データに含める発話数を増やした場合に大幅な精度向上が見られ，長い文脈情報が話し方の特徴を捉える上で有効であることが示された．1）https://github.com/facebookresearch/faiss.