大規模言語モデルを用いた実世界タスク指向対話における

本稿は大規模言語モデル(LargeLanguageModel;LLM)を用いて，時々刻々変化する実世界を考慮したタスク指向対話を実現する手法について述べる．近年，LLMは人間に近い品質の対話生成ができるまでに発展してきているが，対話モデルは汎用利用を想定して構築されており，個別のユーザの状況に応じた対話ができるわけではない．たとえば，自動走行車との対話を想定したとき，車の位置が時々刻々と変化するにつれ，最寄りのコンビニやガソリンスタンド，道路の混雑状況が変化するため，個別の状況に整合した対話を生成する必要がある．BingChatなど検索エンジンを組み込んだLLMも存在するが，個別のユーザが存在している実世界とLLMがリアルタイムにリンクされているわけではない．そこで本研究では，実世界知識をプロンプトに組み込むことにより実世界対話を実現する手法を提案する．また，KVRET対話データセットを用いて，GPT-4oやLlama3を含む各種LLMにおけるファインチューニングおよびICLの効果を比較する．