オーダーメイド対話管理：商用チャットボットに向けた対話管理学習データ自動作成

自然言語処理分野において対話は重要なタスクの一つである[1]。ChatGPT1）が登場してから、対話の重要性がますます認識され、大規模言語モデル（LLM）に基づいた対話の枠組みに様々なタスクが取り組まれている[2,3,4]。対話の出力の正確性を高めるために、LLMに外部ツール2）を呼び出させて返事を生成させる取り組みは近年盛んに取り組まれている[6,7]。このようにツール拡張言語モデルは対話管理エージェント3）として使われていることにより、ハルシネーションの課題が緩和され、実際のビジネス場面にも使えるLLMに基づいたチャットボットが可能になった。ツール拡張言語モデルを学習するために、多くの既存研究がベンチマークデータを作成したが、これらのデータはビジネス現場のユースケースとミスマッチであり、問題設定が単純で、人間の専門家に依存するため、商用チャットボットにおける対話管理に向いていない（2節を参照）。これらの課題を踏まえて、本研究は商用チャット1）https://chatgpt.com/2）既存研究[5]に従い、本稿では、ツールを「LLMの外部環境に稼働しているプログラムだ」と定義する。3）対話管理に様々なタスクがあるが、本稿には対話管理におけるツール呼び出しに限定する。ボットにおける対話管理向けの学習データ自動作成手法を提案した（3節を参照）。事前に指定されたドメインや事前定義された外部ツールの集合に依存せずに、データの作成者は自らタスクの説明文とツールの説明文を与えると、作成者の要望に沿った高品質なデータが自動的に大量生成され、オーダーメイド対話管理が実現できる（4節を参照）。これらのデータを学習データとして使うと、対話管理エージェントの性能は向上させた（5節を参照）。