AIエージェントのためのツール呼び出し評価データJMultiWOZ-TCの構築

近年，大規模言語モデル（LLM）をAIエージェントとして活用する動きが広がっている．AIエージェントとは，LLMを中核として構築され，外部環境とのインタラクションを通じて情報を取得・更新しながら，与えられた目的に従って推論・意思決定を行い，自律的に行動するソフトウェアである．AIエージェントには，目的を遂行するための計画立案能力，目的達成に必要な外部ツールを呼び出す能力，環境からの応答を踏まえて自身の行動を内省し次の行動へとつなげる能力，行動全体に関する情報を適切に記憶・活用する能力などが求められる．本稿では，日本語による指示が与えられる環境において，LLMが目的の達成に必要な外部ツールを適切に呼び出せるかを評価するためのデータセットを構築する．図1に，LLMを用いたツール呼び出しの例を示す．この例では，𝑡ターン目のユーザ発話「wiﬁが使えるところで」に対して，LLMがSearch_hotelというツールを呼び出している．本稿の主な貢献は以下の2点である．対話履歴＋直前のユーザ発話1ターン目のユーザ発話「今度、出張で京都に行くんだけど」1ターン目のツール呼び出しtターン目のツール呼び出し1ターン目のシステム発話{…"type":"function","function":{t-1ターン目のユーザ発話"name":"Search_hotel","arguments":{"city":"京都",t-1ターン目のツール呼び出しt-1ターン目のシステム発話「他に要望はありますか?」AIagent"genre":"ビジネスホテル","wifi":"有り(無料)"}}}tターン目のユーザ発話LLM「wifiが使えるところで」1)マルチドメインタスク指向型対話のデータセットであるJMultiWOZ（詳細は後述）をAIエージェントのツール呼び出し評価に適した形に再構成したJMultiWOZ-TC（JapaneseMulti-DomainWizerd-of-OzToolCall）を構築する1）．2)JMultiWOZ-TCを用いて，既存のLLMにおけるツール呼び出しの生成正答率を評価する．