AIエージェントのためのツール呼び出し評価データJMultiWOZ-TCの構築

近年，大規模言語モデルのAIエージェントとしての活用が注目されている．本稿では，AIエージェントのツール呼び出し性能を評価するために，日本語データセットJMultiWOZ-TCを構築した．本データセットは，マルチドメイン対話データであるJMultiWOZをAIエージェントのツール呼び出し評価用に再構成したもので，4,246対話のユーザ発話31,303発話に対して，合計16,510個のツール呼び出しが付与されている．既存のLLM（Llama3.1-70B，Qwen3-32B，Swallow-70B）のツール呼び出し能力を評価し，誤り傾向を分類した結果，モデルごとに誤りの発生要因や傾向に特徴があることが分かった．