大規模言語モデルに基づく複数の外部ツールを利用した推論フレームワーク

推論は既知の事柄を手がかりに未知の事柄を推し量る論理的なプロセスである。推論では、言語理解の能力はもちろん、実世界に関する知識、数値計算をはじめとする記号処理の能力も必要となる。計算機による推論の実現は人工知能研究の古くからの目標であり、現在まで中心的な関心であり続けている[1,2]。昨今、大規模言語モデル（LargeLanguageModel;LLM）[3,4,5,6]が種々の推論タスクで驚異的なスコアを達成している。これは大規模言語モデルが事前学習を通じて基本的な言語理解の能力に加え、広範な世界知識、そして数値計算を含む記号推論の能力までもを一定程度獲得していることを示している。しかし、大規模言語モデルであっても保持できる世界知識の量と実行可能な記号処理の複雑さには限界がある。この問題を解決するため、大規模言語モデルによる推論時に検索器や電卓などの外部ツールを呼び出し、その結果を利用する手法が提案されている[7,8]。しかし、先行研究はいずれも単一の外部ツールの利用に留まっており、推論を実行する上で課題となる知識の問題や記号処理の問題を同時に解決する枠組みにはなっていない。本研究では、大規模言語モデルによる推論において、検索器や電卓といった複数の外部ツールの利用を可能にするフレームワークを提案する。図1に提案手法の概要を示す。提案手法では、大規模言語モデルが推論過程を含めて解答を生成するように入力のテキスト（プロンプト）を設計する[9]。提案手法の鍵は、プロンプトの工夫によって、推論過程の一部として外部ツールを呼び出す文字列を生成させることにある。実行時は、大規模言語モデルが外部ツールを呼び出す文字列を生成したら推論過程の生成を中断し、生成中の推論過程から利用する外部ツールの名前とそれに与える入力を取り出し、外部ツールの実行結果を推論過程に追記する。その後大規模言語モデルに推論過程の生成を再開させ、外部ツールを呼び出す文字列が生成されたらまた上記の手続きを行う。提案手法の有効性を確認するため、専門知識を要する数値推論タスクNumGLUE（Task2）[10]のもとで実験を行った。実験の結果、提案手法が強力なベースライン手法の性能を大幅に上回り、現時点での最高性能を達成することを確認した。