SQLAgentとマルチモーダルLLMを用いた文書内の表に対する質問応答システム

多くの文書は表が含まれているため，質問応答において文書内の表に対する質問に正確に回答することは重要である．本研究では，回答の根拠となる表の検索と表に対する推論を必要とする質問応答タスクに取り組んだ．まず，従来手法の比較実験を行い，SQLAgentの回答性能が良いこと，SQLAgentに表画像を入力に加えた手法(SQLAgent-V)が表記揺れに対して頑健である可能性が示唆された．表記揺れに対する頑健性を向上させるために，LangGraphを利用してSQLAgentとSQLAgent-Vを質問に応じて動的に切り替える手法を提案し，表記揺れを発生させたデータセットで実験を行うことで提案手法の有効性を確認した．