農業経営データに対するMulti-tableQAベンチマークの構築

近年，GPT-3やGPT-4といった大規模言語モデル（LLM）の発展により，多様な知的作業を自動化できる可能性が広がっている[1,2]．農業経営では，普及指導員が経営指標や技術体系など複数の資料を参照・統合し，個別の農家に対して助言を行う．この過程をLLMで支援できれば，農業従事者の減少[3]に伴う人手不足の解消に寄与しうる．農業経営に関する知識や指針は，標準的な経営モデルとして全国的に整備・公開されており，その多くは自然言語を含む表形式データとして提供されている．これらの表は機械可読性を前提として作成されていない場合が多く，正規化が不十分であり，セル結合を含む複雑な構造を持つ．さらに，農業経営の意思決定では，収支，作業体系，労働時間など，異なる観点で整理された複数の表を参照し，それらを統合して判断する必要がある．しかし，これらの表およびクエリには農業経営の文脈に依存した暗黙的前提が多く含まれるため，単純な情報抽出だけでは適切な回答を導くことが難しい．したがって，農業経営の意思決定支援には，複雑な複数表データを横断的に理解・統合し，農業経営の文脈や暗黙的前提を踏まえて回答を生成する能力，すなわち高度なMulti-tableQA（QuestionAnswering）が不可欠である．そこで本研究では，農業経営に関する複数の表形式データを対象に，既存LLMのMulti-tableQAにおける情報統合能力および推論性能を評価する．本研究の主な貢献は以下の通りである．•農業経営類型を基にした暗黙的前提を扱うMulti-tableQAデータセットを構築し，公開する．•既存LLMを対象に，農業経営の文脈を含むMulti-tableQA性能を評価する．