農業分野において使用される作物ごとの作業時期や栽培管理の指針を体系的に示した「栽培暦」は,写真・図・グラフ・表といった視覚情報に加えて，テキストが混在した複雑な文書である.本研究では,複数の表現形式（図,表,グラフ,テキスト）を含む栽培暦を対象としてマルチモーダル質問応答タスクを提案する.また，既存のマルチモーダルLLMをベースラインとして精度評価を行い，本タスクの難易度を明らかにするとともに，研究課題を整理する．

農業分野では,年間を通した作物の栽培・管理スケジュールを示すガイドラインである栽培暦が作成されている.これは,年間計画をもとに作成され,営農指導員が個別にパーソナライズした説明をする際に用いられる.作物・品種ごとに細かく作られており,JA(農業協同組合)や都道府県がPDF形式で提供している.栽培暦は,テキスト・図表・画像が混在した文書であり,年間スケジュールを中心とした複雑なレイアウト構造を有する.日本特有の縦書きのレイアウトや,1枚の栽培暦の情報量の多さから,従来の機械的な情報抽出手法では正確な情報抽出が困難であるという課題がある.文書画像解析の分野では,LayoutLM[1]に代表されるエンコーダ型モデルが,レイアウト情報とテキスト情報を統合的に処理し,分類・情報抽出・構造認識といったタスクで一定の成果を挙げてきた.また,文書中に含まれる表に対しては,表をセル単位の文字列やHTMLなどの構造化表現として扱い,その上で質問に応答するテキストベースの表質問応答手法も存在する[2,3].これらの手法に対し，大規模視覚言語モデル（LVLM）の発展に伴い，文書画像を直接入力としてEnd-to-Endに質問応答を行う枠組みが注目されている．特にQwen3-VL[4]は，DocVQA[5]をはじめとする文書質問応答ベンチマークにおいて高い性能を示している．しかしながら,農業文書を対象とした質問応答においては,作業日程などの時系列情報を含む図表が既存のマルチモーダルLLMでは適切に解釈できず,正確な出力が困難であることが指摘されている[6].近年では，AgMMU[7]，AgriCoT[8]，AgriGPT-VL[9]など，農業領域に特化したマルチモーダル質問応答データセットや評価フレームワークが提案されているものの,日本の農業現場で用いられる文書ベースの情報や，日本語特有の時間表現・レイアウト構造を含む資料を対象としたマルチモーダルでの性能は，依然として十分に評価されていない．そこで，本研究では，テキスト・図表・画像が混在する栽培暦を対象として，新たなマルチモーダル質問応答タスクを定義する．本タスクは,栽培暦から質問に対応する情報を適切に参照し,回答を生成する能力を問うものである.これにより,農業従事者が栽培暦から必要な情報へより容易に到達できるようにするための技術的基盤の構築を目指す.本研究の貢献は下記の3点である.•栽培暦を対象とした新しいマルチモーダルQAタスクを定義した.•ベースライン手法として,既存のマルチモーダルLLMによる実験と評価を行った.•実験結果の分析を通して,本タスク固有の課題を整理した.Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).3.4質問の種類本タスクでは,以下の3種類の質問タイプを対象とする.質問の例を図11）に示す.時系列に関する質問栽培暦に含まれる年間カレンダーに示されている作業の期間について問う.詳細な情報抽出を要する質問栽培暦に含まれる細かな図表について問う.複数箇所の参照を要する質問栽培暦の複数箇所を参照することで分かる情報について問う.3.5評価方法の検討評価では，自動評価指標に加えLLM-as-a-Judgeや人手評価の併用を検討している．本稿では参考値としてBLEUを用いたが,BLEUのみでは回答の妥当性を十分に反映できない例が確認されたためである．4ベースライン手法4.1実験の概要データセットのQAデータ687件を使用し,既存モデルの性能を評価するための実験を行っ1）図1は,農研機構から刊行されている「にじのきらめき」栽培暦改訂版」(https://www.naro.go.jp/publicity_report/publication/pamphlet/tech-pamph/134301.html)を利用した作例である.た.最新かつ高性能な商用モデルとして,GPT-5.2(gpt-5.2-2025-12-11)を採用した.また,オープンソースで提供される高性能かつ小型なモデルとして,Qwen3-VL-8B-Instructを採用した.入力の前処理として,各PDF文書について各ページを150dpiで画像に変換した.また,実験時には,QAペアに対応するページ1枚の画像を入力に利用した.4.2実験設定実験においては,簡潔な回答を得るため,以下のシステムプロンプトを用いた.システムプロンプトAnswerthequestionusingonlytheinformationshownintheimage.Followtheserules:-Theanswermustbeashortphraseorsingleword.Donotusefullsentences.-Usetheminimumnumberofwordsnecessary.-Ifmultiplepiecesofinformationarerequired,listthemusingtheJapanesecomma“、”.なお,temperature=0.7,top_p=0.9に設定している.org/licenses/by/4.0/).5実験結果解とモデルの出力それぞれについて,Unicode正規化と,"～","-"の文字コードの正規化を行ったのち,fugashiとunidic-liteを用いてトークナイズしたものを対象として算出した.ModelBLEUgpt-5.2-2025-12-110.5766Qwen3-VL-8B-Instruct0.6517BLEUスコアでは，Qwen3-VL-8B-InstructがGPT-5.2と比較して約7ポイント高い値を示した．一方で，BLEUスコアは語彙の一致度に基づく指標であるため，Qwen3-VL-8B-Instructが正解に近い表現を用いる傾向が結果に影響している可能性がある．6考察6.1誤り分析GPT-5.2,Qwen3-VL-8B-Instructの両モデルが不正解であった問題の多くは時系列に関する質問である.正解に比べて幅広い期間を回答するケースや,上旬・中旬といった配置の微妙な差を間違うケースが見られた(図2,図3).また,単純な抽出型の質問においても,画像の複雑さ,情報の密集などから,抽出箇所を誤るケースが見られた.6.2既存モデルにおける課題これらのエラーは，既存のモデルが栽培暦において本質的に重要となる時系列構造を十分に捉えられていないことを示唆している．特に，上旬・中旬・下旬といった細かな区切りは，横方向のテキスト間の対応とは異なり，縦方向の相対的な位置関係の理解を必要とするが，既存モデルではこのような構造的情報がうまく捉えられていないと考えられる．また，単純な文章抽出であっても，情報量の多い栽培暦の場合には,同一語句が文書中に現れる数が多いことや,視覚的に密集していることにより誤認が生じやすい．さらに，栽培暦のレイアウトは自治体ごとに異なる場合があるため，特定のレイアウトに依存した学習では十分とは言えず，レイアウトの多様性に対して汎用的に対応できる能力が求められる．7おわりに本研究では，栽培暦を対象としたマルチモーダル質問応答タスクを定義し，データセットを用いてベースライン実験を行った．分析の結果，既存のLVLMは栽培暦において重要な時系列構造を十分に捉えられていないことが明らかとなり，提案タスクの有用性を示した．今後の課題として，評価指標のさらなる検討が挙げられる．本稿ではBLEUスコアを用いたが，表層一致に基づく評価に限られるため，LLM-as-a-Judgeの導入や最終的な人手による確認による適切な評価の枠組みを検討する.また，実験結果から既存モデルは6割以上の質問に正答できていると考えられる．今後は，数値計算や条件付き選択など,複雑な推論を要するQAデータを拡充し，農業分野での実運用を想定した難易度の高いQAタスクの実現を目指す．org/licenses/by/4.0/).