農業分野の栽培暦VQAデータセットの構築—LLMのマルチモーダル質問自動生成能力の評価—

近年の日本では，農業従事者数の大幅な減少と急速な高齢化が進行しており，農業現場における深刻な労働力不足が顕在化している．農林水産省の統計によれば，2024年の基幹的農業従事者数は，20年前の224万人から111.4万人へとほぼ半減しており，そのうち65歳以上が約7割を占めている1）．さらに，新規就農者数も43,460人と，統計開始以降初めて4.5万人を下回り，減少傾向が継続している2）．このような状況の下で，営農指導を担う普及指導員は，農業者に対して技術情報の提供や経営支援を行う重要な専門職としての役割を果たしてきた．しかし，担い手の減少に加え，農業経営や技術に対する支援ニーズの多様化・高度化が進む中で，従来の1）https://www.maff.go.jp/j/wpaper/w_maff/r6/r6_h/trend/part1/other/P127_r6_d2_2-3-02.xls2）http://www.maff.go.jp/j/tokei/kouhyou/sinki/index.html人的支援のみに依存した対応には限界が生じつつある．そのため，農業現場におけるAI技術の活用が，喫緊の課題として求められている．こうした課題に対応するため，内閣府は「研究開発とSociety5.0との橋渡しプログラム（BRIDGE）」を通じて，AI技術を活用した研究開発および社会実装の推進を進めている3）．その一環として，農業分野に特化した大規模言語モデル（LLM）の開発や，それを支えるデータセットの整備が進められており[1,2,3,4,5]，農研機構等による栽培暦PDFの体系的な収集・公開は，農業知識の集約という点で極めて重要なデータ基盤を提供している．一方で，これらの栽培暦はPDF形式で提供されることが多く，作業時期や栽培方法，防除体系などの情報が，文章だけでなく表や図を含む視覚的構造として記載されているため，必要な情報を即座に検索・活用することは必ずしも容易ではない[6]．とりわけ，農業者や普及指導員が実際の営農場面において必要とするのは，「いつ，どの作業を行うべきか」，「特定の条件下でどのような対応が推奨されているか」といった，表や図の内容を正確に読み取ることを前提とした具体的な問いに対する回答である．このような実利用を想定すると，単に文書を蓄積するだけでは，LLMを用いた農業知識の理解や推論に関する研究開発を十分に推進することは難しい．農業分野における質問応答，情報検索，知識推論といった研究課題を体系的に検討するためには，モデルの性能を比較・評価可能な形式で整理された研究用データセットが求められる．そこで，本研究では，大規模言語モデル（LLM）を活用し，農業分野の栽培暦を対象としたVisualQuestionAnswering（VQA）データセットを構築す3）https://www8.cao.go.jp/cstp/bridge/bridge_2512.pdfThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).栽培暦は，農業分野における時系列性，条件分岐，地域依存性といった複雑な情報構造を内包する知識集約型文書であり，その自動処理の発展は，自然言語処理の研究者のみならず，農業分野の研究者にとっても有用と考えられる．3.1栽培暦の公開状況と収集状況本研究では，わが国の農業関連機関が公開する栽培暦資料を体系的に収集した．収集対象となった発行元は，JA，農研機構，地方自治体，農業関連団体など計111機関である．収集した資料はいずれもPDF形式で，その総数は1,094ファイルである．また，収集したPDFのページ数分布を分析した結果，1ページ構成の資料が800件と全体の大半を占めていた．一方で，10ページ以上の比較的長い資料も一定数存在し，最大では265ページに及ぶ栽培暦が1件確認された．4データセット構築4.1マルチモーダル質問応答の自動生成本研究では，質問応答（QA）データを自動的に生成するための前処理として，文書画像からの情報抽出および記述生成を行った．栽培暦は表や図，注記を含む複雑なレイアウトを有する文書であるため，テキスト情報のみならず視覚的構造を考慮した処理が必要となる．まず，収集したすべての栽培暦PDFファイルをPNG形式の画像に変換し，画像ベースでの解析が可能な処理環境を整備した．この変換により，ページ全体のレイアウトや図表配置を保持したまま入力として扱うことが可能となり，後続の視覚言語モデルによる処理に適した形式とした．さらに，変換後の各画像に対して，視覚言語モデル（Vision-LanguageModel:VLM）を用いて内容記述（description）を生成した．図2に画像から質問応答に必要となる情報を抽出する例を示す．具体的には，Qwen/Qwen3-VL-30B-A3B-Instruct5）（以下，Qwen3-VL）を用い，画像中に含まれるテキスト情報（作業時期，栽培工程，注意事項など）を自然言語で記述させた6）．5）https://huggingface.co/Qwen/Qwen3-VL-30B-A3B-Instruct6）Qwen3-VLに加えて，DeepSeek-OCRやPaddleOCR-VLも用いて画像中のテキスト情報抽出を試みたが，DeepSeek-OCRやPaddleOCR-VLは日本語の文字化けの発生頻度が高く，栽培暦において1枚の画像から出力される平均的な文字数がQwen3-VLと比較すると0.8倍程度少なくなるため，次に，内容記述で使用したモデルと同一のQwen3-VLで，各ページから3ペアずつQA生成を行った．QA生成の際にQwen3-VLには画像と生成した内容記述とQA生成の指示文を与え，QAの回答が簡潔になるように指示文で調整した（付録A.2参照）．回答を短く調整したのは，将来的に本研究で作成したデータをもとに栽培暦に関するQAベンチマークを設計しllm-as-a-judgeを評価に使用した場合に，冗長性バイアスを排除するためである．4.2アノテーションの方法4.1節で自動生成した結果に対し，著者3名がアノテーションツールであるCVAT（ComputerVisionAnnotationTool）を用い，下記の作成方針3点に基づいて内容の確認および修正，ならびに矩形アノテーションの追加を行った．1.回答は簡潔な表現にする．修正前「秋冬どり30～50日前」修正後「30～50日前」