国産農業用LLMのための要点抽出における模伝的アルゴリズムの検討

ChatGPTやGeminiといった汎用大規模言語モデル（LLM）が広範な言語能力を示す一方で、医療[1]、法律[2]、金融[3]といった専門分野では語彙分布・文体・前提知識・評価軸などが異なるため、特定ドメインのタスクに適応させるための追加学習や調整が必要となることが多い[4,5]。農研機構においても、内閣府「研究開発とSociety5.0との橋渡しプログラム（BRIDGE）」1）の一環として、農業分野に特化した国産LLM（以下、農業用LLM）の開発を目指している[6,7,8]。LLMの開発には時間・労力・計算資源が大量に必要であり、農研機構などの組織が率先して取り組むべきであるが、研究の裾野を広げるためには、潤沢なリソースをもたない個人であっても容易にアイデアを試せる仕組みが必要である。近年のLLM利用1）https://www8.cao.go.jp/cstp/bridge/index.htmlはAPIベースの商用サービスへの依存も強まっているが、API利用では一般に「推論」は可能でも「ウェイト更新を伴う学習」は不可能だったり高額だったりする。したがって、推論のみで実行可能な適応・最適化手続きの整備は実用上の意義が大きい。計算資源を抑えたウェイト更新としてPEFT（LoRA[9]やQLoRA[10]等）が提案されている。また近年は、モデルウェイトを「遺伝子」と見做して進化的最適化を適用する方向性も提案されている[11,12]。進化的最適化は勾配に依存しない探索として有望である一方、評価のために多数の候補（ウェイトやマージ結果）を実際に生成・実行する必要があり、多くの場合、オープンウェイトやローカル計算環境を前提とする。すなわち、資源制約下やAPI中心の環境においては、ウェイトを探索変数とする手法をそのまま適用することが難しい場合がある。この点で、探索対象（候補）の表現が軽量であることは実用上重要となる。本稿ではLLMの振る舞いを規定する要因を「モデル内部」と「モデル外部」に分解して捉える。具体的には、モデル内部の情報（ウェイト等）を遺伝子、モデル外部から与えられる言語的情報（離散プロンプト等）をミーム（模伝子）と見做して、ミームを対象とした進化計算を行う模伝的アルゴリズム2）を導入する。API利用を前提とする現実的制約のもとでは遺伝子（モデル）を固定して、ミーム（プロンプト）を以下の進化的枠組みで改善する（図1参照）。(1)正解を参照してプロンプトを生成する、(2)現プロンプトでLLMを推論実行して出力を得る、(3)出力と正解との差分に基づきLLM自身にプロンプト修正案を生成させる、(4)目的関数により2）LLM以前のmemeticalgorithmや離散プロンプト最適化との比較は2節で行う。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).Gen.gpt-5.2gpt-5-minigpt-oss-120b10.7760(56)0.8313(76)0.8904(39)