メールから送信者の会社名を抽出するタスクでは、メール特有の文脈の複雑さや表記揺れにより、従来のSupervisedFine-Tuning（SFT）には性能の限界があった。本研究では、法人格やメールアドレスなどのメタ情報により出力を自動検証できる点に着目し、検証可能な報酬を複数設計してGroupRelativePolicyOptimizationによる追加学習を行った。実験の結果、法人格を考慮した部分一致報酬が最も有効であり、SFTを上回る抽出性能を達成した。さらに1B規模の軽量モデルでは、思考プロセスを明示する設定より最終出力のみを生成する設定の方が、推論コストと抽出性能の両面で優位であることを示した。

メールからの送信者情報抽出は、膨大に蓄積された送受信履歴を効率的に利用できる基盤となる。特に会社名は、送信者を特定の組織に紐づけるための重要情報である。送信者情報はメール本文や送信者のメールヘッダから抽出でき、大田尾ら[1]はこれらをプロンプトに与え、SupervisedFine-Tuning(SFT)によって質問応答形式で送信者情報を抽出する手法を提案した。しかし、メール内には複数人の情報が混在することや、会社名の表記揺れ（法人格の有無や略称）などドメイン特有の課題があり、SFTのみでは性能改善の余地が残っていた。近年、検証可能な報酬に基づく強化学習（Rein-forcementLearningwithVeriﬁableRewards）[2,3,4]を用いて、言語モデルの推論能力を強化する手法が注目されている。その代表例であるGroupRelativePolicyOptimization(GRPO)[2]は、同一プロンプトから生成された複数の出力をグループ内で相対的に評価し、モデルを更新する手法である。メールからの送信者会社名抽出は、正誤を自動で検証しやすい情報抽出タスクであり、法人格やメールアドレスといったメタ情報など活用可能な候補が多く報酬設計の探索余地も大きいことから、GRPOを用いることでSFTのみでは課題となっていた部分を改善できる可能性がある。また、GRPOの先行研究ではChain-of-Thought（CoT）[5]による思考プロセスをタグ内で明示させる設定が主流であり、数学・コーディング・科学推論などで高い性能が報告されている[2,3]。しかし会社名抽出のように、最終的に短い文字列を得ることが目的のタスクでは、長い思考プロセスの生成は推論コストが増え、実運用における制約となる。Liら[6]によって情報抽出へのGRPOの適用例も報告されているが、思考プロセスを出力する設定である。本研究では、メールからの送信者会社名抽出の性能向上のため、情報抽出タスクやドメインに特化した検証可能な報酬を設計し、GRPOによる追加学習を行う手法を提案する(図1)。さらに実運用を想定し、思考プロセスを明示する設定と最終出力のみを生成する設定を、抽出性能と推論コストの両面から比較評価する。本研究の主な貢献は以下の通りである。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).3実験3.1報酬の定義GRPOの学習に用いる報酬を定義する。複数報酬を重み付き加算したものを最終報酬とするため、全ての報酬のスケールを[0,1]に揃えている。出力と正解の文字列一致を評価する𝑅partialを情報抽出のベースラインとし、思考プロセスを含む場合の報酬として𝑅formatを用いる。ドメインに特化した報酬として、𝑅exist、𝑅marker、𝑅domainを提案する。それぞれの定義を以下に述べる。部分一致(𝑅partial)情報抽出タスクの根幹をなす報酬は以下のように計算する。