構成要素の形式的な対応を考慮した強化学習による特許請求項翻訳

大規模言語モデル(LLM)は，その広範な事前訓練により，汎用性が優れており，要約や質問応答など多様な自然言語処理タスクで有用性が示されている．機械翻訳分野においても，GPT-4のようなクローズドなLLMでの翻訳が既存の翻訳モデルよりも人手評価が高いことが報告されている．特許分野においても，特許データを用いて訓練を行うことで従来のTransformerencoder-decoderベースモデルや，GPT-4oに対して自動評価で有意に差をつける結果が得られている．本研究では，特許対訳データを用いた，継続事前訓練(CPT)と教師ありファインチューニング(SFT)，GroupRelativePolicyOptimization(GRPO)を用いた強化学習を組み合わせることで特許請求項翻訳に特化したLLMを構築する．さらに，日本語および英語の双方で，改行を含む請求項の一行が個別の構成要素に対応するという性質に着目し，各行の長さの整合性をGRPOの報酬として利用する手法を新たに提案する．具体的には，特許文の中でも文の長さや独特の記述形式から翻訳難易度の高い特許請求項の日英，英日翻訳を行い，XCOMETやMetricXといった評価尺度を用いて翻訳精度を測定した．本研究の主な貢献は以下の二点である．•特許対訳データによるCPTとSFTに加えてGRPOを適用する三段階学習により，8B規模のオープンモデルでありながら，クローズドモデルであるGPT-5.2と比較可能な水準の特許請求項翻訳性能を達成した点．•一部の請求項では改行が構成要素ごとの区切りと対応するという性質に着目し，日本語と英語の行長の整合性をGRPOの報酬として利用する手法を提案し，特に極端に長い請求項において翻訳精度を向上させた点．