対訳データを用いた大規模言語モデルの継続事前訓練による特許請求項翻訳

大規模言語モデル(LLM)は，その広範な事前訓練により，多様な自然言語処理タスクで有用性が示され，機械翻訳分野においても活躍している．しかし，その中でも特許分野における翻訳能力については十分に検討されていない．特許文書は，専門用語の多用や複雑な文構造を特徴としており，従来のTransformerベースのモデルでは，訳抜けや繰り返しなどの問題が残る場合がある．本研究では，近藤らの提案する対訳データを用いた継続事前訓練とSFTの手法を参考に，特許請求項翻訳に特化したLLMを構築し，その性能を従来モデルと比較することを目的とする．具体的には，特許文の中でも文の長さや独特の記述形式から翻訳難易度の高い特許請求項の翻訳を行い，BLEUやCOMETなどの評価指標を用いて翻訳精度を測定することで，それらで従来モデルより統計的に有意に向上し，訳抜けや繰り返しを改善できていることを確認した．しかし、一部の例では、従来モデルでは発生しなかったハルシネーションが観測されるなど，LLM特有の課題も明らかになった．本研究は，LLMを特許翻訳に適用する際の可能性と課題を検討し，その有効性を評価するものである．