対訳データを用いた大規模言語モデルの継続事前訓練による特許請求項翻訳

大規模言語モデル(LLM)の技術進歩は著しく，様々な分野でその活用が進んでいる．しかし、特許翻訳の分野では依然としてTransformerベースの翻訳が主流であり，LLMを活用した翻訳能力については十分に検討されていない．そこで本研究では、近藤ら[6]の手法を参考に，対訳データを用いた継続事前訓練とSFT(SupervisedFine-Tuning)を行ったLLMを用いて特許請求項の翻訳を行い，Transformerベースの翻訳と比較した．その結果，BLEUおよびCOMETのスコアがいずれも上回り，訳抜けや繰り返しといった課題が改善されたことを確認した．一方で、従来モデルでは発生しなかったハルシネーションが一部の例で確認され，その影響で翻訳精度が低下したケースも観測された．本研究は，LLMが特許翻訳分野において有望な技術である一方で，課題も存在することを示している．