特許請求項機械翻訳およびその人手評価の課題と挑戦～WAT2025特許請求項タスクからの知見～

ニューラル機械翻訳(NMT)や大規模言語モデル(LLM)を用いた機械翻訳の性能は劇的に向上しており、言語やドメインによっては人間による翻訳を凌駕する場合もある。しかし、現在、機械翻訳の性能を正確に評価する万能な手法は存在しない。COMET[2]のような広く使われている指標であっても、学習データと異なるドメインに適用した場合、不安定または不正確な結果をもたらすことが報告されている[3]。これは特許文書の翻訳にも当てはまる。平均的な翻訳品質は大幅に向上しているものの、適切な用語の使用や用語の一貫性などを正確に評価することは依然として困難である。特に特許請求項は、その長さと独特の文体により、正確な評価をさらに困難に1）本稿は著者らによる国際ワークショップWAT2025における報告内容[1](CCBY4.0https://creativecommons.org/licenses/by/4.0/)に基づくものである。している。そこで我々は、日英の特許請求項翻訳に焦点を当てた共有タスクを実施した。目的は翻訳品質を競うだけでなく、最終的に翻訳結果を正確に評価できる自動評価手法を開発することにある。第1回となる今回は、様々な手法による翻訳出力を収集し、人手で誤りをアノテーションすることで、将来的な自動評価モデル開発のための学習データを作成することを主目的とした。