本稿では、特許請求項（Claims）の翻訳に関する初の共有タスクの結果と知見について報告する。我々は参加者に対して学習・開発・テストデータを提供し、提出された翻訳結果の人手評価を行った。今回は2チームからの提出があった。人手による誤り分析の結果、一般的な翻訳誤りだけでなく、特許翻訳に特有の誤りが明らかになった。また、人手によるアノテーション自体にも多くの課題があることが判明した。本稿ではこれらの知見について報告する1）。

ニューラル機械翻訳(NMT)や大規模言語モデル(LLM)を用いた機械翻訳の性能は劇的に向上しており、言語やドメインによっては人間による翻訳を凌駕する場合もある。しかし、現在、機械翻訳の性能を正確に評価する万能な手法は存在しない。COMET[2]のような広く使われている指標であっても、学習データと異なるドメインに適用した場合、不安定または不正確な結果をもたらすことが報告されている[3]。これは特許文書の翻訳にも当てはまる。平均的な翻訳品質は大幅に向上しているものの、適切な用語の使用や用語の一貫性などを正確に評価することは依然として困難である。特に特許請求項は、その長さと独特の文体により、正確な評価をさらに困難に1）本稿は著者らによる国際ワークショップWAT2025における報告内容[1](CCBY4.0https://creativecommons.org/licenses/by/4.0/)に基づくものである。している。そこで我々は、日英の特許請求項翻訳に焦点を当てた共有タスクを実施した。目的は翻訳品質を競うだけでなく、最終的に翻訳結果を正確に評価できる自動評価手法を開発することにある。第1回となる今回は、様々な手法による翻訳出力を収集し、人手で誤りをアノテーションすることで、将来的な自動評価モデル開発のための学習データを作成することを主目的とした。