言語処理学会 第30回年次大会 発表論文集（2024年3月）

JaParaPat: 大規模日英特許対訳コーパス
永田 昌明 森下 睦 帖佐 克己 安田 宜仁
NTT コミュニケーション科学基礎研究所{masaaki.nagata,makoto.morishita,katsuki.chousa,norihito.yasuda}@ntt.com

概要
2000 年から 2021 年に日本特許庁 (JPO) と米国特許商標庁 (USPTO) から公開された特許出願から約 3億文対の日英対訳コーパスを作成した。欧州特許庁(EPO) が管理する書誌データベース DOCDB からパテントファミリーに基づいて対訳文書対を抽出し、機械翻訳に基づく文対応を用いて対訳文対を抽出した。Web から収集した約 2000 万文対の対訳データ
JParaCrawl に対して、特許出願から収集した約 3 億文対の対訳データを追加することにより、日英特許翻訳の精度が約 20BLEU ポイント向上した。

1

はじめに国際特許出願は非常に数が多いが有限であり、一定の期間を経てすべて公開される。本研究では、日本と米国の国際特許出願から得られる日英特許対訳データの量と質、およびそれらを用いて達成可能な翻訳精度を明らかにすることを目的とする。なお、日本における国際特許出願の翻訳業務の多くは日本語から英語への翻訳であるため、ここでは日英翻訳のみを評価対象とする。
日英特許対訳コーパスを作成する歴史は 20 年近くに及ぶ。内山ら [1] は、日英新聞記事のコンパラブルコーパスから対訳文を抽出する手法 [2] を使って、2007 年に NTCIR-6 特許検索タスクのために約200 万文対の日英特許対訳コーパスを作成した。これは公開された最初の大規模な日英特許コーパスであり、2008 年に日本語と英語の間の機械翻訳に関する最初の共通タスクである NTCIR-7 特許翻訳タス
クで使用された。[3].
特許庁と情報通信研究機構 (NICT) は、日米の特許出願公開公報からパテントファミリーに基づいて約 3.5 億文対の JPO-NICT 英日対訳コーパスを作成した1）。このコーパスは、高度言語情報融合フォーラム (ALAGIN) の会員に無償で提供されている。ま1） https://alaginrc.nict.go.jp/jpo-outline.html

た特許庁は、100 万文対の日英特許対訳 JPO PatentCorpus2）を作成し、2015 年に初めて開催されたアジア翻訳ワークショップ (WAT) において特許翻訳の共通タスクに提供した。
JPO-NICT や JPO の特許対訳コーパスは 2015 年頃に対訳辞書に基づく文対応手法 [2] を用いて作成された。一般論として hunalign[4] のような対訳辞書に基づく文対応よりも、Bleualign[5] のような機械翻訳に基づく文対応の方が精度が高いので、最先端の文対応手法を使えば日英特許対訳コーパスの品質を向上できる可能性がある。
近 年、海 外 で は 大 規 模 な 特 許 対 訳 コ ー パ ス を作 成 す る 様 々 な 試 み が 行 わ れ て い る。COPPA[6]は PCT 出願の抄録から対訳を抽出した。ParaPat[7]は Google Patents の 抄 録 か ら 対 訳 を 抽 出 し た。
EuroPat[8] は、USPTO と EPO の特許査定を受けた特許文書から対訳を抽出した。EuroPat は、ParaCrawl
プロジェクト [9] で実績がある機械翻訳に基づく文対応を用いている。
我々のアプローチは EuroPat に似ているが、特許査定を受けた特許ではなく未審査の特許出願を使用し、欧州言語間ではなく日英間の対応を付与した。
国際特許出願には、パリルートと PCT ルートの 2 つの方法がある。我々の知る限り、本研究は、両ルートの特許出願を広範囲に調査し、タイトル、要約、明細書、特許請求の範囲を含む特許文書のすべての部分に対応を付与する初めての試みである。

2

特許出願データ

2.1

国際特許出願制度

外国で特許を取得する方法には、パリ条約 (ParisConvention) に基づいて直接その国へ出願する方法(パリルート) と、特許協力条約 (Patent CooperationTreaty, PCT) に基づく国際出願をその国へ移行する
方法 (PCT ルート) がある。
2） http://lotus.kuee.kyoto-u.ac.jp/WAT/patent/― 2367 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

パリ条約ルートでは、ある国で国内出願をした素の p タグで囲まれたテキストを抽出した。すなわ

後、パリ条約に基づく優先権を主張して 1 年以内

ち、請求項番号、段落番号、数式、図などは抽出しに別の国に出願する。PCT 出願では、PCT 受理官ていない。日本の特許出願は 2004 年 1 月から XML庁 (receiving oﬃce) に単一の言語および形式で一つ形式になっているが、2004 年以前は SGML 形式での PCT 出願を行えば、すべての PCT 加盟国で出願あった。SGML 形式のデータは、基本的に XML 形日に優先権を確保できる。しかし、ある国で特許式と抽出対象が同じになるようにした。

権を取得するためには、その国に対して優先日から 30 ヵ月以内に PCT 出願の国内移行 (national phase

2.3

米国特許商標庁の特許データapplication) の手続きを行い、その国の国内法に従っ米国特許商標庁 (USPTO) は、特許出願の全文デーて特許審査を受ける必要がある。その際にその国タを提供している。4）説明書と文書型定義 DTD はの特許庁が受理する言語へ特許出願を翻訳しなけ

USPTO の Web ページにある。5）USPTO は、2001 年ればならない。例えば、日本企業が日本語で書い3 月 15 日から特許出願の全文データを提供していた PCT 出願を世界知的所有権機関 (World IntellectualProperty Organization, WIPO) へ提出した場合、日本る。対応する特許出願は、米国で公開される 1 年前への国内移行後に日本特許庁 (JPO) は日本語の特許の対象期間は 2000 年からとしている。に日本で公開されている可能性があるため、本研究を公開し、米国への国内移行後に米国特許商標庁(USPTO) は英語の特許を公開する。

2.2

USPTO の PCT 特 許 出 願 に は、JPO の 公 表 特 許公 報 と 再 公 開 特 許 の よ う な 区 別 が な い の で、PCT/JP2005/003817 のように文書番号が PCT で始ま日本特許庁の特許データる場合を PCT 出願とみなした。

日本特許庁 (JPO) は特許情報の一括ダウンロード
サービスを提供している3）。企業が利用する場合に

2.4

は会社の登記簿の提出を求められるが、ハードディ

欧州特許庁の書誌データ

欧州特許庁 (EPO) は、全世界の特許書誌データ

スクを特許庁に送れば、必要な特許情報を入れて返(DOCDB) を有償で提供している。DOCDB のサンプ送してもらえる。

ル6）とマニュアル7）は EPO の Web サイトからダウ

日本の特許公報では、PCT に関する特許出願にはンロードできる。

通常の国内出願とは別の名前が与えられている。公

我々は、パテントファミリーの情報を取得する

開特許公報 (published pattent application) は、日本語ために DOCDB を入手した。パテントファミリーとで書かれた通常の国内特許である。これがパリ条は、一つの発明を保護するために様々な国で取得約に基づく優先権主張の探索対象となる。公表特された特許の集合である。パテントファミリーは、

許公報 (Japanese translation of PCT international patentapplication) は、JPO 以外を受理官庁とする国際特許

DOCDB の優先権主張のデータを解析することにより得られる。DOCDB の XML では、優先権主張の出願を、日本へ国内移行する際に提出された日本語対象となっている文書の kind-code から通常の特許への翻訳である。

(A) と PCT 出願 (W) を区別できる。

再公開特許 (domestic re-publication of PCT international patent application) は JPO を受理官庁とする日
本語で書かれた国際特許出願である。JPO は、再公開特許を公開する制度を、2021 年 12 月 23 日に廃止

3手法

3.1

文書対応した。この日以降、最初に日本へ日本語で出願されEPO の DOCDB から得られるパテントファミリー

た PCT 出願は、一定の補正を経て特許と査定されたに 基 づ い て、JPO と USPTO か ら 公 開 さ れ た 特 許

場合にのみ利用可能となる。そのため本研究の対象期間は 2021 年までとした。
我々は、対訳データを作成するために、発明のタイトル、要約、明細書、請求項に対応する XML 要
3） https://www.jpo.go.jp/system/laws/sesaku/data/
download.html

4） https://developer.uspto.gov/product/
patent-application-full-text-dataxml5） https://www.uspto.gov/learning-and-resources/
xml-resources6） https://www.epo.org/searching-for-patents/data/bulk-data-sets/docdb.html
7） https://www.epo.org/searching-for-patents/data/bulk-data-sets/manuals.html― 2368 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

出願を対応づける。元データはすべて XML であ基づく文対応には Bleualign12）、機械翻訳には fairseq

り、Python 標準ライブラリの xml.etree.ElementTree[11] を用いた。日本語文書を英語へ翻訳し、BLEUモジュールを使用して以下に記述する文書対応の手を文の類似度の尺度として動的計画法により文対応順を実装した。同じパテントファミリーに所属するを求めた。

日本語と英語の特許出願の対の中で一番古いものを互いに対訳である文書対とみなす。
特許対訳文書対の探し方は、パリルートと PCTルートで若干異なっている。パリルートの場合、基

4

実験

4.1

特許対訳データ

本は、一方が他方を優先権主張の対象とする場合で表 5 に日本の特許出願の公開年に基づいて 2000ある。本研究では、日本に出願した特許を優先権主年から 2021 年まで年別に収集された対訳文書対と張の対象とする米国の特許との対を ‘jp-us’、米国に出願した特許を優先権主張とする日本の特許との対対訳文対の数を示す。合計で約 140 万の対訳文書対から約 3.5 億の対訳文対を収集した。jp-us, jp-x-us,

を ‘us-jp’ と呼ぶ。さらに例えば最初に中国で出願しus-jp, pct は 3.1 節に述べた出願ルートと最初の出願た特許を日本と米国へ出願する場合のように、共通国に基づく分類である。の特許を優先権主張の対象とする日本の特許と米国

表1の特許の対も抽出対象とし ‘jp-x-us’ と呼ぶ。

ルート

文書数

文数

単語数

PCT ルートの場合、日本 (JPO) は再公表特許と公Paris

866,931

181,907,843

7.4B

表特許公報の出願番号を求め、米国 (USPTO) は文書

PCT

527,068

154,860,596

6.2B

番号が PCT で始まるものを求める。両方が DOCDB

Paris+PCT

1,393,999

336,768,439

13.6B

訓練データの文書数、文数、英語側の単語数に存在し、かつ、一致した場合、日本の特許出願と表2

米国の特許出願を互いに翻訳な文書対とみなす。

テストデータの文数と英語側の単語数

テストデータ

文数

単語数

Paris SH2021

1,00037,990

日本の特許出願と米国の特許出願は、タイトル、

PCT SH2021

1,000

38,676

要約、明細書、請求項に分割し、それぞれのセク

In-house test1

1,002

33,405

ションごとに文対応を行った。文分割は、日本語、

In-house test2

988

26,945

英語ともに moses の split-sentences.perl 8）を用いた。

ASPEC test

1,812

39,573

3.2

文対応

まず対訳辞書に基づく文対応 [2] を用いて最初の特許対訳データを作成した。次にこの特許対訳データと Web から収集した大規模日英対訳対デー
タ JParaCrawl[10] を用いて日本語から英語への翻訳モデルを作成した。そして機械翻訳に基づく文対応[5] を用いてもう一度特許対訳データを作成した。
対訳辞書に基づく文対応は、日本語文と英語文の対において、対訳辞書に収録されている対訳語句がそれぞれに出現する割合をこの文対の類似度の尺

表3

文対応手法の比較

訓練データ

test1 test2 文対数更新

JParaCrawl

36.4

36.6

22M

19K

2000-2013Paris_dict

62.6

51.5

34M

17K

2000-2013Paris_dict+JPC

63.6

54.0

56M

26K

2000-2013Paris_trans

63.4

53.0

43M

16K

4.2

実験条件度とする。対訳辞書としては、EDR 対訳辞書9）を使

日英特許対訳コーパス JaParaPat の品質を確認す用した。日英対訳語句対の数は 1,690,174 件である。

るため、日本語から英語への翻訳実験を行った。

日本語の単語分割には mecab-unidic 10）、英語のトー

2000 年から 2021 年の前半までの対訳データを訓練

クナイズには TreeTagger 11）を用いた。機械翻訳にデータとした。表 1 に訓練データの文書数、文数、英語側の単語数を示す。

8） https://github.com/moses-smt/mosesdecoder/blob/master/scripts/ems/support/split-sentences.perl9） https://www2.nict.go.jp/ipp/EDR/ENG/indexTop.html
10） https://taku910.github.io/mecab/11） https://www.cis.uni-muenchen.de/~schmid/tools/
TreeTagger/

表 2 にテストデータの文数と英語側の単語数を示す。開発データとテストデータは、2021 年の後半(second half) のパリルートと PCT ルートからそれぞ
12） https://github.com/rsennrich/Bleualign― 2369 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

訓練データJPC
Paris
PCT
Paris+PCT
JPC+Paris+PCT

表 4 様々な訓練データに対する日英翻訳の精度
Paris
PCT
test1
test2
ASPEC
bleu comet bleu comet bleu comet bleu comet bleu comet
31.9 0.817 35.6 0.827 36.2 0.838 35.8 0.826 20.6 0.828
55.6 0.867 56.5 0.877 66.8 0.881 53.2 0.820 20.5 0.823
52.7 0.857 57.3 0.873 64.6 0.866 51.6 0.811 20.6 0.820
55.5 0.864 55.7 0.872 67.0 0.876 46.0 0.820 20.8 0.821
54.7 0.863 56.0 0.872 67.7 0.880 55.5 0.846 21.3 0.827

れ 2000 文と 1000 文をランダムに選択した。さらに

文対数

更新数

22M
182M
155M
337M
359M

20K
44K
53K
57K42K13）
表 3 に示す。

2022 年以降に公開予定の社内の日本語 PCT 出願をテストセットによる翻訳精度の違いはさておき、特許翻訳を専門とする二つの翻訳会社が英語へ翻訳

表 3 からは、Web から収集した対訳データよりも、したものをテストデータとして用意した。対象領域

特許出願から収集した対訳データを使用する方が翻は情報通信 (ICT) に関するもので、ハードウェアか訳精度が大幅に高いこと、特許出願から収集した対訳データと Web から収集した対訳データを合わせらソフトウェアまで幅広い内容を含んでいる。また
特許対訳データの科学技術論文への適用可能性を調べるために、ASPEC[12] のテスト文も使用した。

ると、特許翻訳の精度が少し向上すること、対訳辞

WAT-2023 の特許翻訳に関する共通タスクで使用さ方が多くの対訳データを収集できること (34M かられている JPO Patent Corpus のテストセットは最も新43M)、そして翻訳精度から判断すると機械翻訳に基しいものでも公開年が 2019-2020 であり、収集期間づく文対応により得られる対訳データの方が高品質に含まれているので使用しなかった。

であることが分かる。

機 械 翻 訳 ソ フ ト ウ ェ ア は fairseq [11] を 使 用し、翻訳モデルは Transformer big [13] を使用した。

4.4

書に基づく文対応よりも機械翻訳に基づく文対応の日英翻訳精度

Transformer のハイパーパラメタを表 6 に示す。訓2000 年から 2021 年のパリルート (182M 文対) と練データおよびテストデータのトークナイズは、PCT ルート (155M 文対) および JParaCrawl(22M 文対)

sentencepiece [14] を使用した。特許対訳データからから訓練した翻訳モデルの翻訳精度を表 4 に示す。

7M 文対、JParaCrawl から 3M 文対をランダムにサンWeb 対訳データである JParaCrawl と比較すると、特プリングして、sentencepiece のモデルを訓練した。
語彙数は、日本語と英語ともに 32K である。翻訳の許対訳データを使用することにより、特許テスト文の翻訳精度は大幅に向上する。パリルートと PCT精度は sacreBLEU [15, 16] と COMET(wmt22-comet-

ルートを比較すると、パリルートのテスト文はパda) [17] で評価した。特許翻訳では専門用語を正しリルートの対訳データの方が翻訳精度が高く、PCTく訳出できることが重要なので、本研究では BLEU

ルートのテスト文は PCT ルートの対訳データの方を主たる評価尺度とする。

が精度が高い。JParaCrawl とパリルートと PCT ルー

4.3

トを合わせる (JPC+Paris+PCT) と、JParaCrawl だけ文対応法の比較(JPC) に比べて日本語から英語への特許翻訳の精度最初に二つの文対応手法について評価した。Webから対訳データを収集する研究では、対訳辞書を用いた文対応よりも翻訳器を用いる文対応の方が高品が約 20BLEU ポイント向上した。

おわりに

5

2000-2021 年の日本と米国の特許出願から網羅的質な対訳文が得られると報告されている。[9, 10]
ま ず 2000 年 か ら 2013 年 の パ リ ル ー ト の 日 英対 訳 文 書 対 か ら、対 訳 辞 書 に 基 づ く 文 対 応 で
約 34M 文 対 の 対 訳 デ ー タ (2000-2013Paris_dict) を作 成 し た。次 に こ の 対 訳 文 対 と JParaCrawl(20002013Paris_dict+JPC) か ら 翻 訳 モ デ ル を 作 成 し、機械翻訳に基づく方法で約 43M 文対の対訳データ(2000-2013Paris_trans) を作成した。それぞれの翻訳モデルについて、特許テスト文に対する翻訳精度をに特許対訳データを収集し、約 350M 文対の特許対訳コーパス JaParaPat を作成した。訓練データの量が Transformer big モデルで学習できる限界に達している可能性があるので、今後は機械翻訳のスケール則に関する研究 [18, 19] を参考にして、モデルのパラメタを増やす検討が必要である。
13） この時点では 2021 年の対訳データは存在しないので、社内のテストデータを使用した。

― 2370 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Masao Utiyama and Hitoshi Isahara. A Japanese-English
patent parallel corpus. In Proceedings of Machine Translation Summit XI: Papers, Copenhagen, Denmark, September 10-14 2007.
[2] Masao Utiyama and Hitoshi Isahara. Reliable measures foraligning Japanese-English news articles and sentences. InProceedings of the 41st Annual Meeting of the Association
for Computational Linguistics, pp. 72–79, Sapporo, Japan,July 2003. Association for Computational Linguistics.
[3] Atsushi Fujii, Masao Utiyama, Mikio Yamamoto, andTakehito Utsuro. Overview of the patent translation task
at the ntcir-7 workshop. In Proceedings of NTCIR-7 Workshop Meeting, pp. 389–400, 2008.
[4] Dániel Varga, Péter Halácsy, András Kornai, Viktor Nagy,László Németh, and Viktor Trón. Parallel corpora formedium density languages. In Proceedings of the RANLP2005, pp. 590–596, 2005.
[5] Rico Sennrich and Martin Volk. MT-based sentence alignment for OCR-generated parallel texts. In Proceedings ofthe 9th Conference of the Association for Machine Translation in the Americas: Research Papers, Denver, Colorado,USA, October 31-November 4 2010. Association for Machine Translation in the Americas.
[6] Marcin Junczys-Dowmunt, Bruno Pouliquen, andChristophe MazencAndrew. Coppa v2.0: Corpus of parallel patent applications building large parallel corpora withgnu make. In Proceedings of the 4th Workshop on Challenges in the Management of Large Corpora Workshop
Programme, pp. 15–19, 2016.
[7] Felipe Soares, Mark Stevenson, Diego Bartolome, andAnna Zaretskaya. ParaPat: The multi-million sentences
parallel corpus of patents abstracts. In Proceedings of theTwelfth Language Resources and Evaluation Conference,
pp. 3769–3774, Marseille, France, May 2020. EuropeanLanguage Resources Association.
[8] Kenneth Heaﬁeld, Elaine Farrow, Jelmer van der Linde,
Gema Ramírez-Sánchez, and Dion Wiggins. The EuroPat
corpus: A parallel corpus of European patent data. In
Proceedings of the Thirteenth Language Resources andEvaluation Conference, pp. 732–740, Marseille, France,June 2022. European Language Resources Association.
[9] Marta Bañón, Pinzhen Chen, Barry Haddow, Kenneth
Heaﬁeld, Hieu Hoang, Miquel Esplà-Gomis, Mikel L. Forcada, Amir Kamran, Faheem Kirefu, Philipp Koehn, Sergio Ortiz Rojas, Leopoldo Pla Sempere, Gema RamírezSánchez, Elsa Sarrías, Marek Strelec, Brian Thompson,William Waites, Dion Wiggins, and Jaume Zaragoza.
ParaCrawl: Web-scale acquisition of parallel corpora. In
Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 4555–4567, Online, July 2020. Association for Computational Linguistics.
[10] Makoto Morishita, Katsuki Chousa, Jun Suzuki, andMasaaki Nagata. JParaCrawl v3.0: A large-scale EnglishJapanese parallel corpus. In Proceedings of the Thirteenth Language Resources and Evaluation Conference,
pp. 6704–6710, Marseille, France, June 2022. European

Language Resources Association.
[11] Myle Ott, Sergey Edunov, Alexei Baevski, Angela Fan,Sam Gross, Nathan Ng, David Grangier, and Michael Auli.
fairseq: A fast, extensible toolkit for sequence modeling.
In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48–53, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.
[12] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi,and Hitoshi Isahara. ASPEC: Asian scientiﬁc paper excerptcorpus. In Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC’16),
pp. 2204–2208, Portorož, Slovenia, May 2016. EuropeanLanguage Resources Association (ELRA).
[13] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser,and Illia Polosukhin. Attention is all you need. In Proceedings of the NeurIPS 2017, pp. 5998–6008, 2017.
[14] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66–71,Brussels, Belgium, November 2018. Association for Computational Linguistics.
[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation ofmachine translation. In Proceedings of the 40th Annual
Meeting of the Association for Computational Linguistics,
pp. 311–318, Philadelphia, Pennsylvania, USA, July 2002.
Association for Computational Linguistics.
[16] Matt Post. A call for clarity in reporting BLEU scores. In
Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186–191, Brussels, Belgium,
October 2018. Association for Computational Linguistics.
[17] Ricardo Rei, Craig Stewart, Ana C Farinha, and Alon
Lavie. COMET: A neural framework for MT evaluation. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP),
pp. 2685–2702, Online, November 2020. Association for
Computational Linguistics.
[18] Mitchell A Gordon, Kevin Duh, and Jared Kaplan. Dataand parameter scaling laws for neural machine translation. In Proceedings of the 2021 Conference on EmpiricalMethods in Natural Language Processing, pp. 5915–5922,
Online and Punta Cana, Dominican Republic, November
2021. Association for Computational Linguistics.
[19] Yamini Bansal, Behrooz Ghorbani, Ankush Garg, BiaoZhang, Colin Cherry, Behnam Neyshabur, and Orhan Firat.
Data scaling laws in nmt: The eﬀect of noise and architecture. In Proceedings of the 39th International Conference
on Machine Learning, pp. 1466–1482, 2022.

― 2371 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

年別の対訳文書対と対訳文対の数表5抽出された対訳文書対と対訳文対の数 (2000 年から 2021 年)

対訳文対
jp-us

jp-x-us2000

804,586

116,806

対訳文書対
us-jp

pct

jp-us

jp-x-us92,2424,189865

pct402

2001

1,936,229

423,355

842,701

122,205

11,223

3,249

5,608

550

2002

2,599,128

1,161,071

3,181,974

51,214

14,385

8,521

18,941200

2003

2,216,059

1,944,235

4,083,604

1,975,669

11,755

12,50622,385

7,743

2004

2,719,911

860,287

3,848,196

4,319,575

16,126

7,542

23,324

18,9782005
2006

2,352,235
2,297,878

994,049
1,131,340

5,024,330
5,770,905

4,977,803
4,513,947

12,973
12,239

8,193
8,810

28,08930,832

20,647
18,4692007

2,513,900

1,081,103

5,883,197

5,050,197

13,124

8,147

30,481

20,444

2008

2,535,483

921,678

5,752,965

8,264,349

12,956

6,715

29,16531,506

2009

1,813,767

861,456

6,259,067

8,227,809

9,180

6,049

31,30331,304

2010

1,559,327

821,388

6,310,667

8,178,496

7,381

5,169

29,02529,196

2011

1,869,428

957,7816,739,639

6,497,215

8,341

5,789

28,89922,932

2012

1,990,833

945,927

7,252,931

7,781,432

8,868

5,560

30,06527,3812013

2,363,076

1,012,462

6,598,196

10,278,504

10,0506,021

28,10135,8502014

2,144,452

1,116,288

6,651,888

8,055,146

9,168

6,088

26,71627,3262015

2,506,286

1,030,098

6,754,694

9,391,589

10,314

5,229

26,087

31,3802016
2017

2,494,488
4,861,052

1,017,181
1,017,358

5,746,295
3,624,756

9,313,031
16,251,900

10,233
19,876

4,988
5,045

22,317
14,467

29,196
51,791

2018

3,284,674

918,138

5,153,238

11,696,010

12,625

4,369

19,23935,822

2019

3,227,271

1,066,833

6,107,334

12,483,342

12,3885,251

23,68536,9612020

3,740,996

1,093,506

4,251,027

11,962,022

13,306

4,781

15,032

34,0062021

1,043,944

849,489

4,838,957

11,275,167

3,656

3,818

16,92830,884

合計

52,875,003 21,341,829

110,676,561

160,758,864

244,356

132,705

500,689

542,968

345,652,257

B

us-jp

1,420,718

翻訳モデルのハイパーパラメタ
表6

Transformer のハイパーパラメタ

architecturetransformer_wmt_en_de_big

enc-dec layers

6

optimizer

Adam (𝛽1 = 0.9, 𝛽2 = 0.98)

learning rate schedule

inverse square root decay

warmup steps

4,000

max learning rate
dropout

0.001
0.3

gradient clip

0.1batch size

1M tokensmax number of updates

60K steps

validate interval updates

1K steps

patience

5― 2372 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).