第５回特許情報シンポジウム 論文資料集

第 6 回特許情報シンポジウム

2021年2月26日
オンライン開催
平成30年度AAMT/Japio特許翻訳研究会
第5回特許情報シンポジウム論文資料集
発 行 日

平成30年12月

一般社団法人アジア太平洋機械翻訳協会

一般財団法人日本特許情報機構

特許庁における機械翻訳の活用
令和3年2月26日
特許庁 総務部 総務課
情報技術統括室 室長補佐（特許情報利用推進班長）
中西 聡

１

2

３

はじめに
1-1

翻訳した特許情報の活用

1-2

基礎資料と関連施策

特許庁の機械翻訳に関する取組み
2-1

機械翻訳文の対外提供、機械翻訳事業

2-2

関連事業

海外の動向
WIPO／EPO

４

特許庁

おわりに
1

１．はじめに1-1 翻訳した特許情報の活用
1-2 基礎資料と関連施策

特許庁

2

1-1 翻訳した特許情報の活用

特許庁

3翻訳した特許情報の活用
・全体図
参照する特許情報の種類と時期①先行技術調査 (出願前調査)②審査情報参照 (出願戦略の検討)(③他庁出願用の参考)

事業活動①先行技術調査

JPO／他庁出願(出願書類翻訳の参考／IDS対応等)(既存技術／特許権等の確認)

審査

登録①先行技術調査 (審査に必須)②審査情報参照（審査の参考）

日本国特許庁（JPO）提供情報③他庁出願用の参考
国内出願人①先行技術調査

国内公報（英訳）
JPO審査情報（英訳）②審査情報参照

海外公報（英訳）

国内審査官

特許庁

②審査情報参照②審査情報参照①先行技術調査

外国出願人②審査情報参照

海外庁提供情報①先行技術調査①先行技術調査

海外公報（和訳）
海外庁書類情報（英訳）
海外庁書類情報（和訳）①先行技術調査②審査情報参照①先行技術調査②審査情報参照
海外庁審査官

4翻訳した特許情報の活用
・具体例①（日本の審査情報の海外発信）
参照する特許情報の種類と時期①先行技術調査 (出願前調査)②審査情報参照 (出願戦略の検討)(③他庁出願用の参考)

事業活動①先行技術調査

JPO／他庁出願(出願書類翻訳の参考／IDS対応等)(既存技術／特許権等の確認)

審査

登録①先行技術調査 (審査に必須)②審査情報参照（審査の参考）

日本国特許庁（JPO）提供情報③他庁出願用の参考
国内出願人①先行技術調査

国内公報（英訳）
JPO審査情報（英訳）②審査情報参照

海外公報（英訳）

国内審査官

特許庁

②審査情報参照②審査情報参照①先行技術調査

外国出願人②審査情報参照

海外庁提供情報①先行技術調査①先行技術調査

海外公報（和訳）
海外庁書類情報（英訳）
海外庁書類情報（和訳）

日本の審査情報が参照可能（国内出願人の円滑な権利取得を補助）①先行技術調査②審査情報参照①先行技術調査②審査情報参照
海外庁審査官5翻訳した特許情報の活用
・具体例②（海外出願の検索、照会環境整備）
参照する特許情報の種類と時期①先行技術調査 (出願前調査)②審査情報参照 (出願戦略の検討)(③他庁出願用の参考)

事業活動①先行技術調査

JPO／他庁出願(出願書類翻訳の参考／IDS対応等)(既存技術／特許権等の確認)

審査

登録①先行技術調査 (審査に必須)②審査情報参照（審査の参考）

日本国特許庁（JPO）提供情報③他庁出願用の参考
国内出願人①先行技術調査

国内公報（英訳）
JPO審査情報（英訳）②審査情報参照

海外公報が日本語で検索可能（先行技術調査が容易）

国内審査官

特許庁

②審査情報参照②審査情報参照①先行技術調査

外国出願人②審査情報参照

海外庁提供情報
海外公報（英訳）①先行技術調査①先行技術調査

海外公報（和訳）
海外庁書類情報（英訳）
海外庁書類情報（和訳）①先行技術調査②審査情報参照①先行技術調査②審査情報参照
海外庁審査官6

1-2 基礎資料と関連施策

特許庁

7

基礎資料①
・国内出願人の出願動向（国内／海外）
 国内出願人による特許及び実用新案の出願先は、国内が減少傾向にある中、海外は、増加ないし横ばい。
 国内出願人の、海外出願に対する関心や重要度の高さが窺える。
(千件)

(%)

国内出願人による海外への出願件数（右目盛）
国内出願人による全出願件数

400

50
40

300

30

200

20

100

日本
特許庁

米国

欧州

中国

韓国

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

2006

2005

国内出願人による各国／地域への出願件数（左目盛）
2004

0

10
0

その他

海外への出願の占める割合※ 国内出願人による出願件数は、筆頭出願人の住所又は居所等が国内である出願をカウント。
（出典） WIPO IP Statistics Data Centerを基に作成

8基礎資料②
・国内外の特許・実用新案出願件数
 全世界の特許及び実用新案の出願は、年々増加（2018年には約550万件）しており、特に五庁（日米欧中韓）で全体の約9割を占める。
 特に中国の増加が著しく、中国特許及び実用新案の検索環境は重要である。
(百万件)

(%)

五庁への出願件数（右目盛）
世界各国/地域への全出願件数

6

100

5

80

4

60

各国/地域への出願件数
（左目盛）

3

40

2

日本
特許庁

米国

欧州

中国

韓国

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

2008

2007

0

2006

0

2005

20

2004

1

その他

五庁への出願の占める割合（出典） WIPO IP Statistics Data Centerを基に作成

9基礎資料①②に関する施策
・日本の審査情報の海外発信／海外出願の検索、照会環境整備
 国内出願人の関心／重要度が高い海外出願において、国内出願人が円滑に権利取得する一助となるように、日本の審査情報を翻訳して海外発信している。
 海外出願、特に急増中の中国特許・実用新案の検索、照会環境を整備している。
日本の審査情報の海外発信（スライド5︓具体例①）
迅速な審査2018年平均（特許）JPO（日本）
USPTO （米国）
EPO
（欧州）
CNIPA （中国）
KIPO
（韓国）

一時審査期間（月）
最終判断までの期間（月）
9.3
14.1
15.6
23.8
4.4※
25.1
15.4
22.5
10.3
15.8
※ 出願日から拡張欧州調査報告の発表までの中央値（出典）特許行政年次報告書2020年版

高品質な審査

特許審査全般の質（全体評価）2020年度調査
満足
9.1%

比較的満足
55.2%

日本の審査結果の活用促進

翻訳・海外発信比較的不満 不満
2.4%
0.3%
普通
33.0%

（出典）令和2年度 特許審査の質についてのユーザー評価調査報告書

海外出願（中国特許・実用新案）の検索、照会環境整備（スライド6︓具体例②） 中国公報を日本語で検索特許庁

特許庁が
中国公報データを受領

日本語に
機械翻訳

海外の審査官検索データ
ベースに蓄積海外特許情報へのアクセス性向上

一般利用者/審査官 10

２．特許庁の機械翻訳に関する取組み
2-1 機械翻訳文の対外提供、機械翻訳事業
2-2 関連事業

特許庁

112-1 機械翻訳文の対外提供、機械翻訳事業

特許庁

12

機械翻訳の活用、及び、翻訳文の対外提供
 特許庁では、日本の審査情報等の海外発信／海外出願の検索、照会環境整備の施策※における翻訳として、機械翻訳を活用している。
 機械翻訳した、出願人や海外庁から得られた各種データは、国内外の審査官や一般利用者に提供している。
※ スライド10参照
特許庁（JPO）
出願書類等
(日本語)

データベース

出願
出願人

・出願・公報情報
・書誌・経過情報・審査書類情報等

日本語 外国語

各国特許庁とデータ交換

海外庁

機械翻訳（日本語 ⇒ 外国語）

機械翻訳（外国語 ⇒ 日本語）

日本の審査情報等の海外発信（日本の審査結果の活用促進）

海外出願の検索、照会環境整備（海外特許情報へのアクセス性向上）

スライド5︓具体例①参照

特許庁

公報情報等
(外国語)

一般利用者／海外の審査官

スライド6︓具体例②参照

一般利用者／国内の審査官

13

「特許情報」の翻訳文を提供している主なインターフェース
 「特許情報」とは、特許・実用新案・意匠・商標の出願や権利化に伴って生み出される情報全般を指す。日本国特許庁が保有する特許情報は、J-PlatPat、
OPD、FOPISER等を通じて、無償で対外提供されている。
特許情報プラットフォーム
J-PlatPat
https://www.j-platpat.inpit.go.jp

ワンポータルドシエ
OPD
https://www.j-platpat.inpit.go.jp/p0000（J-PlatPatインターフェース（一般用））

外国特許情報サービス
FOPISER
https://www.foreignsearch2.jpo.go.jp

特許庁• 国内外の特許、実用新案、意匠、商標、審決に関する公報、手続、審査経過等を収録• 「ぷらっと」寄って、情報を「ぱっと」見つけられるような、ユーザーフレンドリーなサービスが提供できるようにとの意味• 2015.3より運用開始（「特許電子図書館(IPDL︔1999.3運用開始)」の後継）• 各庁の特許審査に関連する、手続や審査の状況、各種書類データ等（ドシエ情報）を、原語及び英語で閲覧できるプラットフォーム
dossier (仏語で関係書類)• AIPNインターフェースは、JPOに接続申請した海外庁が使用可能<経緯>• 2003 ︓アジア産業財産ネットワーク (AIPN)運用開始（国内の審査経過・結果情報のみ提供開始）• 2004 ︓ドシエ情報全般も提供開始︔高度産業財産ネットワーク（AIPN）に名称変更• 2006 ︓日米欧の三極でドシエ情報が相互参照可能なシステム構築• 2013 ︓日米欧中韓の五庁でドシエ情報が相互参照可能なOPD運用開始（2008よりJPO主導で開発）• 2016 ︓ J-PlatPat上から一般ユーザーにも提供開始• 露・台・オーストラリア・シンガポール・ベトナム・タイ・EUIPOの特許、実用新案、意匠又は商標の公報情報等、中国の特許及び実用新案に関する審決の和訳文を収録（J-PlatPat未収録）• Foreign Patent Information Serviceの略称• 提供時間は、開庁日の9時から20時に限られる• 2015.8より運用開始

14機械翻訳プラットフォーム（MTP）による機械翻訳・全体図 特許庁では、機械翻訳プラットフォーム（MTP）によって、日本の審査情報や公報の英訳、中韓の特許/実用新案の和訳を行っている。
 MTPは、複数の翻訳エンジンを搭載しており、令和元年5月に日英翻訳機能、
翌令和2年4月に中日・韓日翻訳機能をリリースし、現在運用中である。
日本の審査情報等の海外発信

機械翻訳プラットフォーム（MTP）
日本語 → 英語
中国語 → 日本語
韓国語 → 日本語
翻訳エンジン
（①）（NMT①）
翻訳エンジン
（②）（NMT②）

・・・

翻訳エンジン（①）（SMT①）

最
適
翻
訳
エ
ン
ジ
ン
選
択
翻訳文

J-PlatPat
リアルタイム
翻訳

翻
訳
要
求
の
受
付
・
応
答

特許庁

翻訳品質
向上策

パブリック
クラウド

国内公報・審査書類（英訳）
ワンポータルドシエ(OPD)

リアルタイム翻訳

国内審査書類（日本語）
国内審査書類
（英訳）

一般利用者
国内審査書類の英訳を照会

一般利用者・海外の審査官

海外出願の検索、照会環境整備
庁内システム

適用
対訳辞書等

国内公報・審査書類（日本語）

国内公報・審査書類の
英訳を照会

バッチ翻訳
（予め蓄積）

中韓公報（中・韓国語）J-PlatPat / 庁内検索
中韓公報
（和訳）

公報データ受領
中韓公報を日本語で検索、照会

一般利用者・国内の審査官

15

機械翻訳プラットフォーム（MTP）による機械翻訳・全体図 特許庁では、機械翻訳プラットフォーム（MTP）によって、日本の審査情報や公報の英訳、中韓の特許/実用新案の和訳を行っている。
 MTPは、複数の翻訳エンジンを搭載しており、令和元年5月に日英翻訳機能、
翌令和2年4月に中日・韓日翻訳機能をリリースし、現在運用中である。
日本の審査情報等の海外発信

機械翻訳プラットフォーム（MTP）
日本語 → 英語
中国語 → 日本語
韓国語 → 日本語①
翻訳エンジン
翻訳エンジン
（①）（NMT①）の使い分け
翻訳エンジン
（②）（NMT②）

・・・

翻訳エンジン（①）（SMT①）

適用
対訳辞書等

特許庁

翻訳品質
向上策

最
適
翻
訳
エ
ン
ジ
ン
選
択

リアルタイム
翻訳

翻
訳
要
求
の
受
付
・
応
答

③
翻訳文
ユーザー辞書
機能
パブリック
クラウド

J-PlatPat
国内公報・審査書類（日本語）
国内公報・審査書類（英訳）
ワンポータルドシエ(OPD)
国内審査書類（日本語）②
国内審査書類
リアルタイム翻訳（英訳）とバッチ翻訳

リアルタイム翻訳

国内公報・審査書類の英訳を照会④
ワンポータル
一般利用者
ドシエを通じた
国内審査書類の英訳を照会
海外発信
一般利用者・海外の審査官

海外出願の検索、照会環境整備

庁内システムバッチ翻訳（予め蓄積）

中韓公報（中・韓国語）J-PlatPat / 庁内検索
中韓公報
（和訳）

公報データ受領
中韓公報を日本語で検索、照会

一般利用者・国内の審査官

16

機械翻訳プラットフォーム（MTP）による機械翻訳① 翻訳エンジンの使い分け
 MTPには、複数の翻訳エンジンが搭載されており、NMTをメインに利用しつつ、SMT及びRBMTの併用や、翻訳前後の文章に対する各種処理等を含む独自シ
ステムを通じて、高い翻訳品質を達成している。
MTPにおけるメインの翻訳エンジンの使い分け
日英翻訳
国内公報・
審査書類
（日本語）

国内公報・
審査書類
（英訳）

中日翻訳
中国公報
（中国語）

中国公報
（和訳）

韓日翻訳
韓国公報
（韓国語）

特許庁

韓国公報
（和訳）

翻訳対象
特許公報（明細書等）
特許公報（発明の名称）
審査書類等
書誌情報・特許以外の公報 等

メイン翻訳エンジン
NMT（公報用カスタマイズ）
SMT
NMT（審査書類用カスタマイズ）
RBMT

翻訳対象
特許公報（明細書等）
特許公報（発明の名称）

メイン翻訳エンジン
NMT
SMT

翻訳対象
特許公報

メイン翻訳エンジン
SMT
17

機械翻訳プラットフォーム（MTP）による機械翻訳② リアルタイム翻訳とバッチ翻訳
 日英翻訳は、リアルタイム翻訳（照会の度に都度翻訳）、中日・韓日翻訳はバッチ翻訳（予め検索システムに翻訳文を蓄積）を実施している。
(公的サービスが提供する機械翻訳は、当面、翻訳精度の向上が期待されることから、リアルタイム翻訳が原則
ただし、中韓は過去事業の継続として例外。) 情報普及活用小委員会報告書「特許情報のさらなる活用に向けて」（p.31脚柱16参照）
リアルタイム翻訳とバッチ翻訳の違い
リアルタイム翻訳（都度翻訳・蓄積無し）
J-PlatPat／OPD
MTP
日→英

和文
英訳
国内公報／審査書類
データベース（和文）利用者

バッチ翻訳（蓄積あり）
MTP
中→日
韓→日

特許庁

中韓から
データ受領

J-PlatPat／OPD

原文
和訳

和訳

原文

中韓公報データベース（和訳・原文）

利用者

メリット

デメリット

最新品質の翻訳文が参照できる

翻訳文を対象としたテキスト検索ができない

国内公報・
審査書類
（日本語）

国内公報・
審査書類
（英訳）

メリット

デメリット

翻訳文を対象としたテキスト検索ができる

蓄積時点の翻訳品質（最新の品質でない）

中韓公報
（原文）

中韓公報
（和訳）

MTPによる高品質の和訳は、主に2020.03以降の発行分
過去分は、(旧)中韓文献翻訳・検索システムによる和訳

18機械翻訳プラットフォーム（MTP）による機械翻訳③ ユーザー辞書機能
 MTPには、ユーザー辞書機能が組み込まれており、定型の語句の正確な翻訳及び翻訳揺れ防止を実施している。
 未知語（機械翻訳できなかった用語）も、発見し次第積極的に登録している。
ユーザー辞書機能の組込み審査書類や公報等
・・請求項・・・。・・・・・・・・・請求項・・。

MTP

・・請求項・・・。・・・・・・・・・請求項・・。

ユーザー辞書機能
の組込み

定型の語句
MTP

登録
辞書

・claim・・・・．・・・・
・・ billing item・．

・claim・・・・．・・・・・・・・・ claim ・・．

請求項 ⇔ claim

未知語

ユーザー辞書に登録して、定型の語句を正確に翻訳
特許庁

19機械翻訳プラットフォーム（MTP）による機械翻訳④ ワンポータルドシエを通じた海外発信 各国の審査書類（出願人や審査官が作成した各種書類︔ドシエ情報）は、ワン
ポータルドシエ（OPD）／WIPO-CASEを通じて世界中で共有されている。
 日本の国内審査書類については、原文（日本語）及びMTPによる英訳を、
OPD／WIPO-CASEを通じて参照することができる。
ワンポータルドシエを通じた海外発信
WIPO-CASE
ワンポータルドシエ (OPD)

WIPOのドシエ情報共有システム

五庁（日米欧中韓）のドシエ情報共有システム
審査書類
データベース
和文

MTP
日→英

英訳

連携

各庁の審査書類の原文・英訳を照会

中文

英文

英訳
原文
英訳

特許庁

照会の都度
英訳を作成

五庁＋28の国・機関（2019年11月時点）

中文英訳

 各庁の審査情報を相互参照（原文/翻訳文）
 英訳は、各庁で作成・提供
 一般ユーザーも利用可能

20

2-2 関連事業

特許庁

21

新語対応による機械翻訳精度向上に関する調査
 MTPの日英翻訳によって翻訳できなかった未知語／新語の辞書を作成すると共に、機械翻訳の品質維持向上のため、未知語／新語の出現傾向や、辞書登録すべき未知語の効率的な選定方法について調査した。
翻訳失敗箇所を含有する履歴（「未知語」ログ）の抽出・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
・・・

MTPの
翻訳履歴
特許庁

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・「未知語」の発生によって翻訳失敗した箇所

作成
未知語/新語の検出

辞書
未知語/新語辞書
22最新のOCR技術による公開特許公報等のテキストデータ作成等を通じた
機械翻訳サービスの充実化に向けた調査
 国内の古い公報のイメージデータを、既存のOCR及び人工知能を活用したAIOCRによりテキスト化して、機械翻訳する際の課題等を整理することが目的。
 公報サンプルデータをフォーマット毎に分類し、OCRの手法及びテキスト費用を調査した。
公報の年代別フォーマット区分毎のOCRコスト
テキスト化システム全体構成図（想定）
書誌情報はOCR以外の方法で入手

公報書誌情報
データ

①
OCR
システム

公報イメージ
データ

公報サンプルデータ
公開特許
公表特許
再公表特許
公告特許
公開実用新案
公表実用新案
再公表実用新案
公告実用新案
公開実用新案全文

特許庁

1971‐1992
1979‐1995
1979‐1995
1922‐1993
1971‐1992
1979‐1995
1981‐1992
1922‐1993
1971‐1992

1,001件
701件
700件
1,754件
1,001件
166件
19件
1,754件1,002件

OCR
データ

②
レイアウト
解析ツール

③
書誌情報
連携ツール

①OCRシステム

公報レイアウトの
特徴別分類

想定件数

[I]
旧字旧仮名

51万件

40円/件

[ II ]
画質が悪い(新字新仮名)

507万件

40円/件

[ III ]
画質が良い
(新字新仮名)1,072万件 6.7円/件

単価④
テキストデータ
変換ツール

最適ツール使用②レイアウト
解析ツール

約2千万円

約2千万円

精度︓約93%

精度︓約50%

約2億円

約2千万円

精度︓約87%

精度︓約80%

約7千万円

約2千万円

精度︓約95%

精度︓約90%

公報テキストデータ用
フォーマット
公報テキスト
データ

④テキスト
③書誌情報
データ変換
連携ツール
ツール

合計

約8千万円

約2千万円

約2千万円

約2.6億円

約1.3億円23

最新のOCR技術による公開特許公報等のテキストデータ作成等を通じた
機械翻訳サービスの充実化に向けた調査（参考）特許公報のフォーマット変遷
公開特許

開始日
1971/7/16
1975/3/18
1977/7/1
1980/1/5

終了日
1975/3/17
1977/6/30
1979/12/27
1985/2/13

改訂箇所

発行開始
Int.Cl2.追加
書誌事項全体のレイアウトが変わる
日本分類の記載が無くなる
発明の数、審査請求の位置が移動
1985/2/14 1992/7/30頃
書誌事項が１段表記になる
1992/7/30頃
現行公開公報に近い形になる

公表特許

開始日
1979/7/26
1980/1/10
1983/7/14
1985/1/10
1994/1/6

再公表特許開始日
1979/8/9
1980/1/10
1983/8/4

特許庁

終了日
改訂箇所
1979/12/27 発行開始
1983/7/7 日本分類の記載が無くなる
1984/12/27 「予備審査請求」の欄が登場「審査請求」、「予備審査請求」の欄移動
1993/12/22
書誌事項が１段表記になる
現行実用新案公報に近い形になる

終了日
1979/12/6
1983/7/7

改訂箇所

発行開始
日本分類の記載が無くなる「審査請求」、「予備審査請求」の欄登場

公告特許

開始日
1922/6/9

終了日
改訂箇所
1922/11/17 発行開始
「出願ノ要旨」が「發明ノ性質及ヒ目的ノ要領」
1922/11/22 1923/3/7と「特許請求ノ範圍」とに分かれる
1923/3/9 1923/8/24 「願書番號」が「特許願番號」に変わる
1923/8/25 1924/5/12 （関東大震災の影響）
公告番号を初期化して公報発行再開
1924/5/13 1924/7/16「願書番號」に戻る「特許出願公告」の位置変更
1924/7/18 1933/1/30※1927年〜公告番号が年ごとになる
1933/2/1
1934/2/9 ページ番号の位置が変わる
1934/2/12 1936/3/30 「（特許局発行）」との記載が登場
1936/4/1 1938/7/29 冊子全体の通番が登場
1938/8/1 1940/8/23 １段表記から２段表記に変わる
1940/8/26 1940/11/30 「發明ノ性質及目的ノ要領」表記が無くなる
1940/12/5 1943/11/11 紙面のサイズが縮小する
1943/11/12 1947/2/14 （戦時特例により出願公告制度が停止）
1947/2/15 1947/12/26 「（特許標準局発行）」との記載となる
1948/2/10 1949/12/23 1紙面に対し、複数文献が記載される
1950/1/9 1951/10/30 文献ごとの記載に戻る
公報下部の書誌事項がなくなる
1951/11/4 1952/12/23 「日本國政府」→「特許庁」に表記が変更「(全 ○ 頁)」との記載が登場
1953/1/6 1963/12/28 「発明の性質及目的の要領」表記が無くなる
1964/1/9 1969/3/31 書誌事項が公報上部から本文に移動
書誌事項に番号が導入される
1969/4/2 1970/9/30
欄の番号、発明の数の欄が登場
1970/10/1 1972/12/27 Int.Cl.導入
1973/1/5 1975/3/31 クレームに丸囲み文字が記載される
1975/4/1 1977/3/31 庁内整理番号導入
1977/4/1 1979/3/31 書誌事項が「特許公報」の下に移動する
1979/4/2 1979/12/27 JP、Bの表示
1980/1/5 1984/12/27 日本分類の記載が無くなる
24
1985/1/5 1993/12/24 書誌事項が１段表記になる

最新のOCR技術による公開特許公報等のテキストデータ作成等を通じた
機械翻訳サービスの充実化に向けた調査（参考）実用新案公報のフォーマット変遷
公告実用新案
開始日
1922/6/1
1923/9/1
1924/5/19

終了日
1923/8/31
1924/5/18
1924/7/24

1924/7/31

1933/1/31

1933/2/2
1934/2/13
1936/4/2
1938/2/1
1938/8/2
1940/12/3
1943/11/14

1934/2/10
1936/3/31
1938/1/29
1938/7/30
1940/11/30
1943/11/13
1947/2/27

1947/2/28

1947/12/27

1948/2/10
1950/1/9

1949/12/23
1951/10/30

1951/11/4

1963/12/28

1964/1/9

1969/3/31

1969/4/2

1970/9/30

1970/10/1
1973/1/5
1975/4/1
1977/4/1
1979/4/2
1980/1/5
1985/1/5

1972/12/27
1975/3/31
1977/3/31
1979/3/31
1979/12/27
1984/12/27
1993/12/24

特許庁

改訂箇所

発行開始
（関東大震災の影響）
公告番号を初期化して公報発行再開「実用新案出願公告」の位置が変更※1927年〜公告番号が年ごとになる
ページ番号の位置が変わる「（特許局発行）」との記載が登場
冊子全体の通番が登場
冊子全体の通番の位置が変わる
１段表記から２段表記に変わる
紙面のサイズが縮小する（戦時特例により出願公告制度が停止）
公報発行再開「（特許標準局発行）」との記載となる
1紙面に対し、複数文献が記載される
文献ごとの記載に戻る
公報下部の書誌事項がなくなる「日本國政府」→「特許庁」に表記が変更「(全 ○ 頁)」との記載が登場
書誌事項が公報上部から本文に移動
書誌事項に番号が導入される欄の番号、発明の数の欄が登場
Int.Cl.導入
クレームに丸囲み文字が記載される庁内整理番号導入
書誌事項が「実用新案公報」の下に移動
JP、Yの表示日本分類の記載が無くなる
書誌事項が１段表記になる

公開実用新案開始日
1971/9/13
1973/1/5
1975/3/24頃
1977/4/1

終了日
1972/12/27
1975/3/24頃
1977/3/31
1977/6/30

1977/7/1

1979/3/31

1979/4/2

1985/2/13

1985/2/14

1989/7/14頃

1989/7/14頃
1992/7/28頃

1992/7/28頃

公開実用新案全文
開始日
1971/9/13
1983/4/1
1985/2/14
1989/7/14頃
1992/7/28頃

終了日
1983/3/31
1985/2/13

改訂箇所

発行開始
クレームに丸囲み文字が記載される
Int.Cl2.追加
書誌事項が「公開実用新案公報」の下に移動「(全 ○ 頁)」との記載が登場
書誌事項が2段表記になる
JP、Uの表示審査請求の位置が移動
書誌事項が１段表記になる
請求項の数の欄が登場
現行実用新案公報に近い形に変わる
改訂箇所

発行開始
書誌事項表記が公開公報と近い形式に変更
審査請求の位置が移動
1989/7/14頃
書誌事項が１段表記になる
1992/7/28頃 請求項の数の欄が登場
現行実用新案公報に近い形に変わる

公表実用新案
開始日
1979/9/6
1980/9/6
1983/8/4

1985/1/17
1994/1/6

終了日
改訂箇所
1979/10/25 発行開始
1983/6/23 日本分類の記載が無くなる
1983/12/20 「予備審査請求」の欄が登場「審査請求」、「予備審査請求」の欄が移動
1993/9/2
書誌事項が１段表記になる
現行実用新案公報に近い形に変わる

再公表実用新案
開始日
1982/3/11
1984/7/19

終了日
1982/3/11

改訂箇所

25
発行開始
「審査請求」、「予備審査請求」の欄が記載

３．海外の動向
WIPO／EPO

特許庁

26

WIPO Translate
 WIPO(世界知的所有権機関)が開発した機械翻訳ツール。PCTの国際公開言語(
日本語を含む10言語)について、自由入力文の翻訳が可能。
 WIPOの特許検索(PATENTSCOPE)において、公報／書誌情報等をリアルタイ
ム翻訳する翻訳エンジンとして、Google翻訳と併用している。
 2016年9月よりNMTを採用。
WIPO Translate

PATENTSCOPE

WIPO Translateで日本語を選択https://patentscope.wipo.int/translate/translate.jsf

特許庁

https://patentscope2.wipo.int/search/ja/search.jsf

27

Patent Translate (EPO) EPO（欧州特許庁）がGoogleと協力して開発した機械翻訳ツール。日本語を含む32言語の翻訳が可能。
 EPO提供の特許検索サービス（Espacenet）を通じて提供。（Espacenetは2019年11月に正式リニューアル。）
 2017年5月よりNMTを採用。

特許庁

https://worldwide.espacenet.com/patent/search28

4．おわりに

特許庁

29

特許庁は今後も、特許情報の提供に機械翻訳を引き続き活用し、更なる特許情報の普及活用に努めて参ります。

特許庁

30

ありがとうございました機械翻訳コンペティション参加報告
清野 舜
国立研究開発法人理化学研究所 革新知能統合研究センター
目的指向基盤技術研究グループ 自然言語理解チーム※スライドは後日公開予定です謝辞• 講演のアイデア出し・スライドの推敲に協力してくださった東北大学の鈴木潤先生、小林颯介さん、伊藤拓
海さんに感謝します

2

自己紹介
• 経歴
• 2013 – 2019: 東北大学（学士 - 修士）• 2019 – : 理化学研究所 革新知能統合研究センター• 2020 – : 東北大学（博士後期課程 ）• これまでの研究• 生成型要約 [BlackboxNLP 2018], [PACLIC 2018]• 高速 & 大規模な半教師あり学習 [AAAI 2019]• 文法誤り訂正 [EMNLP 2019], [TASLP 2020]
機械翻訳の基盤技術はタスクをまたいで使われている⇛他タスクの経験が役立つ

機械翻訳の研究をしたことがない
つまり、情熱さえあれば大丈夫！

3

今日話すこと① 機械翻訳コンペティション(WMT)の紹介

東北大

②

理研AIP

-

(10%)

N TT CS研-で参加してみて分かったこと3つ(90%)

今回参加したコンペティション：WMT• WMT: もともとは機械翻訳のワークショップ• 数年前に国際会議になりました• さまざまなコンペティションが併設• 新聞記事翻訳 我々が参加したタスク• 未知のドメインの文に対する翻訳

最も歴史が古いかつ競争の激しいタスク• 教師なし機械翻訳• 生物学・医療系文書の機械翻訳• チャット文の機械翻訳
6コンペティションの流れ（日英の場合）① システム構築

超大量(100枚~)のGPUで
試行錯誤

データセットの準備・前処理

システム完成日英の対訳コーパス
単言語コーパス（日）単言語コーパス（英）前年度までのテストデータ
チームメンバー② システム評価
テストデータの翻訳

日本語文

自動評価 (BLEU)・人手評価

翻訳文

7

参加チームの紹介• 我々：東北大-理研AIP-NTTチーム

Shun Kiyono1,2

Takumi Ito2,1

1RIKEN AIP

Ryuto Konno2,1
2Tohoku University

コンペティション上位の常連
WAT2017・WMT2018・WAT2019
で1位

Makoto Morishita3,2

Jun Suzuki2,1

3NTT CS Laboratory• その他に 京大・NICT・DeepMind・Facebook・エジンバラ大・NAVER・OPPO・Tencent・WeChat・DiDi などが参加
8

結果：自動評価尺度（BLEU）で上位
独→英: 1位

英→独: 1位

日→英: 2位

英→日: 4位

人手評価：全言語対で1位を達成（人手評価に統計的有意差がない場合、同率一位という扱い）

10その他：言語現象テストでも好成績[Avramidis+2020]

複単語表現・固有名詞
機能語・動詞の時制といった言語現象の取り扱いに関するテスト

我々のシステムがマクロ平均値で最も良い成績

11

分かったこと①
最先端のNMTシステムは泥臭い12

よくある SMT vs NMT 観
SMT（統計的機械翻訳）
一般的な統計翻訳(SMT)
訓練データ

GIZA++MGIZA
FastAlign
Nile

開発データ

NMT（ニューラル機械翻訳）

枠組み

Moses, Joshua
Travatar, KyotoEBMT

試験データ

デコーダー / 翻訳エンジン

単語/句
アライメント素性 重み

N-best
翻訳結果
翻訳知識 / ルール
フレーズテーブル

N-best
翻訳結果

リランキング/リライティング
チューニング

言語
モデル

SRILM
KenLM
RNNLM

正解翻訳

MERT
MIRA
PRO

最終
翻訳結果

※

😩 複数モジュールによる煩雑なシステム
😩 エラー伝搬が翻訳精度に悪影響

13

😀 単一のモデルで一気通貫学習が可能
😀 エラー伝搬を解消→高い翻訳精度※ゼロから始めるニューラルネットワーク機械翻訳 https://www.slideshare.net/ToshiakiNakazawa/nlp2017-nmt-tutorial より引用

13

よくある SMT vs NMT 観
SMT（統計的機械翻訳）
一般的な統計翻訳(SMT)
訓練データ

GIZA++MGIZA
FastAlign
Nile

開発データ

NMT（ニューラル機械翻訳）

枠組み

Moses, Joshua
Travatar, KyotoEBMT

試験データ

デコーダー / 翻訳エンジン

単語/句
アライメント

素性 重み

多くの場面でこれは正しいが…
「最先端のNMT」では状況が違う
N-best
翻訳結果

翻訳知識 / ルール
フレーズテーブル

N-best
翻訳結果

リランキング/リライティング

チューニング

言語
モデル

SRILM
KenLM
RNNLM

正解翻訳

MERT
MIRA
PRO

最終
翻訳結果

※

😩 複数モジュールによる煩雑なシステム
😩 エラー伝搬が翻訳精度に悪影響

13

😀 単一のモデルで一気通貫学習が可能
😀 エラー伝搬を解消→高い翻訳精度※ゼロから始めるニューラルネットワーク機械翻訳 https://www.slideshare.net/ToshiakiNakazawa/nlp2017-nmt-tutorial より引用

14

いつものNMTから最先端NMTへ

普段我々が慣れ親しんだNMTの枠組み

16いつものNMTから最先端NMTへ

17

最先端NMTは“泥臭い”技術の集合体
翻訳モデル（Transformer）はハ
イパーパラメータに対して非常にセンシティブ
ハイパラの知見も日進月歩⇛ハイパーパラメータの調整

対訳コーパスだけではデータが足りない
単一言語コーパスを使ってデータを増やしたい⇛逆翻訳によるデータ拡張

テストデータは新聞記事ドメ
インなので、
新聞記事のデータに適応させたい⇛ファインチューニング

三人寄れば文殊の知恵！
他のモデルの意見も取り入
れて出力を決めたい⇛リランキング

モデル学習結果にはムラがあるので複数のモデルを独立に訓練
して多数決しよう⇛アンサンブル

18

最先端NMTは“泥臭い”技術の集合体
翻訳モデル（Transformer）はハ
イパーパラメータに対して非常にセンシティブ
ハイパラの知見も日進月歩⇛ハイパーパラメータの調整

19ハイパーパラメータの調整• モデル：Transformer [Vaswani+2017]• 近年のデファクト的なモデルであり、使わないという選択肢はない• フィードフォワード層の次元数を倍・層の数を 6  9に設定し、より多くのデータを学習することをねらう• 超巨大バッチサイズ [Ott+2018]••••

通常 4,000 トークン  512,000 トークンへ収束速度UP・汎化性能向上
the warm-up stage happens in the ﬁ rst several iterations, we investigate the optimization behavior at
initialization of the Post-LN Transformer. According to our theoretical analysis, when putting the
経験的に学習も安定する
layer normalization between the residual blocks, the expected gradients of the parameters near the
output layer are large. Therefore, without the warm-up stage, directly using a large learning rate toUpdate delay （別名 ゴーストバッチ）を活用することで実現
those parameters may not lead to an improved model and can even make the optimization process• 巨大学習率 [Ott+2018]•••

Under review as a conference paper at ICLR 2020

unstable. Using a warm-up stage and training the model from small learning rates practically avoid
this problem.

[Vaswani+2017]より引用

As the location of the layer normalization plays
Figure 1: The Transformer -model architecture.
a crucial role in controlling the gradient scales,
Adamのステップサイズ 0.0005 0.001
we investigate whether there are some otherways of positioning the layer normalization that
収束速度UP
3.1 Encoder and Decoder Stacks
lead to better-normalized gradients.
In particular, we study another variant,
the TransEncoder:
The encoder is composed of a stack of= 6 identical layers. Each layer has
巨大バッチサイズとの組み合わせが非常に重要
former with Pre-Layer Normalization(Pre-LN)
sub-layers.
The ﬁrst is a multi-head self-attention mechanism, and the second is a simple, posit
wise
fully connected feed-forward network. We employ a residual connection [11] around eac(K lein et al., 2018). The Pre-LN
Transformer
the twoputs the layer normalization inside
the sub-layers,
residual followed by layer normalization [1]. That is, the output of each sub-layeLayerN orm( + Sublayer( )), where Sublayer( ) is the function implemented by the sub-laconnection and equips with an additional
ﬁnal- these residual connections, all sub-layers in the model, as well as the embedd
itself. To facilitate
layer normalization before prediction(Pleaselayers, produce
outputs of dimension model = 512.
適当な単位（例: 毎Epoch, 2k Updates）でモデルを保存しておく
see Figure 1 for the differences between the twovariants of the Transformer architectures).
Decoder: TheIn
decoder is also composed of a stack of = 6 identical layers. In addition to the
学習後、保存したモデルの平均値を計算し、推論に用いる
this paper, we show that the gradientsareinwellsub-layers
each encoder layer, the decoder inserts a third sub-layer, which performs multi-hover theatoutput of the encoder stack. Similar to the encoder, we employ residual connect
behaved without any exploding attention
or vanishingaround each of the sub-layers, followed by layer normalization. We also modify the self-atten
BLEUスコアが0.1~0.2ほど改善する [Popel+2018]
initialization for the Pre-LN Transformer
both
sub-layer in the decoder stack to prevent positions from attending to subsequent positions. T
theoretically and empirically. masking, combined with fact that the output embeddings are offset by one position, ensures that

• チェックポイント平均法•••• Pre-layer-normalization••

predictions for position can depend only on the known outputs at positions less than .

Given the gradients are well-behaved in the PreLN Transformer, it is natural to consider re3.2 stage
Attention
moving the learning rate warm-up
during
フィードフォワード層とアテンション層の前でLayerNormを計算
training. W e conduct extensive
experiments,
An attention function can be described as mapping a query and a set of key-value pairs to an out
including
IW SLT14 German-English[Xiong+2020]より引用
where thetranslaquery, keys,Figure
values, andoutputare all vectors.
The outputlayer;
is computed
as a weighted s
1: (a)
Post-LN
Transformer(b) Pre多層Transformerの学習が安定するとの報告[Xiong+2020]of the values, where
weight assigned to each value is computed by a compatibility
function oftion, W M T14 English-German translation,and theLN
20
Transformer
layer.
query that,with thekey.
BERT pre-training tasks. W e showin correspondingall最先端NMTは“泥臭い”技術の集合体
対訳コーパスだけではデータが足りない
単一言語コーパスを使ってデータを増やしたい⇛逆翻訳によるデータ拡張21逆翻訳によるデータ拡張• More data, better performance• 自然言語処理における標語• もっと多くの対訳データがあれば性能向上するはず• とはいえ、どうやってデータを増やすのか？

逆翻訳

22

逆翻訳とは何か？
• 逆翻訳 (Back-translation; BT) [Sennrich+2016]• 単一言語コーパスから疑似対訳コーパスを生成するための方法論• NMT用データ拡張のデファクト的な存在• 逆翻訳モデルを用いて目的言語の文を原言語に「逆」翻訳
英日モデルを作る場合…
日→英
翻訳モデル

単言語コ ーパス（ 日）

翻訳済みコ ーパス（ 英）英日の疑似対訳コ ーパス
23逆翻訳のプロセス① 逆翻訳モデルの訓練
訓練
日英の対訳コーパス

日→英
翻訳モデル

② 日本語単言語コーパスを翻訳し、疑似データを生成
日→英
翻訳モデル

単言語コーパス（日）翻訳済みコーパス（英）英日の疑似対訳コーパス③ 疑似データを用いて学習
英日の対訳コーパス
英日の疑似対訳コーパス

訓練

英→日
翻訳モデル
24

最先端NMTは“泥臭い”技術の集合体

三人寄れば文殊の知恵！
他のモデルの意見も取り入
れて出力を決めたい⇛リランキング26

リランキングで候補文から良い翻訳を選ぶ
候補N文

I have been extremely lucky.

スコア

とても幸運でした9.5

非常に運が良かった。

8.2

極めて幸運であった

4.2

私は本当に幸運でした

2.9

私は、非常に幸運だった

1.1

リランキングなしの場合
この文を出力

本当はこの文を出力したい• リランキング無しの場合
1.
2.

ビームサーチによって候補文をN文生成
スコアの最も高い1文を出力• 高スコア = 最も良い翻訳 ではない
• 他の候補文のほうが良い翻訳になっている可能性• リランキング：良い翻訳を見つけ出すための後処理
27

モデルの集合知で良い翻訳を目指す① 候補N文の生成 w/ ビームサーチ

とても幸運でした
非常に運が良かった。
極めて幸運であった

I have been extremely lucky.

私は本当に幸運でした
私は、非常に幸運だった② N文を各モジュールでスコア付け + スコアの合計でソート
私は本当に幸運でした

とても幸運でした
非常に運が良かった。
極めて幸運であった

スコア
モジュール

極めて幸運であった
非常に運が良かった。
私は、非常に幸運だった

私は本当に幸運でした
私は、非常に幸運だった

とても幸運でした

単方向言語モデル

逆翻訳モデル

双方向言語モデル

逆方向翻訳モデル

などなど…
28

実験結果








ベースライン
ベースライン 逆翻訳
ファインチューニング
アンサンブルリランキング
前年度の優勝システム• 各技術の組み合わせで性能向上を達成• 最先端の性能を出すためには複雑なシステムが必要分かったこと②
膨大なリソースが必要

30

構築したシステム：色々な物が増えている• 訓練データの量が増えている• 通常：最大で 5M 程度• 今回：英独では 372M

• モデルのパラメータが増えている• 通常：エンコーダとデコーダでそれぞれ6層ずつ• 今回：それぞれ8層• モデルの数が増えている• アンサンブル・リランキング用に複数のモデルが必要• 各言語で8モデル必要 → 合計32モデル

システム構築に必要なリソースの増加31必要なものは、すごいGPUと時間
1個のモデルを作るために必要なもの

GPU

時間

V100 32GB (一枚100万円)

16日間

16日間で終わるなら待てなくもないけど…

実は32モデル
必要なので…

32必要なものは、すごいGPUと長い時間
32個のモデルを作るために必要なもの

GPU

時間

V100 32GB (一枚100万円)

512日間一年以上必要なんて
コンペが終わるでしょ並列化して速くします…

33必要なものは、かなりすごいGPUとそこそこの時間
32個のモデルを作るために必要なもの

GPU
DGX-2
V100 16枚刺しマシン (????万円)
つまりDGX-2が10台あれば3日で終わるんだね

時間

32日間
その通りですが今度は…

34

必要なものは、結局お金• DGX-2 相当のマシンは AWS で 60ドル/hour• つまり、1モデル作るのに1440ドル必要• つまり、32モデル作るのに46080ドル必要• これは日本円にして500万円弱• 途中の試行錯誤にかかった金額を合わせると?千万円ほどかかった計算• あくまでもAWSでGPUを借りた場合の概算• 所属組織のマシンを使ったため、実際の金額とは異なります
結局いくら使ったの？

秘匿事項です35

（余談）いつだって上には上がいる• GPT-3を作るために必要なもの• データは https://lambdalabs.com/blog/demystifying-gpt-3/ より引用

GPU

時間

V100 32GB (一枚100万円)

355年

ご先祖様の作り始めた
GPT-3が来週完成です

この前出たGPT-371の間違いとかではなく？

36

分かったこと③“泥臭い”NMTの先に
新しい世界が見えてきている37

ふたたび、実験結果
ID

Setting

EnDe

DeEn

EnJa

JaEn

(a)

ベースライン

42.4

42.0

19.7

21.6

(b)

ベースライン+逆翻訳

42.7

42.5

22.0

23.9

(c)

(b)+ファインチューニング

44.9

42.3

23.1

24.4

(d)

(c) x 4 (アンサンブル)

45.5

42.8

23.9

25.4

(e)

(d)+リランキング

45.7

43.8

24.9

26.2

-

前年度の優勝システム

44.9

42.8

-

-

38

観察1：逆翻訳は効果なし？
ID

Setting

EnDe

DeEn

EnJa

JaEn

(a)

ベースライン

42.4

42.0

19.7

21.6

(b)

ベースライン+逆翻訳

42.7

42.5

22.0

23.9

(c)

(b)+ファインチューニング

44.9

42.3

23.1

24.4

(d)

(c) x 4 (アンサンブル)

45.5

42.8

23.9

25.4

(e)

(d)+リランキング

45.7

43.8

24.9

26.2

-

前年度の優勝システム

44.9

42.8

-

-

• 逆翻訳で訓練データは約10倍に• 英独ではBLEUスコアはほとんど向上せず• 例えば 42.4  42.7
• 性能ゲインが労力に見合っていない…

• More data, better same performance なのか？
39

逆翻訳の効果はBLEUで測れない• 最先端NMTにおける逆翻訳の効果について• [Edunov+2020] [Bogoychev+2019]

BLEU

逆翻訳あり

≒ 逆翻訳なし

人手評価

逆翻訳あり

>

逆翻訳なし

疑似対訳コーパスでの学習により出力が流暢になっている[Edunov+2020]

😀 逆翻訳は無駄ではなかった
😩 人手評価とBLEUが相関しない世界になっている…

40

観察2：リランキングの効果が薄い
ID

Setting

EnDe

DeEn

EnJa

JaEn

(a)

ベースライン

42.4

42.0

19.7

21.6

(b)

ベースライン+逆翻訳

42.7

42.5

22.0

23.9

(c)

(b)+ファインチューニング

44.9

42.3

23.1

24.4

(d)

(c) x 4 (アンサンブル)

45.5

42.8

23.9

25.4

(e)

(d)+リランキング

45.7

43.8

24.9

26.2

-

前年度の優勝システム

44.9

42.8

-

-

• リランキングには、倍以上のモデルが必要• つまり、倍以上のお金がかかっている• しかし、BLEUスコアが思ったように向上しない• 例えば 45.5  45.7
• またしても性能ゲインが労力に見合っていない…
42

解けない問題を解こうとしている？
• 原文と候補文からだけでは良い翻訳文を判断できな
いのでは？
• 人間にも「良い翻訳文」はわからない• 判断するだけの情報が足りていない• どんな情報があれば良いか ⇛ 文脈？
和平プ ロ セスに影響を 及ぼし たく はない
和平プ ロ セスに影響を 与えたく あり ま せん。
和平プ ロ セスに影響を 及ぼし て欲し く ない
和平プ ロ セスに影響を 与えたく ないのです。
和平プ ロ セスに影響が出ないよ う にし たい。
和平プ ロ セスに影響を 及ぼし たく あり ま せん
翻訳シ ステ ム

和平プ ロ セスに影響を 与える こ と は望ま ない。
和平プ ロ セスに影響を 与える こ と を 望ま ない。

人間
43

まとめ
• 最先端のNMTシステム構築からわかったこと3つを紹介• ① 最先端のNMTシステムは泥臭い• ② 膨大なリソースが必要• ③ “泥臭い”NMTの先に新しい世界が見えてきている• 日本の組織でも、リソースがあれば世界は取れる！

45

参考文献
•

[Avramidis+2020]: Avramidis, E., Macketanz, V., Lommel, A., & Uszkoreit, H. (2018). Fine-grained evaluation of Quality
Estimation for Machine translation based on a linguistically motivated Test Suite. In Proceedings of the AMTA 2018
Workshop on Translation Quality Estimation and Automatic Post-Editing (pp. 243–248). Association for Machine Translationin the Americas.

•[Vaswani+2017]: Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A., Kaiser, ., & Polosukhin, I. (2017).
Attention Is All You Need. In Advances in Neural Information Processing Systems 31 (NIPS 2017) (pp. 5998–6008).

•[Ott+2018]: Ott, M., Edunov, S., Grangier, D., & Auli, M. (2018). Scaling Neural Machine Translation. In Proceedings of theThird Conference on Machine Translation: Research Papers (pp. 1–9). Association for Computational Linguistics.

•[Xiong+2020]: Ruibin Xiong, Yunchang Yang, Di He, Kai Zheng, Shuxin Zheng, Chen Xing, Huishuai Zhang, Yanyan Lan, Liwei
Wang, & Tie-Yan Liu (2020). On Layer Normalization in the Transformer Architecture. In Proceedings of the 37th
International Conference on Machine Learning, ICML 2020, 13-18 July 2020, Virtual Event (pp. 10524–10533). PMLR.

•[Sennrich+2016]: Sennrich, R., Haddow, B., & Birch, A. (2016). Improving Neural Machine Translation Models with Monolingual
Data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)(pp. 86–96). Association for Computational Linguistics.

•[Edunov+2020]: Edunov, S., Ott, M., Ranzato, M., & Auli, M. (2020). On The Evaluation of Machine Translation Systems
Trained With Back-Translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics(pp. 2836–2846). Association for Computational Linguistics.

•[Bogoychev+2019]: Nikolay Bogoychev, & Rico Sennrich (2019). Domain, Translationese and Noise in Synthetic Data for
Neural Machine Translation CoRR, abs/1911.03362.

•[Freitag+2020]: Freitag, M., Grangier, D., & Caswell, I. (2020). BLEU might be Guilty but References are not Innocent. In
Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) (pp. 61–71).
Association for Computational Linguistics.

46

産業日本語特許文書分科会活動報告
特許明細書の標準化に向けた取り組み～特許文書品質特性モデル～
IRD国際特許事務所
谷川英和
2021/2/26

1

目次
１．背景
２．関連研究３．特許文書品質特性の概要
４．特許文書品質特性を用いた評価
５．評価目的・評価シチュエーション別の重要度
６．各特性の事例
７．特許文書品質の教育用テキスト
８．今後

2

産業日本語研究会 特許文書分科会 メンバー
(敬称略）
氏 名
委員／
主 査
委 員

所 属

谷川 英和

IRD国際特許事務所 所長・弁理士

安彦

元

ミノル国際特許事務所 所長 弁理士

委 員

黒川

恵

阿部・井窪・片山法律事務所 弁理士

委 員

久保田真司

委 員

杉尾 雄一

委 員

的場 成夫

委 員
委 員
事務局
事務局

事務局

大阪工業大学 非常勤講師
弁護士法人内田・鮫島法律事務所 弁護士・弁理士

有限会社 夢屋 代表取締役 弁理士
一般財団法人日本特許情報機構 特許情報研究所
長部 喜幸
調査研究部長
一般財団法人日本特許情報機構 特許情報研究所
久々宇 篤志
研究企画課長株式会社日本システムアプリケーション
荻野 孝野
言語処理グループ 主任研究員
一般財団法人日本特許情報機構 特許情報研究所
塙 金治
研究管理部
三吉 秀夫 株式会社日本システムアプリケーション
3

１．背景
人、立場、シチュエーション等（例えば、出願前の事務所、中間処理時の出願人、侵害訴訟時の競合企業等）によって、特許文書の評価は異なっている

この特許はすばらしい！

可も無し
不可も無しね！

何だ！
この文書は特許文書の品質の標準化が必要
特許に関する活動が加速

4２．関連研究（１）

システム・ソフトウェア製品の標準品質モデル（参考）システム開発文書品質研究会（ASDoQ：Association of System Documentation Quality）：『システム開発文書品質モデルVer.1.0』，2015.05,
URL:http://asdoq.jp/common/fckeditor/editor/filemanager/connectors/php/transfer.php?file=/uid000003_E69687E69BB8E59381E8B3AAE383A2E3
8387E383AB5F3135303531312E706466

２．関連研究（２）ソフトウェアのための標準品質モデル（JIS X 0129-1 （ISO/IEC 9126-1）の品質モデル）（参考）経済産業省 システム及びソフトウェア品質の見える化、確保及び向上のためのガイド ，URL:
https://www.meti.go.jp/policy/it_policy/softseibi/metrics/product_metrics.pdf#search=%27%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%
A7%E3%82%A2+%E5%93%81%E8%B3%AA%27

３．特許文書品質特性の概要（１）３．特許文書品質特性の概要（２）
品質特性
大分類

技
術
文
書
特
性
権
利
文
書
特
性

中分類

技
術
的
特
性
文
章
的
特
性
権
利
範
囲
特
性
ビ
特ジ
性ネ
ス

小分類

品質特性の説明

技術的明瞭性

発明が十分に説明されている度合い。特許法が要求しているサポート要件、実施可能要件を満足している度合い。
論理的である度合い（例えば、クレームと明細書のストーリーとの技術的因果関係が明瞭であること、背景・従来技術・課
題・解決手段・効果等のストーリーの筋が通っている度合い）。
発明の技術的な説明内容が明瞭である度合い。

一義性

特許文書を構成する文章が一義的に捉えられる度合い。

簡潔性

特許文書を構成する各文が簡潔である度合い。

正確性
翻訳容易性

特許文書を構成する各文に誤りがない度合い。

技術開示性

技術的論理性

発明範囲広汎発明展開性

翻訳のし易さの度合い。
発明の本質が抽出されており、無用な限定が無い度合い。
権利範囲の広さの度合い。
発明が十分に展開されている度合い。

強靱性

拒絶、無効になりにくい度合い。

侵害立証容易性侵害の立証が容易である度合い。

自社ビジネス
サポート性

自社製品をカバーしている度合い。

ライバル牽制性

ライバルを牽制できている度合い。

8

４．特許文書品質特性を用いた評価①～ 定性的評価 ～技術的論理性
技術的明瞭性9４．特許文書品質特性を用いた評価②～ 定量的評価 ～技術的論理性
技術的明瞭性10＊格成分数・・・特許の広さ指標。特許請求の範囲の記載において各構成要素につきどれだけ限定がかけられているかを数値化したもの

５．評価目的・評価シチュエーション別の重要度

11

６．各特性の事例

12７．特許文書品質の教育用テキスト（１）目次案
第１章 特許文書品質特性の概要
第２章 特許文書品質特性の詳細
第３章 特許文書品質特性の事例（悪例→良例）（１）電気 （２）情報 （３）化学 （４）機械第４章 特許文書品質特性の利用方法（１）・・・定性評価（チェックリスト）
第５章 特許文書品質特性の利用方法（２）・・・定量評価（パラメータ）

第６章 演習課題（悪例を多く含む仮想明細書に基づく）
第７章 終わりに（付録） 仮想明細書（半導体，ＢＭ，組成物，ライト）

13７．特許文書品質の教育用テキスト（２）４つの技術分野ごと、１３の特性ごとに、特性の理解を促す「悪例・良例」の事例を作成

14

７．特許文書品質の教育用テキスト（３）４つの技術分野ごとのテキストの作成も進める

15

７．特許文書品質の教育用テキスト（４）１３の特性ごとに、特性の理解を促す「悪例・良例」の事例を掲載

16

７．特許文書品質の教育用テキスト（５）特許文書内での各事例の位置を明示

17

８．今後
（１）特許文書品質特性モデルの学習のためのテキスト完成（２）特許文書品質特性モデルの普及に向けた方策の検討・実施
・弁理士会の新人研修での上記テキストの使用の打診
・日本知的財産協会等への講義・研修の打診

・パテント、日本知財学会、知財管理、特技懇などへの投稿
・解説書の無料配布（冊子，PDF）

18

2021.02.19. 夕方ｰVersion

COVID-19に絡む特許情報の分析～ COVID-19(敵)を知り、己を守る～孫氏の兵法名誉あるプレゼンの機会に感謝

第６回特許情報シンポジュム
２０２１．０２．２６．PM
桐山 勉 （IP リサーチ フェロー）（日本特許情報機構 特許情報研究所）
JapioYEARBOOK2020記事をベースにしてhttps://www.japio.or.jp/00yearbook/files/2020book/20_2_04.pdf

お断り：このプレゼン発表は、桐山の個人的な考え方であり、私が所属するいかなる組織の了解を取ったものではない。

自分事＆利他

1目次
1. はじめに
2. 新型コロナ感染症の関連情報とは
3. 発症を第５日目に見逃さずに自覚してPCR検査を

第６日目に

受ける

4. 免疫の不思議な力を学ぶ
5. 治療薬を学ぶ
6. ワクチンの早期接種を願う
7. コロナに関して最も言いたいこと（１）（２）

8. 参考：特許調査の極意らしきモノ
9. 参考：私が利用する機械翻訳システム
10. おわりに（謝辞）2１．はじめに• 2020年は新型コロナに翻弄された。 2021年は上手に対応する年にしたい。
• COVID-19全論文(20万件)のAI読解。人間は万巻の書を読めない。
• Open Science ＆ Citizen Science時代の情報収集。
• 正しく必要な情報の選択を基に、自分の頭で科学的に論理的に考え、実践する気構え。

• 完全主義を求めない。８５点の有用活用。80:20の法則。
• 機械翻訳の活用により、日本語で学びのスピード・アップ。
• With/Afterコロナ時代の新常態に対応を！
• （参考）収集する情報の質を１０倍に高める。

3

収集する情報の質を１０倍に高める。（私の実践法）参考

1. 情報源を選ぶ。
• 日経新聞、NHKスペシャル、TVニュース、専門家、特設サイト（WHO、CDC、他）、本。

2. 師を選ぶ（情報の洪水に溺れないための浮袋）• ノーベル賞受賞者(山中伸弥、本庶祐）、ウイルス
免疫学専門家（河岡義裕、宮坂昌之）

3. 録画し人間は静止画像を１秒間に３－４枚しか認知できない、Snapshotで見直す。

• 自分のメモに変換する。→One Sheetに描き直す。

4. 英語／日本語でWeb検索する。芋づる方式。
5. 非特許情報を特許情報で確認・検証する。
１０の５乗倍（１０万倍）に高める可能性。
4

２．新型コロナ感染症の関連情報とは• 特設サイトを選ぶ。専門家を選ぶ。NHKスペ
シャルから学ぶ。
• ①新型コロナの特性とは、 ②新型コロナの治療薬とは、③新型コロナの免疫とは、④PCR検査とは、⑤ワクチンとは、⑥善玉抗体とは、⑦
感染力は、etc。
• 特性：罹患してから第５日目に症状を自覚できる。無症状感染力。重症化と軽症の分岐点は第１５日目。基礎疾患者は、自覚症状が出てから３日以内に初期対応が必須である。（私の自己防衛策）（理由：獲得免疫の作用機能の低下） 5

図１

COVD-19（敵）の正体を学び、One-Sheetに描く（メモ魔の習慣･趣味）

6
NHKスぺシャルー全論文をAI読解

新型コロナ感染症の特性とは• 無症状でも他人に感染させる。（無症状感染力）• 発症が自覚できるのは、罹患後の第５日目である。
• 基礎疾患者には、インターフェロンの働きを低下させ、獲得免疫の活動を約十分の一にする。

• 発症して（第５日目）から、５日以内に急激に悪化する人が多い。（ハッピー・ハイポキシア症＝低酸素血症）
自宅待機中に• 罹患して第１５日目が、軽症と重症の分岐点である。
• 重症化した人は、サイトカインストーム（免疫暴走）に陥っている。
• 感染者の約８割は軽症ですみ、約２割が重症化する可能性があり、約数％の人が重篤化する傾向がある。(→人間の弱点)• まだ、特効薬が見つかっていない。
7

新型コロナウイルスの感染力

宮坂昌之名誉教授の言葉「このウイルスは１０時間
で1000倍に増殖する。」（震えるような恐怖）

8表１ COVID-19に関する必要な情報
No12

必要な情報法
各国の感染者数の推移分析
各国の対策状況

備考
人口率に対する
WHO,CEPI,Gavi

3
4
5
6
7

既存薬の治験結果
抗原・抗体・PCR検査キット
コンタクト・トレーシング
IT技術を応用したBigデータ
健康認証の政策（QRコード）

免疫の仕組み迅速・高精度
感染力と時期
端末移動状態
ドローン観察(中国)

8
9
10
11
12
13
14
15

ワクチン薬の開発
血清・血漿の分別と治療
人工呼吸器・人工心肺器
専門知識の共有化
重症患者の搬送・治療
軍隊の医薬関連部隊の動き
専門家会議とブレーン
慈善団体の支援ｽｰﾊﾟｰ抗体者
DB=CORD-19 全論文AI解析

関連Report
9

３．罹患を第５日目に見逃さずに、PCR検査を受ける

私は、毎朝、検温、血中酸素濃度、匂い・味の感覚をチェックする。

和歌山県モデル：３日前まで濃厚接触者追跡、PCR検査を実施

自覚症状が出る前に、他人を感染させる特性：重要な知見。要注意。
基礎疾患者の獲得免疫の働きを１０分の一以下に低下させる特性：重要な知見。
長野県松本市モデル：信州大学付属病院（重症者受入れ）＋中核病院（軽症者受入れ）10

４．免疫の不思議な力を探る

備考：NHKスペシャル(7/4)「タモリｘ山中ー人間vsウイルス」完全映像化技術より学ぶ11出典：宮坂昌之名誉教授資料から転載。
https://news.yahoo.co.jp/articles/c9c9ca76dc0b5fc50e9f2fb642935a9af83bffa0「サイエンスアゴラ2020」のシンポジウム「研究者と語ろう～新型コロナウイルス（COVID-19）免疫学的視点×ウイルス
学的視点～」（2020年11月21日開催）から―

12

５．治療薬を学ぶ 追記：５ｰALA(8量体+Fe) 長崎大学に注目

13

６．ワクチンの早期接種を願う
３
４
２

５
６
１

中国の人民解放軍の軍医・研究者（Chen Wei=陈薇）少将の特許に注目。

14

７．最も伝えたいこと（１）私が学んだこと
1. COVID-19の早期出願が急増。（次頁）

2. 人工抗体薬を緊急使用承認を日本にも。（桐山願望）
3. 人工抗体薬の特許群（後述）4. 1918年びスペイン風邪とCOVID-19の比較
5. 感染症から守る生活習慣：①Stay Home、②手洗い、うがい、洗面、マスク着用、③検温、血中酸素濃度測定、④免疫力の維持（適度な運動、散歩vs食事vs睡眠）、⑤正しい情報の選択入手と、自分の頭で論理的に考える習慣。
6. 見直されるべき情報：①222nmの紫外線、②湿度(加湿器)、③交差免疫、④ワクチン接種、⑤5-ALA
15

COVID-19の早期公開が急増。熾烈なワクチン開発競争。
CEPI,Gaviの活動がなければ、国家間の格差はあり。
米国のWARP SPEEDプロジェクト。先進国のワクチン予約手配。

図6-1 感染症ワクチンに関する特許分
析事例（2020年5月）

図6-2 2020年出願の早期公開特許群(2020年
9月5日検索、緑色・中国勢、赤色・米国）

国家レベルの戦略を感じる16

7-2.人工抗体薬の緊急使用承認を日本にも。(桐山希望）• 前米Trump大統領が軍医から受けたから治療。
Regeneron Pharmaceutical社の人工抗体薬。
• 米FDA（食品安全管理局）は、11月にEli Lilly社とRegeneron Pharmaceutical社の人工抗体薬を緊急使用承認を出した。
• 新型コロナ感染者の回復者のスーパー抗体者の血清血漿が欧州で重傷者を救った事例がある。
• 日本の免疫学・ウイルス学の専門家達（宮坂昌之名誉教授、河岡義裕教授ら）も中和抗体の作用を示唆している。
17

7-3. 人工抗体薬の特許群①米 R社と
英K社との特許係争②米 R社と
米Kelle社との特許係争
US10221221

③人工抗体
薬の二大製
薬会社は
Eli LillyとRegeneronである。
EP2264163B
EP1360287B
WO2002066630A

米Regeneron社
Murphy特許

英Kymab社
Bradley特許

US10064398
US9505827
US9447177
US9434782

18

7-4. 1918年のスペイン風邪とCOVID-19の比較

19

7-5．感染症から守る生活習慣
1. Stay Home （不要不急の外出自粛、在宅勤務、３密X）（「君子危うきに近寄らず」がベストな正攻法と考える。）

2.
3.
4.
5.

手洗い、うがい、洗面、マスク着用
検温、血中酸素濃度測定、免疫力の維持（適度な運動(筋肉･骨) 、散歩vs食事vs睡眠、）
正しい情報の選択入手と、自分の頭で科学的に論理的に考える習慣。

新型コロナウイルスは脂質の球状被膜に覆われているので、石鹸の手洗いで、分解・殺菌できる。
（世界は教科書でできている。）

20

7ｰ6．見直されるべき情報(私案)1. 222nmの紫外線（殺菌）、デビッド・ブレナー教授。
2. 湿度（高い方が良い。加湿器。）
3. 交差免疫、
4. ワクチン接種、
5. 善玉抗体薬、
6. Brain fog (脳の霧)7. 5-アミノレブリン酸（5-ALA）
正しい情報の選択入手と、自分の頭で科学的に論理的に考える習慣。
桐山の場合には、非特許情報を特許情報で再確認と検証を行う。

個人的な人生方程式（参考）Enhanced, Augmented & Empowered with my Experiences through (AI+DX+NMT+IP
Information) 自分の実践能力を強化する方法。

21

7. 最も伝えたいこと（２）
潮流と智慧と実践法

特許情報の分析の木を描く

私のニックネーム：Cubic from Japan,
図解好き(ダヴィンチ）
22

8. 参考：特許調査の極意らしきモノ• 著名人の本・記事から学ぶ：中村栄、和田玲子、酒井美里、野崎篤志、桐山勉、他（例えば、INFOSTA月刊誌ー７月特集号）• 有料セミナー・研究会から学ぶ• ど素人の分野の特許調査は代行検索を引き受けてはいけない。
（検索原則の禁止行為）• 先ずは非特許情報をかなりの程度学んでから、特許調査を行う。
• 調査する対象技術の特許分類を理解する• 暗黙の検索禁止行為の５か条、やってはいけない検索式作成法の５か条から学ぶ。

• AI時代のインフォプロ像：C-Suiteの心に突き刺さるストーリー。
• 裏側で、AI技術が組み込まれた有料検索システムを利用する。
(cf. 人生方程式）23

想定Q&A• 検索原則の禁止行為とは、• ど素人の分野では代行の特許調査を引き受けてはいけない。

• 暗黙の検索禁止行為の５か条とは、• ①コストパフォーマンス無視、②再現率と適合率を無意識、③三段でなく一段検索のみ、④技術内容の未確認、⑤特許分
類を学ばず、• やってはいけない検索式作成法 の５か条とは、①異なる概念要素の積と和の混合、②不適切な二重絞り込み、③上位概念と下位概念の無意識、④特許分類の階層構造の無視、⑤ごちゃまぜ検索
右の本の第２７章ー「賢い検索式とはどんなものか」-P58 –P59に掲載。
24

想定Q&AINFOSTA-2020年ｰ７月号• 「AI時代のインフォプロ」-2020年７月号特集• 情報調査・分析およびインフォプロの今後• 「AI系調査ツールとの付き合い方」、酒井美里• IP軍師たるインフォプロを目指す、桐山勉• ＡＩ時代のＩＰランドスケープを追行する知財
アナリスト、和田玲子、中村栄、野崎篤志• 解析シナリオ構築力のレベルアップを目指して

想定Q&A

JapioYERBOOK2020• 新たな価値提供分野におけるIPランドスケープの貢献、中村栄• IPL de Connect,
25

ハード面のスキル、ソフト面のスキル。

新型コロナウイルスの事例• コロナウイルスの本を３冊読みこむ• ３か月以上、日経新聞記事から切り抜き記事を蓄積し、その分野の知識・常識とある程度の専門用語を理解する。
• 非特許情報を特許情報で確認・検証する。この逆の「非特許を学ばずに特許情報を検索してはいけない」。禁止行為である。難しく言うと、非特許情報と特許情報の融合（Integration)を図る。
• 新型コロナウイルス関係の分野を細分化して、非特許情報とその関連特許情報を蓄積する。一定期間の孵化（勉強）期間の後に、特許分析に入る。
• 何故、新型コロナのことを調べ、特許分析をするか。自分事として、自分を守るのが目的である。他人事みたいな調査をしない。（裏と表で考える）• 正しい必要情報の集め方、学び方を理解する。

26

9. (参考)私が利用する機械翻訳システム
限られたオリジナル特許群に対して、色々な機械翻訳エンジンで比較検討をする。（大量の特許群ではできない）• Japio-GPG/FXーAI翻訳サービス• みんなの自動翻訳＠TexTra• Google翻訳27

私の機械翻訳の評価テンプレート
機械翻訳された日本語文ベースで、差分比較を検討する。
英語文
中国語文

人手翻訳

Japio-GPG/FX
AI翻訳サービス

みんなの自動翻訳 Google翻訳
＠TexTra

オリジナル
①

正解案
A1

文章群
B1

文章群
C1

文章群
D1

評価

基準
評価源

差分比較、類似
度比較、主観的
疑似数値法比較、等。
B1/A1

差分比較、類似度
比較、主観的疑似数値法比較、等。
C1/A1

差分比較、類似
度比較、主観的
疑似数値法比較、
等。
D1/A1

オリジナル
②

正解案
A2

文章群
B2

文章群
C2

文章群
D2

評価

基準
評価源

ｵﾘｼﾞﾅﾙ①と
同様に評価
B2/A2

ｵﾘｼﾞﾅﾙ①と
同様に評価
C2/A2

ｵﾘｼﾞﾅﾙ①と
同様に評価
D2/A2

事例１：米バイデン大統領の就任演説の文章群の中で、桐山が興味を持った
段落英文とその日本語訳文章群で比較評価を行う。

28

私の機械翻訳の評価テンプレート
英語なら少しは理解できるので、英語ベースで差分比較する方法を選択する。
中国文Shareresearch Derwent
英語文訳
英語文

Google翻訳

CNIP
英語版文

文章群
C1

文章群
D1

オリジナル 正解案
①
A1

文章群
B1

評価

差分比較、類似 差分比較、類似 差分比較、類似度
度比較、主観的 度比較、主観的 比較、主観的疑似疑似数値法比較、疑似数値法比較、 数値法比較、等。
等。B1/A1
等。C1/A1
D1/A1

基準
評価源

オリジナル 正解案
②
A2

文章群
B2

評価

ｵﾘｼﾞﾅﾙ①同様に ｵﾘｼﾞﾅﾙ①同様に
B2/A2
C2/A2

基準
評価源

文章群
C2

文章群
D2
ｵﾘｼﾞﾅﾙ①同様に
D2/A2

事例２：中国のｍRNAワクチンの特許CN111218459の英訳比較にてチェックする。
つまり、英語訳文が全く同一になるとは限らない。
分母のAniをDerwent英語訳にするか、Shareresearch英訳分にするか、選択する。
事例２：中国人民解放军军事科学院军事医学研究院の陈薇（Chen Wei)少将が発明29者であるCN111218459Bに桐山は注目している。

１０．おわりに• 謝辞• Clarivate Analytics様（Derwent Innovation）• 日立製作所様（Shareresearch)• アイ・ピー・ファイン様（THE調査力AI）• 日本特許情報機構様（Japio-GPG/FX-特許AI機械翻訳）• アジア特許情報研究会皆様• INFOSTA-専門部会ーパテントドキュメンテーション部会皆様

お断り：このプレゼン発表は、桐山の個人的な考え方であり、私が所属するいかなる組織の了解を取ったものではない。

ご清聴を有難うございました。（謝謝）30自動翻訳技術の概要：
なにができるか／できるようになってきているか
情報通信研究機構（ＮＩＣＴ）
内山将夫
特許情報シンポジウム
2021年2月26日
1

本講演の目的• 自動翻訳技術の概要をお伝えする• 情報通信研究機構の取り組みの一部をご紹介する

2自動翻訳の歴史• 計算機が発明されてすぐに自動翻訳の研究が開始(1950年代)• 自動翻訳の考え自体は 1949 年にWarren Weaverが提案（cf.
Wikipedia)• 半世紀以上の研究開発を経て、自動翻訳が一般に普及• みんなの自動翻訳@TexTra等のＷｅｂ翻訳サービス• VoiceTra等のスマフォアプリ• ポケトーク等の音声翻訳専用機

3自動翻訳技術のタイプ• 規則ベース自動翻訳
文法規則や辞書を人間が記述
上記に基づき自動翻訳を実施• コーパスベース自動翻訳（ＭＴ）
対訳コーパスから自動翻訳エンジンを自動学習
任意言語対に対して適用可能
ニューラル機械翻訳（ＮＭＴ）はこちら

4コーパスベースＭＴの構成要素
コーパス• 自動翻訳アリゴリズム
評価
１９８０年代からの発展⇒ＮＭＴ• 学習データとしての対訳コーパス
異なる言語で同一意味の文章の組からなるデータベース• ＭＴの評価手法
人間がどのように感じるかの観点からのＭＴの良さ• ＭＴの使い方
ＭＴの普及により、ＭＴの適切な使い方の周知が必要

アルゴ
リズム

使い方

5

対訳コーパスの一例• Italy have defeated Portugal 31-5 in Pool C of the 2007 Rugby World Cup at Parc des Princes, Paris,
France.
• Italia berhasil mengalahkan Portugal 31-5 di grup C dalam Piala Dunia Rugby 2007 di Parc desPrinces, Paris, Perancis.
• フランスのパリ、パルク・デ・プランスで行われた2007年ラグビーワールドカップのプー
ルCで、イタリアは31対5でポルトガルを下した。
• អុ៊ីតាល៊ីបានឈ្នះលលើព័រទុយហ្គាល់ 31-5 ក្នុងប៉ូលCននព៊ីធ៊ីប្បក្ួតពានរង្វាន់ពិភពលោក្ននក្៊ីឡាបាល់ឱបឆ្នាំ2007ដែលប្បប្ពឹតលត ៅបាសលេសប្ប៊ីន ប្ក្ុងបារីស បារាំង។
• Itali telah mengalahkan Portugal 31-5 dalam Pool C pada Piala Dunia Ragbi 2007 di Parc des Princes,
Paris, Perancis.
• ပြင်သစ်နငို င် ံ ြါရီမ ြို့ ြါဒှ ် ရြ်ဘီ က ဘ္ ါ့ ဖလဘား တွင ် အီတလီ သည်ါ့ က်စ် ြရင်စါ့ က် ၌ ၂၀၀၇ခိုနစ
ပြေါ်တဂူ ီ ကို ၃၁-၅ ဂားို ပဖင်ါ့ ပရကူားကန် စီ တွင ် ရံားန သ်ါ့ ဘွ ားြါသည် ။• Ý đã đánh bại Bồ Đào Nha với tỉ số 31-5 ở Bảng C Giải vô địch Rugby thế giới 2007 tại Parc desPrinces, Pari, Pháp.
• อิตาลีได้ เอาชนะโปรตุเกสด้ วยคะแนน31ต่อ5 ในกลุม่ c ของการแข่งขันรักบี ้เวิลด์คพั ปี 2007 ที่สนามปาร์ กเดแพร็งส์ ที่กรุงปารี ส ประเทศฝรั่งเศส• Natalo ng Italya ang Portugal sa puntos na 31-5 sa Grupong C noong 2007 sa Pandaigdigang laro ng
Ragbi sa Parc des Princes, Paris, France.
Asian Language Treebank http://www2.nict.go.jp/astrec-att/member/mutiyama/ALT/index.html

6コーパスベースＭＴアルゴリズムの進展
2020年
EBMTがNMTで実装される
限定的な文脈利用がNMTで実用化

翻訳精度

Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion
Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. (2017)“Attention Is All You Need”. https://arxiv.org/abs/1706.03762 第２世代NMT

Sutskever, Ilya; Vinyals, Oriol; Le, Quoc Viet (2014).
"Sequence to sequence learning with neural networks". NIPS.

SMT

EBMT

第１世代NMT

P. Brown; John Cocke, S. Della Pietra, V. Della Pietra, Frederick
Jelinek, Robert L. Mercer, P. Roossin (1988). "A statistical
approach to language translation". COLING'88.

Makoto Nagao (1984). "A framework of a mechanical translation between
Japanese and English by analogy principle". In A. Elithorn and R. Banerji.
Artificial and Human Intelligence. Elsevier Science Publishers

年代7みんなの自動翻訳＠TexTra
https://mt-auto-minhon-mlt.ucri.jgn-x.jp/

文脈翻訳の事例

9専門的文章の翻訳例

10

NMTにより新しくなった点
ニューラルネット
ワークによる高精度アルゴリズム
コーパス

アルゴ
リズム

評価

使い方

高精度自動翻訳の社会的普及
11

NMTでも以前と同じ点
大規模対訳
コーパスが必要

人間による評価
が必要

コーパス

アルゴ
リズム

評価

使い方

12

ＮＭＴアルゴリズムの概要• 基本訓練• アダプテーション• EBMT
コーパス

アルゴ
リズム

評価

使い方

ニューラルネット
ワークによる高精度アルゴリズム13

NMTの基本構造（第１・２世代ほぼ共通）
エンコーダー

デコーダー

•
•
•
•

系列を入力して、系列を出力
エンコーダー：入力文の受付
デコーダー：１単語ずつ出力
構造は世代間・モデル間で異なる• 第１世代 RNN• 第２世代 Transformer

Thang Luong; Hieu Pham; Christopher D. Manning. (2015)
Effective Approaches to Attention-based Neural Machine
14
Translation. EMNLP

第1世代と第2世代の自動評価尺度BLEUの比較
汎用日英 汎用英日 特許日英 特許英日
2017
22.1
24.2
40.7
41.7第1世代
2018
21.2
24.5
40.0
41.6第1世代
2019
20.8
23.2
37.7
40.1第1世代
2020
27.6
31.5
45.6
46.8第2世代
2021
28.1
31.0
47.3
46.5第2世代
汎用・特許ともに、第1世代(RNN)から第2世代(Transformer)にかけて、
大きくBLEU値が向上
15

訓練・アダプテーション・EBMT【訓練】１文ずつＮＭＴモデルのパラメタを調整する• 大雑把には：• 入力文を翻訳• 参照訳文と比較• 翻訳文と参照訳文の違いに応じてＮＭＴのパラメタを更新• 以上を大規模に繰り返す（数億回になることもある）【アダプテーション】（fine tuning とも言います）• 訓練済みＮＭＴモデルに、上記訓練を特定分野データで追加• 訓練済みモデルをベースにするので、比較的少量データで高精度【EBMT】（NICT開発・詳細未発表）• 入力文と類似した対訳文をデータベースから検索• 十分に類似した文があるときには、それを参考に自動翻訳• 類似文がない場合には、ベースのNMTで自動翻訳

16アダプテーションとEBMTの特徴

みんなの自動翻訳からお試しできます17アダプテーションの有効性の事例
自動車法規文の自動翻訳をニューラル技術で高精度化～トヨタとの共同研究を通じ、英日・中日翻訳の実用度が向上～• 自動車業界からトヨタが翻訳バンクに協力、翻訳データを提供• 自動車法規を対象とした翻訳をニューラル英日翻訳システムで24％実用度向上
法規原文

人による翻訳

ニューラル翻訳This Australian Design Rule prescribes
requirements for the number andmode of installation of lighting andlight signalling devices on motor
vehicle other than L-group vehicles.

本オーストラリア設計規則
はLグループ車両以外の自動車への灯火および灯火信号装置の数と取り付け方法に関する要件を規定する。

本オーストラリア設計規則は、
Lグループ車両以外の自動車への灯火および灯火信号装置の数および取り付け方法に関する要件を規定する。

２０１９年４月２３日

https://www.nict.go.jp/press/2019/04/23-1.html

18アダプテーションで専門用語に適応
原文

第１世代汎用ＮＭＴ

第２世代汎用ＮＭＴ

第１世代金融ＮＭＴ

第２世代金融ＮＭＴ

本取引は、相互売買による取引実績が豊富な本投資法人ならではの取引であると考えており、本投資法人は今後も戦略的かつ継続的に資産入替を実施していく方針です。

This transaction isconsidered to be atransaction unique tothis investment
corporation, which
has a rich record oftransactions throughmutual trade. This
investment
corporation willcontinue to change
assets in a strategicand ongoing manner.

We believe that thistransaction is uniqueto the Investment
Corporation, which
has a rich track recordof transactions
through mutualtransactions. The
Investment
Corporation willcontinue to
implement thistransaction
strategically andcontinuously.

The Transaction isconsidered as atransaction that is
unique to theInvestment
Corporation, which
has a wealth oftransaction
experience throughmutual transaction.
The Investment
Corporation willcontinue to
implement strategic
and continuous asset
replacement in the
future.

The Investment
Corporation believes
that the Transaction is
unique to theInvestment
Corporation, which
has a wealth oftransaction records
through mutualtransactions.
Therefore, theInvestment
Corporation willcontinue to
implement strategic
and continuous asset
replacement.

AAMT 2019, Tokyo: パネルディスカッション「機械翻訳もある総合的な翻訳サービスの模索～金融・IR分野を例に～」の内山のスライドの１枚金融分野でのアダプテーション・EBMT
汎用訓練と重複あり1000
訓練と重複
無し514
訓練と重複
のみ416文ADAPT

ADAPT+
EBMT

EBMT

31.0

38.1

54.5

55.2

29.3

35.2

47.7

49.1

34.4

44.1

68.3

67.5

適時開示文書は、異なる文書であっても重複する文が多いので、EBMTの効果が著しく高い
20

ＭＴの評価の概要• ＭＴの評価はＭＴを改善する原動力• 誤訳報告⇒誤訳の改善• 適切な評価⇒適切なＭＴ

人間による評価
が必要

コーパス

アルゴ
リズム

評価

使い方

21

自動評価
• 簡便
• ＭＴ訳と参照訳を比較• 評価値を自動計算• 開発にはとても役に立つ！
• システム改修後、自動評価値に大きな変化がないことを確認• 大きな数値差（ＢＬＥＵなら５程度）があれば品質差もほぼある

22

自動評価尺度ＢＬＥＵ• ＭＴ訳と参照訳の類似度の尺度• １０００文～５０００文程度の文章で計算• 一般的にＢＬＥＵ３０～４０以上であれば高精度
Papineni, Kishore and Roukos, Salim and Ward, Todd and Zhu, Wei-Jing. (2002)
BLEU: a Method for Automatic Evaluation of Machine Translation. ACL

23

みんなの自動翻訳でのＢＬＥＵ計算法• 自動翻訳＞自動翻訳評価＞「＋新規登録」

24

自動評価尺度BLEUでの比較
第１世代
汎用 ２５．１
金融 ３４．６

第２世代
２９．０
３８．４

第１世代＜＜第２世代
汎用 ＜＜ 金融
AAMT 2019, Tokyo: パネルディスカッション「機械翻訳もある総合的な翻訳サービスの模索～金融・IR分野を例に～」の内山のスライドの１枚より引用
日英翻訳の例について、みんなの自動翻訳でＢＬＥＵを計算
25

人間評価
• 原文とＭＴ訳を人間が比較• 人間が誤訳かを分析• ＭＴの研究開発に必須• 第２世代ＮＭＴでは、おおむね正しい翻訳ができるようになり、以前は見逃されていた誤訳が目立ち始めた• 「ＮＩＣＴ」⇒「ＮＩ ＣＴ」（なぜか空白が挿入）• ピンポイントな誤訳を検出する自動評価方法は知られていない• ピンポイントな誤訳は、ピンポイントなルールなどで改善

26

NMTでの対訳コーパスの重要性
大規模対訳
コーパスが必要
コーパス

アルゴ
リズム

評価

使い方

27

対訳コーパスの一例（再掲）• Italy have defeated Portugal 31-5 in Pool C of the 2007 Rugby World Cup at Parc des Princes, Paris,
France.
• Italia berhasil mengalahkan Portugal 31-5 di grup C dalam Piala Dunia Rugby 2007 di Parc desPrinces, Paris, Perancis.
• フランスのパリ、パルク・デ・プランスで行われた2007年ラグビーワールドカップのプー
ルCで、イタリアは31対5でポルトガルを下した。
• អុ៊ីតាល៊ីបានឈ្នះលលើព័រទុយហ្គាល់ 31-5 ក្នុងប៉ូលCននព៊ីធ៊ីប្បក្ួតពានរង្វាន់ពិភពលោក្ននក្៊ីឡាបាល់ឱបឆ្នាំ2007ដែលប្បប្ពឹតលត ៅបាសលេសប្ប៊ីន ប្ក្ុងបារីស បារាំង។
• Itali telah mengalahkan Portugal 31-5 dalam Pool C pada Piala Dunia Ragbi 2007 di Parc des Princes,
Paris, Perancis.
• ပြင်သစ်နငို င် ံ ြါရီမ ြို့ ြါဒှ ် ရြ်ဘီ က ဘ္ ါ့ ဖလဘား တွင ် အီတလီ သည်ါ့ က်စ် ြရင်စါ့ က် ၌ ၂၀၀၇ခိုနစ
ပြေါ်တဂူ ီ ကို ၃၁-၅ ဂားို ပဖင်ါ့ ပရကူားကန် စီ တွင ် ရံားန သ်ါ့ ဘွ ားြါသည် ။• Ý đã đánh bại Bồ Đào Nha với tỉ số 31-5 ở Bảng C Giải vô địch Rugby thế giới 2007 tại Parc desPrinces, Pari, Pháp.
• อิตาลีได้ เอาชนะโปรตุเกสด้ วยคะแนน31ต่อ5 ในกลุม่ c ของการแข่งขันรักบี ้เวิลด์คพั ปี 2007 ที่สนามปาร์ กเดแพร็งส์ ที่กรุงปารี ส ประเทศฝรั่งเศส• Natalo ng Italya ang Portugal sa puntos na 31-5 sa Grupong C noong 2007 sa Pandaigdigang laro ng
28
Ragbi sa Parc des Princes, Paris, France.

大規模対訳コーパスでＮＭＴの性能向上
NMT

翻訳精度

使える
１００万文

コーパスサイズ29

高精度ＮＭＴには対訳データが重要

デ
｜
タ
量

分
野

最高精度化に必要量
金融や法規はデータの拡充
が必要
特許

金融

製薬

法規

他
30

分野にマッチした対訳が重要
特許対訳は普通の文には不向き
This is the desk.
特許対訳

特許NMT

これは前記机である。

???
31

汎用対訳コーパスが汎用ＮＭＴには必要
N府
M都

L県

Y社
X社
Z社

B社

対訳コーパスは散らばっている

A社

金融

自動車

観光

汎用 NMT

それを集めるのがチャレンジ
32

翻訳バンクで高品質対訳データ
NICTの自動翻訳技術の使用ライセンス料の算定の際に、提供が見込まれる翻訳データを勘案して負担を軽減する仕組みを導入
L県

メリット➀
質の向上
自動翻訳の
多分野対応化
高精度化

M都

Q社

R社

B社
A社

N府

翻訳データ

翻訳データ

翻訳データ

翻訳データ

通信

交通

Z社

観光

行政
様々な分野の翻訳データを集積

メリット➁
低コスト化
自動翻訳技術の使用料負担の軽減
使用ライセンス料算定時に提供翻訳データを考慮

翻訳バンク
33

高精度MT = 汎用NMT+ アダプテーション +EBMT+カスタマイズ
個別サービス

高精度 MT
カスタマイズ= 辞書登録＋
前処理・後処理

アダプテーション＋EBMT
共通基盤
ＮＭＴ

汎用対訳コーパス

分野特化＋翻訳メモリ特化
ＮＭＴ
大規模汎用コーパスによりベースの精度を確保することが重要
34

40

45.75

42.25

37.86

48.96

50

44.79

60

54.12

翻訳精度BLEUの2段階向上

30
20
10
0
EJ

JE
BASE

ADD

ADAPT

35

対訳は２度使う
翻訳精度
業界・各社
アダプテーション＋EBMT→ご提供者のみ

ＮＭＴ
精度向上

ビジネスチャンス
拡大

ＮＩＣＴ汎用・特許ＮＭＴ・その他NMT→一般に技術移転（商用リリース）
時間軸36

翻訳バンクへのご協力方法

37

NMTの安全な使い方

コーパス

アルゴ
リズム

評価

使い方

高精度自動翻訳の社会的普及

38実用化の一方、誤訳の影響の拡大可能性

自動翻訳の特性を理解した
適切な使い方が必要

39

ＭＴの安全な使い方
前提：自動翻訳においては、自動翻訳結果の訳文の正確性は保証されません。

どのようにＭＴを使うかが重要＊ＭＴサービスを利用するときには、その利用規約を参照してください。
40

自分がＭＴを使う場合• 自動翻訳結果に間違いが含まれる可能性を理解する• 理解したうえで、利用する• 英語の特許等を日本語で読む• 日本語のメールを英語に自動翻訳して編集する• 両言語がわかる人がＭＴを使えば、非常に便利で安全な道具

41

ＭＴの出力を他人が使う場合• ＭＴの出力を誰か（企業・ボランティア等）が修正する場合• 修正する企業等を信頼して利用する• ＭＴの出力をそのまま利用する場合• 何とかして翻訳を正確にしたい• 主語・述語が明瞭な文章を入力する。
• 翻訳結果を再度日本語に翻訳して、意味が一致するかを確かめる• 複数の自動翻訳エンジンの翻訳結果が一致するかを確かめる• 日本語入力を言い換えた日本語入力について上記を実施する• 入力文とＭＴ訳文の双方を利用者に提示する。
• ＭＴの出力のため、間違いが含まれる可能性があることを知らせる。
42

まとめ
第２世代ＮＭＴ＋アダプテーション＋EBMT

翻訳バンクにご協力をお願いします！

適切な評価⇒適切なＭＴ

コーパス

アルゴ
リズム

評価

使い方

便利だが
使い方に注意が必要
43