【AAMT/Japio特許翻訳研究会活動報告】

特許機械翻訳の課題解決に向けた
機械翻訳技術解説
須藤 克仁
AAMT/Japio特許翻訳研究会 副委員⻑
（奈良先端科学技術⼤学院⼤学）

2

はじめに• 本発表は研究会メンバーによる下記解説論⽂を紹介するものです• 共著者の皆様をはじめ、当研究会関係者に御礼申し上げます今村賢治、越前⾕博、江原暉将、後藤功雄、須藤克仁、
園尾聡、綱川隆司、中澤敏明、⼆宮崇、王向莉「特許機械翻訳の課題解決に向けた機械翻訳技術解説」
⾃然⾔語処理 29巻 3号 pp. 925-985 (2022)
https://doi.org/10.5715/jnlp.29.925 （オープンアクセス）© The association for Natural Language Processing※ 当該論⽂はクリエイティブ・コモンズ 表⽰ 4.0 国際 (CC BY 4.0) で公開されています。
本発表に含まれる論⽂内容の複製はこのライセンスに基づくものです。
第7回特許情報シンポジウム (2023-02-20)

発表の構成（≒論⽂の構成）
1. はじめに：解説論⽂の背景
2. 訳抜け・過剰訳への対策
3. ⽤語訳の統⼀
4. ⻑⽂対策
5. 低リソース⾔語対策
6. 評価
7. 翻訳の⾼速化・省メモリ化
8. おわりに：まとめ
第7回特許情報シンポジウム (2023-02-20)

34

1. はじめに〜本解説論⽂（技術調査）の背景

第7回特許情報シンポジウム (2023-02-20)

特許機械翻訳研究の動向• 特許領域における機械翻訳の積極活⽤• 知財庁 (JPO, WIPO, USPTO, EPO, …)• 各種機械翻訳サービスと⺠間での活⽤• 特許機械翻訳に関する学術研究• 2008-2013: NTCIR PATMT/PatentMT• ⽇本国内の統計的機械翻訳研究における中⼼的な役割を果たす• 2016-: WAT – JPO Patent Corpus• ニューラル機械翻訳への移⾏期に活⽤される• 以後は⼀般分野の対訳コーパスが充実し特許データの利⽤は減少• 本解説論⽂では特許機械翻訳の諸課題の現状と今後を議論
第7回特許情報シンポジウム (2023-02-20)

5

6

2. 訳抜け・過剰訳への対策
第7回特許情報シンポジウム (2023-02-20)

訳抜け・過剰訳への様々な対策• ネットワーク内で⼊⼒情報の参照度合いを管理• 逆翻訳等で訳抜けを予測する仕組みの導⼊• 語彙表現の⼯夫• 未知語や低頻度語が訳抜け・過剰訳の原因となることが多いため• 出⼒⻑制御のモデル化• 強化学習による訳抜け・過剰訳の抑制• 繰り返しの抑制機構• 訓練データのクリーニングとノイズ対策
第7回特許情報シンポジウム (2023-02-20)

78

3. ⽤語訳の統⼀
第7回特許情報シンポジウム (2023-02-20)

⽤語集や語彙制約の導⼊• 対訳⽤語集に基づく後編集• ⽤語集定義の「避けるべき⽤語」を「仕様すべき⽤語」に置換• 同カテゴリの⾼頻度な⽤語に置換して翻訳し辞書情報で書き戻す• 対訳辞書を活⽤するニューラル機械翻訳機構• 辞書中の訳語に対してスコア加点するモデル• 語彙制約つき探索• 学習データへの語彙制約の適⽤• ⽂脈を考慮した翻訳モデル• 前の数⽂の情報を参照する、過去の訳語をキャッシュする、…
第7回特許情報シンポジウム (2023-02-20)

910

4. ⻑⽂対策
第7回特許情報シンポジウム (2023-02-20)

⻑⽂に対する精度低下への対策

11• 初期の改善：アテンション（注意）機構• 「全部覚えてから訳す」から「任意の⼊⼒時点を参照可能」に• ⽂分割• ⻑い⽂を短い単位に分割して翻訳した後、結合する• ニューラル機械翻訳以降あまり進展がない• 依存（係り受け）構造を制約にした翻訳モデル学習• Transformerモデルの位置情報表現の⼯夫※ ⼀般には学習時に⻑⽂が除外されることも多く注意が必要
第7回特許情報シンポジウム (2023-02-20)

12

5. 低リソース⾔語対策
第7回特許情報シンポジウム (2023-02-20)

（⽐較的）単純な⽅式

13• カスケード翻訳：別の⾔語を経由した翻訳• 直接対訳の不⾜を経由⾔語（ピボット⾔語）のリソースで補う• 英語をピボットとすることが多いが、英→⻄→カタルーニャ語の研究も• 学習データの拡張：機械翻訳によるデータの「⽔増し」• ⽬的⾔語の⽂章を原⾔語に翻訳（逆翻訳）• ⽬的⾔語側の表現は⾃然なので⾔語モデルの⾯では有効

第7回特許情報シンポジウム (2023-02-20)

14

最近の⽅式
• 転移学習• 別の⾔語対で作成されたモデルを所望の⾔語対で追加学習• 原⾔語、⽬的⾔語のいずれかを⼊れ替える• 多⾔語モデル• 複数の原⾔語・⽬的⾔語の翻訳を単⼀モデルで⾏う• 副次的に低リソース⾔語の翻訳性能が向上する例も• 事前訓練モデル• ⼤量のデータで学習することにより様々なタスクで有効• 単⾔語エンコーダモデル (BERT)• 多⾔語エンコーダ／デコーダモデル (mBART)
第7回特許情報シンポジウム (2023-02-20)

15

6. 評価
第7回特許情報シンポジウム (2023-02-20)

機械翻訳としての評価（⼈⼿評価）

16• 段階評価• 忠実さと流暢さ、容認性• 相対評価• ⼀対⽐較、ランキング• 絶対評価• 直接評価（100点満点の点数評価）• より系統的な評価• 多元品質評価尺度 (MQM)、JTF翻訳品質評価ガイドライン• 仕様に基づく体系、誤りの種別、深刻さによる重み付けスコア化
第7回特許情報シンポジウム (2023-02-20)

機械翻訳としての評価（⾃動評価）

17• 表層ベース⾃動評価• BLEU、NIST、METEOR、TER、IMPACT、RIBES … 単語レベル• chrF、chrF++ … ⽂字レベル• モデルベース⾃動評価（汎⽤モデルをそのまま応⽤）• BERTScore: BERTにより⽂類似度を計算• WE_WPI、MoverScore: 最適輸送を利⽤• モデルベース⾃動評価（汎⽤モデルを評価にチューニング）• RUSE、BERT Regressor、BLEURT、C-SPEC、COMET
第7回特許情報シンポジウム (2023-02-20)

実務⽬線での評価

18• NTCIR-9/10における特許審査評価 (2011, 2013)• 拒絶理由として⽤いられた既存発明の⽂書を機械翻訳し、拒絶判定根拠が得られるかを実務経験者が判定• 特許庁「特許⽂献機械翻訳の品質評価⼿順」(2014)• 忠実さ・流暢さの段階評価 ＋ 重要技術⽤語の訳質評価• 誤りフィードバックのためのチェックリスト• 重要情報：技術的要素とそれらの相互関係• 国際ワークショップ WAT における JPO Adequacy として利⽤

第7回特許情報シンポジウム (2023-02-20)

19

7. 翻訳の⾼速化・省メモリ化
第7回特許情報シンポジウム (2023-02-20)

モデルの効率化

20• モデルの⼩規模化• ニューラルネットワークのレイヤー数やベクトル次元数を減らす• サブワード（単語より短い処理単位）• 単語間の共通箇所や活⽤語尾等を整理、語彙サイズ削減、効率化• パラメータ共有• 同じ処理機構を再利⽤し、パラメータを増やさずに複雑な計算• ⾃⼰アテンション（注意）機構の⾼速化 … 本来は⻑さの⼆乗• 注意可能範囲の制限、関数の簡略化• ⾮⾃⼰回帰デコーダ• 先頭から順に予測、ではなく出⼒全体を並列予測
第7回特許情報シンポジウム (2023-02-20)

学習・実⾏の効率化• 知識蒸留（teacher-student approachとも）• ⼩規模モデルに⼤規模モデルの出⼒を真似させるよう学習• 探索空間の削減• ビームサーチのビーム幅を⼩さくし探索を簡略化・⾼速化• 出⼒語彙の動的選択• 訳語予測時点の⽣成候補数を削減し計算量を削減• ミニバッチ構成法の⼯夫• 同時に処理する⽂⻑を揃え、学習時の計算効率を最⼤化
第7回特許情報シンポジウム (2023-02-20)21

実装による効率化• 浮動⼩数点精度の削減：GPU向け• 単精度 (32bit) から 半精度 (16bit) に、計算効率も⼤きく向上• 量⼦化：CPU向け• ⾏列乗算時に8ビット整数を利⽤• CやC++による実装とメモリ管理• 計算結果のキャッシュと再利⽤• 翻訳コストを競う共通タスクも存在
第7回特許情報シンポジウム (2023-02-20)

22

23

8. おわりに
第7回特許情報シンポジウム (2023-02-20)

まとめと今後の展望

24• 特許機械翻訳に関わる6つの課題に関する技術を解説• 利⽤可能な技術は多く存在するが、実際に特許を対象に検証されている研究は少ない• 現在の多くの機械翻訳が共通ベンチマークデータに基づく• 有望な要素技術は多く存在する• タスク間の知⾒共有と、特許機械翻訳への実⽤的展開が重要• 脱稿後も次々に新しい技術が発表• 特許⽂書は特殊な外れ値ではなく、産業上重要な応⽤先
第7回特許情報シンポジウム (2023-02-20)

本活動について• 研究会の知⾒集約と課題整理を⽬的に実施• 2019年12⽉ Japioとの議論により企画開始• 2020年4⽉ 各課題毎のサブグループに分かれ調査執筆開始（以後研究会定例会合にて進捗報告）• 2021年3⽉ 研究会年度報告書にて調査内容報告（中間）• 2022年3⽉ 研究会年度報告書にて調査内容報告（ほぼ最終）• 2022年5⽉ 「⾃然⾔語処理」解説論⽂として投稿• 2022年6⽉ 採録決定
• 2022年9⽉ 出版（オープンアクセス）• 2023年3⽉ 研究会年度報告書にて活動最終報告予定
第7回特許情報シンポジウム (2023-02-20)

25

謝辞と書誌情報（再掲）26• 論⽂共著者の皆様、当研究会関係者に御礼申し上げます• 内容の詳細は論⽂をご参照ください
今村賢治、越前⾕博、江原暉将、後藤功雄、須藤克仁、
園尾聡、綱川隆司、中澤敏明、⼆宮崇、王向莉「特許機械翻訳の課題解決に向けた機械翻訳技術解説」
⾃然⾔語処理 29巻 3号 pp. 925-985 (2022)
https://doi.org/10.5715/jnlp.29.925 （オープンアクセス）© The association for Natural Language Processing※ 当該論⽂はクリエイティブ・コモンズ 表⽰ 4.0 国際 (CC BY 4.0) で公開されています。
第7回特許情報シンポジウム (2023-02-20)