言語処理学会 第24回年次大会 発表論文集 (2018年3月)

述語の活用情報を用いたニューラル日英翻訳
黒澤 道希

松村 雪桜

山岸 駿秀

小町 守

首都大学東京{kurosawa-michiki, matsumura-yukio, yamagishi-hayahide}@ed.tmu.ac.jp，komachi@tmu.ac.jp

1

はじめに知語の出力が可能であることも確認した．結果として，トークンとして活用情報を用いる手法（Conjugation

機械翻訳の研究において，以前は統計的機械翻訳（SMT）が主流であったが，近年ではニューラルネッ
トを用いるニューラル機械翻訳（NMT）[1][3] が盛んtoken）によって，BLEU スコアが日英翻訳で最大 0.86ポイント，平均 0.44 ポイント，英日翻訳で最大 1.60ポイント，平均 0.61 ポイント向上した．に研究されている．
しかしながら，NMT においては出力単語の選択に膨大な計算を必要とするため，実用上では語彙サイズを制限する必要がある．このとき，一般には学習用
コーパスにおける頻度が高い単語のみを語彙として使用するため，学習用コーパスに表層形が存在しない本
来の未知語だけではなく，統計的機械翻訳では考慮できていた低頻度語も Out-of-vocabulary（OOV) として NMT における未知語となってしまう1 ．したがって，これらへの対応が必要である．
現在，これらへの対策として，辞書バックオフ [4]や Byte pair encoding（BPE）[8] などが提案されている．しかしながら，辞書バックオフは後処理のみで解決する手法であるため OOV は削減されず根本的な解決にはなっていない．BPE では単語を部分文字列に分割して全ての語をカバーすることにより未知語をなくすことができるが，語義などの文が持つ言語学的情報を欠落させてしまう可能性がある．
そこで，本研究では言語学的情報を保持した単位で語を扱うことを前提とし，述語の活用情報を用いた手法を提案する．この手法は，OOV の削減だ
けではなく未知語への対応も行うことができる．なお，活用情報の導入方法として，トークンとして扱う方法（Conjugation token）と埋め込みベクトル（Conjugation feature）として扱う方法の 2 種類を検討した．
日英および英日翻訳における実験により，本手法を適用することによって，語彙サイズを最大で 86.1%（Tanaka Corpus）まで圧縮することができ，また，未2関連研究

辞書バックオフ

Luong ら [4] は，未知語トークンとして出力された語を辞書を用いて適切な語に書き換える手法を提案した．この手法は，入力文と出力文とのアライメント情報を用いて対応する語を特定し辞書を用いて翻訳を行う手法であり，様々な手法と同時に適応可能な手法ではあるが，OOV に対する直接的な解決にはなっていない．なお，この手法は提案手法と合わせて用いることができ，さらなる未知語の削減を期待することができる．

Byte pair encoding（BPE） Sennrich ら [8] は，単語の全てを文字に分割し，頻度が高いものを結合することにより，文字ベースで語彙を決定する手法を提案した．そのため，最低でも文字ベースでは既知の語となるため，OOV が無くなるという利点があるが，結合は頻度に依存するため文法や語義が考慮されないという問題点が存在する．なお，日本語に BPE を用いた場合，漢字など学習用コーパス中に存在しない文字も出現する可能性があり，未知語は一定数存在する．
言語学的素性の追加

Sennrich ら [7] は，NMT に構文情報を明示的に学習させることを目的として，品詞や依存構造などを素性として追加する手法を提案した．この手法は BPE とともに用いることが可能であり，素性を追加することにより翻訳精度が向上されることが述べられている．しかしながら，原言語側のみにしか導入することができず，また，言語学的情報の量など言語に依存する部分が大きい．

1 本論文では，学習用コーパスに出現しない語を “未知語”，低頻度（1 回以上）で未知語として扱われる語を “OOV” と表現する．

― 813 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

3

活用情報の導入

表 1: 各コーパスの文数と最大文長．

日本語における活用語は語幹と活用形で成り立っているが，従来の単語分割で得られた語彙集合では語幹が同一であっても活用が異なるものは異なる語として扱われるため，語彙を圧迫し OOV を増加させる一因

コーパス

学習用

開発用

評価用

学習用の
最大文長

NTCIR
ASPEC
Tanaka1,638,742
827,503
50,000

2,741
1,790
500

2,300
1,812
500

604016になっている．そこで，提案手法では活用語を語幹と本手法では，入力側の素性活用形に分割して扱う．これにより複数の活用形を１Conjugation featureつに集約することができ，OOV を減少させることがとして活用形を用いる．具体的には，表層形以外にできる ．また，語幹と活用形をそれぞれ独立したも“品詞”・“品詞細分類”・“活用形” を用い，活用語以外のとして扱うことにより，学習用コーパス中に存在しの語についても品詞情報等を追加している．これらのない語（活用）であったとしても，学習用コーパス中素性は，関係性を考慮して “品詞”・“品詞&品詞細分2に存在する語幹と活用形を組み合わせることにより表類”・“品詞&活用形” の 3 つの組み合わせにし，それ現することができ，未知の活用語にも対応することがぞれの埋め込みベクトルを結合して用いる．なお，活できる．

用語については表層形の代わりに語幹を使用する．

なお，本研究では解析・分割に MeCab3（IPADic）

この手法では，各素性の埋め込みが独立しているたを用いたため，語幹や活用形の情報については IPADic

め語彙サイズを圧迫することはなく，語幹に統一したの基準を採用している．具体的には “表層形”・“品詞”・ことによって減少した語彙サイズを全て OOV の削減“品詞細分類 1”・“活用型”・“活用形”・“見出し語” をに使用することができる．

用いており，語幹の代わりとして見出し語を使用した．

ただし，この手法はベクトルから単語への復元がで以下活用のある語とは “動詞”・“形容詞”・“助動詞”

きないため原言語側にのみ適応できる手法である．の３品詞を指すものとする．
本研究では語幹と活用形の導入手法として，それぞれをトークンとして扱う “Conjugation token” と各情報の埋め込みベクトルを結合することによって 1 つの4

複数のコーパスにおける翻訳実験

4.1

実験設定

本研究では，2 つの比較手法（ベースライン，BPE）ベクトルで表現する “Conjugation feature” の２手法と 2 つの提案手法（Conjugation token，Conjugationを提案する．

feature）について実験を行い，BLEU [6] で評価した．
Conjugation token 本手法では語幹と活用形をそなお，ニューラルネットワークにおける重みの初期値

れぞれのトークンとして扱う．活用形は 3 品詞の区別による誤差を考慮するため，各手法につき 4 回ずつ実が可能な特殊トークンとして導入し，他の語とも区別

験を行い，その平均値を用いた．

する．この手法では，活用形の特殊トークンも語彙の実験には NTCIR PatentMT Parallel Corpus - 10一部を占めることになる．しかし IPADic を基準にす（NTCIR）[2]，ASPEC [5]，Tanaka Corpus（一部抜ると，この特殊トークンは最大 57 トークンであるた粋，前処理済み）4（Tanaka）の 3 コーパスを使用した．

め，統一することで削減できる語彙サイズと比較する

表 1 に各コーパスの特徴について示す．なお，ASPECと影響はごくわずかである．また，この手法は語幹とに関しては，学習用データ約 300 万文のうち，文ア活用形をトークンとして扱うため，出力が日本語の場ライメントの確信度が高い 100 万文を用いた．また，合でも語幹と活用形の組み合わせによって復元が可能

コーパスの前処理として，日本語側に関しては MeCabとなるため，入力側・出力側のどちらに対しても適応（IPADic）を用いて形態素解析を行い，英語側に関し可能な手法である．ては Moses5 の Tokenizer および Truecaser を用いて具体的には次のような 2 トークンに変換される．
走る→走る<&動詞・基本形&>

走れ→走る<&動詞・命令形&>

だ→だ<&助動詞・体言接続&>処理を行い，学習用コーパスに関して，表 1 に示した最大文長を超える文については削除した．Tanaka のみリファレンス元の英語文がすでに小文字化されていたため Truecaser は用いずに実験を行った．

2 派生文法を用いた場合も複数の活用形を集約することができるが，派生文法では表層が同じ終止形と連体形の区別ができない．
3 https://github.com/taku910/mecab― 814 ―

4 http://github.com/odashi/small_parallel_enja
5 http://www.statmt.org/moses/

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.表 2: 日英翻訳実験結果．数字は 4 回実験した BLEU スコアの平均値．
言語対
日英英日

コーパス

NTCIR
ASPEC
TanakaNTCIR
ASPEC
TanakaBaseline
33.87
21.08
30.17
36.41
29.72
28.86

Conjugation
token
33.96
21.46
31.03
36.48
29.89
30.46

BPE
日本語のみ
34.17
21.10
30.43
35.96
28.96
28.66

ベースラインとしては Luong ら [3] のニューラル機4.2

Conjugation
feature
33.84
21.33
30.35
N/A
N/A
N/A

BPE
日英両方

BPE
英語のみ

N/A
21.43
30.45
N/A
30.93
29.27

N/A
20.55
30.13
N/A
30.59
29.15

結果

6械翻訳を実装したもの を使用し，実験の設定を次に実験の結果を表 2 左に示す．

示す．なお，コーパスによって異なる設定については[NTCIR/ASPEC/Tanaka] で記載する．
最大エポック：[15/15/30] ，最適化手法：AdaGrad，初期学習率：0.01，埋め込み層の次元数：512，コアが向上した．
また，日本語のみに BPE を用いた手法との比較に

隠れ層の次元数：1024，バッチサイズ：128，

おいては，NTCIR の日英翻訳において BLEU スコア

語彙サイズ：[30,000/30,000/5,000]，が若干低下したものの，全体的に同等か向上する結果

出力語数制限：[100/100/40]
以下にベースライン以外の各実験ごとの設定を示す．
なお，特に言及しない場合，ベースラインと同じ設定を用いている．

Byte pair encoding

結果として，Conjugation token とベースラインを比較すると，全てのコーパス，両翻訳方向で BLEU スを得ることができた．

5

考察

5.1

活用情報の効果に関する考察

比較手法として BPE を用いた実験を行った．提案手法は日本語のみに対する手法

実験結果より Conjugation token がベースラインとであるため，BPE についても日本語のみに行い条件比較して BLEU スコアが向上した．また，Conjugationを統一した．

feature においてもベースラインと比較してスコアがNTCIR，ASPEC に対しては BPE の結合操作回数概ね向上している．これらより活用情報を利用するこを 16,000 回で行い，Tanaka は語彙サイズが小さいたとが有用であり，特殊トークンとして用いた手法の方め 2,000 回で行った．この結果，日本語に関する語彙がより有用であることが示された．また，BPE と比は語彙サイズを下回ったので OOV は存在しない．な較してもスコアが概ね向上することより，言語学的情お英日翻訳については，BPE の出力に対して後処理報を保持することが重要であると考えられる．

Conjugation token では全体的にスコアが上がってを行った上で評価する．

おり，コーパスのサイズが小さいほどスコアが向上すConjugation token 英日翻訳の出力は活用形トーる傾向にある．特に Tanaka において精度の向上が見クンを含むため，IPADic を用いてルールベースで復られているが，これはコーパスのサイズが小さいこと元した結果を用いて評価する．なお，この時の復元精と，コーパス中に含まれる活用語の種類と量が多かっ

度は 100%であるが，語幹のみを出力した場合は基本たためだと考えられる．逆に NTCIR においては大き形として出力し，活用形のみを出力した場合は出力かな効果はなく BPE を用いた英日翻訳では劣る結果とら削除する．

なった．これはコーパスのサイズが大きいため十分にConjugation feature

本手法は原言語側のみに適応できる手法のため，日英翻訳のみを行った．追加する各素性の埋め込みを結合したものを入力として用いた．この時，埋め込み層の次元数を 512 に統一するた学習されており，今回の手法を適用することによる効果はほとんどなかったと考えられる．

5.2

BPE の結果に対する考察

めに，入力側の各素性の次元数は “品詞：4，品詞&品今回，BPE については日本語側のみに適応した手法

詞細分類：8，品詞&活用形：8” としたため，入力側で比較した．しかしながら，今回の結果において BPEの単語埋め込みベクトルの次元数は 492 である．

を日本語側のみに適応した手法ではベースラインを下

6 http://github.com/yukio326/nmt-chainer

回る結果となったものが複数存在した．そこで，日英― 815 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 英日翻訳の出力例．
入力文
参照訳
ベースライン
BPE
Conjugation token

表 4: 語彙カバー率．

where should i sit ?
どこ に 座っ たら いい です か 。
どこ で <unk> ば いい です か 。
どこ で 座ら ない か 。
どこ で 座れ ば いい でしょ う か 。

コーパス

ベースラインNTCIR
ASPEC
Tanaka26.48%
18.56%
46.46%

Conjugation
token
27.43%
18.96%
53.95%

Conjugation
feature27.46%
18.96%
54.41%

両方に BPE を適応した結果と英語側のみに BPE をに改善されており，これは短文が中心のコーパスであ適応した結果をそれぞれ表 2 右に示す．なお，実験のるため活用語が多く含まれており，また，表現が固定都合上 ASPEC と Tanaka についてのみ行い，それぞされないことにより活用形が複数使われることが多れ 1 回のみ実験した結果を示している．

かったため，本手法が有効であったと考えられる．

この結果より，日英両方に BPE を適用した場合では先行研究と同様ベースラインを上回る結果を得るこ6

おわりにとができ，英語のみ適用した手法では日英両方に比較

本研究では，日本語活用情報を用いた分割を行い，するとスコアが悪くなった．また，日英，英日どちら単語が持つ言語学的情報を維持しながら翻訳を行うこの翻訳方向においても入力言語側に BPE を適用したとで，語彙カバー率および翻訳精度の向上が示された．

ほうが高いスコアを出すことがわかった．このことよ

また，OOV だけにとどまらず未知語に対しても有効り，BPE は両言語に適用する必要があるが，今回のであることが確認された．加えて，活用形は素性とし実験設定における結果は適切であると考えられる．て追加するよりもトークンとして追加する方が効果的であることを確認することができた．本研究では日英

5.3

出力文の言語対に関してのみ実験を行ったが，今後は他言語

英日翻訳の出力例を表 3 に示す．Conjugation token
では “座れ” という語が出力されているが，これは学習用コーパス中には存在しない未知語である．しかし，語幹（座る）と活用形（仮定形）がそれぞれ学習用コーパス中に存在しているため，その組み合わせによって出力することができた．このように，Conjugation

token を用いることで未知語であっても出力することができる．
また，複数の活用形を一つにまとめることで，OOVが削減されて考慮できる語が増えることはもちろん，活用語の語幹としての頻度が高くなることで，適切な文や流暢な文が出力される傾向にあると考えられる．
一方で，語幹と活用情報を分離することにより，活用情報が適切に出力できなくなるため，流暢性が損なわれる文がいくつか存在した．また，語幹の品詞情報についても明確に保持することになるため，語幹の選択による後続の語への影響が大きい傾向にあった．

5.4

語彙カバー率本提案手法において語彙サイズの削減を行うことができた．各コーパスごとの学習用コーパス中におけるタイプの語彙カバー率を表 4 に示す．なお，Conjugation

feature においては見出し語のみの数を評価している．
この表より，どのコーパスにおいても OOV が削減されていることがわかる．特に Tanaka において大幅においても活用情報が有用であるかを調査したい．

参考文献[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua
Bengio. Neural machine translation by jointly learning to align and translate. In Proc. ICLR, 2015.
[2] Isao Goto, Ka Po Chow, Bin Lu, Eiichiro Sumita, andBenjamin K. Tsou. Overview of the patent machinetranslation task at the NTCIR-10 workshop. pp. 260–286.
[3] Thang Luong, Hieu Pham, and Christopher D. Manning. Eﬀective approaches to attention-based neuralmachine translation. In Proc. EMNLP, pp. 1412–1421, 2015.
[4] Thang Luong, Ilya Sutskever, Quoc Le, Oriol Vinyals,and Wojciech Zaremba. Addressing the rare word
problem in neural machine translation. In Proc. ACL,pp. 11–19, 2015.
[5] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka
Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao
Kurohashi, and Hitoshi Isahara. ASPEC: Asian scientific paper excerpt corpus. pp. 2204–2208.
[6] Kishore Papineni, Salim Roukos, Todd Ward, andWei-Jing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proc. ACL, pp.
311–318, 2002.
[7] Rico Sennrich and Barry Haddow. Linguistic input
features improve neural machine translation. In Proc.
WMT, pp. 83–91, 2016.
[8] Rico Sennrich, Barry Haddow, and Alexandra Birch.
Neural machine translation of rare words with subword units. In Proc. ACL, pp. 1715–1725, 2016.

― 816 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.