⾔語処理学会 年次⼤会 B2:機械翻訳(2)ニューラルネットを⽤いた
多⽅⾔の翻訳と類型分析
阿部 ⾹央莉、松林 優⼀郎、岡崎 直観、乾 健太郎
東北⼤学⼯学部 乾研究室

2018/03/13

NLP20181

本研究（⽅⾔研究）の背景• 近年、⾳声あるいはテキストで⼈間と対話するシステムがより⾝近な存在になってきている• しかし、それらの多くは共通語を前提として作られている＝⽅⾔で話しかけた場合の精度が低い• 介護ロボットなどの需要が⾼まる中で、⽅⾔を解析できないことは⼤きな問題となる
共通語

・・・？

方言
共通語

2018/03/13

NLP20182

本研究の⽬的：⽅⾔→共通語の翻訳• ⽅⾔→共通語の翻訳ができれば、共通語を前提として作成された様々なシステムに応⽤可能である
共通語なら- 対話、情報抽出、感情分析…
ワカル！

方言

方言翻訳
システム

• ⼈間でも訛りが強い地域の⽅⾔は理解するのが難しい→ロボットが理解できれば、コミュニケーションの⼿助けが可能

2018/03/13

NLP20183

⽅⾔処理の先⾏研究• ⼭形⽅⾔ ⇄ 共通語の統計的機械翻訳[柴⽥, 2013]

独⾃に作成した対訳コーパス＋ルールベースで作成した
擬似対訳コーパスで、統計的機械翻訳(SMT)を⾏う<問題点>
他の⽅⾔に対応するには、別の⽅⾔翻訳器を作成することになる→ 各⽅⾔に対し⼗分なコーパスを⽤意するコストが⾼い• 事前学習による標準語から関⻄弁へのニューラル翻訳[⻑⾕川,2017]

Twitterの関⻄弁を収集して得た単⼀⾔語コーパスで事前学習→
クラウドソーシングで作成した対訳コーパスで再学習<問題点>

⼩規模なコーパスでは、SMTのほうが⼀般的に精度が良いとされているが、現時点でSMTとの⽐較検証は⾏われていない
2018/03/13

NLP2018

4

本研究のモチベーション
多言語翻訳の発想を方言に適用する
複数の言語のコーパスをまとめてニューラルネットで学習→「言語」に共通する普遍的な特徴を学び、小規模なコーパスの言語に対しても翻訳が行えるようになる
これを⽅⾔に適⽤すれば…

• ⼩規模でも複数の⽅⾔の対訳コーパスが存在すれば、

多⾔語翻訳と同様に翻訳を⾏うことができるのでは？

• ニューラルネットの機構を活かした多⾔語NMTで、

SMTの翻訳精度を超えられるのでは？

2018/03/13

NLP20185

⽅⾔翻訳のための⾔語資源• 国⽴国語研究所発⾏「全国⽅⾔談話データベース」- 30分の対話をテキストに書き起こしたデータ×48地点分(※)（※47都道府県、沖縄は本⼟・離島の2地点）•

発話の内容（⽅⾔）：表⾳的カタカナ表記
その共通語訳：漢字かな混じり表記

で記録例）⻘森県の対訳⽂
⽅⾔
共通語訳

オラホノ
私の

マズサ

町に

キスタガステー来ましたかね

注：コーパスの空⽩区切りは便宜的なもの。これ以降「⽂節」と呼ぶ

2018/03/13

NLP20186

⽅⾔翻訳のための⾔語資源
このままだと、方言→共通語というタスクの他に• 国⽴国語研究所発⾏「ふるさとことば集成」
カタカナ→漢字というタスクも増えてしまい、難しい- 30分の対話をテキストに書き起こしたデータ×48地点分(※)（※47都道府県、沖縄は本⼟と離島の2地点）•

発話の内容（⽅⾔）：表⾳的カタカナ表記
その共通語訳：漢字かな混じり表記

そのため…

で記録

例）⻘森県の対訳⽂
⽅⾔

おらほの

まずさ

きすたがすてー↑どちらもひらがなにすることで対応↓

共通語訳

わたしの

まちに

きましたかね

注：コーパスの空⽩区切りは便宜的なもの。これ以降「⽂節」と呼ぶ

2018/03/13

NLP20187既存⼿法：多⾔語ニューラルネット翻訳器• Googleʼs Multilingual Translation System[Johnson+, 2016]

私出⼒（⽇本語）は元気です。

Attention

<⽇本語>

I’m

⼊⼒（英語）

fine.

翻訳先の⾔語を表すトークンを⼊⼒⽂の先頭に付加するだけ- ⾔語モデルを共有しながら、翻訳先の⾔語の特徴を学習でき、多⾔語NMTを実現する
2018/03/13

NLP20188

提案⼿法：多⽅⾔ニューラルネット翻訳器
出⼒（共通語）<⻘森> わたしのAttention

<⻘森>

お
ら
ほ
⼊⼒（⽅⾔）の① 翻訳元の⽅⾔を表すトークン（地域トークン）を付加する- ⼀般的な多⾔語翻訳より、翻訳元の⽅⾔同⼠が似ているため同じような語彙・⽂法を共有して学習することができる
2018/03/13

NLP20189

提案⼿法：多⽅⾔ニューラルネット翻訳器
出⼒（共通語）<⻘森> わたしのAttention

<⻘森>

お

ら
ほ
⼊⼒（⽅⾔）の② 本研究では翻訳元⾔語（⽅⾔）と翻訳先⾔語（共通語）の間に語順変化がほぼないため、単語→⽂字、⽂→⽂節として
⽂節ごとに逐次的に翻訳を⾏う
2018/03/13

NLP201810

実験における仮説
仮説❶ 複数の⽅⾔コーパスを⼀緒に学習することで、⽅⾔間で共通する語彙や⽂法を⼿に⼊れることができ、多⽅⾔NMT > 単⼀⽅⾔NMT, SMTとなる仮説❷ 多⾔語翻訳の⼿法に基づいて、翻訳する⽅⾔の地域を表すトークンを付与することで、⽅⾔ごとの特徴を学ぶことができる
仮説❸ 翻訳元（⽅⾔）と翻訳先（共通語）の間で語順変化がないことから、⽂節ごとに逐次的に翻訳する
ようなアーキテクチャでも⼗分翻訳が可能である
2018/03/13

NLP201811• コーパス

実験設定

全国⽅⾔談話データベース「⽇本のふるさとことば集成」（国研）
全48地域の対訳コーパス、34,117⽂（116,928⽂節）- 8:1:1の割合で分割し、それぞれ訓練・開発・評価セットとした• NMT, SMTのアーキテクチャ

どちらもオープンソースのものを使⽤- NMT : OpenNMT-py(https://github.com/OpenNMT/OpenNMT-py)- SMT : Moses(http://www.statmt.org/moses/)• パラメータ- デフォルト値を使⽤• 評価指標BLEUで評価（⽂節単位で翻訳した結果を⽂に統合し、⽂字n-gramのBLEUを測定）

2018/03/13

NLP201812

実験結果：定量評価(BLEU)• 各種モデルの翻訳精度を⽐較

学習コーパス
全地域
⼭形県のみ
全地域
⼭形県のみ

MTの種類

（山形弁） （全地域）
BLEU
BLEU

地域トークンありNMT

75.79

77.10

地域トークンなしNMT

68.70

72.66

NMT

19.75

SMT

60.32

74.74

60.47

• 提案⼿法が最も翻訳精度が⾼いという結果になった

2018/03/13

NLP201813

実験における仮説
仮説❶ 複数の⽅⾔コーパスを⼀緒に学習することで、⽅⾔間で共通する語彙や⽂法を⼿に⼊れることができ、多⽅⾔NMT > 単⼀⽅⾔NMT, SMTとなる仮説❷ 多⾔語翻訳の⼿法に基づいて、翻訳する⾔語の地域を表すトークンを付与することで、⽅⾔ごとの特徴を学ぶことができる
s仮説❸ 翻訳元（⽅⾔）と翻訳先（共通語）の間で語順変化がないことから、⽂節ごとに逐次的に翻訳する
ようなアーキテクチャでも⼗分翻訳が可能である
2018/03/13

NLP201814

実験結果：定量評価(BLEU)• 各⼿法における、⼭形弁のみの翻訳精度を⽐較

学習コーパス
全地域
⼭形県のみ
全地域
⼭形県のみ

MTの種類

（山形弁） （全地域）
BLEU
BLEU

地域トークンありNMT

75.79

77.10

地域トークンなしNMT

68.70

72.66

NMT

19.75

SMT

60.32

74.74

60.47

• 複数地域の対訳コーパスで学習したNMTのほうが、単⼀地域の対訳コーパスのみで学習したSMTよりも、翻訳精度が⾼い2018/03/13

NLP201815

実験結果：定量評価(BLEU)• 各⼿法における、⼭形弁のみの翻訳精度を⽐較

学習コーパス
全地域
⼭形県のみ
全地域
⼭形県のみ

MTの種類

（山形弁） （全地域）
BLEU
BLEU

地域トークンありNMT

75.79

77.10

地域トークンなしNMT

68.70

72.66

NMT

19.75

SMT

60.32

74.74

60.47

• 複数地域の対訳コーパスで学習したNMTのほうが、単⼀地域の対訳コーパスのみで学習したNMTよりも、圧倒的に翻訳精度が⾼い

2018/03/13

NLP201816

実験における仮説
仮説❶ 複数の⽅⾔コーパスを⼀緒に学習することで、⽅⾔間で共通する語彙や⽂法を⼿に⼊れることができ、多⽅⾔NMT > 単⼀⽅⾔NMT, SMTとなる仮説❷ 多⾔語翻訳の⼿法に基づいて、翻訳する⾔語の地域を表すトークンを付与することで、⽅⾔ごとの特徴を学ぶことができる
仮説❸ 翻訳元（⽅⾔）と翻訳先（共通語）の間で語順変化がないことから、⽂節ごとに逐次的に翻訳する
ようなアーキテクチャでも⼗分翻訳が可能である
2018/03/13

NLP201817

実験結果：定量評価(BLEU)• 地域トークンの有無に着⽬して⽐較

学習コーパス
全地域
⼭形県のみ
全地域
⼭形県のみ

MTの種類

（山形弁） （全地域）
BLEU
BLEU

地域トークンありNMT

75.79

77.10

地域トークンなしNMT

68.70

72.66

NMT

19.75

SMT

60.32

74.74

60.47

• 地域トークンを付加して学習した多⽅⾔NMTが⼀番精度が良い

2018/03/13

NLP201818

実験結果：定量評価• BLEUスコアは、全48地域において地域トークンあり > 地域トークンなし→地域トークンにより、各⽅⾔の特徴を学んだと考えられる

2018/03/13

NLP201819

実験における仮説
仮説❶ 複数の⽅⾔コーパスを⼀緒に学習することで、⽅⾔間で共通する語彙や⽂法を⼿に⼊れることができ、多⽅⾔NMT > 単⼀⽅⾔NMT, SMTとなる仮説❷ 多⾔語翻訳の⼿法に基づいて、翻訳する⾔語の地域を表すトークンを付与することで、⽅⾔ごとの特徴を学ぶことができる
仮説❸ 翻訳元（⽅⾔）と翻訳先（共通語）の間で語順変化がないことから、⽂節ごとに逐次的に翻訳する
ようなアーキテクチャでも⼗分翻訳が可能である
2018/03/13

NLP201820

実験結果：定量評価(BLEU)• ⼊⼒系列を⽂あるいは⽂節にした場合の翻訳精度⽐較

学習コーパス 入力系列
文
全地域
文節

MTの種類
地域トークンありNMT
地域トークンなしNMT

BLEU
71.64
77.10
72.66

• 地域トークンを付与した状態では、⼊⼒系列が⽂節単位である⽅が精度が良い→語順が変化しないため、⽂節ごとに逐次的に翻訳しても良い

2018/03/13

NLP201821

実験結果：定性評価（翻訳例）• 翻訳できなかった例

岩手方言（遠野）
⼊⼒
⽅⾔⽂がが/とった/ときぁ/いま/えってる

参照⽂

つま/もらった/ときは/いま/はなしている

モデル
出⼒⽂

かか/とった/ときは/いま/いっている• 「がが（かか）」→「妻」は学習コーパス中でも現れるが、⽂節ごとに逐次的に翻訳するため、他の⽂脈で現れる「がが」と区別ができず、翻訳できなかったと考えられる→ ⽂脈を考慮した訳し分けはできていない

2018/03/13

NLP201822

•

地域トークン埋め込み表現の可視化

地域トークンをt-SNEで可視化すると、地⽅区分に沿うクラスタを得た

2018/03/13

NLP201823

•

地域トークン埋め込み表現の可視化

地域トークンをt-SNEで可視化すると、地⽅区分に沿うクラスタを得た⽅⾔の周圏分布（都市部から同⼼円状に広がる）
も捉えられている？

仮説❷ 多⾔語翻訳の⼿法に基づいて、翻訳する⾔語の地域を表すトークンを付与することで、⽅⾔ごとの特徴を学ぶことができる
2018/03/13

NLP201824

本研究の貢献• 48地域の⽅⾔対訳コーパスを⽤い、多⾔語翻訳の⼿法に基づき、全都道府県に対応する多⽅⾔翻訳器を初めて作成した• 複数の⽅⾔が似通った特徴を持っていることから、別々の⽅⾔で現れる同じような語彙・⽂法を共有する
多⽅⾔NMTが単⼀⽅⾔のみ学習させたSMT, NMTよりも精度が良いことを⽰した• ⼊⼒に付与する地域トークンの埋め込み表現を可視化することで、⽅⾔学の知⾒に合致する類型分析が⾏える可能性を⽰した

2018/03/13

NLP201825

引⽤• 柴⽥直由, 横⼭昌⼀, 井上雅史. 統計的⼿法を⽤いた双⽅向⽅⾔

機械翻訳システム. ⾔語処理学会第 19 回年次⼤会 発表論⽂集,
pp. 126–129, 2013.

• ⻑⾕川駿, ⽥中駿, ⼭本悠⼆, ⾼村⼤也, 奥村学. 事前学習と汎化

タグに おける⽅⾔翻訳の性能向上. 情報処理学会研究報告,
Vol. 2017-NL-23, No. 12, pp. 3–8, 2017.

• M. Johnson, M. Schuster, Quoc V. Le, M. Krikun, Y. Wu, Z.

Chen, N. Thorat, F. Vi´egas, M. Wattenberg, G. Corrado,
M. Hughes, and J. Dean. Googleʼs Multilingual Neural
Machine Translation System: Enabling Zero-Shot
Translation. TACL, Vol. 5, pp. 339–351, 2016.

2018/03/13

NLP2018

26

Appendix

2018/03/13

NLP2018

表⾳的カタカナ表記について• 発話に対して忠実な⾳で書き起こしたカタカナ表記• 例）- 伸ばす⾳（⻑⾳）→「ー」- 助詞「は」「を」「へ」→「ワ」「オ」「エ」- ⿐濁⾳（東北等で⾒られる、か⾏の特別な濁⾳）→「か゜」「き゜」「く゜」「け゜」「こ゜」- 「時には」が訛って「トキニァ」 等

2018/03/13

NLP201828

出⼒先頭の地域トークン
出⼒（共通語）<⻘森> わたしのAttention

<⻘森>

お

ら
ほ
⼊⼒（⽅⾔）の• 出⼒先頭に地域トークンを付与しない場合でも同様に実験を⾏ったが、付与した⽅がBLEUスコアが⾼かった

2018/03/13

NLP201829

⽅⾔と共通語の差分• 共通語→⽅⾔の変化は、⾔語処理的視点で⾒ると⽂字レベル or 単語レベルの変化に分けることができる

⽂字レベルの変化

単語レベルの変化

・⾳の変化（⺟⾳変化、濁⾳化）- いい感じ → ええ感じ・撥⾳, ⺟⾳の追加または削除- めずらしい → めんずらしい- がっこう → がっこ・特徴的な助詞・助動詞- 〜っぺ, 〜だべ （終助詞）- 押ささる（助動詞）

2018/03/13

・表層形だけ変化した単語- 私 → わ, わい, おら, …
- とても → なまら, たげ, …

・標準語にない概念を表す単語- あずましい（⻘森）- いずい（宮城）NLP201830

実験結果：定性評価（翻訳例）• 翻訳できた例

青森方言（津軽）⼊⼒⽅⾔⽂

あげぁ/いろこ/つだり/すて/それか ゚
/ほら

参照⽂

あかい/いろ/ついたり/して/それが/ほら

出⼒⽂（提案⼿法）

あかい/いろ/ついたり/して/それが/ほら出⼒⽂（⽂ごと翻訳）

あかい/いろ/ついて/それが/ほら

出⼒⽂（全地域SMT）

あかい/いろこ/ついたり/して/それが/ほら• 完璧な翻訳を出⼒したのは提案⼿法だけ

2018/03/13

NLP2018

31

海
青道
森
岩
手
秋
田
山
形
宮
城
福
島
群
馬
茨
城
栃
木
埼
玉
東
神 京
奈
千川
葉
山
梨
静
岡
愛
知
岐
阜
長
野
新
潟
石
川
福
井
富
山
滋
賀

北

5000

2018/03/13
和 重
歌
奈山
良
大
阪
京
都
兵
庫
島
根
鳥
取
広
島
岡
山
山
口
香
川
高
知
徳
島
愛
媛
長
崎
佐
賀
大
分
福
岡
熊
本
宮
鹿 崎
沖 児島
縄
沖 本
縄 土
離
島

三

コーパスにおける各地域ごとの割合• 全地域合わせて34,117⽂（116,928⽂節）• 地域ごとの⽂節数は以下の通り

5000

0

⿃取のコーパスは⾮常に⼩さい

0

NLP2018

32

多⾔語翻訳で付加するトークンのクラスタリング• 多⾔語翻訳における⾔語の名前を表すトークンも、

t-SNEクラスタリングすると、⾔語類型学上知られている語族の区分に沿うことが判明した[Tiedemann, 2018]J ̈ org Tiedemann, Emerging Language Spaces Learned From Massively Multilingual Corpora, arXiv:1802.00273

2018/03/13

NLP201833