# ニューラル機械翻訳のための 日本語の膠着語的性質を考慮したマルチタスク学習

西田悠人 秋葉友良 塚田元
豊橋技術科学大学
\{nishida.yuto.ec, akiba.tomoyoshi.tk, tsukada.hajime.hl\}@tut.jp

## 概要

ステミングタスクを補助タスクとしたマルチタスク学習 (MTL) モデルが膠着語に属する言語のニュー ラル機械翻訳に有効であるという報告があるが，膠着語である日本語の翻訳にも有効であるかは明らかではない。そこで，本研究では日本語-英語および日本語-中国語の双方向翻訳においてステミングを基本としたタスクを補助タスクとした MTL モデルの性能の評価を行った。実験結果より，ステミングタスクを補助タスクとした MTL モデルの有効性は限定的であることと，ステミングタスクと英語文/中国語文をソースとした日本語ステム列生成タスクの両方を補助タスクとした MTL モデルは有効であることを示した.

## 1 はじめに

膠着語に属する言語は morphologically-rich (形態学的に複雑) であり, それらの言語の翻訳は，特に学習データが少ない場合に，ニューラル機械翻訳 (NMT) モデルにとって依然として困難なタスクであることが知られている [1]. Pan ら [1] はこの問題を解決するために，トルコ語-英語およびウイグル語中国語の双方向翻訳において，膠着語 (トルコ語, ウイグル語) のステミングタスクを補助タスクとしたマルチタスク学習 (MTL) モデルを提案し，翻訳性能が向上することを示した。しかし，他の言語対 (膠着語-非膠着語の対) において同様の手法が有効であるかは明らかではない.

本研究では，ケーススタディとして，膠着語のなかでも日本語に着目する. 日本語-英語および日本語-中国語の双方向翻訳を対象として，ステミングタスクを補助タスクとした MTL モデルの性能を評価することで，Pan ら [1]の手法が日本語の翻訳においても有効であるかを検証する。また，その他のス
テミングを基本としたタスクについても検討し，より有効な補助タスクを探究する。

実験結果より，(1) Pan ら [1] の提案した手法に相当する日本語ステミングタスク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスクとした MTL モデルの有効性が限定的であることを示し，(2) $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した英語文/中国語文をソースとした日本語ステム列生成タスク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助タスクとした MTL モデルによって翻訳性能が向上することを示し，(3) 翻訳タスクと補助タスクの混合比を調整することで (2) のモデルに更なる性能改善がみられることを示唆した。

## 2 関連研究

NMT にマルチタスク学習を導入するための様々な手法が提案されている。翻訳以外の補助タスクを用いて主タスク (翻訳タスク) の性能向上を図る研究として, Luong ら [2] はドイツ語・英語のオートエンコーダと独英翻訳のマルチタスク学習を提案し, Currey ら [3] は英語の句構造解析と英語を原言語とした翻訳 (英露翻訳など) のマルチタスク学習を提案した。あるいは，主タスクと補助タスクを区別せず，複数の翻訳タスクを共同で学習し，その相乗効果によって翻訳性能の向上を図る研究もある. Johnson ら [4] は単一のモデルによる多言語翻訳によって低資源言語の翻訳性能が向上することを報告した.

膠着語を対象とした NMT の研究も多くある. Ataman ら [5] は教師なしの形態学的セグメンテー ションモデルによってトルコ語の語彙削減を行うことで，土英翻訳の性能が向上することを報告した. Pan ら [6] は膠着語の語幹と接辞に別の処理を施すサブワード分割手法を提案し，土英翻訳およびウイグル語-中国語翻訳の性能向上を示した。

## 3 日本語の膠着語的性質を考慮した マルチタスク学習

## 3.1 マルチタスク学習

タスクごとに固有のタグを各ソース文の先頭に加える方法 [4] により, 単一の seq2seq モデルでマルチタスク学習を行う．これにより，標準的な NMT アーキテクチャに変更を加えることなく，マルチタスク学習を行うことができる. 本研究では，主タスク (翻訳タスク)であることを示すタグ<MT>と補助タスクであることを示すタグ<ST>を導入する。本研究における MTL モデルの概念図を図 1 に示す.

図 1 MTL モデルの概念図

## 3.2 補助タスク

日本語の膠着語的性質を考慮した補助タスクとして, Pan ら [1] が提案した補助タスクに相当する $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と，新たに提案した $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の 2つを導入する. $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ は日本語文を入力として，対応する日本語ステム列を生成するタスクであり, $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は英語文/中国語文を入力として，入力に対する日本語訳文に対応する日本語ステム列を生成するタスクである。なお, 日本語の文節は典型的には 1 つの自立語に 0 個以上の付属語が膠着することで形成されるため, 本研究では日本語文の自立語のみを抽出して原形化することで得られるトークン列を日本語ステム列と定義した。

日本語-英語の双方向翻訳を対象とした際の主夕スクである日英翻訳，英日翻訳と補助タスクである $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}, \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の訓練データの例を表 1 に示す.

表 1 タスク毎の訓練データの例 (上：ソース文，下：ターゲット文)

} & <MT> 実験によってこの結果が検証された。 \\

## 4 評価実験

## 4.1 データセット

対訳データとして，KFTT [7] の京都関連文書対訳コーパス全文対 (440,288 文対), IWSLT2017 [8] の英日対訳コーパス全文対 (223,108 文対), Asian Scientific Paper Excerpt Corpus (ASPEC) [9] から ASPEC-JE100k (ASPEC-JE の train1 データの先頭 100,000 文対), ASPEC-JC100k (ASPEC-JC の train データの先頭 100,000 文対)を用いる. 開発データおよびテストデータには，それぞれのコーパスの開発/テストデータを用いた。なお，IWSLT2017では開発データ

タの日本語文は MeCab [10] によるトークナイズを行った. MeCab の辞書には IPA 辞書を用いた.英語文は Moses [11] tokenizerによるトークナイズ， Moses truecaserによる truecasingを行った. 中国語文は jieba [12]によるトークナイズを行った.

補助タスクの訓練データは，対訳データから作成した. $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の訓練データのターゲット文は対訳データの日本語文に対して自立語抽出と語の原形化を行うことで作成できる。自立語抽出は， MeCabによって文の各形態素の品詞を解析し, 自立語に相当する品詞に該当する形態素以外を除去することで行った。なお，自立語に相当する品詞は (1)名詞-動詞非自立的, 名詞-接尾, 名詞-非自立, 名詞特殊を除くすべての名詞，(2) 連体詞，(3) 動詞-自立, (4) 形容詞-自立, (5) 副詞, (6) 接続詞, (7) 感動詞, (8) フィラーとした. 品詞の分類は IPA 品詞体系 [13] に基づく，語の原形化は, 各形態素を MeCab によって得た原形に置換することで行った.

## 4.2 実験条件

モデルの語彙は，対訳データの英語文/中国語文と日本語文を結合したうえで作成した。語彙サイズはソース，ターゲットともに同一とし，KFTT では 100,000，その他では 50,000 とした.

翻訳モデルおよび MTL モデルはオープンソースの NMT ツールキット OpenNMT [14] の Python 実装である OpenNMT-py によって構築した。

モデルの翻訳性能の評価指標には BLEU [15] を用いた. モデルの訓練で得たチェックポイントから翻訳方向ごとに開発データの BLEU が最も高いものを選択し，そのチェックポイントにおけるテストデー

タの BLEUをそのモデルの性能とした.

## 4.3 ステミングを基本とした補助タスクを 用いた実験

本節では，ステミングを基本としたタスクを補助タスクとした MTL モデルの有効性を評価するために，次に示す 4 つのモデルについて訓練および評価を行った。

bi-MT 補助タスクを用いない双方向翻訳モデル. これがベースラインモデルとなる.

$\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{j} \rightarrow \mathbf{j}} \quad \mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスクとした MTL モデル．Pan ら [1] の提案したモデルに相当する. $\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{f} \rightarrow \mathbf{j}}$ 新たに提案した $\mathbf{S T}_{\mathrm{f} \rightarrow \mathrm{j}}$ を補助タスクとしたMTL モデル.

$\mathbf{b i}-\mathbf{M T}+\mathbf{S T}_{\mathbf{j} \rightarrow \mathbf{j}} \& \mathbf{S} \mathbf{T}_{\mathbf{f} \rightarrow \mathbf{j}} \quad \mathbf{S T}_{\mathrm{j} \rightarrow \mathrm{j}}$ と $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助タスクとした MTL モデル.

MTL モデルの訓練に用いるミニバッチは，各ミニバッチに占める日英 (日中) 翻訳タスク，英日 (中日) 翻訳タスク，補助タスクのデータの割合が等しくなるように構成した. すなわち，各ミニバッチの全体 (主タスク＋補助タスク) は，ミニバッチの主タスクの 1.5 倍となる. また，対訳データとともに用いる補助タスクのデータはその対訳データから作成し，外部データは使用しなかった.

各モデルの各翻訳方向の BLEU ( $\mathrm{Ja}-\mathrm{En} / \mathrm{Zh}$ おび En/Zh-Ja) とその算術平均 BLEU (Ave.) を表 2 に示す.

表 2 より, bi-MT+ $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と bi-MT+ $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU は，IWSLT2017 ではベースライン性能を下回り，その他ではベースライン性能を上回った。また, 各翻訳方向でみると，約半数のケースでベースライン性能を下回っていることが確認できる.

対照的に, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ はベースラインに対して一貫して平均 BLEU が向上し，その向上幅は一貫して bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ および bi-MT+ $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ より大きい。また，各翻訳方向でみても，ASPEC-JC100k の Ja-Zh を除いて BLEU が向上したことが分かる.

以上より，日本語-英語および日本語-中国語の双方向翻訳において, Pan ら [1] の提案した補助タスク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した補助タスク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は単独では有効性が限定的であることと，両方を組み合わせて用いた MTL モデル bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は有効であることが示された.

## 4.4 恒等写像タスクとの比較実験

Luong ら [2] は独英翻訳において，ドイツ語文と英語文の恒等写像タスクを補助タスクとした MTL モデルが有効であることを示した．そこで，本研究でも日本語文と英語文/中国語文の恒等写像タスクを補助タスクIMとして導入する ${ }^{1)}$.

Luong ら [2] は翻訳タスクと補助タスクの混合比を $1: 0.05$ としたとき，MTL モデルの翻訳性能が最も高いことを報告している. 本研究でも同様の条件で実験を行うために，訓練に用いる各ミニバッチの全体が，ミニバッチの主タスクの 1.05 倍となるようにミニバッチを構成し, MTL モデル bi-MT+IM (1.05x)を訓練した. 各訓練データにおけるモデルの BLEU を表 2 に示す.

表 2 より, bi-MT+IM (1.05x) は一貫して平均 BLEU がべースラインを上回っていることが確認できる。 このことより，IMを補助タスクに用いることは本研究の実験条件においても有効であることが示された. しかし, bi-MT+ $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU と比較すると，一貫して bi-MT+IM (1.05x) の平均 BLEU のほうが低く, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ のほうがより有効性が高いことが分かる.

## 4.5 タスク混合比による性能変化

Luong ら [2] は独英翻訳と恒等写像の MTL モデルにおいて，タスク全体に占める恒等写像タスクの割合が高いときにモデルの翻訳性能が低下することを報告している．そのため，前節までのモデルにおいても，タスク混合比を調整することで性能が改善する可能性がある.

そこで, 本節では ASPEC-JE100k と ASPEC-JC100k を対象として, bi-MT+ST $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}, \quad$ bi-MT+ST $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$, bi$\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ について, タスク混合比を変えて実験を行い，タスク混合比の調整による性能向上を図る。

4.3 節では，ミニバッチを構成する主タスクと補助タスクの比を $10: 5$ としたが，本節では $10: 4$, $10: 3,10: 2,10: 1$ について実験を行った. 各開発データに対する各翻訳方向の算術平均 BLEU が

1）ただし, Luong ら [2] は恒等写像タスクの訓練データとして外部の単言語資源を用いているのに対して，本研究では外部の単言語資源を用いずに，恒等写像タスクの訓練データを対訳コーパスから作成するという点で異なる. また, 本研究とは異なり, Luong ら [2] は MTL モデルとして，複数のエンコーダおよび複数のデコーダから構成されるものを用いている.
表 2 ステミングを基本としたタスクまたは恒等写像タスクを補助タスクとして用いた MTL モデルの BLEU

最も高いモデルを $10: 5$ の場合も含めた 5 つのモデルから選択することで，最良のタスク混合比を選択した。実験の結果，ASPEC-JE100k の bi$\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ では $10: 1$ が, bi-MT+ST $\mathrm{f}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 2$ が, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 4$ が, ASPEC-JC100k の bi-MT+ST $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ では $10: 4$ が, bi-MT+ST $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 4$ が, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ では $10: 2$ が最良の混合比であることが分かった。最良の混合比におけるモデルの (テストデータに対する) BLEUを 4.3 節で実験した $10: 5$ の場合のモデルの BLEUとともに表 3 に示す.なお，表中の $\mathrm{E} / \mathrm{Z}$ は En/Zh の略記であり， $\Delta \mathrm{Ave}$. は各モデルの平均 BLEU とべースラインモデルの平均 BLEU の差を示す。また，各混合比における BLEU については付録 A. 1 に示す.

表 3 より, ASPEC-JE100k の bi-MT+ST $\mathrm{S}_{\mathrm{j} \rightarrow \mathrm{j}}$ を除いて，タスク混合比を調整したモデルの平均 BLEU が 4.3 節のモデルの平均 BLEU を上回っており，タスク混合比を調整することで MTL モデルの性能が向上することが示唆された. また，最良のタスク混合比のモデル同士で比較した場合でも， 4.3 節の結果と同様に, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ よりも, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の平均 BLEU のほうが高いという傾向がみられた.

## 5 おわりに

本研究では, 膠着語のニューラル機械翻訳のケー ススタディとして, 日本語-英語および日本語-中国語の双方向翻訳を対象とし, (1) Pan ら [1] の提案したモデルが日本語の翻訳においても有効であるかどうかの検証，(2) そのほかのステミングを基本としたタスクの提案，(3) 前項のタスクを補助タスクとした MTL モデルの有効性の評価，(4) MTL モデルのタスク混合比の調整を行った。

実験の結果から，日本語-英語および日本語-中国語の双方向翻訳においては，Pan ら [1] の提案した補助タスクに相当するタスク $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ を補助タスクとした MTL モデル bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ の有効性は限定的であることが示され， $\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}}$ と新たに提案した英語文/中国語文をソースとした日本語ステム列生成夕スク $\mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の両方を補助タスクとした MTL モデル $\mathrm{bi}-\mathrm{MT}+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ はベースラインに対する一貫した各翻訳方向の平均 BLEU の改善をもたらすことが示された. また, bi-MT+ST $\mathrm{Sij}_{\mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ は恒等写像夕スクを補助タスクとした MTL モデルより翻訳性能が高いことも実験により確かめた. さらに，双方向翻訳タスクと補助タスクの混合比を調整することによって前述のモデルの性能が更に向上することが示唆された。

今後の課題として，本研究で提案したモデルが他の言語対でも有効であるかの調査や，Pan ら [6] の提案したサブワード分割手法の導入，より翻訳性能を向上させる補助タスクの探究, bi-MT $+\mathrm{ST}_{\mathrm{j} \rightarrow \mathrm{j}} \& \mathrm{ST}_{\mathrm{f} \rightarrow \mathrm{j}}$ の補助タスクに外部の単言語資源を利用できるように逆翻訳 [16] を用いることが挙げられる。

## 謝辞

本研究は JSPS 科研費 19K11980 および $18 \mathrm{H} 01062$ の助成を受けた。

## 参考文献

[1] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. Multitask neural model for agglutinative language translation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop, pp. 103-110, Online, July 2020. Association for Computational Linguistics.

[2] Minh-Thang Luong, Quoc V. Le, Ilya Sutskever, Oriol Vinyals, and Lukasz Kaiser. Multi-task sequence to sequence learning. arXiv preprint arXiv:1511.06114, 2016.

[3] Anna Currey and Kenneth Heafield. Incorporating source syntax into transformer-based neural machine translation. In Proceedings of the Fourth Conference on Machine Translation (Volume 1: Research Papers), pp. 24-33, Florence, Italy, August 2019. Association for Computational Linguistics.

[4] Melvin Johnson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu, Zhifeng Chen, Nikhil Thorat, Fernanda Viégas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google's multilingual neural machine translation system: Enabling zero-shot translation. Transactions of the Association for Computational Linguistics, Vol. 5, pp. 339-351, 2017.

[5] Duygu Ataman, Matteo Negri, Marco Turchi, and Marcello Federico. Linguistically motivated vocabulary reduction for neural machine translation from turkish to english. The Prague Bulletin of Mathematical Linguistics, Vol. 108, pp. 331-342, 2017.

[6] Yirong Pan, Xiao Li, Yating Yang, and Rui Dong. Morphological word segmentation on agglutinative languages for neural machine translation. arXiv preprint arXiv:2001.01589, 2020.

[7] Graham Neubig. The Kyoto free translation task. http: //www. phontron. com/kftt, 2011.

[8] Mauro Cettolo, Marcello Federico, Luisa Bentivogli, Niehues Jan, Stüker Sebastian, Sudoh Katsuitho, Yoshino Koichiro, and Federmann Christian. Overview of the IWSLT 2017 evaluation campaign. In International Workshop on Spoken Language Translation, pp. 2-14, 2017.

[9] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper excerpt corpus. In Nicoletta Calzolari (Conference Chair), Khalid Choukri, Thierry Declerck, Marko Grobelnik, Bente Maegaard, Joseph Mariani, Asuncion Moreno, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Ninth International Conference on Language Resources and Evaluation (LREC 2016), pp. 2204-2208, Portorož, Slovenia, may 2016. European Language Resources Association (ELRA).

[10] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to Japanese morphological analysis. In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237, Barcelona, Spain, July 2004. Association for Computational Linguistics.

[11] Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris
Callison-Burch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar, Alexandra Constantin, and Evan Herbst. Moses: Open source toolkit for statistical machine translation. In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic, June 2007. Association for Computational Linguistics.

[12] Sun Junyi. jieba. https://github.com/fxsjy/jieba. Accessed: 2021-12-25.

[13] 形態素解析ツールの品詞体系. https:// www. unixuser.org/ euske/doc/postag/\#chasen. Accessed: 2021-12-24.

[14] Guillaume Klein, Yoon Kim, Yuntian Deng, Jean Senellart, and Alexander Rush. OpenNMT: Open-source toolkit for neural machine translation. In Proceedings of ACL 2017, System Demonstrations, pp. 67-72, Vancouver, Canada, July 2017. Association for Computational Linguistics.

[15] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[16] Rico Sennrich, Barry Haddow, and Alexandra Birch. Improving neural machine translation models with monolingual data. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 86-96, Berlin, Germany, August 2016. Association for Computational Linguistics.

## A 付録

## A. 1 各混合比における MTL モデルの翻訳性能

4.5 節で実験した各混合比における MTL モデルの翻訳性能 (BLEU) を表 4 に示す.