# ニューラル機械翻訳での目的言語側の文脈の効果的な利用

美野 秀弥 ${ }^{+}, \dagger+$ - 伊藤 均 $\dagger \cdot$ 後藤 功雄 $\dagger$ - 山田 一郎 $\dagger \cdot$ 德永 健伸 $\dagger \dagger$

本稿では, 文脈を考慮したニューラル機械翻訳の精度向上のため, 目的言語側の前文の参照訳と機械翻訳結果の両方を文脈情報として用いる手法を提案する。文脈と して，原言語側または目的言語側の周辺の文が利用できるが，目的言語側の周辺の 文を用いる手法は翻訳精度が下がることが報告されている。目的言語側の文脈を利用したニューラル機械翻訳では，学習時は参照訳を用い，翻訳時は機械翻訳結果を 用いるため, 参照訳と機械翻訳結果の特徴の異なり（ギャップ）が原因の 1 つと考 えられる。そこで，学習時と翻訳時の目的言語側の文脈情報のギャップを緩和する ために，学習時に用いる目的言語側の文脈情報を学習の進行に応じて参照訳から機械翻訳結果へ段階的に切り替えていく手法を提案する。時事通信社のニュースコー パスを用いた英日・日英機械翻訳タスクと，IWSLT2017の TED トークコーパスを 用いた英日 -日英, および英独・独英機械翻訳タスクの評価実験により, 従来の目的言語側の文脈を利用した機械翻訳モデルと比較して，翻訳精度が向上することを 確認した。

キーワード：ニューラル機械翻訳，文脈情報，Curriculum Learning
## Effective Use of Target-side Context for Neural Machine Translation

\author{
Hideya Mino ${ }^{\dagger, \dagger \dagger}$, Hitoshi $^{\dagger}$ Ito $^{\dagger}$, Isao Goto ${ }^{\dagger}$, Ichiro Yamada $^{\dagger}$ and \\ TAKEnobu Tokunaga ${ }^{\dagger \dagger}$
}

This paper proposes a method for a context-aware neural machine translation (NMT) using both the ground truth and the machine-translated previous sentences of the target-side. Through the progress made in a sentence-level NMT, a context-aware NMT has been rapidly developed to exploit previous sentences as context. Recent work in the context-aware NMT incorporates source- or target-side contexts. In contrast to the source-side context, the target-side context causes a gap between training that utilizes a ground truth sentence and a machine-translated sentence as context. This gap leads to translation quality deteriorating because the translation model is trained with only the ground truth data that cannot be used in the inference. The proposed method can make the translation model robust against mistakes and biases made at the inference. We confirmed the improvements of our proposed approach

compared to models using the previous approaches in English $\leftrightarrow$ Japanese and English $\leftrightarrow$ German translation tasks.

Key Words: Neural Machine Translation, Context Information, Curriculum Learning

## 1 はじめに

近年，ニューラルネットワークを活用した機械翻訳（ニューラル機械翻訳）(Vaswani et al. 2017; Bahdanau et al. 2015; Sutskever et al. 2014) は著しい精度の向上を実現している.ニュー ラル機械翻訳は通常，原言語一文を入力して目的言語への翻訳結果を出力するが，さらに翻訳精度を上げるため，翻訳対象の周辺の文を文脈情報として活用する手法が提案されている (Maruf et al. 2019; Voita et al. 2019; Agrawal et al. 2018; Bawden et al. 2018; Kuang et al. 2018; Läubli et al. 2018; Miculicich et al. 2018; Tiedemann and Scherrer 2017; Wang et al. 2017). 本稿では,特に目的言語側の前文を活用したニューラル機械翻訳の改善手法を提案する。文脈情報を用いる手法には原言語側や目的言語側の周辺の文を用いる手法があるが，文脈情報に目的言語側の周辺の文を用いる手法は翻訳精度が下がることが報告されている (Bawden et al. 2018). この翻訳精度の低下は，翻訳モデルの学習時と翻訳時で用いる周辺の文の特徴の異なり（ギャップ）が原因の 1 つと考えられる。従来研究では, 学習時は目的言語側の周辺の文の参照訳を使用し,翻訳時は翻訳モデルによって生成された機械翻訳結果を用いているが，機械翻訳結果には，参照訳には含まれない訳抜け，過剰訳，誤訳などの機械翻訳特有の誤り（機械翻訳誤り）が含まれる可能性がある。また，機械翻訳誤りが無い場合でも，機械翻訳結果は，Translationese（翻訳調）と呼ばれる偏りのある文となっている．Toral (2019) は，機械翻訳結果が人手翻訳で作られた翻訳文と比較して単純で標準的な翻訳になる傾向があることを示している。学習時と翻訳時でギャップのあるデータを用いることで生じるモデルの偏りは, exposure bias と呼ばれており (Ranzato et al. 2016), 翻訳品質の低下に繋がることが報告されている (Zhang et al. 2019).目的言語側の周辺の文の利用において，学習時に参照訳を用い，翻訳時に機械翻訳誤りを含み，翻訳調の特徴を有する機械翻訳結果を用いることは, exposure biasによる翻訳低下を引き起こすと考えられる。下記は, IWSLT2017で提供されている日英対訳データセット (Cettolo et al. 2012) から抽出した例であり, 翻訳対象の原言語文, 翻訳対象の参照訳, 翻訳対象の機械翻訳結果を示している。 さらに，文脈情報として，前文の参照訳と機械翻訳結果を示している。機械翻訳結果は，日英対訳データセットを Transformer モデル (Vaswani et al. 2017) で学習した機械翻訳器を用いて翻訳した。

前文の参照訳 : She lays eggs, she feeds the larvae - so an ant starts as an egg, then it's a larva.
前文の機械翻訳結果 : And when they get their eggs, they get their eggs, and the queen is there.

翻訳対象の原言語文：脂肪を吐き出して幼虫を育てます

翻訳対象の参照訳 : She feeds the larvae by regurgitating from her fat reserves.

翻訳対象の機械翻訳結果 : They take fat and they raise the larvae of their larvae.

翻訳対象の原言語文では主語が省略されており，この文のみで主語を推定することができず参照訳を生成することは困難である。しかし，前文の参照訳，または機械翻訳結果には主語を推定する情報（参照訳には“she”，機械翻訳結果には“queen”）が含まれており，目的言語側の前文を使うことで正しい翻訳ができる可能性がある。一方で，前文の参照訳と機械翻訳結果を比較すると機械翻訳結果には誤訳が含まれており，参照訳と機械翻訳結果との間にギャップがあることが分かる。誤訳のない参照訳のみを文脈情報として学習した翻訳モデルは文脈に含まれる誤訳に頑健でないと考えられ，参照訳と機械翻訳を学習時と翻訳時で別々に用いる手法は exposure biasによる翻訳精度低下を引き起こす可能性がある。

本稿では，スケジュールドサンプリング法 (Bengio et al. 2015) を参考にして，学習時と翻訳時の目的言語側の前文の特徴のギャップを緩和するための学習デー夕制御手法を提案する。具体的には, 初期の学習では従来手法と同様に文脈情報として目的言語側の前文に参照訳のみを用い，学習が進行するにつれて，段階的に参照訳から機械翻訳結果へ切り替えていく．この処理により，翻訳モデルが機械翻訳誤りに頑健になり，翻訳調の特徴に対応できるようになると期待できる。機械翻訳結果は, 対訳データを Transformer モデルで学習した機械翻訳器で生成する，実験では，提案手法を結合ベース文脈考慮型ニューラル機械翻訳 (Bawden et al. 2018; Tiedemann and Scherrer 2017) とマルチエンコーダ文脈考慮型ニューラル機械翻訳 (Kim et al. 2019; Bawden et al. 2018) で実装し，ニュースコーパス (田中他 2021)を用いた英日・日英機械翻訳タスク，およびIWSLT2017データセット (Cettolo et al. 2012) を用いた英日・日英，および英独・独英機械翻訳タスクで評価した。その結果, 提案手法が従来手法と比較して BLEU スコア (Papineni et al. 2002)により翻訳精度が改善していることを確認した。

本稿の構成は以下の通りである。まず， 2 章で提案手法が前提とする文脈考慮型ニューラル機械翻訳について述べ， 3 章で提案手法を説明する． 4 章で提案手法の効果を確認するための翻訳実験の詳細を示し， 5 章で翻訳実験の結果を示して提案手法の効果を分析する，6 章で関連研究について述べ, 最後に 7 章で本稿をまとめる.

## 2 文脈考慮型ニューラル機械翻訳

本節では，文脈考慮型ニューラル機械翻訳モデルの従来手法である，結合ベース文脈考慮型ニューラル機械翻訳と，マルチエンコーダ文脈考慮型ニューラル機械翻訳を説明する。

## 2.1 結合ベース文脈考慮型ニューラル機械翻訳

結合ベース文脈考慮型ニューラル機械翻訳 (Tiedemann and Scherrer 2017; Bawden et al. 2018) は，ニューラル機械翻訳モデルの構造を変えずに，翻訳対象の文と文脈情報との間に特殊なトー クン (_BREAK-) を挿入して結合してエンコーダに入力する。翻訳時に，翻訳対象の文の翻訳結果のみを出力するモデルを 2-to-1 モデル，翻訳対象の文に加えて文脈情報を併せて翻訳するモデルを 2-to-2 モデル1 と呼ぶ． 2-to-2 モデルでは，翻訳対象の文の翻訳結果と文脈情報の翻訳結果の間に特殊なトークンを併せて出力させることで, 出力から翻訳対象の文の翻訳結果のみを抽出できるようにする。李他 (2019) は，新聞デー夕を用いた日英・英日機械翻訳実験で 2-to-2 モデルと 2-to-1 モデルの比較を行い，2-to-1 モデルの方が翻訳精度が向上したことを報告しており，本稿でも事前実験の結果も踏まえて 2-to-1 モデルを用いた.

## 2.2 マルチエンコーダ文脈考慮型ニューラル機械翻訳

マルチエンコーダ文脈考慮型ニューラル機械翻訳 (Bawden et al. 2018; Kim et al. 2019) は,翻訳対象の文を入力とするエンコーダと，文脈情報を入力とするエンコーダを持つ．複数のエンコーダの出力べクトルは結合する必要があり，複数の出力べクトルを「どこで結合させるか」 と，「どのように結合させるか」の違いでいくつかのバリエーションがある.「どこで結合させるか」は，エンコーダの出力ベクトルをデコーダの内側と外側のどちらで結合するかを表す．Kim et al. (2019) は, エンコーダの出力ベクトルをデコーダの内側で結合したモデルの方が翻訳精度が高いことを示しており，本稿でもデコーダの内側で結合する手法を用いた.「どのように結合させるか」は，連結 (attention concatination), 重み付き和（attention gate），階層（hierarchical attention）の 3 種類がある (Bawden et al. 2018). 本稿では，事前実験で BLEU スコアの高かった重み付き和を用いた。重み付き和は，翻訳対象のベクトル $\mathbf{c}_{\mathrm{s}}$ と文脈のベクトル $\mathbf{c}_{\mathrm{r}}$ を用いて下記の式によりベクトル $\mathbf{c}$ を得る (Bawden et al. 2018).

$
\begin{gathered}
\mathbf{g}=\tanh \left(W_{r} \mathbf{c}_{\mathbf{r}}+W_{s} \mathbf{c}_{\mathbf{s}}\right)+\mathbf{b} \\
\mathbf{c}=\mathbf{g} \odot\left(W_{t} \mathbf{c}_{\mathbf{r}}\right)+(\overrightarrow{1}-\mathbf{g}) \odot\left(W_{u} \mathbf{c}_{\mathbf{s}}\right)
\end{gathered}
$

g は gating activation と呼ばれる，各ベクトルの要素の重要度の違いを表すべクトルである．b はバイアスベクトル $, W_{r}, W_{s}, W_{t}, W_{u}$ は重み行列である。はアダマール積を計算する.

## 3 提案手法

本節では，文脈を考慮した機械翻訳手法の一手法である目的言語側の文脈を考慮する機械翻
^{1}$ 2-to-1 は片言語の文脈があれば適用可能であるのに対し, 2-to-2 は対訳の文脈が必要となり, 適用範囲が異なる.
}
訳における，学習時と翻訳時に用いる目的言語側の文脈情報のギャップを低減することを目的としたサンプリング手法について説明する。

## 3.1 利用する文脈情報

学習時にニューラル機械翻訳のエンコーダに入力する目的言語側の文脈情報として, 前文の参照訳と機械翻訳結果の両方を用い，前節で示した 2 種類のアーキテクチャに適用する。翻訳対象が文書の先頭のときは，前文の情報がないため，特殊なトークン（_BOS_）を文脈情報として用いる。図 1 （a）は結合ベース文脈考慮型ニューラル機械翻訳に適用したモデルを示し，図 1（b）はマルチエンコーダ文脈考慮型ニューラル機械翻訳に適用したモデルを示している.翻訳対象である，文書中の $j$ 番目の原文のトークン列は $X^{j}$ で表す. 文脈情報として用いる，文書中の $j-1$ 番目の参照訳のトークン列は $\hat{Y}^{j-1}$ で表し, $j-1$ 番目の機械翻訳結果のトークン列は $\bar{Y}^{j-1}$ で表す。文脈情報として用いる機械翻訳結果は，学習時と翻訳時ともに文脈を考慮しないニューラル機械翻訳で生成する。図 1 の $p$ は 1 エポックの学習データに含まれる参照訳の割合を示し， $1-p$ が機械翻訳結果が含まれる割合となる． $p=0$ の場合は入力される文脈情報データの全てが機械翻訳, $p=1$ の場合は文脈情報データの全てが参照訳で学習されることになる。翻訳時は $p=0$ ，すなわち常に機械翻訳結果が文脈情報として用いられる．結合べース文脈考慮型ニューラル機械翻訳（図１（a））では，エンコーダが出力したべクトルがデコーダに入力される，マルチエンコーダ文脈考慮型ニューラル機械翻訳（図 1 （b））では，原文エンコーダと文脈エンコーダが出力した 2 つのべクトルを 1 つのべクトルに変換してからデコーダに入力し，デコーダを通して目的言語側の文のトークン列 $Y^{j}$ を得る.

## 3.2 サンプリング制御

学習データ内の目的言語側の文脈情報として，参照訳と機械翻訳結果のどちらを用いるかをサンプリングレート $p$ により制御するが，タスクや学習時の翻訳モデルの性能によって適切な

(a)

(b)

図 1 （a）結合ベース文脈考慮型ニューラル機械翻訳，（b）マルチエンコーダ文脈考慮型ニューラル機械翻訳

サンプリングレートは異なる。学習時において，目的言語側の文脈情報に機械翻訳結果を使う場合ではエンコードされた文脈情報ベクトルは訳抜け, 過剰訳, 誤訳など機械翻訳特有の誤り （機械翻訳誤り）を含み，翻訳モデルはこれらの機械翻訳誤りを考慮して学習される。一方，参照訳のみを使う場合では機械翻訳誤りがないので，文脈情報を効果的に利用するように翻訳モデルが学習されることが期待できる。翻訳時において，目的言語側の文脈情報に機械翻訳誤りのない参照訳を使うことができる場合では，学習時も同様に参照訳を使うことが望ましい。しかし，翻訳時には参照訳ではなく機械翻訳結果を用いるため，翻訳モデルは訳抜け，過剰訳，誤訳などが含まれた文脈を利用して翻訳することになる。さらに，機械翻訳結果は，機械翻訳誤りがない場合でも，Translationese（翻訳調）と呼ばれる偏りのある文であることが知られている. Toral (Toral 2019) は，機械翻訳は人手翻訳よりもシンプルかつ標準化された結果になる傾向にあると示しており，参照訳と機械翻訳結果は多様性の側面からも異なる特徴を有していると考えられる。

翻訳時と同じ特徴を有する目的言語側の文脈情報を使うという観点では機械翻訳結果を用いることが好ましいが，効果的な文脈の利用という観点では参照訳を用いることが好ましい，そこで，双方の利点を活かすために，特徴の異なる参照訳と機械翻訳結果の両方を用いて学習することを提案する。提案手法は，カリキュラム学習 (Bengio et al. 2009) とスケジュールドサンプリング (Bengio et al. 2015) のアプローチを参考にしてサンプリングを制御する. Bengio et al. (2015) は, 学習時に, Recurrent neural networkに入力する直前のトークンとしてモデルの出力と正解のどちらを用いるかをサンプリング制御したのに対し，本稿ではこの手法を，目的言語側の文脈情報として機械翻訳の出力と正解のどちらを用いるかのサンプリング制御に応用する. この手法は, 下記の手順により学習エポックごとに, 入力に用いる文脈情報を変更することで,翻訳モデルを段階的に機械翻訳誤り，および翻訳調に対応させる。学習エポック数 $l$ に対応したサンプリングレートを $p_{l}$ とする.

（1） 1 エポック目 $(l=1)$ の学習はサンプリングレートを $p_{1}=1$ とし，目的言語側の文脈情報には全て参照訳を用いる。

（2） 2 エポック目 $\left(l \geq 2 ）\right.$ 以降の学習はサンプリングレート $p_{l}$ を下記の逆シグモイド関数により減少させる.

$
p_{l}=\frac{k}{k+\exp (l-2 / k)}
$

$k(\geq 1)$ は $p$ の減少スピードを制御するハイパーパラメータである. 1 エポック終了時の翻訳モデルの性能が高いのであれば $k$ の値を 1 に近づけ, 2 エポック目以降の学習デー夕内の機械翻訳の割合を増やす。上記の手順により，翻訳誤りに頑健で翻訳調の特徴に対応した翻訳モデルの学習を実現する。

## 4 評価実験

本節では，提案手法の効果を確認するための機械翻訳実験について述べる.

## 4.1 データ

実験では，下記の 2 種類のコーパスを用いる．表 1 に各データセットのデータ数と記事数を示す.

$
\text { ニュースコーパス }
$

時事通信社のニュース記事を利用して開発された日英ニュース対訳コーパス (田中他 2021)の一部を用いた. このコーパスは日本語のニュース記事の一部を文単位で人手翻訳している。本実験では，ニュースタイトルを除きニュース本文を利用した。コーパス中の 1 記事あたりの平均文数は 8 文であった.

TED トークコーパス

IWSLT2017 (Cettolo et al. 2012) で公開されている TED の字幕対訳コーパスを用いた.

開発データセットは“dev2010”を用いた。テストセットは英日・日英機械翻訳タスクについては“tst2014”を用い, 英独・独英機械翻訳タスクについては“tst2015”を用いた. コーパス中の 1 記事あたりの平均文数は 119 文であった.

## 4.2 文脈の利用

2 章で述べた結合ベース文脈考慮型ニューラル機械翻訳（図 1 (a)）とマルチエンコーダ文脈考慮型ニューラル機械翻訳（図 1 （b））の２種類の文脈考慮型ニューラル機械翻訳を用いた.目的言語側の文脈情報には翻訳対象の文の 1 つ前の文を利用した.

## 4.3 詳細設定

英語とドイツ語のデータのクリーニング, および単語分割には Moses toolkit ${ }^{2}$ の clean-corpus-

表 1 コーパスの統計情報.

n.perl ${ }^{3}$, tokenizer.perl ${ }^{4}$ を用いた。日本語の形態素解析には, KyTea (Neubig et al. 2011)を利用した。各タスクで語彙数を制限するため, バイトペア符号化（byte pair encoding）を用いたサブワード (Sennrich et al. 2016) を用いた。語彙数は 48,000 とし，頻度が 35 以下の語彙はサブワー ドに分割した。データ内の長大語は特別な処理を行わなかった ${ }^{5}$. 結合べース文脈考慮型ニュー ラル機械翻訳には， Transformer モデル (Vaswani et al. 2017) のエンコーダとデコーダを用いた. Transformer モデルは, レイヤを複数層スタックしたモデルであり, multi-head attention 層と position-wise feed-forward 層のサブレイヤを有する．原言語文と目的言語側の文脈情報が結合された単語列をエンコーダが中間表現であるべクトルに変換し，デコーダがそのべクトルを用いて翻訳結果となる目的言語文を生成する。マルチエンコーダ文脈考慮型ニューラル機械翻訳についても，Transformer モデルを用い，Littell et al. (2019)のアーキテクチャを基に実装した。結合ベース文脈考慮型ニューラル機械翻訳とマルチエンコーダ文脈考慮型ニューラル機械翻訳のいずれも Sockeye toolkit (Hieber et al. 2018)を用いて実装した。

本稿のモデルの学習には Adam (Kingma and Ba 2015) を optimizer として用い，学習率は 0.0002 とした. バッチ内のデータは 5,000 トークン以内になるように構築した。学習時の各エンコーダへの入力の最大長は，結合ベース文脈考慮型ニューラル機械翻訳では 200 トークン, マルチエンコーダ文脈考慮型ニューラル機械翻訳では原文エンコーダ，文脈エンコーダともに 100 トークンに制限した 6 . 翻訳時の各エンコーダへの入力の最大長は設定しなかった。 その他のハイパーパラメータの設定は Sockeye toolkit のデフォルト値に従った. Early stopping を設定し，patienceの値を 32 とした．翻訳時は，ビームサーチを用い，ビーム幅を 5 とした。式 3 のハイパーパラメータ $k$ は 2 とした。学習, 翻訳ともに, Nvidia P100 Tesla GPUを用いて計算を行った。翻訳性能の比較には，ランダムシードの異なる 5 つのモデルを学習してそれぞれのモデルが出力した翻訳結果の BLEU スコア (Papineni et al. 2002)の中央値を用いた. BLEU スコアには, case-insensitive BLEU-4 を用い, multi-bleu.perl7で計算した. また, サンプル数を 10,000 に設定した paired-bootstrap.py8を用い，BLEU スコアにおける提案手法と他手法との有意差を調べた。

## 4.4 比較手法

提案手法との比較を行うために本稿で用いた比較手法（表 2）を説明する.
^{3}$ https://github.com/moses-smt/mosesdecoder/blob/master/scripts/training/clean-corpus-n.perl

4 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl

5 頻度などの設定条件に従い，バイトペア符号化によりサブワード分割される.

6 結合ベース文脈考慮型ニューラル機械翻訳は，原文と文脈の合計が 200 トークン以内であれば学習データとして用いるため, マルチエンコーダ文脈考慮型ニューラル機械翻訳よりも学習データの数は $6 \sim 153$ データ多くなった.

7 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/generic/multi-bleu-detok.perl

 }^{8}$ https://github.com/neubig/util-scripts/blob/master/paired-bootstrap.py


 \\

表 2 比較手法.

文レベル機械翻訳（Single-Sentence）

文脈として目的言語側の前文を考慮することによる効果を知るために，文脈を考慮しない機械翻訳手法を比較手法とした。翻訳対象のみをエンコーダに入力してデコーダが翻訳結果を出力する。 Transformer モデルのニューラル機械翻訳を用いた.

文脈考慮型機械翻訳（Src-Context， Trg-Context）

文脈を考慮する機械翻訳手法として，原言語側の情報を用いる手法 (Agrawal et al. 2018;

Bawden et al. 2018) と目的言語側の情報を用いる手法 (Bawden et al. 2018) がある. 両方の情報を併用することもできるが，本稿ではどちらの情報が有効であるかを比較するために，原言語側の情報を用いた場合（Src-Context）と目的言語側の情報を用いた場合 （Trg-Context）のそれぞれを比較手法とした。目的言語側の情報を用いる手法では，参照訳と機械翻訳結果のいずれかを用いることができるため，それぞれを用いた手法（TrgContext GT，Trg-Context Pred.）を比較した。文脈情報は，提案手法と同様に翻訳対象の文の 1 つ前の文を利用した. Src-Context, Trg-Context GT, Trg-Context Pred. ともに，結合ベース文脈考慮型ニューラル機械翻訳とマルチエンコーダ文脈考慮型ニューラル機械翻訳の 2 種類のシステムに適用した.

## 5 実験結果

ニュースコーパスを用いた英日・日英機械翻訳実験の結果，および TED トークコーパスを用いた英日・日英, 英独・独英機械翻訳実験の結果を表 3 に示す. 文脈を用いない手法（SingleSentence), 原言語側の前文を用いた手法 (Src-Context)，目的言語側の前文として，参照訳を用いて学習した手法 (Trg-Context GT), 機械翻訳結果を用いて学習した手法 (Trg-Context Pred.),参照訳と機械翻訳結果の両方を用いて学習した提案手法, それぞれの BLEU スコアを示している.

表 3 原言語側，または目的言語側の文脈情報を用いた,ニュースコーパスの英日・日英機械翻訳 (EN-JA, JA-EN）の実験結果（上部）およびTED トークコーパスの英日・日英機械翻訳 (EN-JA, JA-EN),英独・独英機械翻訳（EN-DE，DE-EN）の実験結果（下部）、vanilla は文脈を用いないニューラル機械翻訳, concat. は結合ベース文脈考慮型ニューラル機械翻訳, multi-enc. はマルチエンコーダ文脈考慮型ニューラル機械翻訳を表している．Src，Trg GT，Trg MT は，学習時に用いた文脈情報として，原言語側の前文，目的言語側の参照訳，目的言語側の機械翻訳結果を用いたことを表して

Trg-Context GT, Trg-Context Pred. と比較して有意に BLEU スコアが高いことを示している（有意水準 $\alpha=0.05$ ). Src-Context, Trg-Context GT, Trg-Context Pred については同じシステム内 (concat.または multi-enc.) での比較とした.

## 5.1 提案手法の有効性の検証

提案手法と，文脈を考慮しないニューラル機械翻訳，目的言語側の前文を用いた手法，および原言語側の前文を用いた手法とを比較することで提案手法の有効性を検証する。

先ず，提案手法と，文脈を用いないニューラル機械翻訳（Single-Sentence）とを比較する。表 3
より，結合ベース文脈考慮型ニューラル機械翻訳（concat.）を用いた場合は,ニュースコーパス日英機械翻訳と TED トークコーパス英日・日英機械翻訳以外のタスクにおいて提案手法の BLEU スコアが有意に高かった. マルチエンコーダ文脈考慮型ニューラル機械翻訳 (multi-enc.) を用いた場合は，全てのタスクにおいて提案手法の BLEU スコアが有意に高かった。

次に，目的言語側の前文を用いた手法間の比較として，提案手法と，参照訳のみを用いて学習した手法（Trg-Context GT），および機械翻訳結果のみを用いて学習した手法（Trg-Context Pred.）とを比較する，表 3 より，結合ベース文脈考慮型ニューラル機械翻訳（concat.）を用いた場合は，TEDトークコーパスの英独機械翻訳の Trg-Context GT との比較では同じ BLEU スコアだったが，それ以外では提案手法の BLEU スコアが高く，一部のタスクでは有意に高かった。マルチエンコーダ文脈考慮型ニューラル機械翻訳（multi-enc.）を用いた場合は，全タスクにおいて提案手法の BLEU スコアが高く，一部のタスクでは有意に高かった.

最後に，提案手法と，原言語側の前文を用いた手法（Src-Context）とを比較する。表 3 より， マルチエンコーダ文脈考慮型ニューラル機械翻訳（multi-enc.）を用いた場合は，全タスクにおいて提案手法の BLEU スコアの方が高く, TED トークコーパスの英日, 独英機械翻訳タスクでは有意に高かった．先行研究では目的言語側の文脈の利用により翻訳精度が低下することが報告されていたが (Bawden et al. 2018)， multi-enc. を用いた提案手法では，文脈を用いていない手法と比較して有意に BLEU スコアが高かっただけでなく, Src-Context と比較しても全タスクで BLEU スコアが高くなっており，Src-Context と同等以上の効果が得られた。原言語側の前文を用いる手法と目的言語側の前文を用いる手法は異なる情報を用いており，競合するものではなく，条件によって一方のみが利用可能である場合や，併用が可能である場合が考えられる．上記の比較により，提案手法の有効性を確認した.

## 5.2 目的言語側の前文に機械翻訳結果のみを用いる影響の考察

表 3 より，目的言語側の前文に機械翻訳結果のみを用いた手法（Trg-Context Pred.）の BLEU スコアは，提案手法よりも低かっただけでなく，結合べース文脈考慮型ニューラル機械翻訳 (concat.）を用いたニュースコーパスの日英機械翻訳タスクと TED トークコーパスの英日・日英, 英独機械翻訳タスクでは, 文脈を考慮しない Transformer モデル（Single-Sentence）よりも低かった．Trg-Context Pred.は，学習時，翻訳時ともに機械翻訳結果を用いており exposure bias による影響を回避できているが，BLEU スコアが低かった理由について考察する．表 3 の参照訳のみを用いて学習した手法（Trg-Context GT）は, 学習時に参照訳, 翻訳時に機械翻訳結果を用いているが，Trg-Context GT の翻訳時に参照訳を用いることで，Trg-Context Pred. と同様に exposure biasによる影響を回避することができる。Trg-Context GT の翻訳時に目的言語側の前文として参照訳を用いた結果は，後で説明する「exposure biasの影響の考察」（表 4 の一番下の行）で示しており，Trg-Context Pred.の結果と比較して BLEU スコアが高い. 両者の

表 4 学習時と翻訳時両方ともに目的言語側の前文の参照訳を用いた実験結果（BLEU スコア）との比較. マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いた。目的言語側の前文の機械翻訳の出力には Single-Sentence の出力を用いた。†は Single-Sentence と比較して有意に BLEU スコアが高いことを示している（有意水準 $\alpha=0.05 ）$.

違いは，翻訳時に目的言語側の前文として機械翻訳結果を用いたか，参照訳を用いたかの違いであり，これらの訳質の違いであるといえる。以上より, Trg-Context Pred. の BLEU スコアが低かった理由は，文脈として利用している目的言語側の前文の機械翻訳結果の訳質が低いために，文脈情報を効果的に利用するように学習することが困難であったためと考えられる．

提案手法は, 学習の初期に訳質の高い参照訳を用いて文脈情報を効果的に利用する方法を学習した上で, 段階的に機械翻訳の出力に置き換えることで, 文脈情報の効果的な利用と exposure bias の影響の回避を両立したと考えられる。提案手法の学習終了時の学習データ内に含まれる参照訳の割合は 9\%（学習終了時のエポック数が8の場合），または 6\%（学習終了時のエポック数が 9 の場合）であり ${ }^{9}$, 学習終了時には exposure biasの影響がほぼ無い学習を行っている.

## 5.3 Exposure bias の影響の考察

提案手法は exposure biasの問題を緩和するための手法であるが，仮に，学習時，翻訳時ともに目的言語側の文脈に参照訳を用いた場合も，exposure biasの問題は起こらないといえる。そこで, exposure biasの影響を考察するために，翻訳時に目的言語側の前文として， exposure bias の影響がない参照訳を用いた場合の結果を表 4 に示す。機械翻訳器は，マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いた。翻訳時の文脈情報に参照訳を用いた Trg-Context GT は， exposure bias の問題が起こると考えられる機械翻訳の出力（Single-Sentence の出力）を用いた Trg-Context GT と比較して, 全てのタスクで BLEU スコアが高かった. また, Single-Sentence との比較では，翻訳時の文脈情報に機械翻訳結果を用いたTrg-Context GT はニュースコーパスの日英機械翻訳タスクと TED トークコーパスの英独・独英機械翻訳タスクのみで有意に BLEU スコアが高かったが，参照訳を用いた Trg-Context GT は全てのタスクで有意に BLEU スコアが高いことを確認できた，以上の結果より，翻訳時に目的言語側の前文として利用した機械翻訳結果と参照訳の違いが翻訳精度に影響していると言え, これが exposure biasの影響と考えることができる.


## 5.4 翻訳時に自身の機械翻訳結果を用いた場合の効果の考察

提案手法は, exposure biasの影響の緩和を目的とし, 学習時の目的言語側の前文として参照訳と事前に用意した機械翻訳の出力（Single-Sentence の出力）をサンプリング制御しながら用い，翻訳時の目的言語側の前文としても同様の Single-Sentence の出力を用いることを前提とした。目的言語側の前文には，他の選択肢として，学習時と翻訳時ともに Single-Sentenceの出力の代わりに自身の機械翻訳結果を用いることも考えられる。自身の出力を用いる場合には，文書単位で 1 文ずつ順番に機械翻訳する必要があり，文書内の文を並列に翻訳できないという問題がある. さらに，学習時にはモデルの更新ごとに機械翻訳する必要がある。一方で, 「目的言語側の前文に機械翻訳結果のみを用いる影響の考察」で示したように文脈情報として用いる機械翻訳結果の訳質も翻訳精度に影響することから, 目的言語側の前文として, Single-Sentenceの出力の代わりに，訳質の高い自身の出力を用いることで，翻訳精度の向上が期待できる。学習時の自身の出力の利用は困難であるが，翻訳時であれば自身の出力を用いることが可能である. そこで, Trg-Context Pred.の翻訳時には目的言語側の前文として Trg-Context Pred.の出力を用い，提案手法の翻訳時には目的言語側の前文として提案手法の出力を用いた場合の結果を表 5 に示す. 機械翻訳器は, マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いた。 Trg-Context Pred., および提案手法のいずれにおいても, 自身の前文出力を利用することで, 一部のタスクで有意に BLEU スコアが高く，かつ BLEU スコアが低下したタスクはなく，これらは訳質の向上によるものと考えられる，以上の結果より，翻訳速度を優先する場合は Single-Sentence の出力を用い，翻訳品質を優先する場合は自身の出力を用いればよい.

## 5.5 事例を用いた考察

表 6 に，TEDトークコーパスを用いた日英タスクの出力例を示す. 上段（点線の上）には, 目的言語側の前文の参照訳と機械翻訳結果 (MT-OUT), 翻訳対象の日本語文と参照訳を示し, 下段（点線の下）には，各手法による翻訳結果を示す。機械翻訳器は，マルチエンコーダ文脈考慮型ニューラル機械翻訳を用いた。例文の翻訳対象の日本語文には，ゼロ代名詞が含まれ，かつ，

} & \multicolumn{2}{|c|}{ ニュースコーパス } & \multicolumn{4}{|c|}{ TED トークコーパス } \\

表 5 目的言語側の前文の自身の機械翻訳結果を用いた実験結果 (BLEU スコア）との比較. マルチエンコー ダ文脈考慮型ニューラル機械翻訳を用いた。†は翻訳時に目的言語側の前文として Single-Sentence の出力を用いた場合と比較して有意に BLEU スコアが高いことを示している（有意水準 $\alpha=0.05 ）$

 &  \\

表 6 TED トークコーパスを用いた日英機械翻訳実験の翻訳結果例（上段：入力と参照訳, 下段：各手法の結果).
目的言語側の文から代名詞を推定できると考えられるものを選んだ。最初の例（\#1）は，同じ文 ("We choose to go to the moon.") が 2 度続くケースであり, 代名詞 ("We =私たち”) が省略されている。翻訳対象文では，文の主語である“We＝私たち”が省略されており，文脈を考慮しない機械翻訳（Single-Sentence）は主語を誤って翻訳した。一方，文脈を考慮した機械翻訳では 4 つとも主語を適切に補完して翻訳した， 2 番目の例（＃2）は，前文が長文の例であり，代名詞 ( "him =彼”) が省略されている. 文脈を考慮しない機械翻訳では代名詞を補完せずに翻訳した。文脈考慮型機械翻訳では，原言語側の前文を用いた手法（Src-Context）と提案手法は代名詞を正しく補完して翻訳しているが，目的言語側の前文を用いたその他の手法（Trg-Context GT，Trg-Context Pred.）では，誤った代名詞を補完して翻訳した．前文が長文になるとエンコーダが目的言語側の文脈を適切に処理することが困難となる。この例は, Trg-Context GT, Trg-Context Pred.において，エンコーダが適切に処理できなかった例であると考えられる． 3 番目の例 $(\# 3)$ は, 代名詞 ("his =彼”) が省略されている. 提案手法のみが代名詞を適切に補完して翻訳している。

## 6 関連研究

機械翻訳において文脈の情報は, 語彙, 時制, 指示詞, 省略などの文間の表現の一貫性を保持する上で重要である (Bawden et al. 2018; Läubli et al. 2018; Müller et al. 2018; Voita et al. 2018).加えて，翻訳する上で対応する必要が出てくるゼロ照応解析 (Okumura and Tamura 1996; Iida et al. 2016) や語義曖昧性の解消などにも文脈は有効な情報となる. 多くの文脈考慮型のニュー ラル機械翻訳は, 翻訳対象の文だけでなく, 原言語側の文脈, 目的言語側の文脈, またはその両方を入力できるようなモデルとなっている (Tiedemann and Scherrer 2017; Agrawal et al. 2018; Bawden et al. 2018; Kim et al. 2019). Bawden et al. (2018)は, 原言語側, および目的言語側の前文を文脈情報として用いた手法を提案し，それぞれの効果を比較した. Agrawal et al. (2018) は，原言語側，および目的言語側の複数の前文，および後文を文脈情報として用いる手法を提案した. Bawden et al. (2018)は，目的言語側の前文を用いる手法では，学習時に前文の参照訳を，翻訳時には機械翻訳結果を用いて実験を行い，目的言語側の文脈情報の効果が低かったことを報告している. Agrawal et al. (2018)は, 目的言語側の文脈を使うと誤差が伝搬することで性能が劣化することを報告している．また，複数の文脈情報を使うことで翻訳品質が向上する場合があるが，膨大なメモリと計算量が必要となる傾向があることを報告している．本稿では，先行研究で指摘された目的言語側の文脈を用いることで性能が劣化した原因を推定し，その問題を低減する手法を提案している.

文脈考慮型ニューラル機械翻訳の実装方法には，結合ベース文脈考慮型ニューラル機械翻訳 (Tiedemann and Scherrer 2017; Bawden et al. 2018) とマルチエンコーダ文脈考慮型ニューラル機
械翻訳 (Bawden et al. 2018; Kim et al. 2019) がある。Tiedemann and Scherrer (2017) は，前文と翻訳対象の原文の間に特殊なトークン（_BREAK_）を挿入して結合して単体のエンコーダに入力することを提案した. Bawden et al. (2018) は，マルチエンコーダ NMT (Zoph and Knight 2016; Libovický and Helcl 2017; Wang et al. 2017)を拡張し，原言語側の前文と翻訳対象の文とを別々のエンコーダに入力することを提案した．マルチエンコーダ文脈考慮型ニューラル機械翻訳は，各エンコーダの出力ベクトルを連結（attention concatination），重み付き和（attention gate）,階層（hierarchical attention）のいずれかにより結合する. Kim et al. (2019) は，各エンコーダの出力ベクトルの結合をデコーダの前段，またはデコーダ内で行うことができることを示し，その違いを調査した，本稿では，先行研究と同様に結合べース文脈考慮型ニューラル機械翻訳とマルチエンコーダ文脈考慮型ニューラル機械翻訳を用いているが，先行研究は目的言語側の文脈として参照訳を用いているのに対して，本稿では機械翻訳結果を用いて exposure bias を低減している点において異なる。

本稿の提案手法はスケジュールドサンプリング法 (Bengio et al. 2015) を参考にしている.

Bengio らは，イメージキャプショニング，構文解析，音声認識のタスクに対して，自己回帰型の言語モデルの最尤推定学習時と推論時との間のギャップの問題を解決するためにスケジュールドサンプリング法を提案した. Ranzato et al. (2016)は, このギャップを exposure bias と呼び，文書要約, 機械翻訳, イメージキャプショニングのタスクに対して, exposure biasの問題を解決するために評価尺度を報酬として用いる強化学習の手法を提案した. Zhang et al. (2019) は, リカレントニューラルネットワーク (RNN) ベースのニューラル機械翻訳における exposure bias の問題を解決するために減衰を用いたサンプリング法を提案し，参照訳のトークンと予測トー クンのいずれかを確率的にサンプリングして用いることで学習時と翻訳時のギャップを効果的に削減することを示した. Ranzato et al. (2016) と Zhang et al. (2019) は，文脈を考慮しない機械翻訳においてスケジュールドサンプリング法を学習時に用いて直前の履歴のトークンの選択に利用している。これに対して，本稿では，文脈を考慮する機械翻訳において，スケジュールドサンプリング法を学習時に文脈として用いる文の選択に利用している.

## 7 まとめ

本稿では，文脈考慮型ニューラル機械翻訳において，目的言語側の文脈を効果的に利用する手法を提案した，提案手法では，学習時と翻訳時の間にある目的言語側の前文のギャップ （exposure bias）の問題の解消を目的とし, 目的言語側の参照訳と機械翻訳結果の両方を用いて, スケジュールドサンプリング法で学習データを制御した。結合べース文脈考慮型ニューラル機械翻訳とマルチエンコーダ文脈考慮型ニューラル機械翻訳を用いて提案手法を実装し，英日・日英，および英独・独英の機械翻訳タスクで評価した。実験により，BLEU スコアにおいて提
案手法の有効性を確認した. 今後の課題として, 提案手法の各タスクにおける最適なハイパー パラメーター値の調査と, 目的言語側と原言語側の周辺の複数文を併用した手法に取り組む予定である.

## 謝 辞

本稿は国際会議 The 28th International Conference on Computational Linguistics (COLING2020) で発表した論文 (Mino et al. 2020)に基づいて日本語で書き直し, 説明を追加したものである.本研究成果は, 国立研究開発法人情報通信研究機構 (NICT) の委託研究「多言語音声翻訳高度化のためのディープラーニング技術の研究開発」により得られたものである.ここに謝意を表する．また，有意義なコメントを頂いた査読者のみなさま，日頃熱心にご討論頂いている NHK 放送技術研究所スマートプロダクション研究部のみなさま，特に本稿をまとめるにあたり多くのコメントを頂いた衣川和克氏に感謝を表する。

## 参考文献

Agrawal, R., Turchi, M., and Negri, M. (2018). "Contextual Handling in Neural Machine Translation: Look Behind, Ahead and on Both Sides." In Proceedings of the 21st Annual Conference of the European Association for Machine Translation, pp. 11-20, Alacant, Spain. European Association for Machine Translation.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In 3rd International Conference on Learning Representations, ICLR 2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings.

Bawden, R., Sennrich, R., Birch, A., and Haddow, B. (2018). "Evaluating Discourse Phenomena in Neural Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1304-1313, New Orleans, Louisiana. Association for Computational Linguistics.

Bengio, S., Vinyals, O., Jaitly, N., and Shazeer, N. (2015). "Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks." In Cortes, C., Lawrence, N. D., Lee, D. D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 28, pp. 1171-1179. Curran Associates, Inc.

Bengio, Y., Louradour, J., Collobert, R., and Weston, J. (2009). "Curriculum Learning." In Danyluk, A. P., Bottou, L., and Littman, M. L. (Eds.), ICML, Vol. 382 of ACM International

Conference Proceeding Series, pp. 41-48. ACM.

Cettolo, M., Girardi, C., and Federico, M. (2012). "WIT": Web Inventory of Transcribed and Translated Talks." In Proceedings of the $16^{\text {th }}$ Conference of the European Association for Machine Translation (EAMT), pp. 261-268, Trento, Italy.

Hieber, F., Domhan, T., Denkowski, M., Vilar, D., Sokolov, A., Clifton, A., and Post, M. (2018). "The Sockeye Neural Machine Translation Toolkit at AMTA 2018." In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Papers), pp. 200-207, Boston, MA. Association for Machine Translation in the Americas.

Iida, R., Torisawa, K., Oh, J.-H., Kruengkrai, C., and Kloetzer, J. (2016). "Intra-Sentential Subject Zero Anaphora Resolution using Multi-Column Convolutional Neural Network." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1244-1254, Austin, Texas. Association for Computational Linguistics.

Kim, Y., Tran, D. T., and Ney, H. (2019). "When and Why is Document-level Context Useful in Neural Machine Translation?" In Proceedings of the 4th Workshop on Discourse in Machine Translation, DiscoMT@EMNLP 2019, Hong Kong, China, November 3, 2019, pp. 24-34.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In International Conference on Learning Representations (ICLR).

Kuang, S., Xiong, D., Luo, W., and Zhou, G. (2018). "Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches." In Proceedings of the 27th International Conference on Computational Linguistics, pp. 596-606, Santa Fe, New Mexico, USA. Association for Computational Linguistics.

Läubli, S., Sennrich, R., and Volk, M. (2018). "Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4791-4796, Brussels, Belgium. Association for Computational Linguistics.

Libovický, J. and Helcl, J. (2017). "Attention Strategies for Multi-Source Sequence-to-Sequence Learning." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 196-202, Vancouver, Canada. Association for Computational Linguistics.

Littell, P., Lo, C.-k., Larkin, S., and Stewart, D. (2019). "Multi-Source Transformer for KazakhRussian-English Neural Machine Translation." In Proceedings of the 4th Conference on Machine Translation (Volume 2: Shared Task Papers, Day 1), pp. 267-274, Florence, Italy. Association for Computational Linguistics.

Maruf, S., Martins, A. F. T., and Haffari, G. (2019). "Selective Attention for Context-aware Neural Machine Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 3092-3102, Minneapolis, Minnesota. Association for Computational Linguistics.

Miculicich, L., Ram, D., Pappas, N., and Henderson, J. (2018). "Document-Level Neural Machine Translation with Hierarchical Attention Networks." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 2947-2954, Brussels, Belgium. Association for Computational Linguistics.

Mino, H., Tanaka, H., Ito, H., Goto, I., Yamada, I., and Tokunaga, T. (2020). "ContentEquivalent Translated Parallel News Corpus and Extension of Domain Adaptation for NMT." In Proceedings of The 12th Language Resources and Evaluation Conference, pp. 3616-3622, Marseille, France. European Language Resources Association.

Müller, M., Rios, A., Voita, E., and Sennrich, R. (2018). "A Large-Scale Test Set for the Evaluation of Context-Aware Pronoun Translation in Neural Machine Translation." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 61-72, Brussels, Belgium. Association for Computational Linguistics.

Neubig, G., Nakata, Y., and Mori, S. (2011). "Pointwise Prediction for Robust, Adaptable Japanese Morphological Analysis." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 529-533, Portland, Oregon, USA. Association for Computational Linguistics.

Okumura, M. and Tamura, K. (1996). "Zero Pronoun Resolution in Japanese Discourse Based on Centering Theory." In COLING 1996 Volume 2: The 16th International Conference on Computational Linguistics, pp. 871-876, Copenhagen, Denmark.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

Ranzato, M., Chopra, S., Auli, M., and Zaremba, W. (2016). "Sequence Level Training with Recurrent Neural Networks." In Bengio, Y. and LeCun, Y. (Eds.), 4th International Conference on Learning Representations, ICLR 2016, San Juan, Puerto Rico, May 2-4, 2016, Conference Track Proceedings.

李凌寒, 中澤敏明, 鶴岡慶雅 (2019). 文脈情報を考慮した日英ニューラル機械翻訳. 言語処理学会第 25 回年次大会, pp. 101-104. [R. Ri et al. (2019). Bunmyaku Jyoho wo Koryo shita

Nichiei Nyuraru Kikaihonyaku. Proceedings of the 25th Annual Meeting of the Association for Natural Language Processing, pp. 101-104.].

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association for Computational Linguistics.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2, NIPS'14, pp. 3104-3112, Cambridge, MA, USA. MIT Press.田中英輝, 中澤敏明, 美野秀弥, 伊藤均, 後藤功雄, 山田一郎, 川上貴之, 大嶋聖一, 朝賀英裕 (2021). 時事通信社ニュースの日英対訳コーパスの構築一第 3 報. 言語処理学会第 27 回年次大会, pp. 228-231. [H. Tanaka et al. (2021). Jiji Tsushinsha Nyusu no Nichiei Taiyaku Kopasu no Kochiku: The 3rd Report. Proceedings of the 27th Annual Meeting of the Association for Natural Language Processing, pp. 228-231.].

Tiedemann, J. and Scherrer, Y. (2017). "Neural Machine Translation with Extended Context." In Proceedings of the 3rd Workshop on Discourse in Machine Translation, pp. 82-92, Copenhagen, Denmark. Association for Computational Linguistics.

Toral, A. (2019). "Post-editese: an Exacerbated Translationese." In Proceedings of Machine Translation Summit XVII Volume 1: Research Track, pp. 273-281, Dublin, Ireland. European Association for Machine Translation.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 30, pp. 5998-6008. Curran Associates, Inc.

Voita, E., Sennrich, R., and Titov, I. (2019). "Context-Aware Monolingual Repair for Neural Machine Translation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 877-886, Hong Kong, China. Association for Computational Linguistics.

Voita, E., Serdyukov, P., Sennrich, R., and Titov, I. (2018). "Context-Aware Neural Machine Translation Learns Anaphora Resolution." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1264-1274, Melbourne, Australia. Association for Computational Linguistics.

Wang, L., Tu, Z., Way, A., and Liu, Q. (2017). "Exploiting Cross-Sentence Context for Neu-
ral Machine Translation." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 2826-2831, Copenhagen, Denmark. Association for Computational Linguistics.

Zhang, W., Feng, Y., Meng, F., You, D., and Liu, Q. (2019). "Bridging the Gap between Training and Inference for Neural Machine Translation." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 4334-4343, Florence, Italy. Association for Computational Linguistics.

Zoph, B. and Knight, K. (2016). "Multi-Source Neural Translation." In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 30-34, San Diego, California. Association for Computational Linguistics.

## 略歴

美野秀弥：2002 年東京工業大学情報理工学部計算工学科卒業. 2004 年同大学院情報理工学研究科修士課程修了. 同年 NHK 入局, 北見放送局, (独) NICT 出向を経て, 現在, 放送技術研究所スマートプロダクション研究部研究員. 自然言語処理の研究に従事. 言語処理学会会員.

伊藤均：2010 年神戸大学工学部電気電子工学科卒業. 2012 年京都大学大学院情報学研究科修士課程修了. 同年 NHK 入局. 山口放送局を経て, 現在, 放送技術研究所スマートプロダクション研究部研究員. 自然言語処理の研究に従事. 音響学会, 言語処理学会各会員.

後藤功雄 : 1995 年早稲田大学理工学部電気工学科卒業. 1997 年同大学院理工学研究科修士課程修了. 2014 年京都大学大学院情報学研究科博士課程修了.博士（情報学）１１997 年 NHK 入局，（株）ATR および（独）NICT 出向を経て, 現在, 放送技術研究所スマートプロダクション研究部にて自然言語処理の研究に従事. 言語処理学会, 情報処理学会各会員.

山田一郎：1991 年, 名古屋大学工学部情報工学科卒業. 1993 年, 同大学大学院修士課程修了. 博士 (情報科学)。同年, NHK 入局. スタンフォード大学訪問研究員, (独) NICT 専門研究員を経て, 現在, 放送技術研究所スマートプロダクション研究部にて機械翻訳，ビッグデータ解析の研究に従事. 言語処理学会, 映像情報メディア学会各会員.

徳永健伸：1983 年東京工業大学工学部情報工学科卒業. 1985 年同大学院理工学研究科修士課程修了. 同年 (株) 三菱総合研究所入社. 1986 年東京工業大学大学院博士課程入学. 現在, 東京工業大学情報理工学院教授. 博士 (工学).
専門は自然言語処理, 計算言語学. 情報処理学会, 人工知能学会, 言語処理学会, 計量国語学会, Association for Computational Linguistics, ACM SIGIR, Cognitive Science Society, International Cognitive Linguistics Association 各会員.

(2021 年 3 月 31 日受付)

(2021 年 7 月 1 日再受付)

(2021 年 8 月 17 日採録)