# ニューラル機械翻訳における単語報酬モデルに基づく 対訳辞書の利用

竹林 佑斗 $\dagger \cdot$ Chenhui $\mathrm{Chu}^{\dagger \dagger} \cdot$ 荒瀬 由紀 ${ }^{\dagger \dagger}$. 永田 昌明
}

ニューラル機械翻訳は従来手法の句に基づく統計的機械翻訳に比べて，文法的に流暢な翻訳を出力できる。しかし訳抜けや過剩翻訳などの問題が指摘されており，翻訳精度に改善の余地がある。このような問題に対して従来の句に基づく統計的機械翻訳では，対訳辞書を用いてデコーダ制約を実装することにより翻訳精度を改善し ていたが，ニューラル機械翻訳では対訳辞書を有効活用するアプローチが明らかで はない。本稿では対訳辞書を単語報酬モデルによりニューラル機械翻訳に適用する 手法を提案する。提案手法は，テスト時のデコーディングの際に対訳辞書に存在す る単語に報酬を与えることでそれらの出現確率を高め, 翻訳精度の向上を図る。提案手法は辞書をニューラル機械翻訳モデルとは独立して適用するため, 辞書の更新 や変更を簡単に行える利点がある。また指定された語彙を出力するよう制約を加え る方法より少ない計算量で翻訳精度を改善できる。 さらにアテンションを利用して 対訳辞書を活用する手法と組み合わせると性能を改善できることを実験的に示した。 キーワード：ニューラル機械翻訳，対訳辞書，単語報酬モデル
## Word Rewarding Model Using a Bilingual Dictionary for Neural Machine Translations

\author{
Yuto Takebayashi ${ }^{\dagger}$, Chenhui $\mathrm{Chu}^{\dagger}$, Yuki Arase $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger \dagger}$
}

Even though outputs of neural machine translation are more fluent compared to those of conventional phrase-based statistical machine translation, under and over generation are still major problems. While the translation quality of phrase-based statistical machine translation has improved due to the use of a bilingual dictionary by the decoder constraint, the same approach cannot be directly applied to neural machine translation. This paper proposes a rewarding model to apply the bilingual dictionary to neural machine translation. The proposed model first predicts the target words for the translation using the bilingual dictionary and then increases their decoder output probabilities at an inference. As the model uses the bilingual dictionary as an independent resource for the neural model, it can easily update or change the dictionary if required. The proposed model was found to improve translation quality even though

it has less computational complexity than lexically constrained decoding that forces output of specified words. The results also confirmed that when combined with a method that biased the decoder to output dictionary entries using attention weights, the proposed method further improved the translation quality.

Key Words: Neural Machine Translation, Bilingual Dictionary, Word Rewarding

## 1 はじめに

ニューラル機械翻訳は従来手法の句に基づく統計的機械翻訳に比べて，文法的に流暢な翻訳を出力できる。しかし訳抜けや過剰翻訳などの問題が指摘されており，翻訳精度に改善の余地がある (Koehn and Knowles 2017).このような問題に対して句に基づく統計的機械翻訳では，対訳辞書を用いてデコーダ制約 (Koehn, Hoang, Birch, Callison-Burch, Federico, Bertoldi, Cowan, Shen, Moran, Zens, Dyer, Bojar, Constantin, and Herbst 2007)を実装することにより翻訳精度を改善していたが，ニューラル機械翻訳では対訳辞書を有効活用するアプローチが明らかではない.ニューラル機械翻訳において対訳辞書を使用して翻訳精度を向上させる先行研究として， モデル訓練時に対訳辞書を用いて単語翻訳確率にバイアスをかける手法 (Arthur, Neubig, and Nakamura 2016) があげられる. この手法ではモデルの訓練が対訳辞書に依存しているため, 辞書の更新や変更は容易ではない.

本稿ではニューラル機械翻訳システムの翻訳精度の向上を目的として，単語報酬モデルにより対訳辞書をニューラル機械翻訳に適用する手法を提案する ${ }^{1}$ 。単語報酬モデルは正しい翻訳文に出現すると期待される単語集合を辞書引きにより入力文から予測する “目的単語予測” と,得られた単語集合を用いてそれらの出力確率を調整する “単語報酬付加” から構成される。提案手法は訓練済みの翻訳モデルのデコーダにおいて，予測された単語の翻訳確率に一定の増分を加えるのみであるため，既存の翻訳モデルを再訓練する必要がない. このため，本手法は既存の訓練済みニューラル機械翻訳システムのデコーダに実装することで機能し，また辞書の更新や変更も容易に行える利点がある。

日英と英日方向の翻訳実験を行った結果，対訳辞書を用いた単語報酬モデルは翻訳精度を有意に改善できることを示した。また，テスト時のデコーディングの際に既存手法 (Arthur et al. 2016) と組み合わせると，それぞれを単一で用いたときよりも翻訳精度が向上することを実験的に示した。

本稿の構成は以下の通りである。まず 2 章で提案手法が前提とする注意機構付きのエンコー ダ・デコーダモデルについて説明したのち， 3 章で提案手法である単語報酬モデルについて述


べる． 4 章では実験設定を述べ，5 章では対訳辞書の性質が提案手法に与える影響を検証するため, シミュレーションによる辞書を用いた実験を行う， 6 章では実際に利用可能な対訳辞書を用いて提案手法の性能を示し， 7 章では既存手法との比較を行う。 8 章では関連研究について議論し, 9 章で本稿のまとめとする.

## 2 注意機構付きニューラル機械翻訳

ニューラル機械翻訳における典型的なモデルとして, 注意機構付きのエンコーダ・デコーダモデル (Bahdanau, Cho, and Bengio 2015; Luong, Pham, and Manning 2015) があげられる. エンコーダは入力系列 $X$ をべクトル化し, デコーダはそのベクトルを用いて出力系列 $Y$ を出力する. 入力系列中の $i$ 番目の要素を $x_{i} \in \mathbb{R}^{v_{s}}$, 同様に出力系列中の $j$ 番目の要素を $y_{j} \in \mathbb{R}^{v_{t}}$ と表記する.ここで $v_{s}$ と $v_{t}$ はそれぞれ入力系列と出力系列の語彙サイズである.

ある入力系列 $X$ が与えられたときに, ある長さ $m$ の出力系列 $Y$ を生成する確率 $p(Y \mid X)$ は,以下のように表される。

$
p(Y \mid X ; \theta)=\prod_{j=1}^{m} p\left(y_{j} \mid y_{<j}, X ; \theta\right)
$

ここで, $\theta$ はパラメータの集合で $y_{<j}=y_{1}, \cdots, y_{j-1}$ である. 対訳コーパス $C=\{(X, Y)\}$ が与えられたとき, 訓練時の目的は $\theta$ に関するクロスエントロピー損失 $L_{\theta}$ を最小化することである.

$
L_{\theta}=-\sum_{(X, Y) \in C} \log p(Y \mid X ; \theta)
$

本稿では双方向の long short-term memory (LSTM) を使用し, 順方向と逆方向からエンコー ドする。ステップ $i$ において，順方向の隠れ状態べクトル $\hat{\mathbf{h}}_{i} \in \mathbb{R}^{d_{h}}$ と逆方向の隠れ状態べクトル $\tilde{\mathbf{h}}_{i} \in \mathbb{R}^{d_{h}}$ を加算した隠れ状態を $\mathbf{h}_{i}=\hat{\mathbf{h}}_{i}+\tilde{\mathbf{h}}_{i}$ と表す.この隠れ状態を用いて入力系列 $X$ は $\mathbf{h} \in \mathbb{R}^{d_{h} \times n}=\mathbf{h}_{1}, \ldots, \mathbf{h}_{n}$ にマップされる. $n$ は入力系列の長さである. ニューラル機械翻訳では翻訳精度向上に注意機構の有効性が示されている。注意機構では, デコーダが Recurrent Neural Network (RNN) によって隠れ状態べクトル $\mathbf{s}_{j}$ を計算する際，エンコーダが出力したそれぞれの隠れ状態 $\mathbf{h}_{i}$ を直接的に参照する。デコーディングステップ $j$ において，隠れ状態 $\mathbf{h}_{i}$ の重要度を示すスカラー值の重みを $a_{j i}$ とすると， $a_{j i}$ による $\mathbf{h}_{i}$ の重み付き平均 $\mathbf{c}_{j}^{\prime} \in \mathbb{R}^{d_{h}}$ は, $\mathbf{c}_{j}^{\prime}=\sum_{i=1}^{n} a_{j i} \mathbf{h}_{i}$ と計算される。そして，デコーダの出力層で以下の計算を行う.

$
\begin{aligned}
& \mathbf{o}_{\mathbf{j}}=\mathbf{W}_{o} \mathbf{c}_{j}+\mathbf{b}_{o}, \\
& \mathbf{c}_{j}=\tanh \left(\mathbf{W}_{c}\left[\mathbf{c}_{j}^{\prime} ; \mathbf{s}_{j}\right]\right) .
\end{aligned}
$

ここで $\mathbf{c}_{j} \in \mathbb{R}^{d_{h}}, \mathbf{W}_{o} \in \mathbb{R}^{v_{t} \times d_{h}}$ と $\mathbf{W}_{c} \in \mathbb{R}^{d_{h} \times 2 d_{h}}$ は変換行列, $\mathbf{b}_{o} \in \mathbb{R}^{v_{t}}$ はバイアス項のべクトル, $[\cdot ; \cdot]$ はベクトルの結合を表す. 出力単語の確率ベクトル $\hat{y}_{j} \in \mathbb{R}^{v_{t}}$ は $\operatorname{softmax}$ 関数を用いて,

$
\hat{y}_{j}=\frac{\exp \left(\mathbf{o}_{\mathrm{j}}\right)}{\sum_{k} \exp \left(\mathrm{o}_{\mathrm{jk}}\right)}
$

と表される。ここで $o_{j k}$ はベクトル $\mathbf{o}_{j}$ の $k$ 番目の要素である.

## 3 単語報酬モデル

本章では，提案する単語報酬モデルの各要素について説明する，単語報酬モデルは大きく 2 つの要素に分けられる。

## - 対訳辞書による目的単語予測

入力文から正しい翻訳文に出現すると期待される単語の集合を，対訳辞書を用いて予測する。本稿では人手で作られた辞書と自動で構築された辞書の 2 つを使用した.

## - 予測された単語集合を用いた翻訳確率への報酬付加

目的単語予測で得られた単語集合を用いて, それらが出力される確率を調整する。具体的にはデコーダが単語翻訳確率を出力する際, 目的単語予測で予測された単語の翻訳確率に一定の値を足すことでそれらを出力しやすくする.

## 3.1 対訳辞書による目的単語予測

本節では目的単語予測において使用する, 人手で作られた辞書と自動で構築された辞書について説明する。

## 3.1.1 人手で作成された辞書での目的単語予測

人手で作成された辞書は，対象領域に対するカバレッジは限られているものの信頼性のある対訳情報を提供している，辞書引きの際には，辞書引きする単語を原型に戻すことが必要である.したがって，人手で作成された辞書を用いる際は，目的単語集合を予測するために，原言語文に含まれる単語の原型を辞書引きすることとした。

## 3.1.2自動で構築された辞書での目的単語予測

IBM モデルや句に基づく統計的機械翻訳 (Koehn et al. 2007; Brown, Della Pietra, Della Pietra, and Mercer 1993)の翻訳モデルが対訳辞書として広く活用されている. 辞書の構築のためにこれらの翻訳モデルを活用する最大の利点は, 辞書の構築に訓練セットを用いることで辞書のドメインと翻訳時の目的単語のドメインを合わせられることである. 加えて, 訓練セットに出現する活用語や派生語を使用できる。欠点としては，アライメントの失敗が含まれるため，人手

の辞書と比べて信頼性が低いことがあげられる.

本稿では辞書を自動で構築するために，IBM 翻訳モデル (Brown et al. 1993)の実装である GIZA++ツールキット2を用いる。そしてMoses (Koehn et al. 2007) を用いて grow-diag-finaland ヒューリスティックを適用し，単語間の単語翻訳確率を計算する。単語翻訳確率はアライメントを用いて，順方向と逆方向の両方向でそれぞれ計算される。ある 2 つの言語が与えられたとき, source-to-target 方向のコーパスに適用した場合に得られる順方向の単語翻訳確率, target-to-source 方向のコーパスに適用した場合に得られる逆方向の単語翻訳確率をそれぞれ， $P_{f w}\left(w_{t} \mid w_{s}\right), \quad P_{b w}\left(w_{s} \mid w_{t}\right)$ と表す. ここで， $w_{s}$ は原言語側のある単語, $w_{t}$ は目的言語側のある単語である。このとき単語の翻訳スコアを

$
P\left(w_{t} \mid w_{s}\right)=\sqrt{P_{f w}\left(w_{t} \mid w_{s}\right) P_{b w}\left(w_{s} \mid w_{t}\right)}
$

と定義する. 出現回数が少ない単語対は情報が少ないため正確に確率を計算することができず,対訳確率が不適切に大きくなるときがある。そのような場合に対処するため，相乗平均を取り不適切に高い確率を抑える。目的単語集合の Precision と Recall を制御するため，開発セットでチューニングできるように䦭値 $\delta$ を導入した。アライメントでは各単語間に翻訳確率が付与されるが，その翻訳確率が間値 $\delta$ より低い単語は目的単語集合に加えないものとした。

## 3.1.3単語とサブワードによるマッチング方法

サブワード単位で翻訳を行うことにより未知語問題の解決に繋がることが広く知られている (Sennrich, Haddow, and Birch 2016)。本稿では，単語報酬モデルを byte pair encoding (BPE) (Sennrich et al. 2016) に基づいたニューラル機械翻訳にも適用可能にするため，目的単語予測に用いた辞書に BPE を適用する。

辞書のエントリと原言語文の両方に，まず対訳コーパスで訓練された BPE モデルを適用し，次に原言語文に含まれる文字と辞書のエントリとをマッチングする。ここで本稿では，完全一致と部分一致という 2 つのマッチング方法を考える．BPE 適用後, 辞書の見出し語は複数のサブワードによって構成され, 見出し語 $w$ は $w=w_{1}, \ldots, w_{k}$ と表される. 完全一致は Precision を重視した手法であり， $w$ が以下を満たすとき入力系列 $X$ とマッチするとみなす；

$
w_{1}, \ldots, w_{k} \in X, \forall i \in\{1, \ldots, k-1\}, w_{i}=x_{j} \Leftrightarrow w_{i+1}=x_{j+1} .
$

部分一致は Recall を重視した手法で， $w$ が以下を満たすとき入力系列中の単語 $x$ とマッチするとみなす；

$
\exists w_{i} \in w, w_{i} \in X
$
^{2}$ https://github.com/moses-smt/giza-pp
}
どちらのマッチング方法でも，wの翻訳は目的単語集合に追加される。ある原言語文において，完全一致で得られた目的単語集合は部分一致で得られたものの部分集合になる.

ク"）その翻訳が “New Y@@ or@@ k”であるときを考える。入力系列に“ニュー@@”と“ヨー ク”が $x_{i}=$ “ニュー@@”, $x_{i+1}=$ “ヨーク”と連続して出現した場合, 完全一致でも部分一致でもマッチし, 目的単語集合に“New", “Y@@”, “or@@”および“k”が追加される。一方入力系列に “ニュー@@”か“ヨーク”のどちらかのみが出現する場合および，“ニュー@@”と“ヨーク”が出

一致ではマッチし目的単語集合に“New”, “Y@@”, “or@@”および“k”を追加する”3.

## 3.2 予測された単語集合を用いた翻訳確率への報酬付加

目的単語集合に含まれる単語が出力されやすくなるよう, 図 1 で示すようにデコーダで単語翻訳確率に報酬を付加する。具体的には，目的単語予測で正しい翻訳文に出現すると期待される単語の集合 $D_{f 2 e}$ を取得し, 単語が $D_{f 2 e}$ に入っていればその単語の翻訳確率に報酬を足して,出力されやすくする。したがって事後確率は以下のように表される。

$
Q\left(y_{j} \mid y_{<j}, X\right)=\log p\left(y_{j} \mid y_{<j}, X\right)+\lambda r_{y_{j}},
$

図 1 デコーディングステップ $j$ における単語報酬モデル：予測された目的単語集合 $D_{f 2 e}$ に含まれる単

機構は省略している。


ここで，入は単語報酬重みであり，開発セットによってチューニングされるハイパーパラメー 夕である。この単語報酬モデルにより，正解単語を含む単語集合の確率を引き上げ，正解単語を訳出しやすくなると期待できる。本稿では 2 值の報酬値を用いる 4.

$
r_{y_{j}}= \begin{cases}1 & \left(y_{j} \in D_{f 2 e}\right) \\ 0 & \text { (otherwise) }\end{cases}
$

最終的に出力文 $\hat{Y}$ は以下のようになる.

$
\hat{Y}=\arg \max _{Y} \sum_{j=1}^{m} Q\left(y_{j} \mid y_{<j}, X\right)
$

## 4 実験設定

本稿では単語報酬モデルの性能を評価するため，日本語から英語，英語から日本語への翻訳精度を話し言葉ドメインと書き言葉ドメインで実験した。

## 4.1 対訳コーパス

話し言葉ドメインとして IWSLT 2017 日本語-英語タスクを使用する。これは TED Talks 字幕データであり, WIT プロジェクト (Cettolo, Girardi, and Federico 2012) で提供されているものである。このIWSLT タスクは訓練セットとして 22.3 万文の対訳コーパスが利用できる。本稿では開発セットに $\operatorname{dev} 2010$ をテストセットに test 2010 を用いた。それぞれ 871 文, 1,549 文である.

書き言葉ドメインとして日本語-英語の科学技術論文である ASPEC $^{5}$ (Nakazawa, Yaguchi, Uchimoto, Utiyama, Sumita, Kurohashi, and Isahara 2016)を使用する.これは Workshop on Asian Translation (WAT) ${ }^{6}$ (Nakazawa, Higashiyama, Ding, Mino, Goto, Kazawa, Oda, Neubig, and Kurohashi 2017)のサブタスクとして提供されているものである. 先行研究 (Morishita, Suzuki, and Nagata 2017) の設定に従い，訓練セットとして 300 万文ある中から初めの 200 万文を用いる。これは最後の 100 万文はノイズを多く含んでいるためである。ASPEC タスクは開発とテストセットにそれぞれ 1,790 文と 1,812 文がある.

本稿では日本語-英語と英語-日本語翻訳実験を上記の 2 つのタスクにおいて行う。以降では IWSLT の日本語から英語方向, IWSLT の英語から日本語方向, ASPEC の日本語から英語方向
^{4} r_{y_{j}}$ に式 $(1)$ 左辺の $P\left(w_{t} \mid w_{s}\right)$ を用いた実験も行ったが，2 値の報酬値を用いたときより翻訳精度が劣る結果となった。このときのある目的単語 $w_{t}$ の報酬値には， 入力系列中の単語から辞書引きしたときの対訳確率の平均値を用いた。

5 http://lotus.kuee.kyoto-u.ac.jp/ASPEC/

 }^{6}$ http://orchid.kuee.kyoto-u.ac.jp/WAT/


および ASPECの英語から日本語方向のタスクをそれぞれ, IWSLT 日英, IWSLT 英日, ASPEC 日英および ASPEC 英日と表記する。

## 4.2 対訳辞書

人手で作成された辞書として，情報通信研究機構によって公開されている EDR 英日対訳辞書および EDR 日英対訳辞書 7 を使用する。英日と日英のエントリペア数はそれぞれ 67.6 万と 105.2 万であった. 辞書の自動構築にはベースラインNMT を学習した訓練コーパスを用いた.日英方向の辞書引きを行うとき，辞書引きされた単語には複数形などの派生語が含まれない. この問題に対処する方法として, XTAG プロジェクトの辞書を使って英語の派生単語を抽出し, EDR 辞書で得られた英単語の全ての派生語を単語集合に追加する。XTAG は TreeTagger ${ }^{8}$ で英語の形態素解析辞書として使われている。派生単語を追加していないものを EDR，全ての派生単語を EDR に追加したものをXTAGと表記する。

辞書引きの方法としては, 原言語文の各単語を原型に戻し, それらを EDR やXTAGなどの辞書のエンティティとマッチングする。単語を原型に戻す処理には日本語側には形態素解析器の $\mathrm{MeCab}^{9}$ を，英語側には TreeTagger を用いる，例えば，日本語-英語方向の目的単語予測を考える。“書いた”という単語が原言語文に入っていた場合, 形態素解析の結果得られる原型の “書く”を辞書引きする。“書く”という単語を辞書引きしたとき“write”という単語が得られたとすると, EDR 辞書では目的単語集合には “write”のみを追加する。一方XTAG 辞書では, “write" の活用形である“wrote”と“written”を，目的単語集合に追加する。

## 4.3 ニューラル機械翻訳システムと単語報酬モデル

本稿では LSTM を用いた注意機構付きエンコーダ・デコーダモデルの mlpnlp-nmt システム 10 をベースのニューラル機械翻訳モデルとし，単語報酬モデルは mlpnlp-nmt システムのデコーダに対して実装する ${ }^{11}$. mlpnlp-nmt は WAT 2017 (Nakazawa et al. 2017)の ASPEC 日英, ASPEC 英日人手評価において最高精度を達成したモデルである.

ハイパーパラメータの設定は Morishita ら (Morishita et al. 2017)に従う. 原言語側, 目的言語側の単語埋め込み層, LSTM の隠れ層, 注意機構の隠れ層は全て 512 次元に設定する。エンコー ダとデコーダにはそれぞれ 2 層の LSTMを用いる。学習アルゴリズムには，学習率 1.0 , ドロップアウト率 30\% で確率的勾配降下法 (Stochastic gradient descent: SGD) (Robbins and Monro


1951)を用いる. ミニバッチサイズは 128 に設定する。訓練エポックは IWSLT 日英, IWSLT 英日, ASPEC 日英および ASPEC 英日の全てで 20 に設定し, 開発セットで最も良い性能を達成したものを用いる。エポック数はそれぞれ $11,20,13$ および 13 であった. テスト時のデコー ディングにおいてはビーム幅を 5 に設定し，ビーム探索を行う。

単語報酬モデルで, 式 (2) の単語報酬重み $\lambda$ と辞書の間値 $\delta$ は開発セットでグリッド探索を用いてチューニングした。このとき $\lambda$ は 0.1 から 1.0 まで 0.1 刻みで変化させる。辞書の閥値 $\delta$ は自動で構築された辞書の確率が低い単語を枝刈りする役割を担うが，これは $0,0.0001,0.001$, 0.01 および 0.1 を試し, 単語報酬重み $\lambda$ と合わせてグリッド探索し最高精度を出す組み合わせを採用する。

対訳コーパスと対訳辞書の前処理としては，日本語側の文と辞書のエントリを $\mathrm{MeCab}$ を用いて形態素単位に分割し, 英語側の文と辞書のエントリは Mosesの tokenizer.perlスクリプト 12 を使用し単語に分割し, truecase.perlスクリプト13を用いて表記統一処理を行う。さらに joint BPE (Sennrich et al. 2016) を用いて単語をサブワードに切り分ける.このときのマージオぺレーションの回数は 32,000 とする。最終的な IWSLT の語彙サイズは日本語と英語でそれぞれ 21,534 と 18,022 であった. ASPECの語彙サイズは日本語と英語でそれぞれ 28,852 と 22,340 であった。

## 5 シミュレーション辞書を用いた実験

目的単語予測の性能の変化による翻訳精度への影響を調べるため, 参照訳に対する目的単語集合の Precision/Recall を人為的に変化させて，そのときの BLEU スコアへの影響を調査する. ここでは対訳コーパスの分量によるニューラル機械翻訳モデルの性能変動が分析に影響するのを避けるため, ASPEC を用いて英日方向の実験を行った.

## 5.1 オラクル辞書

ある入力系列 $X$ が与えられたとき, 正解データである出力系列 $Y=y_{1}, y_{2}, \ldots, y_{m}$ のトークンを過不足なく予測できる理想的な辞書を，オラクル辞書と定義する。オラクル辞書で単語予測を行った場合，その予測性能は Precision/Recall 共に100\%である.

実際にオラクル辞書を作成することは不可能であるため, $k$ 番目の原言語文 $X_{k}$ を翻訳する際，対訳コーパス中の対応する出力系列（参照訳） $Y_{k}$ に含まれる単語を過不足なく抽出し目的単語辞書に追加することで擬似的にオラクル辞書を作成した ${ }^{14}$.


## 5.2 目的単語集合の Precision/Recall の制御

参照訳に対する目的単語集合の Precision/Recall の制御方法を説明する。手順としては，まず 5.1 節で説明したオラクル辞書を用いて Precision/Recall が共に $100 \%$ である目的単語集合を作成してから，以下に示す処理を実行して Precision/Recall を制御する。
- Precision の制御

3.1.2 項で説明した GIZA 辞書で単語翻訳確率が高い上位の単語を目的単語集合に追加する.ここで追加する単語は目的単語集合に含まれないものを選ぶことで Precision を低下させる.
- Recall の制御

目的単語集合から参照訳に含まれる単語をランダムに削除することで Recall を低下させる.

追加/削除する単語数を制御することで，目的とするPrecision/Recall に調節する。

## 5.3 目的単語集合の Precision/Recall の変化による翻訳精度への影響評価

開発セットの BLEU スコアの最大值を調査したところ，それぞれ 51.24 と 40.45 であり，単語報酬モデルを用いないべースライン (nlpmlp-nmt) から 11.74 と 0.95 の増加であった。また, そのときの入の値はそれぞれ 2.7 と 0.6 であった.

ASPEC 英日方向の開発セットで $\lambda=0.6,2.7$ に設定し Precision/Recall をそれぞれ 10\%〜 $100 \%$ まで $10 \%$ 刻みで変化させたときの BLEU スコアをそれぞれ図 2 に示す。青色はべースラインより低い BLEU スコアを，赤色はベースラインよりも高いBLEU スコアを示しており，白色はベースラインの BLEU スコア (39.50) のものを表す。色が濃いセルほどベースラインの BLEU スコアからの変化量が大きいセルである。結果より Precision/Recall 共に 100\%に近い方が BLEU スコアは高い傾向にあることがわかった。さらに, Precision が低い場合は Recall を高くする, 反対に Recall が低い場合は Precision を高くすることで, ベースラインよりも BLEU スコアが向上することが示された. $\lambda=2.7$ と設定したときの方が $\lambda=0.6$ と設定したときよ

る単語が目的単語集合の予測性能に依存するためであると考えられる。また $\lambda=0.6$ と設定したときの方が $\lambda=2.7$ と設定したときより，BLEU スコアが増加する Precision/Recall の組み合わせが多い. したがって, 目的単語予測の性能が高くないときは入の值を小さくすることで, BLEU スコアを改善できることがわかる，以上より，辞書引きした単語の予測精度が高いとき単語報酬モデルは翻訳精度を大きく向上できることが明らかとなり，対訳辞書をテスト時のデコーディングに用いる提案手法の妥当性が示された.

## Precision

Baseline

## Precision

Baseline

図 2 ASPEC 英日方向の開発セットで Precision/Recall をそれぞれ $10 \% \sim 100 \%$ に変化させたときの BLEU スコアの結果（左図： $\lambda=0.6$, 右図 $: \lambda=2.7$ ).

## 6 実際の辞書を用いた評価

本章では目的単語予測に実際の辞書を用いたときの，単語報酬モデルの翻訳精度を評価する。

## 6.1 テストセットでの翻訳結果

表 1 にIWSLT，ASPECのそれぞれのテストセットにおける，単語報酬モデルを用いないべー スライン，提案手法およびオラクル辞書を用いた際の BLEU スコアを示す。丸括弧の中には目的単語予測で得られた単語集合の参照訳に対する Precision/Recall を示す. 太字は $p<0.01$ でベースラインに統計的有意差があるものを示す. 有意差の検定には bootstrap resampling 検定 (Koehn 2004) を用いた ${ }^{15}$.このとき辞書の間值 $\delta$ と報酬重み $\lambda$ は 4.3 節で述べた通りグリッド探索を行い求めた．例えば GIZA（完全一致）のIWSLT 日英, IWSLT 英日, ASPEC 日英および ASPEC 英日での辞書の閾値 $\delta$ はそれぞれ $0.001,0.01,0.0001$ および 0.001 であり，報酬重み $\lambda$ の値はそれぞれ $0.5 ， 0.4 ， 0.4$ および 0.5 であった。表 1 の全ての設定で用いた辞書の閾値 $\delta$ と単語報酬重み $\lambda$ は付録に記述する。ベースラインと比較して，提案手法において有意に BLEU スコアが増加していることが分かる，全体としては高い Recall をもつ手法が，より大きいBLEU


スコアの増加を示した，IWSLTでは，実際の辞書を用いた手法の最大のスコアは日英，英日でそれぞれ，GIZA 完全一致の $10.36 ， 10.88$ であり，オラクル辞書を用いた手法のスコアである 17.68，20.26 とは差がある。これは GIZA 完全一致は日英，英日でそれぞれ Recall は $85.98 \%$ ， $72.92 \%$ と高い值を達成しているが，Precision が $0.27 \% ， 2.56 \%$ と低いためと考えられる。

書き言葉ドメインである ASPEC タスクでは，英日方向に EDR 完全一致を適用したとき以外は全て有意に翻訳精度が向上した。2017 年のWAT の翻訳タスクにおいて, ASPEC 日英と ASPEC 英日で本稿の実験設定と同じ単一のモデルによる最高精度はそれぞれ 27.62 (NTT) と 39.71 (NTT) である。提案手法ではそれぞれ 28.29，40.07を達成しており，WAT 2017 の単一モデルの最高精度をそれぞれ 0.67 および 0.36 向上している.

提案法の適用によって訳出する単語にどのように影響するのかを分析するため，辞書のエントリが出力系列に出現する割合を測った．ASPEC 日英のベースラインの訳文では $34.72 \%, E D R$完全一致を用いたときは $36.38 \%$ であったため EDR を用いて約 $1.7 \%$ の単語は EDR 辞書によって出現したと言える。同様に ASPEC 日英のベースラインとXTAG 完全一致で, 辞書のエントリが出力系列に出現した割合を測ったところ，それぞれ $38.19 \%, 41.76 \%$ であり約 $3.6 \%$ の増加であった。したがって，辞書によって出力系列に出現する単語が変化していることがわかる. EDR 日英辞書のエントリペアは 671,649 であるがユニークな日本語側の単語数は 227,553 である.このことより日本語 1 単語につき平均約 3 単語の英語が辞書引きされるため Precision は $33 \%$ 程度が上限である。したがって EDRのような人手で作成された辞書でも Precision が低い結果となったと考えられる。

表 1 テストセットにおける各手法の BLEU スコアの比較

丸括弧の中には目的単語予測で得られた単語集合の参照訳に対する Precision/Recallを示す.太字は $p<0.01$ でベースラインよりも統計的有意差があるものを示す. IWSLT 日英, IWSLT 英日, ASPEC 日英および ASPEC 英日での最大の上昇はそれぞれ， $0.39,0.62,1.08$ および 0.57 である. XTAG は EDR で辞書引きされた英単語の複数形をその単語集合に加えたものであるため, 日英方向の結果のみである.

## 6.2 分析

本節では提案手法の効果を定性的に分析するため, translation edit rate (TER) (Snover, Dorr, Schwartz, Micciulla, and Makhoul 2006) を用いた訳抜け単語と過剰翻訳単語の分析 (6.2.1 項), および翻訳例を用いた翻訳結果の分析（6.2.2 項）を行う.

## 6.2.1 TER を用いた訳抜け単語数と過剩翻訳単語数の分析

TER を求める際に得られる編集操作の集合を用いて，ニューラル機械翻訳における主要な問題である訳抜けと過剰翻訳について分析した。訳抜け単語数と過剰翻訳単語数は，TERを用いて編集の種類を数えることで簡易的に評価した。本稿では一文中における“挿入”の回数と“削除”の回数をそれぞれ訳抜け単語数と過剰翻訳単語数と定義した。

訳抜け単語数と過剩翻訳単語数を測定した結果を表 2 に示す。結果より, 訳抜け単語は, 提案手法のどの辞書を用いたときでも改善できていることがわかる．特にオラクル辞書を用いたときは平均で 1.2 単語減少できている。過剩翻訳に関しては, 訳抜けとは逆に提案手法のいかなる辞書を用いた場合でも悪化している。これは報酬を付加し続けるという手法の特性上, 一度ある単語を生成した後も同じ単語に出現を促進するバイアスをかけるためである。この問題に対しては一度出力された単語には報酬を掛けないという方法である大域的制約で回避できると考えられる。大域的制約のモデルの検討は今後の課題である。 また，オラクル辞書を用いたときに一番多く過剰翻訳単語を出力してしまっているが, これはオラクル辞書の信頼性が高いため単語報酬重み $\lambda$ 大きくしてしまうことで生じる問題と思われる。入が高いとデコーダが出力した翻訳確率を疎かにして, 目的単語集合に存在する単語を複数回出力してしまうためであると考えられる。

表 2 テストセットにおける，TERによって計算された 1 文中の平均の訳抜け単語数と過剩翻訳単語数

太字のスコアは最も訳拔け／過剩翻訳単語数が少ないものを示す.

## 6.2.2 翻訳例

翻訳例を用いて単語報酬確率の翻訳結果の分析を行った。ここでは辞書の中で一貫して性能向上していた GIZA 部分一致を用いて分析した。表 3 および表 4 に ASPEC 日英におけるべー スラインと単語報酬モデル（GIZA 部分一致）の翻訳例を示す。表 3 はべースラインで発生している訳抜けが単語報酬モデルによって解消されている例である。 ベースラインでは参照訳中にある“(congenital immunity )”というフレーズと "cancer of"というフレーズが存在しないが,単語報酬モデルでは出力されている。これは単語報酬モデルが理想的に働いた形である。表 4 はベースラインで発生している訳抜けが単語報酬モデルによって解消されているが，過剩翻訳が残っている例である。ベースラインでは参照訳中にある "blood collection is indispensable"というフレーズが存在しないが，単語報酬モデルでは出力されている。しかし，結果として“is indispensable" が過剩翻訳してしまっている。これは，一度ある単語を出力した後も同じ単語に報酬をかけ続けるという手法上，誤った場所に出力される単語を制御できないためと考えられる。

表 3 ASPEC 日英における単語報酬モデル（GIZA 部分一致）で訳抜けが解消されている例

 \\

“( congenital immunity )"というフレーズと "cancer of”というフレーズが，単語報酬モデルでは出力されている.

表 4 ASPEC 日英における単語報酬モデル（GIZA 部分一致）で訳抜けが改善している部分はあるが重複が残ってしまっている例

 \\

"blood collection is indispensable" というフレーズはベースラインでは出力されていないが, 単語報酬モデルでは出力された。しかし依然として誤った場所に“is indispensable”が出力されている.

## 7 既存手法との比較

ニューラル機械翻訳において訓練時に対訳辞書を用いる手法が Arhur ら (Arthur et al. 2016) によって提案されている. Arthurらの手法と単語報酬モデルは, 辞書を用いる点や単語対訳確率にバイアスをかける点が共通している。本章では Arthur らの手法と本稿で提案した単語報酬モデルを比較する.

## 7.1 実験設定

提案手法のベースラインである nlpmlp-nmtに Arthur らの手法を組み合わせた実験を行う。モデルには 6 章で用いたものと同じものを使用する. 用いたコーパスは IWSLT 英日およびASPEC 英日であり, それらのコーパスの前処理やパラメータ設定方法は 4 章で述べたとおりである. Arthur らの手法では単語対訳確率が必要なため, BPE 処理を行った後のコーパスから Moses の Toolkit を用いてサブワードレベルの単語対訳確率を得たものを辞書として用いた. Arthur 法を組み込んだ nlpmlp-nmt モデルの訓練は学習に非常に時間がかかるため, ここでモデルの最適化は行わず，テストの際のデコーディング時に，辞書の単語対訳確率と単語翻訳確率を線形補間する linear ${ }^{16}$ 用いて出力単語の確率を変更する. ある目的単語について入力系列の各単語との対訳確率にその単語へのアテンションを掛けて総和を求めた確率を $p_{l}$, 翻訳モデルが求めた確率を $p_{m}$ とすると, Arthur 法の linear は目的単語の出現確率 $p_{o}$ を線形補間の重み $\gamma$ 用いて次式のように求める.

$
p_{o}=\gamma p_{l}+(1-\gamma) p_{m}
$

Arthur 法と提案法を併用する際には，単語翻訳確率を Arthur 法で得られる出現確率 $p_{o}$ に置き換えて次式により事後確率を求める.

$
Q\left(y_{j} \mid y_{<j}, X\right)=\log p_{o}\left(y_{j} \mid y_{<j}, X\right)+\lambda r_{y_{j}} .
$

Arthur らの手法と単語報酬モデルを組み合わせる際はまず単語報酬モデルでパラメータチュー ニングしたパラメータを固定して, Arthurらの手法のパラメータをチューニングした.

## 7.2 実験結果

表 5 にベースライン (nlpmlp-nmt)，テスト時のデコーディングに Arthur らの手法を組み合わせたとき，単語報酬モデルを適用したときおよび両方の手法を併用したときの BLEU スコアを示す。線形補間の重みを決める $\gamma$ は $0.05,0.14,0.29,0.50,0.71,0.86,0.95$ を試して開発セッ

表 5 nlpmlp-nmt, Arthur らの手法，単語報酬モデル，および Arthur らの手法と単語報酬モデルを併用したときの BLEU スコア

太字は $p<0.01$ でベースラインである nlpmlp-nmt から統計的有意差があるものを示す.

トで最も良かった設定を用いる。パラメータを $(\delta, \lambda, \gamma)$ と表現すると，Arthur 法と提案手法を併用したときのパラメータは IWSLT と ASPEC でそれぞれ $(0.001,0.4,0.14)$ と $(0.001,0.4,0.05)$ であった。それ以外の全ての設定でのパラメータは付録の表 8 に記述する.

結果よりテスト時のデコーダに Arthur 法を組み込んだものはべースラインからほとんど変化がなかったが，単語報酬モデルと併用すると単語報酬モデルのみを用いるときよりも BLEU スコアが増加している。このことより, Arthurらの手法と提案手法である単語報酬モデルは対立するものではなく併用可能であること，併用することでより高い翻訳精度を示すことを確認した. Arthur らの手法は低頻度語の翻訳精度向上を目的としているため，今回の実験設定では翻訳精度が向上しなかったと考えられる。一方で提案手法は辞書に存在する単語の出現確率にバイアスを付加することで，低頻度語に限らず精度向上を目的としているため，両方の夕スクにおいて翻訳精度が向上したのだと考えられる。

我々の実装において Arthur 法のように訓練時に辞書を活用する方法を検討することは今後の課題である。しかし，テスト時のデコーディングにおいて開発セットを使ってハイパーパラメータを調整しても Arthur 法は単独ではあまり効果がなかったので，訓練時に Arthur 法を使用してモデルを最適化してもあまり効果がない可能性がある.

## 8 関連研究

ニューラル言語生成の分野では, 単語やフレーズを予測し出力する手法は多く研究がなされている。単語選択のハードな制約として, ニューラル機械翻訳におけるグリッドビーム探索 (Hokamp and Liu 2017) が提案されている. これはテスト時にユーザが指定した単語を全てのデコーディングステップで強制的に訳出し，スコアの高い上位 $\mathrm{k}$ 件を保持するという手法である。ユーザが指定した単語を含む文の中でスコアの高いものを翻訳結果とするため，指定した単語を必ず含む文を選択できる。それ以外にはアテンション最大の原言語の単語に対して指定された目的言語の単語がその単語を含む一定のウインドウの中で出力されるかをチェックする
方法 (Chatterjee, Negri, Turchi, Federico, Specia, and Blain 2017) やアテンション最大の原言語の単語に対して指定された目的言語の単語を出力し, 以後その原言語への単語のアテンションをマスクして指定した単語が再び出力されることを防ぐ方法 (Hasler, de Gispert, Iglesias, and Byrne 2018) がある。また, グリッドビーム探索手法には，指定単語数に対してビーム幅が線形に増えるという問題があるが，独自のスコアリングに基づいてそれぞれの語彙的制約に割り当てるビームの数を動的に変化させることによりビームの総数を一定に保つ手法 (Post and Vilar 2018) も提案されている。これらの手法はデコーダに制約を与えるという点で提案手法と共通しているが，ユーザが所望する単語を訳出することを目的としており，またその単語をユーザが指定する必要がある。提案手法は対訳辞書を用いてデコーダに制約を与えることで翻訳精度を向上することを目的としており，ある単語が必ず訳出されることは保証しない．それにより厳密に単語を指定をせずとも，辞書を用いることにより翻訳精度を向上させることに成功した。

デコーダにおいて目的単語予測を行う研究も盛んに行われている (Shi and Knight 2017;

Sankaran, Freitag, and Al-Onaizan 2017; Mi, Wang, and Ittycheriah 2016). これらは単語予測を行いテスト時のデコーディングの際に語彙を制限することで，ソフトマックス関数の計算コストを下げて速度向上を目指している。また，デコーダの隠れ層における出力単語の情報を正確にするため，隠れ層から出力単語を予測しそのエラーを最小化するよう訓練する手法 (Weng, Huang, Zheng, Dai, and Chen 2017) が提案されている. 提案手法は対訳辞書を用いた目的単語予測によりニューラル機械翻訳における辞書の活用を実現したものであり，これらの研究とは異なる。

## 9 おわりに

本稿ではニューラル機械翻訳における単語報酬モデルによる対訳辞書の活用手法を提案した。実験結果より目的単語予測の性能が十分高ければ，提案手法である単語報酬モデルによって翻訳精度が大幅に向上することを示した。また，目的単語予測に現実的に利用可能な対訳辞書を用いた場合でも翻訳精度が有意に向上することを示した。さらにニューラル機械翻訳において辞書を用いる先行研究との比較実験より, 実験した IWSLT タスクと ASPEC タスクでは先行研究を上回り翻訳精度が向上していることを示した。また先行研究と提案手法を組み合わせるとそれぞれを単一で用いるよりも翻訳精度を向上することができたことから, 実験的に先行研究と提案手法は対立するものではなく組み合わせ可能であることを示した．提案手法は実装が簡潔で訓練済みのデコーダに簡単に適用でき，また辞書の更新や変更が容易であるという利点をもつ.

今後の課題としては, 一度出力された単語には報酬を付加しないという大域的制約による過剰翻訳への対処が考えられる。また Transformer (Vaswani, Shazeer, Parmar, Uszkoreit, Jones,

Gomez, Kaiser, and Polosukhin 2017) は現在の最先端のニューラル機械翻訳モデルであるため,単語報酬モデルを Transformer へ組み込むことも今後の課題である.

## 謝 辞

本研究は, 日本電信電話株式会社コミュニケーション科学基礎研究所の助成を受けたものです.

## 参考文献

Arthur, P., Neubig, G., and Nakamura, S. (2016). "Incorporating Discrete Translation Lexicons into Neural Machine Translation." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 1557-1567.

Bahdanau, D., Cho, K., and Bengio, Y. (2015). "Neural Machine Translation by Jointly Learning to Align and Translate." In Proceedings of the 3rd International Conference on Learning Representations.

Brown, P. F., Della Pietra, S. A., Della Pietra, V. J., and Mercer, R. L. (1993). "The Mathematics of Statistical Machine Translation: Parameter Estimation." Computational Linguistics, 19 (2), pp. 263-312.

Cettolo, M., Girardi, C., and Federico, M. (2012). "WIT³ Web Inventory of Transcribed and Translated Talks." In Proceedings of the 16th Conference of the European Association for Machine Translation, pp. 261-268.

Chatterjee, R., Negri, M., Turchi, M., Federico, M., Specia, L., and Blain, F. (2017). "Guiding Neural Machine Translation Decoding with External Knowledge." In Proceedings of the 2nd Conference on Machine Translation, pp. 157-168, Copenhagen, Denmark.

Hasler, E., de Gispert, A., Iglesias, G., and Byrne, B. (2018). "Neural Machine Translation Decoding with Terminology Constraints." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers), pp. 506-512, New Orleans, Louisiana.

Hokamp, C. and Liu, Q. (2017). "Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1535-1546.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180.

Koehn, P. and Knowles, R. (2017). "Six Challenges for Neural Machine Translation." In Proceedings of the 1st Workshop on Neural Machine Translation, pp. 28-39.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 1412-1421.

Mi, H., Wang, Z., and Ittycheriah, A. (2016). "Vocabulary Manipulation for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 124-129.

Morishita, M., Suzuki, J., and Nagata, M. (2017). "NTT Neural Machine Translation Systems at WAT 2017." In Proceedings of the 4th Workshop on Asian Translation, pp. 89-94.

Nakazawa, T., Higashiyama, S., Ding, C., Mino, H., Goto, I., Kazawa, H., Oda, Y., Neubig, G., and Kurohashi, S. (2017). "Overview of the 4th Workshop on Asian Translation." In Proceedings of the 4th Workshop on Asian Translation, pp. 1-54.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 2204-2208.

Post, M. and Vilar, D. (2018). "Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation." In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 1314-1324.

Robbins, H. and Monro, S. (1951). "A Stochastic Approximation Method." Annals of Mathematical Statistics, 22, pp. 400-407.

Sankaran, B., Freitag, M., and Al-Onaizan, Y. (2017). "Attention-based Vocabulary Selection for NMT Decoding." CoRR, abs/1706.03824.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725.

Shi, X. and Knight, K. (2017). "Speeding Up Neural Machine Translation Decoding by Shrinking Run-time Vocabulary." In Proceedings of the 55th Annual Meeting of the Association for

Computational Linguistics, pp. 574-579.

Snover, M., Dorr, B., Schwartz, R., Micciulla, L., and Makhoul, J. (2006). "A Study of Translation Edit Rate with Targeted Human Annotation." In Proceedings of the 7th Conference of the Association for Machine Translation in the Americas, pp. 223-231.

Takebayashi, Y., Chu, C., Arase, Y., and Nagata, M. (2018). "Word Rewarding for Adequate Neural Machine Translation." In Proceedings of the 15th International Workshop on Spoken Language Translation, pp. 14-22.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. u., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems 30, pp. 5998-6008.

Weng, R., Huang, S., Zheng, Z., Dai, X.-Y., and Chen, J. (2017). "Neural Machine Translation with Word Predictions." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 136-145.

## 付録

A 6.1 節で用いたパラメーター覧

表 6 表 1 のテストセットにおける各設定で用いた単語報酬重み $\lambda$

表 7 表 1 のテストセットにおける各設定で用いた辞書の閥値 $\delta$

表 8 表 5 のテストセットにおける各設定で用いた辞書の間値 $\delta$, 単語報酬重み $\lambda$ および Arthur 法の線形補間の重み $\delta$

## 略歴

竹林佑斗：2017 年大阪大学工学部電子情報工学科卒業. 2019 年大阪大学大学院情報科学研究科博士前期課程修了. 同年, 株式会社ワークスアプリケー ションズに入社. ACL 会員.

Chenhui Chu: 2008 年重慶大学ソフトウェア工学部卒業. 2012 年に京都大学大学院情報学研究科修士課程修了. 2015 年同大学院博士課程修了. 博士（情報学)。日本学術振興会特別研究員 DC2, 国立研究開発法人科学技術振興機構研究員を経て, 2017 年より大阪大学データビリティフロンティア機構特任助教. 機械翻訳, 自然言語処理の研究に従事. 言語処理学会, 人工知能学会, ACL，各会員.

荒瀬由紀：2006 年大阪大学工学部電子情報エネルギー工学科卒業. 2007 年同大学院情報科学研究科博士前期課程, 2010 年同博士後期課程修了. 博士（情報科学)。同年, Microsoft Research Asiaに入社, 自然言語処理に関する研究開発に従事. 2014 年より大阪大学大学院情報科学研究科マルチメディア工学専攻准教授, 現在に至る。言い換え表現抽出および生成, 機械翻訳技術,言語教育支援，対話システム研究に興味を持つ.

永田昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所上席特別研究員.工学博士．機械翻訳，自然言語処理の研究に従事，電子情報通信学会，情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.