# 入力拡張と制約付きデコーディングによる語彙制約付き機械翻訳

帖佐 克己 $\dagger \cdot$ 森下 睦 $\dagger \cdot$ 永田 昌明 $\dagger$
}

語彙制約付き機械翻訳は，翻訳文に含まれてほしいフレーズが指定された際に，そ れらのフレーズを含む文を生成するという制約の下で機械翻訳を行うタスクである。本論文では翻訳モデルの入力系列の拡張によってビームサーチによる語彙制約付き デコーディングの探索を効率化する手法を提案する．日英および英日翻訳での実験 により，提案手法が従来手法と比べて少ない計算コストで高い翻訳精度を実現でき ることを確認した。また，自動抽出されたノイズの多く含む語彙制約に対しても語彙制約付き機械翻訳手法を適用する手法を提案し，日英翻訳での実験によって一般的な機械翻訳手法と比べて高い精度が達成可能であることを示した。

キーワード：機械翻訳, 語彙制約, 対訳辞書
## Combining Input Augmentation and Constrained Decoding for Lexically-Constrained Neural Machine Translation

\author{
Katsuki Chousa $^{\dagger}$, Makoto Morishita $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger}$
}

Lexically constrained machine translation is a task wherein the translation model is required to output translated sentences that contain all specified phrase constraints. In this paper, we propose a method for improving the efficiency of lexically-constrained decoding by extending the input sequence of the model. The results of experiments performed on En $\leftrightarrow$ Ja indicate that the proposed method achieves higher translation accuracy with less computational cost than do the conventional methods. Furthermore, we propose a method for automatically extracting noisy lexical constraints by using the lexical constraint machine translation method. Experiments on Ja $\rightarrow$ En show that the proposed method can achieve a higher level of accuracy than do general machine translation methods.

Key Words: Machine Translation, Lexical Constraints, Bilingual Dictionary


## 1 はじめに

語彙制約付き機械翻訳は，翻訳文に含まれてほしいフレーズが指定された際に，それらのフレーズを含む文を生成するという制約の下で機械翻訳を行うタスクである。近年のニューラル機械翻訳 (Neural Machine Translation; NMT) の発展 (Luong et al. 2015; Vaswani et al. 2017) によって機械翻訳による翻訳文の品質は著しく向上したが, 語彙制約付き機械翻訳のような, モデルの出力する翻訳文を人手でコントロールする手法に対する NMT の適用に関してはまだ課題が残されている。図 1 に語彙制約付き機械翻訳の例を示す. 従来の機械翻訳モデルでは指定した語句を用いた翻訳が出来なかったのに対して，語彙制約付き機械翻訳モデルでは与えられた制約語句を反映させた翻訳を実現する。この際の制約語句は人手で与えられることが多い．訳語を指定した翻訳ができることで，法務や特許等における翻訳において非常に重要とされる専門用語や適切な名詞などの翻訳での訳語の一貫性を実現することができる。また, 後編集のような人間が修正の指示を与えながら翻訳を行う，インタラクティブな翻訳にも応用可能である。さらに, 近年複数のワークショップにおいて語彙制約付き機械翻訳のシェアードタスク (Nakazawa et al. 2021; Alam et al. 2021) が開催されており，非常に注目を浴びているタスクである.

語彙制約を満たすために NMT モデルの出力をコントロールすることに取り組んだ研究はいくつか提案されており, Chen et al. (2020)に従うとそれらの手法は制約の取り扱い方によって

たすべての制約語句がモデルの出力に含まれることを保証する．従来手法は，ビームサーチによる制約付きデコーディングで全ての制約語句を含む系列の候補を探索することで，このハー ド制約を満たすことを達成している (Hokamp and Liu 2017; Post and Vilar 2018).これらの手法はすべての制約を満たすことを保証する一方で, 従来の NMT と比べて大きい計算量を必要とする。また，入力される文によっては制約をすべて満たす出力系列の探索に失敗してしまい，従来の NMT よりも翻訳精度が低くなってしまう。一方で，ソフト制約による手法はすべての

光線一致に基づく定常波の幾何光学的理論を展開した。

## MT Output:

A geometrical optics theory of stationary waves based on ray matching is developed.

## Constraints:

geometric-optical theory, standing wave, ray coincidence

## Constrained MT Output:

A geometric-optical theory of standing wave based on ray coincidence is developed.

図 1 語彙制約付き機械翻訳の例
語彙制約が翻訳文に含まれることを保証しない．従来手法では，NMT モデルへ入力される原言語文を編集や拡張することで出力系列の探索などを用いずに制約語句を出力する方法が試みられている (Song et al. 2019; Chen et al. 2020). Song et al. (2019)はフレーズテーブルを用い,原言語文中の制約語句に対応する部分に対してその制約語句で置換したり抻入したりすることで，モデルの入力系列を編集する手法を提案している。また， Chen et al. (2020) は，原言語文の末尾に制約語句を結合してモデルの入力系列を拡張する手法を提案している. これらの手法は, 出力候補を決定する際に探索アルゴリズムを用いないためハード制約の手法に比べて高速に動作する一方で，いくつかの制約語句が出力されない可能性がある.

これらの従来手法に対し, 我々は与えられた制約がすべて出力に含まれるという制約条件 (ハー ド制約）の下で語彙制約付き機械翻訳の速度と精度を向上するために, 翻訳モデルへの入力系列の拡張によって制約付きデコーディングの探索を改善する手法を提案する. 本提案手法は, 翻訳モデルにおいてソフト制約の下で語彙制約を実現する手法と探索アルゴリズムにおいてハー ド制約の下で語彙制約を実現する手法を組み合わせた初の試みである。日英および英日翻訳での実験により，提案手法がハード制約を満たした上で，従来手法と比べて少ない計算コストで高い翻訳精度を実現できることを確認した。なお，本手法は，WAT 2021 Restricted Translation Task (Nakazawa et al. 2021)の日英/英日翻訳の両方において 1 位を獲得した.

また, 従来は人手で作成された語彙制約に対する語彙制約付き機械翻訳が主に研究されてきた. 原言語文に対して事前に語彙制約を作成して語彙制約付き機械翻訳を行う場合には，制約語句を辞書などから自動的に抽出することで人手での作成に比べてコストが削減できると考えられる。しかし, 自動抽出された制約語句にはノイズとなる語句が含まれることが考えられる。前述の語彙制約付き機械翻訳手法は与えられる制約語句が必ず翻訳文に含まれることを仮定しているため，自動抽出された語彙制約をそのまま用いると翻訳精度が低下することが想定される。そこで本論文では，自動抽出されたノイズを含む語彙制約に対しても語彙制約付き機械翻訳を適用するために，与えられた語彙制約の任意の組み合わせに対する翻訳候補にリランキング手法を用いることで最適な翻訳文を選択する手法を提案する。対訳辞書から自動抽出した語彙制約による日英翻訳での実験により，制約の与えられない一般的な機械翻訳手法に対して翻訳精度が改善できることを確認した.

## 2 語彙制約付き機械翻訳

$S$ トークンからなる原言語の入力文を $X=\left(x_{1}, x_{2}, \ldots, x_{S}\right), T$ トークンからなる目的言語の参照訳文を $Y=\left(y_{1}, y_{2}, \ldots, y_{T}\right)$ とする. 従来の機械翻訳タスクでは， $X$ から $Y$ の系列変換という問題を以下の条件付き確率 $p(Y \mid X)$ を最大化する目的言語文を探索することで翻訳文を生
成する。

$
p(Y \mid X)=\prod_{t=1}^{T} p\left(y_{t} \mid y_{<t}, X\right)
$

これに対して語彙制約付き機械翻訳タスクでは, 語彙制約を表す $N$ 個の語句のリスト $C=$ $\left(C_{1}, C_{2}, \ldots, C_{N}\right)$ がさらに与えられ，その制約語句を全て含んだ目的言語文を出力する必要があ

の条件付き確率を最大化する問題として定義される.

$
p(Y \mid X, C)=\prod_{t=1}^{T} p\left(y_{t} \mid y_{<t}, X, C\right)
$

ただし，ここで与えられる制約語句のリスト $C$ は参照訳中の出現順序とは独立であり，ランダムな順序で与えられる。

## 3 提案手法

本論文の提案手法は制約付きデコーディング手法（3.1 節）での探索を翻訳モデルへの入力系列の拡張手法（3.2 節）によって改善し, ハード制約下で予測に必要な計算時間の削減と翻訳精度の向上を実現させるものである． 3.1 節および 3.2 節では提案手法の要素となる 2 の先行技術について紹介する.

また，従来の語彙制約付き機械翻訳手法が取り扱っていた語彙制約は人手や参照訳を使用することで作成されてきたが，実際にすべての原言語文を翻訳する際には参照訳は利用できず人手で制約を作成するのにはコストがかかることから語彙制約の自動抽出が望まれる。そこで,本論文では自動抽出されたノイズの多く含む語彙制約に対しても語彙制約付き機械翻訳手法を適用するための手法を 3.3 節で提案する.

## 3.1 ビームサーチによる語彙制約付きデコーディング

本研究が目的とするハード制約における語彙制約付き機械翻訳タスクでは, 必ず翻訳文が語彙制約を満たす必要がある。そこで提案手法では，デコーディング時に語彙制約付きデコーディング (lexically constrained decoding; LCD) と呼ばれる手法 (Hokamp and Liu 2017; Post and Vilar 2018) を用いる．この手法は，語彙制約を考慮したビームサーチによって出力文の探索を行う手法である. ビームは制約の個数と同じ数の bankに分割され, 各 bank は制約語句の個数と対応づけられる. 各タイムステップの各出力候補はその候補が満たしている制約の個数に対

応する bankへ追加される。これにより，最終的に与えられた制約語句の数と等しい bank から出力候補を取り出すことで，語彙制約を満たした翻訳文が得られることが保証される.

一方で，LCDではビームを語彙制約の個数に分割するため，制約の個数が増加するに応じて必要なビームサイズが大きくなり，そのために従来の NMT と比べて計算量が大きくなってしまう。この問題に対して, Post and Vilar (2018) は各 bankの容量をタイムステップ毎に動的に決定することで計算量の削減を行う手法を提案している。しかし，我々が行った日英翻訳における事前実験ではビームサイズを 60 まで大きくしないと語彙制約を満たす出力候補の探索に失敗するケースも確認されており，まだ改良の余地が大きい。また，探索が失敗するケースでは NMT モデルが事前に設定した最大文長まで文を生成するため，単語の繰り返し等を多く含むような非文が生成されてしまい，結果として翻訳精度の低下に繋がるという問題がある。

## 3.2 入力拡張による語彙制約を考慮したNMT

前述の LCD の問題を解決するために，提案手法では Lexical-Constraint-Aware NMT (LeCA) (Chen et al. 2020) と呼ばれる，原言語文と制約語句を結合することによって入力系列を拡張する手法を用いる，翻訳モデルへの入力系列は，区切りとなるシンボルである〈sep〉で原言語文 $X$ と制約語句のリスト $C$ 中の各語句 $C_{i}$ を連結することにより，以下のように作成される.

$
\left[X,\langle\text { sep }\rangle, C_{1},\langle\text { sep }\rangle, C_{2}, \ldots, C_{N},\langle\text { eos }\rangle\right]
$

ここで, $\langle\mathrm{eos}\rangle$ は文の終端を表すシンボルである.

一般の対訳コーパスには制約語句の情報が含まれていないため，モデルの学習に際しては制約語句を新たに付与する必要がある。そこで学習時に式 3 の入力系列を作成するために, Chen et al. (2020) では参照訳中から擬似制約語句を動的にサンプリングする手法を提案している．制約語句のサンプリングは，初めに制約単語の個数 $k$ をサンプリングした後に，参照訳中から $k$個の単語をランダムに抽出することで行われる。ここで，制約単語の個数 $k$ は 0 から制約語句の最大個数 $K$ までの間から，ハイパーパラメータとして与えられる確率分布に従ってサンプリングされる. $k=0$ の場合には制約語句が与えられない設定となるが, これは制約が課されない際の翻訳精度を保つことを目的としている。

また，LeCA は Transformer (Vaswani et al. 2017) をべースとしたモデルであるが，式 3 に示した入力系列をそのままモデルに入力すると原言語文と各制約語句を区別することができない. そこで，LeCAでは入力系列の入力表現に変更を加える，入力表現は図 2 に示すように, token embeddings と positional embeddings, segment embeddings の3つから構成される. positional embeddings の上では入力系列内で位置情報が重複するのを避けるため, 各制約語句への位置インデックスは原言語文の最大長から始まる値を割り当てる。また，原言語文と各制約に異なる値を割り当て, segment embeddings としてモデルへと入力する. さらに, pointer networkによる

図 2 LeCA モデルの入力表現

copy mechanism (Vinyals et al. 2015; See et al. 2017) を導入する. これにより， 入力系列のトー クンをそのままコピーする形で出力できるため, 制約語句の生成を助けることが期待できる.

LCD では翻訳モデルが各トークンの生成確率を計算する際に語彙制約の情報を使用しない.一方で，LeCA ではすべての制約語句が翻訳文中に含まれることが保証されない。そこで，本研究では LeCAによる入力系列の拡張によって LCD の探索を改善することにより，翻訳精度を維持もしくは向上させながら制約を常に満たした訳出を行うことを保証することのできるモデルを提案する．LeCAを用いることによってデコーディング時よりも早いタイミングでどのような制約語句が存在しているのかという情報を翻訳モデルに与えることができるため，翻訳モデルが翻訳文中のどの位置で制約を出力するべきかをより適切に決定できるようになり，後段の LCDによる探索が効率化することが期待できる.

## 3.3 自動で抽出した制約語句に対する語彙制約付き機械翻訳

本論文では，前述の翻訳手法の改善に加えて，対訳辞書などから自動で抽出された制約語句を用いて語彙制約付き機械翻訳を行う手法を提案する. 特許や科学技術論文などの固有名詞を多く含むドメインの文書の翻訳では過去の翻訳結果から作成される翻訳メモリや対訳辞書を用いることが多く，そのため対訳辞書から自動で抽出した制約語句によって語彙制約付き機械翻訳を行うというユースケースが考えられる。一方で，制約語句を自動で抽出する場合には抽出された制約語句にノイズとなる語句が含まれることが考えられる。前節までで述べた語彙制約付き機械翻訳手法は与えられる制約語句が必ず参照訳中に含まれることを仮定しているため, そのまま自動抽出された制約語句の全てを語彙制約として語彙制約付き機械翻訳手法を適用すると間違った語句が必ず翻訳文に含まれることになり, むしろ語彙制約を使用しない一般的な機械翻訳手法よりも翻訳精度が低下することが想定される。この問題に対して本論文では, 制約語句にノイズが含まれる状況において語彙制約付き機械翻訳を用いる手法を提案する.

提案手法では，自動抽出された制約語句のリストのべき集合に対して語彙制約付き機械翻訳を行い, その翻訳結果に対してリランキング手法を用いて最も良い翻訳文の候補を選択するこ

とで，自動抽出された制約語句に対する語彙制約付き機械翻訳を実現する。まず，自動抽出された制約語句のリスト $C$ のべき集合の各要素を語彙制約として語彙制約付き機械翻訳を行う. このとき作成される語彙制約は $2^{|C|}$ 個となり，その各語彙制約からそれぞれ複数の翻訳文の候補が得られる。次に，得られた翻訳文の候補から適切な語彙制約による翻訳文を抽出するために翻訳結果に対してリランキング用のスコアを計算し，そのスコアが最も良いものを翻訳文として選択する。これにより，自動抽出された制約語句のリスト $C$ からノイズとなる制約語句を取り除いた，適切な語彙制約による翻訳文を候補として用いることができる.

## 4 人手で作成した語彙制約による評価実験

3.2 節で述べた提案手法の有効性を評価するため, 日英翻訳 $(\mathrm{Ja} \rightarrow \mathrm{En})$ および英日翻訳 $(\mathrm{En} \rightarrow \mathrm{Ja})$ を対象として，人手で作成した語彙制約による制約付き機械翻訳の精度評価を行った。評価および分析の対象としたモデルは以下の通りである.
- BASE: 語彙制約を用いないべースラインモデル
- BASE+LCD: BASE および LCD (Post and Vilar 2018)
- LeCA: Lexical-Constraint-Aware NMT (Chen et al. 2020)
- LeCA+LCD: LeCA および LCD (提案手法)

## 4.1 データセット

学習および評価に使用する対訳コーパスとして ASPEC (Nakazawa et al. 2016)を用いた。また, 開発用および評価用セットの語彙制約として, 二言語話者が科学技術用語を抽出することで作成された, WAT 2021 Restricted Translation Task (Nakazawa et al. 2021)のデータを使用した. ASPEC に含まれる対訳文対の数を表 1 に示す. ASPEC は英語及び日本語の科学技術論

 &  &  &  \\

Dev & 1,790 & $2.81(1.89)$ & $2.85(1.91)$ & $7.19(5.63)$ & $6.98(5.67)$ \\
DevTest & 1,784 & $3.19(2.16)$ & $3.23(2.18)$ & $7.90(6.03)$ & $7.73(6.30)$ \\
Test & 1,812 & $3.21(2.10)$ & $3.26(2.14)$ & $8.07(5.87)$ & $7.79(6.12)$ \\

表 1 ASPEC および WAT 2021 Restricted Translation Taskデータセットの統計情報. 制約語句に関する值では各文対に対する平均個数および平均単語数とそれらの分散を示す. 英語の単語分割には Moses, 日本語の単語分割には MeCab + NEologd を用いた.
文から作成されたコーパスであり，300万文の対訳文対から構成されている．ASPEC の対訳文は自動で対訳文対応付けした際のスコアが高い順に整列されているため，コーパスの末尾にある文対はノイズが多く含まれていることが考えられる。 そこで，本研究では Morishita et al. (2017) に従って, 最初の 200 万文のみを対訳文対として使用することとした. また, 最後の 100 万文対に関してはそれぞれの言語における擬似対訳コーパスの作成のための単言語データとした (Sennrich et al. 2016a). 疑似対訳コーパスを作成する方法としては, Morishita et al. (2019)の分析および我々の事前実験に基づき，英日翻訳では目的言語文から翻訳（逆翻訳; back-translation） (Sennrich et al. 2016b)を行った. モデルの学習に利用するデータには, 事前実験の結果に基づき，英日翻訳では ASPEC 上位 200 万文と残りの 100 万文から作成した疑似対訳デー夕，日英翻訳では ASPEC 上位 200 万文のみを用いた。

学習時に作成される疑似制約語句は参照訳中からサブワードではなく単語の単位でサンプリングされるため, サブワードへの分割の前に文の単語分割を行う必要がある。 そこで，本研究では英語と日本語の両方の文に対して単語分割を行った．英語の単語分割には Moses toolkit (Koehn et al. 2007) に含まれているトークナイザを用いた。日本語の単語分割には MeCab (Kudo 2006) を使用した. MeCabの辞書としてよく使用されるものとして，デフォルトで利用されるipadic と Sato (2015)による mecab-ipadic-NEologdがある. mecab-ipadic-NEologd は多くの新語や固有表現を含む辞書であり，ipadicでは正しく分割できない固有表現や専門用語をより適切に扱うことができると考えられる．固有表現や専門用語は語彙制約として多く与えられることが想定されるため，日本語の単語分割に際して mecab-ipadic-NEologd を用いることは品質の高い疑似制約語句の作成につながることが期待できる。辞書の違いによる翻訳精度および制約語句の一貫性への影響に関しては, 4.4 .2 節で比較評価を行う.

目的言語が英語の場合，制約語句が大文字で始まっているかどうかによって生成結果が影響されるのを避けるためにMoses truecaser を使用した。

単語分割後, sentencepiece (Kudo and Richardson 2018) を用いてサブワードへの分割を行った. Morishita et al. (2019)によると, Transformerによる ASPECの翻訳の際の語彙サイズは,一般的に用いられている値（例: 32,000）よりも小さいサイズ（例: 4,000）のほうが実験的に高い翻訳精度を達成すると報告されている。一方で，LCD を使用する際には制約語句のサブワー ド数を減らせるために大きい語彙サイズが適していると考えられる。これは，制約語句のサブワード数が増加すると LCDが必要とするビーム幅が増加し, 訳出にかかる時間が増加するためである。本研究では，事前実験において最も良い結果を達成した，日本語と英語合わせて 32,000 トークンの語彙サイズを採用した。

また, 学習データから過度に長いものや文長が異なる文対を削除するため, Moses の clean-corpus-n

スクリプトによるクリーニングを行っだ．

## 4.2 モデル

提案手法の有効性を確認するためのベースラインモデルには Transformer (big) (Vaswani et al. 2017）を用いた. Kiyono et al. (2020) に基づき，ベースラインモデルの詳細な設定およびハイパーパラメータは表 2 に示したものを用いた。本実験で使用したモデルはべースラインモデルをべースとして作成しており，特に明記していない場合の設定およびハイパーパラメータはベー スラインモデルの值に準じている。モデルの実装には fairseq (Ott et al. 2019)を用いた.

LeCA の学習に際して疑似制約の最大個数 $K$ は 14 とし, 単語数 $k$ は以下の分布に従ってサンプリングを行った.

$
p(k)= \begin{cases}0.4 & (k=0) \\ 0.6 / 14=0.04 & (1 \leq k \leq 14)\end{cases}
$

また，モデルの更新回数は，英語が制約の場合には 10,000 ステップ，日本語が制約の場合には 12,000 ステップとした，LeCA と LCD を組み合わせた際のビームサイズは，事前実験で 30 より大きくしても精度の改善がほとんど見られなかったため, $k=30$ を用いた.

語彙制約を用いた場合のモデルアンサンブルの効果についても検証した。モデルアンサンブルの実施方法としては，まず初めにそれぞれ異なる乱数のシード値から 8 個のモデルの学習を行った。その後, 各タイムステップにおいてそれらのモデルのトークンの生成確率の平均を計算し，その値を基にビームサーチによるデコーディングを行った.

表 2 ベースラインモデルの設定およびハイパーパラメー夕

最後に，翻訳文中の制約語句と対応する箇所に対して後処理を行った。これは，サブワード分割などの影響によって与えられた制約語句と表層が完全に一致しない状態で訳出されてしまうケースがあるためである。具体的には，翻訳文上で完全一致しない制約語句に対して，以下の手順で翻訳文中の制約語句に対応する箇所を制約語句に置換することにより行った.

(1) ハイフン等の記号の前後の空白の削除や半角の記号を全角に変換する

（2）表層の完全一致で翻訳文中に見つからない制約語句に対して，翻訳文と制約語句の両方を小文字に変換及び空白を削除した状態で翻訳文の制約語句に対応する箇所を検索し， その情報に基づいて翻訳文の一部を与えられた制約語句に置換する。

（3）制約語句の一部が未知語となってしまっている場合が存在する²ため, (2) の処理での検索でも制約語句に対応する箇所が見つからない場合には，制約語句の任意の部分文字列を未知語を表す特殊トークンに置き換えた後に (2) と同様の処理で置換を行う.

## 4.3 評価尺度

語彙制約付き機械翻訳モデルの評価は翻訳文の翻訳精度および語彙制約の生成の間の一貫性という観点に基づいて行った。翻訳精度の尺度には, 自動評価尺度として BLEU (Papineni et al. 2002)，人手評価尺度として source-based direct assessment (DA) (Cettolo et al. 2017; Federmann 2018) および source-based contrastive assessment (CA) (Sakaguchi and Van Durme 2018; Federmann 2018) を用いた. 特に明記していない場合, BLEU の計算には sacrebleu (Post 2018)を用いた ${ }^{4}$.

語彙制約と生成の一貫性を測る尺度としては, Term\% (Susanto et al. 2020; Chen et al. 2020)5 およびSent\%という 2 つの尺度を用いた．Term\%およびSent\%は以下のように定義される。

$
\begin{aligned}
\text { Term } \% & =\frac{\text { 翻訳文中に正しく生成された制約語句の数 }}{\text { データセット中の全ての制約語句の数 }} \times 100 \\
\text { Sent } \% & =\frac{\text { 語彙制約を完全に満たす翻訳文の数 }}{\text { データセット中の参照訳数 }} \times 100
\end{aligned}
$

## 4.4 実験結果

各手法による翻訳精度及び制約語句の訳出の一貫性の変化を確認する４.4.1 節ではモデルの構成の違い，4.4.2 節では日本語を制約語句とする際の単語分割に使用する辞書の違いを比較し,評価尺度のスコアの変化から語彙制約付き機械翻訳および提案手法にとって最適な設定につい
^{5}$ Chen et al. (2020) では copy success rate (CSR) という名前で同じ評価尺度が用いられている.
}

て検証する。また，4.4.3 節ではそれまでの比較によって判明した最適な設定によるモデルの翻訳精度を示し, その結果から事前学習およびアンサンブルの効果についても確認する。最後に, 4.4.4 節において, 自動評価尺度で最も翻訳精度が高かったシステムに対する人手評価を行い, その結果を確認する.

## 4.4.1 モデルの構成の違いによる翻訳精度および一貫性の比較

翻訳文と制約語句の間で表層が一致するようにするための後処理を行う前の, 各モデルの翻訳精度及び一貫性の結果を表 3 に示す。まず，LCDのみを用いた手法 (BASE+LCD) では，BASE にくらべてTerm\%およびSent\%の大幅な改善が見られた。この時, ハード制約を満たすはずの LCD を適用しても BASE+LCD の一貫性スコアが $100 \%$ なっていないが，これはトークナイズ時の正規化などが原因でスコアが減少しており，前述の後処理を適用することでスコアを $100 \%$ にすることができることを確認している (4.2 節).

一方で, BASE+LCD の翻訳精度が $\mathrm{Ja} \rightarrow \mathrm{En}$ において BASE と比べて減少してしまっていることがわかる。この際に生成された翻訳文を確認したところ，いくつかの文では制約語句と同じ意味だが表層が異なるフレーズが訳出された後に同じ単語やフレーズを大量に繰り返しており， その結果として翻訳精度が減少していた。これは，NMT モデルが制約語句と同じ意味だが表層が異なるフレーズを先に訳出した際に，制約語句に対応する原言語のフレーズは翻訳済みという扱いになってしまうので制約語句の出力確率は高くならず出力されづらくなるが, その一方で LCD はすべての制約を満たすまで生成を続けるようにモデルに強制するため，その結果としてトークンの繰り返しが発生してしまうのだと考えられる。また，BASE+LCD を用いて全ての制約語句の生成を成功させるためには, ビームサイズを 60 以上にしないとビームサーチ時に探索失敗してしまうということも確認されたため, 非常に翻訳時の計算コストが大きくなった。これは，翻訳モデルが語彙制約を知らないために制約語句に対する生成確率が高くならない場合が存在し，小さいビームサイズでは語彙制約を含む翻訳候補を探索できないことが原因だと考えられる。

表 3 後処理を行う前の各モデル構成の翻訳精度および語彙制約の生成の一貫性スコア.*が付いている值は後処理によって $100 \%$ になった値を表す.
次に, LeCA の結果に着目すると, 高い翻訳精度と一貫性スコアを達成していることがわかる。LeCA および BASE + LCDへの入力は同じ原言語文と制約語句の 2 つであるが，BASE $+\mathrm{LCD}$ に比べて翻訳精度は大きく向上していることがわかる。しかし，LeCA は語彙制約を満たすことを保証しない手法であることから，一貫性スコアに関しては BASE+LCD よりも減少したものとなっている.

これらの手法に対して，提案手法である LeCA+LCD では小さいビームサイズで全ての語彙制約を満たしながらも翻訳精度の向上を達成することができている。このことから， NMT モデルに原言語文と語彙制約の両方を入力することで，モデルが適切なタイミングで制約語句に対して高い出力確率を割り当てることができるようになり，その結果として語彙制約付きデコー ディングによる出力候補の探索が効率的に行われるようになり，翻訳精度の向上やビームサー チの減少に繋がるのではないかと考えられる。

## 4.4.2 単語分割時の辞書の違いによる翻訳精度および一貫性の比較

LeCA の学習時に作成される疑似制約語句は参照訳中から単語の単位でランダムにサンプリングされるため, 単語の分割単位が学習に大きく影響を与えると考えられる. 特に, 分かち書きがされていない日本語では，使用する辞書などによって大きく単語の分割単位が変化する. そのため, 日本語が語彙制約として与えられる $\mathrm{En} \rightarrow \mathrm{Ja}$ において, 単語分割の際の辞書の違いにより LeCA の翻訳精度および一貫性スコアがどのように変化するかを確認した。単語分割には MeCabを用い，比較する辞書としてはデフォルトの辞書である ipadic と固有表現を多く含む mecab-ipadic-NEologd の 2 種類を用いた。

表 4 に各辞書を使用した際の LeCA の翻訳精度および一貫性スコアの結果を示す. ipadicを使用した場合に比べて mecab-ipadic-NEologd を用いたモデルのほうが翻訳精度および一貫性スコアが大きく向上している。このことから, mecab-ipadic-NEologdのような新語や固有表現が多く含まれる辞書を用いる方がそれらの単語が 1 単語として分割されるため, 日本語における LeCAの学習に適しているということが確認できた。そのため, 本研究における日本語の単語分割には MeCabと mecab-ipadic-NEologdの組み合わせを用いた.

表 $4 \mathrm{En} \rightarrow \mathrm{Ja}$ における単語分割の際の辞書の違いによる LeCA の翻訳精度および一貫性スコアの変化

## 4.4.3自動評価尺度による翻訳精度の評価

表 5 に評価用データセットに対する各システムの自動評価尺度による翻訳精度を示す ${ }^{6}$.この結果より，提案手法 (d) は BASE (a) に対して BLEU スコアで En $\rightarrow \mathrm{Ja}$ が+ 10.85 ポイント， $\mathrm{Ja} \rightarrow \mathrm{En}$ が+14.03 ポイントと, 大幅に翻訳精度が向上していることがわかる. また, 既存の語彙制約付き機械翻訳手法である LCD (b) および LeCA (c) に対しても精度が向上している.これより，入力系列の拡張による語彙制約を考慮したNMT とビームサーチによる語彙制約付きデコーディングを組み合わせることで，さらに効果的な語彙制約付き機械翻訳が実現できることが確認できた。

次に，後処理による翻訳精度の影響について確認する。後処理を行っていない表 3 の結果と比較すると, $\mathrm{En} \rightarrow \mathrm{Ja}$ では翻訳精度が向上しているが $\mathrm{Ja} \rightarrow \mathrm{En}$ では翻訳精度が減少していることが確認できる。これは後処理が，目的言語が日本語の場合には制約語句に含まれる未知語が正しく復元されるなどの影響で翻訳精度の向上に寄与し，英語の場合には正規化の有無やトークン単位が一致しなくなるなどで翻訳精度が減少してしまう原因となっていると考えられる。

最後に, その提案モデルのアンサンブルの効果について検証する。結果より，8 個のモデルをアンサンブルすることにより，単一のモデルの翻訳精度に対して大幅な翻訳精度の検証が見られた（表 $5(\mathrm{~d}),(\mathrm{e})$ ).このことから，語彙制約付きデコーディングとの組み合わせにおいてもモデルのアンサンブルは翻訳精度の改善に寄与することが確認できる。

## 4.4.4 人手評価尺度による翻訳精度の評価

表 6 に，4.4.3で最も高い精度を達成したモデル（表 $5(\mathrm{e})$ ）に対する人手評価尺度による翻訳

表 5 翻訳精度の自動評価尺度による結果． En $\rightarrow \mathrm{Ja}$ の結果に，MeCabによる単語分割を基にした BLEU スコアを示している.太字で示される値は各列において最も高い値を表す.


表 6 翻訳精度の人手評価尺度による結果

精度の評価結果を示す7．提案手法により作成したモデルでは，人間によって翻訳が行われた参照訳よりも両方の尺度において高い翻訳精度が実現できている。特に，オリジナルのデータの翻訳方向と同じである $\mathrm{Ja} \rightarrow \mathrm{En}$ の設定においても参照訳を上回る精度を達成していることから，目的言語側で適切な語句を制約語句として選択することができる場合には，語彙制約付き言語生成によって人間と同等の翻訳精度を達成することができる可能性が示唆される.

## 4.5 分析

これまでの実験により適切な語彙制約が与えられる設定では提案手法によって高い翻訳精度が達成できるということが確認できた。しかし, 以下の点に関しては依然として疑問が残る.
- 提案手法がなぜ先行研究と比べて有効であるのかという点（4.5.1 節）
- 提案手法によって計算効率はどの程度向上したのかという点 (4.5.2 節)
- 制約語句の性質によって翻訳精度が改善もしくは悪化するのかという点 (4.5.3 節)本節ではこれらの疑問点に関して, さらなる分析を行った。

## 4.5.1 実際の翻訳結果の例に基づく分析

提案手法がなぜ先行研究と比べて有効であるのかを確認するため, 先行研究である BASE + LCD では翻訳に失敗してしまうが提案手法の LeCA+LCD では正しく翻訳が行えるケースを用いて分析を行う. 表 7 に ASPEC の評価用セットから選択したそのようなケースの翻訳例を示す. ここで，表中の下線部は制約語句と完全一致するフレーズ，波線部は制約語句と同じ意味で表層が異なるフレーズを表す。結果より明らかであるように，BASE+LCD は同様のフレーズを繰り返し生成しており，語彙制約を満たしている一方で翻訳には失敗してしまっている。特に， superconductivity single phrase auto-transformerという制約語句の生成が上手く行われ


 \\

表 7 翻訳例：下線部は制約語句と完全一致するフレーズ，波線部は制約語句と同じ意味で表層が異なるフレーズを示す.

ていないように思われる。この問題は, BASE+LCDが与えられた制約語句と非常に似た意味たが表層が異なるフレーズの superconducting single - phase transformer（表 7 波線部）を早い段階で生成してしまい，制約語句の情報を知らない翻訳モデルはその制約語句に対応する原言語の表現が翻訳されたとしてしまうのに対して，実際には制約が満たされていないために LCD が訳文の生成を終了させないようにモデルに出力を強制することから発生しているのではないかと考えられる。このような翻訳結果は BASE+LCD の出力に多く見られており, このことが BASE に比べて翻訳精度が低下している点やビームサイズを大きくする必要がある点の原因となっていると思われる。

一方で, 提案手法である LeCA+LCD は語彙制約を満たした上での翻訳に成功している。このことから，入力として語彙制約を受け取る LeCA は制約語句に対して他の単語よりも高い生成確率を付与する，または他の単語の生成確率を適切に下げることができるため，提案手法がより制約を満たした文の生成に効果的であるということが示唆される.

## 4.5.2 ビームサイズの変化による翻訳精度の変化

提案手法のビームサイズによる影響を確認するため，ビームサイズを変化させた際に提案手法の翻訳精度がどのように変化するかの分析を行う。図 3 に，英日翻訳におけるビームサイズを変化させた際の BLEU スコアを示す。3.1節でも述べた通り，BASE+LCDではビームサイズ

図 3 英日翻訳におけるビームサイズを変化させた際の BLEU スコア

を 60 以上まで大きくしないと語彙制約を満たす出力候補の探索に失敗するケースが確認された。これに対して, LeCA+LCDではビームサイズを非常に小さく設定した際においても語彙制約を満たすことができ，さらに翻訳精度も改善することができている。この結果より, LeCA の出力確率による翻訳候補のスコアリングは LCD による探索をより効率化させ，LeCA と LCD を組み合わせた手法を用いることで予測にかかる計算時間を減少させることができることが示唆される。

## 4.5.3制約語句の性質による翻訳精度の変化

本節では, 制約語句の性質によって翻訳精度がどのような影響を受けるのかについて分析を行う。前節までの結果より, 科学技術用語のような適切な制約語句を与えることができれば，語彙制約付き機械翻訳によって高い翻訳精度が達成できることが確認できた. しかし，科学技術用語以外で一般にどのような制約語句が翻訳精度の向上に寄与するのかは明らかではなく，同様に制約語句が科学技術用語以外になった場合の語彙制約付き機械翻訳手法の有効性も明らかではない，そこで本節では，参照訳文中から言語学的な役割を持つ様々な語句を抽出し，それらの語句を語彙制約とした際の役割ごとの翻訳精度の変化を確認する。

語句の役割には品詞・句構造木・固有表現の夕グを採用した。品詞および固有表現は spaCy の RoBERTa ベースのパイプライン8を使用してタグ付けを行った. また, 句構造解析には Berkeley


Neural Parser (Kitaev and Klein 2018)9を用いた. タグ付けされたすべての語句に対して，その語句を制約として与えた場合及び与えない場合の 2 通りで LeCA+LCDを用いて翻訳を行い，属性別でそれぞれの BLEUを計算した。

表 8 に品詞タグ，表 9 に句構造タグ，表 10 に固有表現タグにおける，役割別の翻訳精度の変化を示す. 品詞・句構造ではほとんどの夕グ，固有表現ではすべての夕グで語彙制約として与えた際に翻訳精度の改善が見られた。夕グ付けの際のエラーを考慮してスコアの分散が小さいと思われる 100 文以上抽出されている夕グに着目すると, 品詞では基数 (CD) や限定詞 (DT),前置詞 (IN), 形容詞 (JJ), 人称代名詞 (PRP\$, PRP), 副詞 (RB), 動詞 (VBD, VBG, VBN, $\mathrm{VBP}, \mathrm{VB}, \mathrm{VBZ})$ などの幅広いタグで翻訳精度の改善が見られる。特に動詞に関連するタグでは精度改善の幅が大きく, これは動詞が活用などで表現が変化しやすいことから参照訳の表現と同じ表現で翻訳器が訳出することが難しいために語彙制約として与えることで訳出表現が一意に定められることが原因として考えられる。一般名詞 (NN，NNS) に関しても精度が向上している一方で, 固有名詞 (NNP) では精度が向上していないという結果になっている．実際の出力結果から固有名詞が制約として与えられていて BLEUが低下しているものを確認すると，多くは制約語句の一部が大文字や小文字になっていることによりスコアの減少を招いていた. 目的言語が英語の場合には制約語句が大文字で始まっているかどうかによって生成結果が影響されるのを避けるために truecase を行っており，翻訳モデルの出力した文を detruecase する際に語彙制約全体もしくは最後の 1 文字が大文字にならないことがあるため，その結果として大文字で与えられることの多い固有名詞では翻訳精度が少し低下していると考えられる。実際に， すべて事前に小文字に変換して大文字と小文字の違いを無視した状態で評価を行ったところ， BLUE が制約なしでの翻訳では 32.9 ポイントであるのに対して制約付きの翻訳では 33.4 ポイントとなり, 0.5 ポイントの改善が確認できた。

## 5 自動で抽出した語彙制約による評価実験

3.3 節で提案した, 自動抽出した語彙制約に対する翻訳候補のリランキングによる語彙制約付き機械翻訳手法の有効性を確認するため，日英翻訳を対象として対訳辞書から自動抽出した語彙制約による語彙制約付き機械翻訳の精度評価を行った。

## 5.1 対訳辞書

語彙制約を抽出するために用いる対訳辞書として, 汎用的な辞書である EDR 日英対訳辞書 $(\mathrm{EDR}-\mathrm{JE})^{10}$ および日英翻訳システム ALT-J/Eの対訳辞書 (池原他 1987)を用いた. 対訳辞書


表 8 品詞夕グ別での制約の有無による BLEU の比較. 太字は同じ属性で BLUE スコアが高い方を示す.

表 9 句構造タグ別での制約の有無による BLEU の比較.太字は同じ属性で BLUE スコアが高い方を示す.

表 10 固有表現夕グ別での制約の有無による BLEU の比較.太字は同じ属性で BLUE スコアが高い方を示す。

のエントリに関しては文脈に応じて訳語が変化するものや見出し語の検索性が低いものなどが存在しノイズとなるため, 以下の要素に当てはまるエントリに対してフィルタリングを行った.
- 名詞/名詞句以外の語句を含むエントリ
- 長さが 1 の語句からなるエントリ

$\cdot$ 原言語側の単語に対して複数の訳語が存在するエントリ

語彙制約の抽出は, 対訳辞書の原言語側の語句から作成したTrie 木 11 を用いて原言語文中に含まれるエントリを検索し, 原言語側の語句の長さが最長となるエントリを選択することで行った. この際, 対訳辞書と原言語文との間で形態素の単位を揃えるために，各エントリの原言語側の語句は MeCab+NEologd によって事前に分かち書きを行ったものを用いた。また，語彙制約のオラクルとして人手で作成された語彙制約 (オラクル制約) である WAT 2021 Restricted Translation Taskのデータを使用した.


## 5.2 モデル

評価に用いる翻訳モデルとしては以下のものを選択した.
- Transformer (big)
- LeCA + \{EDR-JE, ALT-J/E $\}$
- LeCA+LCD $+\{$ EDR-JE, ALT-J/E $\}$
- LeCA+LCD + 人手制約 (WAT2021)

翻訳モデルの学習および評価に使用する対訳コーパスには ASPEC を用いた。各モデルの詳細な設定およびハイパーパラメータは 4 節と同様のものを用い，新たにモデルを作成した．翻訳文と制約語句の間で表層が一致するようにするための後処理，およびモデルのアンサンブルに関しては行わなかった。

辞書から抽出した制約に対しては $|C|$ 個の制約語句を全て使用したものから生成文の上位 30 文，及び $2^{|C|}$ 通りの語彙制約からそれぞれ上位 30 文を集めたものを翻訳候補として用いた。また，制約なしもしくは人手制約に対しては上位 30 文を翻訳候補として用いた。翻訳候補のリランキングの際に用いるスコアには以下の 3 つのスコアをそれぞれ用いた.
- Generation: 翻訳モデルの出力する翻訳候補の尤度
- Reranker: 原言語文と翻訳候補からリランキングモデルの計算するスコア
- SBLEU: 翻訳候補と参照訳との間の文レベルの BLEU

リランキングモデルには， Marie and Fujita (2018)の分析に基づき，文末から文頭へと翻訳文を生成する Right-to-Left 翻訳タスクを Trasnformer (big) で学習したモデルを使用した。その際のリランキングのスコアとしては入力された翻訳候補を force decoding した際の尤度を用いた．また，SBLEUは参照訳を利用するため実際の翻訳時には利用できないが，理想的なリランキングができた際の翻訳結果と考えられるため使用した。

## 5.3 評価尺度

各辞書から抽出した語彙制約の特徴を分析するため, 以下の尺度に基づいて各辞書の評価を行った。
- 制約語句の原言語側での単語数 / 原言語文の単語数 (source token match; ST)
- 参照訳に含まれる制約語句数 / 全ての制約語句数 (bilingual term match; BT)

・ 各文に対して与えられた制約語句が1つでも参照訳に含まれる割合 (Lax)
- 各文に対して与えられた全ての制約語句が参照訳に含まれる割合 (Strict)
- 制約が与えられない文の割合 (no constrained sentence; NoCons)

また，各手法の評価には翻訳精度の自動評価尺度である BLEUを用いた．また，制約語句が与えられた文が翻訳結果にどの程度使用されているかを調べるために，リランキングによって
選択された翻訳文中の制約語句が与えられた翻訳文の割合 (Constrained Sentence Ratio) を用いた。

## 5.4 実験結果

## 5.4.1 対訳辞書によって自動抽出された語彙制約の持つ特徵

各辞書に対する評価結果を表 11 に示す。エントリ数に着目すると ALT-J/Eのほうが規模が大きく，それに従って制約が与えられない文の割合である NoConsに関しては非常に小さく, 原言語側の単語に対する辞書のヒット率である ST や自動抽出された制約語句が 1 つでも参照訳に含まれる割合である Laxは高くなっている。一方で, 参照訳に含まれる制約語句の割合である BT やすべての制約語句が参照訳に含まれる割合である Strict に関しては EDR-JE のほうが高いという結果を示している。このことから，EDR-JEは抽出できる語彙制約の数は多くないもののその語句が正しい割合は比較的高く, 逆に ALT-J/E は制約語句の精度は比較的低いが語彙制約が多く抽出できるという特徴を持つと考えられる.

## 5.4.2対訳辞書により作成した語彙制約を用いた際の翻訳精度の評価

対訳辞書により自動抽出した語彙制約を用いた際の各手法の翻訳精度を表 12 に示す.

まずはじめに， $|C|$ 個の制約語句を全て使用した翻訳を行った際の翻訳精度に着目すると， リランキングの方法によらずベースラインである一般的な機械翻訳手法に対して LeCA および LeCA+LCD の翻訳精度が低下していることが確認できる。これは, 自動抽出された制約語句にはノイズとなる語句が含まれるため，そのまま語彙制約付き機械翻訳手法を適用すると間違った語句が翻訳文に含まれてしまうことが原因であると考えられる.

次に， $2^{|C|}$ 通りの語彙制約から翻訳を行った際の翻訳精度に着目すると， $|C|$ 個の制約語句をすべて使用した際の語彙制約付き機械翻訳手法に対して, リランキングの方法によらず $2^{|C|}$ 通りの語彙制約を用いた手法による翻訳が高い翻訳精度を実現していることが確認できる。このことより, 自動で抽出したノイズの多い制約語句に対して本論文で提案した制約語句のリストのべき集合の各要素に対して語彙制約付き機械翻訳を行う方法が有効であることが考えられる.

表 11 辞書の違いによる語彙制約の評価


表 12 対訳辞書により作成した語彙制約を用いた際の各手法の翻訳精度. $2^{C}$ は $C$ のべき集合を示す.

表 13 対訳辞書により制約語句の理想的な抽出ができた際の各手法の評価

また，翻訳モデルの出力する尤度をスコアとする Generation では, ベースラインである一般的な機械翻訳手法に対して, EDR-JE や ALT-J/Eでの語彙制約による LeCA および LeCA+LCD の翻訳精度が低くなっているが，リランキングモデルによるスコアを用いる Reranker ではべー スラインに対して LeCA や LeCA+LCD が翻訳精度を向上させることができている。これは, Generation では語彙制約付き機械翻訳手法の生成確率が与えられた語彙制約に影響されて大小することやモデルへの入力が異なるのにも関わらずその尤度を 1 つのスコアとして比較しているが，Reranker ではリランキングモデルの入力が原言語文のみであるので各翻訳候補に対する入力が同じになるため尤度を比較するのに向いているということが理由の 1 つとして考えられる.このことより，対訳辞書などから自動で抽出したノイズの多い語彙制約に対しても本論文で提案した翻訳候補のリランキングを用いることで，一般的な機械翻訳手法と比べて語彙制約付き機械翻訳手法で翻訳精度を改善できることが確認できる。 さらに，SBLEUではベースラインに対して語彙制約付き機械翻訳手法が非常に高い翻訳精度が達成できていることから, 理想
的なリランキングに近づけば近づくほど翻訳精度を大きく改善することができることも予想される。

一方で，人手制約による LeCA+LCD の結果を見ると Reranker よりも Generation のほうが高い翻訳精度を達成している。これは，今回使用した人手制約で与えられる固有名詞や専門用語などの生成確率は学習データに含まれていないことが多く，そのような制約語句を含む翻訳候補へのリランキングモデルのスコアが低下してしまうことが考えられ，ノイズのない人手制約では Rerankerの翻訳精度が低下してしまうということが考えられる。

次に, Constrained Sentence Ratio について着目すると, Reranker や SBLEU ではリランキングで制約なしの翻訳文が選択されていることがわかる。 Generation ではリランキングで選択された翻訳文の過半数以上が語彙制約が与えられた上での翻訳であるのに対して, Reranker や SBLEU ではそのような文の割合が大きく減少している。特に, 表 11 の Lax の値と比較して Reranker や SBLEU の割合が低いことから，いくつかの翻訳に関しては参照訳に含まれている制約語句が与えられたとしても語彙制約なしで翻訳した結果が選択されていることがわかる. また,この結果からも，Generation では語彙制約付き機械翻訳手法の生成確率が与えられた語彙制約に対して高い生成確率を割り当てており，語彙制約を使用した翻訳候補に対して高いスコアを割り当てていることが示唆される.

最後に, 辞書について着目すると, 語彙制約が多く抽出できる ALT-J/Eが Constrained Sentence Ratio に関してはより高い割合となっており, ALT-J/Eの方が語彙制約付きでの翻訳結果が多く使用されている。一方で, 翻訳結果に関しては Generation では EDR-JEのほうが高い精度を達成しており, Rerankerでは ALT-J/E と EDR-JEで大きな差はないという結果になっている. また，SBLEUでは逆に ALT-J/Eのほうが高い精度を達成していることから，リランキングが高精度に行える環境下では制約語句の精度は比較的低くとも語彙制約が多く抽出できる辞書のほうが適していることが予想される.

## 5.4.3対訳辞書により制約語句の理想的な抽出ができた際の各手法の評価

所与の対訳辞書から理想的な語彙制約が抽出できた際の翻訳精度を評価した. ここで, 理想的な語彙制約とは抽出された制約語句にノイズとなる語句が含まれていない語彙制約を指し, 対訳辞書により自動抽出した制約語句の中から参照訳に含まれる語句だけを選択することで作成した. 対訳辞書を用いて語彙制約を自動抽出する場合にはノイズとなる制約語句によって翻訳精度が低下する恐れがあったため, 制約語句のリストのべき集合を語彙制約とする方法をとっていた.これに対して, この理想的な語彙制約にはノイズとなる制約語句が含まれないため,本評価では抽出された制約語句を全て用いる語彙制約付き機械翻訳を行った. その後, 得られた翻訳文の候補に対してリランキングを行った。結果を表 13 に示す.

表 12 の結果と比較すると, Generation と Rerankerのほとんどの設定で翻訳精度が向上して

いることがわかる。したがって，語彙制約の抽出の精度を向上させることによって翻訳精度を改善させられることが示唆される。一方で，SBLEU の値を見ると表 12 の結果よりも低下していることがわかる。これは，本評価では語彙制約付きの翻訳しか行っていないため, リランキングの対象には制約なしでの翻訳候補が含まれないことが原因として考えられる．前節の結果から，いくつかの翻訳に関しては参照訳に含まれている制約語句が与えられたとしても語彙制約なしで翻訳した結果のほうが高い翻訳精度を達成すると考えられ，そのため SBLEU に関しては翻訳精度が低下してしまっていると思われる。

## 6 関連研究

Hokamp and Liu (2017) は Grid Beam Search (GBS) と呼ばれる,ビームサーチを拡張して翻訳モデルに与えられた制約語句を出力させることを強制する手法を提案している。この手法では，各出力ステップにおいて，ビームを制約の個数と同じ数だけの bankに分割し， $n$ 個の制約を満たした候補の中から上位 $k$ 個の候補を $n$ 番目の bankに割り当てる。この方法で探索を進めると，語彙制約をすべて満たした翻訳候補は制約の個数に対応するビームに含まれるようになる，一方で，ビームサイズが各入力文の制約の個数に応じて変化するため, 複数の文を並列して翻訳することが難しくなる。これに対して, Post and Vilar (2018) は Dynamic Beam Allocation (DBA) と呼ばれる, 固定のビームサイズから各 bankに対して動的にサイズを割り当ててデコーディングを効率化する手法を提案している。しかし, これらの論文における実験で用いられている制約語句の単語数は本論文で扱ったデータと比べると小さく, 我々の実験ではこれらの手法は本論文で扱ったデータのようなケースでは上手く機能しないことが確認された.

Song et al. (2020)や Chen et al. (2021)は制約語句と原言語文との間の単語アラインメントに基づいた制約付き機械翻訳手法を提案している。このアラインメントはアテンション機構の重み (Garg et al. 2019) や追加のアテンションヘッドの値から導出され, 翻訳モデルが原言語のどの単語を翻訳しようとしているかという情報から制約語句を訳出するタイミングを決定する. しかし, これらの手法の学習には, 語彙制約に加えて原言語文と制約語句の間の正解の単語アラインメントが必要になる. そのような情報が利用できない場合には自動単語アラインメント手法 (e.g. GIZA++, Fast-Align) 等を使用する必要があるが, そのアラインメントのエラーのせいで翻訳精度が低下してしまうことが予想される。

Susanto et al. (2020) では全てのトークンを並列に生成する Non-Autoregressive NMT (NAT) に基づいた高速な語彙制約付き機械翻訳手法を提案している。この手法では, 各出力ステップでトークンの插入および削除を行う Levenshtein Transformer (Gu et al. 2019)を用いており，与えられた制約語句を出力の初期状態として翻訳を始める。この論文では与えられた語彙制約の順序は参照訳中に出現する順序と同じであると仮定しているが，一方で本論文で用いたデー夕

のように制約語句の参照訳中での出現順序の情報が利用できないことのほうが一般的だと考えられる，その場合には，制約の個数の階乗個ある全ての順序で翻訳を行ってリランキングする必要があるため, 非常に計算回数が大きくなってしまう，また，NAT に基づく手法は従来の Autoregressive NMT による方法よりも依然として翻訳精度が低い.

また，いくつかの先行研究では入力系列を語彙制約で拡張する手法を提案している．Song et al. (2019) は統計的機械翻訳で用いるフレーズテーブルを用い, 原言語文のうち制約語句に対応する部分に対してその制約語句で置換したり挿入したりすることで入力系列を拡張する手法を提案している。また, Chen et al. (2020)は原言語文の末尾に制約語句を結合するという非常にシンプルだが効果的な手法を提案している。これらの手法はこれまで紹介した手法と比べて高速に動作するが，一方でこれらの手法によって全ての語彙制約が満たされた翻訳結果が得られることが保証されない. さらに, Song et al. (2019)はフレーズテーブルの品質に翻訳精度や語彙制約が満たされる割合が大きく影響されてしまう.

## 7 まとめ

本論文では翻訳モデルの入力系列の拡張によってビームサーチによる語彙制約付きデコーディングを効率化した語彙制約付き機械翻訳手法を提案した．ASPECによる日英および英日翻訳での実験により，提案手法が従来手法と比べて少ない計算コストで高い翻訳精度を実現することを確認した．また，対訳辞書などを用いて自動抽出されたノイズの多く含む語彙制約に対しても語彙制約付き機械翻訳手法を適用するために，与えられた語彙制約の任意の組み合わせに対する翻訳候補にリランキング手法を用いることで最適な翻訳文を選択する手法についても提案し, 日英翻訳での実験において一般的な機械翻訳手法とくらべて高い翻訳精度が達成可能であることを示した.

今後の課題としては，高精度に語彙制約の自動抽出を行う手法の検討が挙げられる。語彙制約付き機械翻訳手法に与える語彙制約は翻訳する言語対やドメインに大きく依存すると考えられ，すべての言語対やドメインに対して人手で語彙制約を作成するのはコストを要するために自動化が望まれる。しかし，制約語句の自動抽出を行う手法についてはまだほとんど取り組まれておらず，対訳辞書や対訳コーパスから作成したフレーズテーブルを用いて制約語句を作成することが考えられるが，その方法は自明ではない13，今後は，対訳コーパスから語彙制約を自動的に抽出していく方法や人間と対話的に翻訳していく過程において語彙制約を構築する手法などを検討していく．また， 3.3 節の手法は制約語句数のべき乗のオーダの計算量がかかるた


め, 制約語句数が増えると計算コスト面で問題となることも考えられる。この計算コスト面の問題に関しては制約語句の抽出の方法や方法ごとの制約語句数などに大きく影響されるため, その分析および高速化についても今後の課題である.

## 謝 辞

本論文の執筆にあたり，有益なコメントを頂きました査読者，担当編集委員の皆様に感謝申し上げます.

## 参考文献

Alam, M. M. I., Kvapilíková, I., Anastasopoulos, A., Besacier, L., Dinu, G., Federico, M., Gallé, M., Jung, K., Koehn, P., and Nikoulina, V. (2021). "Findings of the WMT Shared Task on Machine Translation Using Terminologies." In Proceedings of the 6th Conference on Machine Translation, pp. 652-663, Online. Association for Computational Linguistics.

Cettolo, M., Federico, M., Bentivogli, L., Niehues, J., Stüker, S., Sudoh, K., Yoshino, K., and Federmann, C. (2017). "Overview of the IWSLT 2017 Evaluation Campaign." In Proceedings of the International Workshop on Spoken Language Translation (IWSLT), pp. 2-14.

Chen, G., Chen, Y., and Li, V. O. (2021). "Lexically Constrained Neural Machine Translation with Explicit Alignment Guidance." Proceedings of the AAAI Conference on Artificial Intelligence, 35 (14), pp. 12630-12638.

Chen, G., Chen, Y., Wang, Y., and Li, V. O. (2020). "Lexical-Constraint-Aware Neural Machine Translation via Data Augmentation." In Bessiere, C. (Ed.), Proceedings of the 29th International Joint Conference on Artificial Intelligence, IJCAI-20, pp. 3587-3593. International Joint Conferences on Artificial Intelligence Organization. Main track.

Chousa, K. and Morishita, M. (2021). "Input Augmentation Improves Constrained Beam Search for Neural Machine Translation: NTT at WAT 2021." In Proceedings of the 8th Workshop on Asian Translation (WAT), pp. 53-61, Online. Association for Computational Linguistics.

Federmann, C. (2018). "Appraise Evaluation Framework for Machine Translation." In Proceedings of the 27th International Conference on Computational Linguistics: System Demonstrations, pp. 86-88, Santa Fe, New Mexico. Association for Computational Linguistics.

Garg, S., Peitz, S., Nallasamy, U., and Paulik, M. (2019). "Jointly Learning to Align and Translate with Transformer Models." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Lan-
guage Processing (EMNLP-IJCNLP), pp. 4453-4462, Hong Kong, China. Association for Computational Linguistics.

Gu, J., Wang, C., and Zhao, J. (2019). "Levenshtein Transformer." In Wallach, H., Larochelle, H., Beygelzimer, A., d'Alché-Buc, F., Fox, E., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems 32, pp. 11179-11189. Curran Associates, Inc.

Hokamp, C. and Liu, Q. (2017). "Lexically Constrained Decoding for Sequence Generation

Using Grid Beam Search." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1535-1546, Vancouver, Canada. Association for Computational Linguistics.

池原悟, 宮崎正弘, 白井諭, 林良彦 (1987). 言語における話者の認識と多段翻訳方式. 情報処理学会論文誌, 28 (12), pp. 1269-1279. [S. Ikehara et al. (1987). Speaker's Recognition and Multi-level-translating Method Based on It. Transaction of Information Processing Society of Japan (IPSJ), 28 (12), pp. 1269-1279.].

Kingma, D. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In Proceedings of the 3rd International Conference on Learning Representations (ICLR).

Kitaev, N. and Klein, D. (2018). "Constituency Parsing with a Self-Attentive Encoder." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 2676-2686, Melbourne, Australia. Association for Computational Linguistics.

Kiyono, S., Ito, T., Konno, R., Morishita, M., and Suzuki, J. (2020). "Tohoku-AIP-NTT at WMT 2020 News Translation Task." In Proceedings of the 5th Conference on Machine Translation, pp. 145-155, Online. Association for Computational Linguistics.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 177-180.

Kudo, T. (2006). "MeCab: Yet Another Part-of-Speech and Morphological Analyzer." http: //mecab.sourceforge.net.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71.

Luong, T., Pham, H., and Manning, C. D. (2015). "Effective Approaches to Attention-based Neural Machine Translation." In Proceedings of the 2015 Conference on Empirical Methods
in Natural Language Processing, pp. 1412-1421, Lisbon, Portugal. Association for Computational Linguistics.

Marie, B. and Fujita, A. (2018). "A Smorgasbord of Features to Combine Phrase-Based and Neural Machine Translation." In Proceedings of the 13th Conference of the Association for Machine Translation in the Americas (Volume 1: Research Track), pp. 111-124, Boston, MA. Association for Machine Translation in the Americas.

Morishita, M., Suzuki, J., and Nagata, M. (2017). "NTT Neural Machine Translation Systems at WAT 2017." In Proceedings of the 4th Workshop on Asian Translation (WAT), pp. 89-94.

Morishita, M., Suzuki, J., and Nagata, M. (2019). "NTT Neural Machine Translation Systems at WAT 2019." In Proceedings of the 6th Workshop on Asian Translation (WAT), pp. 99-105.

Nakazawa, T., Nakayama, H., Ding, C., Dabre, R., Higashiyama, S., Mino, H., Goto, I., Pa, W. P., Kunchukuttan, A., Parida, S., Bojar, O., Chu, C., Eriguchi, A., Abe, K., and Oda, Yusuke Kurohashi, S. (2021). "Overview of the 8th Workshop on Asian Translation." In Proceedings of the 8th Workshop on Asian Translation, Bangkok, Thailand. Association for Computational Linguistics.

Nakazawa, T., Yaguchi, M., Uchimoto, K., Utiyama, M., Sumita, E., Kurohashi, S., and Isahara, H. (2016). "ASPEC: Asian Scientific Paper Excerpt Corpus." In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC'16), pp. 2204-2208, Portorož, Slovenia. European Language Resources Association (ELRA).

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL HLT), pp. 48-53.

Ott, M., Edunov, S., Grangier, D., and Auli, M. (2018). "Scaling Neural Machine Translation." In Proceedings of the 3rd Conference on Machine Translation (WMT), pp. 1-9.

Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). "Bleu: A Method for Automatic Evaluation of Machine Translation." In Proceedings of 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA. Association for Computational Linguistics.

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the 3rd Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium. Association for Computational Linguistics.

Post, M. and Vilar, D. (2018). "Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation." In Proceedings of the 2018 Conference of the

North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pp. 1314-1324, New Orleans, Louisiana. Association for Computational Linguistics.

Sakaguchi, K. and Van Durme, B. (2018). "Efficient Online Scalar Annotation with Bounded Support." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 208-218, Melbourne, Australia. Association for Computational Linguistics.

Sato, T. (2015). "Neologism Dictionary Based on the Language Resources on the Web for Mecab." https://github.com/neologd/mecab-ipadic-neologd.

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1073-1083, Vancouver, Canada. Association for Computational Linguistics.

Sennrich, R., Haddow, B., and Birch, A. (2016a). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 86-96.

Sennrich, R., Haddow, B., and Birch, A. (2016b). "Improving Neural Machine Translation Models with Monolingual Data." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 86-96.

Song, K., Wang, K., Yu, H., Zhang, Y., Huang, Z., Luo, W., Duan, X., and Zhang, M. (2020). "Alignment-enhanced Transformer for Constraining NMT with Pre-specified Translations." In Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, pp. 8886-8893.

Song, K., Zhang, Y., Yu, H., Luo, W., Wang, K., and Zhang, M. (2019). "Code-Switching for Enhancing NMT with Pre-Specified Translation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 449-459, Minneapolis, Minnesota. Association for Computational Linguistics.

Susanto, R. H., Chollampatt, S., and Tan, L. (2020). "Lexically Constrained Neural Machine Translation with Levenshtein Transformer." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3536-3543, Online. Association for Computational Linguistics.

Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., and Wojna, Z. (2016). "Rethinking the Inception Architecture for Computer Vision." In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 2818-2826.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." In Advances in Neural Information Processing Systems 31 (NIPS), pp. 5998-6008.

Vinyals, O., Fortunato, M., and Jaitly, N. (2015). "Pointer Networks." In Cortes, C., Lawrence, N., Lee, D., Sugiyama, M., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems, Vol. 28. Curran Associates, Inc.

## 略歴

帖佐克己：NTTコミュニケーション科学基礎研究所社員. 2020 年奈良先端科学技術大学院大学先端科学技術研究科博士前期課程修了. 同年より現職. 主に機械翻訳に関する研究に従事. 言語処理学会, ACL 各会員.

森下睦：NTTコミュニケーション科学基礎研究所研究員. 2017 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 同年より現職. 2022 年東北大学大学院情報科学研究科博士後期課程修了. 博士 (情報科学). 主に機械翻訳に関する研究に従事. 言語処理学会, 情報処理学会, ACL 各会員.

永田昌明：NTTコミュニケーション科学基礎研究所上席特別研究員. 1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社.主に機械翻訳の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.