言語処理学会 第25回年次大会 発表論文集 (2019年3月)

同時機械翻訳における訳出セグメントの分割位置の推定
中林 明子

加藤 恒昭

東京大学 大学院総合文化研究科
akiyasumi@hotmail.com
kato@boz.c.u-tokyo.ac.jp

1

はじめに

そこで本稿では, 同時通訳コーパスを用いて原文を訳出セグメントに分割するモデルの構築を検討する.

同時通訳者は原文の発話を聞きながら, ほぼ同時にこの基準で分割されたセグメントは, テキスト翻訳コー発話の内容を他の言語に訳出する. 特に英語・日本語

パスで学習した一般的な翻訳モデルによって順次翻訳間など語順の異なる言語間の同時通訳においては, 処され, 訳出セグメントが統語的に不完全な場合はこれ理の負荷を制御し, 同時性を保つために, 一文を「意を再構成した上で最終的な訳出結果を出力する枠組み

味の単位 (unit of meaning)」で分割し, 訳出単位であを想定する.

る訳出セグメントとし, この訳出セグメントごとに前訳出セグメントへの分割によって, 例えば主語の後から順に処理する. そして訳出セグメントの訳出結果で文が分割される場合は, 名詞句からなる訳出セグメを再構成, 簡素化, 省略することで自然な訳出を実現

ントと動詞句からなる訳出セグメントが生成される.

する [3]. 同時通訳を実現する同時機械翻訳においてこのように統語単位が文ではない訳出セグメントの翻も, 同時性を保つためには, 原文を訳出セグメントに訳品質を高めることも同時機械翻訳における課題では分割し, それらを順次翻訳していくのが一般的な枠組あるが, これは, 上記のような一般的な翻訳モデルとみである. この枠組みのもと, 本稿では同時通訳者が再構成によって解決できると考えている.

行っている訳出セグメントへの分割を再現することをデータとして, CIAIR 同時通訳コーパス [5] を使用

目標に, その推定を行い, これを基に翻訳した結果をした. CIAIR 同時通訳コーパスには独話と対話の同時分析した．

通訳データが収録されている. 独話には 50 件の英語のスピーチ（発話数 2,849）を日本語に同時通訳した,

2

背景
同時機械翻訳を実現するにあたって, 翻訳を開始するタイミングを決定するために様々な研究がされてき136 件の同時通訳データ（発話数 5,011）が含まれる.
そのうち, 2000 年に収録されたデータ（24 スピーチ）は, 1 スピーチにつき, 4 人の通訳者が通訳を行っており, これを使用した.

たが, そのほとんどで, 原文から翻訳を開始するタイミングを決定したり, 文単位のテキスト翻訳結果を参考に翻訳を開始するタイミングを決定したりする手法

3

分割位置の同定が取られてきた [1, 2, 4, 7]. しかし, 原文に現れるあ同時通訳文を用いて, 原文における訳出セグメントる特定の統語的特徴に基づくという仮定をおいて決定の分割位置を同定した. 具体的には, 同時通訳文におした翻訳開始位置が, 翻訳先の言語にとって最も良いける節を同時通訳者が認識した「意味の単位」であるタイミングであるかは明らかでない. また, テキストと仮定し, これに対応する原文の位置を, 訳出セグメ

翻訳文は一文単位で最適化された翻訳であるため, こントの分割位置とした [6]. 以下に例を示す. / が「意こから一文より短いセグメントへ分割するための特徴味の単位」あるいは訳出セグメントの分割位置を示しを得ることは難しいと推測される. 一方, 同時通訳文ている.

は, 同時通訳者が実際に原文を適切なタイミングで分割して翻訳を行った結果であり, 訳出セグメントの分通訳文：バグパイプが通常聞かれるのはハイランド

割位置を推定するにあたって, 同時通訳文を用いて分ゲームでです。/ そこで多くのバンドが集まりまして割位置の特徴を得ることが望ましいと考える.

/ そして音楽を演奏します。/ そしてスコットランドのゲーム例えばケーバートスあるいはハンマースロー― 950 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

などを行います。（SXZSX024.K.IA05AL）
原文：The bagpipe is most commonly heard at high-land games / where many bands gather / to play music / and perform Scottish games such as the caber
toss or the hammer throw. /1 つのスピーチに対して, 4 人の通訳文があることから, 4 人のうち 3 人の通訳者のデータが一致した分割位置を, 最終的な原文における訳出セグメントの分割位置と判断した. 今回, 同時通訳文における節の特定,
図 1: セグメント分割位置を推定するモデル

およびこれに対応する原文の位置の特定は, 人手でアノテーションを行なったが, これらの作業は自動化することも可能であると考える.
提案手法によって得た翻訳が, 実際の同時通訳文に近い語順での翻訳となっていることを確認するために, 上記の基準に基づいて分割したセグメントごとに google翻訳を行い, これに対する RIBES[3] の値を, 同時通訳文に対する RIBES の値と比較した. 提案手法によって得た翻訳結果に対して, 通訳者 3 人の通訳文を参照
訳として RIBES の値を測定したところ, 0.781253 を得た. 残りの 1 人の通訳者の通訳文に対して, 通訳者 3人の通訳文を参照訳として測定して得た値は 0.781565であり, 一文ごとに goolge 翻訳を行なった結果に対して, 通訳者 3 人の通訳文を参照訳とした場合の RIBESの値は 0.748986 であった. 文単位の翻訳に比べ通訳者の通訳結果に大きく近づいていることから, 提案手法によって同時通訳文に近い翻訳を得ることができると言える.

入力層における単語と品詞は, ワンホットのベクトルである. これをそれぞれ, より低次元の埋め込み層に写像する. この単語と品詞の埋め込み層を結合し,これを次の LSTM の入力とする. LSTM の出力を, 分類するクラスの数を次元数（今回は 2 次元）に持つベクトルに写像し, softmax 関数を適用することで, 各クラスへの割り当ての確率を得た. 損失関数としては交差エントロピーを採用した.
ニューラルネットワークの実装には Chainer1 を使用した. ハイパーパラメータとして, 埋め込み層の単語は300 次元, 品詞は 4 次元に設定した. また LSTM の入力層と出力層は埋め込み層と同じく, 304 次元とした.
クラス別の事例数に偏りがあるため, dropout を 0.1 とし, また損失を計算する際に少ない事例を持つクラス

1 の出力の対数を 3 倍にするよう, 重み ClassWeightを設定した.
なお品詞の推定には, 自然言語処理ライブラリNLTK2 を用いた. NLTK では, 品詞の数は, 句読点な分割位置の推定4どの記号を含んで 45 種類定義されている.

3 章で述べた基準に基づいて, 同時通訳文を用いて原文におけるセグメント分割位置を同定し, これを学習データとして原文から分割位置を推定する機械学習

4.2

学習データと評価データのモデルを検討した. 分割位置の推定を, 単語の系列

24 スピーチのうち 22 スピーチを学習データとしてを与えて, その一つ前の単語の位置で訳出セグメント使用した. 取り置いた 2 スピーチのうち 1 つを評価が分割されるかを予測する, 二値分類問題としてモデセットとして用い, 取り置いた残りの 1 つは開発セッルした.

トとしてパラメータを固定するために使用した. 表 1にデータ数の概要を示す.

4.1

データの特徴として, 評価セットにおいて現れる単モデル

語のうち学習セットには現れなかった単語（未知語）の再帰的ニューラルネットワーク（RNN）の長短期記割合が高い. また, 分割位置となる単語（クラス 1 ）憶ユニット（Long short-term Memory, LSTM）を使は全体の 8.8%であり, ラベルごとのデータ数が不均衡用し, 図 1 のモデルを構築した.

である.
1 https://chainer.org
2 http://www.nltk.org― 951 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1: データ概要表 3: 等位接続詞, カンマ, 関係代名詞における推定

学習セット

結果

単語数

評価セット

1,197
(未知語：231 語)
410
70
145
1,052

30,151

重なり語彙数
文の数
分割位置
分割位置以外

3,278
1,097
2,662
27,489

ラベル数合計ラベル”1”の数
正解率
適合率
再現率

データに対して, 以下のようにラベル付けを行い, 一
文単位に学習および評価を行った.

1 が割り当てら

and
1,174
776
64.0
70.8
77.4

or
264
6261.7
24.0
29.0,
1,382
632
67.9
64.1
68.0

which
65
40
63.1
70.0
70.0

that
205
36
75.1
24.1
19.4

示す.

れている単語の前で訳出セグメントが分割されること

正解：People are a little more casual, / they takeを示している.

their time / and they

単語： I ,re really very friendly /which is something that makes me feel a lot better.
was ,traveling ,in ,Europe ,/ (SXUSX012)

and , when , I , was , in , Greece , , ,I ,

met ,a ,man ,from ,Holland ,予測：People are a little more casual, they take theirtime / and they.

re really very friendly / which is

ラベル：(1, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0,

something that makes me feel a lot better. /0, 0)

一方, 関係代名詞節 that, および等位接続詞 or の適合率と再現率は低い値となった. 関係代名詞節 that はその節が独立して訳出セグメントを構成する事例が少分割位置の推定結果5ないため, 正解率は高いが, 再現率が非常に低く, 正し推定結果の適合率, 再現率, および F 値を表 2 に示す. 分割位置（クラス1 ）の F 値として, 0.79 をく予測できているとは言えない. また等位接続詞 orにおいても, 適合率と再現率が低く, 正しく予測できているとは言えない.

得た.
表 2: 訳出セグメント分割位置の推定結果
クラス適合率

再現率

100.820.97

0.760.98

F値
0.790.98

6

翻訳結果予測した位置で訳出セグメントを分割し, セグメン

なお, 4 人の通訳者間でセグメント分割位置が一致

トごとに google 翻訳を行なった結果を分析した. 本来した割合が 82.5%であるため, 0.825 が F 値の上限でであれば, セグメントごとに翻訳を行なった後, 再構あると考えられる.

成を行なった上で最終的な翻訳結果とするが, ここでさらに, 同時通訳の訳出セグメントの分割位置としは再構成前の翻訳結果を基に分析を行った.て特徴的に見られる, カンマ, 等位接続詞（and と or）,4 人の通訳者の通訳文を参照訳とした RIBES の値関係節（which と that）における予測の結果に注目しは 0.775138 となり, 一文ごとに google 翻訳を行なった. これらの位置ではセグメント分割が起こりやすい

た結果に対する RIBES（0.770528）より上回る値を得が, 必ずしも常に分割されるわけではなく, 様々な要因た. なお, 正解とした分割位置で訳出セグメントに分によってその分割の有無が影響されることが観察され割し, セグメントごとに google 翻訳を行った結果に対ている [6]. カンマ, 等位接続詞の直前で分割される場

する RIBES は 0.802530 であった. 表 4 に, 事例を示

合は, そのほとんどは節を構成する訳出セグメントをす. 提案した手法で訳出セグメントに分割し, セグメ作り出し, これは訳出セグメントの多くを占める. 表

ントごとに翻訳を行うことにより, 通訳例に近い語順

3 にそれぞれのラベル数の概要と正解率, 適合率, 再現での訳出を得ることができている. これに再構成を行率を示す.

うことで, さらに自然な訳出を得ることが期待できる.

等位接続詞 and および関係代名詞節 which におい

予測した位置で訳出セグメントを分割した場合の翻ては, 比較的良い適合率と再現率を得た. 以下に, 関係

訳結果において, 低い RIBES を得た事例の一つを表

代名詞 which において, 正しく分割できている事例を5 に示す. 前置詞句の前で訳出セグメントが分割でき― 952 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 5: 最もスコアが低い文の翻訳結果

表 4: 翻訳結果例
正しいセグメント位置

正しいセグメント位置に基づく翻訳結果予測したセグメント位置予測したセグメント位置に基づく翻訳結果

通訳例

The bagpipe is most commonly
heard at highland games / where
many bands gather to play music / and perform Scottish games
such as the caber toss or thehammer throw .
バグパイプはハイランドゲームでよく聞かれます たくさんのバンドが集まって音楽を演奏する そして、キャバートスやハンマースローなどのスコットランドの試合を行います。
The bagpipe is most commonly
heard at highland games / where
many bands gather to play music / and perform Scottish games
such as the caber toss / or thehammer throw.
バグパイプはハイランド ゲーム
でよく聞かれます 音楽を演奏するために多くのバンドが集まる場所
キャバートスなどのスコットランドのゲームを実行する またはハンマー投げ
バグパイプが通常聞かれるのはハイランドゲームでです。そこで多くのバンドが集まりましてそして音楽を演奏します。そしてスコットランドのゲーム例えばケーバートスあるいはハンマースローなどを行います。

ず, また, 誤った位置でセグメント分割を予測したた
め, RIBES の値が大きく下がる結果となった. セグメ
ント分割の精度を改善することで, このような事例は削減できる.

7

おわりに同時機械翻訳では, 訳出単位となる訳出セグメントの決定が大きな課題の一つである. この訳出セグメン
トの分割位置を決定する方法として, 同時通訳者の通訳文を用いて特徴を得ることを提案した. 具体的には「意味の単位」は通訳文の節に現れると仮定し, これに対応する原文の位置を原文における訳出セグメントの分割位置とした. この原文における訳出セグメントの分割位置を学習データとして, ニューラルネットワー
クを用いて分割位置を推定する実験を行った.
分割位置における F1 値として, 0.79 を得た. また,同時通訳では関係代名詞の前でセグメントを区切って訳出することがあるが, このような関係代名詞節の前に現れる分割位置を正しく推定できたケースも多く見正しいセグメント位置正しいセグメント位置に基づく翻訳結果予測したセグメント位置予測したセグメント位置に基づく翻訳結果
通訳例

This happened again and again/ until several people were, ofcourse, killed.
これは何度も何度も起こった もちろん数人が殺されるまで。
This happened again and again
until several people were, / ofcourse, killed.
これは何人かの人々がなるまで何度も何度も起こりました、もちろん、殺した。
これが何度も何度も繰り返されました 。何人かの人が撃ち殺されるまでやったわけです。

られた. 予測した位置でセグメントを分割し, セグメントごとに翻訳した結果を見てみると, 同時通訳者の通訳文と近いものが多く見られ, また, それに対するRIBES は, 一文ごとに翻訳した結果の RIBES より高い値を得た. しかし, 現在のモデルでは, 分割位置を正しく予測できていない箇所もあり, これらの位置において翻訳結果が損なわれていることから, 分割位置推定の精度を高めるためのモデルの改善が今後の課題である. また, 再構成を行う仕組みについても, 今後検討したい．

参考文献[1] Grissom II, A., He, H., Boyd-Graber, J., Morgan, J., & Daume III, H. (2014). Don t until thefinal verb wait: Reinforcement learning for simultaneous machine translation. Proceedings of the2014 Conference on empirical methods in naturallanguage processing (EMNLP), 1342-1352.
[2] Gu, J., Neubig, G., Cho, K., & Li, V. O. (2016).
Learning to translate in real-time with neural machine translation. arXiv:1610.00388.
[3] 平尾努, 磯崎秀樹, 須藤克仁, 塚田元, & 永田昌明.
(2014). 語順の相関に基づく機械翻訳の自動評価法. 自然言語処理, 21(3), 421-444.
[4] Kashioka, H., Maruyama, T., & Tanaka, H.
(2003). Building a parallel corpus for monologue
with clause alignment. Proceedings of the 9th
Machine Translation Summit, 216-223.
[5] 松原茂樹, 相澤靖之, 河口信夫, 外山勝彦, & 稲垣康
善 (2001). 「同時通訳コーパスの設計と構築」『通訳研究』(1), 85-102.
[6] 中林明子, 加藤恒昭. (2018). 同時通訳のストラテ
ジー - 訳出セグメントの分割位置とその再構成手法の分析 -. 言語処理学会第 24 回年次大会 C3-6.
[7] Oda, Y., Neubig, G., Sakti, S., Toda, T., &Nakamura, S. (2015). Syntax-based SimultaneousTranslation through Prediction of Unseen Syntactic Constituents. Proceedings of the 53rd ACL(1), 198-207.

― 953 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.