言語処理学会 第21回年次大会 発表論文集 (2015年3月)

対訳句と対訳文を用いた日本語文の語順変更の効果
畑中勇輝 ∗1 村上仁一 ∗1 徳久雅人 ∗1∗1
鳥取大学大学院 工学研究科 情報エレクトロニクス専攻∗2{s102039, murakami, tokuhisa} ＠ ike.tottori-u.ac.jp

1

はじめに提案手法

3

日英統計翻訳の困難な点の１つとして，日本語と英語の語順が異なることが挙げられる．この問題を解決するために，日本語文の単語を並び替えて，英語文の語順に近づけてから，統計翻訳を行う研究が行われている．
岡崎 [1] によると，日本語文の主語，目的語，動詞(SOV) を主語，動詞，目的語 (SVO) の順に語順変更を行うだけでは翻訳精度は向上しなかった．一方，星野ら[2] によると，述語項構造に基づいた語順変更を行った後で，句に基づく統計翻訳を行うことで，翻訳精度が向上した．しかし，これらの研究は翻訳される英語文の語順を推定して，日本語文の語順変更を行っている．そのため，目標とする英語文の最適な語順に並び替えられていない．
そこで，本研究では日本語の語順が柔軟であることを利用して，テスト文に対訳文があると仮定し，日本語文を英語の参照文の語順に並び替える．その後，句に基づく統計翻訳を行い，語順変更の有効性を調査する．

2

日本語の語順変更による翻訳

2.1

動詞の語順変更 [1]

岡崎による動詞の語順変更の手法は日本語文を英語文の語順に近づけるために，日本語文の主語，目的語，動詞(SOV) を主語，動詞，目的語 (SVO) の順に並び替え，日英統計翻訳を行う．動詞の語順変更の例を図 1 に示す．

岡崎や星野らの研究は翻訳される英語文の語順を推定して，日本語文の語順変更を行っているため，目標とする英語文の最適な語順に並び替えられていない．
そこで，本研究では日本語の語順が柔軟であることを利用して，テスト文に対訳文があると仮定し，日本語文を英語の参照文の語順に並び替える．その後，句に基づく統計翻訳を行い，語順変更の有効性を調査する．以下に手順を示す．
手順 1 変数化
対訳句辞書と対訳文を用いて，学習文，テスト文，ディベロップメント文 (3 データ) に変数化を行う．対訳句辞書と対訳文を比べ，共通する箇所を変数にする．図 2 に変数化の手順を示す．

図2変数化

手順 2 語順変更
対訳文を用いて，“3 データ” の日本語文を英語文の変数の順番に並び替え，出力を日本語変更文とする．なお，移動単位は次の変数までとする．図 3 に語順変更の手順を示す．

図 1 動詞の語順変更の例

2.2

述語項構造に基づく語順変更 [2]

星野らによる述語項構造に基づく語順変更の手法を以下に示す．

1. 係り受け・述語項構文解析
日本語文に対して，係り受け・述語項構文解析を行う．
2. 文の語順変更
係り受け関係を用いて，深さ優先に基づき，並び替える．
3. 助詞の語順変更
目的言語での順序に基づき，句中の内容語と機能語を並び替える．

図 3 語順変更

手順 3 翻訳実験“3 データ” に語順変更を行ったデータを用いて，句に基づく統計翻訳 (PSMT) を行う．

― 960 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

4

実験環境

4.1

実験内容

4.7

対訳句辞書と対訳文を用いて，“3 データ” の日本語文を英語の参照文の語順に並び替える．また，実験は句に基づく統計翻訳 (PSMT) を行う．なお，日英統計翻訳を行う．

4.2

実験データ

本研究では，電子辞書の例文から抽出した対訳データの単文コーパス [3] を使用する．実験に用いる文数を表1 に示す．
表 1 実験に用いる文数
学習文
99,914 文
テスト文9,995 文ディベロップメント文
1,000 文

4.3

対訳句辞書

本研究では対訳句として，鳥バンク [4] を用いる．鳥
バンクのパターンと原文を比較した変数部から品詞がAJ(形容詞)，V(動詞)，N(名詞)，ADV(副詞)，AJV(形容動詞)，VP(動詞句)，AJVP(形容動詞句)，ADVP(形容詞句) の対訳句を抽出し，対訳句辞書を作成する．結果，213,511 句の対訳句を抽出する．以下に抽出した対訳句辞書の例を示す．



対訳句辞書の例

若い ｜ young (AJ)
思わ ｜ expected (V)彼女 ｜ She (N)いつも ｜ always (ADV)
とても 静か な ｜ very quiet (AJV)
ぼく に あいさつ し ｜ greeted me (VP)
わたし の 好き な ｜ my favorite (AJVP)
長い 間 ｜ for a long time (ADVP)

評 価 方 法 に 自 動 評 価 と 人 手 評 価 を 用 い る ．自 動 評価には BLEU[7]，NIST[7]，METEOR[8]，RIBES[9]，TER[10]，WER[10] を用いる．人手評価は翻訳文からランダムに 100 文取り出し，ベースラインとの対比較実
験を行う．

5

実験結果

5.1

語順変更の精度

本研究で用いる語順変更のプログラムの精度を調べる
ため，ディベロップメント文からランダムに 30 文抽出して，正確に語順変更されているか調査した．語順変更の精度を表 2 に示す．30 文中 4 文が語順変更に失敗したことから，誤り率は約 13％ である．
表 2 語順変更の精度

変更○変更×26

4

語順変更に失敗した例を表 3 に示す．なお，下線部は間違いと判断した箇所を表す．入力文では “父” は “病気” に係るのに対して，日本語変更文では “父” は “兄”に係り，語順変更に失敗している．

表 3 語順変更に失敗した例

入力文

彼 は 父 の 病気 を 手紙 で 兄 に知らせ た 。

参照文

He informed his brother of theirfather’s illness in a letter .
N1:彼/He N2:父/hisN3:病気/illness N4:手紙/a letter
N5:兄/brother
N6:知らせ/informed

変数情報



4.4 統計翻訳システム
4.4.1 デコーダー
デコーダーには moses[5] を用いる．

日本語変更文日本語パターン

4.4.2 言語モデルの学習
N -gram モデルの学習には SRILM[6] を用いる．また，N -gram モデルは 5-gram とする．
4.4.3

評価方法

デコーダーに関するパラメータ

英語パターン

彼 は 知らせ た 父 の 兄 に
病気 を 手紙 で 。
N1 は N6 た N2 の N5 に N3 をN4 で 。

N1 N6 N2 N5 of their father’sN3 in N4 .

5.2 翻訳実験5.2.1 自動評価
PSMT での自動評価の結果を表 4 に示す．なお，太字

本研究ではデコーダーのパラメータは default 値とする．しかし，“ttable-limit” の値は “40” とする．また， はスコアが高い方を表す．
“distortion-limit” の値は，提案手法において，“6” に設表 4 自動評価結果定する．
提案手法 ベースライン

4.5

ベースライン

語順変更を行わない実験をベースラインとする．また，“distortion-limit” の値は “-1” に設定する．

4.6

語順変更

対訳句辞書と対訳文を用いて，“3 データ” の日本語文を英語の参照文の語順に並び替える．

― 961 ―BLEU
NISTMETEOR
RIBES
TER
WER

0.14184.93830.46250.73710.67980.69510.13774.86280.45660.7106
0.69690.7230Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

5.2.2 人手評価
PSMT での人手評価の結果を表 5 に示す．
表 5 人手評価結果
ベースライン○ 提案手法○ 差なし

75.3

10

考察

7.1

自動評価と人手評価

人手評価では評価文数が少ないため，信頼性が低い．
今後，評価文数を増やし，再び人手評価を行う．また，自動評価と人手評価で結果が異なるので，原因の調査を行う．

同一出力

74

79

実験結果のまとめ

表 4，5 から以下のことが示せる．

7.2

1. 自動評価では全ての評価において，翻訳精度が向上

人手評価で翻訳精度が向上しなかった原因として，単文では “reordering model” と語順変更の効果が重なったためだと考えている．今後，語順変更の効果を明確にするために，重文複文で実験を行う必要がある．

した．

2. 人手評価では大きな差は見られなかった．

6

翻訳例提案手法の方が優れている翻訳例を表 6，ベースラインの方が優れている翻訳例を表 7 に示す．なお，下線部は間違いと判断した箇所を表す．
表6
入力文
提案手法○
ベースライン
参照文

入力文
提案手法○
ベースライン参照文

入力文
提案手法○
ベースライン
参照文

提案手法の方が優れている翻訳例
例1
地元 の 経済 において その 会社 の 存在
は 重要 で ある 。

The company is important in the local
economy .
The local economy is important in thepresence of the company .
The company bulks large in the local
economy .
例2
我々 は 準備 が 非常 に 後れ て いる 。

We are very behind in preparation .
We are ready for very underdeveloped .
We are badly behind in ourpreparations .
例3の値を表す．
表 8 自動評価結果

BLEU
NIST
METEOR
RIBES
TER
WER

our company .
Our company has some talented
technicians .
例2

Man’s life is often even if you’re isthe candle .
Man’s life is often likened to candle .
Man’s life is often compared to acandle .
例3
夜明け 前 に 海 は 穏やか に なっ た 。

The sea quietly before dawn .
The sea smoothed down before
dawn .
The sea had gone down before
daylight came .

追加実験 (-1)

提案手法 (6)0.14134.79840.4556
0.72680.70270.72060.14184.93830.46250.73710.67980.6951

翻訳例

追加実験 (-1) の方が優れている翻訳例を表 9，提案手法 (6) の方が優れている翻訳例を表 10 に示す．なお，下線部は間違いと判断した箇所を表す．

提案手法

参照文

7.4.2 実験結果
PSMT での自動評価の結果を表 8 に示す．なお，太字はスコアが高い方を表し，括弧の中は “distortion-limit”

7.4.3

人 の 一生 は しばしば ろうそく にたとえ られる 。

入力文
提案手法
ベースライン○

7.4 distortion-limit
7.4.1 実験内容
提案手法では “distortion-limit” の値は “6” に設定した．しかし，岡崎 [1] によると，語順変更では “distortionlimit” は “-1” に設定した方が，高い翻訳精度が得られた．そこで，提案手法の “distortion-limit” の値を “-1”に設定し，実験を行った (以下，追加実験とする)．なお，その他の実験環境は 4 節と同じ環境で行った．

A chimney was emitting smoke .
A chimney smoke .
The chimney was sending up volumesof smoke .

入力文

ベースライン○参照文

語順変更の精度

本研究で行った語順変更の誤り率は 13％ であった．
今後，語順変更の精度を向上させる必要がある．

煙突 が もくもくと 煙 を 吐い て い た 。

表 7 ベースラインの方が優れている翻訳例
例1
入力文
我が 社 に は 優秀 な 技術 者 が 居ります 。
提案手法
Our company has a brilliant
engineers is 居り .
ベースライン○ There is a brilliant engineers in
参照文

7.3

重文複文

表 9 追加実験 (-1) の方が優れている翻訳例
入力文
何 物 も 彼 を 満足 さ せ なかっ た 。
追加実験 (-1) ○ He did not satisfy nothing .
提案手法 (6)
did not satisfy him for nothing .
参照文
Nothing contented him .
表 10 提案手法 (6) の方が優れている翻訳例
入力文
警官 は 男 の 手 から さっと ピストルを 奪っ た 。
追加実験 (-1)
The policeman of the man who was
提案手法 (6) ○参照文

― 962 ―

the gun from his hand .
The policeman stole the gun fromthe man .
The policeman snatched the pistol
from his hand .

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

7.4.4 実験結果のまとめ
表 8 から，語順変更を行う際は “distortion-limit” の値を “-1” ではなく，“6” に設定した方が翻訳精度が高い

8

おわりに

岡崎や星野らの研究では，語順変更を行った後で，句に基づく統計翻訳を行うことで，翻訳精度が向上した．
しかし，これらの研究は翻訳される英語文の語順を推定
7.5 テスト文して，日本語文の語順変更を行っているため，目標とす本研究ではテスト文に対訳文があることを前提とし， る英語文の最適な語順に並び替えられていない．
実験を行った．しかし，実際にはテスト文に対訳文は存
そこで，本研究では日本語の語順が柔軟であることを在しない．この問題に対して，レーベンシュタイン距離 利用して，テスト文に対訳文があると仮定し，日本語文を用いて，入力文に類似した文を検索して，語順変更を を英語の参照文の語順に並び替える．その後，句に基づ行う手法を提案する．以下，手法を説明する．
く統計翻訳を行い，語順変更の有効性を調査した．
実験の結果，日本語文を英語文の語順に並び替えるこ
手順 1 変数化とで，自動評価では翻訳精度が向上した．しかし，人手3 節の手順 1 と同様に行う．
評価では大きな差は見られなかった．
本研究ではテスト文に対訳文があることを前提とし，
手順 2 語順変更とパターン化実験を行った．しかし，実際にはテスト文に対訳文が存
3 節の手順 2 と同様に行う．同時に，日本語と英語の 在することはない．したがって，今後の研究の予定としパターンを得る．て，7.4 節に示したレーベンシュタイン距離を用いて，入力文に類似した文を検索して，語順変更を行う手法によ
手順 3 類似文検索
り，翻訳精度の変化を調べる．
レーベンシュタイン距離を用いて，日本語原文から，入力文に類似した文を検索する．類似文検索の手順を図
参考文献
4 に示す．
[1] 岡崎弘樹: 日本語文法構造変換による日英統計翻訳. 卒業ことが分かった．

図 4 類似文検索

手順 4 テスト文の語順変更
手順 3 で得た類似文のパターンを用いて，語順変更を行い，出力をテスト文とする．テスト文の語順変更の手順を図 5 に示す．

論文, 2009.
[2] 星野 翔 , 他: 日英統計的機械翻訳のための述語項構造に基づく事前並べ替え. 言語処理学会第 19 回年次大会, 2013
[3] 村上仁一，他: 日本語と英語の対訳文対の収集と著作権の考察．第一回コーパス日本語学ワークショップ, pp.119-130,
Mar. 2012[4] 鳥バンク: http://unicorn.ike.tottori-u.ac.jp/toribank/[5] Philipp Koehn , etc: Moses: Open Source Toolkit
for Statistical Machine Translation. moses.2007-0529.tgz, http://www.statmt.org/moses/ Proceedings of
the ACL 2007 Demo and Poster Sessions, pp.177–180,
June 2007[6] Andreas Stolcke: am Extensible Language Modeling
Toolkit. http://www.speech.sri.com/projects/srilm,
7th International Conference on Spoken Language Processing, pp.901–904, 2002
[7] Papineni Kishore , etc: BLEU,NIST: a method for automatic evaluation of machine translation. 40th Annual meeting of the Association for ComputationalLinguistics, pp.311–318, 2002
[8] Banerjee Satanjeev, etc: METEOR: An AutomaticMetric for MT Evaluation with Improved Correlation
with Human Judgments Proceedings of Workshop onIntrinsic and Extrinsic Evaluation Measures for MT
and/or Summarization at the 43th Annual Meeting ofthe Association of Computational Linguistics (ACL2005), pp.65–72, 2005
[9] 平尾努, 他: RIBES: 順位相関に基づく翻訳の自動評価法.
言語処理学会第 17 年次大会発表論文集, pp.1111–1114,
2011[10] Gregor Leusch, etc: A Novel String-to-String Distance Measure with Applications to Machine Translation Evaluation. In Proc. of MT Summit IX, 240―247, TRANSLATION ERROR RATE (TER) 7.0
http://www.cs.umd.edu/ snover/tercom/ (2003)

図 5 テスト文の語順変更

今後，レーベンシュタイン距離を用いて，入力文に類似した文を検索して，語順変更を行う手法で実験を行い，翻訳精度の調査を行う予定である．

― 963 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.