言語処理学会 第24回年次大会 発表論文集 (2018年3月)

パターンに基づく統計翻訳における対訳句の確率の調査
松井智義 ∗1 村上仁一 ∗2∗1
鳥取大学 工学部 知能情報工学科∗2
鳥取大学大学院 工学研究科 情報エレクトロニクス専攻{s142051,murakami}@ike.tottori-u.ac.jp

1 はじめに江木らは，統計的手法を用いて自動的に対訳句と文パターンを作成して翻訳を行うパターンに基づく
統計翻訳 [1][2] を提案した．この翻訳方法は，翻訳時の対訳句の選択に IBM Model1 を利用したフレーズ確率を使用している．しかし，対訳句の確率の計算方法はフレーズ確率以外も考えられる．
そこで，本研究では” フレーズ確率” の他に” フレーズ確率の総積” と”Dice 係数と類似度の積” の 3
種の確率を対訳句の選択に使用し翻訳を行う．そしてそれぞれの確率を用いて翻訳精度の差を調査する．

2 パターンに基づく統計翻訳 [1][2]
2.1 全体の流れと具体的な手順パターンに基づく統計機械翻訳は対訳句と文パターンを用いて行う統計翻訳である．手順を以下に示す．

1. 対訳学習文と対訳単語確率を用いて，対訳単語を作成する．

2. 対訳学習文と対訳単語を用いて，単語に基づく文パターンを作成する．
図 1 パターンに基づく統計翻訳の流れ

3. 対訳学習文と単語に基づく文パターンを用いて，対訳句を作成する．

4. 対訳学習文と対訳句を用いて，句に基づく文パターンを作成する．

5. 対訳句と句に基づく文パターンを用いて，翻訳を行う．

Model1 の値)
日本語単語が「この箱」，英単語が「this box」のときの日英方向のフレーズ確率の例を表 1 と式 2 に示す．

対訳単語と単語に基づく文パターンと対訳句と句に基づく文パターンは確率が付与されている．一連の流れを図 1 に示す．

2.2 対訳句と対訳句確率
対訳句は日本語句と英語句の組である．対訳句確率は対訳句を選択する際に使用する確率である．従来の対訳句確率はフレーズ確率 (P1 ) を使用している．フレーズ確率は IBM Model1 を利用して計算する．フレーズ確率の計算式を式 1 に示す．
J0 · · · JN−1)
E0 · · · E M−1
M−1M−1∏ N−1∑∏ N−1∑=p(Jn |Em )) ∗(p(Em |Jn )表 1 フレーズ確率の例

日本語単語
この
この箱
箱

p(Em |Jn )
0.6
0.10
0.05
0.5

英単語

thisboxthisbox

P1 (P1 (n=0 m=0p(Jn |Em )
0.8
0.05
0.01
0.7

= {P((1)m=0 n=0

この

この箱

この 箱

this box)箱) + P()} ∗ {P() + P()}
thisboxthisboxthisboxthisbox) + P()} ∗ {P() + P()} = 0.23∗{P(この箱

この箱(2)

Jn ; 対訳フレーズ中の日本語の単語 N; 日本語の単語数
Em ; 対訳フレーズ中の英語の単語 M; 英語の単語数
p(Jn |Em ); 英単語 Em が日本単語 Jn に翻訳される確率 (IBM― 825 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

3 実験目的対訳句確率の計算方法はフレーズ確率以外にも考えられる．そこで本研究では対訳句確率を” フレーズ確率” と” フレーズ確率の総積” と”Dice 係数と類似度の積” に変更して日英翻訳を行う．そして 3 種の出力文を比較評価する．

3.1 フレーズ確率 (P1 )フレーズ確率 P1 は IBM Model1 を使用して求める (式 1)．
3.2 フレーズ確率の総積 (P2 )フレーズ確率の総積 P2 は同一パターンの変数部のフレーズ確率 P1 の総積である．計算式を式 3 に示す．
P2 (Xi ) =W∑

3.3 Dice 係数と類似度の積 (P3 )Dice 係数と類似度の積 P3 は Dice 係数 Dice( j，e)と類似度 P s の積である．計算式を式 5 に示す．
P3 = Dice( j，e) ∗ PS (r)(5)

3.3.1 Dice 係数
Dice 係数を式 6 に示す．
Dice( j，e) =2 ∗ count( j，e)count( j) + count(e)(6)count( j，e); 日本語句 j，英語句 e が同じ対訳学習文において共起する頻度

count( j); 対訳学習文の日本語文に日本語句 j が出現する頻度

P1 (xi )(3)

count(e); 対訳学習文の英語文に英語句 e が出現する頻度

i=0W; 変数の数以下に例を示す．表 2 に対訳句作成時に使用するデータの具体例を示す．
表 2 対訳学習文テストデータ
対訳学習文 (日)
この箱は木より作られる
対訳学習文 (英) This box is made from woodパターン (日)X1 は X2 X3パターン (英)X1 X3 X2

日英の「この箱」と「this box」の共起頻度が 4，「この箱」の出現する頻度が 6，「this box」の出現する頻度が 8 の時の例を式 7 に示す．
2count(この箱，this box)
(7)
count(この箱) + count(this box)
4== 0.28
6+8Dice(この箱，thisbox) =類似度
類似度は対訳学習文とパターン原文の同一の単語の出現率である．類似度の計算方法を式 8 に示す．

3.3.2

N j1 N j2 Ne1 Ne2
表 2 の対訳学習文は対訳句作成に用いる文である．
∗∗∗(8)
P s (r) =M j1 M j2 Me1 Me2
パターンは対訳句作成に用いるパターンである．対M j1 ; 対訳学習文中の日本語単語数 M j2 ; パターン原文の日本語単訳句作成の手順を以下に示す．

手順１

語数

対訳学習文とパターンを照合

手順２

Me1 ; 対訳学習文中の英語単語数 Me2 ; パターン原文の英語単語数

単語レベル文パターンの変数部に対応する組み合わせの対訳句をすべて抽出

変数

X1
X2
X3

手順３

語単語数

手順２と手順３の具体例
This box
from woodis made

この箱木より作られるNe1 ; 対訳学習文中の単語とパターン原文の単語が一致している英フレーズ確率 (対数)対訳句語単語数-0.4-0.1-0.05

Ne2 ; パターン原文の単語と対訳学習文の単語が一致している英語
単語数式 1 を用いて対訳句にフレーズ確率を付与

表 4 を用いた場合の類似度の例を，式 9 に示す．

表 3 に示しているフレーズ確率は対数値である．フ
レーズ確率の総積はパターンにおける変数部のフレーズ確率の総積である．ここで，フレーズ確率の総積は 1 つの変数の組から作成された対訳句において同じ値となる．表 3 におけるフレーズ確率の総積の計算式を式 4 に示す．

P2 (= P1 (この箱this box

この箱

this box

表 4 類似度を求めるときのデータの例
対訳学習文 (日)この 箱 は 木 から 作ら れる
対訳学習文 (英)This box is made from woodパターン (日)X1 は X2 X3パターン (英)X1 X3 X2
パターン原文 (日) この 箱 は 鉄 から 作ら れる
パターン原文 (英)This box is made from iron)) ∗ P1 (木よりf rom wood) ∗ P1 (作られるis madePS ()木よりf rom wood) = P2 (作られるis made)この箱this box) = (5/6) ∗ (5/6) ∗ (6/7) ∗ (6/7) = 0.51(9)したがって上記の例で P3 は式 10 となる.

= 2(−0.4) ∗ 2(−0.1) ∗ 2(−0.05) = 2(−0.55) = 0.683= P2 (本語単語数

N j2 ; パターン原文の単語と対訳学習文の単語が一致している日本

表 3 に抽出した対訳句の具体例を示す．
表3N j1 ; 対訳学習文中の単語とパターン原文の単語が一致している日

この箱(4)

P3 = Dice(この箱，thisbox) ∗ PS (― 826 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

= 0.28 ∗ 0.51 = 0.142

this box)
(10)

4 実験
4.1 実験データ

表8入力文
参照文

実験には，電子辞書などの例文より抽出した単文
コーパス [5] を用いる．データの内訳を表 5 に示す．
表5

出力文 P1
出力文 P2

実験データ

160,000 文
1,000 文

対訳学習文
テスト文

出力文 P3○2 の例

神社 の 境内 で 落ち葉 を 燃やし て いる 。

They are burning fallen leaves
in the grounds of the shrine .
The shrine is Inside burned fallen leaves .
I have burned the fallen leaves
in the shrine Inside the premises .
The shrine is Inside burned fallen leaves .

4.2 評価方法
本研究では，出力文の翻訳精度の評価として人手評価と自動評価を行う．人手評価として従来手法の” フレーズ確率 P1 ” と” 提案手法のフレーズ確率の総積 P2 ” と”Dice 係数と類似度の積 P3 ” を使用した出力文を比較する．なお，自動評価には BLEU，METEOR，TER，RIBES[6] を用いる．

表9
入力文
参照文
出力文 P1
出力文 P2
出力文 P35 実験結果る対比較評価を行う．評価の基準を以下に示す．

• ○1：P1 で対訳句を選択した出力文だけが意味を正しく読み取れる• ○2：P2 で対訳句を選択した出力文だけが意味を正しく読み取れる• ○3：P3 で対訳句を選択した出力文だけが意味を正しく読み取れる• ×1：P1 で対訳句を選択した出力文だけが意味を正しく読み取れない• ×2：P2 で対訳句を選択した出力文だけが意味を正しく読み取れない• ×3：P3 で対訳句を選択した出力文だけが意味を正しく読み取れない• □ ：全ての文で意味を読み取れない，ほぼ同一である，または同一の出力
出力文の人手評価結果を表 6 に示す．
表6

テスト文 100 文の人手評価の結果○1○2○3×1×2×3□

6143051062

表7○1 の例

日記 を つけ はじめた 。

I’ve started a journal .
I began to wite a diary .
The Army began the diary .
The Army began the diary .

5.2 自動評価結果
テスト文 1,000 文で翻訳実験を行い，出力文に対して自動評価を行う．表 13 に，それぞれの手法における自動評価の結果を示す．

入力文
参照文
出力文 P1
出力文 P2
出力文 P3

出力文 P1
出力文 P2
出力文 P3×2 の例

主人 は 客 に 椅子 を 勧め た 。

The host waved his guests to a seat .
The host oﬀered the guest the seat .
The host oﬀered the guest a glassof the seat .
The host oﬀered the guest the seat .
表 11

入力文
参照文

×3 の例

ハンカチ に 自分 の 名前 を 刺しゅう し た 。

I embroidered my nameon the handkerchief .
She embroidered her nameon a handkerchief .
She embroidered her nameon her handkerchief .
She embroidered her initials
on a rock with a handkerchief .

表 12 全ての文で意味を読み取れない，ほぼ同一である，または同一の出力例
入力文
契約 を 守ら ない 方 が 悪い のだ 。
参照文
The fault is with the one has not

出力文 P3

observed the contact .
not signed preserve of a bad person .
The riddance jealously leaseof the contact .
is toword the bad keep their contact .

入力文
参照文
出力文 P1
出力文 P2
出力文 P3

We can see the whole harbor from here .
I see harbor well from here .
I see harbor well from here .
Here you can see the harbor .

出力文 P1
出力文 P2

出力文の各例を以下の表 7 から表 12 に示す．
入力文
参照文
出力文 P1
出力文 P2
出力文 P3I’d like to live my life without regrets .
I want to see life is not of regret .
I I wish regretted life .
I want to lead a life no my regret .

表 105.1 人手評価結果
3 種の確率を用いた出力文 1000 文ずつから，それぞれランダムに抽出した 100 文を用いて，人手によ○3 の例

わたし は 悔い の ない 生涯 を 送り たい 。

入力文参照文
出力文 P1
出力文 P2
出力文 P3― 827 ―

ここから 港 が よく 見える 。

彼ら は 逃げ腰 に なっ た 。

They were ready to flee .
They became 逃げ腰 .
They became 逃げ腰 .
They became 逃げ腰 .

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 13

テスト文 1000 文の自動評価の結果

パラメータ
フレーズ確率 (P1 )フレーズ確率の総積 (P2 )Dice 係数と類似度の積 (P3 )BLEU
0.14950.15520.1459

METEOR
0.41750.43080.3955TER
0.6467
0.63880.6762RIBES
0.73090.73540.71396.4 他の対訳句確率の計算方法
対訳句確率は他に式 11 や式 12 で計算可能である．
今後比較実験を行っていきたい．
P(

5.3 実験結果のまとめ
表 6 と表 13 より” フレーズ確率の総積” を使用したときの結果が最も良く，”Dice 係数と類似度の積”を使用した結果が最も悪いことが分かった．しかし大きな差はないことが分かった．なお未知語が出現する文では 3 種どの確率を使用した文であっても未知語として出力されていた．

6 考察
6.1 フレーズ確率の総積の有効性
表 6 より，翻訳精度として” フレーズ確率の総積”が最も優れていることが分かった．これは非線形推定であるフレーズ確率の文の和を取ることによって値が安定したからであると考える．

6.2 差なしの原因
しかし” フレーズ確率の総積 P2 ” を使用した翻訳と従来手法の” フレーズ確率 P1 ” を使用した翻訳には大きな差がなかった．これは 2 つの原因が挙げられる．まず確率の変更をした場所がデコーダー部分であったこと，次に翻訳確率において言語モデルが大きな割合を占めていることである．
なお，現在対訳句から句に基づく文パターンを作成する際に対訳句確率を使用して枝刈りを行っている．よって句に基づく文パターンを作成する際の確率を変更すると本研究よりも差が出るのではないかと考える．

6.3 誤り分析×2 の 5 文について解析すると，単語不足の文が 1文，動詞連続文が 1 文，単語が過剰な文が 1 文，主語目的語が逆転している文が 1 文，同音異義語を選択している文が 1 文となった．単語不足の文と単語が過剰な文と同音異義語を選択している文の合計 3 文が出力されたのは誤った対訳句を選択してしまったことが原因だと考える．動詞連続文と主語目的語が逆転している文の合計 2 文が出力された原因は誤ったパターンを選択してしまったことが原因だと考える．翻訳精度の向上において対訳句選択とパターン選択の個別の問題対策が今後の課題と言える．

=M−1∏arg max(p(Em |Jn ) ∗m=0 0≤m≤N−1

P1 (N−1∏

J0 · · · JN−1)
E0 · · · E M−1

arg max p(Jn |Em ))(11)

n=0 0≤n≤M−1M−1∏ N−1∏
J0 · · · JN−1)=(p(Em |Jn ) ∗ p(Jn |Em ))E0 · · · E M−1
m=0 n=0(12)

7 おわりに
本研究では，対訳句の新たな確率計算方法である”
フレーズ確率の総積” と”Dice 係数と類似度の積” の方法を提案した．従来の” フレーズ確率” を加えた 3種を使用した翻訳の結果，” フレーズ確率の総積” が最も良い翻訳精度を得ることができた．しかし従来の” フレーズ確率” と大きな差はなかった．今後は，さらなる翻訳精度の向上の手法を検討したい．

参考文献[1] 江木孝史 “句に基づく文パターンを用いた英日翻訳 ，2014 年修論[2] 村上仁一 “パターンに基づく統計機械翻訳の概要と問題点について”，電子情報通信学会技術研究報告， 言語理解とコミュニケーション，
NLC2017-3， pp.13-18， 2017.
[3] 江木孝史 “句に基づく対訳句パターンの自動作成と統計的手法を用いた英日パターン翻訳”，言語処理学会第 20 回年次大会， A6-2， pp.951954， 2014.
[4] Franz Josef Och， Hermann Ney A System-

atic Comparison of Various Statistical Alignment
Models ，Computational Linguistics，pp.19-51，
2003.
[5] 村上仁一， 藤波進 ” 日本語と英語の対訳文対の収集と著作権の考察 ”， 第一回コーパス日本語学ワークショップ， pp.119-130. 2012.
[6] Hideki Isozaki，“Automatic Evaluation of Translation Quality for Distant Language Pairs”， Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing，
pp.944-952. 2010.

― 828 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.