再翻訳を用いた複数の機械翻訳候補からの出力選択
山梨英和大学人間文化学部人間文化学科教授

PROFILE

江原暉将

1967 年早稲田大学理工学部卒。同年 NHK 入局。2003 年、諏訪東京理科大学教授。2009 年より現職。アジア太平洋機械翻訳協会 (AAMT) ／ Japio 特許翻訳研究会副委員長。

1 はじめにムの一つである RBMT1 よりも低いレベルであった 2。

筆者らは規則方式機械翻訳 (RBMT ：Rule Basedによって訳質が改善されている例も見られる。そこで、

M a c h i n e T r a n s l a t i o n ) に統計的後編集 ( S P E ：RBMT 出力と SPE 出力の良い方を選択して出力する

Statistical Post Editing) を組み合わせたハイブリッ

ことが出来れば、全体としての翻訳品質を向上させる

ド翻訳方式を研究している [1, 2]。この方式は、人手ことができる。そのためには、RBMT 部の出力と SPEによるきめ細かな翻訳規則を備えた規則方式の利点と大部の出力を比較して良い方を自動的に選択する手段が必量の対訳コーパスから翻訳規則を自動獲得する統計方式

要となる。

せっかくの SPE 機能が有効に働いていないことがわかる 3。しかし両者の翻訳結果を詳細に比較すると、SPEの利点を兼ね備えており、RBMT 単独のシステムを上回る精度が期待できる。

2 機械翻訳出力選択方法

この方式を用いて、ワークショップ型共同研究である
NTCIR-9 の特許翻訳タスク (PatentMT) [3] に参加した。このタスクは特許文書を対象にして、機械翻訳の精複数の機械翻訳システムの出力を比較して良い訳文を度を比較するものである。翻訳方向としては、日英、英日、選択する手法としてはいくつかの方法が提案されている

中英の 3 方向のサブタスクが設定されているが、ここ[6, 7, 8]。ここでは、機械翻訳結果を原言語側に再翻では日英サブタスクについて記述する。日英サブタスク

訳して原文と比較する方法 [9] を利用する。には 12 チームが参加している。各チームの翻訳結果にこの方法の処理手順を図 1 に示す。原文を n 種類の加えて、主催者が 3 種類の RBMT システムの結果を参機械翻訳システムで翻訳し、その結果の訳文を n 個得考として提示している。

る。今回の場合は、RBMT と SPE の 2 種類であるか

NTCIR-9 での精度評価の規準としては、自動評価基ら n=2 となる。次に訳文を原言語側に再翻訳する。再準と人手評価規準が用いられている。筆者らのシステム

翻訳には、やはり機械翻訳システムを用いる。再翻訳で(EIWA)[4] は、日英方向において、自動評価基準では、得られた n 個の訳文 ( 再訳文 ) を原文と比較し、原文に人手評価基準
参加チーム中最高レベルの評価を得たが 、近い再訳文を選び、その再訳文の元となった訳文を最適

では主催者が提示した規則方式単独の機械翻訳システ訳文として選択して出力する。

11254

自動評価規準の BLEU と RIBES では 1 位、NIST では 4位であった。

YEAR BOOK 2012

2

RBMT1 の翻訳結果は筆者らの規則方式翻訳部 (RBMT)の出力と酷似しており、類似のシステムと推定できる。

3

同様の結果は [5] でも示されている。ちなみに人手評価の1 位は JAPIO チームであった。

寄稿集評価が行われた 300 文を対象に実験した。人手評価基準としては Adequacy と Acceptability が用いられて原文4いる [3]。Adequacy は訳の正確性を評価する指標で

MT2・・・

MTn

訳文1

訳文2・・・

訳文n

再翻訳再翻訳・・・

再翻訳再訳文1

再訳文2・・・

再訳文n

5 段階評価となっている。5 が最高、1 が最低レベルで機械翻訳技術の向上

MT1ある。一方 Acceptability は NTCIR-9 で新たに導入された人手評価基準であり、原文の文意が訳文に表現されているかどうかを示す指標である。AA, A, B, C, F の5 段階で評価され、AA が最高、F が最低である。AAから C までは、原文の文意が訳文に表現されており、Fは表現されていないと判断される。

比較・選択
最適訳文

表 1 には試験文 300 文のうち、人手評価の各ランクにカウントされた文数を示す。表中、理想的選択とは、
RBMT と SPE のうち上位にランクされた方を確実に選択できたという理想的な場合を想定したときのカウン

図1

再翻訳を利用した最適訳文の選択

ト数である。図 2 は、表 1 を割合で示したものである。
[3] では、各システムの人手評価結果に対して符号検再訳文と原文の比較には機械翻訳の自動評価規準の一定を実施している。その結果、Adequacy においては、つである IMPACT を用いた [10]。IMPACT は、機械RBMT1 が EIWA より有意水準 5% で有意に評価が高翻訳の翻訳精度を測る指標であり、1 つ以上の規準翻訳かった。Acceptability においては、両者の有意差が認文と機械翻訳文の近さを測定するものである。ここではめられなかった。

IMPACT を再訳文と原文の間の近さを測定するために

表 2 に本手法と RBMT および SPE の結果を比較し用いる。IMPACT は数値が大きいほど近いと判断されて、改善数と改悪数、符号検定の結果を示す。RBMTる。そこで、原文と各再訳文の間の IMPACT 値を計算し、と本手法を比較すると Adequacy、Acceptability と最大の値を取る再訳文を選択し、その元となった訳文をもに改善数が改悪数を上回っているものの、有意性が最適訳文として出力する。

認められるまでには至らなかった ( 表中 NS で示す )。

ここで、訳文に訳し漏れが存在する場合は、不適格な訳文として除外する。極端な場合、原文をそのまま訳文として出力するシステムは再翻訳の結果、原文そのも

表1

人手評価結果Adequacy

RBMTSPE

5827891111477647283

合は、RBMT 出力の英語訳文に日本語の単語 ( 文字列 )370766359がそのまま含まれている場合があり、そのような場合は2607363451119112SPE

本手法 理想的選択のに戻るので IMACT 値は最大となるが、そのようなシステムは翻訳とはいえず不適格なものである。今回の場

強制的に SPE 出力を選択するようにした。

3実験結果

NTCIR-9 の日英特許翻訳タスクの試験文の中で人手Acceptability RBMT

本手法 理想的選択

AA

23273033A35273655

B83608083C30343036F

12915212493YEAR BOOK 2O12255

SPE と本手法を比較した場合は、有意水準 1% で有意Adequacyに改善が認められた ( 表中 ** で示す )。
100%80%1234560%40%20%

表 3 には、本方式での翻訳例を示す。(a) は RBMTが選択された例であり、(b) は SPE が選択された例である。

0%RBMT

SPE

本手法

表2

理想的選択

改善・改悪〵比較対象

RBMT

ＳＰＥ

改悪

3431

同値

228

206

改善

3863

有意性

NS

**

Acceptability
100%80%
FC
B
A
AA

60%
40%20%(b) Acceptability

改善・改悪〵比較対象

RBMT

ＳＰＥ

改悪

2628

同値

235

212

改善

3960

有意性

NS

**

0%RBMT

SPE

図2

本手法

符号検定の結果(a) Adequacy

理想的選択

人手評価結果表 3 翻訳例(a) RBMT が選択された例

原文規準訳
RBMT

突起を切削機構に深く挿入することにより、鉛筆は切削後すぐに突起に当接するので、芯の太い鉛筆を削ることができる。
Moving the projection deep into the cutting mechanism enables a pencil to strike on theprojection immediately after shaving, thereby enabling sharpening of a pencil having a thick core.
Since a pencil contacts a projection immediately after cutting by inserting a projection in amachining device deeply , a pencil with a thick core can be shaved .

RBMT の Adequacy ／5 ／ＡＡAcceptablility
切削機構に突肉部を深く挿入することにより切断した直後に、鉛筆が突肉部と接触するので、厚い芯を備RBMT の再訳文
えた鉛筆は削ることができる。
Since the pencil comes into contact with the projection immediately after the cutting by inserting
SPEa projection in a machining apparatus and a light beam having a thick core can be scraped off.
ＳＰＥの Adequacy ／2／F
Acceptablility
厚い芯がある、機械加工できる装置およびビームに突肉部を挿入することによる切断をこすり取ったこと
SPE の再訳文ができる直後に、鉛筆が突肉部と接触するので。
(b) SPE が選択された例
原文
規準訳
RBMT

そのため、車両用サンバイザでは、遮光板がシャフトから外れないように抜け止め構造を採用している。
Therefore, such a vehicular sun visor employs a retaining structure for preventing theshielding plate from being disengaged from the shaft.
Therefore , in the sun visor for vehicles , structure is adopted stop escaping so that a gobo
does not separate from a shaft .

RBMT の Adequacy ／2／F
Acceptablility
したがって、乗り物のためのサンバイザーでは、ゴーボーが軸体から分離しないように、構造は採用されRBMT の再訳文
た停止回避である。
Therefore, in the sun visor, structure is adopted Configuration so that the light shieldingSPE
plate does not separate from the shaft.
ＳＰＥの Adequacy ／4／B
Acceptablility
SPE の再訳文
したがって、サンバイザーでは、光シールド板が軸体から分離しないように、構造は採用された構成である。

256

YEAR BOOK 2012

み 合 わ せ た 特 許 文 の 日 英 機 械 翻 訳 ( そ の 3)、 平4成 22 年度 AAMT/Japio 特許翻訳研究会報告書、pp.43-46、2011.

を組み合わせたハイブリッド翻訳システムにおいて、[8] 鈴木博和：統計的後編集の効果的利用に関する検RMBT 出力と SPE 出力を比較してシステムが良いと証、言語処理学会第 18 回年次大会発表論文集、判断する方を選択して出力する方法を実験した。本シ

pp.495-498, 2012.

ステムの有効性を NTCIR-9 の結果を用いて評価した結[9] Shoichi Yokoyama, Akira Kumano, Masaki

果、改善数が改悪数を上回ったものの、統計的有意性まMatsudaira, Yoshiko Shirokizawa, Mutsumi

では示せなかった。今後の課題として、複数の指標を組

Kawagoe, Shuji Kodama, Hideki Kashioka,み合わせることなどにより、改悪数を少なくすることがTerumasa Ehara. Shinichiro Miyazawa andあげられる。

Yasuo Nakajima: Quantitative evaluation

機械翻訳技術の向上

規則方式機械翻訳 (RBMT）と統計的後編集 (SPE)寄稿集

4 おわりに[7] 江原暉将：規則方式機械翻訳と統計的後編集を組

of machine translation using two-way MT,
参考文献

Proceedings of the Machine Translation
Summit VII, pp.568-573, 1999.

[1] 江原暉将：句レベルを用いた統計的後編集の精度向[10] Hiroshi Echizen-ya, Kenji Araki: Automatic

上、Japio 2008 YEAR BOOK、pp.262-265、

Evaluation Method for Machine Translation

2008。

using Noun-Phrase Chunking, Proceedings[2] 江原暉将：規則方式機械翻訳と統計的後編集を組of the 48th Annual Meeting of the

み合わせた特許文の日英機械翻訳、Japio 2010

Association for Computational Linguistics,

YEAR BOOK、pp.280-283、2010。

pp.108-117, 2010.

[3] Isao Goto, Bin Lu, Ka Po Chow, Eiichiro
Sumita and Benjamin K. Tsou: Overview ofthe Patent Machine Translation Task at theNTCIR-9 Workshop, Proceedings of NTCIR-9
Workshop Meeting, pp.559-578, 2011.
[4] Ter u m a sa E h a ra : M a c h i n e t ra n s l a t ion
system for patent documents combining
rule-based translation and statistical postediting applied to the PatentMT Task,
Proceedings of NTCIR-9 Workshop Meeting,pp.623-628, 2011.
[5] 江原暉将、後藤功雄：機械翻訳結果の自動評価と人 手 評 価 の 比 較、Japio 2011 YEAR BOOK、
pp.238-241、2011。
[6] 秋葉泰弘、渡辺太郎、隅田英一郎：SMT 指標を用いた複数翻訳エンジンからの最適訳選択、情報処理学会研究会資料、自然言語処理 150-10, 2002.

YEAR BOOK 2O12257