機械翻訳結果の自動評価と人手評価の比較
山梨英和大学人間文化学部人間文化学科教授● PROFILE

暉将1967 年早稲田大学理工学部卒。同年 NHK 入局。2003 年、諏訪東京理科大学教授。2009 年より現職。アジア太平洋機械翻訳協会 (AAMT) ／ Japio 特許翻訳研究会副委員長

独立行政法人情報通信研究機構 ユニバーサルコミュニケーション研究所多言語翻訳研究室専門研究員● PROFILE

江原後藤功雄1997 年早稲田大学大学院修士課程了。同年 NHK 入局。2008 年より情報通信研究機構に出向し現職。自然言語処理の研究に従事。

一方、BLEU のような自動評価とは別に人手による1 はじめに評価が行われる場合もあり、人手評価と自動評価の間筆者らは規則方式機械翻訳 (Rule Based Machine

NTCIR-8 の試験文から 200 文を無作為に選んで機械Translation、RBMT と 記 す ) に 統 計 的 後 編 集 (Sta-

翻訳した結果に対して人手評価を行い自動評価の結果とtistical Post Editing、SPE と記す ) を組み合わせた比較する。にずれが見られるという報告もある。そこで本文では、翻訳方式を研究している [1,2]。この方式は、人手によるきめ細かな翻訳規則を備えた規則方式の利点と大量の対訳コーパスから翻訳規則を自動獲得する統計方式の利点を兼ね備えて一層の精度向上を図ろうとするものであ

2 評価の方法る。我々のシステムは RBMT 部として市販の日英機械

本稿での人手評価は、試験文の原文である日本語文翻訳システムを用い、SPE 部としては句レベルの統計と機械翻訳結果の英文を評価者に提示し、翻訳の良し悪的機械翻訳ソフトである Moses[3] を用いている。

しを評価してもらうものである。評価者は英語を母語とこの方式を用いて、ワークショップ型共同研究であるする人で、日本語も理解できる。評価者数は 3 名であに参加し、特許文書に関する日英機械翻訳る。評価基準は NTCIR-9 の日英特許翻訳タスクで用いのタスクで好成績を得た [4]。そのときの評価基準は自ている基準 (acceptability) であり AA、A、B、C、F

動評価基準 BLEU である。BLEU は人手で正確に翻訳の 5 段階評価である [6]。原文と RBMT で翻訳した文、した訳文 ( 基準翻訳文という ) と機械翻訳文を自動比較

RBMT の出力に SPE を加えて翻訳した文 ( 以後、単して、基準翻訳文により近い機械翻訳文の評価値を高くに SPE と書く ) を評価者に提示して評価してもらった。

するというものである。BLEU は 0 から 1 の間の値を基準翻訳文を評価者に提示することは、しなかった。

NTCIR-81)2)

とり 1 に近いほど評価が高い。

一方、自動評価には BLEU および IMPACT を用いた。
IMPACT は人手評価との相関が比較的高い自動評価基1) National Institute of Informatics Test Collection forInformation Retrieval Systems
2) BLEU および後述する IMPACT については文献 [5] の参考文献を参照されたい。

238

YEAR BOOK 2011

準である [5]。

寄稿集ほうが評価値が高く、自動評価では BLEU も IMPACT

3 評価の結果もともに SPE のほうが評価値が高い。このように人手4

人 手 評 価 と 自 動 評 価 の 結 果 を 表 1 に 示 す。 人 手

評価値の信頼性を調べるために、人手評価について符評価結果の値 (HE と書く ) は以下のようにして求め号検定 [7] を実施した。HE(RBMT) ＞ HE(SPE) となた。 各 文 (200 文 ) に 対 す る 各 評 価 者 (3 名 ) の 評 価

るデータ数は 167、HE(RBMT) ＜ HE(SPE) となる

結 果 (600 デ ー タ ) の 各 デ ー タ に 対 し て、RBMT とデータ数は 97 であり、有意水準 1% で統計的に有意SPE に 対 す る 評 価 結 果 を 比 較 し、RBMT の ほ う がに RBMT のほうが SPE より人手評価が高かった。ま評 価 が 高 け れ ば HE(RBMT)=1.0、HE(SPE)=0.0

た、自動評価と共通の方法として、ブートストラップリと し、SPE の ほ う が 高 け れ ば HE(RBMT)=0.0、サンプリング法 [7] も実施した。人手評価値とそれに対HE(SPE)=1.0 と す る。 両 者 で 評 価 値 が 同 じ 場 合 はする 95% 信頼区間を図 1 に示す。こちらでも有意水HE(RBMT)=HE(SPE)=0.5 とする。このようにして

準 5% で有意に RBMT のほうが SPE より人手評価値求めた HE の値をデータ数 (600) で割った平均値を人が高かった。一方、自動評価値については、逆に有意水手評価値とした。

準 5% で有意に SPE のほうが RBMT より自動評価値

RBMT と SPE を比較すると人手評価では RBMT の機械翻訳技術の向上

評価と自動評価では逆の結果となった。

が高かった。

表 1 人手評価と自動評価の比較

RBMTSPE

人手評価

0.558

0.442

自動評価 (BLEU)

0.217

0.338

自動評価 (IMPACT)

0.425

0.521

人手評価
0.6

人手評価値

0.5
0.4
0.3
0.2
0.1
0

RBMTSPE

図 1 RBMT と SPE の人手評価値と 95% 信頼区間

YEAR BOOK 2O11239

4 評価結果の分析

は REF の "disposed" に対応しており、"." との距離はSPE のほうが RBMT より人手評価値が低く、自動ベルの統計的後編集では、距離が離れた対応の確率が低評価値では逆に SPE のほうが高かった試験文を目検でくなるので、RBMT の "is arranged ." が REF の "." の調べたところ SPE の結果に訳抜けがあり人手評価値がみに対応してしまい、その結果、訳抜けに繋がったもの下がったと思われる例が目立った。例えば表 2 のようと考えられる。

13 である。このようになった理由は RBMT と REF で構文が全く異なるように訳されているためである。句レな例がある。
RBMT で は 文 末 に "is arranged" が 存 在 す る が、SPE で は 抜 け て い る。 な お 表 2 中、SRC は 原 文(Source)、REF は基準翻訳文 (Reference) の意味で5 おわりにある。この例について、訓練データを調べた結果、以規則方式機械翻訳の結果 (RBMT) と、それに統計的下のことがわかった。まず訓練データ 152,072 文対後編集を加えた結果 (SPE) について、人手評価と自動の中で翻訳元部分 ( 我々の場合 RBMT の出力にあたる評価を実施した。その結果、自動評価では SPE のほうので RBMT と呼ぶ ) が "is arranged ." で終わっていが評価値が高かった一方、人手評価では RBMT のほうる文は 191 文あった。それらの文に対する翻訳先部分が評価値が高く、両者で矛盾した結果となった。そこ( 我々の場合基準翻訳文であるので REF と呼ぶ ) を調で自動評価と人手評価が逆転する事例を調べたところ

べると文末の "." は REF でも文末の "." に対応するデー

SPE を施すことで「訳抜け」が生じることが原因の一タが大部分 (190 データ ) であった。一方、RBMT のつであることがわかった。さらに訳抜けの生ずる原因と単語 "arranged" に対応する REF の単語と文末の "." として、訓練データの RBMT 部分と基準翻訳部分 (REF)の距離 ( 単語数 ) が 6 以上のデータが 141 文あった。

で構文が大きく異なることが一因であることがわかった

例えば表 3 のような例がある。RBMT の "arranged"( 表 3)。

表2

SPE で訳抜けが生ずる例[SRC] この実施例では、バッテリ電流検出器１８−１が配されている場合について説明する。
[REF] In this embodiment-1, the case where the battery current
detector 18-1 is provided is explained.
[RBMT] This example explains the case where battery current
detector 18-1 is arranged.
[SPE] This embodiment explains a case in which the battery current
detector 18-1.
表3

SPE の訓練データの例[SRC] この第９水槽４９に隣接かつ密着して第１０水槽５０が配置されている。
[RBMT] It adjoins and sticks to this 9th tank 49 , and the 10th tank
50 is arranged.
[REF] The tenth water tank 50 is disposed adjacent to the ninth
water tank 49 and inabutting relation thereto .

240

YEAR BOOK 2011

寄稿集

今後の課題として RBMT と REF の間の構文の違いを吸収できる後編集方式とする必要があり、例えば構文4

機械翻訳技術の向上レベルの統計的後編集の利用が考えられる。

参考文献[1] 江原暉将：句レベルを用いた統計的後編集の精度向上、Japio 2008 YEAR BOOK、pp.262-265、2008。
[2] 江原暉将：規則方式機械翻訳と統計的後編集を組
み 合 わ せ た 特 許 文 の 日 英 機 械 翻 訳、Japio 2010
YEAR BOOK、pp.280-283、2010。
[3] Philipp Koehn, Hieu Hoang, Alexandra Birch,Chris Callison-Burch, Marcello Federico, Nicola
Bertoldi, Brooke Cowan, Wade Shen, Christine Moran, Richard Zens, Chris Dyer, OndrejBojar, Alexandra Constantin and Evan Herbst: Moses: Open Source Toolkit for Statistical
Machine Translation, Annual Meeting of theAssociation for Computational Linguistics(ACL), demonstration session, Prague, Czech
Republic, June 2007.
[4] Atsushi Fujii, Masao Utiyama, Mikio Yamamoto, Takehito Utsuro, Terumasa Ehara,
Hiroshi Echizen-ya and Sayori Shimohata：
Overview of the Patent Translation Task
at the NTCIR-8 Workshop, Proceedings ofNTCIR-8 Workshop Meeting, June, 2010.
[5] 江原暉将ほか：機械翻訳精度の各種自動評価の比
較、Japio 2009 YEAR BOOK、pp.272-275、2009。
[6] http://ntcir.nii.ac.jp/PatentMT/[7] Philipp Koehn：Statistical MachineTranslation, Cambridge University Press,
pp.234-237, 2010.

YEAR BOOK 2O11241