統計翻訳における対訳データ不足の問題について
株式会社富士通研究所
PROFILE

290

ソフトウェア＆ソリューション研究所主管研究員

潮田明

1983 年株式会社富士通研究所入社。表面磁気光学効果、空間光変調器、統計自然言語処理、機械翻訳等の研究に従事。マサチューセッツ工科大学修士、カーネギー・メロン大学博士。

ushioda@jp.fujitsu.com●●●●●●●●●●●●●●●●●●

1 はじめに2 データスパースネスの問題

多言語コーパス開発の進展と計算機パワーの向上によ

コーパスベースの自然言語処理においては、大量のテり、既存の翻訳データを活用した翻訳作業の本格的な効キストの中から課題処理に有益な言語現象や言語統計を率化に期待が寄せられている。その原動力となっている抽出し学習を行い、それを基に課題の処理を行うが、抽のが統計翻訳（SMT）、特に近年著しい発展をとげて出する言語現象が精緻な（きめの細かい）ものであればきたフレーズベース統計翻訳の技術である。すでに翻訳あるほど、その頻度が低くなり、学習データに一度も現業界に浸透している翻訳メモリに代わって、あるいは翻れなかった（頻度ゼロの）言語現象をテスト時に扱わな訳メモリと併用する形で SMT の成果を活用する研究がければならなくなるケースが増えてくる。これがデータ進められている [1,2]。また、WEB 上の翻訳サイトにスパースネス問題である。SMT もコーパスベースの自おいても、従来のルールベース機械翻訳（RBMT）を然言語処理の一種であり、対訳コーパスおよび訳文側言用いた翻訳エンジンに代わって SMT ベースのエンジン語の単言語コーパスから様々な統計情報を抽出して翻訳が徐々に使われ始めている。

を行なう。一般に統計値（統計的推定値）はサンプルの確かに SMT の潜在能力は非常に高く、未来の機械翻量が多ければ多いほどその確からしさが高まる。SMT

訳の中に SMT の要素技術の多くが取り込まれている可においてもコーパスの量が増すほど翻訳の精度が高まる能性は非常に高い。しかし一方で、世界中の研究者がブが、人手で翻訳した高品質の対訳コーパスを収集するにレークスルーを目指して SMT の研究を推し進めていくは量的に自ずと限界があるため、SMT の実運用に際しうちに、これまで RBMT 研究者達が何十年もかけて解決ては対訳コーパスほど翻訳精度向上には寄与しないが量策を模索してきた様々な障壁に同じように突き当たるよは桁違いに多い単言語コーパスを出来る限り集めて活用うになってきているのも事実である。すでに様々な問題しようと言う傾向にある。

が指摘されているが、中でも大きな問題として、言語構

しかし、単言語コーパスをいくら集めても、対訳コー造が大きく異なる言語間の翻訳において特に重要となる

パス中に全く存在しない訳語を SMT が作り出すことは文の構造を SMT の枠組みの中で正しく捉えることの難できないので、対訳コーパスの量が SMT においては決しさや、動詞、形容詞などの活用や語尾変化を多く伴う定的に重要である。また単に量だけの問題ではなく、仮言語の文を SMT でいかにして正しく生成するかなどがに対訳コーパス中に対象となる（訳したい）単語なり表挙げられる。ここでは、もう 1 つの大きな課題である、現が出現していたとしても、全く異なる文脈で使われてデータスパースネスの問題について少し考えてみたい。

いた場合かえって誤訳の原因になる場合もある。たとえ25th ANNIVERSARYだ」は訳せている（SMT が訳文に対してある程度以上しても、政治記事をうまく訳せるとは限らない。の確率を付与できている）。そこで、まず「赤い大根が寄稿集ば大量のスポーツ記事の対訳文で SMT を学習させたと好きだ」の訳文“ I like red radish”を生成し、残っ1-2 の訳文が生成されていると解釈できる。このような訳例文不足による弊害は、英語訳文を更に日本語に訳フレーズベース統計翻訳では、入力文（原文）をフす「折り返し翻訳」を行なうと一層顕著に現れる。機械レーズと呼ばれる単位に分割したのち、それぞれのフ翻訳の誤訳と同じような表現を含む文が対訳例文に現れレーズを訳文側の言語に翻訳し、最後に翻訳されたフる可能性は極めて低いからである。例 1-2 の折り返しレーズを並び替えて訳文を生成する。原文側のフレーズ訳「私は赤大根の皮膚のように」ももともとの英語訳文を対象言語に翻訳するのに使われるのがフレーズテーブより一層不可思議な訳になっている。

ルと呼ばれる一種のフレーズ辞書で、対訳コーパスから例 2-1 も同様にトレーニング文中に適切な例文がな自動で作成される。対訳コーパス中に存在しない訳語をいために生じている誤訳である。例 2-2 が示すように、SMT が作り出すことができないのは、訳語や訳語を合この SMT のフレーズテーブルには「くれないの」の訳成するための部分訳語がフレーズテーブルに存在しないとして“me” が登録されている。突拍子もないようからである。に思われるが、例 2-3 と合わせて考えると、「くれな図 1 に SMT を用いている代表的な翻訳 WEB サイ

いの」は「紅の」の意味ではなく、「私に〜くれないトで翻訳を行なった例を示す。各段には日本語の原文との？」と言った「呉れない」の意味で登録されているとSMT による英訳文、さらにその訳文の SMT による日考えると納得が行く。ちなみに固有名詞の「紅の豚」は本語訳を順に→で繋げて表示してある。

正しく訳されている（例 2-4）。

例 1-1 の翻訳は正しい。実際のフレーズテーブルの中身はもちろん分らないが、この文の場合、「皮の赤いジャガイモ」が “red skin potatoes” と訳されている対訳例文と、「〜が好きだ」が“I like 〜” と訳されている対訳例文が SMT のトレーニング文（対訳コーパス）の中にあれば翻訳可能である。一方、例 1-1 と似た文でありながら例 1-2 の文はおかしな訳になっている。

「ジャガイモ」も「大根」も同じ野菜であるから、例 1-1 が訳せて例 1-2 が全く訳せないのは腑に落

例 1-1

皮の赤いジャガイモが好きだ→ I like red skinpotatoes → 私は赤い皮のジャガイモが好き

例 1-2

皮の赤い大根が好きだ→ I like red radishskin → 私は赤大根の皮膚のように

例 1-3 皮の赤い大根→ red radish skin → 赤大根の皮膚
例 1-4

赤い大根が好きだ→ I like red radish → 私は赤大根が好き

例 2-1 くれないの豚→ Pig me →私は豚
例 2-2 くれないの→ me →私に
例 2-3 くれないの？→ For me? → 私にとっては？
例 2-4 紅の豚→ Porco Rosso → 紅の豚

ちないと思うかも知れない。例 1-3 を見て分るように

図１

WEB サイト上の SMT の翻訳例

「皮の赤い大根」が正しく訳せていない、すなわちフレーズテーブルに存在しないために誤訳を生んでいると考えられる。SMT ではある表現の訳がフレーズテーブルに存在しない場合は、その表現の部分表現の訳同士を4字面のマッチングのみに頼るのには限界がある

繋げるか、あるいはフレーズの別の切り方を探して訳文

前節の例はほんの 1 例だが、SMT には RBMT のよを生成する。例 1-2 の場合、例 1-3、1-4 を見て分るうな文法規則に基づいて文を解析したり生成したりするように「皮の赤い大根」は訳せないが「赤い大根が好き枠組みが備わっていないために、未知の表現に対して柔YEAR BOOK 2O1O 291

５

機械翻訳技術の向上

3

例文にない表現は訳せない

た「皮の」の訳語“skin”を最後にくっ付けた結果例軟な（あるいはシステマティックな）対応ができない。

る。対訳コーパスを用いたクラス化は信頼度が高く有効翻訳できる表現を増やすのに最も有効な手段は対訳コー性も確認されている。しかし対訳コーパスに全く現れなパスを増やすことである。しかし言語は多様性に富み、い表現に対処することはできない。

表現には余りにもバリエーションがあるために、過去

そこで Marton らは単言語コーパスを用いてフレーの例文（対訳コーパス）との字面のマッチングのみにズ間の統計的な近さを測定し、対訳コーパスと合わせ頼った学習をしていたのでは、いくら対訳コーパスをて近似的パラフレーズを獲得する手法を提案している集めて来ても限界があるのは明らかである。Callison-[5]。対訳コーパスが少量の時には有効であることが示

Burch [3] らによるスペイン語テキストを用いた実験されている。対訳コーパス . に依存しない他の一般化手によれば、1 万語のトレーニング文を用いた場合テスト法としては、単言語コーパスを用いた単語・フレーズの文中の 90％の単語が未知語となる。10 万語のトレー

統計的クラスタリング [6] の活用が考えられる。このクニング文で未知語が 70％である。テスト文中の未知語ラスタリングは、単言語コーパスの中で互いに置換可能を 10％以下にするには約 1000 万語のトレーニングな単語やフレーズを統計的に抽出する手法であり、言語文が必要となる。しかもこれは単語ユニグラム（単語 1モデルの改良や形態素解析の未知語処理などにおいて効語）の場合の統計であり、たとえばテスト文中のトライ果が確認されている。たとえば日本語の特許明細書を用グラム（単語 3 語の連なり）について見ると、トレーいてクラスタリングを行なうと「被膜」、「保護膜」、ニング文が 1000 万語の場合、テスト文中の約半分の「皮膜」、「被覆層」、「保護層」などが同一クラスにトライグラムが未知（一度もトレーニング文中に現れな分類されたりする。この統計的クラスタリングを SMTかった表現）になる。の対訳表現の一般化に適用できれば、対訳コーパスに比べて圧倒的に大量に存在する単言語コーパスが活用でき

5 言語表現の一般化が鍵る点でメリットが大きい。しかし、対訳データの量を単このような未知語の問題に対処するために、いくつの対訳文が日英翻訳用のトレーニングコーパスに含まれ言語データで補うのは容易でないのも事実である。最後に、その可能性について触れておきたい。たとえば以下かの取り組みが行なわれている。たとえば単語の活用やていたとする。

語尾変化などにより同じ単語がいくつもの違った表層表1a) 「本手法によりサンプルを傷付けることなく洗浄現を取る言語については、対訳コーパス中の対訳関係と形態素解析情報を用いてこれらの表層表現を１つのクラスに纏め上げることで、翻訳精度を落とさずにトレーニ

1b)"This method enables a cleaning of asample without damaging it"

ングコーパスの分量を減らす試みが行われている [4]。

ここで、2 つの動詞「傷付ける」と「洗浄できる」はまた、対訳コーパスから、対訳関係を利用して予め言いともに「サンプル」を目的語にしていることに注目した

換え表現集（パラフレーズ）を抽出しておき、原文を翻い。次に翻訳の入力文として次文が与えられたとする。

訳できない場合は原文の一部をパラフレーズを用いて置

2) 「本手法によりサンプルを歪めることなく洗浄できる」

き換えて翻訳することでトレーニングコーパスの分量を2) において 1a) と異なるのは「歪めることなく」の部減らす研究も行なわれている [3]。これらの手法に共通

292できる」分である。

しているのは、対訳コーパスを用いて同じ意味を持つ単

上述のパラフレーズによる原文の書き換えにおいて語や表現を１つのクラスに纏め上げることで表現の一般は、書き換えた文と原文の意味が同じであるという仮定化を行い、全く未知の表現を減らしているという点であの下に原文の代わりに置き換え文をそのまま翻訳して出25th ANNIVERSARY

という単言語に閉じた知見が統計的に得られるならば、おいては、全く同じ意味のフレーズのみを収集すること

3) の翻訳の際に 1a)-1b) の対訳文から得られたフレーはできないが、置き換えても文法的に構造が変わらず、ズ対訳を使うことを抑止できる可能性は高い。

め上げることができる。従って、「傷付けることなく」[ 参考文献 ]と「歪めることなく」が同一クラスあるいは類似のクラ[1] Ana Guerberof. 2009. Productivity and quality

スに分類されていれば、その訳文にも 1b) と同じ文型の

in mt post-editing. In MT Summit XII -Workshop:

文が使えることが分る。たとえば国内出願特許約 33 万

Beyond Translation Memories:NewToolsforTra

件の抄録文の「課題」部分のテキストの集合を用いてフnslatorsMT, Ottawa, Ontario, Canada.

レーズの統計クラスタリングをある条件で行なうとクラ[2] Yifan He, Yanjun Ma, Josef van Genabith,

スの 1 つとして図 2 のような要素を含むクラスが得ら

and Andy Way. 2010. Bridging TM and SMTれる。フレーズの左にある数字はテキスト内におけるフwith translation recommendation. In ACL

レーズの出現頻度を表す。クラスの意味は後付けによる

2010, Uppsala, Sweden.

解釈になるが、ここでは「何らかの形でダメージを与え[3] Chris Callison-Burch, Philipp Koehn, andることなく」と言った表現が集まっていると考えられる。

Miles Osborne. 2006.Improved statisticalmachine translation using paraphrases.

3) 「本手法により肌荒れを気にすることなく洗浄できる」

In Robert C. Moore, Jeff A. Bilmes,3) において 1a) と異なる部分は「肌荒れを」と「気にJennifer Chu-Carroll, and Mark Sanderson,することなく」の２箇所である。文法的な観点でeditors, HLT-NAACL. The Association for1a) と 3) を比較すると、3) においては、「洗浄でComputational Linguistics.

きる」の目的語が「肌荒れ」でない点が大きく異な[4] Sonja Niesen , Hermann Ney, Statisticalる。従って 3) の訳文を生成する際に 1b) をベース

Machine Translation with Scarce Resourcesにして同じ文型の文を作るとUsing Morpho-syntactic Information,“This method enables a cleaning of a skindamage without minding it"

Computational Linguistics, v.30 n.2, p.181204, June 2004.と言ったおかしな訳文が生成されてしまう。SMT にお[5] Yuval Marton, Chris Callison-Burch, andいて同様な語並びの文の文法構造の違いを検出するのはPhilip Resnik. 2009. Improved statistical

難しいが、「傷付けることなく」と「気にすることなく」

machine translation using monolingually-

は同様のコンテクストにおいて使われることがほぼない

derived paraphrases. In Proceedings of the85 傷つけることなく

24 狭めることなく

83 悪化させることなく 18 煩わせることなく82009 Conference on Empirical Methods
in Natural Language Processing, pages
381?390, Singapore.

痛めることなく1

歪めることなく63 損ねることなく

1

泡立てることなく53 妨げることなく

1

沈めることなくof words and application to NLP tasks. In

53 傷付けることなく

1

死滅させることなく

Proceedings of the Fourth Workshop on Very52 傷めることなく

1

薄めることなくLarge Corpora, pages 28--41, Copenhagen.

図２[6] Akira Ushioda. 1996. Hierarchical clustering

フレーズクラスの一部の例

YEAR BOOK 2O1O 293

機械翻訳技術の向上

５

かつ意味的にも近くなるような表現を 1 つのクラスに纏

次に入力文として 3) を考えてみる。

寄稿集

力する。単言語コーパスによる統計的クラスタリングに