(57)【特許請求の範囲】
【請求項１】
予め選択された第１の言語の文分離器をトレーニングするための文分離器トレーニング装置であって、
翻訳対のバイリンガルコーパスを記憶するための手段を含み、翻訳対の各々は前記第１の言語のソース言語文と第２の言語のターゲット言語文とを含み、前記ソース言語文の各々は、互いに区切りのない文字列から構成され、前記ターゲット言語文の各々の各単語は、互いに空白文字で区切られており、前記文分離器トレーニング装置はさらに
前記バイリンガルコーパス中の前記ソース言語文を予め定められた区切り文字によって文字ごとに分離してセグメント化するための文字ベースの第１の分離器と、
前記第１の言語と前記第２の言語の文の翻訳対を含むバイリンガルトレーニングコーパスを利用して統計的機械翻訳手段をトレーニングするための第１のトレーニング手段と、を含み、前記統計的機械翻訳手段はトレーニングの間に前記バイリンガルトレーニングコーパス内の前記翻訳対の各々について、前記ソース言語文中の、前記区切り文字により分離されたセグメントの各々を、前記ターゲット言語文中の単語のいずれかに対応付ける機能を持ち、
前記トレーニング手段によってトレーニングされた前記統計的機械翻訳手段の性能を評価するための評価手段と、
前記統計的機械翻訳手段による対応付けの結果を利用して、前記バイリンガルコーパスの翻訳対の各々について、ソース言語文中の連続する文字であって、ターゲット言語文中の同じ単語に対応付けられた複数の文字を１つの文字列に統合しながら、当該ソース言語文をセグメントに分離するよう前記ソース言語文の第２の分離器をトレーニングするための第２のトレーニング手段と、
前記バイリンガルコーパス中の前記ソース言語文を、前記第２のトレーニング手段によってトレーニングされた前記第２の分離器を利用してセグメントに分離し、セグメント境界に前記予め定められた区切り文字を挿入するためのセグメント化手段と、
前記第１のトレーニング手段、前記評価手段、前記第２のトレーニング手段及び前記第２の分離器を、前記評価手段による評価の向上が見られなくなるまで繰返し動作するよう制御するための繰返し制御手段と、
前記繰返し制御手段の第１回目の繰返しに、前記文字ベースの第１の分離器によってセグメント化されたソース言語文を含む前記バイリンガルコーパスを選択し、その後の繰返しで前記第２の分離器によってセグメント化された前記ソース言語文を有する前記バイリンガルコーパスを選択し、前記選択されたバイリンガルコーパスを前記バイリンガルトレーニングコーパスとして利用して前記第１のトレーニング手段に前記統計的機械翻訳手段をトレーニングさせるための選択手段とをさらに含み、
前記繰返し制御手段の制御による繰り返しが終了する時点までに得られた前記第２の分離器のうちで前記評価手段による評価が最も高かったものをトレーニング済の文分離器として出力する、文分離器トレーニング装置。
【請求項２】
前記第２のトレーニング手段は、
前記統計的機械翻訳手段による前記対応付けの結果を利用して前記バイリンガルコーパスの前記ソース言語文内の各文字に注釈を付け、各文字が単語の終端であるか否かを示す注釈を各文字に付与するための手段と、
前記バイリンガルコーパスの前記ソース言語文における各文字の予め定められた特徴量セットを抽出するための手段とを含み、前記予め定められた特徴量セットは前記ソース言語文の対象の文字の前記注釈を含むコンテキストを反映し、さらに
前記第２の分離器で用いられる確率モデルをトレーニングするための手段を含み、前記確率モデルは前記抽出手段によって抽出された前記特徴量の組の統計的分析によって、ソース言語文中の文字が単語の終端であるか否かの確率を推定するのに用いられる、請求項１に記載の文分離器トレーニング装置。
【請求項３】
前記確率モデルは最大エントロピモデルを含む、請求項２に記載の文分離器トレーニング装置。
【請求項４】
前記繰返し制御手段は、前記第１のトレーニング手段、前記評価手段、前記第２のトレーニング手段、及び前記第２の分離器を、前記評価手段による評価が先行する繰返しでの前記評価手段の評価より悪くなるまで繰返し動作するよう制御する、請求項１から請求項３のいずれかに記載の文分離器トレーニング装置。
【請求項５】
コンピュータによって実行されると、前記コンピュータを請求項１から請求項４のいずれかに記載の装置として機能させる、コンピュータプログラム。
【請求項６】
請求項５に記載のコンピュータプログラムを記録したコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は自然言語処理（Ｎａｔｕｒａｌ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ：ＮＬＰ）の前処理に関し、特に、ＳＭＴ（Ｓｔａｔｉｓｔｉｃａｌ  Ｍａｃｈｉｎｅ  Ｔｒａｎｓｌａｔｉｏｎ）又は自然言語理解に用いられるモデルをトレーニングするためのコーパス内の文をセグメント化することに関する。
【背景技術】
【０００２】
単語セグメント化の作業、すなわち連続したテキストにおいて単語の境界を特定することは、自然言語理解、情報抽出及び機械翻訳等のデータ駆動のＮＬＰ応用では基礎的前処理ステップのひとつである。英語等のインド−ヨーロッパ系言語と異なり、中国語、日本語等のアジア系言語の多くは意味のある単語単位を区別するのに空白文字を用いない。
【０００３】
これら言語の単語セグメント化には以下の課題がある。
【０００４】
（１）多義性。たとえば、中国語では、単一の文字がある文脈では構成要素のひとつであり、別の文脈ではそれだけでひとつの単語でありうる。
【０００５】
（２）未知の単語。すなわち、既存の単語を組み合わせると例えば「ホワイトハウス」等の固有名詞など、新たな単語になりうる。
【０００６】
先行技術の純粋に辞書ベースのアプローチでは、最大一致度ヒューリスィックスによってこれらの課題に対処しているが、その精度は利用される辞書の守備範囲に大いに依存する。教師なしの単語セグメント化に関する最近の研究は、確率論的方法に基づくアプローチに焦点をあてている。例えば、非特許文献１はユニグラム単語分布に基づく確率論的セグメント化モデルを提案しており、非特許文献２は標準的なｎ−グラム（１≦ｎ≦３）言語モデルを用いている。これに替わる、ディリクレプロセスに基づくノンパラメトリックベイズ推論のアプローチであって、ユニグラム及びバイグラムの単語依存性を組入れたものが非特許文献３で紹介されている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｍ．ブレント。セグメント化及び単語発見のための効率的かつ確率的に健全なアルゴリズム。機械学習、３４：７１−１０５、１９９９年。（M.  Brent.  An  efficient,  probabilistically  sound  algorithm  for  segmentation  and  word  discovery.  Machine  Learning,  34:71-105,  1999.）
【非特許文献２】Ａ．ベンカタラマン。書起こし発話における単語発見のための統計的モデル。コンピュータ言語、２７（３）：３５１−３７２、２００１年。（A.  Venkataraman.  A  statistical  model  for  word  discovery  in  transcribed  speech.  Computational  Linguistics,  27(3):351-372,  2001.）
【非特許文献３】Ｓ．ゴールドウォータ。教師なしの単語セグメント化における文脈依存性。ＡＣＬ予稿集第６７３−６８０ページ、シドニー、オーストラリア、２００６年。（Contextual  Dependencies  in  Unsupervised  Word  Segmentation.  In  Proc.  of  the  ACL,  pages  673-680,  Sydney,  Australia,  2006.）
【非特許文献４】Ｊ．シュー、Ｊ．ガオ、Ｋ．トウタノバ、及びＨ．ネイ。ＳＭＴのためのベイズ半教師付き中国語単語セグメント化。ＣＯＬＩＮＧ予稿集、第１０１７−１０２４ページ、マンチェスター、ＵＫ、２００８年。（J.  Xu,  J.  Gao,  K.  Toutanova,  and  H.  Ney.  Bayesian  Semi-Supervised  Chinese  Word  Segmentation  for  SMT.  In  Proc.  of  the  COLING,  pages  1017-1024,  Manchester,  UK,  2008.）
【非特許文献５】Ａ．ラトナパルキ。品詞タグ付けのための最大エントロピモデル。ＥＭＮＬＰ予稿集、ペンシルバニア、ＵＳＡ、１９９６年。（A.  Ratnaparkhi.  A  Maximum  Entropy  Model  for  Part-Of-Speech  Tagging.  In  Proc.  of  the  EMNLP,  Pennsylvania,  USA,  1996.）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、区切り記号を用いない言語の機械翻訳作業に最適な単語セグメント化の学習についてはあまり注意が払われてこなかった。中国語または日本語の単一の文字といった、小さい翻訳単位の場合、そのようなトークンがトレーニングコーパスの中に見られることが多く、従ってこれらのトークンをＳＭＴで翻訳することができるが、これらのトークンによって与えられるコンテキスト情報は良い翻訳を得るには十分でないかもしれない。
【０００９】
例えば、日本語−英語ＳＭＴは２つの連続した文字「白」（“ｗｈｉｔｅ”）と「鳥」（“ｂｉｒｄ”）とを“Ｗｈｉｔｅ  ｂｉｒｄ”と訳すであろうが、人間ならこれらの連続した文字「白鳥」を“ｓｗａｎ”と訳すであろう。従って、翻訳単位が長くなればなるほど、意味のある翻訳を見出すためにはより多くのコンテキストを利用することが可能になる。他方で、翻訳単位が長くなればなるほど、統計的翻訳モデルのトレーニングに利用される言語資源のスパースネスのために、トレーニングデータ中にそのようなトークンの生じる可能性は少なくなる。
【００１０】
従って、機械翻訳に「最適」な単語セグメント化は、所与の入力文のコンテキストにおいて意味を持つに十分に小さく、かつ翻訳の品質を最適化するための統計的モデルの翻訳作業の複雑さと対称範囲とのトレードオフを達成する翻訳単位を特定するものである、といえる。モノリンガルの確率モデルを用いることは、必ずしも良好な機械翻訳性能を生じない。しかし、モノリンガルのみならずバイリンガルの情報も考慮したいくつかのアプローチから改良がなされ、ＳＭＴに好適な単語セグメント化を導出するものが提案されている。言語資源の入手しやすさの点から、最近の研究は中国語から英語へのＳＭＴのための中国語単語セグメント化（Ｃｈｉｎｅｓｅ  ｗｏｒｄ  ｓｅｇｍｅｎｔａｔｉｏｎ：ＣＷＳ）の最適化に焦点をあてている。例えば、非特許文献４はＣＷＳのためのベイズ半教師付きアプローチであって、非特許文献３に基づくものを提案している。この生成的モデルは、まず市販の分離器を用いて中国語のテキストをセグメント化し、ＳＭＴに好適な新たな単語の種類と分布とを学習する。さらに、セグメント化の一貫性と翻訳単位の粒度ともまた、ＣＷＳを改良するには重要である。
【００１１】
しかし、非特許文献３に開示のシステムでは、最初のセグメント化を得るために言語学的に導かれた単語セグメント化ツールが必要とされる。
【００１２】
従って、この発明の目的の一つは、言語学に導かれた単語セグメント化ツールを必要としない、文分離器トレーニング装置を提供することである。
【００１３】
この発明の別の目的は、言語学的に導かれた単語セグメント化ツールを必要とせず、最適な文分離器を自動的に生成する、文分離器トレーニング装置を提供することである。
【課題を解決するための手段】
【００１４】
この発明の第１の局面に従えば、予め選択された第１の言語の文分離器をトレーニングするための文分離器トレーニング装置は、翻訳対のバイリンガルコーパスを記憶するための手段を含み、翻訳対の各々は前記第１の言語のソース言語文と第２の言語のターゲット言語文とを含み、さらに前記バイリンガルコーパス中の前記ソース言語文を予め定められた区切りによって文字列にセグメント化するための文字ベースの第１の分離器と、前記第１の言語と前記第２の言語の文の翻訳対を含むバイリンガルトレーニングコーパスを利用してＳＭＴ手段をトレーニングするための第１のトレーニング手段と、を含み、前記ＳＭＴ手段はトレーニングの間に前記バイリンガルトレーニングコーパス内の前記翻訳対の各々を対応付け、前記トレーニング手段によってトレーニングされた前記ＳＭＴ手段の性能を評価するための評価手段と、前記ＳＭＴ手段による対応付けの結果を利用して、前記バイリンガルコーパスの前記ソース言語文の第２の分離器をトレーニングするための第２のトレーニング手段と、前記バイリンガルコーパス中の前記ソース言語文を、前記第２のトレーニング手段によってトレーニングされた前記第２の分離器を利用して、前記予め定められた区切りによって分離されたセグメント列に分離するためのセグメント化手段と、前記第１のトレーニング手段、前記評価手段、前記第２のトレーニング手段及び前記第２の分離器を、前記ＳＭＴの性能に関する予め定められた終了条件が満足されるまで繰返し動作するよう制御するための繰返し制御手段と、前記繰返し制御手段の第１回目の繰返しに、前記文字ベースの第１の分離器によってセグメント化されたソース言語文を含むバイリンガルコーパスの一つを選択し、その後の繰返しで前記第２の分離器によってセグメント化された前記ソース言語文を有する前記バイリンガルコーパスを選択し、前記選択されたバイリンガルコーパスを前記バイリンガルトレーニングコーパスとして利用して前記第１のトレーニング手段に前記ＳＭＴ手段をトレーニングさせるための選択手段と、をさらに含む。
【００１５】
第１の分離器は、バイリンガルコーパス中のソース言語の文を予め定められた区切りでセグメント化された文字列にセグメント化する。１回目の繰返しでは、選択手段が、文字ベースの第１の分離器によってセグメント化されたソース言語の文を含むバイリンガルコーパスを選択する。第１のトレーニング手段は選択されたコーパスをバイリンガルトレーニングコーパスとして利用してＳＭＴ手段をトレーニングする。トレーニングの間に、ＳＭＴ手段はバイリンガルトレーニングコーパスの翻訳対の各々を対応付ける。第２のトレーニング手段はＳＭＴ手段による対応付けの結果を利用して第２の分離器をトレーニングする。セグメント化手段はバイリンガルコーパス中のソース言語の文を、第２のトレーニング手段によってトレーニングされた第２の分離器を利用してセグメント列にセグメント化する。２回目の繰返しでは、選択手段はセグメント化手段によってセグメント化されたバイリンガルコーパスを選択する。第１のトレーニング手段が選択されたコーパスをバイリンガルトレーニングコーパスとして利用してＳＭＴ手段をトレーニングする。繰返しごとのＳＭＴトレーニングの終わりに、評価手段がトレーニング手段によってトレーニングされたＳＭＴ手段の性能を評価する。繰返し制御手段は予め定められた終了条件が満足されると繰返しを止める。例えば、評価が劣化すると、繰返しが止められる。
【００１６】
１回目の繰返しでは文字列にセグメント化されたソース言語の文を有するバイリンガルコーパスを利用するので、セグメント化は何ら言語特定の分離器を必要としない。次の繰返し以降に用いられる分離器はＳＭＴ手段のトレーニングの間に得られた対応付けの結果によってトレーニング可能である。従って、文分離器トレーニング装置は言語に依存せず、言語学的に導かれた単語セグメント化ツールを必要としない文分離器トレーニング装置が提供される。
【００１７】
第１の局面に基づく第２の局面では、前記第２のトレーニング手段は、前記ＳＭＴ手段による前記対応付けの結果を利用して前記バイリンガルコーパスの前記ソース言語文内の各文字に注釈を付け、各文字が単語の終端であるか否かを示す注釈を各文字に付与するための手段と、前記バイリンガルコーパスの前記ソース言語文における各文字の予め定められた特徴量セットを抽出するための手段とを含み、前記予め定められた特徴量セットは前記ソース言語文の対象の文字のコンテキストと、前記ソース言語文と対にされたターゲット言語文における対象の文字と対応付けた単語のコンテキストとを反映し、さらに前記第２の分離器で用いられる確率モデルをトレーニングするための手段を含み、前記確率モデルは前記抽出手段によって抽出された前記特徴量の組の統計的分析によって、ソース言語文中の文字が単語の終端であるか否かの確率を推定するのに用いられる。
【００１８】
ＳＭＴ手段のトレーニングの終わりに、バイリンガルコーパスのソース言語の文に注釈が付けられる。このように注釈が付けられたバイリンガルコーパスから、予め定められた特徴量の組が抽出され、第２の分離器で用いられる確率モデルがこの特徴量の組と既存の統計的機械翻訳スキームとを用いて統計的にトレーニングされ得る。
【００１９】
従って、言語学的に導かれた単語セグメント化ツールを必要とせず、統計的に最適化された文分離器を自動的に生成する文分離器トレーニング装置が提供される。
【００２０】
第２の局面に基づく第３の局面では、前記確率モデルは最大エントロピ（Ｍａｘｉｍｕｍ  Ｅｎｔｒｏｐｙ：ＭＥ）モデルを含む。
【００２１】
ＳＭＴトレーニングの間の対応付けの結果は、いくつかの対応誤りを含むことが多い。しかし、対応付けを利用してＭＥモデルをトレーニングすることで、誤りの起こりやすさを軽減することができ、従って、言語学的に導かれた単語セグメント化ツールを必要とせず比較的正確な文分離器を自動的に生成する文分離器トレーニング装置が提供される。
【００２２】
第３の局面に基づく第４の局面によれば、前記繰返し制御手段は前記第１のトレーニング手段、前記評価手段、前記第２のトレーニング手段、及び前記第２の分離器を、前記評価手段による評価が先行する繰返しでの前記評価手段の評価より悪くなるまで繰返し動作するよう制御する。従って、言語学的に導かれた単語セグメント化ツールを必要とせず、最適な文分離器を自動的に生成する文分離器トレーニング装置が提供される。最適化はＳＭＴと分離器の自動トレーニングとを利用して行われるので、結果として得られる分離器は人の手によってセグメント化されたバイリンガルコーパスを利用してトレーニングされたものとは異なり、セグメント化はよりＳＭＴに好適なものとなるであろう。
【００２３】
この発明の第５の局面は、コンピュータ上で実行されるとコンピュータを第１から第４の局面のいずれかに基づく装置として機能させる、コンピュータプログラムに関する。
【００２４】
この発明の第６の局面に従えば、コンピュータ可読媒体は第５の局面に従ったコンピュータプログラムを記憶する。
【図面の簡単な説明】
【００２５】
【図１】この発明の１実施例に従った繰返しブートストラップ処理の方法を示す図である。
【図２】ソース言語とターゲット言語との翻訳対を示す図である。
【図３】コンピュータ上でこの発明の第１の実施例を実現するプログラムのフロー図である。
【図４】元の翻訳対と、ソース言語文が文字ベースでセグメント化された翻訳対との例を示す図である。
【図５】繰返しブートストラップ法の種々の繰返しでのソース言語文のセグメント化例を示す図である。
【図６】繰返しブートストラップ法の種々の繰返しでのソース言語文のセグメント化例を示す図である。
【図７】実験システムのシステム性能の変化を示す図である。
【図８】実験システムのシステム性能の変化を示す図である。
【図９】実験システムの語彙サイズ及び長さの変化を示す図である。
【図１０】実験システムの語彙サイズ及び長さの変化を示す図である。
【図１１】実験システムの語彙外（ｏｕｔ−ｏｆ−ｖｏｃａｂｕｒａｌｙ：ＯＯＶ）サイズの変化を示す図である。
【図１２】コンピュータシステム３２０の正面図である。
【図１３】コンピュータシステム３２０のブロック図である。
【発明を実施するための形態】
【実施例】
【００２６】
［第１の実施例］
（概観）
先行のアプローチとは対照的に、この発明では最初のセグメント化を得るために言語学的に導かれた単語セグメント化ツールの存在を必要としない、言語に依存しないアプローチを提案する。提案される方法はパラレルコーパスを用いて、文字列となっているソース言語の文をターゲット言語の空白スペースで分離された単語単位に対応付ける。同じターゲット単語に対応付けされた連続する文字が統合されたより大きなソース言語単位になる。従って、翻訳単位の粒度は所与のバイリンガルコーパスコンテキストで規定される。対応誤りの副作用を最小にし、かつセグメント化の一貫性を保つために、最大エントロピ（Ｍａｘｉｍｕｍ−Ｅｎｔｒｏｐｙ：ＭＥ）アルゴリズムを適用して、再セグメント化されたバイリンガルコーパスでトレーニングされるＳＭＴシステムの翻訳品質を最適化するソース言語単語セグメント化の学習が行われる。
【００２７】
現代のＳＭＴシステムには、ＧＩＺＡ＋＋等のトークン−単語対応付けサブシステムが埋込まれている。このようなサブシステムはソース言語文のトークンとターゲット言語文の単語との間の最も確率の高い対応付けを出力するものとして知られているが、その対応付け精度は時として疑問である。
【００２８】
５つのアジア系言語（日本語、韓国語、タイ語、中国語（標準中国語、台湾語））から英語への翻訳に、提案のセグメント化方法を適用した実験を行った。実験の結果、提案の方法は、文字化されたソース言語文を翻訳するベースラインシステムより性能がよく、言語学的ツールでセグメント化されたバイリンガルコーパスでトレーニングされたＳＭＴモジュールと同様の翻訳結果を得ることが分かった。
【００２９】
（単語セグメント化）
提案の単語セグメント化方法は２つのステップからなる。第１のステップでは、ユニグラムセグメント化ソース言語文字列と空白で分けられたターゲット言語の単語とからなるパラレルテキストコーパス上で標準的ＳＭＴモデルがトレーニングされる。ＳＭＴトレーニング手順の文字−単語対応付けの結果を利用して、それぞれのバイリンガルコーパスで同じターゲット言語の単語に対応付けされた連続したソース言語の文字を特定し、これらの文字を統合してより大きな翻訳単位とする。
【００３０】
第２のステップでは、単語セグメント化の作業は文字タグ付けとして取扱われ、ここでは２つのタグのみが用いられる。すなわち、所与のソース言語文字がターゲット言語の単語に対応付けされた統合文字列の最後の文字である場合の”ＷＢ”（ｗｏｒｄ  ｂｏｕｎｄａｒｙ：単語境界）と、その他の場合の”ＮＢ"（ｎｏ  ｂｏｕｒｄａｒｙ：非境界）である。対応付けベースの単語境界注釈を用いて、ＭＥ法が適用され、最適なソース言語単語セグメント化が学習される。
【００３１】
（１）最大エントロピタグ付けモデル
ＭＥモデルは分類と予測のための汎用機械学習技術を提供する。これらは多くの特徴量を扱うことのできる多用途のツールであり、文境界検出又は品詞タグ付けを含む広範なＮＬＰ作業において非常に有効であることを示している。最大エントロピ分類機は指数的モデルであって、多数の二値特徴量関数及びそれらの重みからなる。モデルは、トレーニングデータによって課される制約により、確率モデルのエントロピを最大にするよう重みを調節することでトレーニングされる。実験では条件付き最大エントロピモデルを用い、ここで所与の特徴量の組に対する結果の条件付き確率は非特許文献５でモデル化されている。モデルは以下の形である：
【００３２】
【数１】
0005565827.tif 000002
ここで、
ｔは予測されるタグであり、
ｃはｔのコンテキストであり、
ｘは正規化係数であり、
Ｋはモデル内の特徴量の数であり、
ｆｋは二値特徴量関数であり、
αｋは特徴量関数ｆｋの重みであり、
ｐ０はデフォルトモデルである。
【００３３】
特徴量の組を表１に示す。辞書によるコンテキスト特徴量はタグｔで注釈を付けられた（タグ付けされた）ソース言語の文字列を含む。ｃ０はタグ付けされたコンテキスト単位（例えば文字、または単語）を示し、ｃ−２、…ｃ＋２は周囲のコンテキスト単位を示す。ｔ０は現在のタグを示し、ｔ−１は先行するタグを示し、以下同様である。タグコンテキスト特徴量は先行するタグ列のコンテキストに関する情報を供給する。この条件付きモデルは分類器として用いることができる。モデルは繰返しトレーニングされ、実験には改良された繰返しスケーリングアルゴリズム（Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ：ＩＩＳ）を用いた。
【００３４】
【表１】
0005565827.tif 000003
（２）繰返しブートストラップ法
ＳＭＴの最適単語セグメント化学習のための、本発明により提案される繰返しブートストラップ法を図１にまとめた。図１を参照して、ターゲット言語文３２とソース言語文３４とを含むバイリンガルコーパス３０を準備する。ターゲット言語文３２の各々がその翻訳のソース言語文と対になっている。
【００３５】
図２を参照して、翻訳対１１０はソース言語文１１２と、そのソース言語文１１２の翻訳であるターゲット言語文１１４とを含む。
【００３６】
再び図１を参照して、最初の繰返し（０回目繰返し）では、ソース言語文３４の各々がユニグラム分離器３６により文字ごとにユニグラムセグメント化ソース言語文３８に分割される。ユニグラム分離器３６は単に、ソース言語文３４の隣接する文字の各々の間に空白を挿入するだけである。
【００３７】
ターゲット言語文３２とユニグラムセグメント化ソース言語文３８とを含むバイリンガルコーパスを利用してＳＭＴ４０をトレーニングする。これは最初の繰返しなので、このＳＭＴ４０を「ＳＭＴ０」と呼ぶ。ＳＭＴ０４０のトレーニングの間に、ターゲット言語文３２とユニグラムセグメント化ソース言語文３８との文の対の各々が対応付けされる。
【００３８】
次の繰返しが始まる前に、ＳＭＴ０４０をソース言語文開発セット（図示せず）をターゲット言語文にデコードすることによって評価し、さらにデコードされた結果を、ＢＬＥＵ（Ｋ．パピネニにより提案、「ＢＬＥＵ：機械翻訳の自動評価法」第４０回ＡＣＬ予稿集、第３１１−３１８ページ、フィラデルフィア、ＵＳ，２００２年、K.  Papineni,  “BLEU:  a  Method  for  Automatic  Evaluation  of  Machine  Translation”,  in  Proceedings  of  the  40th  ACL,  pages  311-318,  Philadelphia,  US,  2002））又はＭＥＴＥＯＲ（Ｓ．ベネルジらにより提案、「ＭＥＴＥＯＲ：ＭＴ評価のための自動尺度」ＡＣＬ予稿集第６５−７２ページ、アンアーバー、ＵＳ、２００５年（S.  Banerjee  et  al.,  “METEOR:  An  Automatic  Metric  for  MT  Evaluation”  in  Proceedings  of  the  ACL,  pages  65-72,  Ann  Arbor,  US,  2005.））等の自動評価器によって評価する。評価結果４２のスコアを保存する。ＳＭＴ０４０のトレーニングの間に、トークン―単語対応付けの結果４４が抽出される。結果４４を用いてユニグラムセグメント化ソース言語文３８内の各トークンに注釈を付けることができる。注釈付きソース言語文３８内のトークンの各々の特徴量セットが抽出され、より長い翻訳単位の取扱いが可能なＭＥ分類器４６（ＭＥ１）のトレーニングに用いられる。
【００３９】
それぞれのバイリンガルコーパス３０の最初の文字−単語対応付けからＭＥ分類器４６を学習した後、得られたＭＥ分類器４６を適用して、セグメント化されていないパラレルコーパスのソース言語文３４の再セグメント化を行い、結果として、ターゲット言語文３２及びソース言語文４８を含むセグメント化バイリンガルコーパスが替わりに得られ、これを用いて別のＳＭＴ（ＳＭＴ１）５０を再トレーニングし再評価することができ、これによって最初のＳＭＴ（ＳＭＴ０）よりも良好な翻訳性能を達成すると期待できる。
【００４０】
教師なしＭＥタグ付け方法をＳＭＴ１のトレーニングの間に抽出されるトークン−単語対応付けに適用することもでき、これによってより長い翻訳単位の取扱いが可能なＭＥ分類器５６（ＭＥ２）を得ることができる。
【００４１】
この実施例では、ユニグラムセグメント化ソース言語文３８に、ＳＭＴ０４０による対応付けの結果４４の結果によって注釈が付けられる。例えば、ＳＭＴ０４０のトレーニングにおいて、ある文字がある単語の終端であると判断されると、その単語に「ＷＥ」（Ｗｏｒｄ  Ｅｎｄ：語終端）というラベルが付され、そうでなければ「ＮＥ」（Ｎｏｔ  Ｅｎｄ：非終端）とされる。注釈付きソース言語文を用いてＭＥ分類器のトレーニングを行う。この実施例では、ユニグラムセグメント化ソース言語文３８の注釈付き文字の各々について、表１に示すようなコンテキスト特徴量の組が導出される。ＭＥ分類器４６は、トレーニングデータによって課される所与の制約のもとで、確率モデルのエントロピが最大になるようにトレーニングされる。ＭＥモデルは特徴量の組により統計的にトレーニングされる。この実施例では、上述のとおり、ＭＥ分類器４６に対し条件付き最大エントロピモデルを用いる。
【００４２】
次の繰返しを「１回目」の繰返しと呼ぶ。１回目の繰返しでは、ソース言語文３４がＭＥ分類器４６によってセグメント化されて、セグメント化ソース言語文４８が結果として得られる。ターゲット言語文３２とセグメント化ソース言語文４８とを含むバイリンガルコーパスを用いて、ＳＭＴ５０（ＳＭＴ１）をトレーニングする。トレーニングの間に、セグメント化ソース言語文４８のセグメントの各々がターゲット言語文３２の対応する単語と対応付けされる。対応付けの結果５４がＳＭＴ１５０から抽出され、これを利用してセグメント化ソース言語文４８に注釈が付けられる。注釈付きセグメント化ソース言語文４８を用いて次の繰返しのＭＥ分類器５６（ＭＥ２分類器）をトレーニングする。
【００４３】
一方で、ＳＭＴ１５０の性能を、ソース言語の開発セット文をデコードすることによって評価する。評価結果５２を最初の繰返しの保存された評価結果４２と比較する。もし結果５２が結果４２より良好であれば、繰返しが継続される。そうでなければ、この段階で繰返しを中止し、ＭＥ分類器４６がソース言語文のセグメント化に最適な分類器として出力される。
【００４４】
もし結果５２が保存された結果４２より良好であれば、評価結果が保存され、ソース言語文３４がＭＥ分類器５６でセグメント化されてセグメント化ソース言語文５８が結果として得られる。ターゲット言語文３２とセグメント化ソース言語文５８とを含むバイリンガルコーパスを利用してＳＭＴ６０（ＳＭＴ２）をトレーニングする。ＳＭＴ２６０のトレーニングの間のソース言語文の対応付けの結果（図示せず）が抽出される。ＳＭＴ２６０の性能は、自動評価器で評価される。ＳＭＴ２６０の評価結果６２が保存された結果５２より悪ければ、繰返しは終了し、ＭＥ分類器４６が最適な分類器として出力される。もし評価結果６２が保存された結果５２より良好なら、次の繰返しが行われる。
【００４５】
ＭＥ分類器のトレーニング、ＭＥ分類器を用いたソース言語文３４のセグメント化、セグメント化ソース言語文を含むバイリンガルコーパスによるＳＭＴのトレーニング、及びＳＭＴ性能の評価はこのようにして、評価結果が先行する評価結果より悪くなるまで繰返される。
【００４６】
すなわち、図１を参照して、ＭＥ分類器７６が（Ｊ−１）回目の繰返しで（Ｊ−２）回目のＳＭＴトレーニングでのバイリンガルコーパスの対応付けを利用してトレーニングされると仮定する。（Ｊ−１）回目の繰返しでは、ソース言語文３４はＭＥ分類器７６によってセグメント化される。結果として得られるセグメント化されたテキスト７８は、ターゲット言語文３２とともにＳＭＴ８０（ＳＭＴＪ−１）のトレーニングに利用される。ＳＭＴＪ−１８０の性能が評価される。もし評価結果８２が先行する結果より良好なら、結果８２が保存され、ＳＭＴＪ−１８０のトレーニングにおける対応付けの結果が抽出される。ＭＥ分類器８６は対応付けの結果８４を用いてトレーニングされる。ソース言語文３４はセグメント化されてセグメント化ソース言語文８８になる。ターゲット言語文３２とセグメント化ソース言語文８８とを含むバイリンガルコーパスを利用してＳＭＴ９０（ＳＭＴＪ）をトレーニングする。ＳＭＴＪ９０の性能が自動評価器によって評価され、評価結果９２が先行する評価結果８２と比較される。ここでは、結果９２が結果８２より悪いと仮定する。ここで繰返しが中止され、先行する繰返しで得られた分類器７６が最適分類器として特定され、記憶される。
【００４７】
このようなブートストラップ法が一連のＳＭＴｉを繰返し生成し、そのたびに翻訳の複雑さが少なくなる。なぜなら、語順又は語の明瞭化の誤りなしに、より大きな塊を１のステップで翻訳することができるからである。しかし、ある時点で、トレーニングコーパスから学習した翻訳単位の長さの増大によりオーバーフィッティングが生じ、学習時に遭遇していない文を翻訳する際の翻訳性能が低下する。従って、トレーニングコーパスのＪ回目の再セグメント化が、遭遇してないテストの組について前回の繰返しより低い自動評価スコアをもたらした場合には、ブートストラップ法は中止される。そして、最も高い自動翻訳スコアを達成したＭＥ分類器７６（ＭＥＪ−１）が提案の方法の最終的な単語分離器として選択され出力される。
【００４８】
（コンピュータによる実現）
図３を参照して、このトークン分類器トレーニング装置を実現するコンピュータプログラムは、バイリンガルコーパス３０のソース言語文３４をユニグラムにセグメント化してユニグラムセグメント化ソース言語文４８を得るステップ１４０で開始し、その後、ターゲット言語文３２とセグメント化ソース言語文４８とを含むバイリンガルコーパスを利用してＳＭＴ０４０をトレーニングするステップを含む。
【００４９】
図４を参照して、バイリンガルコーパス３０は、ソース言語文及び対応のターゲット言語文を含む文対２４０等の多数の翻訳対（文対）を含む。図４（Ａ)は手動でセグメント化されたソース文を含む対２４０を示し、図４（Ｂ)はユニグラムセグメント化ソース言語文を含む対２４２を示す。ここで、「ユニグラムセグメント化」とは、「文字にセグメント化された」という意味である。
【００５０】
プログラムはさらに、ＢＬＥＵまたはＭＥＴＥＯＲ等の自動評価器を用いてＳＭＴの性能を評価するステップ（１４４）を含み、評価の結果を得て、これが最初の繰返しであるか否かを判断するステップ（１４６）を含む。もしステップ１４６の判断がＹＥＳなら、制御はステップ１５０に進む。そうでなければ、制御はステップ１４８に進む。ステップ１４８で、ステップ１４４で計算された評価結果が先行する結果よりも悪いか否かが判断される。もし判断がＹＥＳならば、制御はステップ１６４に進み、ここで先行する繰返しで得られたＭＥ分類器が最適な分類器として出力され、制御は一連のプログラムを終了する。もしステップ１４８の判断がＮＯなら、制御はステップ１５０に進む。
【００５１】
ステップ１５０で、ステップ１４４で計算された結果がメモリロケーションに記憶される。
【００５２】
プログラムはさらに：直前に得られたＭＥ分類器をメモリロケーションに記憶するステップ（１５２）と、先行するＳＭＴトレーニングステップからの対応付けの結果を抽出するステップ（１５４）と、対応付けの結果を用いてソース言語文に注釈を付けるステップ（１５６）と、セグメント化されたソース言語文のトークンの各々について特徴量セットを抽出するステップ（１５８）と、抽出された特徴量セットを利用して今回の繰返しのＭＥ分類器をトレーニングするステップ（１６０）と、ステップ１６０で得られたＭＥ分類器でソース言語文をセグメント化し（１６２）、制御をステップ１４２に戻すステップと、を含む。
【００５３】
最初の繰返しでは、ユニグラムにセグメント化されたソース言語文を含むバイリンガルコーパスが選択されてＳＭＴのトレーニングに用いられる。これに続く繰返しでは、ステップ１６０でトレーニングされたＭＥ分類器を利用してセグメント化されたバイリンガルコーパスが選択されてＳＭＴのトレーニングに用いられる。ユニグラムのセグメント化は文字ベースなので、ステップ１４０のセグメント化は言語に依存しない。従って、言語学的に導かれた単語セグメント化ツールは不要である。
【００５４】
ＳＭＴのトレーニング中の対応付けには周知のツールがあるが、対応付けの結果はいくつかの対応誤りを含むことが少なくない。対応付けの結果を直接バイリンガルコーパスのセグメント化に適用すると、結果に誤りが多くなるであろう。しかし、ＳＭＴトレーニングの対応付けの結果を利用してＭＥ分類器を統計的にトレーニングすることにより、ＭＥ分類器のセグメント化結果は比較的誤りが少なくなる。上述の繰返しの終わりに結果として得られるＭＥ分類器は、結果としてＳＭＴ性能が繰返しの間に得られるＳＭＴの中で最良となる、という意味で、最適なものとなるであろう。
【００５５】
このように構成されたプログラムはコンピュータで実行されると図１に示す動作を実現するものであることが当業者には理解されるであろう。
【００５６】
（実験）
種々の単語セグメント化を用いる効果を、多言語基本旅行表現コーパス（ｍｕｌｔｉｌｉｎｇｕａｌ  Ｂａｓｉｃ  Ｔｒａｖｅｌ  Ｅｘｐｒｅｓｓｉｏｎｓ  Ｃｏｒｐｕｓ：ＢＴＥＣ）を用いて調査した。これはバイリンガルの旅行の専門家が外国へ行ったり来たりする人々に有用と考えられる文章を集めたものである。単語セグメント化の実験のために、自然には単語単位を区切りで分離しない５つのアジア系言語、すなわち日本語（ｊａ）、韓国語（ｋｏ）、タイ語（ｔｈ）、及び２種の中国語である標準中国語（ｚｈ）ならびに台湾語（ｔｗ）を選択した。
【００５７】
表２に、ＳＭＴモデルのトレーニング（ｔｒａｉｎ）、モデル重みづけのチューニング（ｄｅｖ）及び翻訳品質の評価（ｅｖａｌ）に用いたＢＴＥＣコーパスデータセットの特性をまとめた。文の数（ｓｅｎ）及び語彙（ｖｏｃ）に加えて、文の長さ（ｌｅｎ）も、文ごとの平均単語数として与えられている。
【００５８】
全てのソース言語について、それぞれの言語に利用可能な言語学的セグメント化ツールを用いて所与の統計が得られた。台湾語についてはセグメント化が利用できなかった。
【００５９】
【表２】
0005565827.tif 000004
ＳＭＴモデルのトレーニングについては、Ｆ．オチ及びＨ．ネイ、「統計的対応付けモデルの系統的比較」、コンピュータ言語、２９（１）：１９−５１ページ，２００３年（F.  Och  and  H.  Ney,  “A  Systematic  Comparison  of  Statistical  Alignment  Models”  in  Computational  Linguistics,  29(1):19-51,  2003）で提案された標準的単語対応付けと、Ａ．ストックル、「ＳＲＩＬＭ、拡張可能ＬＭツールキット」ＩＣＳＬＰ予稿集、第９０１−９０４ページ、デンバー、ＵＳ．２００２年（A.  Stolcke,  “SRILM  an  extensible  LM  toolkit”,  in  Proceedings  of  ICSLP,  pages  901-904,  Denver,  US,  2002）によって提案された言語モデル化ツールを使用した。デコーダのパラメータのチューニングには最小誤り率トレーニング（Ｍｉｎｉｍｕｍ  ｅｒｒｏｒ  ｒａｔｅ  ｔｒａｉｎｉｎｇ：  ＭＥＲＴ）を用い、オチ及びネイの提案する技術を用いてｄｅｖセットについて行った。翻訳には、Ａ．フィンチら、「ＮＩＣＴ／ＡＴＲ音声翻訳システム」、ＩＷＳＬＴ予稿集、第１０３−１１０ページ、トレント、イタリア、２００７年（A.  Finch  et  al,  “The  NICT/ATR  Speech  Translation  System”  in  Proceedings  of  the  IWSLT,  pages  103-110,  Trento,  Italy,  2007）の提案するマルチスタック句ベースデコーダであってオープンソースツールキットＭＯＳＥＳに相当するものを用いた。翻訳品質の評価には、標準的自動評価尺度、すなわちＢＬＥＵ及びＭＥＴＥＯＲを用いた。この実施例の実験結果では、所与のスコアはパーセントの数字でリストされている。
【００６０】
セクション（１）はこの実施例の提案の方法を、文字ごとに分けたソース文を翻訳するベースラインシステムと、言語に依存する言語学的に導かれた単語セグメント化によってトレーニングされたＳＭＴとに比較した。加えて、繰返しブートストラップ法の効果をセクション（２）にまとめた。
【００６１】
セクション（１）単語セグメント化の効果
【００６２】
【表３】
0005565827.tif 000005
種々にセグメント化されたソース言語リソースでトレーニングされたＳＭＴの自動評価スコアを表３に示す。ここで
「文字」は翻訳にユニグラムセグメント化ソーステキストを用いるベースラインシステムを指す。
「本件」はここで提案される最適ＭＥタグ付けモデルによってセグメント化されたコーパスでトレーニングされたＳＭＴである。
「言語学的」は、ｔｗを除き、調査された言語の各々について利用可能な言語依存の言語学的に導かれた単語セグメント化ツールを用いたものである。
【００６３】
この結果から、この実施例に従った本件の方法が、対象とした言語の各々についてベースラインシステムに勝り、評価尺度はともに一貫してＢＬＥＵでは０．８から２．０ポイントのゲイン、ＭＥＴＥＯＲでは０．５から３．０ポイントのゲインを達成したことが示される。しかし、改良はそれぞれのソース言語とその特性に依存する。例えば、ゲインが最も小さかったのは中国語であったが、その理由は、単一の文字がそれ自身で単語を構成することが多く、このため、連続したひらがな又はカタカナ文字がより大きな意味のある単位を構成する日本語に比べ、多義性が高くなったからである。
【００６４】
この実施例の方法を、言語学的に導かれた分離器と比較すると、結果はソース言語のほとんどについて自動的に学習した単語セグメント化の評価スコアがわずかに低くなったが、この実施例の方法による結果は例えば韓国語−英語等の作業では言語学的セグメント化ツールにきわめて近いかこれに勝るものであった。しかし、調査したほかの文字種に比べ文字種が顕著に異なるタイ語については、本件の方法と言語学的セグメント化との間に大きな開きが出た。
【００６５】
本件のセグメント化方法に影響を与え、従って初期コーパスセグメント化を生成する際に考慮すべき特徴量は以下を含む：（１）タイ語の文字種は、子音に基づくセグメント的表記体系であるが、母音の表記は強制的であって、ベースラインシステムの文字分けは子音の依存性に影響を与える。（２）これは子音の上に置かれるトーンマーカを用いるが、本件のアプローチでは単一の文字として扱われる。（３）子音の後に発音される母音は非連続で、子音の前、後、上、又は下に生じ得るため、トレーニングコーパスの単語語形変化の数が増え、学習済ＭＥ分類器の正確さが減じられる。
【００６６】
日本語は複数の文字種（漢字、ひらがな、カタカナ）を用いて書かれるので、所与のトークンに文字種に関する付加的特徴量を加えればＭＥ分類器の性能改良の一助となるかもしれない。
【００６７】
最後に、伝統的中国語文字種を用いたテキストをセグメント化するのに言語学的ツールが利用できなかった台湾語については、言語学的に導かれたセグメント化ツールが利用できないいかなる言語の翻訳についても、この実施例の方法がうまく適用できることを示した。
【００６８】
セクション（２）繰返しブートストラップの効果
この実施例の方法の頑健性を見るため、繰返しブートストラップ法の間に各ソース言語のシステム性能に現れた変化を図７及び図８に示す。図７のＢＬＥＵの結果、及び図８のＭＥＴＥＯＲの結果は、全ての言語で第１回目の繰返しで最良の性能に達し、その後は繰返しの数が増すたびにわずかながら、しかし一貫して悪化することを示している。この理由は、より長いターゲット言語句と対応付けされ、その結果より長い翻訳単位のセグメント化につながるソーストークンの連結によって引起されるオーバーフィッティングの効果である。
【００６９】
語彙サイズと単語長の変化を図９及び図１０にまとめた。図９及び図１０を参照して、本件の方法で抽出された単語の量はベースラインシステムのものよりかなり多く、標準中国語及び台湾語では１０倍、日本語及び韓国語では３０倍、タイ語では１００倍に語彙サイズが増大した。さらに、調査した全ての言語について、言語学的ルールで得られた語彙よりも１．５から２．５倍、サイズが大きかった。平均語彙長さも、繰返しごとに増加し、１０回の繰返し後に学習された翻訳単位の長さは、最初の繰返しの平均単語長さの約２倍であった。
【００７０】
この実施例に従った方法のオーバーフィッティングの問題は、語彙外の（ｏｕｔ−ｏｆ−ｖｏｃａｂｕｌａｒｙ：ＯＯＶ）単語の増加、すなわち遭遇していないデータセットに含まれるソース言語単語であってそれぞれのＳＭＴでは翻訳できないものの増加、という形で示される。図１１に与えられる結果は、最初の３回の繰返しについてＯＯＶ単語の大きな増加を示しており、この結果、図７及び図８にリストされるように、翻訳品質が下がっている。
【００７１】
図５及び図６は日本語−英語翻訳作業に種々のセグメント化スキームを用いた、いくつかの翻訳例を示す。図において、「ＲＥＦ」は人手によるセグメント化と対応の翻訳を示す。最良の翻訳を達成した繰返しには「＊」の印を付す。図５に示す最初の例では、この実施例の方法による「もう真夜中」（ａｌｒｅａｄｙ  ｍｉｄｎｉｇｈｔ）という連結がＯＯＶ単語となり、このため、部分的な翻訳しか達成できない。図６の上部に示す第２の例では、文の構造を正確に扱う第１回目の繰返しでの単語セグメント化を用いて最良の翻訳がなされており、一方この情報はベースラインシステム出力では省略されている。しかし、最初の文をさらに連結すると、同じＯＯＶの問題が引起される。図６の下部分に示される第３の例では、より長いトークンが翻訳の複雑さを減じ、従ってより多くの多義性を引起す他のセグメント化に比べ、よりよい翻訳が可能であることを示す。
【００７２】
図１２を参照して、コンピュータシステム３２０はコンピュータ３４０と、全てコンピュータ３４０に接続された、モニタ３４２と、キーボード３４６と、マウス３４８とを含む。さらに、コンピュータ３４０はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ：ディジタル多用途ディスク）ドライブ３５０と、半導体メモリポート３５２と、を含む。
【００７３】
図１３を参照して、コンピュータ３４０はさらに、ＤＶＤドライブ３５０及び半導体メモリポート３５２に接続されたバス３６６と、上述の装置を実現するコンピュータプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３５６と、コンピュータ３４０のブートアッププログラムを記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３５８と、ＣＰＵ３５６によって用いられる作業領域及びＣＰＵ３５６によって実行されるプログラムの記憶領域を提供するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３６０と、バイリンガルコーパス３０（図１を参照）及び他のデータを記憶するハードディスクドライブ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ：ＨＤＤ）３６４と、を含む。
【００７４】
コンピュータ３４０が翻訳トレーニング装置として用いられる場合、ＨＤＤ３６４はＳＭＴモジュールのためのプログラムをさらに記憶し、バイリンガルコーパスとテストセットとを記憶する。
【００７５】
コンピュータ３４０はさらにバス３６６に接続されコンピュータ３４０をネットワーク３８２に接続するネットワークインターフェース（Ｉ／Ｆ）３８０を含む。
【００７６】
上述の実施例のシステムを実現するソフトウェアはＤＶＤ３６８又は半導体メモリ３７０等の記録媒体に記録されたオブジェクトコードの形で配布されてもよく、ＤＶＤドライブ３５０又は半導体メモリポート３５２等の読出装置によってコンピュータ３４０に提供され、ＨＤＤ３６４に記憶されてもよい。ＣＰＵ３５６がプログラムを実行する際には、プログラムはＨＤＤ３６４から読出され、ＲＡＭ３６０に記憶される。ＣＰＵ３５６内の図示しないプログラムカウンタから指定されるアドレスからＣＰＵ３５６に命令がフェッチされ実行される。ＣＰＵ３５６はＣＰＵ３５６、ＲＡＭ３６０又はＨＤＤ３６４内のレジスタから処理すべきデータを読出し、処理の結果をまたＣＰＵ３５６、ＲＡＭ３６０又はＨＤＤ３６４内のレジスタに記憶する。
【００７７】
コンピュータシステム３２０の一般的な動作は公知であるので、その詳細はここでは説明しない。
【００７８】
ソフトウェア配布の方法については、必ずしも記憶媒体に固定されていなくてもよい。例えば、ソフトウェアは別のコンピュータからコンピュータ３４０にネットワーク３８２を介して送信されてもよい。ソフトウェアの一部をＨＤＤ３６４に記憶し、ソフトウェアの残りの部分をネットワークからＨＤＤ３６４に取込んで、実行の際に統合してもよい。
【００７９】
典型的には、現代のコンピュータはコンピュータのオペレーティングシステム（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ：ＯＳ）によって提供される機能を利用し、これらの機能を所望の目的に従って制御されたやり方で実行する。従って、これら機能を含まず、ＯＳによって、又は第三者によって提供され、一般的機能の実行の順序の組合せのみを指定するのみのプログラムもまた、そのプログラムが全体として所望の目的を達成する制御構造を有するのであれば、この発明の範囲に含まれる。
【００８０】
上述の実施例では、繰返しは評価結果が先行する繰返しの評価結果よりも悪いステップ１４８（図３を参照）で止まる。しかし、この発明はそのような実施例に限定されない。例えば、繰返しは、評価が先行する評価結果より高くないときに停止されてもよいし、一回の繰返しの評価結果に代えて、予め定められた繰返しの評価結果の移動平均を利用してもよい。
【００８１】
さらに、バイリンガルコーパスのソース言語文の文字にタグ付けするためのＭＥ分類器は、ＭＥでなく、統計的モデルを用いてもよい。ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）又は判断ツリーをＭＥに代えて用いてもよい。
【００８２】
（結論）
この実施例は、現在のＳＭＴシステムの性能を改良するために、意味のある単語単位を分離するのに空白文字を用いない文を、教師なしでセグメント化する、新たな言語に依存しない方法を提案する。提案の方法はソース言語について何ら言語学的情報必要とせず、これはしばしば形態素的分析ツールが利用できない比較的マイナーな言語の翻訳のためのＳＭＴシステムを構築するのに重要である。加えて、開発費用は、バイリンガルコーパスの生成についてのみで、言語学的単語セグメント化ツールの開発、またはデータセットを人手でセグメント化するために人に支払う費用にくらべはるかに少ない。
【００８３】
提案の方法の効果を、旅行会話の分野について５つのアジア系言語（日本語、韓国語、タイ語及び中国語（標準中国語、台湾語））を英語に翻訳して調査した。翻訳結果の自動評価は、文字分けされた入力文を翻訳するベースラインシステムと比較してＢＬＥＵで最大２．０ポイント、ＭＥＴＥＯＲで最大３．０ポイントの一貫した改良を示した。加えて、提案の方法は、何ら外部の情報なく、ＭＥベースのセグメント化モデルをトレーニングするのに所与のバイリンガルコーパスを用いたのみで、言語学的に導かれたツールでセグメント化されたバイリンガルコーパスでトレーニングされたＳＭＴモデルと同様の翻訳結果を達成した。
【００８４】
最初の単語セグメント化の生成の間にソース言語の文字種に特有の特徴を取扱うこと、さらにＭＥベースのタグ付けモデルのさらなる特徴量を特定することで、システムの性能をさらに改良できるであろう。さらに、繰返しブートストラップ法で学習される単語セグメント化スキームは互いに大きく異なる。従って、ＳＭＴデコード処理に異なるスキームを組み合わせることで、長い翻訳単位を用いる単語セグメント化スキームのオーバーフィッティングの問題を克服しシステムの性能を上げる大きな可能性がある。
【符号の説明】
【００８５】
３０  バイリンガルコーパス
３２  ターゲット言語文
３４  ソース言語文
３６  ユニグラム分離器
４０、５０、６０、８０、９０  ＳＭＴ
４２、５２、６３、８２、９２  評価結果
４４、５４、８４  トークン−単語対応付け結果
４６、５６、７６、８６  ＭＥ分類器
４８、５８、７８、８０  セグメント化されたソース言語文
【図１】
0005565827.tif 000006
【図２】
0005565827.tif 000007
【図３】
0005565827.tif 000008
【図４】
0005565827.tif 000009
【図５】
0005565827.tif 000010
【図６】
0005565827.tif 000011
【図７】
0005565827.tif 000012
【図８】
0005565827.tif 000013
【図９】
0005565827.tif 000014
【図１０】
0005565827.tif 000015
【図１１】
0005565827.tif 000016
【図１２】
0005565827.tif 000017
【図１３】
0005565827.tif 000018