(57)【特許請求の範囲】
【請求項１】
第１の言語と第２の言語との対訳文対の単語アライメントのスコアを算出する単語アライメントスコア算出装置であって、
前記対訳文対と、当該対訳文対に対する単語アライメントとを受けて、所定の順序にしたがって、前記対訳文対の前記第１の言語の文の単語を順番に選択する選択手段と、
前記選択手段により選択された単語と、前記単語アライメントにより当該単語と対応付けられた前記第２の言語の単語とからなる単語対が正しい単語対である可能性を示すスコアを前記対訳文対の前記第１の言語の文の全ての単語について算出し、当該スコアに基づいて、前記単語アライメントのスコアを算出するスコア算出手段とを含み、
前記スコア算出手段は、ある単語対のスコアを算出するにあたって、前記単語アライメントのうち、当該ある単語対を構成する前記第１の言語の単語より前に前記選択手段により選択された単語のアライメントの全てに基づいて当該ある単語対のスコアを算出する、単語アライメントスコア算出装置。
【請求項２】
前記選択手段は、前記対訳文対の内、前記第１の言語の文の単語を前記第１の言語の文の先頭から順番に選択する手段を含む、請求項１に記載の単語アライメントスコア算出装置。
【請求項３】
前記スコア算出手段は、
前記選択手段により選択された単語と、前記対訳文対の前記第２の言語の文のうちで前記単語アライメントにより当該単語と対応付けられた単語とからなる単語対が正しい単語対である可能性を示すスコアを算出する第１の算出手段と、
前記対訳文対の前記第１の言語の文の全ての単語について前記第１のスコア算出手段により算出されたスコアに基づいて、前記単語アライメントのスコアを算出する第２の算出手段とを含む、請求項１又は請求項２に記載の単語アライメントスコア算出装置。
【請求項４】
前記第２の算出手段は、前記対訳文対の前記第１の言語の文の全ての単語について前記第１の算出手段により算出されたスコアを互いに乗算することにより、前記単語アライメントのスコアを算出する手段を含む、請求項３に記載の単語アライメントスコア算出装置。
【請求項５】
前記スコア算出手段は、前記選択手段により選択された単語を受ける第１の入力と、前記単語アライメントにより当該単語に対応付けられた前記第２の言語の単語を受ける第２の入力とを持つリカレント型のニューラルネットワークと、
前記選択手段により選択された単語と、前記単語アライメントにより当該単語に対応付けられた単語とを、前記第１の入力及び前記第２の入力にそれぞれ与える入力制御手段とを含み、
前記リカレント型のニューラルネットワークは、
前記第１の入力及び前記第２の入力を持ち、前記第１の入力及び前記第２の入力にそれぞれ与えられた単語からword embeddingベクトルを算出し出力する入力層と、
前記入力層の出力を受け、予め定められた非線形演算により、前記入力層からの２つの出力の関係を表すベクトルを生成する隠れ層と、
前記隠れ層の出力に基づいて前記スコアを算出し出力する出力層とを含み、
前記隠れ層の出力は、前記単語アライメントスコア算出装置に次の単語対が入力として与えられたときに、前記隠れ層に入力として与えられる、請求項１〜請求項４のいずれかに記載の単語アライメントスコア算出装置。
【請求項６】
第１の言語と第２の言語との対訳文対の単語アライメントを推定する単語アライメント装置であって、
請求項１〜請求項５のいずれかに記載の単語アライメントスコア算出装置と、
前記対訳文対に対して複数個の単語アライメント候補を生成する単語アライメント候補生成手段と、
前記単語アライメント候補生成手段により生成された前記複数個の単語アライメント候補の各々について、前記単語アライメントスコア算出装置を用いて前記対訳文対に対する単語アライメントスコアを算出する算出手段と、
前記算出手段により前記複数個の単語アライメント候補に対して算出された単語アライメントスコアのうち、最も高いスコアに対応する単語アライメント候補を、前記対訳文対の単語アライメントとして決定し出力する単語アライメント決定手段とを含む、単語アライメント装置。
【請求項７】
コンピュータにより実行されると、当該コンピュータを、請求項１〜請求項６のいずれかに記載の各手段として機能させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対訳文対内で各単語の対応関係（単語アライメント）を解析する単語アライメント装置及びそのための単語アライメントスコア算出装置に関する。
【背景技術】
【０００２】
単語アライメントは、統計的機械翻訳（Statistical Machine Translation：ＳＭＴ）に欠かせない重要な処理の一つである。図１に単語アライメントの例を示す。
【０００３】
図１を参照して、日本語文と英語との対訳文対２０を考える。対訳文対２０の各文は予め単語ごとに区切られている。対訳文対２０は、日本語文３０（「私｜が｜利用｜料金｜を｜払う」（「｜」は単語の区切りを示す。））と、英語文３２（「I  pay  usage  fees.」）とを含む。単語アライメントは、例えば日本語文３０を構成する各単語が英語文３２中のどの単語（又は単語群）に翻訳されるか、すなわち日本語文３０を構成する各単語が英語文３２中のどの単語（又は単語群）に対応するかを推定する処理である。図１には日本語から英語への単語アライメントを示したが、英語から日本語への単語アライメントも同様に行なわれる。
【０００４】
ＳＭＴでは、このような単語アライメントが非常に重要な役割を果たす。ＳＭＴでは、上記したような対訳を多数含む対訳コーパスを準備する。各対訳について単語アライメントを行なう。この単語アライメントに基づいて、統計的な処理により翻訳モデルが作成される。この過程を翻訳モデルの学習と呼ぶ。翻訳モデルは、端的に言えば、一方の言語のある単語が他方の言語のどの単語に翻訳されるかを確率の形で示すものである。ＳＭＴでは、原言語の文が与えられたときに、翻訳先の言語（目的言語）の文の候補を多数準備し、その原言語の文が目的言語の各文の候補から生成された確率を求め、目的言語の文のうちでその確率が最も高い文を原言語の文に対する翻訳文と推定する。この過程で、上記した翻訳モデルが使用される。
【０００５】
明らかに、ＳＭＴの性能を改善するためには翻訳モデルの精度を高める必要がある。そのためには翻訳モデルの学習に使用される対訳コーパスの単語アライメントの精度を高めなければならない。したがって、ＳＭＴの性能を改善するために、対訳に対して単語アライメントを行なう単語アライメント装置の性能向上が求められている。
【０００６】
広く使われている単語アライメントの方法として、ＩＢＭモデル（後掲の非特許文献１を参照）、及びＨＭＭモデル（非特許文献２を参照）がある。これらは、単語アライメントが、ある確率分布により生成されることを想定し、実際に観測された単語アライメントからその確率分布を推定（学習）するモデル（生成モデル）である。原言語の文をｆ1J＝ｆ1,...,ｆJ、目的言語の文をｅ1I＝ｅ1,...,ｅIとすると、原言語の文ｆ1Jは単語アライメントａ1Jにしたがって目的言語の文ｅ1Iから生成され、その生成確率は以下の式（１）で計算する。式（１）中の各ａjは、原言語の単語ｆjが目的言語の単語ｅa_jに対応付けられることを示す隠れ変数である。なお、以下のテキストでは、ある下付き文字にさらに下付き文字が付いていることをアンダースコア「＿」で示し、下付き文字の範囲をアンダースコアの後ろの「｛  ｝」で示す。すなわち、「ea_{j}」という表現は、「e」に添えられた下付き文字が通常の表現では「aj」であることを示し、「ea_{j}-1」という表現はeの下付き文字がaj−１であることを示し、「ea_{j-1}」という表現はeの下付き文字がaj-1であることを示す。
【０００７】
【数１】
0005850512.tif 000002
【０００８】
【数２】
0005850512.tif 000003
式（２）においてｐaはアライメント確率、ｐtは語彙翻訳確率である。
【０００９】
これらのモデルは、対訳文対（ｆ1J，ｅ1I）に対し、以下の式（３）を満たす最適なアライメント＾ａ（記号「＾」は、本来は直後の文字の直上に記載されるべきものである。）をforward-backwardアルゴリズムを使う等して特定する。最適なアライメント＾ａはビタビアライメントと呼ばれる。
【００１０】
【数３】
0005850512.tif 000004
【００１１】
非特許文献３は、フィード・フォワード型ニューラル・ネットワーク（feed  forward  neural  networks  （ＦＦＮＮ））の一種であるContext-Dependent  Deep  Neural  Network  for  HMMを非特許文献２のＨＭＭモデルに適用し、アライメント確率に対応するアライメントスコア、語彙選択確率に対応する語彙スコアをＦＦＮＮで計算するアライメント手法を提案した。すなわち、対訳文対（ｆ1J，ｅ1I）に対するアライメントａ1JのスコアｓNN（ａ1J｜ｆ1J，ｅ1I）は以下の式（４）により表される。
【００１２】
【数４】
0005850512.tif 000005
【００１３】
非特許文献３の手法では、全単語における正規化の計算量が膨大となるために、確率のかわりにスコアを用いている。ここで、ｔa及びｔtはそれぞれ、式（２）のｐa及びｐtに対応する。ｓNNはアライメントａ1Jのスコアであり、ｃ（ｗ）は、単語ｗの文脈を表す。ビタビアライメントは、このモデルでもＨＭＭモデルと同様、forward-backwardアルゴリズムにより決定する。
【００１４】
式（４）における語彙翻訳スコアｔt（ｆj，ｅa_{j}｜ｃ（ｆj），ｃ（ｅa_{j}-1））を計算するためのニューラル・ネットワークのネットワーク構造（語彙翻訳モデル）を図３に示す。図３に示すニューラル・ネットワーク６０は、原言語の単語ｆj-1、ｆj、及びｆj+1、並びに目的言語の単語ｅa_{j}-1、ｅa_{j}、及びｅa_{j}+1を受け、これらをベクトルｚ0に変換する入力層（Lookup層）７０と、ベクトルｚ0を受けて式（５）による出力ベクトルｚ1を出力する隠れ層７２と、ベクトルｚ1を受けて式（６）により語彙翻訳スコア７６を計算し出力する出力層７４とを含む。各層はそれぞれ、重み行列Ｌ、｛Ｈ，ＢH｝、及び｛Ｏ，ＢO｝を持つ。ここでは隠れ層が１層の場合を説明するが、複数個の隠れ層を用いてもよい。
【００１５】
重み行列Ｌはembedding行列であり、各単語のword  embeddingを管理する。word  embeddingとは、単語を特徴付ける低次元の実ベクトルであり、単語の統語的、意味的特性を表す。原言語の単語集合をＶf、目的言語の単語集合をＶe、word  embeddingの長さをＭとすると、重み行列ＬはＭ×（｜Ｖf｜＋｜Ｖe｜）行列である。ただし、ＶfとＶeには、それぞれ、未知語を表す〈unk〉と単語「null」を表す〈null〉を追加する。
【００１６】
この語彙翻訳モデルは、入力として、計算対象である原言語の単語ｆjと目的言語の単語ｅa_{j}とともにそれらの文脈単語を受付ける。文脈単語とは、予め定めたサイズの窓内に存在する単語である。ここでは、図３に示すように窓幅が３の場合を想定している。入力層７０は、原言語の入力部８０と、目的言語の入力部８２とを含む。原言語の入力部８０は、計算対象である原言語の単語ｆjとともに、その前後の２つの単語ｆj-1及びｆj+1を受付け、embedding行列（Ｌ）から対応する列を見つけ、word  embeddingベクトルのうち、原言語部分を出力する。目的言語の入力部８２は、計算対象である目的言語の単語ｅa_{j}とともに、その前後の２つの単語ｅa_{j}-1及びｅa_{j}+1を受付け、embedding行列（Ｌ）から対応する列を見つけ、word  embeddingベクトルのうち、目的言語の部分を出力する。原言語の入力部８０の出力及び目的言語の入力部８２の出力は連結されて実ベクトルｚ0を形成し隠れ層７２の入力に与えられる。次に隠れ層７２が実ベクトルｚ0の非線形な特徴を捉えてベクトルｚ1を出力する。最後に、出力層７４が隠れ層７２の出力するベクトルｚ1を受け取り、以下の式で表される語彙翻訳スコア７６を計算して出力する。
【００１７】
【数５】
0005850512.tif 000006
【００１８】
隠れ層７２及び出力層７４が行なう具体的な計算は以下の通りである。
【００１９】
【数６】
0005850512.tif 000007
ここで、Ｈ，ＢH，Ｏ，ＢOはそれぞれ、｜ｚ1｜×｜ｚ0｜、｜ｚ1｜×１、１×｜ｚ1｜、１×１行列である。f(x)は非線形活性化関数であり、ここではhtanh(x)を用いている。htanh(x)は次のような関数である。
【００２０】
【数７】
0005850512.tif 000008
【００２１】
アライメントスコアｔa（ａj―ａj-1｜ｃ（ｅa_{j}-1））を計算するアライメントモデルもこれと同様に構成できる。
【００２２】
各モデルの学習では、次式（７）のランキング損失を最小化するように、各層の重み行列を確率的勾配降下法（Stochastic  Gradient  Descent:ＳＧＤ）により学習する。各重みの勾配はバックプロパゲーションで計算する。
【００２３】
【数８】
0005850512.tif 000009
ここで、θは最適化するパラメータ（重み行列の重み）、Ｔは学習データ、ｓθはパラメータθのモデルによるａ1Jのスコア（式（４）参照）、ａ+は正解アライメント、ａ-はパラメータθのモデルでスコアが最高の不正解アライメントを示す。
【先行技術文献】
【非特許文献】
【００２４】
【非特許文献１】Peter  F.  Brown,  Stephen  A.  Della  Pietra,  Vincent  J.  Della  Pietra,  and  Robert  L.  Mercer.  1993.  The  Mathematics  of  Statistical  Machine  Translation:  Parameter  Estimation.  Computational  Linguistics,  19(2):263-311.
【非特許文献２】Stephan  Vogel,  Hermann  Ney,  and  Christoph  Tillmann.  1996.  Hmm-based  Word  Alignment  in  Statistical  Translation.  In  Proceedings  of  the  16th  International  Conference  on  Computational  Linguistics,  pages  836-841.
【非特許文献３】Nan  Yang,  Shujie  Liu,  Mu  Li,  Ming  Zhou,  and  Nenghai  Yu.  2013.  Word  Alignment  Modeling  with  Context  Dependent  Deep  Neural  Network.  In  Proceedings  of  the  51st  Annual  Meeting  of  the  Association  for  Computational  Linguistics  (Volume  1:  Long  Papers),  pages  166-175.
【発明の概要】
【発明が解決しようとする課題】
【００２５】
式（２）及び式（４）のいずれにおいても、各単語のアライメントａjは直前のアライメントａj-1に依存している。図２に示すように、日本語文３０の先頭の単語「私」のアライメント４０を行なった後、次の単語「が」のアライメント４２を行なう際には、アライメント４０の結果が参照される。すなわち、最適なアライメント＾ａを求める際、各単語のアライメントは、直前のアライメント関係に基づいて（手がかりとして）決定される。
【００２６】
しかし、直前のアライメント関係のみでアライメントの手がかりとして十分かどうかは定かではない。単語アライメントの精度を高めるためには他の手法も考え、より精度の高い方法があればそれを特定する必要がある。
【００２７】
したがって本発明の１つの目的は、従来の手法より精度が高い単語アライメントが行なえる単語アライメント装置及びそのための単語アライメントスコア算出装置、ならびにそれらのためのコンピュータプログラムを提供することである。
【課題を解決するための手段】
【００２８】
本発明の第１の局面に係る単語アライメントスコア算出装置は、第１の言語と第２の言語との対訳文対の単語アライメントのスコアを算出する。この装置は、対訳文対と、当該対訳文対に対する単語アライメントとを受けて、所定の順序にしたがって、対訳文対の第１の言語の文の単語を順番に選択する選択手段と、選択手段により選択された単語と、単語アライメントにより当該単語と対応付けられた第２の言語の単語とからなる単語対が正しい単語対である可能性を示すスコアを対訳文対の第１の言語の文の全ての単語について算出し、当該スコアに基づいて、単語アライメントのスコアを算出するスコア算出手段とを含む。スコア算出手段は、ある単語対のスコアを算出するにあたって、当該ある単語対を構成する第１の言語の単語より前に選択手段により選択された単語のアライメントの全てに基づいて当該ある単語対のスコアを算出する。
【００２９】
好ましくは、選択手段は、対訳文対の内、第１の言語の文の単語を第１の言語の文の先頭から順番に選択する手段を含む。
【００３０】
より好ましくは、スコア算出手段は、選択手段により選択された単語と、対訳文対の第２の言語の文のうちで単語アライメントにより当該単語と対応付けられた単語とからなる単語対が正しい単語対である可能性を示すスコアを算出する第１の算出手段と、対訳文対の第１の言語の文の全ての単語について第１のスコア算出手段により算出されたスコアに基づいて、単語アライメントのスコアを算出する第２の算出手段とを含む。
【００３１】
さらに好ましくは、第２の算出手段は、対訳文対の第１の言語の文の全ての単語について第１の算出手段により算出されたスコアを互いに乗算することにより、単語アライメントのスコアを算出する手段を含む。
【００３２】
スコア算出手段は、選択手段により選択された単語を受ける第１の入力と、単語アライメントにより当該単語に対応付けられた第２の言語の単語を受ける第２の入力とを持つリカレント型のニューラル・ネットワークと、選択手段により選択された単語と、単語アライメントにより当該単語に対応付けられた単語とを、第１の入力及び第２の入力にそれぞれ与える入力制御手段とを含んでもよい。リカレント型のニューラル・ネットワークは、第１の入力及び第２の入力を持ち、第１の入力及び第２の入力にそれぞれ与えられた単語からword  embeddingベクトルを算出し出力する入力層と、入力層の出力を受け、予め定められた非線形演算により、入力層からの２つの出力の関係を表すベクトルを生成する隠れ層と、隠れ層の出力に基づいてスコアを算出し出力する出力層とを含む。隠れ層の出力は、単語アライメントスコア算出装置に次の単語対が入力として与えられたときに、隠れ層に入力として与えられる。
【００３３】
本発明の第２の局面に係る単語アライメント装置は、第１の言語と第２の言語との対訳文対の単語アライメントを推定する単語アライメント装置である。この装置は、上記したいずれかの単語アライメントスコア算出装置と、対訳文対に対して複数個の単語アライメント候補を生成する単語アライメント候補生成手段と、単語アライメント候補生成手段により生成された複数個の単語アライメント候補の各々について、単語アライメントスコア算出装置を用いて対訳文対に対する単語アライメントスコアを算出する算出手段と、算出手段により複数個の単語アライメント候補に対して算出された単語アライメントスコアのうち、最も高いスコアに対応する単語アライメント候補を、対訳文対の単語アライメントとして決定し出力する単語アライメント決定手段とを含む。
【００３４】
本発明の第３の局面に係るコンピュータプログラムは、コンピュータにより実行されると、当該コンピュータを、上記したいずれかの装置の各手段として機能させる。
【図面の簡単な説明】
【００３５】
【図１】単語アライメントを説明する模式図である。
【図２】従来の単語アライメントの方法を説明する模式図である。
【図３】非特許文献３による語彙翻訳モデルを実現するニューラル・ネットワークの構成を模式的に示す図である。
【図４】本発明の１実施の形態におけるＲＮＮによる単語アライメントモデルの構成を示す模式図である。
【図５】対訳コーパスを用いて図４に示す単語アライメントモデルのための学習を行なうためのコンピュータプログラムの制御構造を示すフローチャートである。
【図６】図４に示す単語アライメントモデルを用いてコーパス中の対訳の単語アライメントを行なうコンピュータプログラムの制御構造を示すフローチャートである。
【図７】対訳コーパスを用いて図４に示す単語アライメントモデルの片方向の学習を行なうためのコンピュータプログラムの制御構造を示すフローチャートである。
【図８】実験に用いたデータセットのサイズを示す表形式の図である。
【図９】本発明の１実施の形態による単語アライメント性能を表形式で示す図である。
【図１０】本発明の１実施の形態による単語アライメント結果を用いて学習した統計的機械翻訳装置の翻訳性能を表形式で示す図である。
【図１１】単語アライメントの例を示す図である。
【図１２】単語アライメントの他の例を示す図である。
【図１３】様々なサイズの学習データにより学習した際のＢＴＥＣコーパスに対する単語アライメント性能を表形式で示す図である。
【図１４】本発明の１実施の形態に係る単語アライメント装置を実現するコンピュータの外観を示す図である。
【図１５】図１４に示すコンピュータの内部構成を示すブロック図である。
【発明を実施するための形態】
【００３６】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【００３７】
［基本的考え方］
本実施の形態では、最適なアライメント＾ａを求める際、各単語のアライメントは、文頭から直前までの全てのアライメント関係に基づいて決定する。例えば、アライメント系列ａ1J＝ａ1,…,ａJのスコアを次の式（８）のように以前のアライメント関係全てに依存したスコアにより求める。スコアは確率でもよい。
【００３８】
【数９】
0005850512.tif 000010
【００３９】
［第１の実施の形態］
このために本実施の形態では、ＲＮＮ（Recurrent Neural Network）によるアライメントモデルを採用する。このモデルは、ＲＮＮを用いてアライメントａ1JのスコアｓNNを式（８）を用いて計算する。式（８）によれば、第ｊ番目のアライメントａjの予測は、それに先立つ全てのアライメントａ1j-1に依存する。この例では、従来のＦＦＮＮ型のものと同様、確率ではなくスコアを用いている点に注意する必要がある。
【００４０】
図４に、このＲＮＮによるモデル１００の構成を示す。図４を参照して、このモデル１００は、入力層（Lookup層）１１０と、隠れ層１１２と、出力層１１４とを含む。これらはそれぞれ、重み行列Ｌ，｛Ｈd，Ｒd，ＢdH｝、及び｛Ｏ，Ｂo｝を持つ。隠れ層１１２の行列（Ｈd，Ｒd，ＢdH）はアライメントに依存する。ここでｄはアライメントａj-1からアライメントａjまでのジャンプ距離を示す：ｄ＝ａj−ａj-1。なお、後述する実験では、ジャンプ距離が８以上のもの及び−８以下のものはそれぞれ一まとめで「≧８」距離及び「≦−８」距離とした。つまり、隠れ層１１２は重み行列｛Ｈ≦-8,Ｈ-7,…,Ｈ7,Ｈ8≦,Ｒ≦-8,Ｒ-7,…,Ｒ7,Ｒ8≦,ＢＨ≦-8,ＢＨ-7,…,ＢＨ7,ＢＨ8≦を持つ。
【００４１】
図４を参照して、入力層１１０は、原言語の入力部１３０と、目的言語の入力部１３２とを含む。原言語の入力部１３０は、計算対象である原言語の単語ｆjを受付け、embedding行列（Ｌ）から対応する列を見つけ、word  embeddingベクトルのうち、原言語部分を出力する。目的言語の入力部１３２は、計算対象である目的言語の単語ｅa_{j}を受付け、embedding行列（Ｌ）から対応する列を見つけ、word  embeddingベクトルのうち、目的言語の部分を出力する。原言語の入力部１３０の出力及び目的言語の入力部１３２の出力は連結されて実ベクトルｘjを形成し隠れ層１１２の入力に与えられる。隠れ層１１２の前回の出力は一時記憶されており、循環接続１１８により隠れ層１１２の入力に前回の出力ベクトルｙj-1として与えられる。次に隠れ層１１２が実ベクトルｘj及び出力ベクトルｙj-1の非線形な特徴を捉えてベクトルｙjを出力する。このベクトルは一時記憶され、原言語の次の単語ｆj+1の処理時に循環接続１１８を介して隠れ層１１２の入力に与えられる。なお、ｊ＝０のときにはベクトルｙj-1は全て０に初期化されている。隠れ層１１２における計算では、特定のジャンプ距離ｄに依存した重み行列{Ｈd,Ｒd,ＢdH}が使われていることに注意が必要である。最後に、出力層１１４が隠れ層１１２の出力するベクトルｙjを受け取り、次式で表されるスコア１０２、つまり
【００４２】
【数１０】
0005850512.tif 000011
を計算して出力する。
【００４３】
隠れ層１１２の出力するベクトルｙjを受けた出力層１１４は、ベクトルｙjに応答してアライメントａjのスコア１０２（ｔRNN）を式（１０）により算出し出力する。従来のＦＦＮＮモデル（図３）は語彙翻訳スコアとアライメントスコアとの２つの要素からなっていたが、この実施の形態のＲＮＮによるモデルは、単に１つのスコア１０２しか出力しない点に注意が必要である。
【００４４】
このモデルの隠れ層１１２及び出力層１１４における計算は以下の式により行なわれる。
【００４５】
【数１１】
0005850512.tif 000012
ただしＨd，Ｒd，ＢdH，Ｏ，及びＢOはそれぞれ、｜ｙj|×｜ｘj｜，｜ｙj|×｜ｙj-1｜，｜ｙj|×１，１×｜ｙj|、及び１×１行列である。ここでは｜ｙj|＝｜ｙj-1｜であることに注意。f(x)は非線形活性化関数であり、この実施の形態ではhtanh(x)である。
【００４６】
この実施の形態でビタビアライメントはforward-backwardアルゴリズムにより決定するが、厳密にはダイナミック・プログラミングによるforward-backwardアルゴリズムは使用できない。ｙjに対するアライメントの履歴が長いためである。したがってここでは、ヒューリスティックなビームサーチによりビタビアライメントを近似的に算出する。具体的には、forwardアルゴリズムの際、各ｆjに対して、予め指定するビーム幅分の状態のみを保持し、それ以外は切り捨てる。
【００４７】
このように、ＲＮＮによるモデルは、循環接続された隠れ層を持つ。この循環接続により、これまでのアライメントの履歴を隠れ層１１２によってコンパクトにエンコードして伝播できる。そのため、その隠れ層１１２の設定にしたがってスコアを求めることにより、以前のアライメント関係全体を考慮したスコアを計算できる。
【００４８】
〈学習〉
学習では、各層の重み行列の最適化を、バッチサイズＤのミニバッチＳＧＤにより行なった。この手法は、単純なＳＧＤ（Ｄ＝１）よりも収束が速く安定している。勾配は、通時的逆伝播（Back propagation through time：ＢＰＴＴ）アルゴリズムにより計算した。ＢＰＴＴでは、ネットワークを時間（ｊ）方向に展開し、時間ステップごとに勾配を計算する。さらに目的関数にl2正規化項を加えることによりモデルの過学習を防止する。
【００４９】
ＲＮＮによるモデルは、ＦＦＮＮによるモデルと同様に教師付き学習による学習ができる。この場合、学習は式（７）により定義されるランキング損失に基づいて行なわれる。また、この学習方法以外に、アライメントの両方向の整合性をとる制約を組込んだり、教師なし学習をしたりすることで、更なる性能改善ができる。教師付き学習では、教師データ（理想的なアライメント）が必要となる。こうした問題を解決するため、本実施の形態では、ラベルなしの学習データから学習を行なえる、ＮＣＥ（Noise-Contrastive  Estimation）を用いた教師なし学習を用いる。
【００５０】
〈教師なし学習〉
Ｄｙｅｒらは、contrastive  estimation（ＣＥ）に基づく教師なし学習によるアライメントモデルを提案している（Chris  Dyer,  Jonathan  Clark,  Alon  Lavie,  and  Noah  A.  Smith.  2011.  Unsupervised  Word  Alignment  with  Arbitrary  Features.  In  Proceedings  of  the  49th  Annual  Meeting  of  the  Association  for  Computational  Linguistics:  Human  Language  Technologies    Volume  1,  pages  409-419.）。ＣＥは、観測されたデータに対し、その周辺のデータを擬似的なネガティブサンプルとみなし、観測データとその周辺データを識別するモデルを学習する。Ｄｙｅｒらは、学習データＴとして与えられた対訳文について考えられる限りで可能な単語アライメントを観測データ、翻訳の全探索空間Ωをその周辺データとみなした。
【００５１】
本実施の形態ではこのアイディアをマージン付きランキング損失に導入した。
【００５２】
【数１２】
0005850512.tif 000013
ここでΦは（ｆ，ｅ）が与えられたときに可能な全てのアライメントの集合を指し、ＥΦ［ｓθ］はΦ上でのスコアｓθの期待値を表し、ｅ+は学習データ中の目的言語の文を表し、ｅ-は擬似的な目的言語の文を表す。期待値の第１項は観測データに対するものであり、第２項は周辺データに関するものである。
【００５３】
全探索空間Ωに対する計算量は膨大となる。計算量を削減するためにＮＣＥを採用した。ＮＣＥは、全探索空間Ω中からランダムに選んだサンプル文をｅ-とする。また、ビーム幅Ｗのビームサーチにより期待値を算出し、スコアの低いアライメントを捨てることで計算量をさらに削減する。そして、上記式（１１）をオンライン処理に適した形式に変形する。
【００５４】
【数１３】
0005850512.tif 000014
ただし、ｅ+は学習データ中でｆ+の対訳となっている目的言語の文、すなわち（ｆ+，ｅ+）∈Ｔであり、ｅ-はランダムサンプリングにより生成された、長さが｜ｅ+｜である擬似的な目的言語の文であり、Ｎはｆ+に対して生成する擬似的な目的言語の文の数を表す。ＧＥＮは可能な全てのアライメントの集合Φの、ビームサーチにより生成されたサブセットを示す。
【００５５】
ｅ-を生成する単純な方法では、目的言語の単語集合Ｖeからランダムに｜ｅ+｜回目的言語の単語をサンプリングし、それらを並べることでｅ-を生成する。モデルの学習により効果的なネガティブサンプルを生成するためには、原言語の単語ｆi∈ｆ+と学習データの対訳文内で共起する目的言語の単語の内、l0  priorを組込んだＩＢＭモデル１においてしきい値Ｃより大きな確率を持つ単語（翻訳候補の単語）と判定された単語集合からサンプリングする。l0  priorを組込んだＩＢＭモデル１は、標準的なＩＢＭモデル１と比較してより疎なアライメントを生成するため、翻訳候補の数を削減する上では適している。
【００５６】
〈合意制約〉
ＦＦＮＮによるモデルもＲＮＮによるモデルもＨＭＭアライメントモデルを基礎にしており、したがって非対称である。すなわち、目的言語側から見たときに１対他のアライメントを表し得る。このような非対称モデルの学習は、２つのアライメント方向で行なわれることが通常である。しかし、このような方向性を持つモデルについて、両者が一致するような学習を行なうとアライメント性能が向上することが分かった。このような制約を合意制約と呼ぶ。以下、上記したモデルに合意制約を課して学習を行なう方法を説明する。
【００５７】
具体的には、合意制約は、双方向におけるword  embeddingを一致させるという条件を課す。この実施の形態では、双方向のモデルについて、以下に示すような、word  embeddingの相違を表現するペナルティ項を導入した目的関数にしたがって学習を行なう。
【００５８】
【数１４】
0005850512.tif 000015
ただしθFE（θEF）は原言語から目的言語（目的言語から原言語）へのアライメントモデルにおける各層の重みを表し、θLは入力層（Lookup層）、すなわちword  embeddingの重みを表し、αは合意制約の強さを制御するパラメータを示す。「||θ||」はノルムを表す。後述する実験では２−ノルムを使用した。式（１３）及び式（１４）はいずれも教師付き学習及び教師なし学習の双方に利用できる。それぞれ式（７）及び式（１２）を式（１３）、式（１４）のloss(θ）に代入すればよい。
【００５９】
図５を参照して、本実施の形態における学習を実現するプログラムは、以下のような制御構造を有する。なお、後述するようにこの実施の形態に係る単語アライメントモデル学習装置、及び単語アライメント装置は、コンピュータハードウェアと、そのコンピュータハードウェアにより実行されるコンピュータプログラムとにより実現されることが一般的でかつ現実的である。しかし、これらはいずれも専用のハードウェアにより実現してもよいし、プログラマブルロジックデバイスにより実現してもよい。
【００６０】
このプログラムは、まず、予めパラメータを記入した設定ファイルを読み、バッチサイズＤ，Ｎ，Ｃ，Ｗ，αを設定する（ステップ１５０）。次に、θ1FE、θ1EFと、最大繰返し回数を表す定数ＭａｘＩｔｅｒとの入力を受け、あわせて学習データＴとＩＢＭ１を読込む（ステップ１５２）。ここでＩＢＭ１は、原言語及び目的言語の各単語に対して、10 priorを組込んだＩＢＭモデル１によって見出された翻訳候補の単語を並べたリストである。このプログラムはさらに、上記ステップに続いて、１≦ｔ≦ＭａｘＩｔｅｒを満たす全てのｔに対して以下の処理を繰返すステップ１５４と、ステップ１５４が完了したときに得られる値θEFMaxIter+1及びθFEMAXIter+1を出力して処理を終了するステップ１５６とを含む。
【００６１】
ステップ１５４で各ｔに対して繰返される処理は、学習データＴからＤ個の対訳文対（ｆ+，ｅ+）Dをサンプリングするステップ１７０と、l0 priorを組込んだＩＢＭモデル１によって見出されたｆ+の中の各単語の翻訳候補（ＩＢＭ１）に基づいて、各ｆ+に対してＮ個の擬似的ネガティブサンプルを生成するステップ１７２と、同様の処理により、ｅ+中の各単語の翻訳候補に基づいて、各ｅ+に対してＮ個の擬似的ネガティブサンプルを生成するステップ１７４とを含む。さらに、ステップ１７６及び１７８により、前述した目的関数にしたがってニューラル・ネットワークの各層の重みが更新される。θtEF及びθtEFは各繰返しで同時に更新され、θtFEとθtEFを更新する際には、それぞれ、word  embeddingを相互に合意（一致）させるためにθt-1EFとθt-1FEの値が用いられる。
【００６２】
図６に、このＲＮＮによるモデルを用いて対訳コーパスの単語アライメントを行なうコンピュータプログラムの制御構造を示す。これにより、例えば、統計的機械翻訳装置の学習に用いる学習データ（対訳コーパス）に単語アライメントを付与できる。図６を参照して、このプログラムは、ＲＮＮによるモデルの学習済パラメータを読み、ＲＮＮを初期化するステップ１９０と、対訳コーパスを開くステップ１９２と、全ての対訳（ｆ1J，ｅ1I）に対して、単語アライメントを実行するステップ１９４と、ステップ１９４により全ての対訳に対して単語アライメントが終了した学習データファイルを閉じて処理を終了するステップ１９６とを含む。
【００６３】
ステップ１９４は、処理中の対訳（ｆ1J，ｅ1I）について考えられる全てのアライメント（ａ1J,k）（ｋ＝１〜Ｋ）に対して後述するスコアｓkを算出し記憶するステップ２００と、全てのアライメント（ａ1J,k）（ｋ＝１〜Ｋ）のうち、ステップ２００により記憶されたスコアｓkが最大となるアライメントを処理中の対訳に対するアライメントとして選択し、対訳にラベルを付して学習データを更新するステップ２０２とを含む。
【００６４】
ステップ２００は、スコアｓkを１に初期化するステップ２１０と、変数ｊ＝１〜Ｊの順序で順番に変化させて原言語の単語ｆjを選択しながら、各ｊに対し、単語ｆjと、その単語ｆjに対してアラインメントａjによりアラインされる単語ｅa_{j}とについて、それまでに得られたアライメント結果を全て（ａ1j-1）考慮してスコアｓkを更新していき、最終的なスコアｓkを算出するステップ２１２と、ステップ２１２で算出されたスコアｓkをｋ番目のアライメントに対するスコアとして記憶するステップ２１４とを含む。
【００６５】
ステップ２１２は、スコアｔRNN（ａj|ａ1j-1，ｆj，ｅa_{j}）を算出するステップ２２０と、スコアｓkにスコアｔRNNを乗じてスコアｓkを更新するステップ２２２とを含む。
【００６６】
［第２の実施の形態］
第１の実施の形態は、ＲＮＮによるモデルに対して双方向の合意制約を課したものである。しかし本発明はそのような合意制約を課したものには限定されない。合意制約のない一方向のＲＮＮモデルを用いるものでもよい。
【００６７】
図７に、この第２の実施の形態で使用されるモデルの学習を実現するコンピュータプログラムの制御構造を示す。図７に示すプログラムは、図５に示すステップ１５４及びステップ１５６に代えて、ステップ２４０及び２４２を含んでいる。ステップ２４０は、実質的には、図５のステップ１５４からステップ１７４及びステップ１７８を取り除き、２つの変数のうち、一方の変数のみを計算するようにしたものである。ステップ２４２は、図５のステップ１５６で出力される２つの変数のうち、ステップ２４０で計算される一方の変数の値のみを出力する点のみがステップ１５６と異なっている。
【００６８】
図５におけるステップ１７６及び１７８は、それぞれ、式（１３）、式（１４）を目的関数として各重みを更新するのに対し、図７のステップ１７６では、式（７）又は（１２）を目的関数とする点が異なる。図７において、その他個々のステップで行なわれる処理はそれぞれ図５に示すもので実行されるものと同じである。
【００６９】
［実験］
上記実施の形態に記載した単語アライメント方法の性能を調べるために実験を行なった。実験では、コーパスＢＴＥＣ（Toshiyuki  Takezawa,  Eiichiro  Sumita,  Fumiaki  Sugaya,  Hirofumi  Yamamoto,  and  Seiichi  Yamamoto.  2002.  Toward  a  Broad-coverage  Bilingual  Corpus  for  Speech  Translation  of  Travel  Conversations  in  the  Real  World.  In  Proceedings  of  the  3rd  International  Conference  on  Language  Resources  and  Evaluation,  pages  147-152.）での日本語と英語との単語アライメントと、２００３  ＮＡＡＣＬ  共通タスク（Rada  Mihalcea  and  Ted  Pedersen.  2003.  An  Evaluation  Exercise  for  Word  Alignment.  In  Proceedings  of  the  HLT-NAACL  2003  Workshop  on  Building  and  Using  Parallel  Texts:  Data  Driven  Machine  Translation  and  Beyond,  pages  1-10.）で用いられたＨａｎｓａｒｄｓデータセット（Ｈａｎｓａｒｄｓ）でのフランス語と英語とのアライメントとを行なった。さらに、ＦＢＩＳコーパスにおける中国語から英語への翻訳タスク、ＩＷＳＬＴ２００７における日本語から英語への翻訳タスク、及びＮＴＣＩＲ日本語−英語特許翻訳タスクについてもその翻訳性能を評価した。
【００７０】
図８に、使用したデータセットのサイズを表形式で示す。ＢＴＥＣ及びＨａｎｓａｒｄｓについては、予備実験によりアライメントタスクのためのハイパーパラメータが設定済だったため、開発セットは用いていない。ＢＴＥＣデータはＩＷＳＬＴの学習データ中の最初の９，９６０個の対訳文対であり、Ｇｏｈら（Chooi-Ling  Goh,  Taro  Watanabe,  Hirofumi  Yamamoto,  and  Eiichiro  Sumita.  2010.  Constraining  a  Generative  Word  Alignment  Model  with  Discriminative  Output.  IEICE  Transactions,  93-D(7):1976-1983.）により正しい単語アライメントが付されている。このデータを２つに分割した。先頭の９０００文対からなる学習データと、最後の９６０文対からなるテストデータである。ＢＴＥＣの全データについては単語アライメントがされているが、Ｈａｎｓａｒｄｓ中の学習データはラベル付けがされていない。ＦＢＩＳについては、ＮＩＳＴ０２評価データを開発データとして用い、ＮＩＳＴ０３及び０４の評価データをテストデータとして用いた。
【００７１】
〈比較対象〉
上記実施の形態に係るＲＮＮによるアライメントモデルについて、２つのベースラインモデルと対比した。第１はＩＢＭモデル４であり、第２は隠れ層を１つ持つＦＦＮＮによるモデルである。ＩＢＭモデル４はＯｃｈ及びＮｅｙ（Franz  Josef  Och  and  Hermann  Ney.  2003.  A  Systematic  Comparison  of  Various  Statistical  Alignment  Models.  Computational  Linguistics,  29:19-51.）により示されたモデルシーケンス（１5Ｈ5３5４5：ＩＢＭモデル１による５回の繰返し、その後にＨＭＭモデルによる５回の繰返し、…）により学習したものであり、これはＧＩＺＡ＋＋に対するデフォルトの設定である（ＩＢＭ４）。ＦＦＮＮによるモデルについては、word  embedding長Ｍを３０に、隠れ層のユニット数｜ｚ1｜を１００に、窓幅を５に、それぞれ設定した。Ｙａｎｇら（Nan  Yang,  Shujie  Liu,  Mu  Li,  Ming  Zhou,  and  Nenghai  Yu.  2013.  Word  Alignment  Modeling  with  Context  Dependent  Deep  Neural  Network.  In  Proceedings  of  the  51st  Annual  Meeting  of  the  Association  for  Computational  Linguistics  (Volume  1:  Long  Papers),  pages  166―175.）の教示にしたがい、既に説明したような教師あり学習によってＦＦＮＮによるモデルの学習を行なった。
【００７２】
ＲＮＮによるモデルについては、word  embedding長Ｍを３０に、隠れ層のユニット数｜ｙi｜を１００に、それぞれ設定した。評価実験では、ＲＮＮによる４つのモデル、すなわちＲＮＮs、ＲＮＮs+c、ＲＮＮu、及びＲＮＮu+cの性能を評価した。ここで「ｓ／ｕ」は教師あり／教師なし学習によるモデルであることを示し、「＋ｃ」は合意制約が課されているか否かを示す。
【００７３】
ＩＢＭ４を除くモデルに関する学習では、各層の重みを最初に初期化した。すなわち、入力層（Lookup層）Ｌの重みについては原言語及び目的言語の双方についてword  embeddingを学習データのそれぞれの側から学習し、得られたword  embeddingをＬに設定した。これにより局所最適解に陥ってしまうことが避けられる。他の重みについては、閉区間［-0.1,0.1］の範囲内でランダムな値に設定した。word embeddingの学習ではＭｉｋｏｌｏｖら（Tomas  Mikolov,  Martin  Karafiat,  Lukas  Burget,  Jan  Cernocky,  and  Sanjeev  Khudanpur.  2010.  Recurrent  Neural  Network  based  Language  Model.  In  Proceedings  of  11th  Annual  Conference  of  the  International  Speech  Communication  Association,  pages  1045-1048.）に基づくＲＮＮＬＭ  ツールキット（http://www.fit.vutbr.cz/~imikolov/）をデフォルト設定で用いた。ただしここでは、５回未満しか出現しない単語は全て〈unk〉という特別なトークンにまとめた。次に、重みの各々をミニバッチＳＧＤを用いて最適化した。ここでのバッチサイズＤは１００に、学習率は０．０１に、ｌ2正規化パラメータは０．１に、それぞれ設定した。学習は５０世代の繰返し後に終了した。他のパラメータは以下のとおりである。教師なし学習におけるパラメータＷ，Ｎ及びＣはそれぞれ１００，５０及び０．００１に設定した。合意制約の強度を示すパラメータαは０．１に設定した。
【００７４】
翻訳タスクでは、Ｋｏｅｈｎら（Philipp  Koehn,  Hieu  Hoang,  Alexandra  Birch,  Chris  Callison-Burch,  Marcello  Federico,  Nicola  Bertoldi,  Brooke  Cowan,  Wade  Shen,  Christine  Moran,  Richard  Zens,  Chris  Dyer,  Ondrej  Bojar,  Alexandra  Constrantin,  and  Evan  Herbst.  2007.  Moses:  Open  Source  Toolkit  for  Statistical  Machine  Translation.  In  Proceedings  of  the  45th  Annual  Meeting  of  the  Association  for  Computational  Linguistics  on  Interactive  Poster  and  Demonstration  Sessions,  pages  177-180.）によるフレーズベースのＳＭＴを用いた。日本語及び中国語の文は全て、Chasen及びStanford segmenterを使用してそれぞれ単語分割を行なった。学習では、４０語を超える長い文は除いた。改良型のKneser-Ney (modified Kneser-Ney) 平滑化を用いるＳＲＩＬＭツールキット（Stolcke, 2002）を使用して、学習データの英語側を用いてＩＷＳＬＴ及びＮＴＣＩＲのための５グラム言語モデルの学習を行ない、English Gigaword CorpusのXinhua側を用いてＦＢＩＳのための５グラム言語モデルの学習を行なった。ＳＭＴの重みパラメータは、開発データを用いてＭＥＲＴ（Franz  Josef  Och.  2003.  Minimum  Error  Rate  Training  in  Statistical  Machine  Translation.  In  Proceedings  of  the  41st  Annual  Meeting  of  the  Association  for  Computational  Linguistics,  pages  160-167.）を用いて調整した。
【００７５】
〈単語アライメントの結果〉
図９に、単語アライメントの性能をＦ値により評価したものを示す。以下の説明では、ＭＯＤＥＬ（Ｒ）及びＭＯＤＥＬ（Ｉ）はそれぞれ、正解アライメント、ＩＢＭモデル４による単語アライメントを教師データとして学習したモデルを示す。Ｈａｎｓａｒｄｓでは、学習データからランダムにサンプリングした１００Ｋのデータにより全てのモデルの学習を行なった。単語アライメントの評価は、最初に各モデルを双方向に適用しそれぞれの方向のアライメントを解析した後、「grow-diag-final-and」ヒューリスティック（Philipp  Koehn,  Franz  Josef  Och,  and  Daniel  Marcu.  2003.  Statistical  Phrase-Based  Translation.  In  Proceedings  of  the  2003  Human  Language  Technology  Conference:  North  American  Chapter  of  the  Association  for  Computational  Linguistics,  pages  48-54.）によってそれらのアライメントを組合わせたものに対して行なった。単語アライメントの性能に関する有意性検定は、有意レベル５％で符号検定により行なった。図９の「＋」は、ベースライン（ＩＢＭ４及びＦＦＮＮs（Ｒ/Ｉ））との間に有意な差があることを示す。
【００７６】
図９において、ＲＮＮu+cは、上記実施の形態に記載した全ての特徴を備えたものである。すなわち、ＲＮＮによるモデル、教師なし学習、及び合意制約を全て適用したものである。そしてこのＲＮＮu+cが、ＢＴＥＣ及びＨａｎｓａｒｄｓの双方において最もよい性能を示した。特に、ベースラインのシステムとの間の差は統計的に有意であった。図９からはまた、ＢＴＥＣについてはＲＮＮs（Ｒ／Ｉ）がＦＦＮＮs（Ｒ／Ｉ）に対して統計的に有意な差を示したことが分かる。これらの結果から、ＲＮＮによるモデルにより、直前だけでなくそれ以前のアライメント結果を考慮して単語アライメントを行なうことにより、性能が向上することが確認できる。
【００７７】
図９によれば、ＲＮＮs+c（Ｒ／Ｉ）及びＲＮＮu+cが、いずれのタスクにおいてもそれぞれＲＮＮs（Ｒ／Ｉ）及びＲＮＮuよりよい性能を示している。この結果から、合意制約を課すとモデルの性能が向上することが分かる。
【００７８】
ＢＴＥＣでは、ＲＮＮu及びＲＮＮu+cの性能はそれぞれＲＮＮs（Ｉ）及びＲＮＮs+c（Ｉ）の性能をかなり上回っているが、Ｈａｎｓａｒｄｓではこれらの性能の間には大きな差はない。これは、学習データの自動アライメント結果を教師データとして使ったときのように、教師データの精度が高くないときには、上記実施の形態の教師なし学習が効果を持つことを示している。
【００７９】
〈機械翻訳の結果〉
図１０は、大文字と小文字を区別したＢＬＥＵ値（Kishore  Papineni,  Salim  Roukos,  Todd  Ward,  and  Wei-Jing  Zhu.  2002.  BLEU:  a  Method  for  Automatic  Evaluation  of  Machine  Translation.  In  Proceedings  of  40th  Annual  Meeting  of  the  Association  for  Computational  Linguistics,  pages  311-318.）により測定した翻訳精度を示す。各値は、３回の独立のＭＥＲＴ処理で得られたＢＬＥＵ値の算術平均である。
【００８０】
ＮＴＣＩＲ及びＦＢＩＳでは、各アライメントモデルをランダムにサンプリングした１００Ｋのデータにより学習した後に、このアライメントモデルを用いて単語アライメントされた学習データ全てを用いて翻訳モデルの学習を行なった。さらに、全ての学習データを用いて学習したＩＢＭモデル４によるＳＭＴシステム（ＩＢＭ４all）の評価も行なった。翻訳性能に関する有意性検定は、有意レベル５％でboot  strapによる検定手法（Philipp  Koehn.  2004.  Statistical  Significance  Tests  for  Machine  Translation  Evaluation.  In  Proceedings  of  the  2004  Conference  on  Empirical  Methods  in  Natural  Language  Processing,  pages  388-395.）により行なった。図１０において「＊」は、翻訳性能が２つのベースライン、ＩＢＭ４及びＦＦＮＮs（Ｉ）の双方に対して有意な差を持つことを示す。
【００８１】
図１０の結果から、ＲＮＮu及びＲＮＮu+cは全てのタスクでＦＦＮＮs（Ｉ）及びＩＢＭ４を上回る性能を示していることが分かる。したがって、ＲＮＮによるモデルを用いて単語アライメントした学習データにより翻訳モデルの学習を行なうことで、翻訳性能が向上することが分かる。さらに、図１０からは、ＲＮＮによるモデルは、ＮＴＣＩＲ及びＦＢＩＳタスクでは、学習データの一部しか用いずに学習を行なっただけであるにもかかわらず、ＩＢＭ４allに匹敵する性能を示すことが分かる。
【００８２】
図１１に、日本語と英語の対訳文に対するＲＮＮs（Ｒ）による単語アライメントの結果を○で、ＦＦＮＮs（Ｒ）による単語アライメントの結果を△で、正しいアライメントを実線の□で、それぞれ示す。図１１からは、ＲＮＮs（Ｒ）によるモデルが、遠く離れた２つの単語を含む複雑なアライメントをほぼ正確に行なっていることがわかる。ＦＦＮＮs（Ｒ）では特に、遠く離れた２つの単語のアライメントがうまく行なわれていない。これは、ＦＦＮＮs（Ｒ）が直前のアライメントの結果しか用いていないのに対し、ＲＮＮs（Ｒ）が、直前だけでなくそれ以前のアライメントの結果も用いており、ある意味ではフレーズレベルでのアライメントを行なっているといえることによる。
【００８３】
図１２に、フランス語と英語の対訳文に対するＲＮＮs（Ｒ）とＦＦＮＮs（Ｒ）による単語アライメントの結果を示す。英語とフランス語とでは語順が似通っているため、直前のアライメント結果が単語アライメントの大きな手がかりになっており、ＦＦＮＮs（Ｒ）でもアライメントを精度高くできることがわかる。したがってこのような言語対ではＲＮＮs（Ｒ）を用いてもそれほど大きな効果は得られないと考えられる。
【００８４】
〈学習データサイズ〉
図１３に、学習データのサイズを変えて学習した各モデルを用いてＢＴＥＣの単語アライメントした結果（Ｆ値）を示す。学習データは、ＩＷＳＬＴ用の学習データ（４０Ｋ），ＢＴＥＣ用の学習データ（９Ｋ）、及びＢＴＥＣの学習データからランダムにサンプリングした学習データ（１Ｋ）である。なお、ＩＷＳＬＴについてはアライメントの正解データがないため、ＲＮＮs+c（Ｒ）についてはＩＷＳＬＴ用のデータ（４０Ｋ）を用いた学習はできなかった。
【００８５】
図１３によれば、上記実施の形態に係るＲＮＮによるモデルの性能は、１Ｋのラベル付きデータで学習した場合も、９Ｋのラベル付きデータで学習した場合も、４０Ｋのラベルなしの学習データにより学習したＩＢＭモデル４を上回る。すなわち、ＲＮＮによるモデルは、ＩＢＭモデル４の学習データの２５％にも満たないデータで学習してもＩＢＭモデル４を上回る性能を示す。したがって、ごく少ない学習データにより学習したＲＮＮu+cモデルを用いたＳＭＴによれば、図１０に示すような学習データの全体を用いて学習したＩＢＭモデル４によるＳＭＴと同等以上の性能を得ることができる。
【００８６】
以上のように上記実施の形態に係るＲＮＮによるモデルを用いると、直前の単語アライメントの結果だけではなく、それ以前の単語アライメントの結果を用いて単語のアライメントを行なえる。その結果、実験で明らかになったように、このモデルを用いた単語アライメントは従来の、直前の単語アライメントのみに依存して単語アライメントを行なうモデルよりも高い性能を示す。しかもこのモデルは教師なし学習での学習も可能で、その結果得られるモデルの性能も高い。さらに、学習に必要とされる学習データの数が少なくても従来のモデルと同等以上の性能が得られる。
【００８７】
［コンピュータによる実現］
上記した単語アライメントモデル学習装置及び単語アライメント装置は、実質的には、コンピュータハードウェアと、コンピュータハードウェアと協働するコンピュータプログラムとにより実現できる。
【００８８】
＜ソフトウェア構成＞
ソフトウェア構成については、図５、図６及び図７に記載したとおりである。
【００８９】
＜ハードウェア構成＞
図１４は、上記した単語アライメントモデル学習装置及び単語アライメント装置を実現する、コンピュータ３４０を含むコンピュータシステム３３０の外観を示し、図１５はコンピュータ３４０の内部構成を示す。
【００９０】
図１４を参照して、このコンピュータシステム３３０は、コンピュータ３４０と、このコンピュータ３４０に接続されるモニタ３４２、キーボード３４６、及びマウス３４８とを含む。コンピュータ３４０は、ＤＶＤ３６２（図１５を参照）が装着可能なＤＶＤドライブ３５０と、リムーバブルメモリ３６４（図１５を参照）が装着されるメモリポート３５２とを有する。
【００９１】
図１５を参照して、コンピュータ３４０は、上記したＤＶＤドライブ３５０及びメモリポート３５２に加え、ＣＰＵ（中央演算処理装置）３５６と、ＣＰＵ３５６に接続されたバス３６６と、ブートアッププログラム等を記憶する、書換え可能な読出専用メモリ（ＲＯＭ）３５８と、プログラム命令、システムプログラム、及び作業データ等を記憶するランダムアクセスメモリ（ＲＡＭ）３６０と、コンピュータプログラム及び対訳コーパスなどを記憶するハードディスクドライブ（ＨＤＤ）３５４と、他の端末との通信を可能とするネットワークインターフェイス（Ｉ／Ｆ）３４４とを含む。
【００９２】
コンピュータシステム３３０を上記した実施の形態に係る単語アライメントモデル学習装置及び単語アライメント装置の各機能部として機能させるためのコンピュータプログラムは、予めリムーバブルメモリ３６４に記憶され、リムーバブルメモリ３６４をメモリポート３５２に装着した後にＲＯＭ３５８の書換えプログラムを起動することによりＲＯＭ３５８又はＨＤＤ３５４に転送され記憶される。又は、プログラムを、ネットワークＩ／Ｆ３４４を介した通信によりネットワーク上の他の装置からＲＡＭ３６０に転送し、その後にＲＯＭ３５８又はＨＤＤ３５４に書き込むようにしてもよい。プログラムは実行の際にＲＯＭ３５８又はＨＤＤ３５４から読出され、ＲＡＭ３６０にロードされ、ＣＰＵ３５６により実行される。
【００９３】
ＲＯＭ３５８又はＨＤＤ３５４に記憶されたプログラムは、コンピュータ３４０を、上記実施の形態に係る単語アライメントモデル学習装置及び単語アライメント装置の各機能部として機能させるための複数の命令からなる命令列を含む。この動作を行なわせるのに必要な基本的機能のいくつかはコンピュータ３４０上で動作するオペレーティングシステム若しくはサードパーティのプログラム、又は、コンピュータ３４０にインストールされている各種プログラミングツールキット又はプログラムライブラリにより実行時に動的に提供されることがある。したがって、このプログラム自体はこの実施の形態に係る単語アライメントモデル学習装置及び単語アライメント装置を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令のうち、所望の結果が得られるように制御されたやり方で適切な機能又はプログラミングツールキット内の適切なプログラムツールをコンピュータ３４０の記憶装置内から動的に呼出すことにより、上記したシステムとしての機能を実現する命令のみを含んでいればよい。もちろん、プログラムのみで必要な機能を全て提供するようにしてもよい。
【００９４】
コンピュータプログラムを実行する際のコンピュータシステム３３０の動作は周知である。したがってここではその詳細については繰返さない。
【００９５】
上記実施の形態では、まず英語文の先頭から単語を順番に選択して行き、アライメントにしたがって各アライメントのスコアを算出した。しかし本発明はそのような実施の形態には限定されない。単語を選択する順番は任意でよく、全単語を所定の順番で選択できればどのような順番でもよい。もっとも、上記実施の形態のように一方の言語の文の先頭の単語から順番に他方の言語の単語とアライメントしていくのが簡単である。
【００９６】
また、上記実施の形態ではリカレント型のニューラル・ネットワークの各層の関数として特定の関数を用いた。しかし本発明はそのような実施の形態には限定されない。例えば隠れ層において、二つの単語の間の非線形的関係を表現できるものであればどのような関数を用いてもよい。入力層及び出力層についても同様である。また上記した実施の形態では、ニューラル・ネットワークの出力はスコアであったが、前述したとおりこれは２つの単語が正しい対応付けになっている確率であってもよい。確率もある種のスコアと考えることができる。
【００９７】
上記実施の形態では、ＲＮＮ型のニューラル・ネットワークの学習と単語アライメントとを同一のコンピュータで実行するものとした。しかしもちろん本発明はそのような実施の形態には限定されない。学習により得られたニューラル・ネットワークのパラメータを他のコンピュータにコピーしてＲＮＮ型のニューラル・ネットワークをセットアップすることにより、任意のコンピュータで単語アライメントを行なうことができる。
【００９８】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００９９】
２０  対訳文対
３０  日本語文
３２  英語文
４０，４２  アライメント
６０  ニューラル・ネットワーク
７０，１１０  入力層（Lookup層）
７２，１１２  隠れ層
７４，１１４  出力層
７６  語彙翻訳スコア
８０，１３０  原言語の入力部
８２，１３２  目的言語の入力部
１００  ＲＮＮによるモデル
１０２  スコア
１１８  循環接続
【図１】
0005850512.tif 000016
【図２】
0005850512.tif 000017
【図３】
0005850512.tif 000018
【図４】
0005850512.tif 000019
【図５】
0005850512.tif 000020
【図６】
0005850512.tif 000021
【図７】
0005850512.tif 000022
【図８】
0005850512.tif 000023
【図９】
0005850512.tif 000024
【図１０】
0005850512.tif 000025
【図１１】
0005850512.tif 000026
【図１２】
0005850512.tif 000027
【図１３】
0005850512.tif 000028
【図１４】
0005850512.tif 000029
【図１５】
0005850512.tif 000030