(57)【要約】  単語訳取得方法は、一言語必須リンク、一言語禁止リンクおよび言語間必須リンク制約を二言語辞書から抽出する制約抽出ステップと、一言語必須リンクおよび一言語禁止リンク制約が守られるように各言語の単語を単語の特徴ベクトルを用いてクラスタリングするクラスタリングステップと、クラスタ代表を形成するために同じクラスタに割り当てられる単語の特徴ベクトルを組み合わせるクラスタ代表計算ステップであって、クラスタ代表に組み合わされる特徴ベクトルが、特徴ベクトルが言語にわたって比較され得るようであるステップと、クラスタ代表と二言語辞書により与えられる言語間必須リンク制約とを用いて一言語クラスタを言語にわたって連携する連携ステップと、照会語が起点言語クラスタに割り当てられる確率と、起点言語クラスタが目標言語クラスタに連携される確率とを使用することにより各目標言語クラスタを採点する採点ステップとを含む。
2016532916.tif 000002
【特許請求の範囲】
【請求項１】
一言語必須リンク、一言語禁止リンクおよび言語間必須リンク制約を二言語辞書から抽出する制約抽出ステップと、
前記一言語必須リンクおよび一言語禁止リンク制約が守られるように各言語の単語を単語の特徴ベクトルを用いてクラスタリングするクラスタリングステップと、
クラスタ代表を形成するために同じクラスタに割り当てられる前記単語の特徴ベクトルを組み合わせるクラスタ代表計算ステップであって、前記クラスタ代表に組み合わされる前記特徴ベクトルが、前記特徴ベクトルが言語にわたって比較され得、かつ前記一言語クラスタリングのために使用される前記特徴ベクトルと前記クラスタ代表計算のために使用される前記特徴ベクトルが概して異なるようであるステップと、
前記クラスタ代表と前記二言語辞書により与えられる前記言語間必須リンク制約とを用いて前記一言語クラスタを言語にわたって連携する連携ステップと、
照会語が起点言語クラスタに割り当てられる確率と、前記起点言語クラスタが目標言語クラスタに連携される確率とを使用することにより前記各目標言語クラスタを採点する採点ステップとを含む、単語訳取得方法。
【請求項２】
前記二言語辞書に掲載される前記単語により形成されるクラスタの数を外挿することにより、クラスタの期待数が各言語において推定される、請求項1に記載の単語訳取得方法。
【請求項３】
前記クラスタの数が一言語の前記単語の可能な区分にわたってベイズ流ノンパラメトリック事前分布を使用することにより見つけ出され、前記ベイズ流ノンパラメトリック事前分布のハイパーパラメータがクラスタの前記期待数を用いて固定される、請求項2に記載の単語訳取得方法。
【請求項４】
前記起点言語および目標言語単語が同じ言語であるが2つの異なる領域の単語に対応し、かつ前記二言語辞書が前記2つの異なる領域の前記単語間の種マッピングを含み得る一言語同義語辞書に置き換えられるように、前記方法が異なる領域にわたる同義語取得に適用される、請求項1に記載の単語訳取得方法。
【請求項５】
同じ綴りを有し、両領域に出現し、特定の閾値よりも多く文字を有する単語が前記2つの異なる領域間の種マッピングとして使用され、単語の特徴ベクトルとして前記単語の前記綴りのユニグラム、バイグラムまたはトリグラムが使用される、請求項4に記載の単語訳取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は種辞書を用いて単語の訳を取得する方法に関する。単語は単一の単語(用語)、または複数の単語(句)を指す。
【背景技術】
【０００２】
本発明の発明者らは、単語(以下照会語と呼ばれる)の新しい訳の発見を改善するために二言語種辞書からの言語間制約を持つ一言語クラスタリングを使用するシステムを提案する。既存の二言語辞書を新しい単語のために更新する必要が絶えず存在する。
【０００３】
非特許文献1は、起点語sと目標語tの特徴ベクトルが同じ基本概念から生成されると仮定する確率モデルを使用することを提唱する。潜在ベクトル空間におけるベクトルにより提示される潜在概念が与えられると、筆者らは起点語sと目標語tの特徴ベクトルが同じ潜在概念から生成されると仮定する。起点語sとtの特徴ベクトルは各々正規分布から生成され、正規分布の平均ベクトルは起点および目標ベクトル空間にそれぞれ変換される潜在概念ベクトルに設定される。筆者らのモデルは起点語sと目標語tとの間に1対1マッピングが存在するという単純化仮定を立てる。次いで、種辞書を用いて、筆者らは概念ベクトルからそれぞれ起点および目標ベクトル空間への線形変換を学習できる。この仮定の結果は、我々が訳を知らない照会語qは辞書に掲載されていない目標言語の単語への訳を有すると仮定されることである。たとえば、対語「自動二輪車[jidounirinsya]」(motorbike)←→「motorbike」が種辞書にあり、かつ照会語が「バイク[baiku]」(motorbike)である場合を考える。本明細書では、[]により囲まれる単語は、その単語の直前に置かれる日本語の単語のローマ字綴りである。1対1翻訳の仮定のために、正しい訳「motorbike」は考慮されない。
【０００４】
非特許文献2は、いくつかの言語にわたり文書や語彙を照合するために多言語話題モデルを使用することを提案する。筆者らは話題の潜在事前分布を仮定し、そこから言語話題標識が生成される。話題標識は次には語彙に関する確率分布を定義する。訓練のために、筆者らはたとえばウィキペディアからの言語間リンクを使用することにより、連携文書対の初期集合を仮定する。筆者らは、十分に大きい数の連携文書対が訓練データとして与えられると、モデルは言語にわたり話題を連携させることを学習できることを示す。つまり、言語Aのi番目の話題標識と言語Bのi番目の話題標識は同じ話題を表す傾向がある。したがって、連携される話題に高確率で出現する単語は訳と考えられてもよい。話題を介して連携されるこれらの単語は言語間単語クラスタ(または多言語同義語集合)と考えられ得る。このように、非特許文献1とは対照的に、「自動二輪車[jidounirinsya]」(motorbike)と「バイク[baiku]」(motorbike)の両方を単語「motorbike」に連携させることが可能である。しかしながら、「自動二輪車[jidounirinsya]」(motorbike)←→「motorbike」のような以前の知識(種辞書)をモデルへ含める方法は明らかではない。種辞書の使用は、たとえば非特許文献1、および非特許文献3に示されるように、新しい訳の発見を改善するために明らかに有用である。
【０００５】
言語間単語クラスタリングのための異なる方法が非特許文献4に示される。しかしながら、筆者らの方法は統計的機械翻訳システムを訓練するために対訳テキストの使用を必要とする。対訳テキストは二言語辞書よりも高価でかつ入手しにくい。
【０００６】
非特許文献5は、既存の多言語オントロジを使用することを提唱し、それは事前定義される、それぞれ起点言語と目標言語の単語のクラスタ(同義語集合)を含む。多言語オントロジが起点および目標言語の各クラスタ間の1対1マッピングを含むと仮定される。しかしながら、そのような多言語オントロジは領域依存であり、それらは(一般領域)二言語辞書よりも入手しにくくなる。さらには、筆者らは新しい単語(起点言語の)が必ずオントロジにおいて事前定義される既存のクラスタに属するという制限的仮定を立てる。明らかに、新しい単語がオントロジに登録されている単語のいずれにも関連しない(たとえば同義語ではない)ならば、この仮定は真ではない。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際出願ＰＣＴ／ＪＰ２０１２／０５２４３８
【非特許文献】
【０００８】
【非特許文献１】「Learning Bilingual Lexicons from Monolingual Corpora」、Haghighiら、2008
【非特許文献２】「Polylingual Topic Models」、Mimno Dら、2009
【非特許文献３】「Revisiting Context-based Projection Methods for Term-Translation Spotting in Comparable Corpora」、Larocheら、2010
【非特許文献４】「An efficient method for determining bilingual word classes」、Ochら、1999
【非特許文献５】「An approach based on multilingual thesauri and model combination for bilingual lexicon extraction」、Dejeanら、2002
【非特許文献６】「Nonparametric empirical Bayes for the Dirichlet process mixture model.」、Jon D. McAuliffeら
【非特許文献７】「A short note on parameter approximation for von Mises-Fisher distributions」、Suvrit Sra
【非特許文献８】「Markov Chain Sampling Methods for Dirichlet Process Mixture Models」
【非特許文献９】「Translation Acquisition Using Synonym Sets」、NAACL、Andradeら
【非特許文献１０】「Spelling correction for the telecommunications network for the deaf」、Karen Kukich、Communications of the ACM
【発明の概要】
【発明が解決しようとする課題】
【０００９】
非特許文献1は、各単語が1つの訳のみを有するという仮定を必要とする。照会語が同義語を有しなければ、訳候補の数が減少するので、この仮定は翻訳精度を向上できる。例が図1に図示され、照会語「バイク[baiku]」(motorbike)の可能な訳候補は「car」、「motorbike」、「light」、「lamp」に限定され得る。単語「automobile」および「seat」は訳候補としては考慮されない。これは探索空間を削減し、このように精度を向上できる。しかしながら、照会語の同義語が存在しないという基本的仮定はあまりにも制限的な制約であり、また精度を低下させ得る。たとえば、我々が我々の種辞書に次の対訳:「自動二輪車[jidounirinsya]」(motorbike)←→「motorbike」を追加で有し、かつ前のように照会語が「バイク[baiku]」(motorbike)であると仮定すると、正しい訳「motorbike」は訳候補の集合から除外されるので、「motorbike」は訳候補としては考慮されないであろう。この問題は図2に例示される。
【課題を解決するための手段】
【００１０】
第一に、我々は各言語の単語の一言語クラスタリングを別々に行う。一言語クラスタリングについては、我々はたとえばギブスサンプリングにより学習される混合確率モデルを使用する。我々は一言語クラスタリング制約と種辞書から帰納される言語間連携制約とを使用する。これはクラスタリング処理と未知語の言語間連携とを導くのに役立つハード制約を導入する。我々は我々の二言語辞書に掲載されているまたは掲載されていない単語をそれぞれ既知語と未知語で表す。我々は既知語により形成されるクラスタの数を外挿することにより、クラスタの期待数を推定する。クラスタの期待数は混合モデルでのコンポーネントの数を設定する、またはディリクレ過程の精度パラメータを事前に設定するために使用される。
【００１１】
第二に、一言語クラスタリング後、我々は我々の目的関数を最大化する言語にわたり一言語クラスタを相互排他的に連携させる。目的関数はそれが、特徴ベクトルが言語にわたり類似するクラスタの言語間連携を促進するように設定される。言語間連携のために使用される特徴ベクトル空間と一言語クラスタリングのために使用される特徴ベクトル空間は同じである必要はなく、これは概して、後者の場合のためにより富んだ特徴ベクトルを使用することを可能にする。
【００１２】
一言語クラスタリングと二言語辞書からの連携情報とのために、我々は既知および未知語を含む尤もらしい訳候補を保持しながら、尤もらしくない訳候補を除外することができる。
【００１３】
再び前の例を考える。図12は、二言語辞書収録語により与えられる初期の一言語クラスタリングを図示する。我々は「バイク[baiku]」(motorbike)の(一言語)特徴ベクトルは「自動二輪車[jidounirinsya]」(motorbike)の特徴ベクトルと類似しており、したがって「バイク[baiku]」(motorbike)と「自動二輪車[jidounirinsya]」(motorbike)が1つのクラスタを形成するであろうと予測できる。同じように、我々は「席[seki]」(seat)と「シート[shi^to]」(seat)が1つのクラスタを形成するであろうと予測する。一言語クラスタリングの結果は図13に示されている。クラスタリング後、我々は二言語辞書により言語間で連携され得ない目標言語(ここでは英語)のクラスタ(の単語)のみを訳候補と考える。図14に見られるように、これは訳候補が単語「motorbike」、「light」、「lamp」に絞られることを意味する。探索空間はしたがって効果的に削減され、これは概して、より高い翻訳精度に至るであろう。
【００１４】
第二の場合、我々は、我々が我々の種辞書に次の対訳:「自動二輪車[jidounirinsya]」(motorbike)←→「motorbike」を追加で有すると考える。我々の方法は、図15に図示されるように、「バイク[baiku]」(motorbike)の正しい訳を、その対応クラスタを二言語辞書からの知識を用いて正しい訳に言語間で割り当てることにより発見する。
【００１５】
このように両状況において、我々の提案する方法は、非特許文献3または非特許文献1のような以前の方法と比較して翻訳精度を向上できる。非特許文献3のような第1の種類の方法は目標言語のすべての単語を訳候補として考え、このように拡大される探索空間を有する。非特許文献1のような第2の種類の方法は(辞書で)訳をまだ有しない単語のみを考慮し、したがって同義語の集合の訳を発見できない。
【発明の効果】
【００１６】
本発明は、単語の多対多言語間連携を可能にしながら、照会語の訳候補を限定する効果を有する。
【図面の簡単な説明】
【００１７】
【図１】クラスタリングが行われないときの照会「バイク[baiku]」(motorbike)の訳候補を図示し、辞書に出現する英語(目標言語)の単語は訳候補としては考慮されない。
【図２】クラスタリングが行われないときの照会「バイク[baiku]」(motorbike)の訳候補を図示し、辞書に出現する英語(目標言語)の単語は訳候補としては考慮されない(追加で収録語「自動二輪車[jidounirinsya]」=motorbikeが辞書にあると仮定する)。
【図３】第1の実施形態に関する我々の発明により提案されるシステムの機能構造を図示するブロック図である。
【図４】コンポーネント10の機能構造の例を図示するブロック図である。
【図５】コンポーネント20の機能構造の例を図示するブロック図である。
【図６】コンポーネント30の機能構造の例を図示するブロック図である。
【図７】二言語辞書により帰納される2部グラフの例を図示する。
【図８】縮約2部グラフの構造の例を図示する。
【図９】二言語辞書により帰納される一言語必須リンク制約の例を図示する。
【図１０】二言語辞書により帰納される一言語禁止リンク制約の例を図示する。
【図１１】二言語辞書により帰納される言語間必須リンク制約の例を図示する。
【図１２】起点および目標語の初期クラスタリングを図示し、初期クラスタリングは一言語必須リンク制約により帰納される。
【図１３】起点および目標語のクラスタリングの最終結果を図示する。
【図１４】起点および目標語のクラスタリングの最終結果を図示し、言語間必須リンク制約とその結果の訳候補も図示される。
【図１５】起点および目標語のクラスタリングの最終結果を図示し、言語間必須リンク制約とその結果の訳候補も図示される(追加で収録語「自動二輪車[jidounirinsya]」=motorbikeが辞書にあると仮定する)。
【図１６】第2の実施形態に関する我々の発明により提案されるシステムの機能構造を図示するブロック図である。
【発明を実施するための形態】
【００１８】
第1の例示的な実施形態
通常コンピュータシステムにより行われる主要アーキテクチャは図3に記載される。我々の方法は照会語、起点言語の起点語の集合(照会語を含む)およびそれらの特徴ベクトル、ならびに目標語の集合およびそれらの特徴ベクトルの入力を必要とする。我々は目標語の集合が照会語の正しい訳を含むと仮定する。各単語に2つの特徴ベクトルが提供される。第1の種類の特徴ベクトルは、我々が一言語特徴ベクトルと呼ぶものであって、同じ言語(一言語ベクトル空間)において2つの単語間で比較され得る。第2の種類は、我々が言語間特徴ベクトルと呼ぶものであって、2つの言語(共通ベクトル空間)にわたり比較され得る。我々は、たとえばコサイン類似度で測定される2つの特徴ベクトルの類似度が単語の意味的類似度を示すと仮定する。
【００１９】
以下では、我々は一言語および言語間特徴ベクトルの作成され方の例を与える。
【００２０】
一言語クラスタリングと言語間連携のために特徴ベクトルを抽出するため、我々は2つのコーパス、1つが起点言語用でもう1つが目標言語用を必要とする。2つのコーパスは理想的には同様の話題を持つ2つのテキスト集合、いわゆる類似コーパス、たとえば日本語と英語の同じ発行間隔でのニュース記事である。これらのコーパスから我々はすべての関連語、たとえばコーパスに出現するすべての名詞について文脈ベクトルを抽出する。たとえば、名詞の文脈ベクトルは名詞と共起する内容語のtf-idf重みを各次元に含む。これらの文脈ベクトルは一言語クラスタリング(一言語ベクトル空間)のために使用される。言語間連携(言語間、共通ベクトル空間)のために使用されるベクトルを取得するため、我々は非一時的コンピュータ記憶媒体に記憶される二言語辞書1を用いて、起点言語の文脈ベクトルを目標言語に変換する。変換され得ない単語は無視される。目標言語の文脈ベクトルは二言語辞書1に掲載される語彙に限定される。二言語辞書1に掲載されていない単語は無視される。文脈ベクトルの作成および変換は以前の著作、たとえば非特許文献3に記載されるのと同じであり得る。このように、我々は各単語について2つの特徴ベクトルを取得する。第1の特徴ベクトルは一言語ベクトル空間における文脈ベクトルであり、第2の特徴ベクトルは、二言語辞書1に掲載される目標言語単語に限定される(言語間)共通ベクトル空間における文脈ベクトルである。以前の著作とは対照的に、我々の方法は訳を発見するために両特徴ベクトルを使用する。非特許文献3のようなほとんどの以前の著作は共通ベクトル空間の文脈ベクトルのみを使用する。
【００２１】
概して、一言語特徴ベクトルはすべての文脈語を含み得るので、それらはより富んでおり、一方言語間特徴ベクトルは二言語辞書1に掲載される単語のみを含む。しかしながら、我々は共通ベクトル空間における特徴ベクトルに関して他の選択肢も可能であることに留意する。たとえば、我々は起点言語の単語と目標言語の単語とを、非特許文献1に記載されるように正準相関分析(CCA)を用いて潜在ベクトル空間にマッピングもし得る。
【００２２】
図3に見られるように、一言語ベクトル空間におけるおよび共通ベクトル空間における特徴ベクトルはそれぞれコンポーネント20およびコンポーネント30の入力である。
【００２３】
第1のステップでは、コンポーネント10が二言語辞書1を用いて一言語クラスタリング制約を作成する。コンポーネント10のワークフローは図4に記載される。二言語辞書1は2つの異なる区画内のすべての起点語と目標語を考慮することにより2部グラフを帰納し、一方、起点語sから目標語tへの訳が存在する場合かつその場合のみ、sとtとの間に(無向)辺が存在する。図7は、二言語辞書1により帰納される2部グラフの例を図示する。我々は、単語sとtの言語間特徴ベクトルの類似度が一定の閾値よりも小さければ、sとtとの間の辺を除去することにより縮約(2部)グラフを作成する。類似度はたとえばコサイン類似度を使用することにより測定され得、閾値は訓練データに関して最適値に設定され得る。図8は、aとbの文脈ベクトル間の類似度が一定の閾値(ここでは0.5)よりも小さければ辺(a,b)が除去される、対応する縮約2部グラフを図示する。それゆえ、我々はその結果のグラフを縮約2部グラフと呼ぶ。
【００２４】
我々は、特徴ベクトルが提供されない単語は考慮されない(たとえばコーパスに出現しない単語)ことに留意する。つまり、これらの単語もそれらの隣接辺と共に、縮約2部グラフを形成するために帰納2部グラフから除去される。
【００２５】
縮約2部グラフにおいて同じ言語の単語xと単語yとの間に経路が存在する場合かつその場合のみ、xとyとの間の一言語必須リンク制約が設定される。同じ言語の単語xと単語yが両方二言語辞書1に掲載され、さらに帰納2部グラフにおいてxとyとの間に経路が存在しない場合かつその場合のみ、xとyとの間の一言語禁止リンク制約が設定される。例が図9および図10に図示される。図9では、「必須リンク制約」は同じ言語の2つの単語が縮約グラフにおいて経路により接続されることを意味する。図10では、「禁止リンク制約」は同じ言語の2つの単語が辞書に掲載されるが、帰納2部グラフにおいて経路により接続されないことを意味する。縮約グラフはxとyとの間に経路を有しないので、「シート[shi^to]」(seat, sheet)と「sheet」との間に必須リンク制約は存在しないことに留意されたい。さらには、「seat」と「sheet」は帰納2部グラフにおいて経路を通じて接続されるので、両者の間に禁止リンク制約は存在しないことに留意されたい。
【００２６】
最後に我々はコンポーネント15において言語間必須リンク制約も作成する。言語間必須リンク制約は単に縮約グラフの辺に相当する。例が図11に与えられる。
【００２７】
我々は各単語が1つの主要な意味のみを有するという仮定を立てる。この仮定は、2つの単語w1およびw2が縮約2部グラフにおいて経路により接続されれば、w1とw2は同じ意味を有することを保証する。
【００２８】
第2のステップ、コンポーネント20では、我々は、それぞれ起点および目標言語の単語をクラスタリングするために、一言語ベクトル空間からの特徴ベクトルと共にこれらの一言語制約を使用する。一言語クラスタリングについては、我々は混合確率モデルを使用する。コンポーネント20のワークフローは図5に記載される。
【００２９】
クラスタの数は各言語について次のように推定される。nrを、二言語辞書1に掲載されかつ特徴ベクトルが入力として提供される(同じ言語の)単語の合計数とする。(一言語)必須リンク制約はこれらのnr個の単語にわたるクラスタリングを定義するものであり、単語w1とw2との間に一言語必須リンク制約が存在する場合かつその場合のみ、w1とw2は同じクラスタに入る。我々はその結果のクラスタの数をpと指定する。最後に、我々はクラスタの期待数を、
【００３０】
【数１】
2016532916.tif 000003
【００３１】
と推定し、ここでnは注目単語、すなわち特徴ベクトルが提供される単語の数である。
【００３２】
1つの簡単な方法はE(クラスタの数)に固定されるクラスタの数を設定することである。我々がここで記載する別の可能性は、クラスタの最適数を見つけるためにディリクレ過程(DP)を使用することである。単語iが関連付けられるクラスタの平均ベクトルをμiで表す。さらには、我々は平均ベクトルに関する事前分布をG0と指定する。ディリクレ過程は次のように定義される。
【００３３】
【数２】
2016532916.tif 000004
【００３４】
ここでαは生成されるクラスタの数に影響を与えるハイパーパラメータである。クラスタの期待数は次のようであることが示され得る(たとえば「Nonparametric empirical Bayes for the Dirichlet process mixture model.」、Jon D. McAuliffeらを参照)。
【００３５】
【数３】
2016532916.tif 000005
【００３６】
式(3)と式(2)を組み合わせると、我々は最適初期αを計算できる。αの解析解は存在しないことに留意されたいが、しかしながら我々は数値近似を用いてそれを解くことができる。たとえば、E(クラスタの数)はαに関して単調増加であるため、我々は二分探索を使用できる。
【００３７】
詳細には、我々は単語クラスタリングに良好な結果を提供することが示されたフォンミーゼス-フィッシャー分布の混合物を選択した。しかしながら、我々は正規分布のような他の分布も使用され得ることに留意する。位置パラメータμ、と集中パラメータκを持つフォンミーゼス-フィッシャー分布は、
【００３８】
【数４】
2016532916.tif 000006
【００３９】
と定義され、ここでc(κ)は規格化定数であり、//x//=//μ//=1、およびκ≧0である。//・//はここではL2ノルムを表する。ここで、μはクラスタ平均に対応する。規格化定数は次のように定義される。
【００４０】
【数５】
2016532916.tif 000007
【００４１】
ここでIsは次数sのその第1種の変形ベッセル関数を表す。
【００４２】
コサイン類似度は2つのベクトル間の角度を測定し、フォンミーゼス-フィッシャー分布は可能な角度にわたって確率分布を定義する。
【００４３】
我々はプールされるκ、すなわち簡単にするために、我々が想定するすべてのクラスタについて同じパラメータκを使用する。(一言語)必須リンク制約により定義される一言語クラスタを用いて、我々は最尤(ML)推定値を使用することによりκの初期値を推定する。mを少なくとも2つの要素を持つ初期クラスタの数とする。さらには、Slをクラスタlに属する単語の特徴ベクトルの集合とし、またnlをクラスタlの要素の数、すなわちnl=/Sl/とする。κのML推定値は以下の式を用いて近似され得る。
【００４４】
【数６】
2016532916.tif 000008
【００４５】
ここで、
【００４６】
【数７】
2016532916.tif 000009
【００４７】
かつ
【００４８】
【数８】
2016532916.tif 000010
【００４９】
見て分かるように、Ap(κ)はベッセル関数の比であり、したがって式(5)は、たとえば「A short note on parameter approximation for von Mises-Fisher distributions」、Suvrit Sraに記載されるように近似され得る。
【００５０】
さらには、我々は平均ベクトルμに関する事前分布G0を定義する必要がある。ここでは、我々はG0に関して超球上の一様分布を選ぶ。もちろん、情報事前分布も可能である。
【００５１】
さらには、我々は、単語w1とw2との間に(一言語)必須リンク制約が存在する場合かつその場合のみ、w1とw2を同じクラスタに配置することにより、単語の初期クラスタリングを定義する。単一の単語がいずれの他の単語にも必須リンク制約を有しなければ、それは別のクラスタに配置される。
【００５２】
起点言語と目標言語の一言語クラスタリングは独立して行われ、後述されるように簡易ギブスサンプリング方式を容易にすることに留意されたい。我々は空でないクラスタの現在の数をkで表し、ci∈{1 ... k}は単語iが割り当てられるクラスタを表す。
【００５３】
第一に、ステップ1で、各クラスタlについて、我々は新しいクラスタ平均パラメータμlを事後分布p(μl/x1, ..., xnl, c1, ..., cn, κ)からサンプリングし、ここでx1, ..., xnlはクラスタlに割り当てられる単語の(一言語)特徴ベクトルである。
【００５４】
第二に、ステップ2で、我々は新しいクラスタ割り当てc1, ..., cnをサンプリングする。a1, a2, ..., aqを必須リンク制約を通して接続される単語の集合とする。またb1, b2, ..., brを、a1, a2, ..., aqと禁止リンク制約を有する単語とする。cu1, ..., cun-qとして表される残りの単語のクラスタ割り当て、現在のクラスタ平均μ1, ..., μk、およびκ、ならびにαの現在値が与えられれば、我々は単語a1, a2, ..., aqの新しいクラスタを事後確率からサンプリングする。つまり、我々は分布、
【００５５】
【数９】
2016532916.tif 000011
【００５６】
からサンプリングし、ここでc∈1 ... k、またはcは新しいクラスタidである。cが単語b1, b2, ..., brの1つまたは複数を含むクラスタであれば、我々は事後分布(式(6))を0に設定する。我々が新しいクラスタidをサンプリングしたならば、我々は観測xa1, ..., xaqが与えられれば、事前分布G0に基づく事後分布Haからサンプリングすることにより新しいクラスタの平均ベクトルを作成する。
【００５７】
このサンプリング方式は「Markov Chain Sampling Methods for Dirichlet Process Mixture Models」に記載されるようなアルゴリズム2に従うが、例外として第2のステップにおいて我々は一言語制約を追加で実施する。第1および第2のステップはバーンインまで繰り返される。我々は次いで、最終クラスタリングソリューションとして、ステップ1および2の繰り返しの間に発見された最大事後(MAP)クラスタ割り当てを採用する。
【００５８】
我々は、「Markov Chain Sampling Methods for Dirichlet Process Mixture Models」に記載されるようなアルゴリズム3に従って、クラスタ手段μ1, ..., μkにわたって統合することも可能であることに留意するが、これによりクラスタ手段(サブコンポーネント22)をサンプリングするためのステップが冗長化し、こうしてクラスタ割り当ての計算を高速化できる。
【００５９】
起点および目標言語の単語のMAPクラスタ割り当てはコンポーネント30に渡される。コンポーネント30は図6に例示される。第一に、我々は同じ一言語クラスタに属する特徴ベクトルを組み合わせる。組み合わせについては、我々は言語間ベクトル空間からの特徴ベクトルを使用する。特徴ベクトルはたとえば単純に加算により組み合わせられ得る。特徴ベクトルがコーパスにおける共起頻度に基づく場合は、特徴ベクトルを組み合わせるための別の選択肢は次のとおりである。
1.  同じクラスタ内の特徴ベクトルをx1, ..., xnと表し、各文脈ベクトルをL2正規化する。
2.  ベクトルx1, ..., xnの加重平均を計算し、重みは各単語xiのコーパスにおける頻度に対応する。
3.  加重平均をL2正規化する。
この方法は、我々の以前の特許出願の1つ、すなわち2012年1月27日に提出された国際出願PCT/JP2012/052438、に関連する「Translation Acquisition Using Synonym Sets」、NAACL、Andradeら、で提唱される。
【００６０】
第2のステップでは、起点および目標言語のクラスタの組み合わせ特徴ベクトルが、2つの言語にわたる連携確率を計算するために使用される。我々はこれらの組み合わせ特徴ベクトルをクラスタ代表と呼ぶ。xおよびx'をそれぞれクラスタcおよびc'のクラスタ代表を示すものとする。クラスタcのクラスタc'との連携確率は次のように計算され得る。
P(align(c,c'))∝sim(x,x')
ここでsim(・,・)は2つのベクトル間の類似度単位を表する。可能な選択肢は、
【００６１】
【数１０】
2016532916.tif 000012
【００６２】
を使用することであり、ここでκcは常に1に設定されるか、または言語間必須リンククラスタの結合確率が最大化されるように設定され、ベクトルxおよびx'はL2正規化されると仮定される。言語間必須リンククラスタは、言語間必須リンク制約を有する一対の起点言語の単語wsおよび目標言語の単語wtを含むクラスタである。最後に、我々はcとc'が言語間必須リンククラスタであれば、d'≠c'の場合、P(align(c,c'))を1に、P(align(c,d'))を0に設定する。
【００６３】
最後に、コンポーネント40では、我々はクラスタc'が照会語qの訳を含む確率を計算する。qを単語qの一言語文脈ベクトルとする。第一に、我々は単語qがクラスタcに属する確率を計算できる。したがって、式(4)から導出される次の確率を使用する。
【００６４】
【数１１】
2016532916.tif 000013
【００６５】
ここでμcはコンポーネント20において最大事後ソリューションにより発見されるクラスタcの一言語クラスタ平均である。我々は、
p(q in cluster c)∝p(q|μc,κ)
を使用することにより条件付き確率p(q|μc,κ)を単語qがクラスタcに属する確率に変換する。最後に、我々はクラスタc'の単語が単語qの訳である確率を計算する。我々はこの確率をp(t(q)=c')として表し、次のように計算する。
【００６６】
【数１２】
2016532916.tif 000014
【００６７】
確率p(align(c,c')|q in cluster c)はコンポーネント30に記載されるように計算され、一方、単語qはクラスタcに割り当てられ、クラスタ代表がそれぞれ更新される。
【００６８】
我々は目標言語のクラスタのリストを確率p(t(q)=c')の順に出力する。加えて、必要であれば、クラスタc'内の単語は類似度sim(q,w)に従って採点付けおよびリストに掲載され得、ここでqおよびwはそれぞれクラスタc'内の単語qおよび単語wの言語間特徴ベクトルである。
【００６９】
第2の例示的な実施形態
本発明は、同じ言語の2つの異なる領域間で表現を連携させるためにも使用され得る。たとえば、「スタバー[sutaba^]」(starbucks(登録商標))のような単語は、ツイッターや他のSNSで見つけられる略式のテキストにおいて使用される。他方、新聞のような形式的なテキストでは、我々は主に表現「スターバックス[suta^bakkusu]」(starbucks(登録商標))を見つけるであろう。形式的および略式のテキスト間のこのギャップを埋めるために、我々は原理的には第1の例示的な実施形態に記載されるものと同じアーキテクチャを、図16に記載されるようないくつかの顕著な違いと共に適用できる。
【００７０】
言語が同じであるので、共通ベクトル空間と領域内ベクトル空間は同じか、または非常に類似できる。第1の例示的な実施形態において記載されたように、特徴ベクトルとして我々が使用できるのは、テキスト集合、たとえばそれぞれツイートや新聞記事の集合から抽出される文脈ベクトルである。別の選択肢は単語の綴りを特徴ベクトルとして符号化することである。さらには、我々の例では、日本語においては、我々は注目単語をカタカナで書かれる単語に制限してもよい。単語の符号化は、たとえば「Spelling correction for the telecommunications network for the deaf」、Karen Kukich、Communications of the ACMに記載されるようにユニグラム、バイグラムまたはトリグラムを使用することにより行われ得る。
【００７１】
二言語辞書1の代わりに、我々は略式と形式的な単語間マッピングの既存の(種)リストにより追加で拡充され得るWord-Netのようなシソーラスを使用することを提唱する。さらには、同じ綴りを有する単語は、それらの文字数が十分に大きければ、同じ意味を有する可能性がある。数が少なすぎると、たとえば4文字未満であると、単語はあいまいで、また領域間で異なる意味を有することがある。このように、単語xが特定の文字数よりも多くの文字数を含めば、我々は単語x対単語xのように、些細なマッピングを追加で含めることができる。たとえば、単語「コンピューター[konpyu^ta^]」(computer)は略式と形式的な領域で同じ意味を有する可能性がある。
【００７２】
上記例示的な実施形態の単語訳取得方法は専用のハードウェアにより実現されてよく、またはメモリおよびDSP(デジタルシグナルプロセッサ)または他の計算および処理装置によって構成されてもよい。他方、機能は単語訳取得方法のステップを実現するために使用されるプログラムの実行により実現されてよい。
【００７３】
そのうえ、単語訳取得方法のステップを実現するプログラムはコンピュータ可読記憶媒体上に記録されてよく、この記憶媒体上に記録されたプログラムは適応回転角度制御処理を行うコンピュータシステムにより読まれて実行されてよい。ここでいう「コンピュータシステム」はOS、周辺機器、または他のハードウェアを含んでよい。
【００７４】
さらには、「コンピュータ可読記録媒体」は、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリもしくは他の書き込み可能不揮発性メモリ、CD-ROMもしくはその他の取り外し可能媒体、またはコンピュータシステム内に組み込まれるハードディスクもしくは他の記憶システムを意味する。
【００７５】
さらには、「コンピュータ可読記録媒体」は、プログラムがインターネット、他のネットワーク、電話回路、または他の通信回路を介して送信されたときサーバまたはクライアントとして作動するコンピュータシステム内の揮発性メモリ(たとえば、DRAM(ダイナミックランダムアクセスメモリ))などの、一定時間プログラムを保持する部材をも含む。
【産業上の利用可能性】
【００７６】
本発明は新しい用語訳の正確な取得を可能にする。これは、用途としてはとりわけ言語間テキストマイニングのための不可欠な資源となる既存の二言語辞書を更新し、拡張するために必要である。
【００７７】
別の重要な用途は異なる言語様式にわたる同義語の取得である。たとえば、我々の発明は、ツイッターや他のSNSからの略式の表現を新聞における形式的な表現にマッピングすることを可能にし、これによりたとえば、SNSや新聞のニュースを合わせて追跡することを可能にする。
【符号の説明】
【００７８】
1  二言語辞書
【図１】
2016532916.tif 000015
【図２】
2016532916.tif 000016
【図３】
2016532916.tif 000017
【図４】
2016532916.tif 000018
【図５】
2016532916.tif 000019
【図６】
2016532916.tif 000020
【図７】
2016532916.tif 000021
【図８】
2016532916.tif 000022
【図９】
2016532916.tif 000023
【図１０】
2016532916.tif 000024
【図１１】
2016532916.tif 000025
【図１２】
2016532916.tif 000026
【図１３】
2016532916.tif 000027
【図１４】
2016532916.tif 000028
【図１５】
2016532916.tif 000029
【図１６】
2016532916.tif 000030
【国際調査報告】
2016532916.tif 000031