(57)【特許請求の範囲】
【請求項１】
自然言語処理法で使用するための用語共起性スコアを計算する装置であって、用語は単語又は連続する単語のグループであり、当該装置では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、当該装置は、文ペア処理手段と共起性スコアセット計算手段とを有し、
前記文ペア処理手段は、
文書の中の全ての文ペア及び前記文ペアの中の文の前記文書の中の位置を示す位置番号を入力され、前記文ペアの各々について、前記位置番号の差を計算して前記文ペアの中の文の間の距離間隔ｄを求め、前記距離間隔ｄの減衰関数である重み値ｗをｗ＝１／（ｄ＋１）＊２に従い計算し、
全部の前記重み値ｗの和の２倍である文ペアカウント値を決定し、
文書用語カウント値を得て、前記文書用語カウント値は、全部の文ペアについて決定された文ペア用語カウント値の和であり、各々の文ペア用語カウント値は、文ペアの中で用語が生じる度数を示し且つ該用語が生じる文ペアの重み値を用語が該ペアの中で生じる文の数により乗算したものであり、
全ての文ペアの中の全ての可能な異なる用語ペアの各々について、用語ペアは、ペアの他方の文の中の異なる用語とペアにされる、該ペアの中の一方の文の中の用語で構成され、用語ペアが生じる全ての文ペアの重み値の和である用語ペアカウント値を得て、
共起性スコアセット計算手段は、各々の用語ペア（ｘ１，ｘ２）について、
ＰＭＩ（ｘ１，ｘ２）＝ｌｏｇ［Ｐ（ｘ１，ｘ２）／｛Ｐ（ｘ１）＊Ｐ（ｘ２）｝］
ＮＰＭＩ（ｘ１，ｘ２）＝ＰＭＩ（ｘ１，ｘ２）／（−ｌｏｇ［Ｐ（ｘ１，ｘ２）］
を計算し、
ここで、Ｐ（ｘ１）及びＰ（ｘ２）はそれぞれ文ペアの中で用語ｘ１及びｘ２が生じる度数を前記文ペアカウント値により除算することにより得た確率であり、Ｐ（ｘ１，ｘ２）は、用語ペア（ｘ１，ｘ２）の前記用語ペアカウント値を前記文ペアカウント値により除算することにより得た確率であり、前記ＮＰＭＩを用語共起性スコアとして出力する、
装置。
【請求項２】
自然言語処理法で使用するための用語共起性スコアを計算する装置の作動方法であって、用語は単語又は連続する単語のグループであり、当該作動方法では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、前記装置は、文ペア処理手段と共起性スコアセット計算手段とを有し、前記作動方法は、
前記文ペア処理手段が、文書の中の全ての文ペア及び前記文ペアの中の文の前記文書の中の位置を示す位置番号を入力され、前記文ペアの各々について、前記位置番号の差を計算して前記文ペアの中の文の間の距離間隔ｄを求め、前記距離間隔ｄの減衰関数である重み値ｗをｗ＝１／（ｄ＋１）＊２に従い計算するステップと、
前記文ペア処理手段が、全部の前記重み値ｗの和の２倍である文ペアカウント値を決定するステップと、
前記文ペア処理手段が、文書用語カウント値を得るステップであって、前記文書用語カウント値は、全部の文ペアについて決定された文ペア用語カウント値の和であり、各々の文ペア用語カウント値は、文ペアの中で用語が生じる度数を示し且つ該用語が生じる文ペアの重み値を用語が該ペアの中で生じる文の数により乗算したものである、ステップと、
前記文ペア処理手段が、全ての文ペアの中の全ての可能な異なる用語ペアの各々について、用語ペアは、ペアの他方の文の中の異なる用語とペアにされる、該ペアの中の一方の文の中の用語で構成され、用語ペアが生じる全ての文ペアの重み値の和である用語ペアカウント値を得るステップと、
前記共起性スコアセット計算手段が、各々の用語ペア（ｘ１，ｘ２）について、
ＰＭＩ（ｘ１，ｘ２）＝ｌｏｇ［Ｐ（ｘ１，ｘ２）／｛Ｐ（ｘ１）＊Ｐ（ｘ２）｝］
ＮＰＭＩ（ｘ１，ｘ２）＝ＰＭＩ（ｘ１，ｘ２）／（−ｌｏｇ［Ｐ（ｘ１，ｘ２）］
を計算し、
ここで、Ｐ（ｘ１）及びＰ（ｘ２）はそれぞれ文ペアの中で用語ｘ１及びｘ２が生じる度数を前記文ペアカウント値により除算することにより得た確率であり、Ｐ（ｘ１，ｘ２）は、用語ペア（ｘ１，ｘ２）の前記用語ペアカウント値を前記文ペアカウント値により除算することにより得た確率であり、前記ＮＰＭＩを用語共起性スコアとして出力するステップと、
を有する作動方法。
【請求項３】
自然言語処理法で使用するための用語共起性スコアを計算する装置であって、用語は単語又は連続する単語のグループであり、当該装置では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、当該装置は、文シーケンス処理手段と共起性スコアセット計算手段とを有し、
前記文シーケンス処理手段は、
文書の中の全ての可能な文シーケンスの各々について、シーケンスの中の文の最小数は１であり、シーケンスの中の文の最大数は所定値であり、ウインドウサイズは前記文シーケンスの中の文の数であり、重み値ｗをｗ＝１／（ウインドウサイズ×所定値）に従い計算し、
全部の前記重み値ｗの和に基づき、文シーケンスカウント値を決定し、
文書用語カウント値を得て、前記文書用語カウント値は、全部の文シーケンスについて決定された文シーケンス用語カウント値の和であり、各々の文シーケンス用語カウント値は、文シーケンスの中で用語が生じる度数を示し且つ前記文シーケンスの重み値に基づき、
全ての文シーケンスの中の全ての可能な異なる用語ペアの各々について、用語ペアは、ペアの他方の文の中の異なる用語とペアにされる、該ペアの中の一方の文の中の用語で構成され、用語ペアが生じる全ての文シーケンスの重み値の和である用語ペアカウント値を得て、
共起性スコアセット計算手段は、各々の用語ペア（ｘ１，ｘ２）について、
ＰＭＩ（ｘ１，ｘ２）＝ｌｏｇ［Ｐ（ｘ１，ｘ２）／｛Ｐ（ｘ１）＊Ｐ（ｘ２）｝］
ＮＰＭＩ（ｘ１，ｘ２）＝ＰＭＩ（ｘ１，ｘ２）／（−ｌｏｇ［Ｐ（ｘ１，ｘ２）］
を計算し、
ここで、Ｐ（ｘ１）及びＰ（ｘ２）はそれぞれ文シーケンスの中で用語ｘ１及びｘ２が生じる度数を前記文シーケンスカウント値により除算することにより得た確率であり、Ｐ（ｘ１，ｘ２）は、用語ペア（ｘ１，ｘ２）の前記用語ペアカウント値を前記文シーケンスカウント値により除算することにより得た確率であり、前記ＮＰＭＩを用語共起性スコアとして出力する、
装置。
【請求項４】
自然言語処理法で使用するための用語共起性スコアを計算する装置の作動方法であって、用語は単語又は連続する単語のグループであり、当該作動方法では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、前記装置は、文シーケンス処理手段と共起性スコアセット計算手段とを有し、前記作動方法は、
前記文シーケンス処理手段が、文書の中の全ての可能な文シーケンスの各々について、シーケンスの中の文の最小数は１であり、シーケンスの中の文の最大数は所定値であり、ウインドウサイズは前記文シーケンスの中の文の数であり、重み値ｗをｗ＝１／（ウインドウサイズ×所定値）に従い計算するステップと、
前記文シーケンス処理手段が、全部の前記重み値ｗの和に基づき、文シーケンスカウント値を決定するステップと、
前記文シーケンス処理手段が、文書用語カウント値を得るステップであって、前記文書用語カウント値は、全部の文シーケンスについて決定された文シーケンス用語カウント値の和であり、各々の文シーケンス用語カウント値は、文シーケンスの中で用語が生じる度数を示し且つ前記文シーケンスの重み値に基づく、ステップと、
前記文シーケンス処理手段が、全ての文シーケンスの中の全ての可能な異なる用語ペアの各々について、用語ペアは、文シーケンスの中の他方の用語とペアにされる、該文シーケンスの中の用語で構成され、用語ペアが生じる全ての文シーケンスの重み値の和である用語ペアカウント値を得るステップと、
前記共起性スコアセット計算手段が、各々の用語ペア（ｘ１，ｘ２）について、
ＰＭＩ（ｘ１，ｘ２）＝ｌｏｇ［Ｐ（ｘ１，ｘ２）／｛Ｐ（ｘ１）＊Ｐ（ｘ２）｝］
ＮＰＭＩ（ｘ１，ｘ２）＝ＰＭＩ（ｘ１，ｘ２）／（−ｌｏｇ［Ｐ（ｘ１，ｘ２）］
を計算し、
ここで、Ｐ（ｘ１）及びＰ（ｘ２）はそれぞれ文シーケンスの中で用語ｘ１及びｘ２が生じる度数を前記文シーケンスカウント値により除算することにより得た確率であり、Ｐ（ｘ１，ｘ２）は、用語ペア（ｘ１，ｘ２）の前記用語ペアカウント値を前記文シーケンスカウント値により除算することにより得た確率であり、前記ＮＰＭＩを用語共起性スコアとして出力するステップと、
を有する作動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば自然言語処理の分野において使用する用語共起性スコア及び用語類似性スコアの確率モデルに関する。
【背景技術】
【０００２】
Gerlof  Bouma、「Normalized  (Pointwise)  Mutual  Information  in  Collocation  Extraction」、Proceedings  of  the  Biennial  GSCL  Conference  ２００９,  pp  ３１−４０,  ２００９において言及されるＮＰＭＩ（Normalised  Pointwise  Mutual  Information）は、情報理論において使用される２つの事象の関連付けの指標であるＰＭＩ（Pointwise  Mutual  Information）の最近提案された変形である。名前が示す通り、ＮＰＭＩは、正規化されないという欠点を有するＰＭＩに、正規化の容易さを追加する。ＰＭＩ及びＮＰＭＩは、以下の確率を用いて定められる。
ＰＭＩ（ａ，ｂ）＝ｌｏｇ［Ｐ（ａ，ｂ）／｛Ｐ（ａ）Ｐ（ｂ）｝］    （１）
ＮＰＭＩ（ａ，ｂ）＝ｌｏｇ｛ＰＭＩ（ａ，ｂ）／−ｌｏｇＰ（ａ，ｂ）｝    （２）
ＮＰＭＩの範囲は−１と１の間である。「ａ」及び「ｂ」が一緒にのみ生じるとき、ＮＰＭＩは１である。「ａ」及び「ｂ」が非依存性の下で期待通りに分散されるとき、ＮＰＭＩは０である。「ａ」及び「ｂ」が決して一緒に生じないとき、ＮＰＭＩは−１である。式中に対数は定められていないが、Ｐ（ａ，ｂ）＝０のとき、ＮＰＭＩ（ａ，ｂ）は、特に、限度として−１と定められることに留意する。
【０００３】
ＰＭＩは、テキストの中の用語共起性にスコアを付ける種々の広く使用されている指標のうちの１つである（用語は、１又は複数の連続する意味のある単語により構成されるテキストのブロックを表す；用語のセットは、通常、特定の自然言語処理技術によりテキストから抽出される）。ＮＰＭＩは、この目的のためにも使用できる。ＰＭＩ及びＮＰＭＩにより生成された用語共起性スコアのセットは、キーワードクラスタリング、推奨システム、及び知識ベース構築のような様々な自然言語処理用途にとって有用である。しかしながら、ＰＭＩ及びＮＰＭＩを採用する単純な及び／又は既存の方法は、それらが距離（又は近接性）情報を良好に捕らえることができないという欠点を有する。距離／近接性の考えは、情報検索（information  retrieval：ＩＲ）分野で良く知られている。文書の中で近い検索語が現れるほど、文書はより高いスコアを受ける。この種の考えは、一般的な自然言語処理の目的でＰＭＩ及びＮＰＭＩを計算するためにも有用であると考えられる。本願では、単語レベルの距離／近接性を考慮せず、文レベルの距離／近接性のみを作業仮説として考慮する。つまり、どれだけ多くの単語が２つの関心語の間に存在するかを考慮せず、どれだけ多くの文が２つの関心語の間に存在するかを考慮する。ＮＰＭＩ（以後、ＰＭＩを無視する）による及び距離／近接性情報を有しない用語共起性のための単純な知られている方法は、以下の欠点を有する。
【０００４】
（１）我々が「１文１試行」と呼ぶ方法によると、文は、１つの確率的試行として扱われ、１つの文の中の２つの用語の各々の用語及び各々の共起性は、１回生じると考えられる（つまり、重複は無視される）。例えば、この方法は、米国特許第８３７４８７１B２号に開示されている。図１の４つの文書Ｄ１〜Ｄ４（各々が２つの文を有する）で構成されるテキストセットでは、ｔ１とｔ２／ｔ５の間のＮＰＭＩ値は次のように計算される。全部で８個の文が存在し、ｔ１、ｔ２、ｔ５はそれぞれ４、２、２個の文に現れる。したがって、次の通りである。
Ｐ（ｔ１）＝４／８、
Ｐ（ｔ２）＝２／８、
Ｐ（ｔ５）＝２／８
ｔ１及びｔ２は２個の文の中で共起し、ｔ１及びｔ５は共起しない。したがって次の通りである。
Ｐ（ｔ１，ｔ２）＝２／８，
Ｐ（ｔ１，ｔ５）＝０
これらの値をＰＭＩ及びＮＰＭＩ式（１）及び（２）に代入すると、以下を得る。ＮＰＭＩ（ｔ１，ｔ２）＝０．５，
ＮＰＭＩ（ｔ１，ｔ５）＝−１
ｔ１及びｔ５は２つの文書の中で共起し、人間にとってはｔ１及びｔ５が何らかの関係を有すると考えることが容易であるにも拘わらず、この方法は、ｔ１及びｔ５のペアに−１を割り当て（無関係を示す）。これは、この方法が不適切であることを示す。
【０００５】
（２）我々が「１文書１試行」と呼ぶ方法によると、文書は、１つの確率的試行として扱われ、１つの文書の中の２つの用語の各々の用語及び各々の共起性は、１回生じると考えられる（つまり、重複は無視される）。例えば、この方法は、米国特許第５９０５９８０Ａ号に開示されている。図１の文書セットは、本願明細書を通じて用いられる。このセットは、文書ＩＤであるＤ１、Ｄ２、Ｄ３及びＤ４により示される４つの文書で構成される。文書Ｄ１は、文ＩＤであるＳ１−１及びＳ１−２により示される２つの文で構成される。同様に、文書Ｄ２は、文ＩＤであるＳ２−１及びＳ２−２により示される２つの文で構成され、文書Ｄ３は、文ＩＤであるＳ３−１及びＳ３−２により示される２つの文で構成され、文書Ｄ４は、文ＩＤであるＳ４−１及びＳ４−２により示される２つの文で構成される。各々の文は、ｔの後に数字の続く、ｔ１及びｔ２のように示される１又は複数の用語で構成される。例えば、文Ｓ１−１は、３個の用語ｔ１、ｔ２、及びｔ３で構成される。簡単のため、用語は、特定の自然言語技術により既に抽出されており、実際の自然言語の用語ではなく、ｔ１及びｔ２のような人工的文字列である。図１の文書セットでは、ｔ１とｔ２／ｔ５との間のＮＰＭＩ値は、以下のように計算される。４個の文が存在し、ｔ１、ｔ２、ｔ５はそれぞれ４、２、２個の文書に現れる。したがって、次の通りである。
Ｐ（ｔ１）＝４／４、
Ｐ（ｔ２）＝２／４、
Ｐ（ｔ５）＝２／４
ｔ１及びｔ２は２つの文書の中で共起し、ｔ１及びｔ５の２つの文書の中で共起する。したがって次の通りである。
Ｐ（ｔ１，ｔ２）＝２／４，
Ｐ（ｔ１，ｔ５）＝２／４
これらの値をＰＭＩ及びＮＰＭＩ式（１）及び（２）に代入すると、以下を得る。
ＮＰＭＩ（ｔ１，ｔ２）＝０，
ＮＰＭＩ（ｔ１，ｔ５）＝０
（簡単のために小さなテキストサイズを用いたので、ＮＰＭＩ値は０であり、用語ペアは独立して発生すると考えられる。本例では、具体的な値は重要ではなく、相対的順序が重要である。）
第１の方法と異なり、本方法は、ｔ１及びｔ５のペアに値を割り当てる。しかしながら、この値は、ｔ１及びｔ２のペアの１と同じである。ｔ２はｔ１と同じ文の中で生じ、ｔ１のより近くで生じる傾向があり、したがってｔ５よりもｔ１とより関連するように見えるので、これは人間にとっては自然ではない。
【０００６】
（３）我々が「１用語ペア１試行」と呼ぶ方法によると、文書の中の任意の可能な用語ペアは、１つの確率的試行（１度数（frequency）としても表される）として扱われる。例えば、本方法は、日本語の論文であるYuta  Kaburagi  et  al.,  「Extraction  of  the  Ambiguity  of  Words  Based  on  the  Clustering  of  Co−occurrence  Graphs」,  Proceedings  of  the  １７th  Annual  Meeting  of  the  Associationfor  Natural  Language  Processing,  pp.  ５０８−５１１,  ２０１１で言及されている。本方法は、距離／近接性情報を容易に組み込むことができる。１つの方法は、１／（ｎ＋１）確率的試行として用語ペアを扱うことである。ここで、ｎは、ペアの中の２つの用語の間で、どれだけ多くの文が区切れるかを示す（それらが同じ文の中に現れるとき、ｎ＝０）。図１のテキストセットでは、ｔ１とｔ２／ｔ５／ｔ６との間のＮＰＭＩ値は、以下のように計算される。
【０００７】
図２は、確率についての種々の度数の計算を纏めている。図２に示す表は、計算処理を理解するために示される。表は、説明のためにブロックに分割される。Ｄ１のＳ１−１には３個の用語、つまりｔ１、ｔ２、ｔ３があり、可能な用語ペアは（ｔ１，ｔ２）、（ｔ１，ｔ３）、（ｔ２，ｔ３）である。それらの度数は、距離が０なので、１（＝１／（０＋１））である。図２のブロック１の３個の対応するセルは１で満たされる。Ｄ１のＳ１−１とＳ１−２との間では、可能な用語ペアは（ｔ１，ｔ４）、（ｔ１，ｔ５）、（ｔ２，ｔ４）、（ｔ２，ｔ５）、（ｔ３，ｔ５）、（ｔ４，ｔ５）である。それらの度数は、距離が１なので、１／２（＝１／（１＋１））である。ブロック１の６個の対応するセルは１／２で満たされる。ブロック１の他のセルは同様に満たされる。
【０００８】
図２のブロック２の各々のセルは、ブロック１の対応する行の全部のセルの和であり、用語ペアの度数を示す。例えば、（ｔ１，ｔ３）では、ブロック１の中に１、１、１／２があるので、ブロック２のセルは５／２（＝１＋１＋１／２）で満たされる。ブロック３の単一のセルは、ブロック２の中の全部のセルの和である。本例では、結果は２２である。この値は、総度数を意味し、確率の全部の計算の分母になる。
【０００９】
ブロック４は、ブロック５の中の用語度数の中間結果を示す。各々の用語ペアについて、ブロック２の中の用語ペア度数は、ブロック４の中の２つの用語に対応する２つのセルにコピーされる。
【００１０】
ブロック５の各々のセルは、ブロック４の中の対応する列の全部のセルの和である。例えば、ｔ１では、ブロック５の中のセルは１０（＝２＋５／２＋３／２＋１＋２＋１）で満たされる。この値は、用語度数を表す。
【００１１】
ブロック２、３、５の中の値により、ｔ１とｔ２／ｔ５／ｔ６との間のＮＰＭＩ値の計算の準備が整う。先ず、次の通り確率が計算される。
Ｐ（ｔ１）＝１０／２２、
Ｐ（ｔ２）＝６／２２、
Ｐ（ｔ５）＝５／２２、
Ｐ（ｔ６）＝４／２２、
Ｐ（ｔ１，ｔ２）＝２／２２、
Ｐ（ｔ１，ｔ５）＝１／２２、
Ｐ（ｔ１，ｔ６）＝２／２２
次に、ＮＰＭＩ値は、これらの値をＰＭＩ及びＮＰＭＩ式（１）及び（２）に代入することにより計算される。
ＮＰＭＩ（ｔ１，ｔ２）＝−０．１２９、
ＮＰＭＩ（ｔ１，ｔ５）＝−０．２６６、
ＮＰＭＩ（ｔ１，ｔ６）＝０．０４０
（簡単のために小さなテキストサイズを用いたので、幾つかのＮＰＭＩ値は０であり、用語ペアは無関係というより別個に発生する傾向があると考えられる。本例では、具体的な値は重要ではなく、相対的順序が重要である。）
ｔ２とｔ５を比較すると、ＮＰＭＩ値は、ｔ２がｔ５よりｔ５により関連することを示す。これは、人間にとって自然に見え、上述の他の方法により捉えることができない。
【００１２】
しかしながら、依然として問題がある。ｔ２とｔ６を比較すると、ＮＰＭＩ値は、ｔ６がｔ２よりｔ１に関連することを示す。これは、用語の数値（又は文の長さ）が、Ｓ１−１／Ｓ２−１とＳ３−１／Ｓ４−１との間で異なるからである。しかし人間にとっては、ｔ２とｔ６は、両者とも同じ文の中でｔ１と２回共起し、他の文の中には現れないので、同じようにｔ１に関連するように見える。したがって、本方法も不適切である。
【００１３】
（４）論文Jianfeng  Gao  et  al.,  “Resolving  Query  Translation  Ambiguity  Using  a  Decaying  Co−occurrence  Model  and  Syntactic  Dependence  Relations”,  Proceedings  of  Special  Interest  Group  on  Information  Retrieval,  pp.  １８３−１９０,  ２００２,の考えに従う方法では、共起性スコアは次のように計算できる。
Ｓｃｏｒｅ（ｔ１，ｔ２）＝ＮＰＭＩ（ｔ１，ｔ２）ｘＤ（ｔ１，ｔ２）
ここで、ＮＰＭＩ（ｔ１，ｔ２）は「１文書１試行」方法で定められる通りである。Ｄ（ｔ１，ｔ２）は、文書セットの中のｔ１及びｔ２の平均距離に従う減衰関数であり、０乃至１の間の値を取る。本方法によると、更に遠いｔ１及びｔ２は平均して共起し、もっと小さなスコアが割り当てられる。これは望ましい。しかしながら、このスコアは、２つの欠点を有する。第一に、スコアが負のとき、効果は望まれるものと反対である。つまり、平均して共起するｔ１及びｔ２が遠いほど、割り当てられるスコアが大きい。なぜなら、絶対値が小さくなるが、０乃至１の間の値により乗算される負の値は大きくなるからである。第二に、確率的理論の体系の中で、スコアを理解することが難しい。
【００１４】
以上を纏めると、既存の方法は、人間の直感と合うために共起性計算において距離／近接性情報を上手く扱うことができない。
【００１５】
この背景により、共起性スコアを計算する方法は、以下の４つの条件を満たすことが望ましい。
Ａ．１又は複数の文境界に跨り共起する２つの用語が考慮されるべきである。
Ｂ．２つの用語ペアが文書レベルで同じように共起する場合、及び１つのペアが他者よりも文書の中で近くで共起する傾向がある場合、前者に高いスコアを与える。
Ｃ．文の長さ（用語数）は結果に影響してはならない。
Ｄ．スコアは、確率的に定められるべきである。
【発明の概要】
【００１６】
本発明の第１の態様の一実施形態によると、自然言語処理で使用するための用語共起性スコアを計算する装置であって、用語は単語又は連続する単語のグループであり、当該装置では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、当該装置は、文ペア処理手段と共起性スコアセット計算手段とを有し、前記文ペア処理手段は、文書の中の全ての文ペアの各々について、前記文ペアの中の文の間の距離間隔の減衰関数である重み値ｗを決定し、全部の前記決定した重み値の和又は乗算器により乗算された該和の２倍である文ペアカウント値を決定し、文書用語カウント値を得て、前記文書用語カウント値は、全部の文ペアについて決定された文ペア用語カウント値の和又は前記乗算器により乗算された該和に等しく、各々の文ペア用語カウント値は、文ペアの中で用語が生じる度数を示し且つ該用語が該文ペアの重み値を用語が該ペアの中で生じる文の数により乗算したものであり、全ての文ペアの中の全ての可能な異なる用語ペアの各々について、用語ペアは、ペアの他方の文の中の異なる用語とペアにされる、該ペアの中の一方の文の中の用語で構成され、用語ペアが生じる全ての文ペアの重み値の和又は前記乗算器により乗算された該和に等しい用語ペアカウント値を得て、共起性スコアセット計算手段は、各々の用語ペアについて、該ペアの中の用語の前記文書用語カウント値、前記用語ペアの前記用語ペアカウント値、及び前記文ペアカウント値を用いて、用語共起性スコアを得る、装置が提供される。
【００１７】
本発明の第２の態様の一実施形態によると、自然言語処理法で使用するための用語共起性スコアを計算する装置であって、用語は単語又は連続する単語のグループであり、当該装置では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、当該装置は、文シーケンス処理手段と共起性スコアセット計算手段とを有し、前記文シーケンス処理手段は、文書の中の全ての可能な文シーケンスの各々について、シーケンスの中の文の最小数は１であり、シーケンスの中の文の最大数は所定値であり、前記文シーケンスの中の文の数の減衰関数である重み値ｗを決定し、全部の前記決定した重み値の和に基づき、文シーケンスカウント値を決定し、文書用語カウント値を得て、前記文書用語カウント値は、全部の文シーケンスについて決定された文シーケンス用語カウント値の和であり、各々の文シーケンス用語カウント値は、文シーケンスの中で用語が生じる度数を示し且つ前記文シーケンスの重み値に基づき、全ての文シーケンスの中の全ての可能な異なる用語ペアの各々について、用語ペアは、文シーケンスの他方の用語とペアにされる、該文シーケンスの中の一方の文の中の用語で構成され、用語ペアが生じる全ての文シーケンスの重み値の和又は該和の前記倍数に等しい用語ペアカウント値を得て、共起性スコアセット計算手段は、各々の用語ペアについて、該ペアの中の用語の前記文書用語カウント値、前記用語ペアの前記用語ペアカウント値、及び前記文シーケンスカウント値を用いて、用語共起性スコアを得る、装置が提供される。
【００１８】
文シーケンスは、本願の文脈では、連続する及び／又は不連続な文のグループを意味すると理解されるべきである。
【００１９】
本発明の第１又は第２の態様の実施形態は、上述の条件Ａ、Ｂ、Ｃ、Ｄを満たす用語共起性スコアを計算できる。
【図面の簡単な説明】
【００２０】
例として、添付の図面を参照する。
【図１】文書セットを示す（上述した）。
【図２】従来技術の方法を用いて文書セットについて得られた値のセットを示す（上述した）。
【図３】本発明の第１の実施形態に従う装置のブロック図である。
【図４】共起性スコア演算ユニットの動作を示すフローチャートである。
【図５】文書セット入力ユニットの動作を示すフローチャート及び説明のための文書テーブルである。
【図６】文書セット処理ユニットの動作を示すフローチャート及び説明のための文書テーブルである。
【図７】文書処理ユニットの動作を示すフローチャート及び説明のための段落テーブルである。
【図８】段落処理ユニットの動作を示すフローチャート及び説明のための文テーブルである。
【図９】文処理ユニットの動作を示すフローチャート及び説明のための用語テーブルである。
【図１０】文ペアセット処理ユニットの動作を示すフローチャート及び説明のための文テーブルである。
【図１１Ａ】文ペア処理ユニットの動作を示すフローチャート及び説明のための文書テーブル、用語テーブル、文ペアカウントテーブル、用語カウントテーブル、及び用語ペアカウントテーブルである。
【図１１Ｂ】文ペア処理ユニットの動作を示すフローチャート及び説明のための文書テーブル、用語テーブル、文ペアカウントテーブル、用語カウントテーブル、及び用語ペアカウントテーブルである。
【図１２】共起性スコアセット計算ユニットの動作を示すフローチャート及び説明のための文ペアカウントテーブル、用語カウントテーブル、用語ペアカウントテーブル、用語確率テーブル、用語ペア確率テーブル、及び共起性スコアテーブルである。
【図１３Ａ】本発明の第１の実施形態による方法を用いて文書セットについて得られる値のセットを示す。
【図１３Ｂ】対応する文ペアカウントテーブル、用語カウントテーブル、及び用語ペアカウントテーブルを示す。
【図１４】本発明の第２の実施形態に従う装置のブロック図である。
【図１５】段落処理ユニットの動作を示すフローチャート及び説明のための文テーブルである。
【図１６】文シーケンスセット処理ユニットの動作を示すフローチャート及び説明のための文テーブルである。
【図１７Ａ】文ペア処理ユニットの動作を示すフローチャート及び説明のための用語テーブル、文シーケンスカウントテーブル、用語カウントテーブル、及び用語ペアカウントテーブルである。
【図１７Ｂ】文ペア処理ユニットの動作を示すフローチャート及び説明のための用語テーブル、文シーケンスカウントテーブル、用語カウントテーブル、及び用語ペアカウントテーブルである。
【図１７Ｃ】文ペア処理ユニットの動作を示すフローチャート及び説明のための用語テーブル、文シーケンスカウントテーブル、用語カウントテーブル、及び用語ペアカウントテーブルである。
【図１７Ｄ】文ペア処理ユニットの動作を示すフローチャート及び説明のための用語テーブル、文シーケンスカウントテーブル、用語カウントテーブル、及び用語ペアカウントテーブルである。
【図１８Ａ】本発明の第２の実施形態による方法を用いて文書セットについて得られる値のセットを示す。
【図１８Ｂ】対応する文シーケンスカウントテーブル、用語カウントテーブル、及び用語ペアカウントテーブルを示す。
【図１９】共起性スコアセット計算ユニットの動作を示すフローチャート及び説明のための文シーケンスカウントテーブル、用語カウントテーブル、用語ペアカウントテーブル、用語確率テーブル、用語ペア確率テーブル、及び共起性スコアテーブルである。
【発明を実施するための形態】
【００２１】
本発明の２つの例示的な実施形態を以下に説明する。第１の実施形態では、文ペアは、加重（ｗ）確率的試行として扱われる。ここで、文ペアはｗ＊２回生じ、２つの文のうちの各々の文の中の各々の用語はｗ回生じ、２つの文の間の各々の可能な用語ペアはｗ回生じる。種々の文距離（０を含む）を有する種々の文ペアは、文距離の減衰関数である重み（ｗ）により処理される。
【００２２】
第２の実施形態では、文シーケンスは、加重（ｗ）確率的試行として扱われる。ここで、文シーケンスはｗ回生じ、文シーケンスの中の各々の用語、及び文シーケンスの中の各々の可能な用語ペアはｗ回生じる。種々の文サイズを有する種々の文シーケンスは、文サイズの減衰関数である重み（ｗ）により処理される。
【００２３】
図３及び１４に示すように、本発明の第１及び第２の実施形態は、クライアント１が文書セットをサーバ２へ送り、サーバ２が共起性をクライアント１へ返すクライアントサーバシステムに関連して説明される。しかしながら、任意の他の妥当なシステムが採用されても良い。
【００２４】
また、留意すべきことに、得られた確率に基づく共起性スコアの計算は、ＭＰＭＩを参照して本願明細書において説明されるが、ＰＭＩ又は任意の他の可能な妥当なメトリックがＮＰＭＩの代わりに使用され得る。
【００２５】
＜第１の実施例＞
図３は、本発明の第１の実施形態に従う装置を有するシステムのブロック図を示す。図４〜１２は、第１の実施形態に従う方法のフローチャートを示す。
【００２６】
図３のサーバ２は、共起性スコア演算ユニット２０（用語共起性スコアを計算する装置）を有する。共起性スコア演算ユニット２０は、１又は複数のテキスト文書を分析し、個々の共起性スコアを、文書の中で生じる用語から用語のペアに属させ（ascribe  to）、それらの間の関連の程度を示すよう構成される。共起性スコア演算ユニット２０は、文書セット入力ユニット２１、文書セット処理ユニット２２、及び共起性スコアセット計算ユニット２３（共起性スコアセット計算手段）、及び関連するテーブル、つまり文書テーブル３０、段落テーブル３１、文テーブル３２、用語テーブル３３、文ペアカウントテーブル３４、用語カウントテーブル３５、用語ペアカウントテーブル３６、用語確率テーブル３７、用語ペア確率テーブル３８、及び共起性スコアテーブル３９、を有する。文書セット処理ユニット２２は、文書処理ユニット２４を有する。文書処理ユニット２４は、段落処理ユニット２５を有する。また、段落処理ユニット２５は、文処理ユニット２６及び文ペアセット処理ユニット２７を有する。文ペアセット処理ユニット２７は、文ペア処理ユニット２８（文ペア処理手段）を有する。
【００２７】
図４は、共起性スコア演算ユニット２０の動作のフローチャートである。共起性スコア演算ユニット２０は、自身の３個のサブユニット、つまり文書セット入力ユニット２１、文書セット処理ユニット２２、及び共起性スコアセット計算ユニット２３を呼び出す。
【００２８】
図５は、文書セット入力ユニット２１のフローチャートである。このユニットは、最初に、文書テーブル３０（後述する）を初期化する。次に、文書セット入力ユニット２１は、クライアント１からの文書セットを入力する。次に、文書セットの中の各々の文書について、文書セット入力ユニット２１は、文書を文書テーブル３０に格納する。図１の文書セットの最終的な文書テーブル３０は、表５−１として示される。
【００２９】
図６は、文書セット処理ユニット２２のフローチャートである。このユニットは、最初に、文ペアカウントテーブル３４、用語カウントテーブル３５、及び用語ペアカウントテーブル３６（後述する）を初期化する。次に、文書セット入力ユニット２１において生成された文書テーブル３０（表５−１）の中の各々の文書について、文書セット処理ユニット２２は、文書処理ユニット２４を呼び出す。
【００３０】
図７は、文書処理ユニット２４のフローチャートである。このユニットは、先ず、文書を入力する。図７では、文書テーブルの中の第１の文書についての処理が例示される。次に、このユニットは、段落テーブル３１（後述する）を初期化する。次に、文書処理ユニット２４は、文書を段落に分割し、それらを段落テーブル３１に格納する。１つの分割方法は、新しい行により文書を分割することである。別の方法は、文書を分割せず、文書は単一の段落として扱われる。他の任意の方法が採用され得る。文書処理ユニット２４が文書を段落に分割する理由は、文書よりも段落の方が適切な処理粒度であると考えられるからである。ここで本例では、第２の方法が簡単のために採用され、段落テーブル３１（表７−１）が生成される。次に、段落テーブル３１（表７−１）の中の各々の段落について、このユニットは、段落処理ユニット２５を呼び出す。
【００３１】
図８は、段落処理ユニット２５のフローチャートである。このユニットは、先ず、段落を入力する。図８では、文書テーブル３０の中の第１の文書の中の唯一の段落（表７−１）についての処理が例示される。次に、このユニットは、文テーブル３２及び用語テーブル３３（後述する）を初期化する。次に、段落処理ユニット２５は、段落を文に分割し、それらを文書の中の位置番号と共に文テーブル３２に格納する。１つの分割方法は、ピリオドにより文書を分割することである。他の任意の方法が採用され得る。ここで本例では、説明した方法が採用され、文テーブル３２（表８−１）が生成される。次に、文テーブル３２の中の各々の文について、このユニットは、文処理ユニット２６を呼び出す。
【００３２】
図９は、文処理ユニット２６のフローチャートである。このユニットは、先ず、文を入力する。図９では、文書テーブル３０の中の第１の文書の中の唯一の段落の中の第１及び第２の文（表８−１）についての処理が例示される。このユニットは、次に、文から用語を抽出し、それらを用語テーブル３３に格納する。用語を抽出するために、エンティティ認識と称される方法を含む任意の方法が採用され得る。ここで本例では、数字を伴う全ての「ｔ」は用語である。表９−１は第１の文を処理した後の中間用語テーブルであり、表９−２は第２の文を処理した後の用語テーブルである。
【００３３】
段落の中の全部の文についての文処理ユニット２６における処理の後、図８の段落処理ユニット２５は、文ペアセット処理ユニット２７を呼び出す。
【００３４】
図１０は、文ペアセット処理ユニット２７のフローチャートである。このユニットは、文テーブルの中の全ての可能な文ペアについて文ペア処理ユニット２８を呼び出す。それらは、同じ文を参照する要素を含むペアを有する。文距離に対する閾は、離れた文ペアを無視するために導入されても良い。文テーブル（表８−１）では、可能な文ペアは、（Ｓ１−１，Ｓ１−１）、（Ｓ１−２，Ｓ１−２）、（Ｓ１−１，Ｓ１−２）である。文ペアの順序は、最終結果に影響を与えない。
【００３５】
図１１は、文ペア処理ユニット２８のフローチャートである。文ペア処理ユニット２８は、以下の処理を実行するよう動作可能である。
（ａ）文書の中の全ての文ペアの各々について、文ペアの中の文の間の距離間隔の減衰関数である重み値ｗを決定する。
（ｂ）全ての決定された重み値の和に基づき、文ペアカウント値を決定する（文ペアカウント値は、全ての決定された重み値の和の２倍である）。
（ｃ）文書用語カウント値（「用語カウント値」）を得る。ここで、文書用語カウント値は、全ての文ペアについて決定された文ペア用語カウント値の和である。各々の文ペア用語カウント値は、用語が文ペアの中で生じる度数を示し、文ペアの重み値に基づく（用語の文ペア用語カウント値は、用語が生じる文ペアの重み値を、該ペアの中で用語が生じる文の数（つまり１又は２）により乗算したものである）。
（ｄ）全ての文ペアの中の全ての可能な異なる用語ペアについて、ここで用語ペアは、ペアの他方の文の中の異なる用語とペアにされた該ペアの一方の文の中の用語で構成され、用語ペアが生じる全ての文ペアの重み値の和である用語ペアカウント値を得る。
【００３６】
図１１Ａの例では、文ペア（Ｓ１−１，Ｓ１−１）及び（Ｓ１−１，Ｓ１−２）についての処理が示される。これら２つのペアは、以下に示すように説明のために、この順序で連続的に処理される。
【００３７】
先ず、このユニットは、文ペアを入力する。最初の処理では、文ペア処理ユニット２８は、（Ｓ１−１，Ｓ１−１）を入力する。次に、文ペア処理ユニット２８は、文ペアの中の２つの文の間の距離を計算する。距離は、それらの位置番号の間の差である。（Ｓ１−１，Ｓ１−１）では、両者の位置番号は０なので、距離は０（＝０−０）である。
【００３８】
次に、文ペア処理ユニット２８は、次式により文ペアの重みを計算する。
ｗ＝１／｛（距離＋１）×２｝
（Ｓ１−１，Ｓ１−１）について、距離は０なので、次式の通りである。
ｗ＝１／｛（０＋１）×２｝＝１／２
次に、このユニットは、ｗ＊２を既存の値に加算することにより、文ペアカウントテーブル３４を更新する（テーブル内に既存の値が存在しない場合、このユニットは、レコードを作成し、加算されるべき値を挿入する（あるいは、既存の値を０と見なす）。同様の処理が、以下のテーブル更新において実行される。）。（Ｓ１−１，Ｓ１−１）について、文ペアカウントテーブル３４は、説明した方法で、表１１−１に更新される。
【００３９】
次に、このユニットは、文ペアの中の第１の文の中の全ての用語について、用語カウントテーブル３５を更新する。文ペア処理ユニット２８は、各々の用語に対応する既存の値にｗを加算する。（Ｓ１−１，Ｓ１−１）について、用語カウントテーブル３５は、説明した方法で、表１１−２ａに更新される。
【００４０】
次に、このユニットは、同様に、文ペアの中の第２の文の中の全ての用語について、用語カウントテーブル３５を更新する。文ペア処理ユニット２８は、各々の用語に対応する既存の値にｗを加算する。（Ｓ１−１，Ｓ１−１）について、用語カウントテーブル３５は、説明した方法で、表１１−２ｂに更新される。
【００４１】
次に、このユニットは、第１及び第２の文の間の全ての可能な用語ペアについて、用語ペアカウントテーブル３６を更新する。文ペア処理ユニット２８は、各々の用語ペアに対応する既存の値にｗを加算する。留意すべきことに、同じ単語の共起性は意味がないので、同じ用語で構成される用語ペアは無視される。また、用語の順序は無関係であり処理を通じて一貫しているべきなので、用語ペアの中の２つの用語は、全ての用語ペアについて同じ方法で（例えば、アルファベット順に）計算の前にソートされる。（Ｓ１−１，Ｓ１−１）について、用語ペアカウントテーブル３６は、表１１−３ａ、表１１−３ｂ、表１１−３ｃ、表１１−３ｄ、表１１−３ｅ、及び表１１−３ｆに、図１１Ａを参照して記載した方法で、１つずつ更新される。
【００４２】
次の文ペア（Ｓ１−１，Ｓ１−２）についての処理は、同様に進む。ユニット２８は、先ず、（Ｓ１−１，Ｓ１−２）を入力する。次に、ユニット２８は、ペアの中の文の間の距離を、位置番号が０及び１なので、１（＝｜１−０｜）として計算する。ユニット２８は、次に、次の通りｗを計算する。
ｗ＝１／｛（１＋１）×２｝＝１／４
次にテーブルは、記載した方法で、表１１−４、表１１−５ａ、表１１−５ｂ、表１１−６ａ、表１１−６ｂ、表１１−６ｃ、表１１−６ｄ、表１１−６ｅ、表１１−６ｆに更新される。
【００４３】
上述のように、図６の文書セット処理ユニット２２は、文書テーブルの中の全ての文書を処理する。最後に、表１０１、表１０２、及び表１０３は、それぞれ文ペアカウントテーブル３４、用語カウントテーブル３５、及び用語ペアカウントテーブル３６として得られる。
【００４４】
図１３Ａは、目的を理解するために上述の計算を纏める。ブロック２、ブロック４、及びブロック６は、それぞれ図１３Ｂの表１０１、表１０２、及び表１０３に対応する。ブロック１、ブロック３、及びブロック５は、それぞれブロック２、ブロック４、及びブロック６の対応する列の中の最終的な値に加算された全ての値を記載する。
【００４５】
共起性スコアセット計算ユニット２３は、ペアの中の用語の文書用語カウント値、用語ペアの用語ペアカウント値、及び文ペアカウント値を用いて、各々の用語ペアについて用語共起性スコアを得るよう動作する。
【００４６】
図１２は、共起性スコアセット計算ユニット２３のフローチャートである。文ペアカウントテーブル（表１０１）、用語カウントテーブル（表１０２）、及び用語ペアカウントテーブル（表１０３）は、ユニット２３への入力である。
【００４７】
ユニット２３は、先ず、用語確率テーブル３７を生成する。用語カウントテーブル３５の中の各々の用語について、ユニット２３は、該用語である用語を有し且つ該用語の度数を文ペアカウントで除算した確率を有するレコードを挿入する。例えば、ｔ１の確率は５を１０で除算したもの、つまり１／２である。結果として、表１２−１が生成される。
【００４８】
次に、ユニット２３は、用語ペア確率テーブル３８を生成する。用語ペアカウントテーブル３６の中の各々の用語ペアについて、ユニット２３は、該用語ペアである用語ペアを有し且つ該用語ペアの度数を文ペアカウントで除算した確率を有するレコードを挿入する。例えば、（ｔ１，ｔ２）の確率は２を１０で除算したもの、つまり１／５である。結果として、表１２−２が生成される。
【００４９】
次に、ユニット２３は、共起性スコアテーブル３９を生成する。用語ペア確率テーブルの中の各々の用語ペアについて、ユニット２３は、該用語ペアである用語ペアを有し且つ式（１）＋（２）及び表１２−１及び表１２−２の中の確率により得られるＮＰＭＩ値であるスコアを有するレコードを挿入する。例えば、（ｔ１，ｔ２）のスコアは次式のように計算される。
ＰＭＩ（ｔ１，ｔ２）＝ｌｏｇ［（１／５）／｛（１／２）×（１／４）｝］＝０．２０４
ＮＰＭＩ（ｔ１，ｔ２）＝０．２０４／｛−ｌｏｇ（１／５）｝＝０．２９２
結果として、表１２−３が生成される。
【００５０】
最後に、ユニット２３は、共起性スコアテーブル３９をクライアント１へ出力する。クライアント１は、自身のアプリケーションのためにテーブル３９を使用する。
【００５１】
表１２−３の中の値を見ると、ｔ２（０．２９２）はｔ５（−０．３０６）よりもｔ１により関連し、ｔ２（０．２９２）及びｔ６（０．２９２）はｔ１に等しく関連することが分かる。これらの関係の両者は、前述の従来技術の方法を用いて捉えることはできない。
【００５２】
＜第２の実施形態＞
図１４は、本発明の第２の実施形態に従う装置を有するシステムのブロック図を示す。
【００５３】
図１４のサーバ２は、共起性スコア演算ユニット２００（用語共起性スコアを計算する装置）を有する。共起性スコア演算ユニット２００は、１又は複数のテキスト文書を分析し、個々の共起性スコアを、文書の中で生じる用語から用語のペアに属させ（ascribe  to）、それらの間の関連の程度を示すよう構成される。共起性スコア演算ユニット２００は、文書セット入力ユニット２１０、文書セット処理ユニット２２０、及び共起性スコアセット計算ユニット２３０（共起性スコアセット計算手段）、及び関連するテーブル、つまり文書テーブル３００、段落テーブル３１０、文テーブル３２０、用語テーブル３３０、文シーケンスカウントテーブル３４０、用語カウントテーブル３５０、用語ペアカウントテーブル３６０、用語確率テーブル３７０、用語ペア確率テーブル３８０、及び共起性スコアテーブル３９０、を有する。文書セット処理ユニット２２０は、文書処理ユニット２４０を有する。文書処理ユニット２４０は、段落処理ユニット２５０を有する。また、段落処理ユニット２５０は、文処理ユニット２６０及び文シーケンスセット処理ユニット２７０を有する。文シーケンスセット処理ユニット２７０は、文シーケンス処理ユニット２８０（文シーケンス処理手段）を有する。
【００５４】
本実施形態の段落処理ユニット２５０は、文ペア処理ユニット２８を内部に有する文ペアセット処理ユニット２７の代わりに、文シーケンス処理ユニット２８を内部に有する文シーケンスセット処理ユニット２７０を備える点で、第１の実施形態の段落処理ユニット２５と異なる。第２の実施形態の全部のユニットは、段落処理ユニット２５０、文シーケンスセット処理ユニット２７、及び文シーケンス処理ユニット２８０を除いて、第１の実施形態と同じである。この理由から、これらの３つのユニットのフローチャート（図１５、１６、１７）のみを以下に説明する。
【００５５】
図１５は、段落処理ユニット２５０のフローチャートである。このフローチャートは、第１の実施形態の図８と殆ど同じであるが、文ペアセット処理ユニット２７の代わりに文シーケンスセット処理ユニット２７０を含む点が異なる。全ての他の部分は同じであり、ここでの説明は省略される。
【００５６】
図１６は、文シーケンスセット処理ユニット２７０のフローチャートである。表８−１は、文テーブルの例として用いられる。このユニットは、文の数（「ｓｅｎｔｅｎｃｅ＿ｎｕｍｂｅｒ」）を計算する。本例では、数は２である。次に、ユニット２７０は、１から前置ウインドウサイズ閾（本例では３）までの全てのウインドウサイズについて、外側ループを実行する（ウインドウサイズは、文シーケンスの中の文の数を意味する）。
【００５７】
外側ループの各々の実行は次の通りである。ユニット２７０は、次式により文シーケンスの重みを計算する。
ｗ＝１／（ウインドウサイズ×ウインドウ閾）
ここで、「ウインドウサイズ」はループの始めに既に設定されたウインドウサイズであり、「ウインドウ閾」は上述の予め固定されたウインドウサイズ閾である（ウインドウ閾による除算が追加されるので、理解の容易さのために、用語の合計重みは１になる。これは既に必要ない。）。ウインドウサイズ１、２、及び３について、ｗは以下のように計算される。
ｗ＝１／（１×３）＝１／３、
ｗ＝１／（２×３）＝１／６、
ｗ＝１／（３×３）＝１／９
次に、ユニット２７０は、（１−ウインドウサイズ，０）から（文番号−１，ウインドウサイズ＋文番号−２）までの全てのウインドウ（ｉ，ｊ）について、内側ループを実行する。ここで、ウインドウ（ｉ，ｊ）は、文テーブルの中の文の最初及び最後のインデックスを意味する。インデックスは、０（０番目は最初の文である）から開始し、任意のインデックス＜０又は＞＝文番号は無視される（以下で「＄」として示される）。
【００５８】
内側ループの各々の実行は次の通りである。ユニット２７０は、文テーブルの中のｉ番目の文からｊ番目の文までの文シーケンスを取り入れる。全てのウインドウサイズについて全ての可能な文シーケンスを以下に示す。
ウインドウサイズ＝１（ｗ＝１／３）
・（ｉ，ｊ）＝（０，０）：「Ｓ１−１」
・（ｉ，ｊ）＝（１，１）：「Ｓ１−２」
ウインドウサイズ＝２（ｗ＝１／６）
・（ｉ，ｊ）＝（−１，０）：「＄，Ｓ１−１」
・（ｉ，ｊ）＝（０，１）：「Ｓ１−１，Ｓ１−２」
・（ｉ，ｊ）＝（１，２）：「Ｓ１−２，＄」
ウインドウサイズ＝３（ｗ＝１／９）
・（ｉ，ｊ）＝（−２，０）：「＄，＄，Ｓ１−１」
・（ｉ，ｊ）＝（−１，１）：「＄，Ｓ１−１，Ｓ１−２」
・（ｉ，ｊ）＝（０，２）：「Ｓ１−１，Ｓ１−２，＄」
・（ｉ，ｊ）＝（１，３）：「Ｓ１−２，＄，＄」
次に、ユニット２７０は、各々の文シーケンスについて、文シーケンス処理ユニット２８０を呼び出す。
【００５９】
図１７は、文シーケンス処理ユニット２８０のフローチャートである。ユニット２７０は、先ず、文シーケンス及び上述の計算したｗを入力する。次に、ユニット２７０は、以下に示すように文シーケンスの中の（無視される重複する用語以外の）全ての用語を抽出する。
ウインドウサイズ＝１（ｗ＝１／３）
・「Ｓ１−１」：｛ｔ１，ｔ２，ｔ３｝
・「Ｓ１−２」：｛ｔ４，ｔ５｝
ウインドウサイズ＝２（ｗ＝１／６）
・「＄，Ｓ１−１」：｛ｔ１，ｔ２，ｔ３｝
・「Ｓ１−１，Ｓ１−２」：｛ｔ１，ｔ２，ｔ３，ｔ４，ｔ５｝
・「Ｓ１−２，＄」：｛ｔ４，ｔ５｝
ウインドウサイズ＝３（ｗ＝１／９）
・「＄，＄，Ｓ１−１」：｛ｔ１，ｔ２，ｔ３｝
・「＄，Ｓ１−１，Ｓ１−２」：｛ｔ１，ｔ２，ｔ３，ｔ４，ｔ５｝
・「Ｓ１−１，Ｓ１−２，＄」：｛ｔ１，ｔ２，ｔ３，ｔ４，ｔ５｝
・「Ｓ１−１，Ｓ１−２，＄」：｛ｔ４，ｔ５｝
次に、ユニット２７０は、３つのテーブルを更新する。第一に、ユニット２７０は、ｗを加算することにより、文シーケンスカウントテーブル３４０を更新する。第二に、ユニット２７０は、上述の抽出された全部の用語について、各々の列にｗを加算することにより、用語カウントテーブル３５０を更新する。第三に、ユニット２７０は、上述の抽出された全部の用語の全ての可能な用語ペアについて、各々の列にｗを加算することにより、用語ペアカウントテーブル３６０を更新する。図１７ｂ〜１７ｄに示す表１７−１ａから表１７−９ｃまでの２７個の表は、以上に示された９個の文シーケンスの全部について更新がどのように進むかを示す。
【００６０】
上述のように、文書セット処理ユニット２２０は、図６の文書セット処理ユニット２２と同様に、文書テーブル３００の中の全ての文書を処理する。最後に、表１０４、表１０５、及び表１０６は、それぞれ文シーケンスカウントテーブル３４０、用語カウントテーブル３５０、及び用語ペアカウントテーブル３６０として得られる。
【００６１】
図１８Ａは、目的を理解するために上述の計算を纏める。ブロック２、ブロック４、及びブロック６は、それぞれ表１０４、表１０５、及び表１０６に対応する。ブロック１、ブロック３、及びブロック５は、それぞれブロック２、ブロック４、及びブロック６の対応する列の中の最終的な値に加算された全ての値を記載する。
【００６２】
図１９は、共起性スコアセット計算ユニット２３０のフローチャートである。ユニット２３０の動作は、添付の例が異なる点を除き、図１２のユニット２３の動作と同じである。文シーケンステーブル３４０（表１０４）、用語カウントテーブル３５０（表１０５）、及び用語ペアカウントテーブル３６０（表１０６）は、ユニット２３０への入力である。計算は、第１の実施形態のユニット２３と同様に進む。結果として、表１９−１、表１９−２、及び表１９−３が順に生成される。
【００６３】
表１９−３の中の値を見ると、ｔ２（０．４０８）はｔ５（−０．２２１）よりもｔ１により関連し、ｔ２（０．４０８）及びｔ６（０．４０８）はｔ１に等しく関連することが分かる。これらの関係の両者は、前述の従来技術の方法を用いて捉えることはできない。
【００６４】
上述の４つの条件（以下に再掲する）は、両方の実施形態において満たされる。
Ａ．１又は複数の文境界に跨り共起する２つの用語が考慮されるべきである。
Ｂ．２つの用語ペアが文書レベルで同じように共起する場合、及び１つのペアが他社よりも文書の中で近くで共起する傾向がある場合、前者に高いスコアを与える。
Ｃ．文の長さ（用語数）は結果に影響してはならない。
Ｄ．スコアは、確率的に定められるべきである。
【００６５】
条件Ａに関し、同じ文の中で決して共起しない（ｔ１，ｔ５）のペアが考慮される。条件Ｂに関し、ＮＰＭＩ（ｔ１，ｔ２）＞ＮＰＭＩ（ｔ１，ｔ５）が保たれる。条件Ｃに関し、ＮＰＭＩ（ｔ１，ｔ２）＝ＮＰＭＩ（ｔ１，ｔ６）が保たれる。条件Ｄに関し、全ての確率は良好に定められ、確率が計算された後の追加調整は必要ない。
【００６６】
以上の実施形態に加え、更に以下の付記を開示する。
（付記１）  自然言語処理法で使用するための用語共起性スコアを計算する装置であって、用語は単語又は連続する単語のグループであり、当該装置では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、当該装置は、文ペア処理手段と共起性スコアセット計算手段とを有し、
前記文ペア処理手段は、
文書の中の全ての文ペアの各々について、前記文ペアの中の文の間の距離間隔の減衰関数である重み値ｗを決定し、
全部の前記決定した重み値の和の２倍である文ペアカウント値を決定し、
文書用語カウント値を得て、前記文書用語カウント値は、全部の文ペアについて決定された文ペア用語カウント値の和であり、各々の文ペア用語カウント値は、文ペアの中で用語が生じる度数を示し且つ該用語が生じる文ペアの重み値を用語が該ペアの中で生じる文の数により乗算したものであり、
全ての文ペアの中の全ての可能な異なる用語ペアの各々について、用語ペアは、ペアの他方の文の中の異なる用語とペアにされる、該ペアの中の一方の文の中の用語で構成され、用語ペアが生じる全ての文ペアの重み値の和である用語ペアカウント値を得て、
共起性スコアセット計算手段は、各々の用語ペアについて、該ペアの中の用語の前記文書用語カウント値、前記用語ペアの前記用語ペアカウント値、及び前記文ペアカウント値を用いて、用語共起性スコアを得る、
装置。
（付記２）  前記文ペア処理手段は、ペアを含む文ペアを処理し、前記ペアの中の２つの文は、該文が１より多くの用語を含む場合、同じ文である、付記１に記載の装置。
（付記３）  前記重み値ｗ＝１／（ｄ＋１）＊２であり、ｄはペアの中の文の間の距離間隔である、付記１又は２に記載の装置。
（付記４）  前記共起性スコアセット計算手段は、
前記文書用語カウント値及び前記文ペアカウント値を用いて、各々の用語について、用語確率値Ｐ（ａ）を得て、
前記用語ペアカウント値及び前記文ペアカウント値を用いて、各々の用語ペアについて用語ペア確率値Ｐ（ａ，ｂ）を得て、
前記ペアの中の前記用語の前記用語確率値及び前記用語ペアの前記用語ペア確率値を用いて、各々の用語ペアについて前記用語共起性スコアを計算する、
付記１、２、又は３に記載の装置。
（付記５）  自然言語処理法で使用するための用語共起性スコアを計算する処理であって、用語は単語又は連続する単語のグループであり、当該処理では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、当該用語共起性スコアを計算する処理は、
文書の中の全ての文ペアの各々について、前記文ペアの中の文の間の距離間隔の減衰関数である重み値ｗを決定するステップと、
全部の前記決定した重み値の和の２倍である文ペアカウント値を決定するステップと、
文書用語カウント値を得るステップであって、前記文書用語カウント値は、全部の文ペアについて決定された文ペア用語カウント値の和であり、各々の文ペア用語カウント値は、文ペアの中で用語が生じる度数を示し且つ該用語が生じる文ペアの重み値を用語が該ペアの中で生じる文の数により乗算したものである、ステップと、
全ての文ペアの中の全ての可能な異なる用語ペアの各々について、用語ペアは、ペアの他方の文の中の異なる用語とペアにされる、該ペアの中の一方の文の中の用語で構成され、用語ペアが生じる全ての文ペアの重み値の和である用語ペアカウント値を得るステップと、
各々の用語ペアについて、該ペアの中の用語の前記文書用語カウント値、前記用語ペアの前記用語ペアカウント値、及び前記文ペアカウント値を用いて、用語共起性スコアを得るステップと、
を有する処理。
（付記６）  装置により処理される前記文ペアは、前記ペアの中の２つの文は、該文が１より多くの用語を含む場合、同じ文である、付記５に記載の処理。
（付記７）  前記重み値ｗ＝１／（ｄ＋１）＊２であり、ｄはペアの中の文の間の距離間隔である、付記５又は６に記載の処理。
（付記８）  各々の用語ペアについて用語共起性スコアを得るステップは、
前記文書用語カウント値及び前記文ペアカウント値を用いて、各々の用語について、用語確率値Ｐ（ａ）を得るステップと、
前記用語ペアカウント値及び前記文ペアカウント値を用いて、各々の用語ペアについて用語ペア確率値Ｐ（ａ，ｂ）を得るステップと、
前記ペアの中の前記用語の前記用語確率値及び前記用語ペアの前記用語ペア確率値を用いて、各々の用語ペアについて前記用語共起性スコアを計算するステップと、
を有する、付記５、６、又は７に記載の処理。
（付記９）  自然言語処理法で使用するための用語共起性スコアを計算する装置であって、用語は単語又は連続する単語のグループであり、当該装置では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、当該装置は、文シーケンス処理手段と共起性スコアセット計算手段とを有し、
前記文シーケンス処理手段は、
文書の中の全ての可能な文シーケンスの各々について、シーケンスの中の文の最小数は１であり、シーケンスの中の文の最大数は所定値であり、前記文シーケンスの中の文の数の減衰関数である重み値ｗを決定し、
全部の前記決定した重み値の和に基づき、文シーケンスカウント値を決定し、
文書用語カウント値を得て、前記文書用語カウント値は、全部の文シーケンスについて決定された文シーケンス用語カウント値の和であり、各々の文シーケンス用語カウント値は、文シーケンスの中で用語が生じる度数を示し且つ前記文シーケンスの重み値に基づき、
全ての文シーケンスの中の全ての可能な異なる用語ペアの各々について、用語ペアは、ペアの他方の文の中の異なる用語とペアにされる、該ペアの中の一方の文の中の用語で構成され、用語ペアが生じる全ての文シーケンスの重み値の和である用語ペアカウント値を得て、
共起性スコアセット計算手段は、各々の用語ペアについて、該ペアの中の用語の前記文書用語カウント値、前記用語ペアの前記用語ペアカウント値、及び前記文シーケンスカウント値を用いて、用語共起性スコアを得る、
装置。
（付記１０）  ２以上の文の文シーケンスについて、前記文シーケンス処理手段は、文の１以上が用語を有しないダミー文である文を含む文シーケンスを処理する、付記９に記載の装置。
（付記１１）  前記重み値ｗは、１をシーケンスの中の文の数で除算したもの、及び任意的に文の所定最大数により除算したものに等しい、付記９又は１０に記載の装置。
（付記１２）  前記文シーケンスカウント値は、全部の前記決定した重み値の和である、付記１１に記載の装置。
（付記１３）  用語の各々の文シーケンス用語カウント値は、前記用語が生じる文シーケンスの重み値である、付記１１又は１２に記載の装置。
（付記１４）  前記共起性スコアセット計算手段は、
前記文書用語カウント値及び前記文シーケンスカウント値を用いて、各々の用語について、用語確率値Ｐ（ａ）を得て、
前記用語ペアカウント値及び前記文シーケンスカウント値を用いて、各々の用語ペアについて用語ペア確率値Ｐ（ａ，ｂ）を得て、
前記ペアの中の前記用語の前記用語確率値及び前記用語ペアの前記用語ペア確率値を用いて、各々の用語ペアについて前記用語共起性スコアを計算する、
付記９乃至１３のいずれか一項に記載の装置。
（付記１５）  自然言語処理法で使用するための用語共起性スコアを計算する処理であって、用語は単語又は連続する単語のグループであり、当該処理では、少なくとも１つのテキスト文書が分析され、前記文書の中で生じる用語からの用語ペアに個々の共起性スコアを属させて、それらの間の関連の程度を示し、前記用語共起性スコアを計算する処理は、
文書の中の全ての可能な文シーケンスの各々について、シーケンスの中の文の最小数は１であり、シーケンスの中の文の最大数は所定値であり、前記文シーケンスの中の文の数の減衰関数である重み値ｗを決定するステップと、
全部の前記決定した重み値の和に基づき、文シーケンスカウント値を決定するステップと、
文書用語カウント値を得るステップであって、前記文書用語カウント値は、全部の文シーケンスについて決定された文シーケンス用語カウント値の和であり、各々の文シーケンス用語カウント値は、文シーケンスの中で用語が生じる度数を示し且つ前記文シーケンスの重み値に基づく、ステップと、
全ての文シーケンスの中の全ての可能な異なる用語ペアの各々について、用語ペアは、文シーケンスの中の他方の用語とペアにされる、該文シーケンスの中の用語で構成され、用語ペアが生じる全ての文シーケンスの重み値の和である用語ペアカウント値を得るステップと、
各々の用語ペアについて、該ペアの中の用語の前記文書用語カウント値、前記用語ペアの前記用語ペアカウント値、及び前記文シーケンスカウント値を用いて、用語共起性スコアを得るステップと、
を有する処理。
（付記１６）  ２以上の文の文シーケンスについて、装置により処理される文シーケンスは、文の１以上が用語を有しないダミー文である、付記１５に記載の処理。
（付記１７）  前記重み値ｗは、１をシーケンスの中の文の数で除算したもの、及び任意的に文の所定最大数により除算したものに等しい、付記１５又は１６に記載の処理。
（付記１８）  前記文シーケンスカウント値は、全部の前記決定した重み値の和である、付記１７に記載の処理。
（付記１９）  用語の各々の文シーケンス用語カウント値は、前記用語が生じる文シーケンスの重み値である、付記１７又は１８に記載の処理。
（付記２０）  各々の用語ペアについて用語共起性スコアを得るステップは、
前記文書用語カウント値及び前記文シーケンスカウント値を用いて、各々の用語について、用語確率値Ｐ（ａ）を得るステップと、
前記用語ペアカウント値及び前記文シーケンスカウント値を用いて、各々の用語ペアについて用語ペア確率値Ｐ（ａ，ｂ）を得るステップと、
前記ペアの中の前記用語の前記用語確率値及び前記用語ペアの前記用語ペア確率値を用いて、各々の用語ペアについて前記用語共起性スコアを計算するステップと、
を有する、付記１５乃至１９のいずれか一項に記載の処理。
【符号の説明】
【００６７】
１  クライアント
２  サーバ
２０  共起性スコア演算ユニット
２１  文書セット入力ユニット
２２  文書セット処理ユニット
２３  共起性スコアセット計算ユニット
２４  文書処理ユニット
２５  段落処理ユニット
２６  文処理ユニット
２７  文ペアセット処理ユニット
２８  文ペア処理ユニット
３０  文書テーブル
３１  段落テーブル
３２  文テーブル
３３  用語テーブル
３４  文ペアカウントテーブル
３５  用語カウントテーブル
３６  用語ペアカウントテーブル
３７  用語確率テーブル
３８  用語ペア確率テーブル
３９  共起性スコアテーブル
【図１】
0006690373.tif 000002
【図２】
0006690373.tif 000003
【図３】
0006690373.tif 000004
【図４】
0006690373.tif 000005
【図５】
0006690373.tif 000006
【図６】
0006690373.tif 000007
【図７】
0006690373.tif 000008
【図８】
0006690373.tif 000009
【図９】
0006690373.tif 000010
【図１０】
0006690373.tif 000011
【図１１Ａ】
0006690373.tif 000012
【図１１Ｂ】
0006690373.tif 000013
【図１２】
0006690373.tif 000014
【図１３Ａ】
0006690373.tif 000015
【図１３Ｂ】
0006690373.tif 000016
【図１４】
0006690373.tif 000017
【図１５】
0006690373.tif 000018
【図１６】
0006690373.tif 000019
【図１７Ａ】
0006690373.tif 000020
【図１７Ｂ】
0006690373.tif 000021
【図１７Ｃ】
0006690373.tif 000022
【図１７Ｄ】
0006690373.tif 000023
【図１８Ａ】
0006690373.tif 000024
【図１８Ｂ】
0006690373.tif 000025
【図１９】
0006690373.tif 000026