(57)【特許請求の範囲】
【請求項１】
プロセッサ及びメモリを用いて、該メモリに格納された文書コーパスの文書内のワードの語彙同時出現に基づいてワードベクトルのシソーラスを作成する方法であって、
前記プロセッサによって、前記コーパスから第１ワードを検索し、
前記プロセッサによって、前記コーパス内において前記第１ワードの所定の範囲内で第２ワードが同時出現する回数を記録し、
前記プロセッサによって、前記コーパス内において前記第１ワードの前記所定の範囲内で前記第２ワード以外の全てのワードが同時出現する回数を該第２ワード以外のワードの各々について記録するように前記記録ステップを繰り返し、
前記プロセッサによって、すべての記録した回数に基づいて前記ワードに対するワードベクトルを生成し、前記記録した回数は前記ワードベクトルの各要素に対応しており、
前記プロセッサによって、前記検索ステップと前記記録ステップと前記繰り返しステップと前記ベクトル生成ステップとを、前記コーパス内の各ワードについて繰り返し、
前記プロセッサによって、前記コーパスの前記生成されたワードベクトルの全てを用いてワードベクトルのマトリックスを形成することを包含し、
前記マトリックスの形成ステップは、
前記コーパス内において、比較的少数のワードから成る低カバー範囲のワードの第１サブセットから第１マトリックスを形成し、該第１マトリックスの各要素は、前記第１サブセット内における２つのワードが前記所定範囲内で同時出現する回数を記録したワードベクトルであり、
前記第１マトリックスをクラスタリングアルゴリズムによって複数のグループへクラスタ化し、カバー範囲の小さい低カバレージのワードクラスタのセットを形成し、
前記コーパス内において、前記低カバレージのワードクラスタと、前記第１サブセットより多いワード数から成る高カバー範囲のワードの第２サブセットとから第２マトリックスを形成し、前記第２マトリックスの各要素は、前記第２サブセットの各ワードが前記所定範囲内で前記低カバレージのワードクラスタのセットの各クラスタの各ワードと同時出現する回数を記録したワードベクトルであり、
前記第２マトリックスをクラスタリングアルゴリズムによって、複数のグループへクラスタ化し、カバー範囲の大きい高カバレージのワードクラスタのセットを形成し、
前記高カバレージのワードクラスタと前記コーパス内の全ワードとから、第３マトリックスを形成し、前記第３マトリックスの各要素は、前記コーパスの各ワードが前記所定範囲内で前記高カバレージのワードクラスタのセットの各クラスタの各ワードと同時出現する回数を記録したワードベクトルであり、
前記第３マトリックスの次元を、該第３マトリックスの各要素をコンパクトなベクトルとして表示するように、単一値分解を用いて縮小すること
から成ることを特徴とするシソーラス作成方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、文書のコーパス（corpus）から関連文書を検索する方法の改善に関するものである。より詳細には、本発明は、文書内のワードの同時出現パターンを決定し、ワードベクトルのシソーラス(thesaurus) を作成する方法に関するものである。
【０００２】
【従来の技術】
情報検索システムは、一般に、一致するワードの加重和の面から問い合わせ（query)と文書（document) との類似を定義する。通常の方法は、文書と問い合わせを長ベクトルとして表現し、類似探索手法を使用する。第１の問題は、問い合わせと文書が異なる意味で使用されたあいまいなワードを共有するかも知れないことである。このために、誤った類似の一致が起きることがある（あいまいさの問題）。第２の問題は、同じ内容が異なるワードで表現されるかも知れないことである。このために、短い問い合わせは関連文書を見逃すことがある（同義性の問題）。もしある文書が関連があるにもかかわらず、問い合わせの中のワードと同義のワードを使用していれば、その文書を見つけ出すことができない。
【０００３】
１つの解決策は、関連のあるフィードバックによって問い合わせを長くすることである。初回の問い合わせを用いて最初の探索を行なった後、次回の探索を繰り返すとき探索を絞るため、追加ワードを問い合わせに加える。
【０００４】
もう１つの解決策は、シソーラス内で見つけた同義語関係によって問い合わせを拡張することである。同義語関係は、「構文上および意味上の置き換え可能なワード」と対照的に「密接に関連のあるワード」を発見する関係である。このため、手続きはただあるワードから他の密接に関連のあるワードへマップする。
【０００５】
シーソラスが情報の検索に役に立つためには、問題のコーパス内に使用されているワードに対する同義語を提示する程度に明確でなけばならない。例えば、コンピュータサイエンス文書のコーパスにおいて、ワード“interpreter ”は日常言語とは全く違った意味をもつであろう。さらに、シソーラスは、可能性として無限の固有名詞の集合を含め、問い合わせ内に見られる全部または大部分のワードを含んでいなければならない。
【０００６】
これら２つの考察は、通常の使用に限定される汎用シソーラスがおそらく役に立たないことを示唆している。従って、シソーラスを問題のコーパスに適合させなければならない。シソーラスは限定された領域については手作りすることもできるであろうし、あるいはコーパス自体のテキストから計算することもできるであろう。
【０００７】
シソーラスはワード間の意味上の関連性（semantic relatedness) を定義するデータ構造である。シソーラスは、一般に情報検索において、密接に関連のある他のワードで探索ターム (search terms）を拡張するために使用される。例えシソーラスを明白に計算しなくても、問い合わせを拡張して実行したマッピングはシソーラスを明白に定義する。
【０００８】
シソーラス作成に対する最も簡単で、たぶん最もありふれた手法は、明示意味マッピングテーブルを手動で作成することである。これは明らかに労働集約的であり、従って反復使用によってそのコストを正当化することができる特殊な領域においてのみ可能である。例えば、 RUBRIC and TOPIC テキスト探索システムは、特定の主題の分野と密接な関係がある「主題（topics) 」の階層的構造を作成するためにドメインエキスパートが必要である( McCune  その他の論文“Rubric, A System for Rule-baced Information Retrieval ”; IEEE Transactions on Software Engineering 9; pp. 939-944; 1985  参照）。各主題は他の主題と探索タームの論理結合（boolean combination)である。探索装置は、この階層からのタームを使用して、複雑な論理式へ自動的に拡張する「問い合わせ」を作成する。
【０００９】
もう１つの手法は、 WordNet (see Voorhees et al.;  “Vector Expansion in a Large Collection”; Proceedings of TREC, 1992.) または Longman's subject codes (see Liddy et al.; “Statistically-guided Word Sense Disambiguation”; Working Notes of the AAAI Fall Symposium on Probabilistic Approaches to National Language; 1992 AAAI Press) など、既存のオンライン辞書編集データベースを再利用することである。しかし、この種の汎用シソーラスは手元でテキスト収集ができる程度に明確でないことが多いであろう。例えば、Voorhees et al. において、“acts”は、法律文書のコーパスの中の“acts of the apostles”の意味で拡張される。さらに、それらは、固有名詞がしばしばよい検索の手掛かりになるにもかかわらず、固有名詞に関する情報を記録していないことが多い。
【００１０】
コーパスベース方法は、コーパス内の文書のテキストに関して計算を実行してシソーラスを生成する。例えば、階層シソーラスは複雑な名詞句のコンピュータリスト（包摂される命題（subsumption)がタームについて定義された部分集合とおおざっぱに対応している、例えば“intelligence”は“artificial intelligence ”を包摂している）から作られる（Evans et al,; “Automatic Indexing Using Selective NLP and First-order Thesauri ”; Proceedings of the RIAO; Vol.2, pp. 624-643; 1991 参照) 。この方法は、タームを非分析セグメントとして扱う手法よりすぐれているが、基本タームの意味の類似（semantic similarity ) を考えていない。例えば、“astronaut ”と“cosmonaut ”の意味の類似は階層の中に表現されていない。
【００１１】
意味上の近さ (semantic closeness) を判断するために、主要語（head) −修飾語 (modifier) の関係を使用することができる（Grefenstette,G.;“Use of Syntactic Context to Produce Term Association Lists for Text Retrieval ”Proceedings of SIGIR 1992; pp. 89-97  および Ruge,G.; “Experiments on Linguistically-based Term Associations ”；Information Processing & Management 28(3); pp. 317-332; 1992  参照) 。この解決策は、文の中の主要語−修飾語の関係を決定するために文解剖 (parsing)手法を必要とするので、費用がかかる。さらに、類似した主要語または修飾語を持つどんな範囲のワードが拡張のための良い候補であるかはっきりしない。例えば、国を指す形容詞は類似した主要語を有する（“the Japanese/Chilean capital”, “the Japanese/Chilean goverment”) 、しかし“Chilean ”を含む問い合わせに“Japanese”を追加しても、ほとんど良い結果を生み出さないであろう。
【００１２】
意味上の関連性は、文書内のタームの出現を考察することによって判断することができる（Crouch,C.;“An Approach to the Automatic Construction of Global Thesauri”; Information Processing & Management 26(5); pp. 629-640; 1990  参照) 。文書は類似測度に基づいて小グループにクラスタ化される。２つの文書は、もしこれらが優先的に加重された中間度数のタームと共にかなりの数のタームを共有していれば、類似していると見なされる。次に、タームはそれらの文書クラスタにおける出現によって分類される。完全リンク文書クラスタ化を実行するので、手続きは計算集約的であり、大きな参照用コーパスには合っていない。さらに、もしタームが同じ文書の中にしばしば出現すれば、それらは関係があるという中核的仮定は、長い文書を有するコーパスには問題があるように見える。上記の仮定は、さらに、同義語は同時出現しないが、類似した同時出現パターンを有しているという直観的な観念を捉えていない。
【００１３】
Crouch はワードを関連ワードのビンに分類することによってシソーラスのクラスを作っている。都合の悪いことに、クラス間の境界がある程度人工的になることは避けられないであろう。もしクラスが小さ過ぎれば、一部のワードが主題の近隣区域の一部から切り捨てられるであろう。もしクラスが大き過ぎれば、ワードが異なる主題からのワードと一緒にクラスに押し込まれるであろう。どんな個々のクラスサイズも、一部のワードを近い隣人（neighors) から分離したり、あるいは一部のワードを隔たったたタームと一緒にするであろう。
【００１４】
シソーラスは、文書内のタームについて類似測度（similarity measure) を定義することによって作ることができる（Qiu et al.; “Concept Based Query Expansion ”; Proceedings of SIGIR 1993 参照) 。タームは、コーパス内の各文書ごとにコンポーネントを有する高次元ベクトルとして表される。各コンポーネントの値は、タームがその文書内で有する度数の関数である。それらは、べクトルに対し余弦類似測度を使用する問い合わせの拡張によって、検索性能が改善されることを示している。しかし、タームベクトルが高次元であるので、ターム同志の類似を計算する時間複雑性は、コーパスのサイズに関係している。従って、この方法を大規模に使用することはできない。
【００１５】
また、情報探索に大規模な単一値分解（singular value decomposition) を使用することができる（Deerwester et al.;  “Indexing by Latent Semantic Analysis”; Journal of the American Society of Information Science 41(6)；pp. 391-407; 1990 参照) 。ターム依存性を反映し、かつ少ないカウントのむらを矯正する表現を文書に含めることによって、探索性能を向上させることができる。しかし、文書出現が表現の基礎である場合には、検出されないターム依存性と少ないカウントが問題になる。
【００１６】
ＬＳＩ（Latent Semantic Indexing）アルゴリズムは、文書および問い合わせベクトルをタームベクトルの加重和として計算することができるので、Deerwester  の方法は文脈ベクトル（context voctor) に類似している。しかし、ＬＳＩは文書出現に基づいている。時間複雑性は処理する文書数の二次式であるので、大きなコレクションの（ターム×文書）マトリックスを分解するには、数日ないし数週間かかることがある。
【００１７】
文書は、ベクトルのエントリーが finance, animal kingdom, etc.のようなマイクロフィーチャー（microfeature) に対応しているベクトルとして表すことができる（Gallant, S.;  “A Practical Approach for Representating Context and for Performing Word Sense Disambiguation Using Neural Networks”； Neural Computation 3(3); pp. 293-309; 1991 参照) 。ワードベクトルは中程度の数のワードについては手動で符号化される。次に文書ベクトルがワードベクトルの和として計算される。しかし、文書の手動符号化は労働集約的である。その上、選定したマイクロフィーチャーあるいは手動符号化が文書コレクションの細目を正確に反映していないことがある。
【００１８】
機械読取り可能な辞書を使用して「文脈ベクトル」を得ることができる（Wilks et al., “Providing Machine Tractable Dictionary Tools”; Machine Translation; Vol.5, No. 2, pp. 99-154; 1990 参照) 。ワードの表現は、コーパス内でなく辞書内に同時出現するワードに基づいている。次に、これらの辞書ベースワード表現から文脈ベクトルが計算される。この方法は他の辞書ベース手法と同じ問題を有する。詳しく述べると、辞書ベース表現では、辞書に含まれていないジャンル−明確な特徴が適切に表現されない。
【００１９】
一部の研究者は同時出現ベース拡張の有効性に反論している（Peat et al.;  “The Limitations of Term Co-occurrence Data for Query Expansion in Document Retrieval Systems”; Journal of the American Sociaty for Information Sciencd 42(5); pp. 378-383; 1991  参照) 。彼らは、同義語が一緒に出現しないことが多いので、同時出現ベース手法によって同義語関係を識別することは困難であると力説している。また、多くの研究者は度数に従ってワードを分類するため近さ（closeness)を定義する測度を使用している。これらの測度を使用すれば、頻出ワードは非頻出隣人を持つことができない。
【００２０】
【発明が解決しようとする課題】
本発明の目的は、コーパス内のタームの語彙同時出現に基づいてシソーラスを作成する、コーパスをベースとする新規な方法を提供することである。
【００２１】
本発明のもう１つの目的は、内容の類似に基づいて文書にアクセスし、走査検索する方法を提供することである。ワードと文書は大域語彙同時出現パターンから導いた同じ多次元空間内のベクトルとして表される。本方法は、問い合わせによる非リテラル一致のための向上した検索性能を作り上げる。
【００２２】
【課題を解決するための手段】
語彙同時出現シソーラスの計算は２段階で進行する。最初に、各ワードの語彙同時出現パターンを多次元ベクトルすなわちシソーラスベクトルとして提示する。第２に、これらのベクトルを比較することにより、ワードに対し類似測度を導入する。次に、個々のワードが与えられたとして、その同義語を類似測度に対し最も近い隣人であると定義する。ワードの語彙同時出現構造を利用する、すなわち単にワード自体からでなく、その近い語彙隣人のエントリからワードのベクトル表現を作るこの方法は、従来の方法よりもすぐれている。
【００２３】
語彙同時出現は質的および量的に多くの情報を与える。２つのタームは、もしそれらがテキスト内に互いに一定の距離の範囲すなわちｋ個のワードのウィンドウ内に現れれば、語彙的に同時出現する。量的に、２つのワードがしばしばお互いの近くに出現する事実は、それらが同じ文書内に出現する事実より重要であると思われる。量的に、同時出現事象は、与えられた文書コレクション内の文書内出現事象より多く存在する。ワードが文書コレクション内にｎ回出現し、かつ同時出現の定義がｋ個のワードのウィンドウ内に出現することとして、同時出現事象はｎｋ個ある。これに対し、文書内出現事象はｎ個だけである。もし目的が特定のワードに関する情報を得ることであれば、語彙同時出現は統計的シソーラス作成の好ましい基礎になる。
【００２４】
同義語はほとんど同時出現しない。同義語は一緒に出現する隣人を共有する傾向がある。例えば“litigation”や“lawsuit ”は、“court ”、“judge ”、“proceedings ”などの隣人を共有する。語彙同時出現パターンで表されたシソーラスは共通の隣人の面から「意味上の近さ」を定義する。従って、同義語は同時出現する必要はないが、類似する同時出現パターンを有していなければならない。
【００２５】
本方法は、各ワードのシソーラスベクトルがその個々の位置を表している多次元連続空間を作る。連続空間は分類の選択を強要しないので、それに付随する問題の一部が避けられる。
【００２６】
シソーラス空間の次元数を単一値分解を用いて縮小する。タームはそれらのタームベクトル内にほぼ同じ数の零エントリを有するので、等しい度数を有するタームが近くにくることが起きる。与えられたタームについて、単一値分解は空間のすべての次元に値を割り当てるので、もし頻出タームと非頻出タームが類似したタームと共に出現すれば、頻出タームと非頻出タームが縮小した空間内で近くにくることがある。例えば、ワード“accident”( ２５９０回出現することがある）とワード“mishaps ”（１２９回出現することがある）は、それらの度数の差にもかかわらず、近くに類似ベクトルを有することがある。この単一値分解の手法を使用して、探索のために簡潔な扱いやすい表現を得ることによって次元の縮小が行われる。ワードおよび文書に対する一様な表現は、問い合わせの焦点合せおよび拡張のための簡単な洗練されたユーザーインタフェースを提供する。
【００２７】
シソーラスベクトルを作成したあと、各文書ごとに文脈ベクトルを計算する。文脈ベクトルは、その文書に含まれているすべてのワードのシソーラスベクトルの加重和の組合せである。そのあと、これらの文脈ベクトルは文書および問い合わせに関する類似測度（標準ベクトル空間法と直接比較することができる）を誘導する。
【００２８】
シソーラスベクトルのもう１つの利用は、問い合わせを副主題（subtopic) に分割することである。各問い合わせの副主題ごとにベクトルを作り、文書ベクトルと比較する。そのあと、文書ベクトルにスコアを付け、それらが問い合わせの副主題と同時に一致する度合いによって、文書ベクトルをランク付けする。
【００２９】
【実施例】
以下、好ましい実施例について詳細に説明するが、本発明をそれらの実施例に限定するつもりはなく、それどころか本発明は特許請求の範囲に記載した発明の精神および発明の範囲に入るすべての代替物、修正物、および均等物を含むものとする。
【００３０】
図１は、本発明に従って文書内のタームの語彙同時出現を決定し、シソーラスを作成する装置１０の好ましい実施例のブロック図である。本発明の装置１０はユーザー入力装置１２を備えている。入力装置１２としては、例えば１個以上のイメージスキャナ（光学式または電子式）、キーボード、タッチ画面、マウス、等がある。イメージスキャナは独立型の装置であってもよいし、あるいはファクシミリ装置または文書複製機（複写機）の一部であってもよい。文書のイメージを処理して同時出現ベクトルにし、そのベクトルを比較するプロセッサ１６が、入力装置１２に接続されている。プロセッサ１６は、読取り専用メモリ（ＲＯＭ）２０から読み出した操作プログラムに従って、かつランダムアクセスメモリ（ＲＡＭ）２２を使用して、それらの機能を実行するように動作する。文書は記憶することもできるし、あるいはファイル２４から検索することもできる。処理の結果やユーザー入力情報は、ＣＲＴディスプレイモニター１４で監視することができる。プロセッサ１６は文書の処理を完了したあと、結果を出力装置１８へ出力する。出力装置１８としては、例えば記憶手段（ハードディスク、またはフロッピーディスク）、プリンタ、光学式複写機、ファクシミリ装置、あるいはＣＲＴディスプレイがある。
【００３１】
本発明の第１の好ましい実施例は、語彙同時出現ベースのシソーラスを作成する。文書の各タームは、タームの局所同時出現パターンを表すベクトルに対応付けられる。次に、このベクトルは同時出現の類似つまりタームの意味上の類似を測定するため他のベクトルと比較することができる。
【００３２】
ＳＭＡＲＴやＳＩＲＥなどの情報検索システムでは、文書や問い合わせはターム空間内のベクトルとして表現される（Salton et al.;  “Introduction to Modern Information Retrieval”; McGraw-Hill,New York; 1983  参照) 。これらのベクトルは、以下のように定義した０次の符号化体系として表すことができる。
【００３３】
ワードに対する０次の符号化：
【数１】
0003771299.tif 000002
【００３４】
文書に対する０次の符号化：
【数２】
0003771299.tif 000003
ここで、Ｖ  ＝一組のワード
ｗi ＝Ｖ内のワードｉ
φ  ＝ワード符号化
Ｄ  ＝一組の文書
ｄj ＝Ｄ内の文書ｊ
ψ  ＝文書符号化
｜ｄj ｜＝ｄj 内のトークンの数
ｔj,k ＝文書ｄj 内のｋ番目のトークン
である。
【００３５】
ワード符号化関数φ0 は、ワードをワードと同じ数の次元をもつ多次元空間にマップする。ワードベクトル同志が重複することはない。０次の符号化の場合、各ワードは厳密に１つの零でない重みをもつベクトルに対応している。最も簡単なケースでは、この重みは１である。式ψ（ｄj ）は、文書ｄj について、そこに出現しているすべてのトークンのベクトルを合計することによって計算される。
【００３６】
ワードの場合のベクトル表現間の類似は、次式の余弦関数で測られる。
【００３７】
【数３】
0003771299.tif 000004
〔数３〕は２つのワード間の主題の類似すなわち意味上の類似を決定するために使用される。
【００３８】
文書の場合のベクトル表現間の類似は、次式の同様な余弦関数によって測からる。
【００３９】
【数４】
0003771299.tif 000005
問い合わせは短い文書と見なすことができる、従ってベクトルとして表すこともできる。探索は、文書空間内の問い合わせベクトルに近い隣人を探索することによって進行する。問い合わせと文書は、同じワードを含んでいる程度に類似していると仮定する。しかし、同じ内容を非常に違ったワードで表現することができる。従って、たとえ問い合わせの内容を文書の主題の妥当な記述として理解できたとしても、この簡単な体系の場合、問い合わせと文書は０の類似測度をもつことがある。これはワードの同義性の問題である。０次の体系は同義性を捉えることができない。
【００４０】
もう１つの問題は、問い合わせと文書があいまいなワードを共有するかも知れないことである。従って、ワードは、文書と問い合わせとで異なる意味で使用されることがある。このケースでは、たとえ問い合わせと文書が意図した主題において重複していなくても、〔数４〕の余弦関数の測定によって高度の類似性をもつことがある。
【００４１】
ベクトルの類似とワード内容の実際の類似とが一致しない理由は、もしワードがタームベクトルにおいて分析されない記号または指標として取り扱われれば、決められたワードの不在または存在がほとんど情報を与えないからである。
【００４２】
０次の体系の場合、ワードベクトル表現はワードに対する１つのエントリから作った。１次の表現の公式化は、文書コレクション内のワードの隣人に対するエントリからワードベクトル表現を作ることである。これらのベクトルは、以下のように定義した１次の符号化体系として表すことができる。
【００４３】
ワードに対する１次の符号化：
【数５】
0003771299.tif 000006
【００４４】
文書に対する１次の符号化：
【数６】
0003771299.tif 000007
ワードｗi に対する１次のベクトルは、文書コレクションＤ内の文書ｄj の１つの中のワードｗi のトークンｔj,k の１つの隣人であるすべてのトークンｔi,l のベクトルの和である。隣人であることは、ｗ個の介在するワード以下の距離に出現することと定義する。ｗの妥当な設定は５０ワードである。そのようなワードはその隣人の和として表される。２つの手法間の類似をはっきりさせるために、ワードの出現は０次のそれ自身の隣人であると定義し、通常の隣人は１次の隣人であると定義する。
【００４５】
０次および１次の文書ベクトルは、それぞれのワードベクトルから合計することによって完全に並列に導出される。
【００４６】
同義のタームは類似した隣人をもつので、文書ベクトルの多次元空間における類似の「方向（direction)」に寄与するであろう。あいまいなタームは２つの異なる種類の隣人をもっている。文書ベクトルを計算する場合には、その文書内で使用された意味に対応するタームは補強されるのに対し、不適切な意味で表された方向は他のワードの中に存在しないであろう。従って、１次の表現は同義の問題とあいまいさの問題を緩和すると予想される。
【００４７】
１次の表現の長さは語彙内の一意ターム（unique terms) の数に等しいので、１次の表現は密度が高く、大量の記憶装置を必要とするが、これは厳しい短所である。ほとんどすべてのワードはコーパス内のどれかの文書のタームの１つの隣人であるので、長い文書の１次のベクトルはほとんどどんな零ももたないであろう。対照的に、文書の０次のベクトルは文書内に存在するワードとほぼ同じ数のエントリをもつので、記憶して効率的に処理することが可能である。
【００４８】
この問題に対する解決策の１つは、上記の Deerwester et al の論文に記載されている単一値分解によって１次のベクトルの次元縮小を行うことである。単一値分解を使用して、元の高次元空間（各ワードごとに１つの次元）の直線近似を、ｒ次元の縮小した空間（ｒは１０2 程度）として見つけ出すことができる。単一値分解の性質は、元の空間におけるベクトル類似が縮小した空間において保存されることを保証する。
【００４９】
単一値分解のために、｜Ｖ｜×｜Ｖ｜マトリックスＸの横列ｉがワードｉの１次のベクトル、すなわちφ1 （ｗi ）を含むように、語彙Ｖのすべての１次の表現を集めて｜Ｖ｜×｜Ｖ｜マトリックスＸにする。どんな長方形マトリックス（マトリックスＸなどの方形マトリックスを含む）も次式のように３つのマトリックスの積に分解することができる。
【００５０】
【数７】
0003771299.tif 000008
ここで、マトリックスＴ0 とＤ0 は正規直交縦列を有し、マトリックスＳ0 は対角マトリックスである。これはマトリックスＸの「単一値分解」と呼ばれる。マトリックスＴ0 とＤ0 はそれぞれ左および右の単一ベクトルのマトリックスであり、マトリックスＳ0 は単一値の対角マトリックスである。単一値分解は一定の横列、縦列、および符号の順列に至るまで単一的である。慣習により、マトリックスＳ0 の対角要素は、すべて正で、そして次第に減少する大きさの順序で並ぶように構成される。
【００５１】
一般に、Ｘ＝Ｔ0 Ｓ0 Ｄ0 ′について、マトリックスＴ0 、Ｓ0 、およびＤ0 はすべて全ランクでなければならない。単一値分解は、最適の近似適合のためより小さいマトリックスを使用する簡単な戦略を提供する。もしマトリックスＳ0 内の単一値が大きさで順序付けるならば、最初のｋの最大値を維持し、残りのより小さい値を零に設定することができる。得られたマトリックスの積は、マトリックスＸにほぼ等しいマトリックスＸ′であり、ランクｋのマトリックスであるこの新しいマトリックスＸ′は最小自乗の意味でマトリックスＸに最も近いランクｋのマトリックスであることがわかる。マトリックスＳ0 に零を導入したので、マトリックスＳ0 の零の横列と縦列を削除して新しい対角マトリックスＳを得て、次にマトリックスＴ0 とＤ0 の対応する縦列を削除してマトリックスＴとＤを得ることによって、表現を簡単化することができる。その結果は、次式の縮小モデルである。
【００５２】
【数８】
0003771299.tif 000009
これはマトリックスＸに合った考えられる最良の最小自乗を有するランクｋのモデルである。
【００５３】
ｋ次元空間におけるＸの近似は、元の｜Ｖ｜次元空間からｋ次元空間へ次元を縮小することに等しい。ワードに対する新しいより低次元の表現は、マトリックスＴの横列である。マトリックスＴの横列ｉはワードｗi の縮小したベクトル表現である。それ故、すべての計算を縮小した空間内で効率的に実行することができる。従って、０次および１次のより簡潔なワード表現は次の通りである。
【００５４】
簡潔な０次の符号化：
【数９】
0003771299.tif 000010
【００５５】
簡潔な１次の符号化：
【数１０】
0003771299.tif 000011
【００５６】
縮小した１次の符号化：
【数１１】
0003771299.tif 000012
ここで、ＶN はＮ個の最も頻度の高い内容のワード、Ｖn はＶN 内のワードｎ、そしてｒは縮小した空間の次元である。
【００５７】
単一値分解は費用のかかる演算である。従って、単一値分解を使用して簡潔な表現を得ることができるのは、語彙の少ない部分についてだけである。個々の設定において計算手段が入手できると仮定して、単一値分解が実行可能なワードの数をＮとする。大型ワークステーションの場合、Ｎは約５，０００である。全語彙に対する簡潔な表現を次の２つのステップで導出する。
【００５８】
第１ステップにおいて、Ｎワードの限定された語彙を用いて１次の表現φ′1 を導出し、そして単一値分解が低次元符号化φ″1 を計算し、そして〔数８〕〜〔数１１〕を用いてφ′1 を計算する。ワードを符号化する定義は、Ｎ個の最も頻度の高い内容のワードを含む限定された語彙ＶN を用いていることを除き、〔数１〕，〔数２〕および〔数５〕，〔数６〕の定義に似ている。
【００５９】
第２ステップにおいて、与えられたワードのすべての隣人の縮小した１次のベクトルを総計することによって、全語彙に対する表現を計算する。次式は２次の符号化を示す。
【００６０】
ワードに対する２次の符号化：
【数１２】
0003771299.tif 000013
【００６１】
文書に対する２次の符号化：
【数１３】
0003771299.tif 000014
【００６２】
１次のベクトルはワードの隣人に基づいているので、このやり方で導いたワードｗi に対する表現は、文書コレクション内のワードｗi の隣人の隣人に関する情報を含んでいる。このため、これは２次の表現と呼ばれる。０次の関数ψ0 および１次の関数ψ1 と同様に、ｄj 内に出現するトークンのベクトルを総計することによって、２次の関数ψ2 （ｄj ）を計算する。２次の表現は、同義語やあいまいさを分解するような仕事に関しては１次の表現より少し多い情報を含むことができるが、次元の縮小によって取り扱うことができるサイズに語彙を制限するため、主として繰返しが行われる。
【００６３】
文書内のすべてのワードの和は短い文書に対する良い主題記述子である。長い文書は種々の主題からのワードを含む傾向がある。もし文書ベクトルの計算に入ってくる主題が多過ぎれば、文書ベクトルはすべての主題に対し中間の距離にあるが、それらのどれとも特に近くない領域の中にあるであろう。従って、主題間のすべての細かい区別が失われる。より正確に言えば、ワードベクトルの空間は、大域重心のまわりに中心がある多次元空間内の部分超球の表面と見ることができる。〔数１２〕と〔数１３〕の和の公式に従って文書ベクトルを計算する際に、文書の主要な主題に関係のない、従って大域重心の「反対側」に位置するワードを追加するたびに、ワードは大域重心へ押しやられるであろう。大域重心の区域の中のベクトルは、あらゆるものに対し同じ近さにある。従って、これらのベクトルは、情報の検索において効用が制限される。この問題は高次の表現に特有なものではない。
【００６４】
長い文書を区分する計算上簡単な手法は、文書内のトークンのセットを、一組の一貫した副主題のクラスタに分けることである。トークンは、全テキスト内の単一項目である。例えば、ワード“the ”は文書内にトークンとして何回も現れる。線型−時間クラスタ化アルゴリズムを使用することができる（ Cutting et al.;  “Scatter-gather: A Cluster-Based Approach to Browsing Large Document Collections ”； Proceedings of SIFIR 1992  、米国特許出願第０７／７９０，３１６、および特願平４−１９５９９１号参照）。
【００６５】
３つの副手続きを用いている Buckshot の方法を簡単に説明する。第１副手続き、すなわち切捨てグループ平均集塊クラスタ化（truncated group average agglomerate clustering) は、個々の文書から始めてｋ個のグループのみが残るまで、ばらばらの文書セットすなわち文書グルーブを併合する。各ステップにおいて、併合によって平均類似がほとんど減少しないない２つのグループを併合して新しい１つのグループにする。
【００６６】
第２副手順は、文書グループの図心に最も近い選択した文書から切り取られた和のプロフィールを決定する。他の文書を引き寄せる目的でｋ個の中心として取り扱われるべき一組のｋ文書グループが与えられたものとすると、各グループごとに図心を定義する必要がある。より良くピントが合った中心を決定するために、つまり第３副手順において個々の文書をより正確に割り当てるために、図心から遠い文書を切り取る。
【００６７】
第３副手順は、これらの切り取られた和のプロフィールの１つによって表された最も近い中心に個々の文書を割り当てる。
【００６８】
図２に、 Buckshot の方法の過程を示す。ステップ３０において、サイズ（ｋＮ）1/2 のコーパスＣからランダムサンプルＣ′を作る。サンプリングは交換せずに実行する。ステップ３２において、サンプルＣ′を切捨てグループ平均集塊クラスタ化によってｋ個のグループに区分する。この区分を区分（partition)  Ｇと呼ぶ。ステップ３４において、各個別文書を区分Ｇ内の中心の１つに割り当てることによって、コーパスＣから区分（partition)Ｐを作る。これは、コーパスＣと、区分Ｇのｋ個の中心にわたって「最も近いものに割り当てる（assign-to-nearest)」を適用することで実行する。ステップ３６において、区分Ｇを区分Ｐで置き換える。ステップ３４と３６を一度繰り返す。ステップ３８において、区分Ｐは新しいコーパスになる。
【００６９】
文書をクラスタ化したあと、各文書をその副主題クラスタの図心で記述することができる。２次の構成された文書表現は以下のように表される。
【００７０】
２次のクラスタ化関数：
【数１４】
0003771299.tif 000015
【００７１】
２次符号化関数：
【数１５】
0003771299.tif 000016
ここで、γは文書Ｄのコーパスを副主題クラスタＣに区分する。ψ2 ′は副主題クラスタの図心を文書に割り当てる。区分機能は、異なる主題に関係のあるワードが異なるクラスタの中に離れた状態のままで、従って大域図心に近過ぎる文書ベクトルを避けることをを確かめる。
【００７２】
次に、各文書のベクトル表現の例をユーザーインタフェース TwinSpaces を使って記述する。 TwinSpaces は、本明細書に定義したシソーラスベクトル法と文書ベクトル法を使用する。 TwinSpaces は２つの部分すなわち WordSpace (ワードベクトルの生成) と DocumentSpace (文書ベクトルの生成）を有する。
【００７３】
TwinSpaces は明白に定義された情報要求を有するが、文書コレクション内の問題の主題に関して使用された語彙を完全に知らないことがあるユーザーにとって理想的である。例えば、ある論文を研究をしているジャーナリストはもっぱらその論文の主題に関係のある文書に興味を持っている。しかし、関連のある情報の断片は多く存在するが、ジャーナリストはまだそれらを知らないので、探し出すことができない。従って、 TwinSpaces は、リテラルな検索とすべての文書の単なる走査検索との中間である、この種の探索にとって理想的である。
【００７４】
WordSpace は、ニューヨークタイムスのニュースサービスの１８ヵ月分に相当する５，０００，０００ワードのコーパスに基づいている。２次の体系を使用することによって、5 ５，０００ワードベクトルが計算される。
【００７５】
もう１つの方法は、反復１（ψ1 ′の場合）においてワードの代わりに、５，０００文字フォーグラム（fourgram) についてベクトルを計算することである。フォーグラムは４文字のサブワード断片である。例えば、ワード“package ”は、“pack”, “acka”, “ckag”, “kage”のフォーグラム断片に分割する。英語で存在するワードの数よりフォーグラムの組合せの数が少ない。フォーグラム空間の次元数は、単一値分解を使用することによって、ｒ＝９７に減った。
【００７６】
個々のタームの情報的な重要度は、それらの最も近い隣人を考察することによって評価することができる。以下の表１は、１０個の無作為に選択したワードと、２次の空間におけるそれらの最も近い隣人：  average (financial markets); Eschenbach (classical music); gill (fishing); Indonesians (South East Asia); markup (retailing); Novell (computer industry); pleaded (court proceedings); rags (fashion); shriveled (cooking); and Societies (political organizations) を示す。選択したワードの主題の特徴は、わずかな最も近い隣人を注視することによりすぐわかる。ワード“average ”と“ rags ”の場合、ユーザーは、それらの主題（the financial markets and fashion, respectively ) の明白な意味を得るのに３０個の隣人を注視しければならない。ワード“Societies ”の隣人は、ワード“Societies ”が政治組織と宗教組織と関係のあることを示唆しているが、はっきりした主題は現れない。これはそのワードがあいまいであって、役に立たない探索タームであることを示す。
【００７７】
【表１】
0003771299.tif 000017
【００７８】
従って、ワードに対するより高次の表現は、新しい形式の情報アクセスのためのユーザーインタフェースになる。伝統的な情報検索システムでは、問い合わせに用いたタームの効果を評価することは難しい。ユーザーは文書記述のレベルで情報検索システムと通信する。関連性フィードバックのケースでは、元の問い合わせに対する応答としてどの文書が戻されたかを明記することを次の探索反復の基礎にしなければならない。文書の面からの通信は難しい。文書の題名は、十分な情報を提供しない、すなわち文書の内容の重要な部分を表していないことが多い。また文書の題名は、ユーザーの情報要求に対し、それらを読み取って、評価するのにかなり長い時間がかかる。
【００７９】
０次の表現に基づくシステムの場合、ユーザーは種々の探索タームに対する検索結果を分析することによって探索タームの効果を間接的に評価できるだけである。対照的に、より高次のワード表現は、探索タームの意味を評価する簡潔な洗練されたユーザーインタフェースを提供する。通常は、ただ探索タームの最も近い隣人を注視することにより、表１に例示したように、ワードに関係のある主題をよく認識することができる。
【００８０】
より高次のワード表現により、ユーザーは各個別タームに対する直接診断として最も近い隣人を調べ、それによってユーザーの情報要求によりぴったり合った問い合わせを作成する。乾燥した老いた皮膚を表すつもりであったかも知れないワード“shriveled ”は、文書コレクションにおいて使用された関連のあるワードで置き換え、意図した概念を表すことができる。またユーザーは“Eschenbach”のような固有名称（ここでは、the conductor Christopher Eschenbach）がコーパス内の特定の人に使用されているかどうかを検査することができる。もし同じ名前のテニスプレーヤが存在していれば、 Eschenbach はクラシック音楽に関する文書の探索には役に立たないであろう。
【００８１】
WordSpace 内の問い合わせの公式化と洗練は、図３のサンプルレイアウトを使用する。問い合わせは、セクション CURRENT QUERY  に示してある。これらのワードは、 POOL と呼ばれるセクションにおいて検査されるワードのプールに集められる。ユーザーは探索の出力に従ってこのプールからワードを削除し、あるいはワードを追加することができる。セクション MENUEに示したコマンドは、WordSpace 内で問い合わせを作成し、処理するために使用される。
【００８２】
ユーザーインタフェースの重要な機能は、検査のため直接に提供される少数（例えば、１０）またはクラスタ化され要約された形でユーザーへ提供される多数の最も近い隣人の検索である。それらの最も近い隣人を注視することにより、個別ワードまたはプール全体を評価することができる。プールの最も近い隣人（tank, artillery ) はセクション SEARCH RESULT  にプリントされる。これらの隣人を検査することによって、ユーザーはワード“tank”の「容器」の意味が武器についての問い合わせと干渉しないことを確かめることができる。
【００８３】
“tank”のような明らかにあいまいなワードは意味を明らかにして、探索を絞ることができる。以下の表２は、２次のワードベクトルによるあいまいさ分解を示す。最も近い隣人は、たとえユーザーの介在がなくても、より高次のベクトルが多義性とあいまいさをある程度まで取り扱うことを示唆している。“tank”の例は、より高次ののベクトル内の存在する情報を使用して、０次の表現に関する主要な問題の１つである「あいまいさ」を分解できることを示す。０次の検索では、あいまいな探索タームの望んでいない意味により、問い合わせに関係のない文書が検索されることがある。
【００８４】
【表２】
0003771299.tif 000018
【００８５】
表２は、 WordSpace  において２つの仕方で、ワード“tank”を一義化できることを示す。ターム“tank”と“water ”から成る「問い合わせ」は、ワード“tank”の「容器」の意味と関係のあるワードのみを検索する。ターム“tank”と“artillery ”から成る「問い合わせ」は、明らかに図３に使用した“armored vehicle ”の意味に対応する空間の一部の中に置かれる。
【００８６】
０次の検索システムは、あいまいなタームと一義化するタームの両方を含む文書に関しては全くうまくいくであろうが、一方のタームのみ（例えば、“water ”のみ、または“tank”のみ）を含む文書に対し同じランキングを付けるであろう。表２の「最も近い隣人」は、より高次のシステムがこの事態を救済するであろうと示唆している。もしワード“tank”が２つの文書の中に出現し、しかし“water ”が２つの文書の中に出現しなければ、“water ”に関連のあるワード（pipes または flush )を含む文書は異なる主題に関連のある文書より高く評価されるであろう。
【００８７】
さらに、より高次の表現への公式化は同義性の問題を扱う。０次の検索の場合、ある文書にワード“coast ”が出現し、そして関連文書にその同義語“shoreline ”が使用されていても、２つの文書の類似は増さないであろう。“coast ”と“shoreline ”は類似した隣人を有するので、より高次の体系は同義性を利用することができる。従って、それらのより高次のベクトルは、多次元空間内の類似した方向をそれぞれの文書ベクトルへ与えるので、文書ベクトルはより類似するであろう。表２は、同義語が多次元空間においてほぼ同じ方向をもつワードの２つの例を示す。
【００８８】
TwinSpaces の第２部分である DocumentSpace  は、１９９０年の６月から１１月までのニューヨークタイムスのニュースサービスからの３４，０００の記事を含んでいる。各文書ベクトルを、〔数１２〕と〔数１３] に従ってすべてのトークンのベクトルの和として計算した。
【００８９】
図４は、 WordSpace  用のユーザーインタフェースによく似た DocumentSpace用のユーザーインタフェースを示す。ユーザーインタフェースはプールに追加または削除する機能と、プールの最も近い隣人すなわち個別文書を注視する機能を有する。 WordSpace  での現在の問い合わせを使用して、 DocumentSpace  で探索を開始することができる。
【００９０】
DocumentSpace  を使用して、問い合わせ“Japanese American research”を行った。図４の SEARCH RESULT  セクションに、１０の上位ランキングの文書を示す。これらの文書は、リテラル一致は少ないが、問い合わせとよく一致するように見える。実際に、リテラル一致に基づく検索法は、上記の一般的なタームを含む問い合わせに対してうまくいかないであろう。 DocumentSpaceがリテラル一致から独立しているので、 DocumentSpace  は１ワードの「問い合わせ」に対してもうまくいく。
【００９１】
WordSpace  と DocumentSpace  の相似したデザインは利点がある。複数のワードから成る問い合わせについては、 DocumentSpace内の文書隣人の検索に対する完全な類推で、文書の主題と内容を WordSpace内のその近い隣人によって記述することができる。表３は、５つの無作為文書と１つの選択した文書の題名を示す。表４は、表３に示した記事の最も近い隣人を示す。これらの最も近い隣人は、ワードベクトルの空間内の文書の近隣区域が、主題に集中した短い文書の場合に主題をよく特徴付けていることを示す。
【００９２】
【表３】
0003771299.tif 000019
【００９３】
【表４】
0003771299.tif 000020
【００９４】
表３および表４の情報を吟味すれば、ユーザーは、文書１３２，１４３８７，４５７９がそれらの内容を特徴づけるワードで表された１主題の文書であることがわかる。文書１３６０９，２２８７２，２７０８１は１以上の主題をもつ長い文書である。従って、それらの文書ベクトルは大域図心により近い。これらの最も近い隣人は機能ワードである。その理由は、機能ワードが隣人として異なる主題からの多数のワードを持つという特徴を共有するからである。
【００９５】
〔数１４〕と〔数１５〕の作られた表現によって、すべての文書に対してよい特徴付けが行われる。このような特徴付けにより、ユーザーはうまく選定した文書の題名に頼らなくて済む。特に文書のおおざっぱな主題のみに興味がある場合には、それは長い題名より容易に処理される。一般に、最も近い隣人は、文書の選択あるいは関連性フィードバックに使用できる文書の内容に関する追加情報を提供する。
【００９６】
表１の無作為に選択したワードを DocumentSpaceにおける問い合わせとして使用して、２次のワードベクトルの中に存在する情報を論証した。付録Ａは、表１の各問い合わせワードに対する１０の最も高いランキングの文書を示す。Societies を除いて、文書の題名は総じて問い合わせワードの最も近い隣人によって記述した主題に一致している。Societies の場合に宗教上の記事が検索された理由は、このタームが句“Center for Religion and Human Rights in Closed Societies”の中に使用されているためかも知れない。しかし、ワード隣人と文書隣人間の不一致は、そのワードベクトルは主題的に混合した隣人を示唆しているが、Societies が探索タームとして使用される場合に問題になるだけである。
【００９７】
上に説明した第１の好ましい実施例は、文書コレクションに関する大域情報に基づいたワードおよび文書の豊かな表現である。第１の好ましい実施例は、古典的なベクトル類似探索に使用されるリテラル表現よりすぐれている。本発明では、ワードの表現は、ワードとワードの関係、ワードと文書の関係、およびワードと問い合わせの関係を理解し、取り扱うためのユーザーインタフェースを提供する。文書の表現は、主題の関連性をリテラル一致に基づく体系よりよく反映している類似測度を生み出す。
【００９８】
第１の好ましい実施例は、（対称）ターム×ターム・マトリックスＣを計算し、まとめることによって同時出現ベースシソーラスを形成する必要がある。マトリックスＣの各要素ｃijは、ワードｉ，ｊがサイズｋのウィンドウに同時出現する回数を記録する。例えば、ウィンドウｋは４０または５０ワードにすることができる。次に、２つのワード間の主題上または意味上の類似を〔数３〕に定義したマトリックスＣの対応する縦列の間の余弦として定義することができる。もし十分なテキスト材料が入手可能ならば、類似した意味をもつワードは類似した隣人と一緒に出現するであろうと仮定する。
【００９９】
マトリックスＣは v2 ／２の別個のエントリを有する。ここで、ｖは語彙のサイズである。このマトリックスは希薄であるが、ｖは非常に大きいと予想される。従って、同時出現シソーラスを作るのに必要な全記憶装置要求は実行不可能である。
【０１００】
たとえマトリックスＣを直接に表す十分なメモリが見つかったとしても、各ワードに対応付けられたシソーラスベクトル（マトリックスＣの縦列）はｖ次元になるであろう。これらのベクトルはかなり希薄であるが、これは、ワードの比較がｖ次の演算である（大規模適用業務では法外に高くつく）ことを意味する。
【０１０１】
従って、同時出現カウントのマトリックスの単一値分解を使用して、問題の次元数を実行可能なサイズまで減らさなければならない。しかし、このマトリックスは、各状態において計算を扱いやすくするため一連のステップで構成しなければならない。
【０１０２】
次に、図５〜図９を参照してシソーラスの構成を説明する。目的は、単一値分解を適用して、規則正しい仕方でマトリックスの次元数を減らし、その処理においてより簡潔な表現を生成することである。しかし、単一値分解を実行する時間はｎ2 に比例する。ここで、ｎはマトリックスの次元数である。従って、単一値分解に入れられるマトリックスの次元数はいくら高くても高過ぎることはない。詳しく述べると、元のマトリックスＣを使用することはできない。代わりに、２段階の計算を実行して、コーパスから２組の主題ワードクラス（すなわち、低カバレージの２００ワードクラスタと、高カバレージの２００ワードクラスタ）を導出する。従って、マトリックスの次元数を保持し、情報を過度に犠牲にしない。
【０１０３】
主題ワードクラスは、類似したワードにわたって情報を塊にする。図５において、ステップ１００はコーパス内のワードおよびワード対の度数を計算する。ワード対は、コーパス内の２つの連続するワードを言う。例えば、題名“The Journal of Computer Science ”は、４つのワード対（The Journal ；Journal of；of Computer ； Computer Science ）を有する。
【０１０４】
ステップ１０２において、低い度数のワードとワード対を考慮から外す。例えば、１の度数をもつどんなワードも、５以下の度数を持つどんなワード対も重要でない。ワード対“ Computer Science ”はテキストの全体を通じて現れるであろう。従って、ワード対“ Computer Science ”は、題名にのみ現れる他の３つのワード対よりたぶん多くの回数現れるであろう。
【０１０５】
ステップ１０４において、元のコーパスからマトリックスＡを作る。完全同時出現マトリックスはコーパス内のタームのサブセット（部分集合：以下、部分集合という）として作られる。例えば、この部分集合として、３０００の中間度数のワード（度数は２０００〜５０００である）を選択する。図６に、３０００ワード×３０００ワードの次元数を持つマトリックスＡを示す。マトリックスＡの要素ａijは、ワードｗi とワードｗj がテキストコレクション内の４０ワードのウィンドウに同時出現した回数を記録する。
【０１０６】
ステップ１０６は、マトリックスＡをグループにクラスタ化することによって主題ワードクラスの第１集合を作る。クラスタ化アルゴリズムは、マトリックスＡの縦列間の余弦類似（cosine similarity)に基づいている。例えば、グループ平均集塊クラスタ化 (group average agglomerative clustering) を使用して２００Ａ−クラスｇA1，ｇA2，．．．．ｇA200  を見つ出す。これらの２００ワードクラスタは低カバレージのクラスタとみなされる。 Buckshot 法はグループをクラスタ化する方法の一例である。
【０１０７】
次にステップ１０８において、より大きな語彙の部分集合を検討することによって第２のマトリックスＢを作る。このより大きなＢ−部分集合内の各ワードごとに、マトリックスＢは各Ａ−クラス内のワードがそのＢ−部分集合のワードのまわりの近隣区域に出現する回数を記録する。各要素ｂijは、ワードｗj がクラスｇAiからの中間度数のワードのどれかと同時に出現する回数を記録する。これは、マトリックスがもはや対称でないことを除き、通常の同時出現マトリックスの構成に似ている。図７に、Ａ−クラスに対応する横列、すなわちワードに対応する縦列を持つマトリックスＢを示す。例えば、Ｂ−部分集合は、ストップワードを除き、２０，０００の最大度数のワードを含んでいる。
【０１０８】
ステップ１１０において、マトリックスＢの縦列をクラスタ化することによって、このＢ−部分集合を再び２００ワードのクラスに区分する。この第２の繰り返しの目的は、コーパス内の各ワードが少なくとも１つのワードクラスから十分な数の隣人を有することを確かめるためである。もしＡ−クラスのみを使用すれば、多くのワードは同時出現事象を持たないであろう。対照的に、すべてのワードはＢ−部分集合内の幾つかのワードと同時に出現する、従ってＢ−クラスに対して多くの同時出現事象を有するであろう。生成された２００ワードのクラスタ（ｇB1，ｇB2，．．．．ｇB200）は高カバレージである。 Buckshot 法はグループをクラスタ化する方法の一例である。
【０１０９】
ステップ１１２において、全コーパス語彙対Ｂ−クラスに関する第３の同時出現マトリックスＣを収集する。つまり、全語彙対全語彙の代表を持つマトリックスを形成する。要素ｃijは、ｋワードのウィンドウ内にタームｊがクラスｇBi内のどれかのワードと同時に出現する回数を含んでいる。図８を参照すると、マトリックスＣはｂ横列とｖ縦列を有する。例えば、コレクション内に少なくとも２回出現した全１７６，１１６個のワードと、少なくとも５回出現した全２７２，９１４対の隣接ワードが、総計４４９，０３０個の一意タームとして使用されている。
【０１１０】
ステップ１１４において、ｖ個のタームのそれぞれを簡潔なｐ次元のベクトルとして表現し、さらに公式化を改善することができるように、単一値分解を用いてｐ（ｐ＜ｂ）へ次元数を縮小した。図９に、縮小マトリックスＣを示す。
【０１１１】
実例では計算時間を減らすために、１０００番目〜６０００番目の最大度数のワードに対応するマトリックスの部分集合のみを分解した。この分解は、２００次元のＢ−クラス空間から２０次元の縮小空間へのマッピングの定義をした。このマッピングを４４９，０３０個の２００構成要素Ｂ−クラスベクトルのそれぞれへ適用することによって、各ワードおよびワード対ごとにより小さい２０次元のベクトルを計算した。
【０１１２】
最終的な次元数の縮小は、扱いやすい改良された公式化は単一値分解による次元数の縮小から得られるので行ったことに留意されたい。類似した主題を持つ幾つかのワードクラスが存在することがあるので、ｂ−コンポーネントベクトル間の類似は、意味上の類似の大きな間違った測度を含んでいることがある。例えば、クラスｇB4は、“navy”, “radar ”, “missile ”のようなワードを含んでいるのに対し、クラスｇB7のメンバーの一部は“tank”, “missiles”, “helicopters ”である。もし２つのワードの一方がｇB4内に多くの隣人を有し、他方がｇB7内に多くの隣人を有していれば、それら２つのワードは２００−次元空間において類似していなくても、縮小空間において類似している。この理由は、単一値分解アルゴリズムが上記の冗長さを識別し、除去するからである。
【０１１３】
計算を完了させるには、コーパスを通る４つのパスが必要である。最初のパスはワードおよびワード対の度数を計算する。第２のパスはマトリックスＡとＡ−クラスを計算する。第３のパスはマトリックスＢとＢ−クラスを計算する。最後に、第４のパスはマトリックスＣを計算する。さらに、単一値分解を使用してマトリックスＣを分解してシソーラスのベクトルを計算する。
【０１１４】
Tipster Category B コーパスを使用する場合には、コーパスを通る各パスは約６時間（ＣＰＵとＩ／Ｏ時間を含む）かかる。 Tipster  は、もっと程度の進んだ情報検索方法に対する米政府（NIST-National Institute of Standards and Tests) によって管理される文書のコーパスである。これらの計算は、計算時間を直線的に短縮するため、ゆるく結合されたコアースグレインド（coarse-grained) 並行処理を使用して加速することができたであろうということに留意されたい。単一値分解は計算するのに約３０分要する。
【０１１５】
この計算の正味の効果は、各一意タームごとに、その同時出現近隣地域を特徴付ける密集したｐ次元ベクトルを生成することである。これらのベクトルは、次に、各ワードをその最も近い隣人と対応付けることによってシソーラスを定義する。
【０１１６】
Tipster Category B コーパスを使用して見つけ出した対応付けの一部の例を以下に示す。
-accident     repair; faulty; personnel; accidents; exhaust; equipped;                MISHAPS; injuries; sites
-advocates    passage; PROPONENTS; arguments; address; favoring; compr                omise; congress; favors; urge
-litigation   LAWSUITS; audit; lawsuit; file; auditor; suit; sued; pro                ceedings
-tax          taxes; income tax; new tax; income taxes; taxpayers; inc                entives; LEVIES; taxpayer; corporate taxes
-treatment    drugs; syndrome; administered; administer; study; admini                stering; PROCEDURE; undergo; aids
【０１１７】
各横列はワードとその９つの最も近い隣人を示す。例えば、“repair”は“accident”の最も近い隣人である。タームとして使用したワード対はセミコロンで分離しないで示してある。上のケースのワードは、手動で作成したシソーラス内で見つけ出すことができるかも知れない手動で選択した同義語である。それらは、隣人と同時に出現しそうでなく、従ってこのシソーラスの構成は同義語を見つけ出すために簡単な１次の同時出現（お互いに相手の次に出現する）でなく、２次の同時出現（コーパス内の隣人を共有する）を有効に使用していることを明らかにしているので、特に興味がある。
【０１１８】
第２の好ましい実施例は、計算したシソーラスベクトルを使用して関係文書の探索を実行する。この情報を直接に探索に使用するには、文書に対する類似の表現が必要である。計算した文書ベクトルは「文脈ベクトル（context vector) 」と呼ばれる。最も簡単な手法は、各文書をベクトル（そのテキスト内のワードに対するシソーラスベクトルの和である）で次式のように表現することである。
【０１１９】
【数１６】
0003771299.tif 000021
ここで、ベクトルｄj は文書ｊに対するベクトルであり、ｗijは文書ｊ内のワードｉに対する重みであり、ベクトルｖi はワードｉに対するシソーラスベクトルである。問い合わせは〔数１５〕を使用してベクトルとして表現することができる。
【０１２０】
文書内のワードを加重する例は、シソーラスベクトルを合計するときに増補ｔｆ・ｉｄｆ法（term frequency-inverse document frequency method) を用いるものである。
【０１２１】
【数１７】
0003771299.tif 000022
ここで、ｔｆijは文書ｊ内のワードｉの度数であり、Ｎは文書の総数であり、ｎi はワードｉの文書度数である。ワードの度数が文書内で増加すると、そのワードに対する重み（スコア）もまた増加する。しかし、タームＮ／ｎi は文書度数に逆比例するので、高い度数のワードが少ない重みを受け取る。
【０１２２】
例えば、ワード“the ”の度数は文書の場合は高い。従って、このワードは文書の場合に高い重みを有する。しかし、このワードはコーパスのほとんどすべての文書の中に出現する。従って、このワードは逆文書度数(inverse document frequency)が低いので、ワードの重みは下がる。
【０１２３】
文脈ベクトルｄj は、基礎をなすシソーラスベクトルのみに依存する。従って、この方法は自動的である。文書ベクトルはコーパスからの派生物である。従って、表現を関係のある主題へ調整する機会が増える。
【０１２４】
図１０に、文脈ベクトルを計算する方法を示す。ステップ２００において、問い合わせまたは文書をプロセッサ１６（図１参照）にロードする。ステップ２０２において、問い合わせまたは文書内のすべてのワードを抽出する。ステップ２０４において、抽出した最初のワードについてシソーラスベクトルを検索する。ステップ２０６において、シソーラスベクトルを文書に対する文脈ベクトルに加える。もし文書から処理するワードが多く存在すれば、流れはステップ２０４へ戻り、次のワードについてシソーラスベクトルを検索する。ステップ２０８において、すべてのワードが処理されていれば、ステップ２１０において、文脈ベクトルを正規化する。文脈ベクトルを正規化する方程式は次式で表される。
【０１２５】
【数１８】
0003771299.tif 000023
ここで、ｐは縮小空間の次元数であり、ベクトルｄj 文脈ベクトルである。文脈ベクトルを正規化すれば、文書のサイズに関係なく、すべての文脈ベクトルは同じ長さを持つはずである。
【０１２６】
図１１に、問い合わせまたは文書の正規化した文脈ベクトルを示す。各文脈ベクトルは２０の現実的価値の次元を有する。
【０１２７】
図１２に、文脈ベクトルを使用して問い合わせの関連文書を検索する方法を示す。ステップ２３０において、ユーザーは問い合わせをプロセッサに入力する。ステップ２３２において、プロセッサは図１０のフローチャートを使用して問い合わせの文脈ベクトルを計算する。ステップ２３４において、ユーザーは計算した文脈ベクトルを記憶する。ステップ２４０において、プロセッサは文書を検索する。このステップは、問い合わせ処理の前にまたは並行して実行することができる。ステップ２４２において、各文書に対する文脈ベクトルを計算する。ステップ２４６において、追加の探索に使用するため、各文書の文脈ベクトルをＲＡＭまたは永久記憶装置に記憶する。
【０１２８】
ステップ２５０において、問い合わせの文脈ベクトルと、文書のコーパスの文脈ベクトルに基づいて、相関係数を計算する。相関係数は、前に述べた余弦関数（数式３参照）を使用して計算する。しかし、分母は１である。従って、相関関数の方程式は次式で表される。
【０１２９】
【数１９】
0003771299.tif 000024
ここで、ｄi は文脈ベクトルであり、ｄj は文書ベクトルである。すべての相関係数を計算したあと、ステップ２５２において、文書を最も関連のあるものから、最も関連のないものまでランク付けする。そのランキングはモニターに表示し、あるいはプリンタで印刷することができる。代わりに、ランキングをＲＡＭまたは永久記憶装置に記憶することができる。図１３に示すように、各記憶場所は、ランク、文書識別、および相関係数を記憶する。
【０１３０】
図１２に説明した方法は、 Tipster Category B コーパス (１７３，０００のウォールストリートジャーナルの記事から４５０，０００を越える一意タームを有する）を用いて実行した。 Tipster  コレクションの２５の Category B の主題について文脈ベクトルを計算した。各問い合わせごとに、相関係数と収集した精度／リコール統計によって計算したベクトルの類似に従って、文書をランク付けした。増補 tf.idf ターム加重付けによって、本発明の結果とベースライン標準ベクトル空間類似探索とを比較した。
【０１３１】
従来の方法より良い結果を得るために、 tf.idf ベースラインおよび文脈ベクトルからのスコアを結び付ける体系を使用した。公式的に、文書のランクは次式で表される。
【０１３２】
【数２０】
0003771299.tif 000025
ここで、ｒcvは文脈ベクトルのランクであり、ｒtf.idfは tf.idf のランクであり、αは０と１の間の自由パラメータである。
【０１３３】
図１９に、リコール（recall) の１１ポイントに対する精度のグラフを示す。最初に、探索を実行して可能性のある関連文書を検索した。文書を分析して問い合わせに実際に関連のある文書の数を決定した。探索の精度は関連文書の数と検索した文書の数の比である。探索のリコールは関連文書の数とコーパス内の関連文書の数の比である。従って、探索のリコールが増加すると、探索の精度が落ちる。
【０１３４】
図１９のグラフにおいて、一番下の線は tf.idf に対しリコールポイントを使用している。中間の線はαの最適な選定（α＝ 0.7）の線形結合に対しリコールポイントを使用している。この結果、 tf.idf に対する平均精度は 0.271  であり、 tf.idf と文脈ベクトルの線形結合に対する平均精度は 0.300  である。一番上の線は次に説明するワードファクター化法（word factorization method)に対するリコールポイントである。
【０１３５】
第３の好ましい実施例は、シソーラスベクトルを使用して問い合わせを主題−密着したワードグループ（ワードファクターと呼ばれる）に分解する。その目的は、文書が全問い合わせと関連のあり、それで各ファクターについてそれらのスコアが高いことを確かめることである。さらに、ワードファクターは、関連性について手動でふるいにかけることができる。やっかい物すなわち非主題タームを含むワードファクターは問い合わせから削除することができる。
【０１３６】
図１４に、問い合わせファクター化のためのプロセスを示す。ステップ３００において、問い合わせをプロセッサに入力する。ステップ３０２において、プロセッサは問い合わせ内のワードのシソーラスベクトルを検索する。これらの検索したシソーラスベクトルはＲＡＭに一時的に記憶することができる。ステップ３０４において、クラスタ化アルゴリズムを使用し、異なる主題すなわちファクターに基づいて、検索したシソーラスベクトルをクラスタ化する。ステップ３０６において、関連のあるファクターに従ってクラスタ化したベクトルをＲＡＭに記憶する。
【０１３７】
図１５に示すように、記憶場所はファクターに分割されている。文書ベクトル３１０は関連のあるファクターに割り当てられて記憶される。
【０１３８】
図１６に、ワードファクター法を用いた文書の検索を示す。ステップ３２０において、図１４に示した方法で計算した問い合わせの３つのファクターを検索する。ステップ３２２において、各ファクタークラスタごとのファクターベクトルを計算する。各ファクタークラスタごとのファクターベクトルは次式を用いて生成される。
【０１３９】
【数２１】
0003771299.tif 000026
ここで、ｆm ．．．．はクラスタｍのファクターベクトルであり、ｗimはクラスタｍ内のワードｉの重みであり、ｖi ．．．はワードｉのシソーラスベクトルである。ステップ３２４において、ファクターベクトルを記憶する。
【０１４０】
ステップ３３０において、コーパスの文書をプロセッサの中に受け取る。ステップ３３２において、〔数１６〕を用いて、各文書ごとに文書ベクトルを計算する。ステップ３３４において、文書ベクトルを記憶する。ステップ３４０において、計算した文書ベクトルとファクターベクトルとの相関係数を次式を用いて計算する。
【０１４１】
【数２２】
0003771299.tif 000027
ここで、ψ（ｆm ）はファクタークラスタｆm のファクターベクトルであり、ψ（ｄj ）は文書ｄj の文脈ベクトルである。
【０１４２】
ステップ３４２において、割り当てた相関係数と適切なファクターに基づいて文書をランク付けする。ファクター内の文書のランキングは次式の相関に基づいている。
【０１４３】
【数２３】
0003771299.tif 000028
このランク付けによるｄj のランクはｒ（ｊ）であり、corr (ｆm ，ｄj ）はファクターｍと文書ｊの相関である。
【０１４４】
図１７に、各ファクターごとにセクションに分割したメモリを示す。各セクションにおいて、文書は最高から最低までランク付けされている。各ファクターのランクは文書識別と相関係数に結び付いている。
【０１４５】
ステップ３４４において、ファクターの最高ランクに基づいて文書をランク付けする。このように、各文書は、次式を用いて各ファクター内のランキングに基づいてランク付けされる。
【０１４６】
【数２４】
0003771299.tif 000029
ここで、ｒ（ｊ）は文書ｊのランクであり、ｒm （ｊ）はファクタークラスタｍについて文書ｊのランクである。このアルゴリズムは論理制約条件を問い合わせの副主題に課すことに対応する。
【０１４７】
次にステップ３１６において、最高ランクの結果を記憶する。図１８に、最終ランキングの記憶場所を示す。最も高いランクの文書が問い合わせと最も関係が深い。メモリは、ランク、〔数２４〕の最高ランク付けの結果、および文書識別番号をリストする。
【０１４８】
問い合わせファクター化を使用して、航空機工業に対する補助金に関する米国と欧州諸国の貿易上の対立を扱っている関連文書を検索した。グループ平均集塊クラスタ化を使用して、問い合わせタームをそれらのシソーラスベクトルに基づいてファクターに分割した。各主題を３つのワードファクターにクラスタ化した。シソーラス内に少なくとも５回出現する一直線に並んだ全ワードをタームとして使用した。
・international politics−aid, assistance, british, code, complaint, consortium, controversy, douglas, economics, european governments, financing, french, german, government assistance, governments, international economics, loan, objection, petetion, policy review, producer, retaliation, review, sanctions, spanish, spanish government, tension
・the aircraft industry −aeronauticas, aeronauticas s.a, aerospace, aerospace plc, aerospatisle, airbus, airbus industrie, aircraft, aircraft consortium, blohm, boeing, boelkow, boelkow blohm, british aerospace, construcciones, construcciones aeronauticas, douglas corp, european aircraft, gmbh, mcdonnell, mcdonnell douglas, messerschmitt, messerschmitt boelkow, plc, s.a
・trade conflicts −airbus subsidies, anti dumping, countervailing, countervailing duty, dumping, dumping duty, federal subsidies, gatt, general agreement, review group, subsidies, tariffs, trade dispute, trade policy, trade tension
【０１４９】
類似探索の未解決の問題の１つは、あたかも探索タームをそれらが１つの大きな論理和内にあったかのように扱うことである。各ファクターに個別にスコアを付け、それらを適切に組み換えることによって、文書はすべてのファクターについて高くスコアが付けられるので、論理積制約条件が導入される。
【０１５０】
例えば、文書は問い合わせの副主題の１つのみを扱うけれども、問い合わせに対し全体として高いスコアを得ることができる。多くの高いスコアの文書は、trade conflicts または  international politics  に言及していない  the aircraft industry に関するものである。問い合わせを全体として評価する代わりに、各副主題を個々に評価し、それらの結果を結合することができるであろう。もし文書が問い合わせの重要な副主題の１つと関連がなれれば、その文書は全体として関連がないことが多い。例えば、 trade  に全然言及していない the aircraft industry  に関する文書は関連がない。
【０１５１】
ワードファクター化の第２の目的は、関連のないワードを半自動的に除去することである。 Tipster topic descriptions 内の多くのワードは問題の問い合わせに対し関連がないが、別の問い合わせと関連があるかも知れないので、それらをストップリストに置くべきでない。例えば、 topic description 75 は失敗した、または成功したオートメーションに関するものである。その主題は、“Science and Technology”の一般分野に属するとして識別される。従って、“Science ”は問い合わせのタームの１つであるが、問い合わせとは関連がない。 topic description 75 のワードファクターの１つを以下に挙げる。
【０１５２】
・failed; instance; force; conversely; science
このワードファクターはよい探索タームを含んでおらず、従って検索には使用しなかった。ワードファクターが関連があるか否かの決定は手動で行った。次に、関連があると判断したワードファクターを上に述べたアルゴリズムによって結合した。
【０１５３】
図１９に示すように、 tf.idf と文脈ベクトルを線形結合して各ファクターに対する文書ランクを評価する方法は、どちらか一方の方法をそれ自身に使用する方法よりすぐれていることが判った（ tf.idf のみに基づいたランク付けの場合の平均精度は 0.308  で、文脈ベクトルのみに基づいたランク付けの場合の平均精度は 0.287  である) 。図１９の一番上の線は、α＝ 0.86 の場合の１１リコールポイントの場合の精度ポイントを示す。平均精度は 0.3218 である。これは、 0.271  の tf.idf の結果より５％向上している。
【０１５４】
以上、以上の説明は、好ましい実施例を明らかにすることを意図している。開示内容は単に実例であることを理解されたい。特許請求の範囲に記載した発明の精神および範囲の中で、部品、手順、機能の組合せや配置について種々の変更を行うことが可能である。
【０１５５】
付録Ａ
問い合わせ“average ”に対する１０の最も高いランキングの文書：
-bank fund and cd yields are lower for fifth week
-money fund and cd yields drop for 4th straight week
-bank yields on certiticates of deposits fall narrowly
-cd and bank yields mixed during week
-adds 1973 data; drops repeated figures for 1976-6
-cd and bank fund yields continue to decline
-bank funds, cd's mixed for week
-cd yields off a 10th week; savings units'rates mixed
-yields on cds and money market accounts fall for 9th week
【０１５６】
問い合わせ“Eschenbach”に対する10の最も高いランキングの文書:
-the recorded legacy of leonard bernstein
-music world pays tribute to leonard bernstein
-mostly mozart to open with one-act opera
-maurice gendron, french cellist and conductor, dies at 69
-san francisco plans festival for mozart's bicentenary
-daniel guilet, violinist, is dead; beaux arts trio founder was 91
-hoollywood bowl will create second orchestra
-bernstein retires, citing poor health
-some riffs on a dream jazz festival
-richard lewis, tenor, dies at 76; sang baroque and modern works
【０１５７】
問い合わせ“gill”に対する10の最も高いランキングの文書:
-vandal vessels invade the atlantic
-summer anglers take note
-driven from pacific, asian driftnet fishermen now ply atlantic
-'red snapper ’shortage possible within 5 years
-for release tuesday, sept. 18
-japanese drift-net fishers face protest from conservationists
-the keys to success for the saltwater fly fisherman
-dried arrangements
-outdoors: atlantic bonito are swift and strong
-battle to preserve florida reef intensifies
【０１５８】
問い合わせ“Indonesians ”に対する10の最も高いランキングの文書:
-vietnamese pay a high-level visit to china
-khmer rouge moves thousands of refugees into malariel'liberated
-conflict between u.s. and asia over foat people intensifies
-asian nations criticize u.s. refugee policy
-boat people's plight seen as likely to worsen
-beijing and singapore agree to set up diplomatic links
-beijing on a diplomatic roll
-former dissident in mainland china now facing changes in taiwan
-rivals shun conference
-end to camgodian killing fields could begin in hanoi this weekend
【０１５９】
問い合わせ“markup”に対する10の最も高いランキングの文書:
-supermarkets now sell the space on their shelves
-lucky stores to offer home grocery delivery
-now fewer firms are chasing small investors
-retailers adapt sales strategies to uncertainties of holiday season
-detroit responds to retal-car challenge
-liz claiborne sets discount increase
-wal-markets set to buy discount club chain
-hypermarkets not generating whopping sales
-upgraded image helps penney's bring in shoppers
-g.m. sets incentive offer on many of its 1991 models
【０１６０】
問い合わせ“Novell”に対する10の最も高いランキングの文書:
-tandy introducing home computer
-hitachi plans hewlett chip
-amdahl posts 41 percent profit gain
-ashton-tate sells software product
-unix pact disclosed
-apple extends adobe license
-mips forecasts possible deficit
-new sun printer and software
-consortium's new software
-ask computer acquires ingres corp.
【０１６１】
問い合わせ“pleaded ”に対する10の最も高いランキングの文書:
-fedefal judge aguilar sentenced to six months prison
-ex-juror in goland election-fraud trial accused of offering to rig
-former teamster leader guilty of conspiracy with federal judge
-the various charges in the marcos trial
-jury to be asked about camarena news articles
-federal judge is given reduced jail term in corruption case
-plea bargain falls through for drug defendant
-victim's family rejects bensonfurst deal
-los angeles: evidence in the case
-barry's lawyers, federal prosecutors begin talks on plea bargain
【０１６２】
問い合わせ“rags”に対する10の最も高いランキングの文書:
-the three-handkerchief men
-unseen traveling companions
-under the sun and out of it, too
-sparkle for the ears
-commentary: marble vases, gloria steinem and mary kay
-rockers turn their garb into garble
-now that fall's here, it's time for haute couture
-printed overalls, for when paris sizzles
-'gone with the wind' mural continues artist's heritage
-what's haute is haute
【０１６３】
問い合わせ“shriveled ”に対する10の最も高いランキングの文書:
-lustau reserva light fino sherry, solera jarana; about $ 8.
-on the politics of green-bean cookery
-slow-cooked seasonal fare: a reason for fast-paced cooks to stew?
-undated: communal baths.
-summer's still warm at greenmarkets
-there's yumi, and there's yucky yogurt
-a pennsylvania tradition: the soft pretzel
-those great old decadent delicious diners!
-the sthnic varieties of the urban pickle
-when whatever goes in the pot is whatever's in the pantry
【０１６４】
問い合わせ“Societies ”に対する10の最も高いランキングの文書:
-pope issue key document on roman catholic higher education
-churches, s.f. mayer begin new push to enlist aids volunteers
-leader of eastern orthodox christians begins visit to u.s.
-leader of easter orthodox christians begins visit to u.s.
-interfaith effort aims to ease children's suffering
-interfaith effort aims to ease children's suffering
-blahoslav s. hruby, presbyterian minister, dies at 78
-rabbi kelman, leader of conservative judaism, dies at 66
-greek orthodox group wants to permit married bishops
-vatican, jewish groups see need to fight anti-semitism in east
【図面の簡単な説明】
【図１】文書または問い合わせ内のタームの語彙同時出現を決定する装置のブロック図である。
【図２】   Buckshot クラスタ化アルゴリズムのフローチャートである。
【図３】   WordSpace  を使用する問い合わせの公式化を示す図である。
【図４】   DocumentSpace  を使用する問い合わせの公式化を示す図である。
【図５】シソーラスのためのワードベクトルを計算するフローチャートである。
【図６】図５のフローチャートで計算したマトリックスＡを示す図である。
【図７】図５のフローチャートで計算したマトリックスＢを示す図である。
【図８】図５のフローチャートで計算したマトリックスＣを示す図である。
【図９】図５のフローチャートで計算した縮小マトリックスＣを示す図である。
【図１０】文書のための文脈ベクトルを計算するフローチャートである。
【図１１】文書文脈ベクトルを示す図である。
【図１２】問い合わせの文脈ベクトルと文書の文脈ベクトルに基づいて文書をランク付けするためのフローチャートである。
【図１３】文書のランキングのための記憶場所を示す図である。
【図１４】文書ベクトルのファクタークラスタを作るためのフローチャートである。
【図１５】ファクタークラスタのための記憶場所を示す図である。
【図１６】ファクタークラスタに基づいて文書ベクトルをランク付けするためのフローチャートである。
【図１７】ファクタークラスタによる文書ベクトルのランキングのための記憶場所を示す図である。
【図１８】ファクタークラスタのランキングに基づく文書の最終ランキングを示す図である。
【図１９】文脈ベクトル法とファクタークラスタベクトル法によって計算した精度ポイントを示すグラフである。
【符号の説明】
１０  文書または問い合わせ内のタームの語彙的同時出現を決定し、シソーラスを作成する装置
１２  ユーザー入力装置
１４  ＣＲＴ表示モニター
１６  プロセッサ
１８  出力装置
２０  ＲＯＭ
２２  ＲＡＭ
２４  ファイル
【図１】
0003771299.tif 000030
【図２】
0003771299.tif 000031
【図３】
0003771299.tif 000032
【図４】
0003771299.tif 000033
【図５】
0003771299.tif 000034
【図６】
0003771299.tif 000035
【図７】
0003771299.tif 000036
【図８】
0003771299.tif 000037
【図９】
0003771299.tif 000038
【図１０】
0003771299.tif 000039
【図１１】
0003771299.tif 000040
【図１２】
0003771299.tif 000041
【図１３】
0003771299.tif 000042
【図１４】
0003771299.tif 000043
【図１５】
0003771299.tif 000044
【図１６】
0003771299.tif 000045
【図１７】
0003771299.tif 000046
【図１８】
0003771299.tif 000047
【図１９】
0003771299.tif 000048