(57)【特許請求の範囲】
【請求項１】
テキストとこのテキスト中に記されているリンクとよりなるノードを複数有し、前記リンクにはそのリンク先の２次ノードを指し示す２次ノードパス名が記されて前記各ノードの繋がりを示すように構成されたハイパーテキストからコンピュータが情報を抽出する情報抽出方法において、
検索キーワードに対応するノードを指し示すノードパス名が入力されると、前記ノードのテキスト及びリンクを解析し、前記２次ノードパス名と前記テキスト中のリンクの近傍に記載されているテキスト部分を切り出したリンク近傍テキストとを組とする入力テーブルを出力するノード分析ステップと、
前記２次ノードにアクセスし、前記２次ノードのテキストを取得する２次ノード取得ステップと、
前記２次ノードのテキストを所定の大きさのテキスト片群に分割するテキスト分割ステップと、
前記リンク近傍テキストに対する前記分割した各テキスト片それぞれの類似度を計算し、前記各テキスト片と前記類似度とを組とする類似度テーブルを出力する類似度計算ステップと、
前記テキスト片群の中から最も類似している類似度のテキスト片を選択する最適テキスト片選択ステップと、
前記入力テーブルを順次解析し、各々の前記２次ノードについて前記最適テキスト片選択ステップより選択される前記各２次ノードの最適テキスト片を、現在時刻、前記ノードパス名、前記２次ノードパス名、及び前記リンク近傍テキストと共に夫々抽出してデータベース化するデータベースステップと
を有することを特徴とする情報抽出方法。
【請求項２】
請求項１に記載された情報抽出方法において、
前記類似度計算ステップは、テキストを形態素群に分割し、前記形態素群をベクトルと見なし、各文章に対応するベクトルのコサイン・シータを類似度と見なすことで、前記類似度を０以上かつ１以下の範囲とし、
前記最適テキスト片選択ステップは、前記類似度テーブルより、類似度が所定の範囲にあるテキスト片のうち最大の類似度を有するテキスト片を選択するようにしたことを特徴とする情報抽出方法。
【請求項３】
テキストとこのテキスト中に記されているリンクとよりなるノードを複数有し、前記リンクにはそのリンク先の２次ノードを指し示す２次ノードパス名が記されて前記各ノードの繋がりを示すように構成されたハイパーテキストからコンピュータが情報を検索する情報検索方法において、
検索キーワードに対応するノードを指し示すノードパス名が入力されると、前記ノードのテキスト及びリンクを解析し、前記２次ノードパス名と前記テキスト中のリンクの近傍に記載されているテキスト部分を切り出したリンク近傍テキストとを組とする入力テーブルを出力するノード分析手段と、
前記２次ノードにアクセスし、前記２次ノードのテキストを取得する２次ノード取得手段と、
前記２次ノードのテキストを所定の大きさのテキスト片群に分割するテキスト分割手段と、
前記リンク近傍テキストに対する前記分割した各テキスト片それぞれの類似度を計算し、前記各テキスト片と前記類似度とを組とする類似度テーブルを出力する類似度計算手段と、
前記テキスト片群の中から最も類似している類似度のテキスト片を選択する最適テキスト片選択手段と、
前記入力テーブルを順次解析し、各々の前記２次ノードについて前記最適テキスト片選択手段より選択される前記各２次ノードの最適テキスト片を、現在時刻、前記ノードパス名、前記２次ノードパス名、及び前記リンク近傍テキストと共に夫々抽出してデータベース化するデータベース手段と
を備えた情報抽出装置に対して、検索するノードパス名を入力し、前記検索するノードパス名と前記ノードパス名とが一致する前記データベース手段より選択された前記データエントリ群を出力するようにして前記コンピュータが情報検索を行うことを特徴とした情報検索方法。
【請求項４】
請求項３に記載された情報検索方法において、
前記類似度計算手段は、テキストを形態素群に分割し、前記形態素群をベクトルと見なし、各文章に対応するベクトルのコサイン・シータを類似度と見なすことで、前記類似度を０以上かつ１以下の範囲とし、
前記最適テキスト片選択手段は、前記類似度テーブルより、類似度が所定の範囲にあるテキスト片のうち最大の類似度を有するテキスト片を選択するようにしたことを特徴とする情報検索方法。
【請求項５】
テキストとこのテキスト中に記されているリンクとよりなるノードを複数有し、前記リンクにはそのリンク先の２次ノードを指し示す２次ノードパス名が記されて前記各ノードの繋がりを示すように構成されたハイパーテキストから情報を抽出する情報抽出コンピュータプログラムにおいて、
検索キーワードに対応するノードを指し示すノードパス名が入力されると、前記ノードのテキスト及びリンクを解析し、前記２次ノードパス名と前記テキスト中のリンクの近傍に記載されているテキスト部分を切り出したリンク近傍テキストとを組とする入力テーブルを出力するノード分析ステップと、
前記２次ノードにアクセスし、前記２次ノードのテキストを取得する２次ノード取得ステップと、
前記２次ノードのテキストを所定の大きさのテキスト片群に分割するテキスト分割ステップと、
前記リンク近傍テキストに対する前記分割した各テキスト片それぞれの類似度を計算し、前記各テキスト片と前記類似度とを組とする類似度テーブルを出力する類似度計算ステップと、
前記テキスト片群の中から最も類似している類似度のテキスト片を選択する最適テキスト片選択ステップと、
前記入力テーブルを順次解析し、各々の前記２次ノードについて前記最適テキスト片選択ステップより選択される前記各２次ノードの最適テキスト片を、現在時刻、前記ノードパス名、前記２次ノードパス名、及び前記リンク近傍テキストと共に夫々抽出してデータベース化するデータベースステップと
をコンピュータに実行させることを特徴とする情報抽出コンピュータプログラム。
【請求項６】
請求項５に記載された情報抽出コンピュータプログラムにおいて、
前記類似度計算ステップは、テキストを形態素群に分割し、前記形態素群をベクトルと見なし、各文章に対応するベクトルのコサイン・シータを類似度と見なすことで、前記類似度を０以上かつ１以下の範囲とし、
前記最適テキスト片選択ステップは、前記類似度テーブルより、類似度が所定の範囲にあるテキスト片のうち最大の類似度を有するテキスト片を選択するようにしたことを特徴とする情報抽出コンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は情報抽出方法、情報検索方法及び情報抽出コンピュータプログラムに係り、特に情報をノードとノード間のリンクとで構成したハイパードキュメントシステムから情報を抽出する情報抽出方法、その装置を使用した情報検索方法及び情報抽出コンピュータプログラムに関する。
【０００２】
【従来の技術】
ハイパードキュメントシステムでは、取り扱われるテキスト情報を幾つかの小さな単位（ノード）に分割し、それらを関連付けて整理している。このような関連付けを示す情報を、リンクと呼ぶ。
例えば、インターネット上では、ＷＷＷ(World Wide Web)により、ハイパードキュメントシステムが構築されている。
ＷＷＷの情報は、ＨＴＭＬ(Hyper Text Markup Language)で記述されている。このＨＴＭＬは、ノード間のリンクに意味的制約がない。
このノード間のリンクに意味的制約を持たないシステムには、ドキュメントオーサ（作者）が意のままにコンテンツとリンク構造を決めることが出来るという利点がある。
【０００３】
そして、このようなハイパードキュメントシステムにより、ドキュメントリーダ（読者）は、ドキュメントオーサの構築したリンク構造をたどり、そのドキュメントオーサが提供する全ての情報に対してアクセス出来る。
【０００４】
しかしドキュメントリーダが、自身が欲した情報が含まれているノードを発見したとしても、リンク間には意味的な制約がないため、リンク先のノードに関連情報が含まれているかを確認するためには、実際にリンクを辿ってチェックしなければならない。
ところが、ハイパードキュメントシステムの情報量は膨大である。そのため、ドキュメントリーダが必要な情報を見付け出すには、情報検索を支援するシステムが必要である。
【０００５】
そのような従来の情報検索を支援するシステム（特開平１１−３３４７号公報の情報抽出装置）について、図と共に以下に説明する。
図１０は従来の情報抽出装置の一例のブロック構成を示したものである。ここで、ドキュメントオーサが、ある情報を３つのノード７０１〜７０３に分割して、ドキュメントを作成した場合を考える。
この例では、ノード７０１から２つのノード７０２，７０３に対してリンクが張られている。そして、情報抽出装置７１０に対して、ノード７０１が起点ノードとして入力される。
【０００６】
起点ノード特徴抽出手段７１１は、起点ノード７０１が入力されると、この起点ノード７０１の内容を解析し、起点ノード７０１の特徴を抽出する。
抽出した特徴は起点ノード特徴プロファイル７１１ａとして類似性判定手段７１４に供給される。ここで、ノードの特徴に関する情報とは、そのノードの内容を特徴付ける単語とその重要度を示す値の対の集合とする。
例えば、起点ノードに出現する各単語に関する出現頻度、出現位置及び品詞の情報に基づいて重み付けすることにより、起点ノード特徴プロファイル７１１ａを作成する。
【０００７】
２次ノード取得手段７１２は、入力された起点ノード７０１からリンクが張られたノード７０２，７０３を２次ノードとして取得する。取得した各２次ノードは、２次ノード特徴抽出手段７１３に供給される。
【０００８】
この２次ノード特徴抽出手段７１３は、２次ノード取得手段７１２が取得した２次ノードの内容を解析し、各２次ノードの特徴を抽出する。その抽出した特徴は、２次ノード特徴プロファイル７１３ａとして類似性判定手段７１４に供給される。
２次ノード特徴抽出手段７１３も起点ノード特徴抽出手段７１１と同様に、２次ノードに出現する各単語に関する出現頻度、出現位置及び品詞の情報に基づいて重み付けを行い、２次ノード特徴プロファイル７１３ａを作成する。
【００１０】
これにより、起点ノードに対して、その起点ノードに類似する２次ノードを合成した合成ノード７０４が得られる。
なお、この情報抽出装置７１０に対する起点ノードの入力は、例えば、従来のハイパードキュメントの情報検索において予めノードをランダムにスキャンして得られたノードを、起点ノードとして入力する。
この場合、情報抽出装置７１０から出力される合成ノード７０４が検索対象となる。
【００１１】
このような構成の従来の情報抽出装置７１０によって行われる処理を、以下に説明する。まず特徴抽出の処理手順について説明する。
【００１２】
図１１は、特徴抽出の処理の流れを示すフローチャートである。
このフローチャートでは、起点ノードを受け取った起点ノード特徴抽出手段７１１の処理として説明するが、２次ノードを受け取った２次ノード特徴抽出手段７１３が行う処理も同様の処理であり、以下、各処理をステップ番号（ステップＳ８０１〜Ｓ８０６）に従って説明する。
【００１３】
〔ノード入力    ステップＳ８０１〕
起点ノード７０１が与えられ、その情報ソースが起点ノード特徴抽出手段７１１に入力される。
〔タグの除去    ステップＳ８０２〕
情報ソースから、ハイパードキュメントシステム記述言語（例えば、ＨＴＭＬ）で定義されたタグを除去する。
〔単語抽出    ステップＳ８０３〕
既知の形態素解析技術を用いて、残されたテキストから単語を抽出する。
【００１４】
〔重要単語の抽出    ステップＳ８０４〕
ステップＳ８０３で得られた単語の集合から重要単語だけを抽出する。
ここで、重要単語とは情報ソースの内容を特徴付けている単語であり、名詞だけを重要単語とするといった方法により重要単語の抽出を行うことが出来る。
【００１５】
〔  重要単語の重み付け    ステップＳ８０５〕
ステップＳ８０４で得られた重要単語に対して、出現頻度や出現位置を考慮して、重み付けを行う。
すなわち、出現頻度の高い単語ほど重要度を高くし、また、出現位置が文書の先頭に近い程その単語の重要度を高くする。
〔  特徴プロファイル作成    ステップＳ８０６〕
最後に、重要単語とその重みとの組からなるリストを作成し、これを起点ノード特徴プロファイル７１１ａとする。
【００１６】
このようにして得られた、起点ノード７０１の特徴プロファイル７１１ａ（単数）は、類似性判定手段７１４に供給される。
また、起点ノード７０１は、２次ノード取得手段７１２にも供給されており、２次ノード取得手段７１２は、受け取ったノード７０１の情報ソースに含まれるリンク情報を検索し、そのリンク先のノードを２次ノード７０２として取得する。
例えば、起点ノードがＨＴＭＬで作成されていれば、アンカータグ（＜Ａ＞．．．＜／Ａ＞）で囲まれた領域内のＵＲＬ(Uniform Resource Locator)を抽出し、そのＵＲＬで指定された文書（２次ノード）を取得する。
【００１７】
２次ノード取得手段７１２が取得した２次ノードの集合は、２次ノード特徴抽出手段７１３に供給される。
そして、２次ノード特徴抽出手段７１３によって、図１１に示したフローチャートと同様の処理が実行され、各２次ノード７０２，７０３に対する２次ノード特徴プロファイル７１３ａ（複数）が作成される。
【００１８】
その２次ノードの特徴プロファイル７１３ａは、類似性判定手段７１４に供給される。
この類似性判定手段７１４には、上記した起点ノード特徴プロファイル７１１ａと複数の２次ノード特徴プロファイル７１３ａとが供給される。
【００１９】
つぎに、図１０に示した類似性判定手段７１４によって実行される類似性処理の流れの具体例を説明する。
図１２は類似性判定手段７１４の処理手順を示したフローチャートである。以下の類似性処理を順次説明する。
【００２０】
〔初期化  ステップＳ９１１〕
変数ｎに対して、ｎ＝１という初期化を行う。また、２次ノード取得手段７１２が取得した２次ノードの数を変数ｍに代入する。ここで、２次ノード特徴プロファイル７１３ａは、１〜ｍの順番に並べられる。
【００２１】
〔起点ノードの特徴プロファイル取得  ステップＳ９１２〕
起点ノードの特徴プロファイル７１１ａを取得する。
〔ｎはｍより大きいか  ステップＳ９１３〕
ｎとｍの大小を比較して、ｎ＞ｍであれば（Ｓ９１３ＹＥＳ）、処理を終了し、ｎ＞ｍでなければ（Ｓ９１３ＮＯ）、ステップＳ９１４に進む。
【００２２】
〔ｎ番目の２次ノードの特徴プロファイル取得  ステップＳ９１４〕
ｎ番目の２次ノードの特徴プロファイル７１３ａを取得する。
〔特徴プロファイルの類似度計算  ステップＳ９１５〕
ステップＳ９１２で得られた起点ノード特徴プロファイル７１１ａとステップＳ９１４で得られた２次ノード特徴プロファイル７１３ａとの類似度を計算する（類似性判定手段７１４）。この類似度の計算には、既知のベクトル内積演算手法を用いる。
【００２３】
〔類似度は閾値より大きいか  ステップＳ９１６〕
ステップＳ９１５で得られた類似度の値と閾値を比較して、
類似度＞閾値であれば（Ｓ９１６ＹＥＳ）、ステップＳ９１７に進み、
類似度＞閾値でなければ（Ｓ９１６ＮＯ）、ステップＳ９１８に進む。
ここで、閾値は予め設定された値であり、その大小で類似性の許容範囲を調整する。
類似度をベクトル内積演算手法で計算した場合には、閾値としては、例えば０．１程度の値を設定する。
【００２４】
〔ｎ番目の２次ノードを合成候補とする  ステップＳ９１７〕
類似度が閾値より大きければ、ｎ番目の２次ノードを起点ノードへ合成するノードの候補として記憶する。
〔  ｎの値に１を加算する  ステップＳ９１８〕
ｎの値に１を加算してｎ＋１とし、ステップＳ９１３に進む。
【００２５】
これにより、順番が１〜ｍの各２次ノード特徴プロファイル７１３ａについて、起点ノード特徴プロファイル７１１ａとの間の類似性の有無が判定される。
そして、ステップＳ９１７において、合成するノードの候補として記憶された２次ノードの集合と、起点ノードとがノード合成手段７１５に供給される。
最後に、ノード合成手段７１５が、起点ノードに、類似性有りと判定された全ての２次ノードを合成し、合成ノード７０４とする。
【００２６】
このようにして得られた合成ノード７０４を情報検索の対象とすれば、例えば「概念Ａ」に類似する情報を検索した場合に、ノード７０１単独では「概念Ａ」と非類似であっても、ノード７０１と２次ノードとを合成した合成ノードと「概念Ａ」とが類似していれば、検索結果としてノード７０１を得ることが出来る。ノード７０１を得たユーザは、そのノード７０１からリンクをたどり、目的の「概念Ａ」に類似する情報の全てにアクセス出来る。
【００２７】
なお、起点ノード特徴抽出手段７１１若しくは２次ノード特徴抽出手段７１３が重要単語の重み付けをする際に、ＨＴＭＬなどのタグにより強調されている文字を、重要度の高い単語とすることも出来る。それには、図１１の処理の順番を入れ替え、ステップＳ８０２の処理を、ステップＳ８０５とステップＳ８０６との間で行う必要がある。
【００２８】
さらに、ステップＳ８０３の単語抽出処理においては、文字を強調するためのタグと、そのタグの中に記載されている文字とは、分離せずに抽出する。
文字を強調するタグに囲まれた領域から複数の単語を抽出する際には、それぞれの単語に対して、タグの情報を付加しておく。これにより、重要単語の重み付けをする際に、どの単語が強調表示されていたのかを識別することが出来る。
【００２９】
以上に説明したように、この従来例は、ハイパーテキストの各ノードから、情報の類似度を比較判定出来る特徴プロファイルを生成し、ドキュメントリーダの検索要請に合わせて、情報間の類似性を判定して、ノードを合成して合成ノードを作成し、合成ノード７０４を出力することで、意味的な纏まりを有する情報の単位で抽出しようとしたものである。
【００３０】
【発明が解決しようとする課題】
従来においては、検索時に類似性有りと判定された全ての２次ノードを起点ノードに合成して合成ノードとして情報抽出を行う方法では、たとえ時系列に沿って変化するハイパーテキストを複数個保存するような改良が加えられたとしても、記憶容量及び情報抽出時の演算量の増加を招いて、読むのにも時間が掛かり、効率が悪い。
【００３１】
また、従来においては、ハイパーテキスト全体は静的な構成を仮定していた。しかし、インターネットなどに置かれたハイパーテキストは静的なドキュメントシステムではなく、各ノードは複数のドキュメントオーサによって自在に変更され、またノードを指定するリンクも自在に追加、削除されるものである。
特に、ハイパーテキストに容易に埋め込むことの出来るリンクは、他のノードを名指しての誹謗中傷や、逆に偏見や差別を記述したノードに対して指摘や訂正を求める際に、重要な役割を持つ。
【００３２】
これらに該当するリンクは、リンク元もしくはリンク先のドキュメントオーサの恣意的な変更によって、該当部分が削除もしくは訂正され、リンクの意味がなくなることが多い。
このような例では、静的なハイパーを前提とした情報抽出装置は効果がない。よって、上記の合成ノードによって結果を得る方法では、結果的に話題の時系列は、ドキュメントオーサのリンク部分の削除もしくは訂正により関連性がなくなり破壊されてしまう。
【００３３】
具体的な一例を挙げて説明する。
あるノードＢのドキュメント管理者Ｂが、あるノードＡのドキュメント管理者Ａを誹謗中傷する文章を悪意をもって作成し、それをハイパーテキストとして公開したとしても、その誹謗中傷文章に対する非難・及び訂正要望がドキュメント管理者Ａからドキュメント管理者Ｂへ届いた時点で、ドキュメント管理者Ｂは文章の一部を改竄して何事もなかったかのように振舞ったり、巧妙に改竄することでドキュメント管理者Ａを言われなき非難を行う者としておとしめることが可能である。
【００３４】
このような例では、従来のようなハイパーテキストを個々のノードに関して最新のものを１つだけ保存するタイプの情報抽出装置（検索エンジン）では、取得時刻や更新時刻は保存していても、時系列変化を伴うハイパーテキストは保存されていないため、以前に溯って話題の変遷を追うことは不可能である。
【００３５】
そこで本発明は上記の課題を解決するためになされたものであり、特に、ノード分析ステップ、最適テキスト片選択ステップ、データベースステップを有し、最適テキスト片選択ステップによりリンクに関連する２次ノードのテキストの最適な一部分のみを切り出してデータベースステップに抽出保存し、そのデータベースステップよりそれらを検索するようにして、特定のキーワードのハイパーテキストを継続的に監視するような場合も、取得時刻毎にこのリンクに関連するテキスト付きのテキスト全文を保存するものよりも、記憶領域を大幅に節約することが出来、よって、その時系列変化を伴うデータであってもその内容も短時間で理解出来るようにすることを目的とするものである。
【００３６】
【課題を解決するための手段】
上記課題を解決するために、
請求項１に記載された発明は、
テキストとこのテキスト中に記されているリンクとよりなるノードを複数有し、前記リンクにはそのリンク先の２次ノードを指し示す２次ノードパス名が記されて前記各ノードの繋がりを示すように構成されたハイパーテキストからコンピュータが情報を抽出する情報抽出方法において、
検索キーワードに対応するノードを指し示すノードパス名が入力されると、前記ノードのテキスト及びリンクを解析し、前記２次ノードパス名と前記テキスト中のリンクの近傍に記載されているテキスト部分を切り出したリンク近傍テキストとを組とする入力テーブルを出力するノード分析ステップ１１と、
前記２次ノードにアクセスし、前記２次ノードのテキストを取得する２次ノード取得ステップ１４と、
前記２次ノードのテキストを所定の大きさのテキスト片群に分割するテキスト分割ステップ１５と、
前記リンク近傍テキストに対する前記分割した各テキスト片それぞれの類似度を計算し、前記各テキスト片と前記類似度とを組とする類似度テーブルを出力する類似度計算ステップ１６と、
前記テキスト片群の中から最も類似している類似度のテキスト片を選択する最適テキスト片選択ステップ１７と、
前記入力テーブルを順次解析し、各々の前記２次ノードについて前記最適テキスト片選択ステップより選択される前記各２次ノードの最適テキスト片を、現在時刻、前記ノードパス名、前記２次ノードパス名、及び前記リンク近傍テキストと共に夫々抽出してデータベース化するデータベースステップ１３と
を有することを特徴とする情報抽出方法を提供し、
請求項２に記載された発明は、
請求項１に記載された情報抽出方法において、
前記類似度計算ステップ１６は、テキストを形態素群に分割し、前記形態素群をベクトルと見なし、各文章に対応するベクトルのコサイン・シータを類似度と見なすことで、前記類似度を０以上かつ１以下の範囲とし、
前記最適テキスト片選択ステップ１７は、前記類似度テーブルより、類似度が所定の範囲にあるテキスト片のうち最大の類似度を有するテキスト片を選択するようにしたことを特徴とする情報抽出方法を提供し、
請求項３に記載された発明は、
テキストとこのテキスト中に記されているリンクとよりなるノードを複数有し、前記リンクにはそのリンク先の２次ノードを指し示す２次ノードパス名が記されて前記各ノードの繋がりを示すように構成されたハイパーテキストからコンピュータが情報を検索する情報検索方法において、
検索キーワードに対応するノードを指し示すノードパス名が入力されると、前記ノードのテキスト及びリンクを解析し、前記２次ノードパス名と前記テキスト中のリンクの近傍に記載されているテキスト部分を切り出したリンク近傍テキストとを組とする入力テーブルを出力するノード分析手段１１と、
前記２次ノードにアクセスし、前記２次ノードのテキストを取得する２次ノード取得手段１４と、
前記２次ノードのテキストを所定の大きさのテキスト片群に分割するテキスト分割手段１５と、
前記リンク近傍テキストに対する前記分割した各テキスト片それぞれの類似度を計算し、前記各テキスト片と前記類似度とを組とする類似度テーブルを出力する類似度計算手段１６と、
前記テキスト片群の中から最も類似している類似度のテキスト片を選択する最適テキスト片選択手段１７と、
前記入力テーブルを順次解析し、各々の前記２次ノードについて前記最適テキスト片選択手段より選択される前記各２次ノードの最適テキスト片を、現在時刻、前記ノードパス名、前記２次ノードパス名、及び前記リンク近傍テキストと共に夫々抽出してデータベース化するデータベース手段１３と
を備えた情報抽出装置に対して、検索するノードパス名を入力し、前記検索するノードパス名と前記ノードパス名とが一致する前記データベース手段１３より選択された前記データエントリ群を出力するようにして前記コンピュータが情報検索を行うことを特徴とした情報検索方法を提供し、
請求項４に記載された発明は、
請求項３に記載された情報検索方法において、
前記類似度計算手段１６は、テキストを形態素群に分割し、前記形態素群をベクトルと見なし、各文章に対応するベクトルのコサイン・シータを類似度と見なすことで、前記類似度を０以上かつ１以下の範囲とし、
前記最適テキスト片選択手段１７は、前記類似度テーブルより、類似度が所定の範囲にあるテキスト片のうち最大の類似度を有するテキスト片を選択するようにしたことを特徴とする情報検索方法を提供し、
請求項５に記載された発明は、
テキストとこのテキスト中に記されているリンクとよりなるノードを複数有し、前記リンクにはそのリンク先の２次ノードを指し示す２次ノードパス名が記されて前記各ノードの繋がりを示すように構成されたハイパーテキストから情報を抽出する情報抽出コンピュータプログラムにおいて、
検索キーワードに対応するノードを指し示すノードパス名が入力されると、前記ノードのテキスト及びリンクを解析し、前記２次ノードパス名と前記テキスト中のリンクの近傍に記載されているテキスト部分を切り出したリンク近傍テキストとを組とする入力テーブルを出力するノード分析ステップ１１と、
前記２次ノードにアクセスし、前記２次ノードのテキストを取得する２次ノード取得ステップ１４と、
前記２次ノードのテキストを所定の大きさのテキスト片群に分割するテキスト分割ステップ１５と、
前記リンク近傍テキストに対する前記分割した各テキスト片それぞれの類似度を計算し、前記各テキスト片と前記類似度とを組とする類似度テーブルを出力する類似度計算ステップ１６と、
前記テキスト片群の中から最も類似している類似度のテキスト片を選択する最適テキスト片選択ステップ１７と、
前記入力テーブルを順次解析し、各々の前記２次ノードについて前記最適テキスト片選択ステップより選択される前記各２次ノードの最適テキスト片を、現在時刻、前記ノードパス名、前記２次ノードパス名、及び前記リンク近傍テキストと共に夫々抽出してデータベース化するデータベースステップ１３と
をコンピュータに実行させることを特徴とする情報抽出コンピュータプログラムを提供し、
請求項６に記載された発明は、
請求項５に記載された情報抽出コンピュータプログラムにおいて、
前記類似度計算ステップ１６は、テキストを形態素群に分割し、前記形態素群をベクトルと見なし、各文章に対応するベクトルのコサイン・シータを類似度と見なすことで、前記類似度を０以上かつ１以下の範囲とし、
前記最適テキスト片選択ステップ１７は、前記類似度テーブルより、類似度が所定の範囲にあるテキスト片のうち最大の類似度を有するテキスト片を選択するようにしたことを特徴とする情報抽出コンピュータプログラムを提供するものである。
【００３７】
【発明の実施の形態】
情報抽出装置の実施の形態につき、好ましい実施例により、以下に図と共に説明する。
本発明の情報抽出装置は、取り扱われるテキスト情報が幾つかの小さな単位（ノード）に分割し、それらを関連付けて整理し、このような関連付けを示す情報をリンクと呼んでいるハイパーテキストを有するハイパードキュメントシステムに適用されるものである。
【００３８】
本発明の情報抽出方法が適用される情報抽出装置（請求項１に記載の発明）の一実施例のブロック構成を図１に示す。
情報抽出装置の一実施例の各ブロック１１〜１７について、以下に説明する。起点ノード分析手段１１は、特定の検索キーワード（単語、語句等）の（起点）ノードパス名が入力されると、ノードパス名が指し示す（起点）ノードに含まれるハイパーテキストを取得する。
【００３９】
ここでいうハイパーテキストとは、ＨＴＭＬに類するマークアップ言語で記述されたテキストファイルであり、プレーンテキストとリンクを表すアンカータグが混在したテキストである。
アンカータグには、リンク先のノードを指し示すための２次ノードパス名が埋め込まれている。
【００４０】
この起点ノード分析手段１１は、ハイパーテキストに含まれるリンクを解析し、２次ノードパス名と、アンカータグ周辺のプレーンテキストを予め定められた切り出し法則に従って「リンク近傍テキスト」として取り出す。
例えば切り出し法則としては、日本語の場合は句点（。）が３回現れるまで取り出し、また文法に依存せずに切り出す場合は特定バイト数分カウントアップして取り出す等の法則が採用される。
【００４１】
図２に示したように２次ノードパス名ｎとそれに対応するリンク近傍テキストｎとは、一つの組として「入力テーブル」を生成する。
よってハイパーテキストにｎ個のアンカータグが含まれていた場合は、入力テーブルの総行数はｎ行となる。
【００４２】
データベース登録手段１２は、図３に示したようにｎ行の入力テーブルを入力として、後述するｍ行のデータエントリを生成する。
【００４３】
つぎに、このデータベース登録手段１２のフローチャートを図４に示す。
データベース登録手段１２の各ステップ（ステップＳ１０１〜Ｓ１１０）について説明する。
【００４４】
まず、データエントリ内の行操作を行うために変数ｍを、また入力テーブルの行操作を行うために変数ｉを、それぞれ初期化する(ステップＳ１０１)。
入力テーブルの全行を走査したら、終了するための分岐を持つ(ステップＳ１０２)。これはｎ回の繰り返し処理を含むことを意味する。
【００４５】
ｉ行目の入力テーブルを読み込み(ステップＳ１０３)、
２次ノードパス名を読み込み、これを２次ノード取得手段１４へ供給し起動を行う(ステップＳ１０４)。
【００４６】
つぎに、ｉ行目のリンク近傍テキストを類似度計算手段１６へ供給する(ステップＳ１０５)。
以上を終了すると、後述するサービスルーチンを経由して最適テキスト片ｔが生成されるので、最適テキスト片ｔの取得を行う(ステップＳ１０６)。
【００４７】
最適テキスト片ｔが空テキストかどうかの判定を行い(ステップＳ１０７)、空テキストの場合はデータエントリの書き込みをスキップする。
空テキストでない場合は、データエントリｍ行目を書き込み(ステップＳ１０８)、ｍを＋１する(ステップＳ１０９)。
【００４８】
いずれの場合も、行操作を行う為の変数ｉを＋１して(ステップＳ１１０)、
分岐 (ステップＳ１０２) に戻る。
以上がデータベース登録手段１２の制御の詳細である。
【００４９】
つぎに、データエントリ内のデータについて説明する。
データベース登録手段１２は、現在時刻１〜ｍにデータベース登録手段１２に入力テーブルが入力された現在時刻をセットする（図３参照）。
また、起点ノードパス名１〜ｍは、入力テーブルに対応する起点ノードパス名をそのままセットする（図３参照）。
【００５０】
また、２次ノードパス名１〜ｍには、入力データベースの各行に対応した２次ノードパス名をセットする（図３参照）。
また、リンク近傍テキスト１〜ｍも入力データベースの各行に対応したリンク近傍テキストをセットする（図３参照）。
【００５１】
また、最適テキスト片１〜ｍには、２次ノードパス名が指し示すハイパーテキストに対して最適テキスト片選択手段１７が処理を行い、その結果生成されたテキストをセットする（図３参照）。
【００５２】
データベース手段１３は、データベース登録手段１２から出力されたデータエントリを格納し、かつ容易に検索可能にするためのデータベースとしての基本機能を備える。
少なくとも、起点ノードパス名をキーとして、０個以上のデータエントリを出力可能である（図３参照）。
【００５３】
つぎに、データベース登録手段１２に関するサービスルーチン（２次ノード取得手段１４〜最適テキスト片選択手段１７）について、以下に説明する。
２次ノード取得手段１４は、データベース登録手段１２から出力された２次ノードパス名を入力とし、２次ノードパス名が指し示すノードからハイパーテキストを取得し出力する。
例えば、起点ノードがＨＴＭＬで作成されていれば、アンカータグ（＜Ａ＞．．．＜／Ａ＞）で囲まれた領域内のＵＲＬ(Uniform Resource Locator)を抽出し、そのＵＲＬで指定された文書（２次ノード）を取得し出力する。
【００５４】
テキスト分割手段１５は、ハイパーテキストからリンク等のマークアップテキストを取り除きプレーンテキストに変換した後に、全体をｑ個のテキスト片に分割する。
【００５５】
分割のアルゴリズムには、
マークアップの段落タグを基準に分割する方法、
予め指定されたバイト数毎に分割する方法、
プレーンテキストが日本語で記述されている場合は句点（。）３つカウント毎に分割する方法などが考えられる。
【００５６】
類似度計算手段１６は、データベース登録手段１２から１個のリンク近傍テキストと、テキスト分割手段１５から分割したｑ個のテキスト片を入力とし、テキスト片と類似度とを組とするｑ組の類似度テーブルを出力する（図５参照）。
類似度１〜ｑは、それぞれテキスト片１〜ｑをリンク近傍テキストとの組み合わせについて類似度を計算したものである。
【００５７】
最適テキスト片選択手段１７は、全部でｑ個の類似度を比較することにより、ｑ個のテキスト片の中からただ１つの最適テキスト片を選択して出力する。
最適テキスト片選択手段１７のフローチャートを図６に示す。
【００５８】
最適テキスト片選択手段１７の各ステップ(Ｓ２０１〜Ｓ２０７)について以下に順次説明する。
まず、類似度テーブルを走査するための行カウンタ変数ｉ（＝１）、
最適テキスト片を保持する変数ｔ（＝空テキスト）、
最大類似度ｒ（＝０）の初期化を行う(ステップＳ２０１)。
【００５９】
類似度テーブルの総行数ｑと行カウンタ変数ｉを比較し、ｉが大きければテーブルの終端まで走査したと見なして終了する(ステップＳ２０２)。
終了時には最適テキスト片ｔをデータベース登録手段１２へ書き込む(ステップＳ２０３)。
【００６０】
終了せずに、テーブルの走査が継続している場合には、類似度テーブルからｉ行目を読み込み、行の内容をそれぞれ現在テキスト片t(i)と現在類似度r(i)にセットする(ステップＳ２０４)。
【００６１】
現在類似度r(i)と最大類似度rを比較する(ステップＳ２０５)。
現在類似度r(i)の方が最大類似度rよりも大きい場合のみ、
最大類似度r = r(i)、最適テキスト片ｔ＝t(i)を実行する(ステップＳ２０６)。
行を進めるために、ｉを＋１する(ステップＳ２０７)。
【００６２】
以上が最適テキスト片選択手段１７の制御の詳細である。
これは、適したテキスト片が一つもないか、類似度テーブルの行数が０の場合は、空テキストを出力し、それ以外の場合は、ｑ個の類似度のうち、最も値が大きいものを出力することを意味する。
【００６３】
つぎに、データベースに格納されたデータエントリを検索するブロックについて説明する。
関連ノード検索手段１８のフローチャートを図７に示す。
各ステップ(Ｓ４０１〜Ｓ４０８)について以下に説明する。
【００６４】
まず、関連ノード検索手段１８は、ドキュメントリーダに指定の所定日時の検索時刻の入力を促す(ステップＳ４０１)。
つぎに、検索ノードパス名の入力を促す(ステップＳ４０２)。
【００６５】
つぎに、検索ノードパス名をキーとし、データベース手段１３に対して検索を行う(ステップＳ４０３)。
データエントリのうち主キーとなるのは起点ノードパス名であり、サブキーとなるのが指定の所定日時の検索時刻である。
【００６６】
この時のデータベースクエリー（キーワードの組み合わせ）は以下のものである。
（起点ノードパス名  ＝  検索ノードパス名）
かつ（現在時刻  ＞  所定日時の検索時刻）
いうなれば、利用者が検索対象としているノードの、所定日時の検索時刻より新しいデータエントリのデータが選択される。
【００６７】
つぎに、得られたデータエントリを現在時刻をキーとして時刻順ソートを行う(ステップＳ４０４)。
【００６８】
これにより古いものから新しいものへデータエントリの整列が行われる。
データエントリに含まれる、
現在時刻、起点ノードパス名、リンク近傍テキスト、２次ノードパス名、及び最適テキスト片、の５つのデータは、ドキュメントリーダに対して提示するためにレンダリング(rendering)される(ステップＳ４０５)。
【００６９】
レンダリングの際には、２次ノードパス名部分を新たな対話入力によって選択出来るように、ボタン・リンクアンカー等の表示を行う。
ドキュメントリーダは、自身の興味にしたがって、この２次ノードパス名を選択することが出来る(ステップＳ４０６)。
【００７０】
２次ノードパス名が選択された場合は(ステップＳ４０７)、
選択された２次ノードパス名を次回の検索時の検索ノードパス名としてセットし、データベース検索を繰り返すことも出来る(ステップＳ４０８)。
【００７１】
なお、本実施例において使用される関連ノード検索手段１８では、ステップＳ４０２において検索ノードパス名を入力としたが、形態素インデックス（形態素と、形態素が含まれる検索ノードパス名のリストを保持するデータベース）を用意しておき、検索ノードパス名を直接入力する代わりに利用者が適合したキーワードを入力することで、形態素インデックスから検索ノードパス名を得るようにしてもよい。
以上が請求項１記載の情報抽出方法である。
【００７２】
つぎに、本発明の情報抽出方法が適用される情報抽出装置（請求項２に記載）の一実施例のブロック構成について説明する。
請求項１記載の情報抽出装置と比較して、類似度計算手段１６と、最適テキスト片選択手段１７に違いがある。
【００７３】
類似度計算手段１６は、類似度計算のアルゴリズムに、ベクトル空間モデルを利用する。
ベクトル空間モデルとは、比較対象のテキスト全てからユニークな形態素集合を求め、各テキストを行方向に形態素の有無を列記した行ベクトルと見なし、ベクトルのコサイン・シータを求め、これを類似度とする手法である。
【００７４】
仮に、リンク近傍テキストと全てのテキスト片１〜ｑに含まれるユニークな形態素がｐ個、リンク近傍テキストに対応するベクトルをＸrと、s番目のテキスト片に対応するベクトルＸs(１≦s≦ｑ)は、それぞれの形態素の存在(１)、非存在(０)を表す変量Ｘを用いて、以下の、数１、数２ように表すことが出来る。
【００７５】
【数１】
0003894428.tif 000002
【数２】
0003894428.tif 000003
【００７６】
このとき、２つのテキストの類似度であるコサイン・シータ（cosθ）は、ベクトルの内積の公式から、
以下の、数３のように求める。
【００７７】
【数３】
0003894428.tif 000004
よって、類似度は、cosθの特性により０以上かつ１以下の範囲の値を取り得る。
類似度は、１の場合は完全一致、０の場合は完全独立を意味する。
ここで、上記の式、数３の右辺の計算方法について説明する。
仮にＡ = [ 1 0 1 ]、Ｂ=[ 1 0 0 ]という行列であるとすると、
この内積Ｘr・Ｘs´は、
A11 × B11 + A12 × B12 + A13 × B13 = 1 × 1 + 0 × 0 + 1 × 0 = 1
となる。
【００７８】
一方、Ｐ及びＱはベクトルの正規化であり、ベクトルの各要素を二乗して、それぞれを加算した合計の平方根を取ったものであるので、
Ｐは sqrt(1×1 + 0×0 + 1×1) = １．４１４、
Ｑは sqrt(1×1 + 0×0 + 0×0) = １
と表すことが出来る。
【００７９】
よって、上記のcosθにあたる値は、１／(１．４１４×１) =０．７０７となり、同時に角度も求まります。
【００８０】
以上は、非常に低い次元で横の変量が少ない場合の説明であり、現実には、インターネット検索エンジンのような応用では、標本としてのハイパーテキストは数十万乃至数十億個に達する。
また、それら全てから抽出した形態素の個数、正確には形態素辞書の登録分だけの次元があることになる（日本語の場合では、数万次元）。
【００８１】
また、一般的に類似度は、検索結果の膨大さに対処し、的確な結果を利用者に提示するため、指標として用いられる。
例えば１回検索すると一番検索に適したページが１件目、つぎに似ているものが２件目、といったようにランキングを求める用途に使用する場合が多いので、結果として標本ｎ個、変量ｍ個からなる（ｍ×ｎ）標本行列を、（ｎ×ｎ）の類似度行列を求めることが多い。
【００８２】
類似度行列は、縦・横が標本の番号で、中の要素には類似度が入っている対称行列である。例えば標本１２０番のテキストと、標本５６５番のテキストの類似度を知りたいのなら（１２０,５６５）の要素を取り出す。
対称行列なので（５６５,１２０）の要素でも同じことである。
【００８３】
類似度に関する理論的な部分は以上であるが、実際にはいろいろ工夫がしてある。実装的には、（数万×数億）の標本行列を１台のコンピュータで計算すると時間がかかるので、互いに同一形態素を含む標本同士を発見し、かつ全く同じ形態素を含まない個々のグループとして分割し、行列の独立性を利用して、各々のグループを複数台のコンピュータに仕分けして演算すると効率がよい。互いに独立なベクトル同士でグループ化して複数台のコンピュータに仕分けをして行うと効率がよい。
【００８４】
また、より高い類似度を求めるために、形態素のあるなし１または０で変量を表すのをやめ、形態素の分布を調べて、助詞・助動詞などのどの文章にも頻出する形態素の重み付けを下げたり、逆に特定の文章にしか出現しない形態素の重み付けを上げたりする。
この重み付けとして代表的なものがＴＦ・ＩＤＦ法である。
【００８５】
前記ベクトル空間モデルを図９を用いて具体的に説明する。
ここでは、リンク近傍テキストと、ｑ＝３として３つに分割したテキスト片１〜３を考え、リンク近傍テキストと最も似たテキスト片をベクトル空間モデルを用いて判定するものとする。
【００８６】
仮に、リンク近傍テキストに形態素「ミカン」、「温州」が含まれ、テキスト片１には形態素「ミカン」が、テキスト片２には形態素「温州」が、テキスト片３には形態素「ミカン」、「温州」が含まれるものとする。
この時、ユニークな形態素数ｎは「ミカン」、「温州」のｎ＝２であり、全ベクトルは２次元で表すことが出来る。
【００８７】
リンク近傍テキストのベクトルをＸr, テキスト片のベクトルＸs(１≦ｓ≦３)とし、「ミカン」軸をＸ軸、「温州」軸をＹ軸とすると、図９のような２次元グラフに表すことが出来る。
まず、ベクトルＸrとＸ1について比較する。両者は１つだけ同じ形態素「ミカン」を含み、両者のベクトル角はθ1＝４５度であるから、cosθ1は約０．７となる。
【００８８】
つぎに、ベクトルＸrとＸ2について比較する。両者は１つだけ同じ形態素「温州」を含み、両者のベクトル角はθ2＝４５度であるから、cosθ2は約０．７となる。
つぎに、ベクトルＸrとＸ3について比較する。両者は完全に一致した形態素「温州」、「ミカン」を含み、両者のベクトル角はθ3＝０度であり、cosθ3は１（完全一致・類似度極大）となる。
【００８９】
以上の各cosθ1〜cosθ3の値を比較すると、cosθ3が最も大きく、すなわち、リンク近傍テキストに最も類似している類似度のテキスト片は、テキスト片３であることを示している。
【００９０】
一方、ベクトルＸ1とＸ2に着目すると、両者は１つも同じ形態素を含まないベクトルである。両者のベクトル角はθ4＝９０度であり、cosθ4は０（完全独立・類似度極小）となる。
このように、ベクトル空間モデルは各ベクトル間の傾きから類似度を算出する方式である。
【００９１】
類似度を角度ではなくcosθを利用する理由は、cosθは全てのベクトルが正の変量しか持たない場合、類似度は０〜１の範囲に必ず収まり、類似度を互いに比較可能なように数値化する方式として好適であるからである。
【００９２】
ベクトル空間モデルによる類似度計算においては、変量Ｘに形態素の出現頻度によって重み付けを行うＴＦ・ＩＤＦ法、あるいは形態素の品詞をチェックして文脈寄与度の高い名詞・固有名詞のみでベクトルを構成する絞り込み法を組み合わせて使うことが多い。
【００９３】
つぎに請求項２に記載の最適テキスト片選択手段１７について説明する。
最適テキスト片選択手段１７は、予め定められた２つの閾値ａ１と閾値ａ２を有する。
これは前記類似度計算手段１６でcosθによって０以上かつ１以下に正規化された類似度を、以下の３領域に分割するために用いられる。
【００９４】
登録棄却領域  ：    閾値   ０ ≦  類似度  ＜  閾値 ａ１
登録可能領域  ：    閾値 ａ１ ≦  類似度  ＜  閾値 ａ２
候補除外領域  ：    閾値 ａ２ ≦  類似度  ≦  閾値 １
【００９５】
登録棄却領域とは、類似度が著しく低く、リンク近傍テキストに関連するテキスト片として採用しても意味がない領域を意味する。
また、候補除外領域は、類似度が著しく高く、リンク近傍テキストそのものがテキスト片として含まれている可能性が高い領域を意味する。
【００９６】
候補除外領域は、２つのテキスト間の全文引用を候補として抽出することを避けること、あるいは構造化された複数のハイパーテキストによく含まれるナビゲーションバー等の定型的なリンク近傍のテキスト片を排除するために設けている。
【００９７】
これらに対して登録可能領域は、リンク近傍テキストに関連の深いテキストとして適当な領域であることを意味する。
ここで閾値ａ１、ａ２の一実施例を示す。
例えば、総形態素数ｐ＝１００であり、リンク近傍テキスト及び各テキスト片に含まれる形態素の平均数が１０個であると仮定した場合、
閾値ａ１= ０．４４８、閾値ａ２＝０．８９４５が適当である。
【００９８】
ｑ個の類似度全てが登録棄却領域または候補除外領域に属している場合、最適テキスト片選択手段１７は空テキストを出力する。
それ以外の場合は、ｑ個の類似度のうち、最も値が大きいものを採用し、対応するテキスト片を最適テキスト片として出力する。
【００９９】
請求項２に記載の最適テキスト片選択手段１７のフローチャートを図８に示す。各ステップ(ステップＳ３０１〜Ｓ３０８)について以下に説明する。
図８中の(ステップＳ３０１〜Ｓ３０７)までの各要素は、図６中の(ステップＳ２０１〜Ｓ２０７)までにそれぞれ対応するものであり、その説明を省略する。
【０１００】
閾値ａ１及び閾値ａ２を用いた現在類似度r(i)を比較し(ステップＳ３０８)、
登録可能領域である場合には(ステップＳ３０８Ｙｅｓ)、
ステップＳ３０５に進む処理を行い、
登録可能領域外である場合には(ステップＳ３０８Ｎｏ)、
最大類似度rとの比較処理をスキップして、ステップＳ３０７に進む処理を行う。
以上が請求項２記載の情報抽出装置である。
【０１０１】
つぎに本発明における情報抽出コンピュータプログラム（請求項５及び請求項６に記載の発明）について説明する。
本発明の情報抽出はその情報抽出処理を行うコンピュータプログラムまたはそのコンピュータプログラムを記録した記録媒体のコンピュータプログラムをコンピュータで読み取ることによって実現することが出来る。
【０１０２】
図１の情報抽出装置のブロック図において、各構成手段をコンピュータプログラムでコンピュータに実行させる各ステップに書き換えると、請求項５及び請求項６に記載の各ステップからなる、コンピュータにより実行可能なコンピュータプログラムを提供することが出来る（図２乃至図９参照）。
【０１０３】
本発明の情報抽出コンピュータプログラム（請求項５に記載の発明）は、図１乃至図７に示されるように、情報の単位であるノードとノード間のリンクで構成されたハイパーテキストの中から特定の検索キーワードに関するデータを情報を抽出する情報抽出コンピュータプログラムにおいて、
前記特定の検索キーワードにより起点ノードを指し示す起点ノードパス名が入力されると、前記起点ノードに含まれるテキストとリンクとを解析し、前記２次ノードを指し示す前記２次ノードパス名とリンク近傍テキストとの組を入力テーブルとして出力する起点ノード分析ステップ１１と、
前記２次ノードにアクセスし、前記２次ノードに含まれるテキストを取得する２次ノード取得ステップ１４と、
前記テキストを所定の大きさのテキスト片群に分割するテキスト分割ステップ１５と、
前記起点ノードから派生したリンク近傍テキストと、前記２次ノードパス名から派生したテキスト片群それぞれの類似度を計算し、前記テキスト片と前記類似度とを組とした類似度テーブルを出力する類似度計算ステップ１６と、
前記類似度テーブルを解析し、前記テキスト片群の中から前記リンク近傍テキストに相応しい最適テキスト片を選択する最適テキスト片選択ステップ１７と、前記入力テーブルを順次解析し、各々の２次ノードについて前記最適テキスト片選択手段１７を呼び出し、得られた前記最適テキスト片を現在時刻と共にデータベース登録するデータベース登録ステップ１２と、
前記現在時刻、前記起点ノードパス名、前記２次ノードパス名、前記リンク近傍テキスト、及び前記最適テキスト片をデータエントリとしてデータベース化するデータベースステップ１３と
をコンピュータに実行させる情報抽出コンピュータプログラムを提供するものである。
【０１０４】
また、本発明の情報抽出コンピュータプログラム（請求項６に記載の発明）は、図１、図４、図８、及び図９に示されるように、上記の情報抽出コンピュータプログラムにおいて、
前記類似度計算ステップ１６は、テキストを形態素群に分割し、前記形態素群をベクトルと見なし、各文章に対応するベクトルのコサイン・シータを類似度と見なすことで、前記類似度を０以上かつ１以下の範囲で求め、
前記最適テキスト片選択ステップ１７は、前記類似度テーブル中の前記類似度を比較検討し、所定の範囲の値（閾値ａ１以上かつ閾値ａ２未満）にあるテキスト片のうち最大の類似度を有するテキスト片を選択するようにした情報抽出コンピュータプログラムを提供するものである。
【０１０５】
このような情報抽出コンピュータプログラムは、一般のコンピュータやＰＤＡ(Personal Data Aid)で実行してもよいし、そのプログラムをＬＳＩに組み込んで実行してもよい。
【０１０６】
また更に、ＤＶＤ-ＲＯＭのようなその情報抽出コンピュータプログラムを記録した記録媒体により供給してもよいし、インターネットを介してネットワークに供給してもよい。
【０１０７】
以上の本発明の実施例の構成の効果を纏めると、本実施例によると、現在時刻と起点ノードパス名と２次ノードパス名とリンク近傍テキストと最適テキスト片をデータエントリとしてデータベース化するデータベース手段と、検索時刻と検索ノードパス名が入力されると、前記検索時刻以降かつ検索ノードパス名と起点ノードパス名が一致する前記データエントリ群を得て出力する関連ノード検索手段とを有しているので、監視対象のハイパーテキストに新たに追加されていくリンクをデータベースに保存することが出来、ドキュメントリーダは任意のタイミングでリンクの存在、リンクが追加された時刻、リンク近傍のテキスト、リンク先のハイパーテキストを容易に検索することが出来る。
【０１０８】
本実施例によると、最適テキスト片選択手段を有しリンクに関連するテキストの一部分のみを切り出してデータベースに保存するため、特定のハイパーテキストを継続的に監視する場合、取得時刻毎にハイパーテキスト全文を保存する方式よりも記憶領域を節約することが出来る。
【０１０９】
本実施例によると、監視対象のハイパーテキストが他のノードへのリンクを伴う誹謗中傷等の攻撃を行い得る要注意監視対象である場合、ドキュメントリーダは定期的に本発明を実施することで、監視対象のハイパーテキスト全文を読むことなく、迅速にリンクの意図を汲み取り、誹謗中傷等を発見することが出来る。
【０１１０】
本実施例によると、現在時刻と起点ノードパス名と２次ノードパス名とリンク近傍テキストと最適テキスト片をデータエントリとしてデータベース化するデータベース手段を有し、検索時刻と検索ノードパス名が入力されると、前記検索時刻以降かつ検索ノードパス名と起点ノードパス名が一致する前記データエントリ群を得て出力する関連ノード検索手段を有しているので、ドキュメントリーダは定期的に本発明を実施することで、誹謗中傷等のリンクが何時追加され、何時削除されたかの具体的な証拠を時刻と共にデータベースに保存することが出来る。
【０１１１】
本実施例では、最適テキスト片選択手段を有しているので、２つのハイパーテキスト間で極端に類似しているテキストをデータベースに登録しないため、ハイパーテキスト中のナビゲーションバー等の定型的なテキストを予め排除し、ドキュメントリーダにとり有益な変化のあるテキストのみを提供し、ドキュメントリーダがリンクを辿る必要性を低下させ、労力を軽減させることが出来る。
【０１１２】
本実施例では、現在時刻と起点ノードパス名と２次ノードパス名とリンク近傍テキストと最適テキスト片をデータエントリとしてデータベース化するデータベース手段を有し、検索時刻と検索ノードパス名が入力されると、前記検索時刻以降かつ検索ノードパス名と起点ノードパス名が一致する前記データエントリ群を得て出力する関連ノード検索手段を有しているので、ある時刻に起点ノードが誹謗中傷を行ったとして、ドキュメントリーダが２次ノードへの被害の伝播を確認する際に、ドキュメントリーダが予め指定した検索時刻以降に出現したリンクのみを抜き出すことが出来、さらに２次ノードのリンクを表示する際にも、所定日時の検索時刻以降に出現したリンクのみを抜き出すため、２次ノード側から起点ノードに対して誹謗中傷に対する抗議などを行った証拠を見付け易く、ドキュメントリーダがリンクを辿る必要性を低下させ、労力を軽減させることが出来る。
【０１１３】
【発明の効果】
以上に説明したように請求項１または請求項５に記載された発明によると、ノード分析ステップ、最適テキスト片選択ステップ、データベースステップを有し、最適テキスト片選択ステップによりリンクに関連する２次ノードのテキストの最適な一部分のみを切り出してデータベースステップに保存するため、特定のキーワードのハイパーテキストを継続的に監視するような場合も、取得時刻毎にこのリンクに関連するテキスト付きのテキスト全文を保存するものよりも、本発明は記憶領域を節約することが出来、そのデータの内容も短時間で理解することが出来る。
【０１１４】
また、請求項１または請求項５に記載された発明によると、監視対象の特定の検索キーワードに関するハイパーテキストに新たに追加されていくリンクをデータベース手段に保存するようにすれば、利用者は任意のタイミングでリンクの存在、リンクが追加された時刻、リンク近傍のテキスト、リンク先のハイパーテキストを検索することが出来る。
【０１１５】
また、請求項２または請求項６に記載された発明によると、２つのハイパーテキスト間で極端に類似しているテキストをデータベース登録手段に登録しないため、ハイパーテキスト中のナビゲーションバー等の定型的なテキストを予め排除し、利用者にとり有益な変化のあるテキストのみを提供し、利用者がリンクを辿る必要性を低下させ、労力を軽減させることが出来る。
【０１１６】
また、請求項３に記載された情報検索方法の発明によると、監視対象の特定の検索キーワードに関するハイパーテキストに新たに追加されていくリンクをデータベース手段に保存するようにすれば、利用者は任意のタイミングでリンクの存在、リンクが追加された時刻、リンク近傍のテキスト、リンク先のハイパーテキストを検索することが出来る。
【０１１７】
また、請求項３に記載された情報検索方法の発明によると、検索ノードに対応した２次ノードの最適な一部のテキスト部分のみの情報を検索することが出来、より速く理解することが出来る。
【０１１８】
また、請求項５に記載された発明によると、情報抽出装置が有している処理内容はコンピュータプログラムに記述されており、このプログラムをコンピュータで実行することにより、上記処理がコンピュータで実現出来る
【図面の簡単な説明】
【図１】本発明における請求項１記載の情報抽出方法が適用される情報抽出装置の一実施例のブロック構成を示した図である。
【図２】請求項１に記載の発明が適用される情報抽出装置を構成する起点ノード分析手段の一実施例が出力する入力テーブルのデータ構造を示したものである。
【図３】請求項１に記載の発明が適用される情報抽出装置を構成するデータベース登録手段の一実施例が出力するデータエントリのデータ構造を示したものである。
【図４】請求項１に記載の発明が適用される情報抽出装置を構成するデータベース登録手段の一実施例の動作をフローチャートとして示したものである。
【図５】請求項１に記載の発明が適用される情報抽出装置を構成する類似度計算手段の一実施例が出力する類似度テーブルのデータ構造を示したものである。
【図６】請求項１に記載の発明が適用される情報抽出装置を構成する最適テキスト片選択手段の一実施例の動作をフローチャートとして示したものである。
【図７】請求項１に記載の発明が適用される情報抽出装置を構成する関連ノード検索手段の一実施例の動作をフローチャートとして示したものである。
【図８】請求項２に記載の発明が適用される情報抽出装置を構成する最適テキスト片選択手段の一実施例の動作をフローチャートとして示したものである。
【図９】請求項２に記載の発明が適用される情報抽出装置を構成する最適テキスト片選択手段の一実施例に用いられるベクトル空間モデルを説明した図である。
【図１０】従来の情報抽出装置の一例のブロック構成を示した図である。
【図１１】従来の情報抽出装置の一例の特徴抽出処理の流れのフローチャートを示した図である。
【図１２】従来の情報抽出装置の一例の類似性判定手段の処理手順のフローチャートを示した図である。
【符号の説明】
１０  情報抽出装置
１１  起点ノード分析手段（ノード分析ステップ）
１２  データベース登録ステップ（データベース登録手段）
１３  データベースステップ（データベース手段）
１４  ２次ノード取得ステップ（２次ノード取得手段）
１５  テキスト分割ステップ（テキスト分割手段）
１６  類似度計算ステップ（類似度計算手段）
１７  最適テキスト片選択ステップ（最適テキスト片選択手段）
１８  関連ノード検索ステップ（関連ノード検索手段）
ａ１，ａ２  閾値
ｒ  最大類似度
ｔ  最適テキスト片
Ｘ1〜Ｘ3,Ｘr  ベクトル
θ1〜θ4  ベクトル角
【図１】
0003894428.tif 000005
【図２】
0003894428.tif 000006
【図３】
0003894428.tif 000007
【図４】
0003894428.tif 000008
【図５】
0003894428.tif 000009
【図６】
0003894428.tif 000010
【図７】
0003894428.tif 000011
【図８】
0003894428.tif 000012
【図９】
0003894428.tif 000013
【図１０】
0003894428.tif 000014
【図１１】
0003894428.tif 000015
【図１２】
0003894428.tif 000016