(57)【特許請求の範囲】
【請求項１】
他の文書へのリンクを持ちうる文書の集合中の一部または全部の文書に対し、該文書を同一トピックの区間であるトピック区間に分割する文書分割手段と、
前記文書分割手段の処理を行った各文書Ａと文書Ａへの各リンクＬとに対し、リンクＬを持つ文書中の、リンクＬのアンカーテキスト、または、リンクＬを含むトピック区間との類似度が、所定の閾値以上または上位所定順位以内の文書Ａのトピック区間の集合の異なりを新たな文書Ａ’として生成し、リンクＬに文書Ａ’を対応付け、文書Ａ’が対応付けられたリンクのみを文書Ａ’へのリンクとし、文書Ａを文書Ａ’の集合に置き換える文書置換手段と、
前記文書置換手段の処理後の文書集合とリンク集合とから、該文書集合中の各文書のスコアを算出する文書スコアリング手段と、
を含む文書分割スコアリング装置。
【請求項２】
前記文書スコアリング手段は、前記文書置換手段の処理後の文書集合中の各文書に、各文書のスコアの和が１となるように初期スコアを与えた上で、文書Ｐのスコアを、文書Ｐへのリンクを持つ文書Ｑのスコアを文書Ｑが持つリンクの数で割った値の和に、０以上１以下の定数ｄを乗じた値と、１−ｄを文書集合中の文書数で割った値とを加算した値に更新する処理を繰り返し、収束した各文書のスコアを最終的な該文書のスコアとする請求項１記載の文書分割スコアリング装置。
【請求項３】
文書分割手段と、文書置換手段と、文書スコアリング手段とを含む文書分割スコアリング装置における文書分割スコアリング方法であって、
前記文書分割手段は、他の文書へのリンクを持ちうる文書の集合中の一部または全部の文書に対し、該文書を同一トピックの区間であるトピック区間に分割し、
前記文書置換手段は、前記文書分割手段の処理を行った各文書Ａと文書Ａへの各リンクＬとに対し、リンクＬを持つ文書中の、リンクＬのアンカーテキスト、または、リンクＬを含むトピック区間との類似度が、所定の閾値以上または上位所定順位以内の文書Ａのトピック区間の集合の異なりを新たな文書Ａ’として生成し、リンクＬに文書Ａ’を対応付け、文書Ａ’が対応付けられたリンクのみを文書Ａ’へのリンクとし、文書Ａを文書Ａ’の集合に置き換え、
前記文書スコアリング手段は、前記文書置換手段の処理後の文書集合とリンク集合とから、該文書集合中の各文書のスコアを算出する
文書分割スコアリング方法。
【請求項４】
前記文書スコアリング手段は、前記文書置換手段の処理後の文書集合中の各文書に、各文書のスコアの和が１となるように初期スコアを与えた上で、文書Ｐのスコアを、文書Ｐへのリンクを持つ文書Ｑのスコアを文書Ｑが持つリンクの数で割った値の和に、０以上１以下の定数ｄを乗じた値と、１−ｄを文書集合中の文書数で割った値とを加算した値に更新する処理を繰り返し、収束した各文書のスコアを最終的な該文書のスコアとする請求項３記載の文書分割スコアリング方法。
【請求項５】
コンピュータを、請求項１または請求項２記載の文書分割スコアリング装置を構成する各手段として機能させるための文書分割スコアリングプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書分割スコアリング装置、方法、及びプログラムに係り、特に、文書検索において、検索結果の文書群をランキングするための文書のスコアを求める文書分割スコアリング装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
他の文書へのリンクを持ちうる文書の集合を対象とした文書検索において、検索結果の文書群をランキングするための文書のスコアを算出する方法として、ページランクが提案されている（例えば、非特許文献１参照）。
【０００３】
従来のページランクでは、文書集合を｛ｐｉ｜１≦ｉ≦Ｎ｝としたとき、各文書ｐｉに初期スコアＰＲ（ｐｉ）を、下記（１）式を満足するように与える。
【０００４】
【数１】
0005483740.tif 000002
【０００５】
そして、各文書ｐｉのスコアＰＲ（ｐｉ）を下記（２）式の右辺の値に更新する。これを一ターンとする。
【０００６】
【数２】
0005483740.tif 000003
【０００７】
（２）式で、Ｍ（ｐｉ）は、文書ｐｉへのリンクを持つ文書の集合であり、Ｌ（ｐｊ）は文書ｐｊが持つリンクの数である。ｄは、０≦ｄ≦１を満たす定数である。
【０００８】
この更新処理を繰り返し、収束した各文書ｐｉのスコアＰＲ（ｐｉ）を、文書ｐｉの最終的なスコアとする。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】S.Brin,L.Page,'The Anatomy of a Large-Scale Hypertextual Web Search Engine', http://www-db.stanford.edu/~backrub/google.html
【発明の概要】
【発明が解決しようとする課題】
【００１０】
一般に、一つの文書には複数のトピック区間が存在しうる。例えば、図６の文書Ａは、政治のトピック区間、経済のトピック区間、並びに政治及び経済の内容が混在した時事問題のトピック区間から構成される。政治に関する文書Ｂから文書ＡへのリンクＸ、経済に関する文書Ｃから文書ＡへのリンクＹ、文書Ａ中の政治のトピック区間から政治に関する文書ＤへのリンクＵ、文書Ａ中の時事問題のトピック区間から時事問題に関する文書ＥへのリンクＶ、文書Ａ中の経済のトピック区間から経済に関する文書ＦへのリンクＷがあるとする。
【００１１】
あるターンで、文書Ａをｐｉとして、ＰＲ（ｐｉ）を（２）式の右辺（説明を簡易にするため、ここではｄ＝１とする。）で更新する場合、文書ＢをｐｊとしたときのＰＲ（ｐｊ）／Ｌ（ｐｊ）にあたるリンクＸのスコア：０．２と、文書ＣをｐｊとしたときのＰＲ（ｐｊ）／Ｌ（ｐｊ）にあたるリンクＹのスコア：０．１とから、更新後のＰＲ（ｐｉ）は０．３となる。
【００１２】
次のターンで、文書Ｄ、Ｅ、Ｆのそれぞれをｐｉとして、各ＰＲ（ｐｉ）を（２）式の右辺で更新する場合、文書ＡをｐｊとしたときのＰＲ（ｐｊ）／Ｌ（ｐｊ）にあたるリンクＵ、Ｖ、Ｗのスコアは、それぞれ０．１となる。
【００１３】
ここで、政治に関する文書Ｂから文書ＡへのリンクＸは、文書Ａ中の政治のトピック区間及び時事問題のトピック区間を評価するリンクであり、一方、経済に関する文書Ｃから文書ＡへのリンクＹは、文書Ａ中の経済のトピック区間及び時事問題のトピック区間を評価するリンクである。従って、文書Ａ中の政治のトピック区間は、文書Ａ中の経済のトピック区間よりも、前者を評価するリンクＸが後者を評価するリンクＹよりスコアが高いため、より高いスコアを本来持つはずである。ゆえに、文書Ａ中の政治のトピック区間が持つリンクＵは、文書Ａ中の経済のトピック区間が持つリンクＷより、より高いスコアを本来持つはずである。そして、リンクＵのリンク先文書Ｄの方に、リンクＷのリンク先文書Ｆよりも高いスコアが伝播されるべきである。
【００１４】
しかしながら、従来のページランク方式では、個々のリンク（例：Ｘ、Ｙ）がリンク先文書（例：Ａ）のどのトピック区間を評価しているかを考慮せず、リンク先文書全体を評価するため、リンク先文書の異なるトピック区間が持つリンク（例：Ｕ、Ｗ）のスコアがいずれも同一のスコアづけをされてしまう。これにより、リンク先文書（例：Ａ）が持つリンクの先の文書（例：Ｄ、Ｆ）へ、本来伝播されるべきスコアと異なるスコアが伝播されてしまう。そのため、各文書の最終的なスコアが適切なものでなくなってしまう、という問題がある。
【００１５】
本発明は、上記の課題を解決するためになされたもので、各文書の最終的なスコアを、より適切なものとすることができる文書分割スコアリング装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明の文書分割スコアリング装置は、他の文書へのリンクを持ちうる文書の集合中の一部または全部の文書に対し、該文書を同一トピックの区間であるトピック区間に分割する文書分割手段と、前記文書分割手段の処理を行った各文書Ａと文書Ａへの各リンクＬとに対し、リンクＬを持つ文書中の、リンクＬのアンカーテキスト、または、リンクＬを含むトピック区間との類似度が、所定の閾値以上または上位所定順位以内の文書Ａのトピック区間の集合の異なりを新たな文書Ａ’として生成し、リンクＬに文書Ａ’を対応付け、文書Ａ’が対応付けられたリンクのみを文書Ａ’へのリンクとし、文書Ａを文書Ａ’の集合に置き換える文書置換手段と、前記文書置換手段の処理後の文書集合とリンク集合とから、該文書集合中の各文書のスコアを算出する文書スコアリング手段と、を含んで構成されている。
【００１７】
また、前記文書スコアリング手段は、前記文書置換手段の処理後の文書集合中の各文書に、各文書のスコアの和が１となるように初期スコアを与えた上で、文書Ｐのスコアを、文書Ｐへのリンクを持つ文書Ｑのスコアを文書Ｑが持つリンクの数で割った値の和に、０以上１以下の定数ｄを乗じた値と、１−ｄを文書集合中の文書数で割った値とを加算した値に更新する処理を繰り返し、収束した各文書のスコアを最終的な該文書のスコアとすることができる。
【００１８】
また、本発明の文書分割スコアリング方法は、文書分割手段と、文書置換手段と、文書スコアリング手段とを含む文書分割スコアリング装置における文書分割スコアリング方法であって、前記文書分割手段は、他の文書へのリンクを持ちうる文書の集合中の一部または全部の文書に対し、該文書を同一トピックの区間であるトピック区間に分割し、前記文書置換手段は、前記文書分割手段の処理を行った各文書Ａと文書Ａへの各リンクＬとに対し、リンクＬを持つ文書中の、リンクＬのアンカーテキスト、または、リンクＬを含むトピック区間との類似度が、所定の閾値以上または上位所定順位以内の文書Ａのトピック区間の集合の異なりを新たな文書Ａ’として生成し、リンクＬに文書Ａ’を対応付け、文書Ａ’が対応付けられたリンクのみを文書Ａ’へのリンクとし、文書Ａを文書Ａ’の集合に置き換え、前記文書スコアリング手段は、前記文書置換手段の処理後の文書集合とリンク集合とから、該文書集合中の各文書のスコアを算出する方法である。
【００１９】
また、本発明の文書分割スコアリング方法において、前記文書スコアリング手段は、前記文書置換手段の処理後の文書集合中の各文書に、各文書のスコアの和が１となるように初期スコアを与えた上で、文書Ｐのスコアを、文書Ｐへのリンクを持つ文書Ｑのスコアを文書Ｑが持つリンクの数で割った値の和に、０以上１以下の定数ｄを乗じた値と、１−ｄを文書集合中の文書数で割った値とを加算した値に更新する処理を繰り返し、収束した各文書のスコアを最終的な該文書のスコアとすることができる。
【００２０】
また、本発明の文書分割スコアリングプログラムは、コンピュータを、上記の文書分割スコアリング装置を構成する各手段として機能させるためのプログラムである。
【発明の効果】
【００２１】
以上説明したように、本発明の文書分割スコアリング装置、方法、及びプログラムによれば、各文書をトピック区間に分割した上で、リンクＬを持つ文書中のアンカーテキストまたはトピック区間との類似度が高い文書Ａのトピック区間の集合を、リンクＬが評価する文書Ａのトピック区間群である新たな文書Ａ’として生成し、リンクＬに文書Ａ’を対応付け、文書Ａ’が対応付けられたリンクのみを、文書Ａ’を評価するリンクとするため、文書Ａ’のスコアが適切なものとなり、さらに、文書Ａ’の持つリンクのスコアも適切なものとなるため、文書Ａ’の持つリンクが評価する文書のスコアも適切なものとなり、各文書の最終的なスコアが、より適切なものとなる、という効果が得られる。
【図面の簡単な説明】
【００２２】
【図１】本実施の形態に係る文書分割スコアリング装置の構成を示す概略図である。
【図２】文書分割手段の処理を説明するための図である。
【図３】文書置換手段の処理を説明するための図である。
【図４】文書スコアリング手段の処理ルーチンの内容を示すフローチャートである。
【図５】本実施の形態に係る文書分割スコアリング装置における文書分割スコアリング処理ルーチンの内容を示すフローチャートである。
【図６】従来のページランク手法を説明するための図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２４】
本実施の形態に係る文書分割スコアリング装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、後述する文書分割スコアリング処理ルーチンを実行するためのプログラムを記憶したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）とを備えたコンピュータで構成されている。このコンピュータは、機能的には、図１に示すように、文書分割手段１１と、文書置換手段１２と、文書スコアリング手段１３とを含んだ構成で表すことができる。
【００２５】
文書分割手段１１は、他の文書へのリンクを持ちうる文書の集合中の一部または全部の文書に対し、該文書を同一トピックの区間であるトピック区間に分割する。
【００２６】
文書分割手段１１の処理を行う文書をＡとしたとき、文書Ａを、例えば、特許文献１（特許第３９２５４１８号公報）に記載された手法のように、単語の概念表現である単語概念ベクトルを格納した単語概念ベース１４を用いてトピック毎に分割し、得られたトピック区間をＳ１，Ｓ２，・・・，Ｓｊとする。文書Ａ内のトピック区間の中には、同一のトピックのものも存在しうる。例えば、特許文献２（特許第４３３３３１８号公報）に記載された手法のように、単語概念ベース１４を用いて、文書Ａ内のトピック区間を、各トピック区間の意味内容に基づきクラスタリングし、同一のトピックのトピック区間を一クラスタにまとめる。特許文献２に記載された手法では、全トピック区間が一クラスタになるまでクラスタリングを続けているが、本実施の形態では、例えば、クラスタ間の距離が、所定の閾値以上となったときに、クラスタリングを停止する。得られた一クラスタに含まれるトピック区間を結合したものを最終的なトピック区間とし、最終的なトピック区間の列をＴ１，Ｔ２，・・・，Ｔｋとする。
【００２７】
図２は、文書分割手段１１の処理結果の一例である。文書Ａをトピック毎に分割することにより、トピック区間列Ｓ１，Ｓ２，・・・，Ｓ６が得られる。トピック区間列Ｓ１，Ｓ２，・・・，Ｓ６をクラスタリングすることにより、Ｓ１がそれのみでクラスタとなり、Ｓ１をＴ１とする。Ｓ２及びＳ４が同一クラスタとなり、Ｓ２及びＳ４を結合したものをＴ２とする。Ｓ３及びＳ６が同一クラスタとなり、Ｓ３及びＳ６を結合したものをＴ３とする。Ｓ５がそれのみでクラスタとなり、Ｓ５をＴ４とする。
【００２８】
例えば、図６に示した文書Ａに対し、文書分割手段１１の処理を行うことにより、最終的なトピック区間として、政治のトピック区間、時事問題のトピック区間、及び経済のトピック区間が得られる。
【００２９】
なお、文書分割手段１１の処理は、文書集合中の全文書に対し行ってもよいし、文書分割手段１１の処理時間を短縮するために、文書集合中の一部の文書に対し行うようにしてもよい。
【００３０】
文書置換手段１２は、文書分割手段１１の処理を行った各文書Ａと文書Ａへの各リンクＬとに対し、リンクＬを持つ文書中の、リンクＬのアンカーテキスト、または、リンクＬを含むトピック区間との類似度が、所定の閾値以上または上位所定順位以内の文書Ａのトピック区間の集合の異なりを新たな文書Ａ’として生成し、リンクＬに文書Ａ’を対応付け、文書Ａ’が対応付けられたリンクのみを文書Ａ'へのリンクとし、文書Ａを文書Ａ'の集合に置き換える。
【００３１】
文書分割手段１１の処理を行った図６の文書Ａを例に説明する。
【００３２】
文書Ａ中の各トピック区間Ｔｉに対し、トピック区間Ｔｉ中の単語の概念ベクトルを単語概念ベース１４から取得し、取得した単語概念ベクトルの重心（または重心を長さ１に正規化したベクトル）を、トピック区間Ｔｉの概念ベクトルｖ（Ｔｉ）として算出する。
【００３３】
また、文書ＡへのリンクＸに対し、リンクＸを持つ文書Ｂ中の、リンクＬのアンカーテキスト、または、リンクＸを含むトピック区間をとる。文書Ｂに対して文書分割手段１１の処理を行っていない場合は、該トピック区間は文書Ｂと同一となる。該アンカーテキストまたは該トピック区間をＲとし、単語概念ベース１４を参照することにより、上記と同様に、Ｒの概念ベクトルｖ（Ｒ）を算出する。
【００３４】
そして、ベクトル間の類似度をベクトル間のコサインとし、ｖ（Ｒ）との類似度が、所定の閾値以上であるｖ（Ｔｉ）を持つトピック区間Ｔｉの集合Ｍ（例：政治のトピック区間及び時事問題のトピック区間からなる集合）をとる。または、トピック区間Ｔｉを、ｖ（Ｔｉ）とｖ（Ｒ）との類似度の大きい順にソートし、類似度が上位から所定順位までのトピック区間Ｔｉの集合Ｍをとる。
【００３５】
別のリンクＸ’に対して得られるトピック区間Ｔｉの集合がＭとなった場合でも、集合Ｍの個数は１つとする。
【００３６】
例えば、図３に示すように、集合Ｍを新たな文書Ａ’とする。
【００３７】
リンクＸ（や、リンクＸ’）に文書Ａ’を対応付ける。このように文書Ａ’が対応付けられたリンクのみを文書Ａ’へのリンクとする。文書Ａ’の持つリンクＵ、Ｖは、図６の場合と同様に、それぞれ文書Ｄ、Ｅへのリンクである。
【００３８】
文書ＡへのリンクＹに対し、同様の処理を行うことにより、時事問題のトピック区間及び経済のトピック区間からなる文書Ａ’’が得られる。
【００３９】
このようにして、文書Ａを、文書Ａ’、Ａ’’で置き換える。
【００４０】
文書スコアリング手段１３は、文書置換手段１２の処理後の文書集合中の各文書に、各文書のスコアの和が１となるように初期スコアを与えた上で、文書Ｐのスコアを、文書Ｐへのリンクを持つ文書Ｑのスコアを文書Ｑが持つリンクの数で割った値の和に、０以上１以下の定数ｄを乗じた値と、１−ｄを文書集合中の文書数で割った値とを加算した値に更新する処理を繰り返し、収束した各文書のスコアを最終的な該文書のスコアとする。
【００４１】
図４は、文書スコアリング手段１３の処理のフローチャートの一例である。
【００４２】
ステップ１３１）
文書置換手段１２の処理後の文書の集合を｛ｐｉ｜１≦ｉ≦Ｎ｝とする。
【００４３】
他の文書へのリンクを持たない任意の文書ｐｉに対し、文書ｐｉから、自身も含めた全ての文書へのリンクがあるとする。
【００４４】
各文書ｐｉに初期スコアＰＲ（ｐｉ）を、（１）式を満足するように与える。
【００４５】
ステップ１３２）
各文書ｐｉのスコアＰＲ（ｐｉ）を、背景技術の説明で述べた下記（２）式の右辺の値に更新する。これを一ターンとする。
【００４６】
【数３】
0005483740.tif 000004
【００４７】
（２）式で、Ｍ（ｐｉ）は、文書ｐｉへのリンクを持つ文書の集合であり、Ｌ（ｐｊ）は文書ｐｊが持つリンクの数である。ｄは、０≦ｄ≦１を満たす定数である。
【００４８】
ステップ１３３）
各文書のスコアが収束したか否かを判定する。収束していないと判定すればステップ１３２へ移る。収束したと判定すれば、ステップ１３２及び１３３の繰り返し処理を終了する。
【００４９】
収束したか否かの一つの判定方法は、一文書の現在のスコアと一つ前のスコアとの差の絶対値の最大値が、所定の閾値より大きければ収束していないと判定し、所定の閾値以下であれば、収束したと判定する。別の判定方法は、ステップ１３２及び１３３の繰り返し処理が所定の回数に満たない場合は収束していないと判定し、繰り返し処理が所定の回数に達した時点で収束したと判定する。この２つの方法を組み合わせ、一文書の現在のスコアと一つ前のスコアとの差の絶対値の最大値が、所定の閾値以下となった時点、または、ステップ１３２及び１３３の繰り返し処理が、所定の回数に達した時点で収束したと判定してもよい。
【００５０】
収束したと判定した時点での各文書ｐｉのスコアＰＲ（ｐｉ）を、文書ｐｉの最終的なスコアとする。
【００５１】
以下、ステップ１３２及び１３３の処理について、例を挙げて説明する。
【００５２】
あるターンで、図３の文書Ａ’をｐｉとして、ＰＲ（ｐｉ）を（２）式の右辺（説明を簡易にするため、ここではｄ＝１とする。）で更新する場合、文書ＢをｐｊとしたときのＰＲ（ｐｊ）／Ｌ（ｐｊ）にあたるリンクＸのスコア：０．２から、文書Ａ’の更新後のスコアは０．２となる。同様に、文書Ａ’’をｐｉとして、ＰＲ（ｐｉ）を（２）式の右辺で更新する場合、文書ＣをｐｊとしたときのＰＲ（ｐｊ）／Ｌ（ｐｊ）にあたるリンクＹのスコア：０．１から、文書Ａ’’の更新後のスコアは０．１となる。
【００５３】
このように、本実施の形態の手法では、元文書（例：Ａ）中の、リンク（例：Ｘ、Ｙ）が評価する範囲（例：Ａ’、Ａ’’）にのみ該リンクのスコアを伝播させるため、より高いスコアを持つリンクＸが評価する文書Ａ’の方が、より低いスコアを持つリンクＹが評価する文書Ａ’’より高いスコアを持つ。
【００５４】
また、次のターンで、文書Ｄ及びＥをそれぞれｐｉとして、各ＰＲ（ｐｉ）を（２）式の右辺で更新する場合、文書Ａ’をｐｊとしたときのＰＲ（ｐｊ）／Ｌ（ｐｊ）にあたるリンクＵ及びＶのスコアは、それぞれ０．１となる。文書Ｅ及びＦをそれぞれｐｉとして、各ＰＲ（ｐｉ）を（２）式の右辺で更新する場合、文書Ａ’’をｐｊとしたときのＰＲ（ｐｊ）／Ｌ（ｐｊ）にあたるリンクＶ及びＷのスコアは、それぞれ０．０５となる。このようにして、文書Ａ’及びＡ’’から文書Ｄ、Ｅ、Ｆには、スコア０．１、０．１５、０．０５がそれぞれ伝播する。
【００５５】
従来のページランク手法では、文書Ｄ及びＦとも同一のスコア０．１が伝播されていた。これに対し、本実施の形態の手法では、より高いスコアを持つ文書Ａ’の持つリンクＵの方が、より低いスコアを持つ文書Ａ’’の持つリンクＷより高いスコアを持つ。そのため、より高いスコアを持つリンクＵのリンク先文書Ｄの方が、より低いスコアを持つリンクＷのリンク先文書Ｆより高いスコアが伝播される。
【００５６】
このように、本実施の形態の手法では、元文書（例：Ａ）の特定の範囲（例：Ａ’、Ａ’’）ごとにスコアを算出し、そのスコアを該範囲内のリンク（例：Ｕ、Ｖ、Ｗ）を通して伝播させるので、より適切なスコアがリンク先文書（例：Ｄ、Ｅ、Ｆ）に伝播される。この結果、各文書の最終的なスコアが、より適切なものとなる。
【００５７】
ステップ１３４）
文書スコアリング手段１３の処理は、ステップ１３３で収束したと判定した時点で終了としてもよいが、ステップ１３４にて、文書置換手段１２の処理を行った文書（例：Ａ）に対し、置換後の文書群（例：Ａ’、Ａ’’）の各文書のスコアの和を、該元文書（例：Ａ）のスコアとするというようにしてもよい。文書置換手段１２の処理により、文書集合とリンク集合とからなるネットワークが変化するため、文書スコアリング手段１３におけるスコア更新の繰り返し処理の結果において、従来のページランク手法による文書Ａのスコアと、本実施の形態の手法による文書Ａの置換後の各文書のスコアの和とは、一般に異なる値となる。図３の例で、文書Ａ’、Ａ’’の最終的なスコアがそれぞれ０．３、０．２となっていた場合、元文書Ａのスコアは０．５となる。
【００５８】
次に、図５を参照して、本実施の形態の文書分割スコアリング装置１０において実行される文書分割スコアリング処理ルーチンについて説明する。
【００５９】
ステップ１１０で、スコアリングの対象となる元文書の集合を取得し、元文書の集合中の一部または全部の各文書を、トピック区間に分割する。
【００６０】
次に、ステップ１２０で、上記ステップ１１０の処理を行った文書Ａと文書Ａへの各リンクＬとに対し、リンクＬを持つ文書中の、リンクＬのアンカーテキスト、または、リンクＬを含むトピック区間との類似度が、所定の閾値以上または上位所定順位以内の文書Ａのトピック区間の集合の異なりを新たな文書Ａ’として生成し、リンクＬに文書Ａ’を対応付け、文書Ａ’が対応付けられたリンクのみを文書Ａ’へのリンクとし、文書Ａを文書Ａ’の集合に置き換える。
【００６１】
次に、ステップ１３０で、上記で説明した文書スコアリング手段１３の処理（ステップ１３１〜１３４）を実行して、処理を終了する。
【００６２】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００６３】
また、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、プログラムをインストールすることによっても実現可能である。
【００６４】
また、上述の文書分割スコアリング装置は、内部にコンピュータシステムを有しているが、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【００６５】
また、上記実施の形態では、プログラムが予めインストールされている場合について説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【００６６】
また、本発明の文書分割スコアリング装置を、文書検索において、検索結果の文書群をランキングするための文書のスコアを求める技術に適用可能である。
【符号の説明】
【００６７】
１０   文書分割スコアリング装置
１１   文書分割手段
１２   文書置換手段
１３   文書スコアリング手段
１４   単語概念ベース
【図１】
0005483740.tif 000005
【図２】
0005483740.tif 000006
【図３】
0005483740.tif 000007
【図４】
0005483740.tif 000008
【図５】
0005483740.tif 000009
【図６】
0005483740.tif 000010