(57)【特許請求の範囲】
【請求項１】
文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割手段と、
各列が、全文書中のトピック区間に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・トピック区間行列を生成し、任意のキーワードと任意のトピック区間に対し、該キーワードの該トピック区間における出現頻度に基づく重みと、トピック区間集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該トピック区間内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・トピック区間行列生成手段と、
入力された検索キーワード群に対し、キーワード・トピック区間行列を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含むトピック区間または文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含むトピック区間または文書を検索し、検索された対象に対し、該対象に含まれるトピック区間と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該トピック区間のスコアとし、該スコアの最大値を該対象のスコアとする第１検索手段と、を備えたことを特徴とする文書分割検索装置。
【請求項２】
文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割手段と、
各列が、文書集合に含まれる文書に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・文書行列を生成し、任意のキーワードと任意の文書に対し、該キーワードの該文書における出現頻度に基づく重みと、文書集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該文書内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・文書行列生成手段と、
入力された検索キーワード群に対し、キーワード・文書行列を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含む文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含む文書を検索し、検索された文書に対し、該文書と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該文書のスコアとし、各検索キーワードの対が、同一トピック区間にあればスコアをそのままか増加させ、同一トピック区間になければスコアを減少させるかそのままにさせる第２検索手段と、を備えたことを特徴とする文書分割検索装置。
【請求項３】
文書分割手段が、文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割ステップと、
キーワード・トピック区間行列生成手段が、各列が、全文書中のトピック区間に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・トピック区間行列を生成し、任意のキーワードと任意のトピック区間に対し、該キーワードの該トピック区間における出現頻度に基づく重みと、トピック区間集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該トピック区間内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・トピック区間行列生成ステップと、
第１検索手段が、入力された検索キーワード群に対し、キーワード・トピック区間行列を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含むトピック区間または文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含むトピック区間または文書を検索し、検索された対象に対し、該対象に含まれるトピック区間と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該トピック区間のスコアとし、該スコアの最大値を該対象のスコアとする第１検索ステップと、を有することを特徴とする文書分割検索方法。
【請求項４】
文書分割手段が、文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割ステップと、
キーワード・文書行列生成手段が、各列が、文書集合に含まれる文書に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・文書行列を生成し、任意のキーワードと任意の文書に対し、該キーワードの該文書における出現頻度に基づく重みと、文書集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該文書内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・文書行列生成ステップと、
第２検索手段が、入力された検索キーワード群に対し、キーワード・文書行列を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含む文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含む文書を検索し、検索された文書に対し、該文書と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該文書のスコアとし、各検索キーワードの対が、同一トピック区間にあればスコアをそのままか増加させ、同一トピック区間になければスコアを減少させるかそのままにさせる第２検索方法と、を有することを特徴とする文書分割検索方法。
【請求項５】
請求項１または２に記載された文書分割検索装置の各手段として、コンピュータを機能させるための文書分割検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キーワードを入力して、該キーワードの表すトピックに適合する文書を文書集合から検索する文書分割検索装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
キーワードを入力して、該キーワードの表すトピックに適合する文書を文書集合から検索する処理においては、以下の非特許文献１で述べられているような手法をとる。
【０００３】
文書集合中の文書をＤ1，Ｄ2，…，Ｄnとし、文書集合に含まれるキーワードをω1，ω2，…，ωmとする。文書Ｄjを以下の（１）式の文書ベクトルｄjで表す。
【０００４】
【数１】
0005416680.tif 000002
【０００５】
ここで、ｄijはキーワードωiの文書Ｄjにおける重みである。ｄijは以下の（２）式のように、キーワードωiの文書Ｄjにおける出現頻度に基づく重みｌijと、文書集合全体にわたるキーワードωiの分布に基づく重みｇiとを乗じた値として定義される。
【０００６】
【数２】
0005416680.tif 000003
【０００７】
ｌijの例として、以下の（３）式のように、キーワードωiの文書Ｄjにおける出現頻度ｆijを用いる。
【０００８】
【数３】
0005416680.tif 000004
【０００９】
また、以下の（４）式のように、キーワードωiが文書Ｄjに出現するとき１、出現しないとき０を与える。
【００１０】
【数４】
0005416680.tif 000005
【００１１】
ｇiの例として、以下の（５）式のように、重み１を与える。
【００１２】
【数５】
0005416680.tif 000006
【００１３】
また、以下の（６）式のように、文書頻度の逆数であるＩＤＦを用いる。ｎiは、キーワードωiが出現する文書の数である。
【００１４】
【数６】
0005416680.tif 000007
【００１５】
文書集合全体は、以下の（７）式のようなｍ×ｎ行列Ｄによって表現する。Ｄをキーワード・文書行列と呼び、Ｄの各行を対応するキーワードのキーワードベクトルと呼ぶ。
【００１６】
【数７】
0005416680.tif 000008
【００１７】
検索クエリは、キーワードωiの検索クエリにおける出現頻度に基づく重みをｑiとしたとき、以下の（８）式の検索クエリベクトルｑで表される。
【００１８】
【数８】
0005416680.tif 000009
【００１９】
各キーワードがＡＮＤ条件で結合されている場合は、ｑi＞０であるωiの全てを含む文書の集合を検索結果とする。各キーワードがＯＲ条件で結合されている場合は、ｑi＞０であるωiのいずれかを含む文書の集合を検索結果とする。
【００２０】
検索結果文書は、文書Ｄjのスコアｓｃｏｒｅ（Ｄj）の大きい順にランキングする。ｓｃｏｒｅ（Ｄj）の例として以下の（９）式のコサイン尺度をとる。
【００２１】
【数９】
0005416680.tif 000010
【００２２】
検索クエリベクトルｑは固定であるため、ｓｃｏｒｅ（Ｄj）を以下の（１０）式のように定めることができる。
【００２３】
【数１０】
0005416680.tif 000011
【００２４】
すなわち、文書ベクトルｄjを長さ１に正規化したベクトルと検索クエリベクトルｑとの内積となる。||ｄj||は、文書Ｄj内のキーワード数に基づく重みｈjであり、文書Ｄjの長さによる影響をなくす。なお、ｈjとして１をとってもよい。ｄij／ｈj＝ｅijとおけば、下記（１１）式で表される。
【００２５】
【数１１】
0005416680.tif 000012
【００２６】
ｓｃｏｒｅ（Ｄj）は、文書Ｄjと各検索キーワードωiとの重みｅijに、該検索キーワードωiの入力時の重みｑiを乗じた値の和である。
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特許第３９２５４１８号公報
【特許文献２】特許第４３３３３１８号公報
【非特許文献】
【００２８】
【非特許文献１】北研二、津田和彦、獅々堀正幹著、「情報検索アルゴリズム」、共立出版株式会社、２００２、１月、ｐ３３−ｐ４０．
【発明の概要】
【発明が解決しようとする課題】
【００２９】
一文書が複数のトピック区間から構成されることがありうる。例えば、最初にスポーツに関するトピック区間があり、次に、政治に関するトピック区間が来るということがある。この政治に関するトピック区間の後に、再びスポーツに関するトピック区間が来るというように、同一トピックの区間の間に別のトピック区間が来るというケースもある。Ｗｅｂにおけるブログサイトにおいては、１Ｗｅｂページ内が複数のブログ記事からなり、各ブログ記事のトピックが異なるということもある。このような一文書内に複数のトピック区間がありうる場合、背景技術で述べた従来手法では以下の課題がある。
【００３０】
第１の課題を述べる。ｌij＝ｆij，ｇi＝１，ｈj＝１としたとき、検索キーワードがω1であれば、ｓｃｏｒｅ（Ｄj）＝ｆ1jとなる。図１のようにω1を含む文書Ｄ1，Ｄ2に対し、ｆ11＝９，ｆ12＝１０であれば、Ｄ2の方がＤ1よりもスコアが高くなる。ここでＤ1は一トピック区間Ｄ11から構成されていて、Ｄ2はトピック区間Ｄ21，Ｄ22から構成されているとする。キーワードωiのトピック区間Ｄjkにおける出現頻度をｆijkと表わす。ｆ121＝２，ｆ122＝８であるとしたとき、トピック区間単位で見れば、Ｄ21，Ｄ22は、いずれもＤ11よりも、ω1の出現頻度が小さいにも関わらず、Ｄ2の方がＤ1よりもスコアが高くなるという課題がある。
【００３１】
第２の課題を述べる。ｌij＝ｆij，ｇi＝１，ｈj＝||ｄj||としたとき、検索キーワードがω1であれば、ｓｃｏｒｅ（Ｄj）＝ｆ1j／||ｄj||となる。図２のようにω1を含む文書Ｄ1，Ｄ2に対し、ｆ11＝１０，||ｄ1||＝１００，ｆ12＝１０，||ｄ2||＝４０であれば、ｓｃｏｒｅ（Ｄ1）＝１０／１００，ｓｃｏｒｅ（Ｄ2）＝１０／４０となり、Ｄ2の方がＤ1よりもスコアが高くなる。ここでＤ1はトピック区間Ｄ11，Ｄ12から構成されていて、Ｄ2は一トピック区間Ｄ21から構成されているとする。トピック区間Ｄjkの文書ベクトルをｄjkと表わす。ｆ111＝１０，ｆ112＝０，||ｄ11||＝３０であるとしたとき、ｓｃｏｒｅ（Ｄ11）＝１０／３０となり、トピック区間単位で見れば、トピック区間Ｄ11は、文書長に占めるω1の出現頻度の割合がＤ2より大きいにも関わらず、Ｄ2の方がＤ1よりもスコアが高くなるという課題がある。
【００３２】
第３の課題を述べる。検索キーワードがω1，ω2でAND条件で結合されているとする。図３のようなω1，ω2をともに含む文書Ｄ1，Ｄ2が検索される。ここでＤ1はトピック区間Ｄ11，Ｄ12から構成されていて、Ｄ11はω1，ω2をともに含み、Ｄ12はω1，ω2をともに含まないとする。また、Ｄ2はトピック区間Ｄ21，Ｄ22から構成されていて、Ｄ21はω1のみ含み、Ｄ22はω2のみ含むとする。検索者はω1，ω2の両方のトピックに適合する文書を検索している。Ｄ1は、構成するＤ11が適合するため、適合する。しかしＤ2は、構成するＤ21，Ｄ22がともに適合しないため、適合しない。にも関わらず、Ｄ2が検索されてしまうという課題がある。
【００３３】
以上のように従来手法では、複数のトピック区間からなる文書の単位で索引化と検索の処理を行っているため、適合しない文書のスコアが、適合する文書のスコア以上となる課題がある。
【課題を解決するための手段】
【００３４】
そこで、本発明は、上述のような従来手法の課題を解決するものであり、本発明の文書分割検索装置の一態様は、文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割手段と、各列が、全文書中のトピック区間に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・トピック区間行列を生成し、任意のキーワードと任意のトピック区間に対し、該キーワードの該トピック区間における出現頻度に基づく重みと、トピック区間集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該トピック区間内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・トピック区間行列生成手段と、入力された検索キーワード群に対し、キーワード・トピック区間行列を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含むトピック区間または文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含むトピック区間または文書を検索し、検索された対象に対し、該対象に含まれるトピック区間と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該トピック区間のスコアとし、該スコアの最大値を該対象のスコアとする第１検索手段と、を備えたことを特徴とする。
【００３５】
また、本発明の文書分割検索装置の他の態様は、文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割手段と、各列が、文書集合に含まれる文書に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・文書行列を生成し、任意のキーワードと任意の文書に対し、該キーワードの該文書における出現頻度に基づく重みと、文書集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該文書内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・文書行列生成手段と、入力された検索キーワード群に対し、キーワード・文書行列を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含む文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含む文書を検索し、検索された文書に対し、該文書と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該文書のスコアとし、各検索キーワードの対が、同一トピック区間にあればスコアをそのままか増加させ、同一トピック区間になければスコアを減少させるかそのままにさせる第２検索手段と、を備えたことを特徴とする。
【００３６】
また、本発明の文書分割検索方法の一態様は、文書分割手段が、文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割ステップと、キーワード・トピック区間行列生成手段が、各列が、全文書中のトピック区間に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・トピック区間行列を生成し、任意のキーワードと任意のトピック区間に対し、該キーワードの該トピック区間における出現頻度に基づく重みと、トピック区間集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該トピック区間内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・トピック区間行列生成ステップと、第１検索手段が、入力された検索キーワード群に対し、キーワード・トピック区間行列を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含むトピック区間または文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含むトピック区間または文書を検索し、検索された対象に対し、該対象に含まれるトピック区間と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該トピック区間のスコアとし、該スコアの最大値を該対象のスコアとする第１検索ステップと、を有することを特徴とする。
【００３７】
また、本発明の文書分割検索方法の他の態様は、文書分割手段が、文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割ステップと、キーワード・文書行列生成手段が、各列が、文書集合に含まれる文書に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・文書行列を生成し、任意のキーワードと任意の文書に対し、該キーワードの該文書における出現頻度に基づく重みと、文書集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該文書内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・文書行列生成ステップと、第２検索手段が、入力された検索キーワード群に対し、キーワード・文書行列を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含む文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含む文書を検索し、検索された文書に対し、該文書と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該文書のスコアとし、各検索キーワードの対が、同一トピック区間にあればスコアをそのままか増加させ、同一トピック区間になければスコアを減少させるかそのままにさせる第２検索方法と、を有することを特徴とする。
【００３８】
なお、本発明は、前記文書分割検索装置を構成する各手段として、コンピュータを機能させるためのプログラムとしても構成することができる。このプログラムは、ネットワークを通じた態様で提供してもよく、記録媒体に格納した態様で提供してもよい。
【発明の効果】
【００３９】
第１の課題に対しては、請求項１の構成により以下の結果となる。検索対象がトピック区間であれば、Ｄ11の方が、Ｄ21，Ｄ22よりスコアが高くなる。検索対象が文書であれば、Ｄ2のスコアはＤ21，Ｄ22のスコアの最大値であるＤ22のスコアとなり、Ｄ1の方がＤ2よりスコアが高くなる。
【００４０】
第２の課題に対しては、請求項１の構成により以下の結果となる。検索対象がトピック区間であれば、Ｄ11の方が、Ｄ21よりスコアが高くなる。検索対象が文書であれば、Ｄ1のスコアはＤ11，Ｄ12のスコアの最大値であるＤ11のスコアとなり、Ｄ1の方がＤ2よりスコアが高くなる。
【００４１】
第３の課題に対しては、請求項１の構成により以下の結果となる。検索対象がトピック区間であれば、Ｄ11は検索されるが、Ｄ21，Ｄ22は検索されない。検索対象が文書であれば、ｌijk＝ｆijk，ｇi＝１，ｈjk＝１としたとき、ｓｃｏｒｅ（Ｄjk）＝ｆ1jk＋ｆ2jkとなる。Ｄ1のスコアはＤ11，Ｄ12のスコアの最大値であるＤ11のスコア２となり、Ｄ2のスコアはＤ21，Ｄ22のスコアの最大値であるＤ21またはＤ22のスコア１となり、Ｄ1の方がＤ2よりスコアが高くなる。
【００４２】
また、第３の課題に対しては、請求項２の構成により以下の結果となる。ｌij＝ｆij，ｇi＝１，ｈj＝１としたとき、ｓｃｏｒｅ（Ｄj）＝ｆ1j＋ｆ2jとなり、Ｄ1，Ｄ2のスコアはともに２となる。Ｄ2においては、ω1，ω2が同一トピック区間にないため、Ｄ2のスコアは２−α（α＞０）となり、結果、Ｄ1の方がＤ2よりスコアが高くなる。
【００４３】
以上のように本発明の手法では、トピック区間の単位で索引化と検索の処理を行うため、文書が複数のトピック区間から構成されていて、一部のトピック区間がキーワードに適合する場合に、当該トピック区間、または、そのようなトピック区間を含む文書を、検索結果の、より上位にランクすることができるという効果を奏する。
【図面の簡単な説明】
【００４４】
【図１】文書と、その文書内におけるキーワード数を示す図である。
【図２】文書と、その文書内におけるキーワード数を示す図である。
【図３】文書と、その文書内におけるキーワード数を示す図である。
【図４】本発明の文書分割検索装置１０の構成を示す構成図である。
【図５】本発明の文書分割検索装置１０´の構成を示す構成図である。
【図６】本発明の文書分割検索装置１０の処理を示すフローチャートである。
【図７】本発明の文書分割検索装置１０´の処理を示すフローチャートである。
【図８】文書分割手段の処理結果の例を示す図である。
【図９】キーワード・トピック区間行列を示す図である。
【図１０】キーワード・文書行列を示す図である。
【図１１】キーワード・トピック区間行列を示す図である。
【図１２】キーワード・文書行列を示す図である。
【発明を実施するための形態】
【００４５】
以下、図面とともに本発明の実施例を説明する。
【００４６】
図４は本発明の請求項１の文書分割検索装置１０の構成例であり、図５は本発明の請求項２の文書分割検索装置１０´の構成例である。
【００４７】
請求項１の文書分割検索装置１０は、文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割手段１１と、各列が、全文書中のトピック区間に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・トピック区間行列１４を生成し、任意のキーワードと任意のトピック区間に対し、該キーワードの該トピック区間における出現頻度に基づく重みと、トピック区間集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該トピック区間内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・トピック区間行列生成手段１２と、入力された検索キーワード群に対し、キーワード・トピック区間行列１４を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含むトピック区間または文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含むトピック区間または文書を検索し、検索された対象に対し、該対象に含まれるトピック区間と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該トピック区間のスコアとし、該スコアの最大値を該対象のスコアとする第１検索手段１３とからなる。
【００４８】
請求項２の文書分割検索装置１０´は、文書集合中の各文書に対し、該文書をトピックごとに分割し、得られたトピック区間で同一トピックのものを一つのトピック区間とする文書分割手段１１と、各列が、文書集合に含まれる文書に対応し、各行が、文書集合に含まれるキーワードに対応する、キーワード・文書行列２４を生成し、任意のキーワードと任意の文書に対し、該キーワードの該文書における出現頻度に基づく重みと、文書集合全体にわたる該キーワードの分布に基づく重みとを乗じた値を、該文書内のキーワード数に基づく重みで除して得られる重みを、該行列の対応する要素に格納するキーワード・文書行列生成手段２２と、入力された検索キーワード群に対し、キーワード・文書行列２４を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含む文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含む文書を検索し、検索された文書に対し、該文書と各検索キーワードとの重みに、該検索キーワードの入力時の重みを乗じた値の和を該文書のスコアとし、各検索キーワードの対が、同一トピック区間にあればスコアをそのままか増加させ、同一トピック区間になければスコアを減少させるかそのままにさせる第２検索手段２３とからなる。
【００４９】
図６は文書分割検索装置１０の処理を示すフローチャートであり、図７は文書分割検索装置１０´の処理を示すフローチャートである。
【００５０】
（Ｓ１１，Ｓ２１）
文書分割手段１１の入力となる文書集合中の文書をＤ1，Ｄ2，…，Ｄnとする。各文書Ｄjを、例えば特許文献１に記載された手法によりトピックごとに分割し、得られたトピック区間を下記（１２）式とする。
【００５１】
【数１２】
0005416680.tif 000013
【００５２】
Ｄj内のトピック区間の中には、同一トピックのものも存在しうる。例えば特許文献２に記載された手法により、Ｄj内のトピック区間をその意味内容に基づきクラスタリングし、同一トピックのトピック区間を一クラスタにまとめる。特許文献２に記載された手法では、全トピック区間が一クラスタになるまでクラスタリングを続けているが、文書分割手段１１の処理では、例えば、クラスタ間の距離が、ある閾値以上となったときに、クラスタリングを停止する。得られた一クラスタに含まれるトピック区間を結合したものを最終的なトピック区間とし、最終的なトピック区間の列を下記（１３）式とする。
【００５３】
【数１３】
0005416680.tif 000014
【００５４】
図８は、文書分割手段１１の処理結果の例である。文書Ｄjをトピックごとに分割することにより、トピック区間列Ｔj1，Ｔj2，…，Ｔj6が得られる。Ｔj1，Ｔj2，…，Ｔj6をクラスタリングする。Ｔj1がそれのみでクラスタとなり、Ｔj1をＤj1とする。Ｔj2，Ｔj4が同一クラスタとなり、Ｔj2，Ｔj4を結合したものをＤj2とする。Ｔj3，Ｔj6が同一クラスタとなり、Ｔj3，Ｔj6を結合したものをＤj3とする。Ｔj5がそれのみでクラスタとなり、Ｔj5をＤj4とする。
【００５５】
（Ｓ１２，Ｓ２２）
キーワード・トピック区間行列生成手段１２及びキーワード・文書行列生成手段２２の処理を述べる。
【００５６】
文書集合に含まれるキーワードをω1，ω2，…，ωmとする。
【００５７】
キーワード・トピック区間行列生成手段１２では、各列が、全文書中のトピック区間に対応し、各行が、文書集合に含まれるキーワードに対応する図９のようなキーワード・トピック区間行列を生成する。キーワード・文書行列生成手段２２では、各列が、文書集合に含まれる文書に対応し、各行が、文書集合に含まれるキーワードに対応する図１０のようなキーワード・文書行列を生成する。
【００５８】
以下、キーワード・トピック区間行列生成手段１２の処理を述べるが、キーワード・文書行列生成手段２２の処理は、以下の記述において、トピック区間を文書、添数ｊｋをｊで置き直した内容となる。
【００５９】
トピック区間Ｄjkに対応する列ベクトルｄjkは、以下の（１４）式となる。
【００６０】
【数１４】
0005416680.tif 000015
【００６１】
ここで、ｄijkはキーワードωiのトピック区間Ｄjkにおける重みである。ｄijkは以下の（１５）式のように、キーワードωiのトピック区間Ｄjkにおける出現頻度に基づく重みｌijkと、全文書集合におけるトピック区間集合全体にわたるキーワードωiの分布に基づく重みｇiとを乗じた値として定義される。
【００６２】
【数１５】
0005416680.tif 000016
【００６３】
ｌijkの例として、以下の（１６）式のように、キーワードωiのトピック区間Ｄjkにおける出現頻度ｆijkを用いる。
【００６４】
【数１６】
0005416680.tif 000017
【００６５】
また、以下の（１７）式のように、キーワードωiがトピック区間Ｄjkに出現するとき１、出現しないとき０を与える。
【００６６】
【数１７】
0005416680.tif 000018
【００６７】
ｇiの例として、以下の（１８）式のように、重み１を与える。
【００６８】
【数１８】
0005416680.tif 000019
【００６９】
また、以下の（１９）式のように、トピック区間頻度の逆数であるIDFを用いる。ｕは全トピック区間数であり、ｕiは、キーワードωiが出現するトピック区間の数である。
【００７０】
【数１９】
0005416680.tif 000020
【００７１】
トピック区間Ｄjkに対し、Ｄjk内のキーワード数に基づく重みｈjkを定める。
【００７２】
ｈjkの例として、以下の（２０）式のように、重み１を与える。
【００７３】
【数２０】
0005416680.tif 000021
【００７４】
また、以下の（２１）式のように、トピック区間Ｄjkの長さ||ｄjk||を用いる。
【００７５】
【数２１】
0005416680.tif 000022
【００７６】
キーワード・トピック区間行列の各要素ｄijkを、以下の（２２）式のような、ｈjkで除したｅijkに変換する。
【００７７】
【数２２】
0005416680.tif 000023
【００７８】
以上の処理により、キーワード・トピック区間行列生成手段１２では、図１１のようなキーワード・トピック区間行列１４が生成され、キーワード・文書行列生成手段２２では、図１２のようなキーワード・文書行列２４が生成される。
【００７９】
（Ｓ１３，Ｓ２３）
第１検索手段１３及び第２検索手段２３の処理を述べる。
【００８０】
【数２３】
0005416680.tif 000024
【００８１】
【数２４】
0005416680.tif 000025
【００８２】
第１検索手段１３の処理を述べる。
【００８３】
キーワード・トピック区間行列１４を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含むトピック区間または文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含むトピック区間または文書を検索する。
【００８４】
文書Ｄ1がトピック区間Ｄ11，Ｄ12からなり、検索キーワード群がω1，ω2でＡＮＤ条件で結合されているとする。Ｄ11がω1のみ含み、Ｄ12がω2のみ含んでいる場合、検索対象がトピック区間であれば、Ｄ11，Ｄ12はともに検索されないが、検索対象が文書であれば、Ｄ1はω1，ω2をともに含んでいるので検索される。
【００８５】
【数２５】
0005416680.tif 000026
【００８６】
【数２６】
0005416680.tif 000027
【００８７】
以上の処理を、検索された全ての対象に対し繰り返す。検索された対象をスコアの高い順にランキングし、検索結果として出力する。検索対象がトピック区間の場合、トピック区間の代わりに該トピック区間を含む文書を出力するというようにしてもよい。その際、同一文書が２つ以上出力される場合は、２番目以降の該文書は削除するというようにしてもよい。
【００８８】
第２検索手段２３の処理を述べる。
【００８９】
キーワード・文書行列２４を参照して、該検索キーワード群がＡＮＤ条件で結合されていれば、該検索キーワード群の全てを含む文書を検索し、該検索キーワード群がＯＲ条件で結合されていれば、該検索キーワード群のいずれかを含む文書を検索する。
【００９０】
【数２７】
0005416680.tif 000028
【００９１】
α＞０を定めておく。
【００９２】
【数２８】
0005416680.tif 000029
【００９３】
【数２９】
0005416680.tif 000030
【００９４】
以上の処理を、検索された全ての文書に対し繰り返す。検索された文書をスコアの高い順にランキングし、検索結果として出力する。
【００９５】
第１検索手段１３または第２検索手段２３で、検索結果として文書を出力する場合、一文書の内容を画面上にオープンしたときに、該文書中の各トピック区間がどの範囲であるかを明示するというようにすることもできる。
【００９６】
また、文書分割手段１１の処理の計算量を削減するために、文書分割手段１１の処理を、文書集合中の一部の文書に対してのみ実行するというようにすることもできる。
【００９７】
前記文書分割検索装置１０，１０´は、コンピュータのハードウェア資源（ＣＰＵ，メモリ，ハードディスクドライブ装置，通信インターフェイス等）とソフトウェアの協働の結果、文書分割手段１１，キーワード・トピック区間行列生成手段１２（または、キーワード・文書行列生成手段２２），第１検索手段１３（または、第２検索手段２３）として機能している。
【００９８】
また、これまで述べた処理をプログラムとして構築し、当該プログラムを通信回線または記録媒体からインストールし、ＣＰＵ等の手段で実施することが可能である。
【００９９】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
〈産業上の利用可能性〉
本発明は、キーワードを入力して、該キーワードの表すトピックに適合する文書を文書集合から検索する技術に適用可能である。
【符号の説明】
【０１００】
１０，１０´…文書分割検索装置
１１…文書分割手段
１２…キーワード・トピック区間行列生成手段
２２…キーワード・文書行列生成手段
１３…第１検索手段
２３…第２検索手段
１４…キーワード・トピック区間行列
２４…キーワード・文書行列
【図１】
0005416680.tif 000031
【図２】
0005416680.tif 000032
【図３】
0005416680.tif 000033
【図４】
0005416680.tif 000034
【図５】
0005416680.tif 000035
【図６】
0005416680.tif 000036
【図７】
0005416680.tif 000037
【図８】
0005416680.tif 000038
【図９】
0005416680.tif 000039
【図１０】
0005416680.tif 000040
【図１１】
0005416680.tif 000041
【図１２】
0005416680.tif 000042