(57)【特許請求の範囲】
【請求項１】
検索対象の文書集合から、利用者が入力したキーワードを含む文書を検索し、該検索結果の文書番号を出力するキーワード検索手段と、
検索対象の文書集合のうち、前記キーワード検索手段の検索結果の文書番号に相当する各文書について、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を作成するキーワード文脈作成手段と、
前記キーワード文脈作成手段により作成された各キーワード文脈との間の文字列としての類似度を算出するキーワード文脈の類似度計算手段と、
前記キーワード文脈の類似度計算手段で算出された類似度に基づいて、前記キーワード検索手段により検索された検索結果文書の重複の有無を判定し、利用者へ提示する検索結果文書のリストを、前記重複無しと判定された検索結果文書が重複有りと判定された検索結果文書よりも上位順位となる順序に並び替えて出力する結果並び替え手段と、を備えたことを特徴とする文書検索装置。
【請求項２】
前記キーワード検索手段は、検索結果として関連度スコアを含み、利用者へ提示する検索結果文書件数をｎ、前記文書集合の重複率をｒとしたときの、前記関連度スコアの上位ｎ／（１−ｒ）件の検索結果の文書番号を出力し、
前記結果並び替え手段は、前記キーワード検索手段により検索された前記ｎ／（１−ｒ）件の検索結果すべてについて、ｉ番目よりも関連度スコアが上位であるｉ−１番目までの検索結果中に、前記キーワード文脈の類似度計算手段により算出された類似度が類似度しきい値よりも高いものが存在するか否かを判定し、存在しないと判定されたときのｉ番目の検索結果が、存在すると判定されたときのｉ番目の検索結果よりも上位順位となる順序に並び替え、該上位順位からｎ件の前記並び替えられた検索結果文書のリストを出力することを特徴とする請求項１に記載の文書検索装置。
【請求項３】
キーワード検索手段が、検索対象の文書集合から、利用者が入力したキーワードを含む文書を検索し、該検索結果の文書番号を出力するキーワード検索ステップと、
キーワード文脈作成手段が、検索対象の文書集合のうち、前記キーワード検索ステップの検索結果の文書番号に相当する各文書について、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を作成するキーワード文脈作成ステップと、
キーワード文脈の類似度計算手段が、前記キーワード文脈作成ステップにより作成された各キーワード文脈との間の文字列としての類似度を算出するキーワード文脈の類似度計算ステップと、
結果並び替え手段が、前記キーワード文脈の類似度計算ステップで算出された類似度に基づいて、前記キーワード検索ステップにより検索された検索結果文書の重複の有無を判定し、利用者へ提示する検索結果文書のリストを、前記重複無しと判定された検索結果文書が重複有りと判定された検索結果文書よりも上位順位となる順序に並び替えて出力する結果並び替えステップと、を備えたことを特徴とする文書検索方法。
【請求項４】
前記キーワード検索ステップは、検索結果として関連度スコアを含み、利用者へ提示する検索結果文書件数をｎ、前記文書集合の重複率をｒとしたときの、前記関連度スコアの上位ｎ／（１−ｒ）件の検索結果の文書番号を出力し、
前記結果並び替えステップは、前記キーワード検索ステップにより検索された前記ｎ／（１−ｒ）件の検索結果すべてについて、ｉ番目よりも関連度スコアが上位であるｉ−１番目までの検索結果中に、前記キーワード文脈の類似度計算ステップにより算出された類似度が類似度しきい値よりも高いものが存在するか否かを判定し、存在しないと判定されたときのｉ番目の検索結果が、存在すると判定されたときのｉ番目の検索結果よりも上位順位となる順序に並び替え、該上位順位からｎ件の前記並び替えられた検索結果文書のリストを出力することを特徴とする請求項３に記載の文書検索方法。
【請求項５】
コンピュータを請求項１又は２に記載の各手段として機能させる文書検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書集合の中から利用者が入力した検索語に関連のある文書を検索する技術に関する。
【背景技術】
【０００２】
従来より検索キーワードを入力し、ワールドワイドウェブ等から収集した大量の文書集合を対象に関連のある文書を得るための検索技術が知られている。検索キーワードは通常１単語から数単語を入力することが一般的である。
【０００３】
ところで、ワードワイドウェブ等から収集した文書集合は転載や引用等を通じて似かよった文書が多数含まれていることが多い。たとえば、非特許文献１では、比較的小さな文書集合であっても１７．３％が概ね重複しているということが報告されているし、非特許文献２では、全ウェブページ中の４０％は同一ページであると報告されている。
【０００４】
類似した文書ばかりが検索結果に含まれていたのでは、目的とする検索結果に辿りつきにくくなってしまう。これらの類似した文書を検索結果から排除するため、たとえば、非特許文献３などに示されるように、互いに似通った文書同士を事前に判定しておき、検索結果には互いに似たもの同士は含めないという方法が知られている。
【０００５】
尚、後述する本発明のキーワード文脈作成部で利用される、ＫＷＩＣ（ｋｅｙｗｏｒｄ  ｉｎ  ｃｏｎｔｅｘｔ）あるいはｑｕｅｒｙ−ｂｉａｓｅｄ要約の技術は、下記非特許文献４に記載されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】Ｙａｎｉｖ  Ｂｅｒｎｓｔｅｉｎ  ａｎｄ  Ｊｕｓｔｉｎ  Ｚｏｂｅｌ，“Ｒｅｄｕｎｄａｎｔ  ｄｏｃｕｍｅｎｔｓ  ａｎｄ  ｓｅａｒｃｈ  ｅｆｆｅｃｔｉｖｅｎｅｓｓ”，Ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １４ｔｈ  ＡＣＭ  ｉｎｔｅｒｎａｔｉｏｎａｌ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  ｋｎｏｗｌｅｄｇｅ  ｍａｎａｇｅｍｅｎｔ，２００５．
【非特許文献２】Ｃｈｒｉｓｔｏｐｈｅｒ  Ｄ．Ｍａｎｎｉｎｇ，Ｐｒａｂｈａｋａｒ  Ｒａｇｈａｖａｎ  ａｎｄ  Ｈｉｎｒｉｃｈ  Ｓｃｈｕｔｚｅ，“Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ”，Ｃａｍｂｒｉｄｇｅ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ，２００８．
【非特許文献３】Ａｎｄｒｅｉ  Ｂｒｏｄｅｒ，“Ｉｄｅｎｔｉｆｙｉｎｇ  ａｎｄ  Ｆｉｌｔｅｒｉｎｇ  Ｎｅａｒ−Ｄｕｐｌｉｃａｔｅ  Ｄｏｃｕｍｅｎｔｓ”，Ｃｏｍｂｉｎａｔｏｒｉａｌ  Ｐａｔｔｅｒｎ  Ｍａｔｃｈｉｎｇ，２０００，ｐｐ．１−１０．
【非特許文献４】Ａｎａｓｔａｓｉｏｓ  Ｔｏｍｂｒｏｓ  ａｎｄ  Ｍａｒｋ  Ｓａｎｄｅｒｓｏｎ，“Ａｄｖａｎｔａｇｅｓ  ｏｆ  ｑｕｅｒｙ  ｂｉａｓｅｄ  ｓｕｍｍａｒｉｅｓ  ｉｎ  ｉｎｆｏｒｍａｔｉｏｎ  ｒｅｔｒｉｅｖａｌ”，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２１ｓｔ  ａｎｎｕａｌ  ｉｎｔｅｒｎａｔｉｏｎａｌ  ＡＣＭ  ＳＩＧＩＲ  ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｒｅｓｅａｒｃｈ  ａｎｄ  ｄｅｖｅｌｏｐｍｅｎｔ  ｉｎ  ｉｎｆｏｒｍａｔｉｏｎ  ｒｅｔｒｉｅｖａｌ，１９９８，ｐｐ．２−１０．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来の手法によっては文書全体としての類似性に基いて判定するため、  文書全体としては似通っていなくとも、部分部分は似通っているような文書は検出および排除の対象とならなかった。このため、たとえば文書中に他の文書の一部を引用した場合などにおいて、引用箇所が利用者の入力したキーワードと関連していれば、引用元の文書に加えて、引用した文書も関連があるということになり検索結果に含まれてしまう。
【０００８】
このため、二つの文書において、検索者が検索を行っている目的の情報を含んだ箇所についてはほぼ同一の内容が記述してあっても、それ以外の部分に差異がある場合、従来の技術によれば排除することができない。この結果このような文書は検索結果に含まれてしまい、結果として利用者が目的の情報に辿りつくための手間が増えてしまうという問題があった。
【０００９】
これらを踏まえると、利用者が求めている情報に関連する箇所について重複を防ぎ、利用者が検索結果の全貌を容易に把握できるような方法が求められる。
【００１０】
本発明は、上記課題を解決するものであり、その目的は、類似した検索を排除し、これによって利用者が求めている情報を含んだ文書に辿り着く手間を省くことができる文書検索装置、方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するための本発明の文書検索装置は、検索対象の文書集合から、利用者が入力したキーワードを含む文書を検索し、該検索結果の文書番号を出力するキーワード検索手段と、検索対象の文書集合のうち、前記キーワード検索手段の検索結果の文書番号に相当する各文書について、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を作成するキーワード文脈作成手段と、前記キーワード文脈作成手段により作成された各キーワード文脈との間の文字列としての類似度を算出するキーワード文脈の類似度計算手段と、前記キーワード文脈の類似度計算手段で算出された類似度に基づいて、前記キーワード検索手段により検索された検索結果文書の重複の有無を判定し、利用者へ提示する検索結果文書のリストを、前記重複無しと判定された検索結果文書が重複有りと判定された検索結果文書よりも上位順位となる順序に並び替えて出力する結果並び替え手段と、を備えたことを特徴としている。
【発明の効果】
【００１２】
（１）請求項１〜５に記載の発明によれば、利用者は指定したキーワードについて関連があるような文書のうち、類似した検索を排除することができるため、検索装置によって出力された上位の結果中に利用者が求めている情報を含まれやすくすることができる。
【００１３】
このため、結果的に利用者が求めている情報を含んでいる文書に辿りつく手間が省かれ、該文書を容易に特定することが可能となる。
（２）また請求項２、４に記載の発明によれば、キーワード検索手段における検索結果出力件数をｎ／（１−ｒ）件（ｎは利用者へ提示する検索結果文書件数、ｒは文書集合の重複率）としたので、ｒを例えば文書集合毎の既知の重複率に設定した場合は、そのｒに応じた適切な検索結果出力件数が決定され得る。
【００１４】
また、検索結果を提示する者（例えばサービス設計者）がｒを任意に設定することにより、状況に応じた装置の運用を実施することができる。すなわち、装置の処理負荷が重くなったとしても、利用者へ提示することになる重複文書数を減らすか又は零にしたい場合はｒを大きく設定し、また逆に、利用者へ提示することになる重複文書数が増えたとしても、装置の処理負荷を軽くしたい場合はｒを小さく設定することで対応が可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態例を示す装置構成図。
【図２】図１の装置の各部が行なう処理を示すフローチャート。
【図３】図１のキーワード文脈作成部の出力例を示す説明図。
【図４】図１の結果並び替え部が行う処理の詳細を示すフローチャート。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明の実施形態例における文書検索装置１００の構成を示し、図２は図１の装置の各部が行なう処理の流れを示すフローチャートである。
【００１７】
本実施形態例の文書検索装置１００は、キーワード検索手段としてのキーワード検索部１１０、キーワード文脈作成手段としてのキーワード文脈作成部１２０、キーワード文脈の類似度計算手段としてのキーワード文脈の類似度計算部１３０、結果並び替え手段としての結果並び替え部１４０および文書集合ＤＢ（データベース）１５０を備えている。
【００１８】
図１の文書集合ＤＢ１５０には、ワールドワイドウェブからの収集等を通じて準備した検索対象の文書集合が事前に格納される。
【００１９】
キーワード検索部１１０は、文書集合ＤＢ１５０に格納されている検索対象の文書集合から、利用者が入力したキーワードを含む文書を検索し、該検索結果の文書番号を出力する機能を有している。
【００２０】
キーワード文脈作成部１２０は、文書集合ＤＢ１５０内の、前記キーワード検索部１１０で検索された各文書について、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を作成する機能を有している。
【００２１】
キーワード文脈の類似度計算部１３０は、キーワード文脈作成部１２０で作成された各キーワード文脈との間の文字列としての類似度を算出する機能を有している。
【００２２】
結果並び替え部１４０は、前記類似度計算部１３０で算出された類似度に基づいて、前記キーワード検索部１１０により検索された検索結果文書の重複の有無を判定し、利用者へ提示する検索結果文書のリストを、前記重複無しと判定された検索結果文書が重複有りと判定された検索結果文書よりも上位順位となる順序に並び替えて出力する機能を有する。
【００２３】
図１の文書検索装置１００は、例えばコンピュータにより構成され、通常のコンピュータのハードウェアリソース、例えばＲＯＭ、ＲＡＭ、ＣＰＵ、入力装置、出力装置、通信インターフェース、ハードディスク、記録媒体およびその駆動装置を備えている。
【００２４】
このハードウェアリソースとソフトウェアリソース（ＯＳ、アプリケーションなど）との協働の結果、文書検索装置１００は、図１に示すように、キーワード検索部１１０、キーワード文脈作成部１２０、キーワード文脈の類似度計算部１３０、結果並び替え部１４０、文書集合ＤＢ１５０を実装する。
【００２５】
前記文書集合ＤＢ１５０は、ハードディスクあるいはＲＡＭなどの保存手段・記憶手段に構築されているものとする。
【００２６】
次に、上記のように構成された装置の動作を具体的に説明する。利用者は、文書検索装置１００に対してキーワードを入力し、文書検索装置１００からの出力はキーワードと関連する文書の順序つきリストである。
【００２７】
文書検索装置１００は、事前にワールドワイドウェブからの収集等を通じて準備した検索対象の文書集合を文書集合ＤＢ１５０に格納しておき、その文書集合ＤＢ１５０中の文書集合を対象に処理を行う。
【００２８】
まず、キーワード検索部１１０は、キーワードを入力として、そのキーワードを含むような文書を文書集合ＤＢ１５０から検索し、関連度スコアを計算し、文書番号と関連度スコアを出力する（ステップＳ１１０）。
【００２９】
文書の検索、および関連度スコアの計算には、一般的な転置インデクスとＢＭ２５やＰａｇｅＲａｎｋといった従来より知られているスコアリング手法を組合せることによって実現することができる。
【００３０】
ここでキーワード検索部１１０から出力する結果の件数について述べる。利用者へ提示する検索結果の数をｎ件であるとし、検索対象文書集合で予測される文書の重複率をｒ（０≦ｒ＜１）とするときに、検索結果の関連度スコアの上位ｎ／（１−ｒ）件をキーワード検索部１１０から出力する。ここで、ｎとしては典型的には１０件から１００件程度が用いられる。
【００３１】
次にキーワード文脈作成部１２０では、キーワード検索部１１０の出力した文書番号を受け取り、検索結果の各文書（文書集合ＤＢ１５０内の文書）中において、利用者が入力したキーワードを含む箇所を算出してキーワード文脈を生成する（ステップＳ１２０）。これには非特許文献４に示されるような、従来から存在するＫＷＩＣ（ｋｅｙｗｏｒｄ  ｉｎ  ｃｏｎｔｅｘｔ）あるいはｑｕｅｒｙ−ｂｉａｓｅｄ要約と呼ばれる技術を用いることができる。
【００３２】
生成するキーワード文脈の長さは、提供するサービスの品質に応じて、サービス設計者が任意に設定して良い。ただし、最終的にユーザに概要文を提示するような検索サービスを作る場合であれば、本キーワード文脈作成部１２０の出力をそのまま概要文として提示できるように、そこで求められる長さとすると良い。
【００３３】
キーワード文脈作成部１２０の出力は、図３に示すような、文書番号とキーワード文脈との対の集合である。図３はキーワードとして「元素」を想定した例を示している。
【００３４】
次にキーワード文脈の類似度計算部１３０は、キーワード文脈作成部１２０の出力を入力とし、各キーワード文脈との間の文字列としての類似度を算出する（ステップＳ１３０）。類似度の算出方法は任意であるが、一般的に用いられるコサイン類似度や各単語を集合の要素とみなした場合のＪａｃｃａｒｄ係数等を用いることができる。
【００３５】
次に結果並び替え部１４０では、キーワード検索部１１０の出力と、キーワード文脈の類似度計算部１３０の出力とを入力とし、キーワード文脈間の類似性を考慮した並び替え処理を行なって、ユーザに提示する検索結果を出力する（ステップＳ１４０）。
【００３６】
結果並び替え部１４０が行なう処理の流れを図４に示す。尚、図４において、ループＬ１４０は、後述のステップＳ１４３〜Ｓ１４６を、検索結果最上位からｎ／（１−ｒ）件目まで繰り返し実行することを表している。
【００３７】
図４において、まず、重複を含まないものを含むための提示用結果上位リストＤと、重複したものを含んでいるが、Ｄの件数が最終的にｎ件に達しなかった場合に用いるための結果補助リストＳをそれぞれ初期化し（ステップＳ１４１）、ｉ＝１にセットする（ステップＳ１４２）。
【００３８】
次に、キーワード検索部１１０からのｎ／（１−ｒ）件について、関連度スコアが上位の結果から順に、以下の（１）、（２）を実行する。
（１）ｉ番目の検索結果のキーワード文脈が、より上位の、（ｉ−１）番目までの検索結果のキーワード文脈と重複しているかどうかを、事前に定めた類似度閾値ｔｈよりも文脈間の類似度（キーワード文脈の類似度計算部１３０の算出値）が高いかどうかにより確認する（ステップＳ１４３）。
（２）前記（１）で重複するものがなかった場合、すなわちすべての類似度が閾値ｔｈ未満だった場合は、ｉ番目の結果を提示用結果上位リストＤへ追加する（ステップＳ１４４）。重複するものが存在した場合は、ｉ番目の結果は順位を下げるべきであると判断し、結果補助リストＳへ追加する（ステップＳ１４５）。
【００３９】
前記ステップＳ１４４，Ｓ１４５の処理の後はステップＳ１４６においてｉをインクリメントする。
【００４０】
次に上記（１）、（２）の繰り返しの結果得られたリストＤとＳをこの順で連結し、順位の上位から（連結されたリストの先頭から）ｎ件を出力する（ステップＳ１４７）。
【００４１】
以上のように本実施形態例によれば、文書自体ではなく、ユーザに提示される情報（概要文）に着目し、概要文が同一（あるいは強く類似）している場合は表示（提示）しないことによって、ユーザにとっての見た目の多様性を高め、目的としている情報へ辿りつく機会を増やすことができる。
【００４２】
また、キーワード検索部１１０における検索結果出力件数をｎ／（１−ｒ）件（ｎは利用者へ提示する検索結果文書件数、ｒは文書集合の重複率）としたので、ｒを例えば文書集合毎の既知の重複率に設定した場合は、そのｒに応じた適切な検索結果出力件数が決定され得る。
【００４３】
また、検索結果を提示する者（例えばサービス設計者）がｒを任意に設定することにより、状況に応じた装置の運用を実施することができる。すなわち、装置の処理負荷が重くなったとしても、利用者へ提示することになる重複文書数を減らすか又は零にしたい場合はｒを大きく設定し、また逆に、利用者へ提示することになる重複文書数が増えたとしても、装置の処理負荷を軽くしたい場合はｒを小さく設定することで対応が可能となる。
【００４４】
また、本実施形態の文書検索装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の文書検索方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【符号の説明】
【００４５】
１００…文書検索装置
１１０…キーワード検索部
１２０…キーワード文脈作成部
１３０…キーワード文脈の類似度計算部
１４０…結果並び替え部
１５０…文書集合ＤＢ
【図１】
0005346045.tif 000002
【図２】
0005346045.tif 000003
【図４】
0005346045.tif 000004
【図３】
0005346045.tif 000005