(57)【要約】【課題】  キーワード全てを含む特定ブロックを有する文書を検索し、出力順位に従って情報検索結果として出力する。【解決手段】  本発明は、Ｗｅｂページが入力されると、当該Ｗｅｂページの各文書を文章ブロックに分割し、文章ブロックの言語的特徴を算出して（確信度を計算）記憶手段に格納し、検索要求として複数のキーワードが指定された場合に、該キーワード全てを含む特定の文章ブロックを有する文書を検索して情報検索結果を取得し、記憶手段に格納されている言語特徴（確信度）を情報検索結果の出力順を決定するパラメータとして用いて、検索された情報検索結果の出力順を決定し、その出力順位に従って情報検索結果を出力する。【選択図】  図１
2010257155.tif 000002
【特許請求の範囲】
【請求項１】
Ｗｅｂページに代表される文書情報を検索対象とし、入力された各文書を文章ブロックに分割し、ブロック記憶手段に格納するブロック分割手段と、検索要求として複数のキーワードが指定された場合に、該キーワード全てを含む特定の文章ブロックを有する文書を情報検索結果として出力する検索手段と、を有する情報検索装置であって、
前記文章ブロックの言語的特徴を算出し、言語特徴記憶手段に格納する言語特徴算出手段と、
前記言語特徴記憶手段に格納されている言語特徴を情報検索結果の出力順を決定するパラメータとして用いて、前記検索手段により検索された情報検索結果の出力順を決定する出力順序決定手段と、
を有することを特徴とする情報検索装置。
【請求項２】
前記出力順序決定手段は、
前記ブロック分割手段で分割された前記文章ブロックの文書長を前記言語特徴とする手段を含む
請求項１記載の情報検索装置。
【請求項３】
言語特徴を格納した言語特徴記憶手段と、
前記文章ブロックに含まれる文において、前記言語特徴記憶手段に登録された言語特徴と一致する言語特徴を計算する言語特徴計算手段と、を更に有し、
前記出力順序決定手段は、
前記言語特徴計算手段で計算された言語特徴を、前記情報検索結果の出力順を決定するパラメータとして用いる
請求項１または２記載の情報検索装置。
【請求項４】
前記言語特徴記憶手段は、
前記言語特徴として文の文末表現を格納する
請求項３記載の情報検索装置。
【請求項５】
前記言語特徴記憶手段は、
前記言語特徴として、文章ブロックの評価表現を格納する
請求項３記載の情報検索装置。
【請求項６】
Ｗｅｂページに代表される文書情報を検索対象とし、入力された各文書を文章ブロックに分割し、検索要求として複数のキーワードが指定された場合に、該キーワード全てを含む特定の文章ブロックを有する文書を情報検索結果として出力する情報検索方法であって、
前記文章ブロックの言語的特徴を算出し、言語特徴記憶手段に格納する言語特徴算出ステップと、
前記言語特徴記憶手段に格納されている言語特徴を情報検索結果の出力順を決定するパラメータとして用いて、前記検索手段により検索された情報検索結果の出力順を決定する出力順序決定ステップと、
を行うことを特徴とする情報検索方法。
【請求項７】
前記出力順序決定ステップは、
分割された前記文章ブロックの文書長を前記言語特徴とし、情報検索結果の出力順を決定するパラメータとして利用する
請求項６記載の情報検索方法。
【請求項８】
請求項１乃至５の何れか１項に記載の情報検索装置を構成する各手段としてコンピュータを機能させるための情報検索プログラム。
【請求項９】
請求項８記載の情報検索定プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報検索装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、インターネット上の検索エンジンをはじめとする情報検索システムにおいて、複数の文章が含まれる文書について文章の言語特性を反映した検索を行うための情報検索装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
近年、インターネットの普及によって、インターネット上の膨大な文書群から利用者が必要とする情報を適確に検索するシステム及びサービスの重要性が高まっている。一般に検索サービスにおいては、ユーザが入力した検索キーワードが検索対象の文書や該文書に対する別の文書からのリンクアンカーテキストに含まれる数に基づいた、検索キーワードと文書の一致度と、該文書が別の文書からどれだけ参照されているかといった文書の重要度から情報検索の出力順を決定している。
【０００３】
検索キーワードと文書の一致度としては、tf-idfやBM25といった単語の統計量を用いた手法が一般的に利用されている。この手法は特定の文書群全体の平均と比較して文書に高い頻度で現われる単語が、該文書を特徴付けるものであるという推定に基づいて、ユーザによって指定された検索キーワードが文書の特徴と一致する度合いが高い文書ほど高い出力順位としている（例えば、非特許文献１参照）。
【０００４】
しかし、現在のインターネットを対象とした情報検索システムでは、検索対象とする文書数があまりに膨大であるため、情報検索ユーザが単一の検索キーワードで検索を行った場合には、ユーザの検索意図と異なった検索結果が多く含まれてしまうため、情報検索ユーザは２語以上の検索キーワードを入力して情報検索を行うことが一般的である。
【０００５】
こういった場合に、従来の情報検索システムでは、文書全体を一つの単位として扱うため、複数の異なった主題の文章を含む一つの文書が、情報検索ユーザが入力した複数のキーワードをそれぞれ別の文章に含んでいた場合に、該文書が検索結果に含まれてしまうという問題がある。
【０００６】
典型的なものとして、インターネット上の電子掲示板システムにおいては、複数の筆者によって投稿された複数の文章が１つの文書に含まれていることが一般的であるし、オンライン日記やブログのように、一人の筆者によって書かれた文書であっても複数日分の日記や記事等で異なった主題の文章を複数含む文書も珍しくない。
【０００７】
従来の情報検索システムでは、文書中の各単語の出現位置を記録しておいて、各検索キーワードの出現位置同士の距離を算出し、該距離の短いものに高いスコアを与えることによって、上記問題を軽減する手法も存在する。
【０００８】
しかし、この場合には、全文書における全単語の出現位置を記録するために文書検索に用いるインデックスデ−タのデータ量が膨大になるという問題がある。
【０００９】
また、複数の検索キーワードが極近い位置に出現したとしても、それが２つの異なる主題の文章にまたがって出現していないということを保証しないという問題がある。
【００１０】
この問題を解決するために、文書を文の単位に分割し、文書における単語の出現位置情報を単語単位ではなく文単位で記憶する方法（文単位転置インデックス）がある（例えば、非特許文献２参照）。
【００１１】
この文単位転置インデックスを用いて、各検索キーワードの出現位置同士の距離を算出し、該距離の短いものに高いスコアを与えるようにすれば、全文書における全単語の出現位置を記録するのに必要なデータ量を削減することができる。
【００１２】
また、文単位転置インデックを用いて、各検索キーワードの出現位置同士の距離を計算するのではなく、複数単語が同一の文内に出現する文書を検索結果とすると、複数の検索キーワードが異なる主題の文章にまたがって出現していないということを保証できる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】S. Robertson, H Zaragoza, M Taylor 'Simple BM25 extension to multiple weighted fields'  Proceedings of the thirteenth ACM international conference on Information and knowledge management 2004.
【非特許文献２】植松幸生、藤岡健吾、井上孝史、片岡良治、大和田勇人「文単位転置インデックスによる近接検索手法」DBSJ Letters Vol. 6, No.4 (2008,3,21)
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記非特許文献２に記載の文単位転置インデックスを用いて、各検索キーワードの出現位置同士の距離を計算するのではなく、複数単語が同一の文内に出現する文書を検索結果とした場合には、検索結果が絞り込み条件がきつくなりすぎてしまい、本来であれば、検索要求に合致する文書が検索結果に含まれなくなるという問題がある。
【００１５】
本発明は、上記の点に鑑みなされたもので、検索要求として複数のキーワードが指定された場合に、当該キーワード全てを含む特定ブロックを有する文書を情報検索結果として出力することが可能な情報検索装置及び方法及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１６】
図１は、本発明の原理構成図である。
【００１７】
本発明（請求項１）は、Ｗｅｂページに代表される文書情報を検索対象とし、入力された各文書を文章ブロックに分割し、ブロック記憶手段１１に格納するブロック分割手段２と、検索要求として複数のキーワードが指定された場合に、該キーワード全てを含む特定の文章ブロックを有する文書を情報検索結果として出力する検索手段６と、を有する情報検索装置であって、
文章ブロックの言語的特徴を算出し、言語特徴記憶手段１２に格納する言語特徴算出手段４と、
言語特徴記憶手段１２に格納されている言語特徴を情報検索結果の出力順を決定するパラメータとして用いて、検索手段６により検索された情報検索結果の出力順を決定する出力順序決定手段５と、を有する。
【００１８】
また、本発明（請求項２）の出力順序決定手段５は、ブロック分割手段２で分割された文章ブロックの文書長を言語特徴とする手段を含む。
【００１９】
また、本発明（請求項３）は、言語特徴を格納した言語特徴記憶手段と、
文章ブロックに含まれる文において、言語特徴記憶手段に登録された言語特徴と一致する言語特徴を計算する言語特徴計算手段と、を更に有し、
出力順序決定手段５は、言語特徴計算手段で計算された言語特徴を、情報検索結果の出力順を決定するパラメータとして用いる。
【００２０】
また、本発明（請求項４）の言語特徴記憶手段は、言語特徴として文の文末表現を格納する。
【００２１】
また、本発明（請求項５）の言語特徴記憶手段は、言語特徴として、文章ブロックの評価表現を格納する。
【００２２】
図２は、本発明の原理を説明するための図である。
【００２３】
本発明（請求項６）は、Ｗｅｂページに代表される文書情報を検索対象とし、入力された各文書を文章ブロックに分割し（ステップ１）、検索要求として複数のキーワードが指定された場合に（ステップ３）、該キーワード全てを含む特定の文章ブロックを有する文書を検索して（ステップ４）情報検索結果として出力する情報検索方法であって、
文章ブロックの言語的特徴を算出し、言語特徴記憶手段に格納する言語特徴算出ステップ（ステップ２）と、
言語特徴記憶手段に格納されている言語特徴を情報検索結果の出力順を決定するパラメータとして用いて、検索手段により検索された情報検索結果の出力順を決定する出力順序決定ステップ（ステップ５）と、を行う。
【００２４】
本発明（請求項７）は、出力順序決定ステップにおいて、分割された文章ブロックの文書長を言語特徴とし、情報検索結果の出力順を決定するパラメータとして利用する。
【００２５】
本発明（請求項８）は、請求項１乃至５の何れか１項に記載の情報検索装置を構成する各手段としてコンピュータを機能させるための情報検索プログラムである。
【００２６】
本発明（請求項９）は、請求項８記載の情報検索定プログラムを格納したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２７】
上記のように、請求項１、６に係る発明によれば、インターネット上の掲示電子版システムのように複数の筆者によって投稿された複数の文章が含まれる文書や、オンライン日記やブログのように、一人の筆者によって書かれた複数日分の日記や記事等で異なった主題の文章を複数含む文書で、別々の文章ブロックに複数の検索キーワードがそれぞれ含まれるものを検索結果から排除することが可能となる。
【００２８】
また、請求項２、７に係る発明によれば、従来手法のBM25のように検索要求に対する文書の評価スコアを文書全体の長さによって正規化するのではなく、検索キーワードが含まれた文章ブロックの長さによって正規化できるため、よりユーザの直感に合致した検索結果を提供できる。例えば、文書全体の長さを利用するBM25では、長い文書と短い文書に同じ数だけ検索キーワードが出現した場合には短い文書の評価スコアが高くなる。しかし、複数の主題に関する文章が含まれた文章では、長い文書と短い文書の間で検索キーワードが含まれる文章ブロックの長さが逆転している場合もあり得るため、従来手法ではユーザの直感に合致しない検索結果となってしまう。本発明では、文書の評価スコアは検索キーワードが含まれた文章ブロックの長さによって正規化するため、この問題が解決できる。
【００２９】
また、請求項３に係る発明によれば、検索キーワードが含まれた文章ブロックの言語的特長に基づく評価による検索結果ランキングを検索ユーザに提供できる。
【００３０】
また、請求項４に係る発明によれば、検索キーワードが含まれた文章ブロックの文末表現の特徴に基づく評価による検索結果ランキングを検索ユーザに提供できる。文末表現からは「である。」「かな？」といった文章の筆者の確信度の違いや、「いたしました。」「じゃん。」といった文のくだけ具合の違いを反映した検索結果ランキングを実現できる。
【００３１】
また、請求項５に係る発明によれば、検索キーワードが含まれた文章ブロックの評価表現の特徴に基づく評価による検索結果ランキングを検索ユーザに提供できる。評価表現からは「美味しい」「まずい」「良かった」「悪かった」といった肯定的か否定的かという特徴を反映した検索結果ランキングを実現できる。
【００３２】
上記のように、本発明によれば、単語や文を単位とした転置リストに基づく方法と比較して全文検索インデックスのサイズを小さく抑えられるだけでなく、複数の検索キーワードによる検索において、複数の主題の文章が組み合わさった文書を誤って検索結果に含まれることを抑制できる。さらに、文書を分割したブロックを単位として、そのブロックの確信度や評価表現といった言語特徴を検索結果出力順位を決定する際のパラメータとして利用することで、より確信度の高い文章の優先度を高くして出力したり、ポジティブな表現を多く含む文章の優先度を高くして出力するといった多様な検索結果出力方法が可能となる。
【図面の簡単な説明】
【００３３】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における情報検索装置の構成図である。
【図４】本発明の一実施の形態におけるＷｅｂ文書の例である。
【図５】本発明の一実施の形態における文書インデックス記憶部のデータ例である。
【図６】本発明の一実施の形態における確信度表現記憶部のデータ例である。
【図７】本発明の一実施の形態におけるブロック確信度記憶部のデータ例である。
【図８】本発明の一実施の形態における情報検索装置のフローチャートである。
【発明を実施するための形態】
【００３４】
以下、図面と共に本発明の実施の形態を説明する。
【００３５】
図３は、本発明の一実施の形態における情報検索装置の構成を示す。
【００３６】
同図に示す情報検索装置１０は、Ｗｅｂ文書入力部１、ブロック分割部２、インデックス部３、確信度計算部４、総合ランキング計算部５、キーワード一致部６、文書インデックス記憶部１１、ブロック確信度記憶部１２、確信度表現記憶部１３を有する。
【００３７】
文書インデックス記憶部１１は、インデックス部３で生成されたインデックを格納する記憶媒体である。
【００３８】
ブロック確信度記憶部１２は、確信度計算部４で求められた確信度を格納する。
【００３９】
確信度表現記憶部１３は、文の書き手がどの程度確信を持って文を記述しているかを数値化した確信度を文末表現毎に割り付けたテーブルを有する記憶媒体である。
【００４０】
Ｗｅｂ文書入力部１は、検索対象のＷｅｂ文書２１，２２を入力し、ブロック分割部２に渡す。ここで、Ｗｅｂ文書とは、インターネット上の電子掲示板に投稿された複数の文章が含まれる文書や、ブログ等の異なる主題の文章を含む文書を指す。入力されたＷｅｂ文書の例を図４に示す。
【００４１】
ブロック分割部２は、入力されたＷｅｂ文書を複数の文章ブロックに分割し、分割された各文章をインデックス部３と確信度計算部４に渡す。
【００４２】
インデックス部３は文章ブロックを全文検索用の単位に分割して文書インデックス記憶部１１に格納する。文書インデックス記憶部１１の例を図５に示す。
【００４３】
確信度計算部４は、ブロック分割部２から取得した文章ブロックの文末表現について、図６に示す確信度表現記憶部１３を参照して、当該文章ブロック全体の確信度を計算し、図７に示すように、文章ブロック毎にブロック確信度をブロック確信度記憶部１２に格納する。なお、本実施の形態では、各文章ブロックの言語特徴として、確信度を用いる例を示すが、この例に限定されることなく、種々の評価表現を用いることも可能である。
【００４４】
キーワード一致度計算部６は、情報検索端末３０と接続され、当該情報検索端末３０から入力された検索キーワードを取得して、文書インデックス記憶部１１を参照して、当該検索キーワードを含む文章ブロックを取得し、検索キーワードとの一致度を計算し、総合ランキング計算部５に渡す。
【００４５】
総合ランキング計算部５は、キーワード一致度計算部６で求められた一致度とブロック確信度記憶部１２を参照して得た文章ブロックの確信度を統合して、情報検索結果の出力順位を決定して情報検索結果を情報検索端末３０に出力する。
【００４６】
上記の構成の一連の動作を以下に説明する。
【００４７】
図８は、本発明の一実施の形態における情報検索装置のフローチャートである。
【００４８】
ステップ１０１）  Ｗｅｂ文書入力部１は、Ｗｅｂ文書２１，２２を取得し、ブロック分割部２に渡す。ブロック分割部２は、Ｗｅｂ文書２１，２２を文章ブロック単位に分割する。分割の方法はＷｅｂ文書のhtmlフォーマットの構造に基づいてもよいし、文書を表示した際のレイアウトに基づいてもよく、その他いかなる方法でも本発明の本質には関わらない。この例ではＷｅｂ文書２１は文書の頭から「である。」までのブロック２１−１と、残りの２１−２に分割され、Ｗｅｂ文書２２は文書の頭から「と思う。」までのブロック２２−１と、残りの２２−２に分割されたものとして説明する。
【００４９】
ステップ１０２）  ブロック分割部２から文章ブロックを取得したインデックス部３は、文章ブロックを単語やn-gram、サフィックスアレイといった全文検索用の単位に分割して文書インデックス記憶部１１に格納する。作成する文書インデックスの形式は、上記の他にいかなる形式であっても本発明の本質には関わらない。この例では、単語によるインデックスの一例として、単語「猫」が文章ブロック２１−１，２２−１を含む文書に出現している文書インデックスが作成されている。当該インデックスには通常の全文検索インデックスに含まれるtfやidf、htmlによる単語のマークアップ情報等が含まれていてもよいが、本発明の本質には関係しないため詳細は省略する。
【００５０】
ステップ１０３）  確信度計算部５は、ブロック分割部２から文章ブロックを取得して、当該文章ブロックに含まれる各文の文末表現を、確信度表現記憶部１４と照らし合わせ、当該文章ブロック全体としての確信度を計算し、ブロック確信度記憶部１２に格納する。図６の例では、文章ブロック２１−１を構成する２つの文「…シンガプーラ…だ。」、「…猫…である。」それぞれの文末表現「だ。」、「である。」の確信度８．０と７．５を平均して、文章ブロック２１−１の確信度を７．７５としてブロック確信度記憶部１２に記録している。文章ブロック全体の確信度の計算方法は、平均に限らず、中心値や最頻値やその他文毎に異なった加重を掛けた線形結合等、どういった方法によるかは本発明の本質に関わらない。
【００５１】
ステップ１０４）  情報検索ユーザは情報検索端末３０から１つまたは複数の検索キーワードを入力して情報検索システムに情報検索要求を送信する。
【００５２】
ステップ１０５）  キーワード一致度計算部６は、入力された検索キーワードを用いて文書インデックス記憶部１１を参照し、検索キーワードを含むブロックをリストアップし、それらの検索キーワードとの一致度をtf・idfやBM２５といった方法で算出する。
【００５３】
ステップ１０６）  総合ランキング計算部５は、ステップ１０５で求められた一致度とブロック確信度記憶部１２を参照して取得した文章ブロックの確信度を統合して情報検索端末３０に返却する情報検索結果の出力順を決定する。例えば、『猫』と『シンガプーラ』の２単語を指定した情報検索要求では文章ブロック２１−１と文章ブロック２２−１とが両方のキーワードを含む検索結果として出力されるが、仮にキーワード一致度計算部６によるキーワード一致度算出結果が文章ブロック２１−１と、文章ブロック２２−１とで全く同一であった場合は、より高い確信度を持つ文章ブロック２１−１が文章ブロック２２−１より優先される。
【００５４】
ステップ１０７）  統合ランキング計算部５は、決定された順序に従って検索結果（上位N件）を情報検索端末３０に出力する。
【００５５】
上記の情報検索装置の図３に示す構成要素の動作をプログラムとして構築し、情報検索装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００５６】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００５７】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００５８】
本発明は、インターネット上の電子掲示板システムや、オンライン日記、ブログ等の様に利用者によって投稿された文章を複数含む文書を検索対象として検索を行う技術に適用可能である。
【符号の説明】
【００５９】
１  Ｗｅｂ文書入力部
２  ブロック分割手段、ブロック分割部
３  インデックス部
４  言語特徴算出手段、確信度計算部
５  出力順序決定手段、統合ランキング計算部
６  検索手段、キーワード一致度計算部
１０  情報検索装置
１１  ブロック記憶手段、文書インデックス記憶部
１２  言語特徴記憶手段、ブロック確信度記憶部
１３  確信度表現記憶部
２１、２２  Ｗｅｂ文書
３０  情報検索端末
【図１】
2010257155.tif 000003
【図２】
2010257155.tif 000004
【図３】
2010257155.tif 000005
【図４】
2010257155.tif 000006
【図５】
2010257155.tif 000007
【図６】
2010257155.tif 000008
【図７】
2010257155.tif 000009
【図８】
2010257155.tif 000010