(57)【要約】【課題】  概念検索では文書内に含まれる情報がユーザにとって必要な情報かどうかの判断をせずに検索を行なうため、長大な文書で概念検索を行なうと検索精度が低下する場合がある。文書内に含まれる情報の必要可否判断は特徴タームで行うが、判別が困難な場合がある。【解決手段】  検索条件として入力した文書から文書の特徴となるキーワードを抽出し、特徴となるキーワードと文書を分解した個々の文を同値類に分類して対応付けて保持し、分類した各同値類内の文群を代表する文を重要文として提示して選択させ、重要文で示される同値類に対応づけられたキーワード群とその重みを用いて概念検索処理を行う。【選択図】  図１
2005099972.tif 000002
【特許請求の範囲】
【請求項１】
検索条件として文書を入力して類似文書を検索する概念検索方法において、
前記検索条件として入力した文書から前記文書の特徴となるキーワードを抽出し、
前記文書を個々の文に分解し、
前記特徴となるキーワードと前記分解した個々の文を同値類に分類して対応付けて保持し、
前記分類した各同値類内の文群を代表する文を重要文として、同値類の変わりに前記重要文を提示してユーザに選択させ、
前記重要文で示される同値類に対応づけられたキーワード群と前記キーワード群の重みを用いて概念検索処理を行うことを特徴とする概念検索方法。
【請求項２】
前記文書を各文に分解する際に、各文の長さをなるべく均等にするため、短い文となる場合は、２つの文を一つの文とみなし、長すぎる文の場合は、単語の区切りを意識して文の途中で、一文として取り出すことを特徴とする請求項１記載の概念検索方法。
【請求項３】
各文を同値類に分類する際の類似度算出において、各文内におけるキーワードの出現頻度、キーワードの出現頻度とそのユニーク度の積、あるいは、キーワードの出現頻度とキーワードの種類数との積のいずれかを用いることを特徴とする請求項１記載の概念検索方法。
【請求項４】
前記同値類の代わりにその重要文を選択させる際、前記同値類に分類された文数を前記重要文の横に提示することを特徴とする請求項１記載の概念検索方法。
【請求項５】
ユーザに同値類の代わりに重要文を選択させる際、前記同値類内の各文を閲覧することを特徴とする請求項１記載の概念検索方法。
【請求項６】
前記重要文で示される同値類を代表するキーワード群と前記重みを、検索プロファイルとして残す際、重要文をキーにして保存することを特徴とする請求項１記載の概念検索方法。
【請求項７】
検索条件として文書を入力して類似文書を検索する概念検索システムは、
前記検索条件として入力した文書から前記文書の特徴となるキーワードを抽出する手段、
前記文書を個々の文に分解する手段、
前記特徴となるキーワードと前記分解した個々の文を同値類に分類して対応付けて保持する手段、
前記分類した各同値類内の文群を代表する文を重要文として、同値類の変わりに前記重要文を提示してユーザに選択させる手段、
前記重要文で示される同値類に対応づけられたキーワード群と前記キーワード群の重みを用いて概念検索処理を行う手段を有することを特徴とする概念検索システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子化文書を、ユーザが登録した検索条件で検索し、条件を満たす文書をユーザに返却する概念検索に係わり、特に電子化文書の内容を走査することにより、ユーザが検索条件として登録した文書に対する適合度を算出する文書間適合度算出機能を有する文書検索方法及びシステムに関する。
【背景技術】
【０００２】
近年、電子メールや電子ニュース等により大量の電子化文書（以下、テキストと呼ぶ）が時々刻々ユーザへ配信されるようになってきた。また、ＷＷＷ（World Wide Web）を利用して情報発信を行なう情報源が急増しており、これらの情報源から情報収集ロボット等を用いて収集されるテキストも膨大な量となっている。このため、これらのテキストの中から、真にユーザが求める情報を含むテキストを検索するニーズが高まっている。
【０００３】
従来の検索システムでは、ユーザが検索に必要と思われる単語を、ある構文に従い検索式を組み立て、それを入力することで検索を行ってきた。しかし、検索に不慣れなユーザが、所望する情報を得るために適切な単語を入力したり、必要な情報だけを取り出して、不要な情報を振り落とすための複雑な検索式を組み立てる事は困難である。このため、特許文献１では検索式を組み立てる代わりに、ユーザが所望する情報を含む文書（以下、種文書と呼ぶ）を入力して検索する技術（以下、概念検索と呼ぶ）が提案されている。この技術では、種文書から検索に必要な単語（以下、特徴タームと呼ぶ）を自動的に抽出し、この抽出した特徴タームに適切な重みを付けて、検索結果文章の適合度を計算する。この適合度が一定値よりも大きいものを、検索結果とする。
【０００４】
しかし、種文書が長大な文書の場合にはユーザが所望する文書の情報だけでなく、不必要な概念を含む種文書が入力されることがある。この場合には、ユーザの所望する情報と誤差が生じているので、ユーザは検索結果に満足できないため、なんらかの調整を施して再検索を行おうとする。一般的には、検索結果文書を参照して、その中から種文書よりも適切にユーザの所望する概念を含んでいる文書（または文章）を見つけて、それを入力して再検索する。この作業を繰り返し行うことで、ユーザの求める検索結果に近づけて行くことができる。もしくは、特徴タームに対する重みについて、自分にとって必要と思われる特徴タームの重みを上げたり、いらないと思う特徴タームの重みを下げたりして再検索を行う。
【０００５】
以下、他の関連文献の技術について本発明に関係するものについて述べる。
非特許文献１は各分類項目のキーワードの出現回数と、各文書のキーワードの出現回数を比較して最も近い分類項目に分類することによりクラスタリング（自動分類）を行う技術について触れられている。
【０００６】
非特許文献２ではキーワードの重みに基づき文書内の重要文を抽出する技術に関して触れられている。
【０００７】
【特許文献１】特開平１１−１４３９０２号公報
【０００８】
【非特許文献１】文書自動クラスタリング・システム gnmz（http://icrouton.as.wakwak.ne.jp/pub/kks/cnamazu.html）
【非特許文献２】「テキストを自動的に要約する技術-第１回-テキスト中の重要な文を抜き出す」,コンピュータサイエンス誌bit2月号,共立出版,pp.37-42,2000.2
【発明の開示】
【発明が解決しようとする課題】
【０００９】
概念検索では文書内に含まれる情報がユーザにとって必要な情報か不必要な情報かの判断をせずに検索を実行するため、長大な文書を用いて概念検索をする場合、従来技術の方法のみでは検索精度が低下する場合がある。この検索精度低下を防ぐためには以下の２点が課題である。
【００１０】
１）文書に含まれる情報を分類する手段
２）ユーザに必要な情報かどうかを的確に判断させる手段
従来技術においては２）の手段として、特徴タームの取捨選択、および重みの調整があるが、周辺情報の欠落した特徴タームのみで、ユーザの所望する情報かどうかを判断するのは困難な場合がある。
【００１１】
本発明の目的は、ユーザに必要な情報に基づいて、より的確な検索を実行することにより、従来の概念検索と比較して検索精度が向上する概念検索方法を提供することにある。
【課題を解決するための手段】
【００１２】
前記目的を達成するため、以下のステップからなる処理により、ユーザが検索に最適な特徴タームを知らなくても自動的に検索に相応しい種文書（文章）の候補を提示し、その中からユーザが適切と思う文章を選択することにより、上記の問題を解決し、検索の精度を上げることが出来る。以下、処理手順を述べる。
【００１３】
ステップ１：入力された種文書から特徴タームとその重みを抽出する。
【００１４】
ステップ２：入力された種文書を文に分解する。
【００１５】
ステップ３：前記ステップ２において分解した各文を１文書とみなし、ステップ１で抽出した特徴タームとその重みを用いて、各文を同値類に分類し（以下、クラスタリングと呼ぶ）、その同値類を代表する特徴タームをステップ１で抽出した特徴タームから決定する。
【００１６】
ステップ４：前記ステップ３において分類した各同値類の中で、その同値類の特徴として最もふさわしい文（以下、重要文と呼ぶ）を選択する。
【００１７】
ステップ５：前記ステップ４で抽出した重要文をユーザに提示し、ユーザに必要な情報を含む文を選択してもらう。
【００１８】
ステップ６：前記ステップ５で選択した文に対応する、ステップ３で分類した同値類を代表する特徴タームとその重みを用いて概念検索を実行する。
【発明の効果】
【００１９】
概念検索を実行するにあたり、ユーザに必要な情報のみを使用して概念検索を実行するため、より的確な検索を実行できる。その結果、従来の概念検索と比較して検索精度が向上する。
【発明を実施するための最良の形態】
【００２０】
図１に本発明のシステム構成を示す。概念検索装置３００００はクライント１００００とネットワーク２００００を介して通信を行うクライアントサーバ型の検索システムである。ユーザは検索を行う際、クライアント１００００から種文書４００００を入力する。クライアント１００００は入力された種文書４００００を、ネットワーク２００００を通して概念検索装置３００００に送信し、本発明の処理を実行する。
【００２１】
概念検索装置３００００は、以下の構成からなる。文書情報ＤＢ３８０００を用いて種文書４００００から特徴タームとその重みを抽出する特徴ターム抽出部３１０００、特徴タームとその重みを用いて、文書ＤＢ３７０００内の文書と種文書４００００との類似度を算出する類似度算出部３２０００、種文書４００００を各文に分解する文分解部３３０００、特徴タームとその重みを用いて種文書４００００内の各文を類似内容の同値類に分類するクラスタリング部３４０００、クラスタリング部３４０００により同値類と分類した文を入力文として検索条件（特徴ターム抽出部により抽出された特徴タームとその重み）に対する重要文を出力する重要文抽出部３５０００、類似度算出部３２０００および重要文抽出部３５０００の結果を受け、クライアント１００００に送信する画面データを生成する画面データ生成部３６０００からなる。以下、図１３の処理フローに従って本発明の概念検索の手順を説明する。
【００２２】
ステップ６００００：ユーザは図２に示すクライアント画面から図３に例示する内容の文書４１０００を種文書入力ＢＯＸ１１０００に入力する。入力後、ユーザは検索開始ボタン１２０００を押下するとクライアント１００００は、入力データを種文書４００００としてネットワーク２００００を介して概念検索装置３００００にデータを送信する。
【００２３】
ステップ６１０００：概念検索装置３００００はクライアント１００００から送信された種文書４００００を受け取って、特徴ターム抽出部３１０００に入力する。特徴ターム抽出部３１０００は文書情報ＤＢ３８０００を用いて、図４に示す特徴ターム４２０００とその重み４３０００を抽出する。ここでは、特徴ターム抽出アルゴリズム例としては特許文献１の方法を用いることができ、この場合、文書情報ＤＢ３８０００は特許文献１に示された必要なデータを格納しているものとする。他の処理方法として特徴ターム抽出に形態素解析、重みの算出には特徴タームの種文書内出現回数を用いてもよい。
【００２４】
ステップ６２０００：次に、概念検索装置３００００は文分解部３３０００に種文書４００００を入力して、図６に示す種文書４００００内の文群４４０００を得る。文分解部３３０００は図１２に示す処理フローに従って動作する。業務日報などの比較的自由な形式の文章を処理する場合は、文の長さが不規則となりやすいため、文分解部３３０００において幾つかの短い文を一つの文にまとめたり、長い文書をある一定長を超えない単語の区切り目で切り出すように調整してもよい。
【００２５】
ステップ６３０００：上記ステップにより抽出した特徴ターム４２０００とその重み４３０００及び、文群４４０００をクラスタリング部３４０００に入力し、各文を同値類に分類して、図７に示す分類を代表する特徴ターム群４５０００及び分類文群４６０００を得る。文書クラスタリング手法には様々なものがあるが、ここでは非特許文献１の方法を用いることができる。各文の類似度の算出には、タームの出現頻度や、タームの出現頻度とタームのユニーク度の積、タームの出現頻度とタームの種類数の積を用いてもよい。図７に分類数を３とした場合のクラスタリング結果を示す。また，必要な情報は文書情報ＤＢ３８０００より取得するものとする。分類文群４６０００を代表する特徴ターム群４５０００は、前記ステップで抽出した特徴ターム４２０００のうち各文群に含まれるもの全てとする。また、クラスタリングを実行する対象文は、図４に示す特徴タームを含む文のみである。
【００２６】
ステップ６４０００：次に、各分類群の重要文を決定する。重要文の決定については、重要文抽出部３５０００が類似度算出部３２０００を利用して行う。特徴ターム群４５０００と図４のテーブルより取得するその重みを検索条件とし、分類内の各文を類似度算出部３２０００に入力する。ここでは、必要に応じて文書情報ＤＢ３８０００からデータを取得する。類似度算出部３２０００は特許文献１に従い、各文の類似度を求めてもよいし、非特許文献２の手法を用いてもよい。ただし、この場合は非特許文献２に必要なデータを文書情報ＤＢ３８０００が格納しているものとする。求めた類似度４７０００のうち最も高い類似度の文を分類群の重要文４８０００としたものを図９に示す。
【００２７】
ステップ６５０００：求めた重要文４８０００を出力画面データ生成部３６０００に入力すると、概念検索装置３００００は必要な出力データを、ネットワーク２００００を介してクライアント１００００に送信し、クライアント１００００は検索結果画面１３０００に出力する（図１０）。
【００２８】
ステップ６６０００：検索結果画面１３０００は各分類群の重要文４８０００と、その分類群に分類された文の数をその分類群のスコア１５０００として表示する。スコアが高いほど、種文書４００００内にその分類群の概念が多く含まれていることを示す。また、詳細閲覧ボタン１８０００を用いることにより、図８に示す分類群の全文書を閲覧できる。ユーザは画面指示に従って必要な概念を、チェックボックス１７０００を用いてチェックし、検索実行ボタン１４０００を押下すると、選択番号４９０００を送信する。図１０では「２」が選択されており、クライアント１００００は概念検索装置３００００に選択番号４９０００である「２」を送信する。
【００２９】
ステップ６７０００：概念検索装置３００００は選択番号４９０００を受け取った後、図９に示すテーブルから、選択番号４９０００に該当する特徴ターム群４５０００とその重み４３０００を図４に示すテーブルより取得する。
【００３０】
この特徴ターム４５０００とその重み４３０００を類似度算出部３２０００に入力し、文書ＤＢ３７０００内に格納している各文書との類似度を求める。類似度算出法は、一例としてここでは特許文献１を用いる。
【００３１】
ステップ６８０００：類似度を算出後、類似度の降順に、文書タイトルを出力画面データ生成部３６０００に入力する。出力画面データ生成部３６０００は、出力データをクライアント１００００に送信する。
【００３２】
ステップ６９０００：クライアント１００００は図１１に示す検索結果画面を表示する。また、検索条件保存ボタン１９０００を押下すると、選択文をキーとして検索条件をクライアントに保存する。これにより、ユーザが適切な保存名をつける手間を省き、後日利用する際も文章内容により利用可否を決定できる。
【００３３】
また、図１２に示す文分解処理を説明する。
【００３４】
ステップ５００００：テキスト操作部３３１００は、作業用記憶領域３３２００に処理文書を読み込む。操作開始文字位置３３３００及び操作文字位置３３４００の操作初期位置（文書の一文字目）、文数３３５００に０を設定し、ステップ５００１０へ進む。
【００３５】
ステップ５００１０：テキスト操作部３３１００は、作業用記憶領域３３２００に読み込んだ処理文書のうち、操作位置格納領域３３４００に格納した文字位置の文字が区切り記号（。）かどうか判定する。区切り記号の場合は、ステップ５００２０の処理を行う。区切り記号でない場合は、ステップ５００６０に進む。
【００３６】
ステップ５００２０：作業用記憶領域３３２００より、操作開始文字位置３３３００から操作文字位置３３４００までの文字を文群格納領域３３６００にコピーして、ステップ５００３０に進む。
【００３７】
ステップ５００３０：文数３３５００を１増分し、ステップ５００４０に進む。
【００３８】
ステップ５００４０：操作文字位置３３４００を１増分し、ステップ５００５０に進む。
【００３９】
ステップ５００５０：操作開始文字位置３３３００に操作文字位置３３４００の値を設定し、ステップ５００６０に進む。
【００４０】
ステップ５００６０：操作文字位置３３４００の値を１増分し、ステップ５００７０に進む。
【００４１】
ステップ５００７０：操作文字位置３３４００の値が処理文書の文字数より少なければ、ステップ５００１０へ進む。操作文字位置３３４００の値が処理文書の文字数と等しければ、ステップ５００８０へ進む。
【００４２】
ステップ５００８０：操作開始文字位置３３３００から操作文字位置３３４００までの文字を文群格納領域３３６００にコピーする。文数３３５００を１増分し、文群格納領域の各文を出力して処理を終了する。
【図面の簡単な説明】
【００４３】
【図１】本発明のシステム構成を示す。
【図２】本発明の実施例におけるクライアント画面を示す。
【図３】本発明の実施例において入力する種文書を示す。
【図４】特徴タームとその重みを示す。
【図５】本発明の実施例における文分解部を示す。
【図６】文分解部の出力した文群を示す。
【図７】本発明の実施例における分類文群を示す。
【図８】本発明の実施例における分類文群と各文の重要度を示す。
【図９】本発明の実施例における各分類とその重要文を示す。
【図１０】本発明の実施例における概念選択画面を示す。
【図１１】本発明の実施例における検索結果画面を示す。
【図１２】本発明の実施例における文分解部処理フローを示す。
【図１３】本発明の実施例における処理の流れを示す。
【符号の説明】
【００４４】
１００００：クライアント、２００００：ネットワーク、３００００：概念検索装置、
３１０００：特徴ターム抽出部、３２０００：類似度算出部、
３３０００：文分解部、３４０００：クラスタリング部、３５０００：重要文抽出部、
３６０００：出力画面データ生成部、３７０００：文書ＤＢ、３８０００：文書情報ＤＢ、４００００：種文書
【図１】
2005099972.tif 000003
【図２】
2005099972.tif 000004
【図３】
2005099972.tif 000005
【図４】
2005099972.tif 000006
【図５】
2005099972.tif 000007
【図６】
2005099972.tif 000008
【図７】
2005099972.tif 000009
【図８】
2005099972.tif 000010
【図９】
2005099972.tif 000011
【図１０】
2005099972.tif 000012
【図１１】
2005099972.tif 000013
【図１２】
2005099972.tif 000014
【図１３】
2005099972.tif 000015