(57)【特許請求の範囲】
【請求項１】
同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得装置であって、
獲得したいキーワード集合と同一の上位概念を有するキーワード集合が処理対象キーワード集合として供され、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出する表層パターン抽出手段と、
前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出する表層パターンスコア算出手段と、
前記抽出された一つの表層パターンに対応するキーワード群からなるキーワード集合と前記ログ統計情報における前記一つの表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく前記一つの表層パターンの一般性評価値を算出する演算を前記全ての表層パターンについて行う表層パターン一般性評価手段と、
前記算出された全ての表層パターンの一般性評価値とスコアとに基づき当該全ての表層パターンから一定数の表層パターンを選択する表層パターン選択手段と、
前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するキーワードインスタンス抽出手段と、
前記特定されたキーワードとそのキーワードペアの頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するキーワードインスタンススコア算出手段と、
前記キーワードインスタンス抽出手段によって特定されたキーワード毎に当該キーワードを伴う表層パターンの群からなる表層パターン集合と前記ログ統計情報における当該キーワードを伴うキーワードペア群から抽出された当該キーワードを伴う表層パターンの群からなる表層パターン集合とに基づく当該キーワードの一般性評価値を算出する演算を前記全てのキーワードについて行うキーワードインスタンス一般性評価手段と、
前記キーワードインスタンススコア算出手段によって算出されたキーワード集合の各キーワードのスコアに基づき当該キーワード集合から複数のキーワードを前記獲得したいキーワード集合として選択すると共に前記キーワードインスタンス一般性評価手段によって算出されたキーワードの集合の各キーワードの一般性評価値に基づき当該キーワード集合から前記表層パターン抽出手段に供するためのキーワード集合を選択するキーワードインスタンス選択手段と
を備えたこと
を特徴とするキーワード獲得装置。
【請求項２】
前記キーワードの選択の回数が予め決められた回数に達しているか否かの判定を行い、前記選択の回数が前記決められた回数に達していると判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を出力させる一方で、前記キーワードの選択の回数が予め決められた回数に達していないと判断すると前記キーワードインスタンス選択手段にて選択されたキーワードの集合を前記処理対象キーワード集合としこのキーワード集合とその各キーワードのスコアを前記表層パターン抽出手段に供する出力結果判定手段をさらに備えたこと
を特徴とする請求項１に記載のキーワード獲得装置。
【請求項３】
前記表層パターン選択手段は、前記算出された一般性評価値のうちで閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定し、この特定した表層パターンの群を当該各表層パターンのスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを選択すること
を特徴とする請求項１または２に記載のキーワード獲得装置。
【請求項４】
前記キーワードインスタンス選択手段は前記スコアが算出されたキーワードの集合からスコアの高いものから予め決められた個数分のキーワードを選択すること
を特徴とする請求項１から３のいずれか１項に記載のキーワード獲得装置。
【請求項５】
請求項１から４のいずれか１項に記載のキーワード獲得装置を構成する各手段としてコンピュータを機能させることを特徴とするキーワード獲得プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ内部に存在もしくはコンピュータネットワークを介してアクセスできる文書集合から、予め入力されたキーワード集合と同様の上位概念を持つキーワード集合を獲得する技術に関する。特に、一つ以上のキーワードから構成される検索条件を元に検索する検索エンジンのログを利用して、前記上位概念を持つキーワード集合を獲得する技術に関する。
【背景技術】
【０００２】
従来、特定の上位概念を持つキーワードを自動的に獲得しようとする手法として、大量のテキストデータを解析して、抽出しようとする方法がある。例えば、非特許文献１によると、英文のテキストから上位下位概念の組合せを獲得するため、例えば“Ａ ｓｕｃｈ ａｓ Ｂ，Ｃ，ａｎｄ Ｄ”のようなテキストパターンに基づき、ブートストラップ法を用いる手法が提案されている。
【０００３】
また、非特許文献２は、大量のテキスト情報を対象に、特定の上位概念を持つキーワードの例に基づき、それらキーワードがよく出現するパターンを抽出しこのパターンを用いてキーワードを獲得するブートストラップ法によって、予め入力したキーワードの持つ上位概念を持つキーワードを獲得する方法を提案している。
【０００４】
さらに、非特許文献３では、非特許文献２の手法を検索条件のログ（以下、クエリログ）に適用することで、計算コストを抑えながら、入力したキーワード集合と同等の上位概念を持つキーワード集合を特定する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｈｅａｒｓｔ，Ｍ．：“Ａｕｔｏｍａｔｉｃ Ａｃｑｕｉｓｉｔｉｏｎ ｏｆ Ｈｙｐｏｎｙｍｓ ｆｒｏｍ Ｌａｒｇｅ Ｔｅｘｔ Ｃｏｒｐｏｒａ．”，Ｐｒｏｃ．ｏｆ ＣＯＬＩＮＧ，ＮＡＮＴＥＳ，ＡＵＧ，１９９２，ｐ．５３９−５４５
【非特許文献２】Ｐａｔｒｉｃｋ Ｐａｎｔｅｌ，Ｍａｒｃｏ Ｐｅｎｎａｃｃｈｉｏｔｔｉ：“Ｅｓｐｒｅｓｓｏ：Ｌｅｖｅｒａｇｉｎｇ Ｇｅｎｅｒｉｃ Ｐａｔｔｅｒｎｓ ｆｏｒ Ａｕｔｏｍａｔｉｃａｌｌｙ Ｈａｒｖｅｓｔｉｎｇ Ｓｅｍａｎｔｉｃ Ｒｅｌａｔｉｏｎｓ”．Ｐｒｏｃ．ｏｆ ＡＣＬ，Ｊｕｌｙ，２００６，ｐ．１１３−１２０
【非特許文献３】小町守，鈴木久美，「検索ログからの半教師あり意味知識獲得の改善」，人工知能学会論文誌，Ｖｏｌ．２３，Ｎｏ．３，Ｍａｒｃｈ，２００８，ｐ．２１７−２２５
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、非特許文献１のキーワード獲得技術は、さまざまな上位概念、下位概念のキーワードの組合せを網羅的に取得する方法であり、ユーザが指定した上位概念のキーワードを抽出する方法ではない。
【０００７】
非特許文献２，３のキーワード獲得技術の問題として、一般的なパターンの存在があげられる。ブートストラップ法でパターンとキーワードを交互に抽出する際に、このような一般的なパターンを採用した場合、獲得されるキーワードに目的外のキーワードが含まれる可能性がある。尚、一般的なパターンとは特定の上位概念を持つキーワードだけでなく、より一般的なキーワードとの関連性も高いパターンを意味する。
【０００８】
また、非特許文献３の手法においては、クエリログを利用するにあたって、この点について対策が行われているが、パターンにより獲得されたキーワードの数を利用した手法であり、本質的な解決となっていない。
【０００９】
また、一般的なパターンの問題と同様に、一般的なキーワードの問題もある。これは、一般的なキーワードがパターンの評価に利用されることで、一般的なパターンが選択され、次のキーワード抽出のステップでノイズが混入するというものである。
【００１０】
本発明は、上記の問題を鑑みなされたもので、検索に係るキーワードを抽出する過程において、一般的なパターン及び一般的なキーワードの獲得を防ぎ、高い精度で入力されたキーワード集合と同一の上位概念を持つキーワード集合を獲得することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は検索条件のログに基づく検索キーワードのテキストパターンを採用するか否かを判定する際にそのパターンにより獲得されるキーワード集合と既に獲得されたキーワード集合の重複を考慮することで前記テキストパターンの一般性を評価する。これにより、一般的なテキストパターンの採用を防ぐ。さらに、テキストパターンの集合に基づきキーワードを抽出する際に、当該テキストパターンの集合と当該キーワードで抽出できるテキストパターンの集合の重なりに基づきキーワードの一般性を評価する。そして、この一般性の高いキーワードを表層パターンの評価に利用しないようにする。
【００１２】
本発明のキーワード獲得装置の態様としては、同一の上位概念を有する複数のキーワードの集合と同一の上位概念を有し且つその集合に属さないキーワード集合を獲得するキーワード獲得装置であって、獲得したいキーワード集合と同一の上位概念を有するキーワード集合が処理対象キーワード集合として供され、この集合に属するキーワードを含むキーワードペアの群を、複数のキーワードの検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアをその頻度と対応づけて記録したログ統計情報から取得し、この取得したキーワードペアの群から前記処理対象キーワード集合に属するキーワード毎にそのキーワードを含んだ表層パターンを抽出する表層パターン抽出手段と、前記抽出された全ての表層パターンとその表層パターンの抽出に利用したキーワードの情報と前記ログ統計情報とに基づき、前記処理対象キーワード集合の上位概念に関係するキーワードの取得しやすさを評価する指標である表層パターンのスコアを前記全ての表層パターンについて算出する表層パターンスコア算出手段と、前記抽出された表層パターンに対応するキーワード群からなるキーワード集合と前記ログ統計情報における当該表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく当該表層パターンの一般性評価値を算出する演算を前記全ての表層パターンについて行う表層パターン一般性評価手段と、前記算出された全ての表層パターンの一般性評価値とスコアとに基づき当該全ての表層パターンから一定数の表層パターンを選択する表層パターン選択手段と、前記選択された各表層パターンと一致するキーワードペアを前記ログ統計情報から取得し、この取得したキーワードペアから当該表層パターンに含まれるキーワードの集合を特定するキーワードインスタンス抽出手段と、前記特定されたキーワードとそのキーワードペアの頻度に基づき、当該キーワードと前記処理対象キーワード集合の上位概念との関連性を評価する指標であるスコアを前記特定された集合に属する全てのキーワードについて算出するキーワードインスタンススコア算出手段と、前記キーワードインスタンス抽出手段によって特定されたキーワード毎に当該キーワードを伴う表層パターンの群からなる表層パターン集合と前記ログ統計情報における当該キーワードを伴うキーワードペア群から抽出された当該キーワードを伴う表層パターンの群からなる表層パターン集合とに基づく当該キーワードの一般性評価値を算出する演算を前記全てのキーワードについて行うキーワードインスタンス一般性評価手段と、前記キーワードインスタンススコア算出手段によって算出されたキーワード集合の各キーワードのスコアに基づき当該キーワード集合から複数のキーワードを前記獲得したいキーワード集合として選択すると共に前記キーワードインスタンス一般性評価手段によって算出されたキーワードの集合の各キーワードの一般性評価値に基づき当該キーワード集合から前記表層パターン抽出手段に供するためのキーワード集合を選択するキーワードインスタンス選択手段とを備える。
【００１４】
尚、本発明は前記キーワード獲得装置を構成する各手段としてコンピュータを機能させるキーワード獲得プログラムの態様とすることもできる。
【発明の効果】
【００１５】
以上の発明によれば、指定された初期キーワード集合と同一の上位概念を持つキーワードの集合を取得するタスクにおいて、高精度にキーワードを収集することができる。
【図面の簡単な説明】
【００１６】
【図１】発明の実施形態に係るキーワード獲得装置のブロック構成図。
【図２】発明の実施形態に係るキーワード獲得装置を実装するハードウェア構成図。
【図３】発明の実施形態に係る処理手順を説明したチャート図。
【図４】発明の実施形態に係るログ収集処理手順を説明したチャート図。
【図５】発明の実施形態に係るログ利用キーワード抽出処理手順を説明したフローチャート図。
【図６】ログ格納装置２０１のデータの一例。
【図７】ログ統計ＤＢ２０２に格納されたログ統計情報の一例。
【図８】出力結果一時記憶部２０３に格納されるデータの一例。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００１８】
［概要］
図１に示された本実施形態に係るキーワード獲得装置１は検索エンジンを備えた情報検索システムの一構成要素を成す。キーワード獲得装置１は検索エンジンで得られた検索ログに基づく表層パターンから獲得されるキーワード集合と既に獲得されたキーワード集合の重複に基づき前記表層パターンの一般性を評価して一般的なパターンの採用を防ぐ。さらに、表層パターンの集合に基づきキーワードを抽出する際に、当該表層パターンの集合と当該キーワードで抽出できる表層パターンの集合の重なりに基づきキーワードの一般性を評価することで、キーワードの獲得精度のさらなる向上を図る。
【００１９】
［装置の構成］
図１に示されたキーワード獲得装置１は図２に示されたＣＰＵ２１、メモリ２２、記憶装置２３，２４、入力デバイス２５、出力デバイス２６等のハードウェアリソースを備える。そして、これらのハードウェアリソースがソフトウェアリソース（ＯＳ、アプリケーション等）との協働することで図１に示されたログ取得部１００、ログ処理部１０１、シードインスタンス取得部１０２、出力結果判定部１０３、結果出力部１０４、表層パターン抽出部１０５、表層パターンスコア算出部１０６、表層パターン一般性評価部１０７、表層パターン選択部１０８、キーワードインスタンス抽出部１０９、キーワードインスタンススコア算出部１１０、キーワードインスタンス選択部１１１、キーワードインスタンス一般性評価部２００、ログ格納装置２０１、ログ統計ＤＢ（データベース）２０２、出力結果一時記憶部２０３が実装される。メモリ２２としてはＲＡＭ等の揮発性のメモリが挙げられる。記憶装置２３，２４にはハードディスクドライブ装置等の周知の記憶手段を適用すればよい。以下、各機能部１００〜２０３について説明する。
【００２０】
ログ取得部１００は検索エンジンに対してユーザが入力した検索条件（クエリ）のログを当該検索エンジンから取得してログ格納装置２０１に格納する。
【００２１】
ログ格納装置２０１はログ取得部１００により取得された検索エンジンに入力された検索条件（クエリ）のログを格納している。検索条件の一例を図６に示した。ログ格納装置２０１はハードディスク装置、サーバ装置等に例示される周知の記憶手段によって実現できる。
【００２２】
ログ処理部１０１は、ログ格納装置２０１に格納された前記ユーザの検索条件のログのうち、二語の組合せで構成されるクエリを取得し、その頻度を算出する。二語の組合せで構成されるクエリとは、半角もしくは全角のスペースで２つのキーワードが接続されたクエリのことを示し、それをキーワードペアと呼ぶ。前記算出された頻度が前記キーワードペアと対応付けられて記録されたログ統計情報がログ統計ＤＢ２０２に格納される。前記頻度の算出方法は形態素分析等に採用されている周知の頻度算出方法を適用すればよい。
【００２３】
ログ統計ＤＢ２０２の一例を図７に示した。ログ統計ＤＢ２０２は、ログ処理部１０１により検索エンジンのログから抽出される、キーワードペアとその出現頻度を記録する記憶装置である。ログ統計ＤＢ２０２はハードディスクドライブ装置やサーバ装置等に例示される記憶装置２４によって実現すればよい。
【００２４】
シードインスタンス取得部１０２は、ユーザが語彙獲得を行いたい上位概念に含まれる複数のキーワードの入力を受け付ける。
【００２５】
表層パターン抽出部１０５は、シードインスタンス取得部１０２または出力結果判定部１０３から受信したキーワードのリスト（集合）に基づきログ格納装置２０１にアクセスしてログ統計ＤＢ２０２から前記キーワードを含むキーワードペアとその頻度を取得する。そして、この取得したキーワードペアのうち、問い合わせ（検索）に利用したキーワードを予め決められていた文字列（下記の事例では、＃＃＃）で置き換えて表層パターンを抽出する。問い合わせキーワード、取得されるキーワードペアとその頻度、表層パターンの事例を表１に示した。表層パターン抽出部１０５はキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンを集計してキーワードインスタンススコア算出部１１０に供する。
【００２６】
【表１】
0005416652.tif 000002
【００２７】
表層パターンスコア算出部１０６は、表層パターン抽出部１０５から取得したキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンとその表層パターンの抽出に利用したキーワードの情報とに基づき、それぞれの表層パターンのスコアを算出する。表層パターンのスコアとは、初期の入力として与えられたキーワード集合の上位概念に関係するキーワードの取得しやすさを評価するための指標であり、例えば以下の式（１）で算出される。算出された表層パターンのスコアは当該表層パターンと共に表層パターン選択部１０８に供される。
【００２８】
【数１】
0005416652.tif 000003
【００２９】
式（１）において、Ｓｃｏｒｅpattern（ｐ）は表層パターンｐのスコアを表す。Ｓｃｏｒｅkeyword（ｋ）は、表層パターンの抽出に利用したキーワードの情報であって、キーワードｋのスコア（スコアが定義されていない場合すなわち初期値の場合は１）を表し、後述の式（４）によって算出できる。Ｋは表層パターンｐで取得できるキーワードの集合を表す。また、ｐｍｉ（ｋ，ｐ）はキーワードｋと表層パターンｐの関連性の強さを表す相互情報量を示し、以下の式（２）で算出される（式（４）についても同様）。
【００３０】
【数２】
0005416652.tif 000004
【００３１】
式（２）において、Ｎは全キーワードペアの数、｜ｋ，ｐ｜はキーワードｋを持つキーワードペアの頻度、｜ｋ，＊｜はキーワードｋを持つキーワードペアの数、｜＊，ｐ｜は表層パターンｐを持つキーワードペアの数を表す。これらの情報はログ統計ＤＢ２０２から取得できる。
【００３２】
表層パターン一般性評価部１０７は表層パターン抽出部１０５によって抽出された表層パターンに対応するキーワード群からなるキーワード集合とログ統計ＤＢ２０２における当該表層パターンと一致するキーワードペア群から抽出した当該表層パターンに含まれるキーワード群からなるキーワード集合とに基づく当該表層パターンの一般性評価値を算出する演算を前記抽出された全ての表層パターンについて行う。
【００３３】
表層パターン一般性評価部１０７は具体的には以下の処理１〜４によって表層パターンの一般性評価値を算出する。
【００３４】
（処理１）表層パターン抽出部１０５からキーワード毎に抽出した表層パターンを取得する。取得される情報の一例を表２に示す。
【００３５】
【表２】
0005416652.tif 000005
【００３６】
（処理２）処理１で得られた情報からパターン毎にどのキーワードから抽出されたかを示す情報を作成する。作成される情報の一例を表３に示す。そして、この情報における一つの表層パターンに対応するキーワード群をキーワード集合（Ｋ１）と特定する。表３の事例では表層パターン「＃＃＃  偏差値」に対応したキーワード集合（Ｋ１）は「ＡＢＣ大学  ＤＥ大学  ＪＫ大学」となる。
【００３７】
【表３】
0005416652.tif 000006
【００３８】
（処理３）処理２で作成された情報における一つの表層パターンをキーとしてログ統計ＤＢ２０２にアクセスして当該表層パターンと一致するキーワードペア群を取得し、この取得したキーワードペア群から当該表層パターンに含まれるキーワード群を抽出する。この抽出されたキーワード群をキーワード集合（Ｋ２）と特定する。表層パターンとこれによって取得されるキーワード群の例を表４に示した。表４の事例では、表層パターンが「＃＃＃ 偏差値」である場合、キーワードペア群から抽出された当該表層パターンに含まれるキーワード群すなわちキーワード集合（Ｋ２）は「Ｔ大学  Ｋ大学  ＡＢＣ大学  ＤＥ大学  Ｈ大学」となる。
【００３９】
【表４】
0005416652.tif 000007
【００４０】
（処理４）処理２で取得されたキーワード集合（Ｋ１）と処理３で取得されたキーワード集合（Ｋ２）とに基づき前記一つの表層パターンの一般性評価値を算出する。一般性評価値は例えば以下の式（３）によって算出する。式（３）において、Ｇｅｎｅｒａｌｉｔｙ（ｐ）は表層パターンｐの一般性を評価する値である。Ｋ１はキーワード集合（Ｋ１）を、Ｋ２はキーワード集合（Ｋ２）を示す。表層パターンとその一般性評価値は、表層パターン選択部１０８に供される。
【００４１】
【数３】
0005416652.tif 000008
【００４２】
表層パターン選択部１０８は、表層パターンスコア算出部１０６から供された各表層パターンとそのスコアと、表層パターン一般性評価部１０７から供された各表層パターンの一般性評価値とに基づき、キーワードを選択するための一定数の表層パターンを選択する。具体的には、一般性評価値に一定の閾値を設け、この閾値以上の一般性評価値の表層パターンの群を一般的ではない表層パターンの群と特定し、これらの特定した表層パターンをそのスコアの降順にならべ、スコアの高いものから順に一定数のパターンを取得する。
【００４３】
キーワードインスタンス抽出部１０９は、表層パターン選択部１０８から供された表層パターン集合におけるそれぞれの表層パターンと一致するキーワードペアとその頻度をログ統計ＤＢ２０２から取得し、この取得したキーワードペアから前記表層パターンに含まれるキーワードの集合を特定する。表層パターン毎に抽出した全てのキーワードとそのキーワードペアの頻度をキーワードインスタンススコア算出部１１０に供する。
【００４４】
キーワードインスタンススコア算出部１１０は、キーワードインスタンス抽出部１０９から供された表層パターン毎に含まれるキーワードの集合とこれに属する個々のキーワードペアの頻度に基づき、個々のキーワードのスコアを算出する。キーワードインスタンス（前記キーワードの集合）とこれに属する個々のキーワードのスコアは、キーワードインスタンス選択部１１１に供される。
【００４５】
前記キーワードインスタンスのスコアは、キーワードの取得に利用した表層パターンとの関連性を元に、予め指定されたキーワード集合の上位概念と該キーワードの関連性を評価する指標である。このスコアの算出式の例としては以下の式（４）が挙げられる。
【００４６】
【数４】
0005416652.tif 000009
【００４７】
式（４）において、Ｓｃｏｒｅkeyword（ｋ）はキーワードｋのスコアを表す。Ｐはキーワードｋが出現する表層パターンの集合を表し、ｐはその表層パターン集合中の一つの表層パターンを表す。これらの情報はログ統計ＤＢ２０２から取得できる。尚、Ｓｃｏｒｅpattern（ｐ）は式（１）で算出された値である。
【００４８】
キーワードインスタンス一般性評価部２００はキーワードインスタンス抽出部１０９によって特定されたキーワード毎に当該キーワードを伴う表層パターンの群からなる表層パターン集合とログ統計ＤＢ２０２における当該キーワードを伴うキーワードペア群から抽出された当該キーワードを伴う表層パターンの群からなる表層パターン集合とに基づく当該キーワードの一般性評価値を算出する演算を前記全てのキーワードについて行う。
【００４９】
キーワードインスタンス一般性評価部２００は具体的には以下の処理１１〜１４によってキーワードの一般性評価値を算出する。
【００５０】
（処理１１）キーワードインスタンス抽出部１０９で特定された各表層パターンに含まれるキーワードの集合を当該抽出部１０９から取得する。取得される情報の一例を表５に示す。
【００５１】
【表５】
0005416652.tif 000010
【００５２】
（処理１２）処理１１で得られた情報からキーワード毎に当該キーワードが伴う表層パターンの情報を作成する。作成される情報の一例を表６に示す。そして、この情報における一つのキーワードを伴う表層パターンの群を表層パターン集合（Ｐ１）と特定する。表６の事例ではキーワード「ＡＢＣ大学」を伴う表層パターン集合（Ｐ１）は「＃＃＃  偏差値  ，  ＃＃＃  理工学部  ，＃＃＃  Ｔ市」となる。
【００５３】
【表６】
0005416652.tif 000011
【００５４】
（処理１３）処理１２で作成された情報における一つのキーワードを検索キーとしてログ統計ＤＢ２０２にアクセスして当該キーワードを伴うキーワードペア群を取得し、この取得したキーワードペア群に含まれるキーワードを伴う表層パターンの群を抽出する。この抽出された表層パターン群を表層パターン集合（Ｐ２）と特定する。前記一つのキーワードとこれによって取得される表層パターンの群の例を表７に示した。
【００５５】
【表７】
0005416652.tif 000012
【００５６】
（処理１４）処理１２で取得された表層パターン集合（Ｐ１）と処理１３で取得された表層パターン集合（Ｐ２）とに基づき前記一つのキーワードの一般性評価値を算出する。一般性評価値は例えば以下の式（５）によって算出する。式（５）において、Ｇｅｎｅｒａｌｉｔｙ（ｋ）はキーワードｋの一般性を評価する値である。Ｐ１は表層パターン集合（Ｐ１）を、Ｐ２は表層パターン集合（Ｐ２）を示す。キーワードとその一般性評価値は、キーワードインスタンス選択部１１１に供される。
【００５７】
【数５】
0005416652.tif 000013
【００５８】
キーワードインスタンス選択部１１１は、キーワードインスタンススコア算出部１１０によって算出されたキーワード集合の各キーワードのスコアに基づき当該キーワード集合から複数のキーワードを出力用のキーワード集合として選択する。具体的にはキーワードインスタンススコア算出部１１０から供された各キーワードをそのスコアの降順にならべ、スコアの高いものから順に一定数のキーワードを選択する。この選択された一定数のキーワードが出力用のキーワード集合（獲得したいキーワード集合）となる。
【００５９】
また、キーワードインスタンス選択部１１１は、キーワードインスタンス一般性評価２００によって算出されたキーワードの集合の各キーワードの一般性評価値に基づき当該キーワード集合から表層パターン評価用のキーワード集合を選択する。具体的には、キーワードインスタンス一般性評価部２００から供されたキーワード集合から、同評価部２００で算出された一般性評価値が予め設定された閾値を上回るキーワードを選択する。この選択されたキーワード群が表層パターン評価用のキーワード集合（表層パターン抽出部１０５に供するためのキーワード集合）となる。
【００６０】
出力結果判定部１０３は、キーワードインスタンス選択部１１１からスコア付きの出力用キーワードリストと表層パターン評価用のキーワードリストとを取得する。スコア付きの出力用キーワードリストの情報を、キーワード抽出結果として出力結果一時記憶２０３に記憶させる。出力結果一時記憶部２０３において既に記憶していたキーワード抽出結果が存在する場合には、既に存在する抽出結果に追加する態様で記憶させる。
【００６１】
また、出力結果判定部１０３は、一度の入力に対して行ったキーワード抽出の回数が、予め決められている回数に到達したか否かを判定し、当該回数が前記決められている回数に到達していれば、結果出力部１０４に結果をスコアと共に出力する旨を送信する。一方、当該回数が前記決められている回数に到達していなければ、表層パターン評価用のキーワード群とその各キーワードのスコアを表層パターン抽出部１０５に送信する。尚、前記回数は任意である。
【００６２】
出力結果一時記憶部２０３は、出力結果判定部１０３から送信されたデータを一時的に記憶する記憶装置である。出力結果一時記憶部２０３に対しては結果出力部１０４からもアクセスできるようになっている。出力結果データの一例を図８に示す。出力結果一時記憶部２０３は図２に示されたメモリ２２によって実現すればよい。
【００６３】
結果出力部１０４は、出力結果判定部１０３から結果を出力する旨を受信すると、出力結果一時記憶部２０３にアクセスし、記憶しているキーワード抽出結果をすべて取得し、この取得した抽出結果を出力する。
【００６４】
［処理手順の説明］
キーワード獲得装置１による処理手順について説明する。処理手順は図３に示したようにログ収集処理手順（Ｓ１）とログ利用キーワード抽出処理手順（Ｓ２）とからなる。
【００６５】
ログ収集処理手順（Ｓ１）では、検索エンジンから検索条件のログを取得してログ格納装置２０１に格納し、このログ格納装置２０１に格納されたクエリの分析（頻度算出）をバッチ方式で実行して分析結果（ログ統計情報）をログ統計ＤＢ２０２に格納する。
【００６６】
ログ利用キーワード抽出処理手順（Ｓ２）では、ログ収集処理手順（Ｓ１）で得られたログ統計ＤＢ２０２に含まれる分析結果を利用して、ユーザの指定したキーワード集合と同一の上位概念を持つキーワード集合の中で前記ユーザの指定したキーワード集合に含まれないキーワードを抽出する。
【００６７】
以上のログ収集処理手順（Ｓ１），ログ利用キーワード抽出処理手順（Ｓ２）の具体的な手順について図４，図５を参照しながら説明する。
【００６８】
先ず、ログ収集処理手順（Ｓ１）について説明する。処理手順（Ｓ１）は図４に示したステップＳ１１，Ｓ１２からなる。
【００６９】
Ｓ１１：ログ取得部１００はＷｅｂサーチエンジン等の検索装置に対して利用者が入力した検索条件のログを当該検索装置から取得してログ格納装置２０１に格納する。例えば、図６に示したような検索条件のログが取得されログ格納装置２０１に格納される。
【００７０】
Ｓ１２：ログ処理部１０１はログ格納装置２０１に格納された検索条件のログから二つ以上のキーワードの組合せで構成されるキーワードペアを取得し、これをその頻度と対応づけて記録したログ統計情報をログ統計ＤＢ２０２に格納する。例えば、図７に示したログ統計情報がログ統計ＤＢ２０２に格納される。
【００７１】
次に、ログ利用キーワード抽出処理手順（Ｓ２）について説明する。処理手順（Ｓ２）は図４に示したステップＳ２１〜Ｓ３６からなる。
【００７２】
Ｓ２１：シードインスタンス取得部１０２は獲得したいキーワードと同じ上位概念を有するキーワード集合を処理対象キーワード集合として入力デバイス２５から受ける。
【００７３】
Ｓ２２：シードインスタンス取得部１０２はＳ２１で受け付けた処理対象キーワード集合を表層パターン抽出部１０５に供する。
【００７４】
Ｓ２３：表層パターン抽出部１０５はシードインスタンス取得部１０２から供された処理対象キーワード集合の情報に基づきログ統計ＤＢ２０２にアクセスして当該キーワード集合のキーワードを含むキーワードペアとその頻度を取得する。例えば、表１に示したようにキーワードを含むキーワードペア「ＡＢＣ大学 偏差値」とその頻度「２０００」が取得される。
【００７５】
Ｓ２４：表層パターン抽出部１０５はＳ２３で取得されたキーワードペアのうち、問い合わせ（検索）に利用したキーワードを予め決められていた文字列（例えば、＃＃＃）で置き換えて表層パターンを抽出する。例えば、表１に示したような表層パターン「＃＃＃ 偏差値」が取得される。そして、表層パターン抽出部１０５はキーワード毎に抽出した全てのキーワードペアとその頻度及び表層パターンを集計したものを表層パターンスコア算出部１０６と表層パターン一般性評価部１０７とに供する。
【００７６】
Ｓ２５：表層パターンスコア算出部１０６は、表層パターン抽出部１０５から供されたキーワード毎に抽出した表層パターンを式（１）の演算に供して各表層パターンのスコアを算出する。そして、この算出した全ての表層パターンのスコアを表層パターン選択部１０８に供する。
【００７７】
Ｓ２６：表層パターン一般性評価部１０７は、表層パターン抽出部１０５から供されたキーワード毎に抽出した表層パターンを前述の（処理２）〜（処理４）に供して各表層パターンの一般性評価値を算出する。そして、この算出した各表層パターンの一般性評価値を表層パターン選択部１０８に供する。
【００７８】
Ｓ２７：表層パターン選択部１０８は、表層パターン一般性評価部１０７から各表層パターンの一般性評価値を受けると、閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定する。次いで、この特定した表層パターンの群をＳ２５で算出されたスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを取得する。そして、この特定した表層パターンの集合をキーワードインスタンス抽出部１０９に供する。
【００７９】
Ｓ２８：キーワードインスタンス抽出部１０９は、表層パターン選択部１０８から表層パターンの集合を受けると当該集合における各表層パターンと一致するキーワードペアとその頻度をログ統計ＤＢ２０２から取得する。そして、この取得したキーワードペアから表層パターンに含まれるキーワードの集合を特定する。表層パターン毎に抽出した全てのキーワードとそのキーワードペアの頻度をキーワードインスタンススコア算出部１１０に供する。
【００８０】
Ｓ２９：キーワードインスタンススコア算出部１１０は、キーワードインスタンス抽出部１０９から供されたキーワード集合とキーワードペアの頻度を式（４）の演算に供して各キーワードのスコアを算出する。そして、この算出された全てのキーワードと各キーワードのスコアをキーワードインスタンス選択部１１１に供する。
【００８１】
Ｓ３０：キーワードインスタンス一般性評価部２００は、キーワードインスタンス抽出部１０９から供された各表層パターンに含まれるキーワードの集合を前述の（処理１２）〜（処理１４）に供して各キーワードの一般性評価値を算出する。そして、この算出した各キーワードの一般性評価値をキーワードインスタンス選択部１１１に供する。
【００８２】
Ｓ３１：キーワードインスタンス選択部１１１は、キーワードインスタンススコア算出部１１０から供されたキーワード集合から各キーワードのスコアに基づき出力用のキーワードを選択する。例えば、キーワードインスタンススコア算出部１１０から供された各キーワードをそのスコアの降順にならべ、スコアの高いものから順に一定数のキーワードを選択する。この選択された一定数のキーワードを出力用のキーワード集合として出力結果判定部１０３に供する。
【００８３】
また、Ｓ３１では、キーワードインスタンス選択部１１１は、キーワードインスタンス一般性評価部２００から供されたキーワードの集合から各キーワードの一般性評価値に基づき、表層パターン評価用のキーワードを選択する。例えば、キーワードインスタンス一般性評価部２００から供されたキーワード集合から、同評価部２００で算出された一般性評価値が予め設定された閾値を上回るキーワードを選択する。この選択されたキーワード群を前記表層パターン評価用のキーワード集合として出力結果判定部１０３に供する。
【００８４】
Ｓ３２：出力結果判定部１０３はＳ３１で選択されたキーワードの集合を出力結果一時記憶部２０３に格納する。
【００８５】
Ｓ３３：出力結果判定部１０３はＳ２３〜Ｓ３２のキーワード抽出処理が予め決められた回数実行されたか否かを判定する。
【００８６】
Ｓ３４：出力結果判定部１０３は、Ｓ３３のステップで前記キーワード抽出処理が決められた回数実行されたと判断すると、Ｓ３１で選択されたキーワードの集合を出力する旨のメッセージを結果出力部１０４に供する。
【００８７】
Ｓ３５：結果出力部１０４は、出力結果判定部１０３から前記メッセージを受けると、出力結果一時記憶部２０３に格納してあるキーワードの集合を取得する。そして、この出力されたキーワードの集合がユーザにとって適切なキーワード集合として出力デバイス２６から出力させる。例えば図８に示した出力結果データが出力される。図示された事例では出力される各キーワードにはＳ２９で算出されたスコアが付される。
【００８８】
Ｓ３６：出力結果判定部１０３は、Ｓ３３のステップで前記キーワード抽出処理が決められた回数実行されていないと判断すると、出力結果一時記憶部２０３に格納された前記表層パターン評価用のキーワード集合をＳ２３に係る表層パターン抽出部１０５に供する。また、出力結果判定部１０３は前記キーワード集合の各キーワードのスコアをＳ２５での表層パターンのスコアを表層パターン抽出部１０５に供する。この表層パターン抽出部１０５に供された各キーワードのスコアはＳ２５で表層パターンスコア算出部１０６によって実行される表層パターンのスコアを算出する演算に係る式（１）のＳｃｏｒｅkeyword（ｋ）として利用される。
【００８９】
［本実施形態の効果］
以上のように、キーワード獲得装置１は、ユーザが指定した初期キーワード集合と同一の上位概念を持つキーワードの集合を取得するタスクにおいて、与えられたキーワード集合と関連性の高い表層パターンを抽出する際に、該キーワード集合と該パターンで抽出できるキーワード集合の重なりを元に表層パターンの一般性を評価することで、一般性の高い表層パターンを把握できる。これにより、一般性の高い表層パターンのキーワードを利用しないようにすることができ、入力されたキーワード集合の上位概念と関係のないキーワードの抽出を抑えることできる。したがって、検索キーワードを精度高く収集できる。
【００９０】
ブートストラッピングを用いた情報抽出においては、インスタンスを取得するためのパターンに広義なものを選択してしまうと、意にそぐわないインスタンスを抽出してしまう、意味ドリフトという問題がある。キーワード獲得装置１では、表層パターンの選択時に、今までに抽出したインスタンス集合と表層パターンによって得られるインスタンス集合の重複が、後者の集合の半分になると最も値が高くなる指標である一般性評価値を利用しているので、キーワードの獲得精度が向上する。
【００９１】
また、キーワード獲得装置１では、表層パターンの集合に基づきキーワードを抽出する際に、当該表層パターンの集合と当該キーワードで抽出できる表層パターンの集合の重なりに基づきキーワードの一般性を評価する。そして、この一般性の高いキーワードは表層パターンの評価に利用しないようにしている。これにより、目的以外のキーワードを多く抽出する一般性の高いテキストパターンの採用を防ぐことができ、キーワード獲得の精度がさらに向上する。
【００９２】
さらに、キーワード獲得装置１では、出力結果判定部１０３が、前記キーワードの選択の回数が予め決められた回数に達しているか否かの判定を行い、前記選択の回数が前記決められた回数に達していると判断すると前記キーワードインスタンス選択部１１１にて選択されたキーワードの集合を出力させる一方で、前記キーワードの選択の回数が予め決められた回数に達していないと判断すると前記選択部１１１にて選択されたキーワードの集合を前記処理対象キーワード集合としこのキーワード集合とその各キーワードのスコアを表層パターン抽出部１０５に供するようにすることで、より多くの適切なキーワードの集合を得られる。
【００９３】
また、表層パターン選択部１０８が、前記算出された一般性評価値のうちで閾値以上の一般性評価値である表層パターンの群を一般的ではない表層パターンの群と特定し、この特定した表層パターンの群を当該各表層パターンのスコアの降順にならべ、スコアの高いものから順に一定数の表層パターンを選択することで、より一層確実に一般性の高い表層パターンを除外できる。
【００９４】
さらに、キーワードインスタンス選択部１１１が、スコアが算出されたキーワードの集合からスコアの高いものから予め決められた個数分のキーワードを選択することで、一般性の高い表層パターンの除外能がさらに高まる。
【００９５】
［本発明のプログラムとしての態様］
本発明は、専用のハードウェアにより実現されるもの以外に、上述のキーワード獲得装置１を構成する機能部１００〜１１１，２００〜２０３としてコンピュータを機能させるキーワード獲得プログラムの態様とすることもできる。また、このプログラムを格納したコンピュータ読み取り可能な記録媒体も本発明の一態様となる。前記記録媒体としては、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、その他の既知の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置が例示される。さらに、前記記録媒体としては、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含まれる。
【符号の説明】
【００９６】
１…キーワード獲得装置
１０１…ログ処理部
１０２…シードインスタンス取得部
１０３…出力結果判定部
１０４…結果出力部
１０５…表層パターン抽出部（表層パターン抽出手段）
１０６…表層パターンスコア算出部（表層パターンスコア算出手段）
１０７…表層パターン一般性評価部（表層パターン一般性評価手段）
１０８…表層パターン選択部（表層パターン選択手段）
１０９…キーワードインスタンス抽出部（キーワードインスタンス抽出手段）
１１０…キーワードインスタンススコア算出部（キーワードインスタンススコア算出手段）
１１１…キーワードインスタンス選択部（キーワードインスタンス選択手段）
２００…キーワードインスタンス一般性評価部
２０２…ログ統計ＤＢ（ログ統計情報）
【図１】
0005416652.tif 000014
【図２】
0005416652.tif 000015
【図３】
0005416652.tif 000016
【図４】
0005416652.tif 000017
【図５】
0005416652.tif 000018
【図６】
0005416652.tif 000019
【図７】
0005416652.tif 000020
【図８】
0005416652.tif 000021