(57)【要約】【課題】  テキストから、特定の属性（人物名や本のタイトル等）のデータを、自動的に獲得する。【解決手段】  本発明は、外部から入力された抽出対象となる属性のキーワード例に基づいて、テキスト蓄積手段を検索し、該キーワード例を含むテキストを取得し、テキストから、キーワード例の出現位置を特定し、キーワード例の位置に近接するテキストから該キーワード例の出現パターンを特定し、キーワード例の出現位置及びキーワード例の出現パターンに基づいて、キーワードの候補をテキストから抽出し、キーワードの候補から、キーワードの出現頻度及び分布に基づいて抽出するキーワードを特定する。【選択図】  図１
2007011892.tif 000002
【特許請求の範囲】
【請求項１】
ＨＴＭＬやＸＭＬを含む電子テキストを解析し、場所や人物を含む固有名詞や属性を持つ語彙を獲得する語彙獲得方法において、
外部から入力された抽出対象となる属性のキーワード例が入力されると、該キーワード例に基づいて、前記ＨＴＭＬやＸＭＬを含む電子テキストを蓄積するテキスト蓄積手段を検索し、該キーワード例を含むテキストを取得するテキスト検索ステップと、
検索された前記テキストから、前記キーワード例の出現位置を特定するキーワード位置特定ステップと、
前記キーワード例の位置に近接するテキストから該キーワード例の出現パターンを特定するキーワード出現パターン抽出ステップと、
前記キーワード例の出現位置及び前記キーワード例の出現パターンに基づいて、キーワードの候補を前記テキストから抽出するキーワード候補抽出ステップと、
前記キーワードの候補から、キーワードの出現頻度及び分布に基づいて抽出するキーワードを特定するキーワード抽出ステップと、
を行うことを特徴とする語彙獲得方法。
【請求項２】
ＨＴＭＬやＸＭＬを含む電子テキストを解析し、場所や人物を含む固有名詞や属性を持つ語彙を獲得する語彙獲得装置であって、
前記ＨＴＭＬやＸＭＬを含む電子テキストを蓄積するテキスト蓄積手段と、
外部から入力された抽出対象となる属性のキーワード例が入力されると、該キーワード例に基づいて、前記テキスト蓄積手段を検索し、該キーワード例を含むテキストを取得するテキスト検索手段と、
検索された前記テキストから、前記キーワード例の出現位置を特定するキーワード位置特定手段と、
前記キーワード例の位置に近接するテキストから該キーワード例の出現パターンを特定するキーワード出現パターン抽出手段と、
前記キーワード例の出現位置及び前記キーワード例の出現パターンに基づいて、キーワードの候補を前記テキストから抽出するキーワード候補抽出手段と、
前記キーワードの候補から、キーワードの出現頻度及び分布に基づいて抽出するキーワードを特定するキーワード抽出手段と、
を有することを特徴とする語彙獲得装置。
【請求項３】
請求項１記載の語彙獲得方法の各ステップをコンピュータに実行させることを特徴とする語彙獲得プログラム。
【請求項４】
請求項１記載の語彙獲得方法の各ステップをコンピュータに実行させるプログラムを格納したことを特徴とする語彙獲得プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、語彙獲得方法及び装置及びプログラム及びプログラムを格納した記憶媒体に係り、特に、インターネットに代表されるコンピュータネットワークにおいて、ＨＴＭＬやＸＭＬ、ＳＧＭＬ等のタグ付きテキストから語彙を獲得するための語彙獲得方法及び装置及びプログラム及びプログラムを格納した記憶媒体に関する。
【背景技術】
【０００２】
コンピュータネットワークにおける情報検索において、検索結果が大量になることが、頻繁となり、検索システムの利用者は、キーワードでの検索を行った後に、得られた検索結果から本当に欲しい情報を獲得する遠いう作業が強いられている。
【０００３】
そのような問題に対して、検索結果のテキスト情報から固有名詞等の文書中でキーとなる用語を抽出し、それらの用語のうち検索結果中で重要であると考えられる用語を選択し、検索結果と共に提示することで、効率的な文書の検索を容易に実現するという方法がある。
【０００４】
これにより、ユーザは検索結果を一つ一つ見ながら所望の情報を探したり、追加キーワードを考え再検索を行わなくとも、所望の情報を絞り込むことができる。
【０００５】
これを実現するため基本的な技術として、テキスト中の固有名詞等を特定する手法が必要となる。
【０００６】
最も単純な方法として、人手で辞書を作成し、その辞書語とマッチする語をテキストから抽出するという手法が考えられる。
【０００７】
また、特定の辞書は持たず、文書中に存在する固有名詞を予め人手で特定し、特定した学習データから、形態素（品詞情報）レベルのパターンとして抽出ルールを作成し、予め学習データに含まれた語のみでなく、新たな語の抽出も可能とする手法もある（例えば、特許文献１、非特許文献１参照）。
【特許文献１】特開２００３−３３１２５４号公報
【非特許文献１】Sekine.S.: Named Entity: History and Future, http://cs.nyu.edu/sekinepaper/NEsurvey 200402.pdf
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記の従来技術には以下の問題点がある。
【０００９】
辞書を人手で作成する手法は、確実にテキスト中の該当部分を特定することができるが、辞書の更新にかかるコストが非常に大きいため、幅広い分野や属性の辞書語を収集することは現実的に難しい。
【００１０】
また、学習データを利用する手法は、学習データを元にルールを自動生成することによって、学習データに存在する語彙に加えて、学習データにはない新しい語彙についてもテキストから自動的に抽出することができる。
【００１１】
しかし、その一方で抽出ルールの生成では、学習データから特徴的なパターンの抽出が必要となる。例えば、新聞記事における人物名や場所名などのデータには、特徴的な出現パターンが存在するため、比較的高精度に抽出することができるが、抽出対象が一般的なＷｅｂページなどを対象とした場合には表現が多様になり、必ずしも高精度の特定ができない。また、人物や場所名ではなく、その名称自体が多用な表現を持つ「店の名前」や「本のタイトル」等の場合には、同様にパターン化が難しく高精度の表現の抽出は難しい。
【００１２】
本発明は、上記の点に鑑みなされたもので、コンピュータネットワークにおけるテキストから、特定の属性（人物名や本のタイトル等）のデータを、少ないデータ例を元に、テキストやタググ付き文書中でデータ例の出現するパターンを特定し、そのパターンによって抽出されたキーワードの出現頻度や分布から不要語の除去を行い、自動的に獲得することが可能な語彙獲得方法及び装置及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
図１は、本発明の原理を説明するための図である。
【００１４】
本発明（請求項１）は、ＨＴＭＬやＸＭＬを含む電子テキストを解析し、場所や人物を含む固有名詞や属性を持つ語彙を獲得する語彙獲得方法において、
外部から入力された抽出対象となる属性のキーワード例が入力されると、該キーワード例に基づいて、ＨＴＭＬやＸＭＬを含む電子テキストを蓄積するテキスト蓄積手段を検索し、該キーワード例を含むテキストを取得するテキスト検索ステップ（ステップ１）と、
検索されたテキストから、キーワード例の出現位置を特定するキーワード位置特定ステップ（ステップ２）と、
キーワード例の位置に近接するテキストから該キーワード例の出現パターンを特定するキーワード出現パターン抽出ステップ（ステップ３）と、
キーワード例の出現位置及びキーワード例の出現パターンに基づいて、テキストからキーワードの候補を抽出するキーワード候補抽出ステップ（ステップ４）と、
キーワードの候補から、キーワードの出現頻度及び分布に基づいて抽出するキーワードを特定するキーワード抽出ステップ（ステップ５）と、を行う。
【００１５】
図２は、本発明の原理構成図である。
【００１６】
本発明（請求項２）は、ＨＴＭＬやＸＭＬを含む電子テキストを解析し、場所や人物を含む固有名詞や属性を持つ語彙を獲得する語彙獲得装置であって、
ＨＴＭＬやＸＭＬを含む電子テキストを蓄積するテキスト蓄積手段２と、
外部から入力された抽出対象となる属性のキーワード例が入力されると、該キーワード例に基づいて、テキスト蓄積手段２を検索し、該キーワード例を含むテキストを取得するテキスト検索手段３と、
検索されたテキストから、キーワード例の出現位置を特定するキーワード位置特定手段４と、
キーワード例の位置に近接するテキストから該キーワード例の出現パターンを特定するキーワード出現パターン抽出手段５と、
キーワード例の出現位置及びキーワード例の出現パターンに基づいて、キーワードの候補をテキストから抽出するキーワード候補抽出手段６と、
キーワードの候補から、キーワードの出現頻度及び分布に基づいて抽出するキーワードを特定するキーワード抽出手段７と、を有する。
【００１７】
本発明（請求項３）は、請求項１記載の語彙獲得方法の各ステップをコンピュータに実行させるプログラムである。
【００１８】
本発明（請求項４）は、請求項１記載の語彙獲得方法の各ステップをコンピュータに実行させるプログラムを格納した記憶媒体である。
【発明の効果】
【００１９】
本発明によれば、特定の属性の少ないキーワードを元に、その該当属性のキーワードが出現する位置及びパターンを自動で抽出し、この２つの特徴を利用し、高い精度でキーワード候補の出現するルールを特定し、予め指定されたキーワードを複数含むテキスト中で上記で特定したルールにマッチするキーワードを抽出し、ここで抽出された個々のキーワードの出現頻度や分布を元に最終的な抽出候補のキーワードを特定することで、高精度に語彙を獲得することが可能となる。
【００２０】
この語彙獲得により得られた辞書を用いることにより、テキストから特定属性のキーワードを抽出することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面と共に本発明の実施の形態を説明する。
【００２２】
図３は、本発明の一実施の形態における語彙獲得装置の構成を示す。
【００２３】
同図に示す語彙獲得装置１０は、抽出を想定する属性のキーワードを例として入力するデータ例入力装置２０、インターネット３０と接続され、テキスト収集部１、テキスト蓄積部２、テキスト検索部３、キーワード位置特定部４、キーワード出現パターン抽出部５、キーワード候補抽出部６、及びキーワード抽出部７から構成される。
【００２４】
テキスト収集部１は、インターネット３０上に存在するＨＴＭＬやＸＭＬのテキストデータを収集し、テキスト蓄積部２に格納する。また、既に収集済みのテキストがローカルディスク上に存在する場合には、それを対象に収集を行い、テキスト蓄積部２に格納する。
【００２５】
テキスト蓄積部２は、テキスト収集部１によって収集されたテキストデータを蓄積する。蓄積されるテキストデータは、ＨＴＭＬ形式のテキストデータや、ＸＭＬ形式のタグ付きテキストデータである。
【００２６】
テキスト検索部３は、データ例入力装置２０から入力された、場所や人物等の固有名詞や属性などからなるキーワード例を元にテキスト蓄積部２に格納されたテキストデータを検索し、当該キーワード例を複数含むテキストデータを特定する。
【００２７】
キーワード位置特定部４は、テキスト検索部３によってデータ例入力装置２０から入力されたキーワード例に含まれるキーワードを複数内包するテキストを解析し、当該キーワードが存在する位置を特定する。位置を特定する例を図４に示す。
【００２８】
図４（ａ）に示すＨＴＭＬの場合に、キーワード例として「恋し君へ」と「水戸黄門様」が与えられた場合に、当該キーワード例が含まれる部分を特定し、HTMLタグ構造を木構造と見做し、「HTMLタグの下のBODYタグの下の、trタグの下の、tdタグの下に該当するデータ存在する」という判断を行う。この処理を各々のキーワードについて行う。その結果、
「/HTML/BODY/tr/td」
が得られる。
【００２９】
図４（ｂ）に示すＨＴＭＬの場合に、キーワード例として「恋し君へ」と「水戸黄門様」が与えられた場合に、当該キーワード例が存在する位置として、
「/HTML/BODY/」
が得られる。得られたキーワード例の出現位置は、キーワード候補抽出部６に転送される。
【００３０】
キーワード出現パターン抽出部５は、テキスト検索部３によって検索された、データ入力装置２０から入力されたキーワード例を複数内包するテキストを解析し、キーワードが出現するパターンを特定する。例えば、キーワード「恋し君へ」や「水戸黄門様」が含まれる部分を特定し、各キーワードについて、一文字ずつ文書の先頭部分に向かって文字を取得し、キーワード間で比較し、同じ文字であれば次の文字を取得し、比較を繰り返すことにより、同じパターンを抽出する。
【００３１】
図５（ａ）において、キーワード例として「恋し君へ」と「水戸黄門様」が与えられた場合に、当該キーワードの出現パターンとして、
「<tr><td>ENTITY</td><td>」
が得られる。なお、出現パターン中の“ENTITY”の部分は、最終的に抽出したい語彙が含まれる部分である。
【００３２】
また、図５（ｂ）において、キーワード例として「恋し君へ」と「水戸黄門様」が与えられた場合に、当該キーワードの出現パターンとして、
「，ENTITY，」
が得られる。得られたキーワード例の出現パターンは、キーワード候補抽出部６に転送される。なお、出現パターン中の“ENTITY”の部分は、最終的に抽出したい語彙が含まれる部分である。
【００３３】
キーワード候補抽出部６は、キーワード位置特定部４によって抽出されたキーワード例の位置と、キーワード出現パターン抽出部５によって得られたキーワード例の出現パターンに基づいて、テキスト検索部３により検索されたテキストを解析し、キーワード候補を抽出する。
【００３４】
キーワード抽出部７は、キーワード候補抽出部６で抽出されたキーワード候補からキーワードの出現頻度及び分布の評価に基づいて、抽出するキーワードを特定する。
【００３５】
キーワード候補を評価する基準としては、以下のような基準αが考えられる。
【００３６】
【数１】
2007011892.tif 000003
ここで、
・ＮＡは、テキスト検索部３によって特定された解析対象テキストの数を示す。
・ＮＡｗは、テキスト検索部３によって特定された解析対象テキスト中で現在評価するキーワードを含む文書の数を示す。
・Ｎｗは、文書集合全体中で現在評価するキーワードｗを含む文書の数を示す。
【００３７】
上記のように求められた評価値が所定の閾値より高いものをキーワードとして抽出する。
【００３８】
次に、上記の構成における動作を説明する。
【００３９】
本発明は、データを収集するための前処理段階と、実際に語彙を獲得する段階の２つに分かれている。
【００４０】
図６は、本発明の一実施の形態における前処理のフローチャートである。
【００４１】
ステップ１０１）  テキスト収集部１は、入力装置（図示せず）からＵＲＬの入力を受け付け、当該ＵＲＬを起点とするリンクを辿りながら、テキストを収集し、テキスト蓄積部２に格納する。
【００４２】
ステップ１０２）  テキスト検索部３は、テキスト蓄積部２から文書を読み出して分析し、入力装置（図示せず）から指定されたキーワードを含む文書を特定するためのインデクスを作成する。
【００４３】
次に、語彙獲得のための処理について説明する。
【００４４】
図７は、本発明の一実施の形態における語彙獲得のフローチャートである。
【００４５】
ステップ２０１）  テキスト検索部３は、データ例入力装置から、抽出する語彙の例となる少なくとも１つのキーワード例の入力を受け付ける。
【００４６】
ステップ２０２）  テキスト検索部３では、受け付けたキーワード例に基づいてテキスト蓄積部２を検索して、当該キーワード例を含むテキストを取得する。
【００４７】
ステップ２０３）  キーワード位置特定部４は、テキスト検索部３で検索されたテキストを１つずつ解析し、個々のテキスト毎に、データ例入力装置２０から入力されたキーワード例が出現する位置を特定する。
【００４８】
ステップ２０４）  キーワード出現パターン抽出部４は、テキスト検索部３で検索されたテキストを１つずつ解析し、個々のテキスト毎に、データ例入力装置２０から入力されたキーワード例が存在する出現パターンを特定する。
【００４９】
ステップ２０５）  キーワード候補抽出部６は、キーワード位置特定部４で特定された位置情報及び、キーワード出現パターン抽出部５で特定されたパターンに基づいて、ステップ２０２で検索されたテキストからキーワード候補を抽出する。
【００５０】
ステップ２０６）  キーワード抽出部７は、テキスト検索部３により検索された解析対象のテキストの数、及び、キーワード候補抽出部６で抽出されたキーワードを含む文書数及び、抽出された文書集合全体中で評価すべきキーワードを含む文書数を用いて、キーワード候補を評価する評価値を求め、予め設定された閾値以上の閾値を持つキーワード候補をキーワードとして抽出する。この評価値が、予め決定された閾値に満たないキーワードについては不要語と見做し、候補から削除する。この閾値は経験的に設定されるものである。また、別の方式としては、テキストから抽出されるキーワードの出現頻度を算出し、頻度が閾値を超えないものとしては、それを不要語と見做し、候補から削除することも考えられる。この閾値も同様に、経験的に設定されるものである。
【００５１】
この後、当該キーワード抽出部７で抽出されたキーワードを辞書等の記憶手段４０に格納する。なお、記憶手段に格納する前に、一旦表示装置に表示するようにしてもよい。
【００５２】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００５３】
本発明は、コンピュータネットワークにおける情報検索技術に適用可能である。
【図面の簡単な説明】
【００５４】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における語彙獲得装置の構成図である。
【図４】本発明の一実施の形態におけるキーワード位置特定部の動作の例である。
【図５】本発明の一実施の形態におけるキーワード出現パターン抽出部の動作の例である。
【図６】本発明の一実施の形態における前処理のフローチャートである。
【図７】本発明の一実施の形態における語彙獲得のフローチャートである。
【符号の説明】
【００５５】
１  テキスト収集部
２  テキスト蓄積手段、テキスト蓄積部
３  テキスト検索手段、テキスト検索部
４  キーワード位置特定手段、キーワード位置特定部
５  キーワード出現パターン抽出手段、キーワード出現パターン抽出部
６  キーワード候補抽出手段、キーワード候補抽出部
７  キーワード抽出手段、キーワード抽出部
１０  語彙獲得装置
２０  データ例入力装置
３０  インターネット
４０  記憶装置
【図１】
2007011892.tif 000004
【図２】
2007011892.tif 000005
【図３】
2007011892.tif 000006
【図４】
2007011892.tif 000007
【図５】
2007011892.tif 000008
【図６】
2007011892.tif 000009
【図７】
2007011892.tif 000010