(57)【要約】【課題】  同一ジャンルに属する語句の概念間の類似度と、異なるジャンルに属する語句の概念間の類似度とを同時に表現する概念辞書を、対象ドメインに応じて自動的に構築する。【解決手段】  本発明は、構築しようとする辞書が対象とするドメインに関連のある大量の文書中から語句を抽出し、文書ごとの抽出語句リストとして抽出語句データベースに記録し、抽出語句データベースに記録された語句集合から、２種類の異なる選定基準によって語句を選定し、それぞれ語句リストとしてデータベースに記録し、データベースに記録された２種類の語句リストを参照し、双方のリストの語句間の関連度を計算する。【選択図】  図１
2005234865.tif 000002
【特許請求の範囲】
【請求項１】
同一ジャンル内に属する語句の概念間の類似度と、異なるジャンルに属する語句の概念間の類似度とを同時に表現する概念辞書を自動的に構築する、ドメイン別概念辞書構築方法において、
構築しようとする概念辞書が対象とするドメインに関連のある大量の文書中から語句を抽出し、文書毎の抽出語句リストとして抽出語句データベースに記録する語句抽出ステップと、
前記抽出語句データベースに記録された語句集合から、２種類の異なる選定基準によって語句を選定し、それぞれ語句リストとしてデータベースに記録する語句選定ステップと、
前記データベースに記録された２種類の語句リストを参照し、双方のリストの語句間の関連度を計算する概念ベクトル生成ステップと、を行い、
前記語句抽出ステップにおいて、
外部の情報源から前記対象とするドメインに分類される文書を収集する文書データ取得ステップと、
前記文書データ取得ステップで取得した文書データから語句を抽出して、前記抽出語句データベースに記録する語句抽出ステップと、を行い、
前記語句選定ステップにおいて、
対象ドメインに特徴的であって、構築しようとする概念辞書の見出し語となる語句を定義語句として選定する定義語句選定ステップと、
特定のジャンルに特徴的であって、且つ、複数のジャンルに関連のある語句を基底語句として選定する基底語句選定ステップと、
を、行い、
前記概念ベクトル生成ステップにおいて、
前記定義語句が前記基底語句の各々と同一文書に出現するか否かを調べ、同一文書に出現する回数が多いほど、語句間の関連度が深いとして重みを付けることにより、該定義語句の概念を、各基底語句を属性とする概念ベクトルで表現した概念辞書を生成する概念ベクトル計算ステップと、
前記概念辞書について、該概念辞書から得ることのできる情報量を算出し、前記基底語句選定ステップを再実行して基底語句を再選定し、前記情報量の値が増加するよう該基底語句の再選定を繰り返えさせることで、適当な概念辞書を出力させる概念辞書評価ステップ、を行うことを特徴とするドメイン別概念辞書構築方法。
【請求項２】
同一ジャンル内に属する語句の概念間の類似度と、異なるジャンルに属する語句の概念間の類似度とを同時に表現する概念辞書を構築する、ドメイン別概念辞書構築装置であって、
構築しようとする概念辞書が対象とするドメインに関連のある大量の文書中から語句を抽出し、文書毎の抽出語句リストとして抽出語句データベースに記録する語句抽出手段と、
前記抽出語句データベースに記録された語句集合から、２種類の異なる選定基準によって語句を選定し、それぞれ語句リストとしてデータベースに記録する語句選定手段と、
前記データベースに記録された２種類の語句リストを参照し、双方のリストの語句間の関連度を計算する概念ベクトル生成手段と、を有し、
前記語句抽出手段は、
外部の情報源から前記対象とするドメインに分類される文書を収集する文書データ取得手段と、
取得した文書データから語句を抽出して、前記抽出語句データベースに記録する語句抽出手段と、を有し、
前記語句選定手段は、
対象ドメインに特徴的であって、構築しようとする概念辞書の見出し語となる語句を定義語句として選定する定義語句選定手段と、
特定のジャンルに特徴的であって、且つ、複数のジャンルに関連のある語句を基底語句として選定する基底語句選定手段と、を有し、
前記概念ベクトル生成手段は、
前記定義語句が前記基底語句の各々と同一文書に出現するか否かを調べ、同一文書に出現する回数が多いほど、語句間の関連度が深いとして重みを付けることにより、該定義語句の概念を、各基底語句を属性とする概念ベクトルで表現した概念辞書を生成する概念ベクトル計算手段と、
前記概念辞書について、該概念辞書から得ることのできる情報量を算出し、前記基底語句選定手段を再実行させて基底語句を選定し、該情報量の値が増加するよう、前記基底語句選定手段と、前記概念ベクトル計算手段とを繰り返すことで適当な概念辞書を出力する概念辞書評価手段と、を有することを特徴とするドメイン別概念辞書構築装置。
【請求項３】
同一ジャンル内に属する語句の概念間の類似度と、異なるジャンルに属する語句の概念間の類似度とを同時に表現する概念辞書を構築するコンピュータに実行させるドメイン別概念辞書構築プログラムであって、
構築しようとする概念辞書が対象とするドメインに関連のある大量の文書中から語句を抽出し、文書毎の抽出語句リストとして抽出語句データベースに記録する語句抽出ステップと、
前記抽出語句データベースに記録された語句集合から、２種類の異なる選定基準によって語句を選定し、それぞれ語句リストとしてデータベースに記録する語句選定ステップと、
前記データベースに記録された２種類の語句リストを参照し、双方のリストの語句間の関連度を計算する概念ベクトル生成ステップと、からなり、
前記語句抽出ステップは、
外部の情報源から前記対象とするドメインに分類される文書を収集する文書データ取得ステップと、
取得した文書データから語句を抽出して、前記抽出語句データベースに記録する語句抽出ステップとを、実行させ、
前記語句選定ステップは、
対象ドメインに特徴的であって、構築しようとする概念辞書の見出し語となる語句を定義語句として選定する定義語句選定ステップと、
特定のジャンルに特徴的であって、且つ、複数のジャンルに関連のある語句を基底語句として選定する基底語句選定ステップとを、実行させ、
前記概念ベクトル生成ステップは、
前記定義語句が前記基底語句の各々と同一文書に出現するか否かを調べ、同一文書に出現する回数が多いほど、語句間の関連度が深いとして重みを付けることにより、定義語句の概念を、各基底語句を属性とする概念ベクトルで表現した概念辞書を生成する概念ベクトル計算ステップと、
前記概念辞書について、該概念辞書から得ることのできる情報量を算出し、前記基底語句選定ステップと概念ベクトル計算ステップとを再実行させることにより、基底語句を再選定し、該情報量の値が増加するよう基底語句の再選定を繰り返えさせる概念辞書評価ステップを、コンピュータに実行させることを特徴とするドメイン別概念辞書構築プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドメイン別概念辞書構築方法及び装置及びプログラムに係り、特に、構築しようとする辞書の対象ドメインに応じて外部の情報源から文書データを取得し、取得した文書データから切り出される語句の出現分布に基づいて辞書構築に用いる語句の選定を行い、異なる語句が同一文書内に出現する回数から各語句の持つ概念をベクトル表現し、自動的にドメイン別の概念辞書データベースを構築するためのドメイン別概念辞書構築方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
第１の従来の方法として、文書の概念をベクトルで表現し、文書分類に利用する方法がある。この方法は、分類の前提となる学習フェーズで、全文書中に出現する語句のうち、出現頻度が大きい語句と小さい語句を除いた語句を、文書の概念で表すベクトルの要素として利用する。各語句の文書に対する重要度を、その文書のベクトルの各要素の値として用いることで、文書の特徴を表すベクトルを定義するものである（例えば、特許文献１参照）。
【０００３】
また、第２の従来の方法として、国語辞典の見出し語の概念が、その語義文中に出現する語句の分布で表現できるという仮説に基づき、語義文に出現する語句の集合を要素としたベクトルで様々な見出し語の概念を表現するような知識ベースを構築する技術がある（例えば、非特許文献１参照）。
【特許文献１】特許第３３８５２９７号
【非特許文献１】「国語辞書を利用した日常語の類似性判別」笠原要、松澤和光、石川勉：情報処理学会論文誌、Vol．38, No.7, pp.1272-1283)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記第１の従来の方法は、概念辞書構築のための知識源として分類対象の文書データ自体を利用するため、大量の文書が予め存在していることが前提となり、文書数が少ない場合には高いカテゴリ分類精度を発揮する辞書を構築することが難しい。
【０００５】
また、上位第２の従来の方法は、もともとジャンルという概念を持たない国語辞典を概念辞書構築の知識源として利用するため、語句や文書の類似判定は行えるが、それらをカテゴリ毎に分類するには充分な効力を発揮することができない。
【０００６】
本発明は、上記の点に鑑みなされたもので、同一ジャンルに属する語句の概念間の類似度と、異なるジャンルに属する語句の概念間の類似度とを同時に表現する概念辞書を、対象ドメインに応じて自動的に構築することが可能なドメイン別概念辞書構築方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
図１は、本発明の原理を説明するための図である。
【０００８】
本発明は、同一ジャンル内に属する語句の概念間の類似度と、異なるジャンルに属する語句の概念間の類似度とを同時に表現する概念辞書を構築する、ドメイン別概念辞書構築方法において、
構築しようとする概念辞書が対象とするドメインに関連のある大量の文書中から語句を抽出し、文書毎の抽出語句リストとして抽出語句データベースに記録する語句抽出ステップ（ステップ１）と、
抽出語句データベースに記録された語句集合から、２種類の異なる選定基準によって語句を選定し、それぞれ語句リストとしてデータベースに記録する語句選定ステップ（ステップ２）と、
データベースに記録された２種類の語句リストを参照し、双方のリストの語句間の関連度を計算する概念ベクトル生成ステップ（ステップ３）と、を行い、
語句抽出ステップ（ステップ１）において、
外部の情報源から対象とするドメインに分類される文書を収集する文書データ取得ステップと、
文書データ取得ステップで取得した文書データから語句を抽出して、抽出語句データベースに記録する語句抽出ステップと、
語句選定ステップ（ステップ２）において、
対象ドメインに特徴的であって、構築しようとする概念辞書の見出し語となる語句を定義語句として選定する定義語句選定ステップと、
特定のジャンルに特徴的であって、且つ、複数のジャンルに関連のある語句を基底語句として選定する基底語句選定ステップと、を行い、
概念ベクトル生成ステップ（ステップ３）において、
定義語句が基底語句の各々と同一文書に出現するか否かを調べ、同一文書に出現する回数が多いほど、語句間の関連度が深いとして重みを付けることにより、定義語句の概念を、各基底語句を属性する概念ベクトルで表現した概念辞書を作成する概念ベクトル計算ステップを行い、
概念ベクトル計算ステップにおいて生成された概念辞書について、該概念辞書から得ることのできる情報量を算出し、基底語句選定ステップ及び概念ベクトル計算ステップを再実行して基底語句を再選定し、情報量の値が増加するよう該基底語句の再選定を繰り返すことで、適当な概念辞書を出力する概念辞書評価ステップ、を行う(ステップ４)。
【０００９】
図２は、本発明の原理構成図である。
【００１０】
本発明は、同一ジャンル内に属する語句の概念間の類似度と、異なるジャンルに属する語句の概念間の類似度とを同時に表現する概念辞書５０を構築する、ドメイン別概念辞書構築装置であって、
構築しようとする概念辞書５０が対象とするドメインに関連のある大量の文書中から語句を抽出し、文書毎の抽出語句リストとして抽出語句データベース２０に記録する抽出手段１００と、
抽出語句データベース２０に記録された語句集合から、２種類の異なる選定基準によって語句を選定し、それぞれ語句リストとしてデータベース６０に記録する語句選定手段２００と、
データベース６０に記録された２種類の語句リストを参照し、双方のリストの語句間の関連度を計算する概念ベクトル生成手段３００と、を有し、
抽出手段１００は、
外部の情報源１０から対象とするドメインに分類される文書を収集する文書データ取得手段１１０と、
取得した文書データから語句を抽出して、抽出語句データベース２０に記録する語句抽出手段１２０と、を有し、
語句選定手段２００は、
対象ドメインに特徴的であって、構築しようとする概念辞書の見出し語となる語句を定義語句として選定する定義語句選定手段２２０と、
特定のジャンルに特徴的であって、且つ、複数のジャンルに関連のある語句を基底語句として選定する基底語句選定手段２１０と、を有し、
概念ベクトル生成手段３００は、
定義語句が基底語句の各々と同一文書に出現するか否かを調べ、同一文書に出現する回数が多いほど、語句間の関連度が深いとして重みを付けることにより、定義語句の概念を、各基底語句を属性する概念ベクトルで表現した概念辞書を生成する概念ベクトル計算手段３１０と、
概念ベクトル計算手段３１０において生成された概念辞書について、該概念辞書から得ることのできる情報量を算出し、基底語句選定手段２１０及び概念ベクトル計算手段とを再実行して基底語句を再選定し、情報量の値が増加するよう該基底語句の再選定を繰り返すことで、適当な概念辞書を出力する概念辞書評価手段３２０と、を有する。
【００１１】
本発明は、同一ジャンル内に属する語句の概念間の類似度と、異なるジャンルに属する語句の概念間の類似度とを同時に表現する概念辞書を構築するコンピュータに実行させるドメイン別概念辞書構築プログラムであって、
構築しようとする概念辞書が対象とするドメインに関連のある大量の文書中から語句を抽出し、文書毎の抽出語句リストとして抽出語句データベースに記録する語句抽出ステップと、
抽出語句データベースに記録された語句集合から、２種類の異なる選定基準によって語句を選定し、それぞれ語句リストとしてデータベースに記録する語句選定ステップと、
データベースに記録された２種類の語句リストを参照し、双方のリストの語句間の関連度を計算する概念ベクトル生成ステップと、からなり、
語句抽出ステップは、
外部の情報源から対象とするドメインに分類される文書を収集する文書データ取得ステップと、
取得した文書データから語句を抽出して、抽出語句データベースに記録する語句抽出ステップとを、
語句選定ステップは、
対象ドメインに特徴的であって、構築しようとする概念辞書の見出し語となる語句を定義語句として選定する定義語句選定ステップと、
特定のジャンルに特徴的であって、且つ、複数のジャンルに関連のある語句を基底語句として選定する基底語句選定ステップとを実行させ、
概念ベクトル生成ステップは、
定義語句が基底語句の各々と同一文書に出現するか否かを調べ、同一文書に出現する回数が多い程、語句間の関連度が深いとして重みを付けることにより、定義語句の概念を、各基底語句を属性する概念ベクトルで表現した概念辞書を生成する概念ベクトル計算ステップと、
概念ベクトル計算ステップにおいて生成された概念辞書について、該概念辞書から得ることのできる情報量を算出し、基底語句選定ステップ及び概念ベクトル計算ステップとを再実行して基底語句を再選定し、情報量の値が増加するよう該基底語句の再選定を繰り返すことで、適当な概念辞書を出力する概念辞書出力ステップ、をコンピュータに実行させる。
【発明の効果】
【００１２】
本発明によれば、ジャンル構造を有するドメインを対象とした概念辞書を構築する場合に、指定したドメインに関連のある文書データを収集し、収集文書から語句を切り出して抽出し、辞書の見出し語となる定義語句と、語句の概念をベクトルで表現する際の属性となる基底語句とを選定して辞書を構築するため、ドメイン情報さえ指示すれば簡単に概念辞書を構築することができる。
【００１３】
また、特定のジャンルにのみ出現する特殊な語句、及びあらゆるジャンルに出現する一般的な語句を除いた語句をベクトルの属性として選定するため、複数のジャンルに分類できる多義性のある語句を的確に定義でき、異なるジャンルに属する語句の概念間の類似性の判別も行うことが可能な辞書を構築できる。
【発明を実施するための最良の形態】
【００１４】
以下、図面と共に、本発明の実施の形態を説明する。
【００１５】
図３は、本発明の一実施の形態におけるドメイン別概念辞書構築装置の構成を示す。
【００１６】
同図に示すドメイン別概念辞書構築装置は、抽出部１００、語句選定部２００、概念ベクトル生成部３００から構成される。
【００１７】
抽出部１００は、文書データ取得部１１０、語句抽出部１２０から構成され、文書データ取得部１１０は、ネットワーク等を介して外部情報源１０が接続され、語句抽出部１２０には抽出語句データベース２０が接続される。
【００１８】
文書データ取得部１１０は、外部情報源１０から文書データを収集し、語句抽出部１２０は、収集された文書からの語句の抽出を行い抽出語句データベース２０に記録する。
【００１９】
語句選定部２００は、基底語句選定部２１０と定義語句選定部２２０から構成され、基底語句選定部２１０には抽出語句データベース２０と基底語句データベース３０が接続され、また、定義語句選定部２２０は、抽出語句データベース２０及び定義語句データベース４０が接続される。
【００２０】
基底語句選定部２１０は、抽出語句データベース２０から特定のジャンルに特徴的であって、かつ複数のジャンルに関連のある語句を基底語句として選定し、基底語句データベース３０に格納する。
【００２１】
定義語句選定部２２０は、抽出語句データベース２０から対象ドメインに特徴的であって、構築しようとする概念辞書の見出し語となる語句を定義語句として選定し、定義語句データベース４０に格納する。
【００２２】
概念ベクトル生成部３００は、概念ベクトル計算部３１０と概念辞書評価部３２０とから構成され、概念ベクトル計算部３１０には、抽出語句データベース２０、基底語句データベース３０、定義語句データベース４０及び概念辞書５０が接続される。概念ベクトル計算部３１０は、定義語句データベース４０から取得した定義語句リスト及び基底語句データベース３０から取得した基底語句リスト及び抽出語句データベース２０から取得した抽出語句リストに登録された語句と、その出現度数や同一文書内出現回数等の情報を参照して、定義語句と基底語句との関連度を計算し、各定義語句の概念ベクトルを決定し、概念辞書５０に保存する。
【００２３】
概念辞書評価部３２０は、構築した概念辞書５０の評価の指標である空間情報量を算出する。空間情報量については後述する。さらに、算出した空間情報量の値が最適であるか否かを判定し、最適であると判断されるまで、空間情報量の値が多くなるよう、基底語句の選定を再度実施する。
【００２４】
以下、本発明のドメイン別概念辞書構築装置の動作を詳細に説明する。
【００２５】
図４は、本発明の一実施の形態におけるドメイン別概念辞書構築装置の動作を示すフローチャートである。
【００２６】
まず、文書データ取得部１１０が、外部情報源１０から文書データを取得する（ステップ１０１）。収集対象は、オペレータが明示的に与えたドメイン情報に基づいて決定され、例えば図５のような２階層を有するジャンル体系を辞書構築の対象ドメインとする場合、「野球」「相撲」「テニス」「政治」「経済」といった各最下層ジャンルに分類される文書を取得対象とする。
【００２７】
指定される分類体系は１階層や３階層以上であってもよく、階層の深さが均一でないようなジャンル体系であってもよい。いずれの場合も、最下層ジャンルを収集対象とみなせばよい。
【００２８】
情報源は、新聞記事、書籍、Webページなど、ある特定の主題に沿って記述された文章を含むものであればよい。情報源が予め分類されていない場合や、指示されたジャンル体系に沿って分類されていない場合には、手動で分類するか、あるいは自動分類器を用いればよい。また、Webページの場合には検索エンジンを利用し、「野球」など収集対象のジャンル名をキーにした検索でヒットしたページを収集の対象としてもよい。
【００２９】
文書中の出現語句は、収集文書が多ければ多いほど各ジャンルの統計的特徴が出やすくなる。このため、辞書の精度を高めるには、各ジャンル毎に多くの文書を収集する必要がある。
【００３０】
文書データ取得部１１０が収集した各文書データは、語句抽出部１２０が解析を行い、文中の語句を切り出す。ドメイン別概念辞書５０に登録する語句は対象ドメインの特徴をよく表す語がふさわしい。動詞や形容詞や副詞は、ジャンル毎に出現度数に大きな特徴が表れにくいため、辞書検索には名詞がより適している。特に、複合名詞、固有名詞は分野毎の特徴を如実に表す場合が多く、概念辞書構築の対象語句として適している。本実施の形態では、文中の名詞を切り出して辞書構築に用いるものとし、固有名詞を含めた各種名詞を総称して語句と呼ぶ。
【００３１】
語句抽出部１２０は、収集文書ごとに形態素解析を行い、文中に登場する語句を抽出する。また、このとき、文書内での各語句の出現度数を集計し、抽出語句データベース２０に、図６の形式で収集文書毎の語句リストとして記録する（ステップ１０２）。
【００３２】
図６は、ジャンル１からNまでのNジャンルに分類される文書をそれぞれ複数収集し、語句リストを作成した場合の例である。語句と文書内出現度数の組からなるリストとして文書毎に保存する。
【００３３】
語句選定部２００は、互いに異なる選定基準を持つ基底語句選定部２１０と定義語句選定部２２０からなり、抽出語句データベース２０に保存された語句群から、それぞれ後述する定義語句を選定し、図７のように基底語句データベース３０、定義語句データベース４０に記録する（ステップ１０３）。
【００３４】
基底語句選定部２１０は、抽出語句ＤＢ２０に格納された語句から基底語句を定義し、基底語句ＤＢ３０に格納する(ステップ１０４)。ここでの選定は、基底語句の仮選定であり、後のステップで再選定を行い、再度概念ベクトルの計算を実施する場合がある。
【００３５】
本発明のドメイン別概念辞書構築装置が構築する概念辞書の例を図８に示す。縦に並ぶ語句（Wdef1,Wdef2,…）の概念が、横に並ぶ語句それぞれとの関連度を数値化して羅列したベクトルとして定義されるものである。横に並ぶ語句の数がベクトルの次元となる。以下、このベクトルを概念ベクトルと呼ぶ。例えば、Wdef1は、語句Wbasc1との関連度が0.40、語句Wbase2との関連度が0.08、語句Wbase3との関連度が0.01、語句Wbase4との関連度が0.12、…となる。Wbase1,Wbase2,Wbase3,Wbase4,…は、概念を定義するための属性となる語句であり、これを基底語句と呼ぶ。一方、Wdef1,Wdef2,Wdef3,Wdef4,…は概念辞書５０によって意味付けされる語句であり、辞書の見出し語であるともいえる。以下のこの語句を定義語句と呼ぶ。
【００３６】
概念ベクトル生成部３００の概念ベクトル計算部３１０は、基底語句ＤＢ３０に格納された基底語句と、定義語句ＤＢ４０に選定された定義語句の全ての組み合わせについて関連度を算出し、概念ベクトルの計算を行う（ステップ１０５）。
【００３７】
語句間の関連度を決定する方法には、同一文書内に出現する語句の分布を調べる方法がある。ある文書内で同時に出現しやすい語句は互いに関連性が高く、さらに、ジャンル内での出現度数が高ければジャンルの特徴を強く表す語である可能性が高い。例えば、政治に関するある新聞記事には「内閣総理大臣」と「首相官邸」という語が同時に出現する可能性が高く、さらに、これらの語は「政治」というジャンルを特徴付ける語にもなっている。
【００３８】
以下、語句間の関連度を属性値とする概念ベクトルの計算方法について説明する。まず、定義語句リスト中の第1の語句Wdef1について、基底語句リスト中の第1の語句Wbase1との関連を、文書内の出現語句リストに保存されている抽出語句データベース２０を参照して調べる。Wdef1とWbase1が同時に出現する文書数がnであったとすると、Wdef1に対するWbase1の属性値がｎとなる。同様にして、第1の定義語句Wdef1に対し、WbaseYまでの全ての基底語句との同一文書内出現回数を調べ、属性値を決定していく。これを全定義語句Wdef1〜WdefXについて行い、全ての概念ベクトルを計算する。
【００３９】
概念辞書評価部３２０は、構築された概念辞書５０の評価の指標である空間情報量を算出する。空間情報量の算出について後述する(ステップ１０６)。
【００４０】
次に、算出した空間情報量の値が最適であるか否かを判定し、最適であると判断されるまで、空間情報量の値が大きくなるようステップ１０４に戻って、基底語句の選定を再度実施する(ステップ１０７)。
【００４１】
ステップ１０７の処理終了の判断は、空間情報量の閾値を設け、一定値を超えた場合に終了する方法や、繰り返しの回数に上限を設ける方法などがあり、実用的な処理時間などを考慮して決定するのがよい。
【００４２】
続いて、基底語句選定部２１０、定義語句選定部２２０について詳しく説明する。
【００４３】
基底語句は、高次元ベクトル空間内での定義語句の分布の度合いを決める要因となる。例えば、基底語句として「こと」「人」「今日」など、あらゆるジャンルの文書に出現する一般的な語句を選定したと仮定する。この場合、異なるジャンルに属する定義語句の概念ベクトル同士が似通ってしまい、ジャンル毎の特徴が現れにくい概念辞書となる。換言すれば各ジャンルに属する定義語句が高次元ベクトル空間内で密集する空間となり、語句の概念間の類似度が表現されにくい辞書になる。
【００４４】
逆に、基底語句としてある特定のジャンルにしか出現しない語句ばかりを選定したと仮定すると、高次元ベクトル空間内の定義語句群はジャンル毎に孤立した集合を形成する傾向が生じる。この場合、異なるジャンルに属する語句間の関連度は極端に低くなり、上記の例と同様に、類似度が表現されにくい辞書になる。
【００４５】
基底語句選定部２１０は、上記2例に反する特徴を満たす語句を選定する機能を有する。即ち、ある特定のジャンルを特徴付ける語句であるが、他のジャンルとも関連のある語句を選定する。
【００４６】
一方、定義語句は、概念辞書５０の見出し語とも言える語句であるため、定義語句選定部２２０は、各ジャンル内を特徴付ける語句で、かつジャンル内でよく出現する語句を選定する。
【００４７】
抽出語句リスト内の語句WordXについて、あるジャンルG内での出現度数がF(G,X)回であり、全Nジャンル中でWordXが出現するジャンル数がｇ（X）ジャンルであったとする。
【００４８】
このとき、ジャンル総数Nを出現ジャンル数ｇ（X）で割った値の対数値は、全ジャンルに出現する語句（g（X）＝N）の場合０となり、出現ジャンル数が減るにつれて大きくなるため、この対数値にジャンルG内での出現度数F(G,X)を乗じた値（式（１）のＴＦＩＧＦ（G，X））は、ジャンル内での出現度数が高く、かつ、出現ジャンル数が少ない語句ほど大きな値をとる。例えば、この指標を用いて、各ジャンル毎にＴＦＩＧＦ値の大きな語から一定数を選定すれば、各ジャンルに特徴的な語句の集合ができる。
【００４９】
【数１】
2005234865.tif 000003
基底語句選定部２１０ならびに定義語句選定部２２０によって選定された各語句集合を用いて、上記概念ベクトル生成部３００がベクトル計算し、概念辞書５０を構築する。
【００５０】
以下、本実施の形態のドメイン別概念辞書構築装置の動作の流れをフローチャートを用いて説明する。
【００５１】
図９は、本発明の一実施の形態における語句抽出部の処理のフローチャートである。
【００５２】
処理が開始されると、ジャンル別の収集対象文書を決定し（ステップ２０１）、各文書を収集して（ステップ２０２）、形態素解析により文書中の語句を抽出する（ステップ２０３）。１文書内での各語句の出現度数をカウントし（ステップ２０４）、集計結果を抽出語句データベース２０に記録する（ステップ２０５）。抽出語句データベース２０内では、語句とその出現度数のペアを文書別に管理する。これを、全ての対象文書の収集が終わるまで繰り返す（ステップ２０６）。
【００５３】
次に、基底語句選定部２１０の基底語句の選定方法について説明する。
【００５４】
図１０は、抽出語句ＤＢ２０に格納された語句を、定義語句の選定時に算出済みである上記の式(１)によるＴＦＩＧＦ（Ｇ，Ｘ）の値によって並び替えたものである。下位に進むにつれ、あらゆるジャンルで一般的によく用いられる抽象的な語句が目立つリストになる。基底語句選定部２１０は、このリストから連続する一定数の語句を基底語句として選定し、基底語句ＤＢ３０に格納する。
【００５５】
基底語句として選定される語句が、出現するジャンルが限られる特徴的な語句ばかりであっても多くのジャンルに出現する一般的な語句ばかりであっても、類似度の表現力が欠如した概念辞書になってしまうが、本実施の形態で使用する空間情報量は、概念辞書５０の表現力の大小を表す空間情報量の値に基づいて基底語句を再選定することで、最適な概念辞書を構築するための基底語句の選定を自動化するものである。空間情報量の算出については、図１３において後述する。
【００５６】
図１１は、本発明の一実施の形態における定義語句選定処理のフローチャートである。
【００５７】
まず、定義語句選定処理部２２０は、抽出語句データベース２０内で文書別に管理されている抽出語句をジャンル別に集計し、ジャンル別の抽出語句リストを作成する（ステップ４０１）。続いて、注目するジャンルＧ内の語句について、ジャンルＧ内での出現度数、及びその語句が出現するジャンル数を調べる（ステップ４０２）。この後、それらの値を用いて、評価値を算出し（ステップ４０３）、これをジャンルＧ内の語句全ての評価値が求まるまで繰り返す（ステップ４０４）。さらに、この処理を注目ジャンルを変えながら全ジャンルについて行い（ステップ４０５）、最終的に、抽出語句データベース２０内の全語句の評価値を算出する。評価値によって、ジャンル内の語句を降順にソートし（ステップ４０６）、最後に、評価値の大きい語句から一定語数をジャンル別に選定し定義語句として定義語句データベース４０に記録する（ステップ４０７）。
【００５８】
次に、概念ベクトル生成部３００の処理を説明する。
【００５９】
図１２は、本発明の一実施の形態における概念ベクトル生成処理のフローチャートである。
【００６０】
概念ベクトルの生成は、概念ベクトル生成部３００において、基底語句データベース３０と定義語句データベース４０及び抽出語句データベース２０を参照することにより行われる。
【００６１】
まず、概念ベクトル計算部３１０は、定義語句データベース４０から１語句Wdefを取得し（ステップ５０１）、続いて基底語句データベース３０から１語句Wbaseを取得する（ステップ５０２）。抽出語句データベース２０を参照することでWdefとWbaseが同時に出現する文書の数を調べ、これをWdefとWbaseに対する関連度とする（ステップ５０３）。上記のステップ５０２，５０３を基底語句データベース３０内の全ての語句を対象として繰り返す（ステップ５０４）。１個の定義語句に対して全ての基底語句との関連度が求まれば、基底語句数を次元数とする概念ベクトルが１個求まり、概念辞書５０に登録する（ステップ５０５）。全定義語句の概念ベクトルが終了していなければ（ステップ５０６）、ステップ５０１に戻って処理を繰り返し全定義語句の概念ベクトルからなる概念辞書５０を構築する。
【００６２】
次に、概念辞書評価部３２０における、空間情報量の算出方法について説明する。
【００６３】
基底語句、定義語句をそれぞれ、列数、行数とする行列で表される概念辞書５０は、基底語句数に等しい次元数を持つ高次元空間中に、定義語句が分布したものと見做すことができる。同一のジャンルから選定された定義語句は、他のジャンルから選定された定義語句に比べれば互いに高い関連性を持つ場合が多い。このため、概念辞書５０が形成する高次元空間中では、各ジャンルに属する提議後句が近くに集まってクラスタを形成する。
【００６４】
基底語句として『日経平均株価』『ホームラン』のような特徴的な語句を選定した場合は、『経済』ジャンルから選定された定義語句については『ホームラン』という基底語句との関連度が極めて小さく、逆に『野球』ジャンルから選定された定義語句については、『日経平均株価』との関連度が極めて小さくなる傾向がある。このため、異なるジャンルに属する２ベクトル間の距離、即ち、高次元空間中での２語句間の距離が大きくなり、各ジャンルが形成するクラスタが独立しやすくなる。
【００６５】
一方、基底語句として『今日』『こと』のような一般的な語句を選定した場合は、２ベクトル間の距離は該当する定義語句が所属するジャンルとは無関係に小さくなる。このため、各ジャンルに属する定義語句が混在した高次元空間となる。
【００６６】
概念辞書評価部３２０は、まず高次元空間中での異なる２ジャンルの定義語句が混在する割合を表す重複率Ｐ（Ｘ，Ｙ）を次式で定義する。重複率は、２ジャンルが高次元空間上で完全に独立する場合には０となり、完全に一致する場合に１となる。
【００６７】
【数２】
2005234865.tif 000004
なお、式中の記号は以下のように定義されるものである。図１３は、異なる２ジャンルＧｘ，Ｇｙに注目し、概念辞書５０が形成する高次元空間中における定義語句の分布を描いた図である。ｇｘ、ｇｙは、各ジャンルに属する定義語句のベクトルの重心ベクトルである。ｒｘ、ｒｙは、各ジャンルに属する定義語句のベクトルと重心ベクトルがなす角の標準偏差であり、高次元空間中での定義語句の拡がりの大きさを表す。このとき、図中の斜線領域を２ジャンルの重複領域Ｇｘｙと呼び、Ｇｘｙに含まれる語句についても同様に標準偏差ｒｘｙを算出する。
【００６８】
概念辞書評価部３２０は、続いて次式で空間情報量ＳＩを算出する。ＳＩは、異なる２ジャンル間の重複率のエントロピーの総和であり、高次元空間内での各ジャンル間の重なりの度合を評価する値となっている。
【００６９】
【数３】
2005234865.tif 000005
基底語句は、ＴＦＩＧＦ（Ｇ，Ｘ）の値によって並び替えた語句の抽出語句から選定する方法に限定する必要はなく、他の方法によって選定した基底語句を空間情報量ＳＩの値によって評価してもよい。
【００７０】
さらに、空間情報量ＳＩは基底語句の選定の最適化のみならず、定義語句の選定や選定する語数等、他のパラメータの調整にも利用可能である。
【００７１】
また、上記の抽出部１００、語句選定部２００及び、概念ベクトル生成部３００の処理をプログラムとして構築し、ドメイン別概念辞書構築装置として利用されるコンピュータにインストールして、ＣＰＵ等の制御手段により実行させる、または、ネットワークを介して流通させることも可能である。
【００７２】
また、構築されたプログラムをドメイン別概念辞書構築装置として利用されるコンピュータに接続されるハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールするようにしてもよい。
【００７３】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【００７４】
本発明は、取得した文書データから概念辞書を作成する技術に適用可能である。
【図面の簡単な説明】
【００７５】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態におけるドメイン別概念辞書構築装置の構成図である。
【図４】本発明の一実施の形態におけるドメイン別概念辞書構築装置の動作を示すフローチャートである。
【図５】本発明の一実施の形態におけるジャンル体系の１例である。
【図６】本発明の一実施の形態における抽出語句データベースの例である。
【図７】本発明の一実施の形態における定義語句リスト・基底語句リストの例である。
【図８】本発明の一実施の形態における概念辞書の例である。
【図９】本発明の一実施の形態における語句抽出部の処理を示すフローチャートである。
【図１０】本発明の一実施の形態における抽出語句とＴＦＩＧＦ（Ｇ，Ｘ）の値である。
【図１１】本発明の一実施の形態における定義語句選定処理のフローチャートである。
【図１２】本発明の一実施の形態における概念ベクトル生成処理のフローチャートである。
【図１３】本発明の一実施の形態における概念辞書が形成する高次元空間中でのジャンルの重複領域である。
【符号の説明】
【００７６】
１０  情報源、外部情報源
２０  抽出語句データベース
３０  基底語句データベース
４０  定義語句データベース
５０  概念辞書
６０  データベース
１００  抽出手段、抽出部
１１０  文書データ取得手段、文書データ取得部
１２０  語句抽出手段、語句抽出部
２００  語句選定手段、語句選定部
２１０  基底語句選定手段、基底語句選定部
２２０  定義語句選定手段、定義語句選定部
３００  概念ベクトル生成手段、概念ベクトル生成部
３１０  概念ベクトル計算手段、概念ベクトル計算部
３２０  概念評価手段、概念評価部
【図１】
2005234865.tif 000006
【図２】
2005234865.tif 000007
【図３】
2005234865.tif 000008
【図４】
2005234865.tif 000009
【図５】
2005234865.tif 000010
【図６】
2005234865.tif 000011
【図７】
2005234865.tif 000012
【図８】
2005234865.tif 000013
【図９】
2005234865.tif 000014
【図１０】
2005234865.tif 000015
【図１１】
2005234865.tif 000016
【図１２】
2005234865.tif 000017
【図１３】
2005234865.tif 000018