(57)【特許請求の範囲】
【請求項１】
抽出意図文書記憶部、
非抽出意図文書記憶部、
意図抽出ルール生成部、
入力部、
テキスト解析部、
意図抽出部
を備えたテキストマイニング装置におけるテキストマイニング方法において、
上記意図抽出ルール生成部が、
上記抽出意図文書記憶部に記憶され、利用者が抽出を望む人間の意図が表現されたものである所望の抽出意図を含む文書の集合について、単語の品詞及び統計量を解析する抽出意図文書解析ステップと、
上記非抽出意図文書記憶部に記憶された上記所望の抽出意図を含まない文書の集合について、単語の品詞及び統計量を解析する非抽出意図文書解析ステップと、
上記抽出意図文書解析ステップ及び上記非抽出意図文書解析ステップの解析結果に基づいて、上記抽出意図文書解析ステップの解析結果と上記非抽出意図文書解析ステップの解析結果に共通に出現する語のうち、所定の閾値以上の統計量を持つ単語であって、副詞、形容詞、接続詞、助詞及び助動詞以外の所定の品詞を持つ単語を除去する不要語除去ステップと、
上記不要語除去ステップの不要語除去結果に基づいて、単語の共起パタンを抽出し、当該単語の共起パタンに基づいて、上記所望の抽出意図を定義した意図抽出ルールを生成する意図抽出ルール生成ステップとを実行し、
上記入力部が入力した分析対象である電子化文書の集合について、上記テキスト解析部が、単語の品詞を解析するテキスト解析ステップを実行し、
上記意図抽出部が、上記意図抽出ルール生成ステップで生成された意図抽出ルールに従って、上記テキスト解析ステップの解析結果から上記所望の抽出意図に対応した文書を取り出す意図抽出ステップを実行する
ことを特徴とするテキストマイニング方法。
【請求項２】
上記不要語除去ステップは、指定された単語を除去しないことを特徴とする請求項１記載のテキストマイニング方法。
【請求項３】
関連検索部と、
意図抽出ルール記憶部と、
意図抽出ルールを指定する抽出意図指定部と、
抽出ルール選択部とを備え、
上記関連検索部が、上記入力部より入力した電子化文書とあらかじめ登録された複数の文書から単語の出現傾向が類似した文書を検索する関連検索ステップを実行し、
上記意図抽出ルール生成部が、上記意図抽出ルール生成ステップにより生成した複数の意図抽出ルールを意図抽出ルール記憶部に記憶する意図抽出ルール記憶ステップを実行し、
上記抽出ルール選択部が、上記抽出意図指定部で指定された意図抽出ルールを上記意図抽出ルール記憶部から選択する抽出ルール選択ステップを実行し、
上記意図抽出ステップは、上記抽出ルール選択ステップによって選択された意図抽出ルールに従い上記関連検索ステップで検索された文書から、意図に応じた文書を得る構成にされたことを特徴とする請求項１記載のテキストマイニング方法。
【請求項４】
利用者が抽出を望む人間の意図が表現されたものである所望の抽出意図を含む文書の集合について、単語の品詞及び統計量を解析する抽出意図文書解析部と、
上記所望の抽出意図を含まない文書の集合について、単語の品詞及び統計量を解析する非抽出意図文書解析部と、
上記抽出意図文書解析部及び上記非抽出意図文書解析部の解析結果に基づいて、上記抽出意図文書解析部の解析結果と上記非抽出意図文書解析部の解析結果に共通に出現する語のうち、所定の閾値以上の統計量を持つ単語であって、副詞、形容詞、接続詞、助詞及び助動詞以外の所定の品詞を持つ単語を除去する不要語除去部と、
上記不要語除去部の不要語除去結果に基づいて、単語の共起パタンを抽出し、当該単語の共起パタンに基づいて、上記所望の抽出意図を定義した意図抽出ルールを生成する意図抽出ルール生成部と、
分析対象である電子化文書の集合について、単語の品詞を解析するテキスト解析部と、
上記意図抽出ルール生成部で生成された意図抽出ルールに従って、上記テキスト解析部の解析結果から上記所望の抽出意図に対応した文書を取り出す意図抽出部と
を備えることを特徴とするテキストマイニング装置。
【請求項５】
上記分析対象である電子化文書のテキストとあらかじめ登録された複数の文書から単語の出現傾向が類似した文書を検索する関連検索部と、
上記意図抽出ルール生成部により生成された複数の意図抽出ルールを記憶する意図抽出ルール記憶部と、
上記複数の意図抽出ルールのいずれかを指定する抽出意図指定部と、
上記抽出意図指定部で指定された意図抽出ルールを上記意図抽出ルール記憶部から選択する抽出ルール選択部とを備え、
上記意図抽出部は上記抽出ルール選択部によって選択された意図抽出ルールに従い上記関連検索部で検索された文書から、意図に応じた文書を得る構成にされたことを特徴とする請求項４記載のテキストマイニング装置。
【請求項６】
以下の手順を備えたテキストマイニングプログラムを記録したコンピュータ読み取り可能な記憶媒体；
(a)利用者が抽出を望む人間の意図が表現されたものである所望の抽出意図を含む文書の集合について、単語の品詞及び統計量を解析する抽出意図文書解析手順；
(b)上記所望の抽出意図を含まない文書の集合について、単語の品詞及び統計量を解析する非抽出意図文書解析手順；
(c)上記抽出意図文書解析手順及び上記非抽出意図文書解析手順の解析結果に基づいて、上記抽出意図文書解析手順の解析結果と上記非抽出意図文書解析手順の解析結果に共通に出現する語のうち、所定の閾値以上の統計量を持つ単語であって、副詞、形容詞、接続詞、助詞及び助動詞以外の所定の品詞を持つ単語を除去する不要語除去手順；
(d)上記不要語除去手順の不要語除去結果に基づいて、単語の共起パタンを抽出し、当該単語の共起パタンに基づいて、上記所望の抽出意図を定義した意図抽出ルールを生成する意図抽出ルール生成手順；
(e)分析対象である電子化文書の集合について、単語の品詞を解析するテキスト解析手順；
(f)上記意図抽出ルール生成手順で生成された意図抽出ルールに従って、上記テキスト解析手順の解析結果から上記所望の抽出意図に対応した文書を取り出す意図抽出手順。
【請求項７】
さらに以下の手順を備えたテキストマイニングプログラムを記録した請求項６記載のコンピュータ読み取り可能な記憶媒体；
(g)上記分析対象である電子化文書のテキストとあらかじめ登録された複数の文書から単語の出現傾向が類似した文書を検索する関連検索手順；
(h)上記意図抽出ルール生成手順により生成された複数の意図抽出ルールを意図抽出ルール記憶部に記憶する意図抽出ルール記憶手順；
(i)上記複数の意図抽出ルールのいずれかを指定する抽出意図指定手順；
(j)上記抽出意図指定手順で指定された意図抽出ルールを上記意図抽出ルール記憶部から選択する抽出ルール選択手順；
(k)上記意図抽出手順は、上記抽出ルール選択手順によって選択された意図抽出ルールに従い上記関連検索手順で検索された文書から、意図に応じた文書を得る手順。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、テキストを含む大量の電子化文書から、例えば、クレームに関する文書、あるいは要望に関する文書を取り出したい、といった利用者の意図に応じた情報を見つけ出すテキストマイニング方法及びテキストマイニング装置並びにコンピュータ読み取り可能な記憶媒体に関するものである。
【０００２】
【従来の技術】
問い合わせメール、コールセンターでの問い合わせ記録、アンケート調査結果など日々蓄積される電子的な文書に含まれるテキストから、利用者の特定の意図に沿った文書のみを取り出したいという要求が強い。例えば、大量のメールの中からクレームに関するものを優先して対処するために、クレームに関するメールのみを取り出したいという要求である。
【０００３】
こうした要求に対して、あらかじめパタン定義として与えられたルールを用いて、そのルールに合致するテキストを順位付けて取り出す方法が、従来技術１（文献：諸橋ほか「テキストマイニング：膨大な文書データからの知識獲得」―意図の認識―，情報処理学会第57回全国大会 5K-3, ３分冊、pp.75-76、1998年）に開示されている。文献１は、パタン定義によるルールで指定された意図に応じたテキストを抽出して分析することを目的としている。
【０００４】
従来技術(1)の動作について、図8において説明する。入力部１から入力され、定型データ（日付等）が関連づけられたテキストデータを形態素解析部２で単語ごとに分割し、自立語の分類を記述したカテゴリ辞書11と、抽出意図ルール記憶部10に記憶された、あらかじめ定義した共起語(同一文中に出現する語)のパタンにより抽出意図を定義したルールを用いてその共起語を含むテキストを意図抽出部2003において抽出する。また、抽出した意図抽出結果５の中の共起語と、もとの入力データの定型データの組み合わせにより、期間毎のデータ件数、カテゴリ別のデータ件数等をデータ分析部６で分析する。
【０００５】
また、良く知られた従来技術(2)として、文書中に出現した単語を文書全体における出現頻度により重み付けし、文書毎のベクトルを索引としてこの重みを保持しておき、検索入力として与えられたテキスト中の単語からなるベクトルと比較して、大量の文書中データから入力に関連する文書を広く検索するベクトル空間モデルによる文書検索（以下、関連検索と呼ぶ）がある。
【０００６】
【発明が解決しようとする課題】
従来技術(1)では、あらかじめ与えたパタン定義によるルールを用いて、単に所与のルールに合致するテキストを順位づけて検索するのみで、ルールの獲得の支援が考慮されていないため、種々の意図に応じたテキストの抽出を行なおうとすると、パタン定義の手間がかかるという問題点があった。
【０００７】
また、従来技術(2)では、単語の出現傾向の似通った文書をすべて検索してしまうため、所望の検索意図に沿わない文書まで検索結果に含まれてしまうという問題点があった。
【０００８】
この発明は、上記のような問題点を解決するためになされたもので、所望の抽出意図を含む文書の集合と抽出意図を含まない文書の集合とから意図抽出ルールを生成する意図抽出ルール生成部を備えることにより、意図抽出のルールが学習可能になり、ルールを明示的に指定しなくても意図したテキスト情報を抽出できるようにする方法を提供する。
【０００９】
また、この発明は、上記のような問題点を解決するために、前記学習可能な意図抽出ルールを用いる意図抽出部を関連検索の後処理として用いることで、大量の文書データから意図に沿った文書のみを抽出することができるようにする方法を提供する。
【００１０】
【課題を解決するための手段】
この発明のテキストマイニング方法は、抽出意図文書記憶部、非抽出意図文書記憶部、意図抽出ルール生成部、入力部、テキスト解析部、意図抽出部を備えたテキストマイニング装置におけるテキストマイニング方法において、上記意図抽出ルール生成部が、上記抽出意図文書記憶部に記憶され、利用者が抽出を望む人間の意図が表現されたものである所望の抽出意図を含む文書の集合について、単語の品詞及び統計量を解析する抽出意図文書解析ステップと、上記非抽出意図文書記憶部に記憶された上記所望の抽出意図を含まない文書の集合について、単語の品詞及び統計量を解析する非抽出意図文書解析ステップと、上記抽出意図文書解析ステップ及び上記非抽出意図文書解析ステップの解析結果に基づいて、上記抽出意図文書解析ステップの解析結果と上記非抽出意図文書解析ステップの解析結果に共通に出現する語のうち、所定の閾値以上の統計量を持つ単語であって、副詞、形容詞、接続詞、助詞及び助動詞以外の所定の品詞を持つ単語を除去する不要語除去ステップと、上記不要語除去ステップの不要語除去結果に基づいて、単語の共起パタンを抽出し、当該単語の共起パタンに基づいて、上記所望の抽出意図を定義した意図抽出ルールを生成する意図抽出ルール生成ステップとを実行し、上記入力部が入力した分析対象である電子化文書の集合について、上記テキスト解析部が、単語の品詞を解析するテキスト解析ステップを実行し、上記意図抽出部が、上記意図抽出ルール生成ステップで生成された意図抽出ルールに従って、上記テキスト解析ステップの解析結果から上記所望の抽出意図に対応した文書を取り出す意図抽出ステップを実行する。
【００１４】
また、この発明のテキストマイニング装置は、利用者が抽出を望む人間の意図が表現されたものである所望の抽出意図を含む文書の集合について、単語の品詞及び統計量を解析する抽出意図文書解析部と、上記所望の抽出意図を含まない文書の集合について、単語の品詞及び統計量を解析する非抽出意図文書解析部と、上記抽出意図文書解析部及び上記非抽出意図文書解析部の解析結果に基づいて、上記抽出意図文書解析部の解析結果と上記非抽出意図文書解析部の解析結果に共通に出現する語のうち、所定の閾値以上の統計量を持つ単語であって、副詞、形容詞、接続詞、助詞及び助動詞以外の所定の品詞を持つ単語を除去する不要語除去部と、上記不要語除去部の不要語除去結果に基づいて、単語の共起パタンを抽出し、当該単語の共起パタンに基づいて、上記所望の抽出意図を定義した意図抽出ルールを生成する意図抽出ルール生成部と、分析対象である電子化文書の集合について、単語の品詞を解析するテキスト解析部と、上記意図抽出ルール生成部で生成された意図抽出ルールに従って、上記テキスト解析部の解析結果から上記所望の抽出意図に対応した文書を取り出す意図抽出部とを備える
【００１６】
また、この発明のコンピュータ読み取り可能な記憶媒体は、以下の手順を備えた；
(a)利用者が抽出を望む人間の意図が表現されたものである所望の抽出意図を含む文書の集合について、単語の品詞及び統計量を解析する抽出意図文書解析手順；
(b)上記所望の抽出意図を含まない文書の集合について、単語の品詞及び統計量を解析する非抽出意図文書解析手順；
(c)上記抽出意図文書解析手順及び上記非抽出意図文書解析手順の解析結果に基づいて、上記抽出意図文書解析手順の解析結果と上記非抽出意図文書解析手順の解析結果に共通に出現する語のうち、所定の閾値以上の統計量を持つ単語であって、副詞、形容詞、接続詞、助詞及び助動詞以外の所定の品詞を持つ単語を除去する不要語除去手順；
(d)上記不要語除去手順の不要語除去結果に基づいて、単語の共起パタンを抽出し、当該単語の共起パタンに基づいて、上記所望の抽出意図を定義した意図抽出ルールを生成する意図抽出ルール生成手順；
(e)分析対象である電子化文書の集合について、単語の品詞を解析するテキスト解析手順；
(f)上記意図抽出ルール生成手順で生成された意図抽出ルールに従って、上記テキスト解析手順の解析結果から上記所望の抽出意図に対応した文書を取り出す意図抽出手順。
【００１８】
【発明の実施の形態】
実施の形態1.
図１は、この発明の実施の形態１のテキストマイニング装置の構成例を示したものである。図１に示したテキストマイニング装置は、データを入力し、入力したデータに定型データ（日付等）を関連づける入力部1と、入力部1から入力されたテキストを含む電子化文書の形態素解析等の所定解析を形態素解析用の辞書（図示せず）を用いて行なうテキスト解析部２と、抽出意図を含むサンプル文書の集合Aを記憶した抽出意図文書記憶部7と、抽出意図を含む文書の集合と同一分野の文書であって抽出意図を含まないサンプル文書Bの集合を記憶した非抽出意図文書記憶部8と、抽出意図文書記憶部7の抽出意図を含む文書の集合および非抽出意図文書記憶部8の抽出意図を含まない文書の集合から意図抽出ルールを生成する意図抽出ルール生成部９と、意図抽出ルール生成部９が生成した意図抽出ルールをを記憶した意図抽出ルール記憶部10と、自立語の分類等の単語の分類を記述したカテゴリ辞書11の単語の分類を参照し、意図抽出ルール記憶部10の意図抽出ルールに従ってテキスト解析部２の出力から意図に対応した文書のみを取り出す意図抽出部４と、入力データの持つ定型データと意図抽出結果５とを分析するデータ分析部６とから構成される。
【００１９】
なお、図１に示す入力データの持つ定型データと意図抽出結果５とを分析するデータ分析部６を省略した構成としても良い。
また、明細書中では、テキスト中の意味的にまとまりのある自然言語の表現を文という言葉で代表させて表すが、処理の対象は文の断片であっても良い。
【００２０】
この発明の実施の形態１における動作を図１により説明する。まず、抽出意図文書記憶部7に記憶された抽出意図を含む文書の集合、例えば、クレームに関する文書のみを抽出したい場合には、クレームに関する表現を含む文書を集めたものと、非抽出意図文書記憶部8に記憶された前記抽出意図を含む文書の集合と同一分野の文書であって抽出意図を含まない文書の集合を意図抽出ルール生成部９に与えることにより、意図抽出ルール生成部9において、意図抽出ルール10を生成する。意図抽出ルールの生成方法については、後で図2を用いて詳述する。
【００２１】
次に、テキスト解析部2に入力部1から分析対象とする入力データの集合を与える。このとき、入力データには、自然言語で記述されたテキストデータと、各テキストデータに関連した定型データ（日付、データの所有者等）とを含むものとする。
【００２２】
テキスト解析部2では、入力データ中のテキストデータを形態素解析等を用いることにより、単語単位に分割する。このとき、テキスト解析部2によるテキスト解析結果3の各単語には、解析に用いた形態素解析用の辞書が含む品詞、単語の分類等の情報を含むものとする。また、各単語の文単位でのまとまりの情報を保持するものとする。ここで、形態素解析に関しては、広く公知の技術であるので、詳細は省略する。
【００２３】
次に、意図抽出部4では、テキスト解析部2によるテキスト解析結果3から、意図抽出ルール記憶部10に記憶された意図抽出ルールに従って、ルールに合致するテキストのみを意図抽出結果5として取り出す。このとき、自立語の分類等の単語の分類を記述したカテゴリ辞書11を用いて、特定のカテゴリを持つ単語を含むテキストのみを取り出すようにする。
【００２４】
さらに、データ分析部6において、意図抽出部4で抽出した意図抽出結果5を入力部1からの入力データの定型データと組み合わせて、例えば、定型データとして時間を含む場合には、意図抽出結果5の期間毎のデータ件数を分析する。
【００２５】
図2は、この発明の実施の形態１における意図抽出ルール生成部９の動作を示す流れ図である。以下、適宜図１乃至図６を参照しつつ、図2の流れ図にしたがって意図抽出ルール生成部9の動作につき具体例を用いて詳細に説明する。まず、図2のステップS201において、抽出意図文書記憶部7に記憶された抽出意図を含むサンプル文書の集合Aの解析を行なう。次に、ステップS202で、サンプル文書の集合Aの解析結果から、頻度付きの単語表(A)を生成する。
【００２６】
図３の301は、ステップS202で生成される頻度付きの単語表(A)の例である。301の単語表(A)は、各単語毎に単語の表記、品詞、頻度のフィールド等を持つものとする。なお、ここでは、サンプル文書Aにおける単語の統計量を頻度で代表させて説明することとするが、他の統計量を用いても良い。
【００２７】
次に、ステップS203で、非抽出意図文書記憶部8に記憶された抽出意図を含まないサンプル文書Bのテキストの解析を行なう。次に、ステップS204で、サンプル文書の集合Bのテキスト解析結果から、頻度付きの単語表(B)を生成する。
【００２８】
図３の302は、ステップS204で生成される頻度付きの単語表(B)の例である。302の単語表(B)は、301の単語表(A)と同様に各単語毎に単語の表記、品詞、頻度のフィールド等を持つものとする。なお、ここでは、サンプル文書Bにおける単語の統計量を頻度によって代表させて説明することとするが、他の統計量を用いても良い。
【００２９】
次に、ステップS205で、頻度付き単語表(A)と頻度付き単語表(B)に共通に出現するある閾値以上の頻度を持つ自立語を、頻度付き単語表Aから不要語として除去する。図3の例では、301の単語表(A)において、名詞「製品」および動詞「問い合わせ」が、302の単語表(B)に共通に出現する自立語であるとして、301の単語表(A)から除去する。
【００３０】
このとき、ステップS205において除去する自立語として、例えば、名詞、動詞に限定するものとして、副詞、形容詞、接続詞は除去しないものとする。
この除去すべき品詞の指定は、任意に行なえるものとする。また、動詞および名詞であっても、除去しない単語を個別に指定できるものとする。単語の分類を記述したカテゴリ辞書11を用いて、単語の分類によって除去するか否かを指定するようにしても良い。
【００３１】
なお、この実施例では、単語の分類を記述したカテゴリ辞書11を意図抽出部4において用いる例を示しているが、単語の分類を格納した辞書をテキスト解析部2で用いることによって、解析時にカテゴリ情報を各単語に設定しておき、図３に示した単語表301、302に格納しておくことによって、意図抽出部4では、単語表に格納されたカテゴリ情報を利用する構成としても良い。
【００３２】
次に、意図抽出ルール生成部９はステップS206で、サンプル文書Aの解析結果から図4に示す抽出表現表を生成する。このとき、図３の301の単語表(A)において頻度がある閾値以下の単語は、抽出表現表から除去しておく。
【００３３】
図４は、ステップS206で生成した抽出表現表の例である。ステップS205において、自立語のうち、名詞や動詞が除去されているので、抽出表現表を構成する各単語は、削除された名詞、動詞以外の副詞等の自立語と、助詞、助動詞とからなり、自然言語の文のうち、人間の意図を表現する単語を中心に構成される。なお、図４では省略しているが、図４中の各単語は、図３に示した単語表301、302と同様に、品詞および頻度の情報を持つように構成する。
【００３４】
次に、ステップS207で、図4の抽出表現表から共通する共起パタンの組み合わせ見つけて、意図抽出部４で用いる意図抽出ルールとして抽出する。意図抽出ルールは、例えば、図6に示すように単語の表記、品詞、重みの組からなるものとする。
【００３５】
図５は、意図抽出生成部9に与える抽出意図文書記憶部7に記憶された抽出意図を含むサンプル文書の集合Aと、非抽出意図文書記憶部8に記憶された抽出意図を含むサンプル文書の集合Aと同一分野で抽出意図を含まないサンプル文書Bとを概念的に示したものである。この例では、抽出意図として、「いつも」「信用」「でき」「ない」等の共起する単語の組で表されるクレームに関するテキストを抽出したい場合を示している。
【００３６】
図６は、意図抽出生成部９によって生成される抽出ルールの構成の例を示したものである。各ルールは、「信用」「でき」「ない」といった共起単語の組と、そのルールの重みの組から構成されるものとする。
【００３７】
この発明の実施の形態１は上記のように構成されているので、抽出意図を表す表現の文を含む文書の集合と、抽出意図を含む文書の集合と同一分野の文書であって抽出意図を含まない文書の集合から意図抽出ルールを生成する意図抽出ルール生成部を備えることにより、意図抽出のルールが学習可能になり、ルールを明示的に指定しなくても意図したテキスト情報を抽出できるという効果がある。
【００３８】
実施の形態２
図７は、この発明の実施の形態２のテキストマイニング装置の構成例を示すものである。図７に示したテキストマイニング装置は、実施の形態１で説明したこの発明の主要な構成部である意図抽出部４と意図抽出ルール生成部９に加えて、あらかじめ登録された文書データＣを記憶する文書データ記憶部20と、前記文書データＣの登録時に生成された文書索引Ｄを記憶する文書索引記憶部21と、入力部１からの入力テキストＥに対して、前記文書データＣから入力テキストＥと単語の出現傾向が類似した文書Ｆを検索する関連検索部22、関連検索部22が検索した文書Ｆを記憶する検索文書記憶部28と、所望の抽出意図に対応するルールを指定する抽出意図指定部23、意図抽出ルール生成部９により生成された複数の意図抽出ルールの集合Ｇを記憶する意図抽出ルール記憶部24、意図抽出ルール記憶部24から抽出意図指定部23で指定された意図に対応するルールを選択する抽出ルール選択部25から構成される。
【００３９】
なお、意図抽出ルール生成部９は実施の形態１と同様に、抽出意図を含む文書の集合と、抽出意図を含む文書の集合と同一分野の文書であって抽出意図を含まない文書の集合とから意図抽出ルールを生成する。
【００４０】
次に、この発明の実施の形態２における動作について説明する。関連検索部22は、入力部１から文書データが与えられたときに、従来から知られているベクトル空間モデルによる文書検索処理を行なうものであり，文書中に出現した単語の文書全体における出現頻度による重みを文書毎のベクトルを索引として保持しておく。ベクトルの要素となる単語の統計量としては、ｔｆ・ｉｄｆ値（各単語の各文書における頻度に、その単語の全文書における頻度の逆数をかけたもの）、χ２乗値等、何であっても良い。
【００４１】
まず、抽出意図指定部23において、抽出したい情報に関する意図を指定する。意図抽出ルール記憶部24に記憶された抽出意図ルールの集合Gに、「クレーム」抽出のルール26と、「要望」抽出のルール27等が含まれている場合に、これらの一覧をユーザインタフェースに表示して、例えば、「クレーム」に関する情報のみを抽出したい場合には、その一覧の中から指定する構成としても良い。
【００４２】
次に、関連検索部22では、入力部１から検索入力として与えられた入力テキストEを形態素解析して単語に分割し、この単語からなるベクトルを文書索引として文書索引記憶部21に記憶された文書索引Ｄ（文書毎のベクトル）と比較して、文書データ記憶部20に記憶された大量の文書データから入力テキストに関連する文書の集合Ｆを求める。関連検索部22では、単語の出現傾向の似通った文書をすべて検索してしまうため検索意図に沿わない文書まで検索結果Ｆに含まれることになる。
【００４３】
次に、抽出ルール選択部25において、抽出意図指定部23で指定された意図に関連するルールを抽出意図ルールの集合Gから選択して、意図抽出部４に伝達する。
【００４４】
次に、意図抽出部４では、抽出ルール選択部25で選択されたルールによって抽出した文書のみを関連検索部22の検索結果Fから取り出して、テキストマイニング結果Hとする。このとき、実施の形態１と同様に、データ分析部を設けて、テキスト以外の定型データ情報との関係を取り出すようにしても良い。
【００４５】
なお、前記実施の形態１及び実施の形態２で説明した処理手順を実現するテキストマイニングプログラムをコンピュータ読み取り可能な記憶媒体に記録し、この記憶媒体によりコンピュータを動作させ実行することも可能である。
【００４６】
実施の形態２において、複数の抽出意図の中から所望の抽出意図を指定する抽出意図指定部と、抽出意図指定部で指定された抽出意図ルールを選択する抽出意図選択部を設け、さらに関連検索部を備え、意図抽出部を関連検索の後処理として用いることで、大量の文書データから意図に沿った文書のみを抽出することができる。
【００４７】
【発明の効果】
この発明によれば抽出意図を含む文書の集合と、、前記文書データと同一分野の抽出意図を含まない文書の集合から意図抽出のルールが学習可能であるので、複数の意図抽出ルールを生成することができようになり、ルールを明示的に指定しなくても意図したテキスト情報を抽出できるという効果がある。
【００４８】
また、複数の抽出意図ルールの中から所望の抽出意図を指定し、指定された抽出意図の抽出意図ルールを選択し、さらに入力したテキストとあらかじめ登録された複数の文書から単語の出現傾向が類似した文書を検索し、検索された文書に上記選択された抽出意図ルールを適用することで、大量の文書データから意図に沿った文書のみを抽出することができる。
【図面の簡単な説明】
【図１】  この発明の実施の形態１のテキストマイニング装置の構成図。
【図２】 実施の形態１における意図抽出ルール生成部の動作を示す流れ図。
【図３】  頻度付きの単語表の説明図。
【図４】  抽出表現表の説明図。
【図５】  抽出意図を含む文書と、抽出意図を含まない文書の説明図。
【図６】  意図抽出ルールの説明図。
【図７】  この発明の実施の形態２のテキストマイニング装置の構成図。
【図８】  従来のテキストマイニング装置の構成図。
【符号の説明】
1：入力部、２：テキスト解析部、４：意図抽出部、６：データ分析部、7：抽出意図文書記憶部、8：非抽出意図文書記憶部、９：意図抽出ルール生成部、10：意図抽出ルール記憶部、11：カテゴリ辞書、20：文書データ記憶部、21：文書索引記憶部、22：関連検索部、23：抽出意図指定部、24：意図抽出ルール記憶部、25：抽出ルール選択部、28：検索文書記憶部。
【図１】
0004085568.tif 000002
【図２】
0004085568.tif 000003
【図３】
0004085568.tif 000004
【図４】
0004085568.tif 000005
【図５】
0004085568.tif 000006
【図６】
0004085568.tif 000007
【図７】
0004085568.tif 000008
【図８】
0004085568.tif 000009