(57)【要約】【課題】文書データの解析において、解析対象の文章の係り受け関係が考慮された、正確なパターン抽出を行うことを課題とする。【解決手段】複数の対象データを含む文書データを解析するための文書データ解析装置に、正規表現を用いて定義された複数の検索キーを保持する保持部２２と、保持された複数の検索キーを用いて複数の対象データを検索する検索部２４と、検索の結果を参照することで、対象データが、夫々、関連する検索キーの組み合わせとして予め定義された検索キー関係を含むか否かを判定する判定部２５と、複数の対象データ全体における検索キー関係の出現頻度または出現率を所定の閾値と比較し、所定の閾値以上である検索キー関係をパターンとして抽出する、パターン抽出部２６と、を備えた。【選択図】図９
2011081494.tif 000002
【特許請求の範囲】
【請求項１】
複数の対象データを含む文書データを解析するための文書データ解析装置であって、
正規表現を用いて定義された複数の検索キーを保持する保持手段と、
前記保持手段によって保持された前記複数の検索キーを用いて前記複数の対象データを検索する検索手段と、
前記検索手段による検索の結果を参照することで、前記対象データが、夫々、関連する検索キーの組み合わせとして予め定義された検索キー関係を含むか否かを判定する判定手段と、
前記複数の対象データ全体における該検索キー関係の出現頻度または出現率を所定の閾値と比較し、該所定の閾値以上である検索キー関係をパターンとして抽出する、パターン抽出手段と、
を備える文書データ解析装置。
【請求項２】
前記判定手段によって、前記対象データが前記検索キー関係を含むと判定された場合に、前記検索キー関係に予め関連付けられた属性情報を、該対象データの属性情報として取得する属性取得手段を更に備える、
請求項１に記載の文書データ解析装置。
【請求項３】
前記判定手段によって、前記対象データが前記検索キー関係を含むと判定された場合に、グループ化された類似する検索キー関係のグループのうち、前記対象データに含まれる前記検索キー関係が属するグループの、代表検索キー関係に関連付けられた属性情報を、該対象データの属性情報として取得する代表属性取得手段を更に備える、
請求項１に記載の文書データ解析装置。
【請求項４】
前記予め定義された検索キー関係に係る情報を変数として設定して、類似する検索キー関係同士をグループ化するクラスタリング処理を行うクラスタリング手段を更に備え、
前記代表属性取得手段は、前記クラスタリング手段によってグループ化されたグループのうち、前記対象データに含まれる前記検索キー関係が属するグループの、代表検索キー関係に関連付けられた属性情報を、該対象データの属性情報として取得する、
請求項３に記載の文書データ解析装置。
【請求項５】
複数の対象データを含む文書データを解析するための文書データ解析方法であって、コンピュータに、
正規表現を用いて定義された複数の検索キーを保持する保持ステップと、
前記保持ステップにおいて保持された前記複数の検索キーを用いて前記複数の対象データを検索する検索ステップと、
前記検索ステップにおける検索の結果を参照することで、前記対象データが、夫々、関連する検索キーの組み合わせとして予め定義された検索キー関係を含むか否かを判定する判定ステップと、
前記複数の対象データ全体における該検索キー関係の出現頻度または出現率を所定の閾値と比較し、該所定の閾値以上である検索キー関係をパターンとして抽出する、パターン抽出ステップと、
を実行させる文書データ解析方法。
【請求項６】
前記コンピュータに、
前記判定ステップにおいて、前記対象データが前記検索キー関係を含むと判定された場合に、前記検索キー関係に予め関連付けられた属性情報を、該対象データの属性情報として取得する属性取得ステップを更に実行させる、
請求項５に記載の文書データ解析方法。
【請求項７】
前記コンピュータに、
前記判定ステップにおいて、前記対象データが前記検索キー関係を含むと判定された場合に、グループ化された類似する検索キー関係のグループのうち、前記対象データに含まれる前記検索キー関係が属するグループの、代表検索キー関係に関連付けられた属性情報を、該対象データの属性情報として取得する代表属性取得ステップを更に実行させる、
請求項５に記載の文書データ解析方法。
【請求項８】
前記コンピュータに、
前記予め定義された検索キー関係に係る情報を変数として設定して、類似する検索キー関係同士をグループ化するクラスタリング処理を行うクラスタリングステップを更に実行させ、
前記代表属性取得ステップでは、前記クラスタリングステップにおいてグループ化されたグループのうち、前記対象データに含まれる前記検索キー関係が属するグループの、代表検索キー関係に関連付けられた属性情報が、該対象データの属性情報として取得される、
請求項７に記載の文書データ解析方法。
【請求項９】
複数の対象データを含む文書データを解析するための文書データ解析プログラムであって、コンピュータを、
正規表現を用いて定義された複数の検索キーを保持する保持手段と、
前記保持手段によって保持された前記複数の検索キーを用いて前記複数の対象データを検索する検索手段と、
前記検索手段による検索の結果を参照することで、前記対象データが、夫々、関連する検索キーの組み合わせとして予め定義された検索キー関係を含むか否かを判定する判定手段と、
前記複数の対象データ全体における該検索キー関係の出現頻度または出現率を所定の閾値と比較し、該所定の閾値以上である検索キー関係をパターンとして抽出する、パターン抽出手段と、
として機能させる文書データ解析プログラム。
【請求項１０】
前記コンピュータを、
前記判定手段によって、前記対象データが前記検索キー関係を含むと判定された場合に、前記検索キー関係に予め関連付けられた属性情報を、該対象データの属性情報として取得する属性取得手段として更に機能させる、
請求項９に記載の文書データ解析プログラム。
【請求項１１】
前記コンピュータを、
前記判定手段によって、前記対象データが前記検索キー関係を含むと判定された場合に、グループ化された類似する検索キー関係のグループのうち、前記対象データに含まれる前記検索キー関係が属するグループの、代表検索キー関係に関連付けられた属性情報を、該対象データの属性情報として取得する代表属性取得手段として更に機能させる、
請求項９に記載の文書データ解析プログラム。
【請求項１２】
前記コンピュータを、
前記予め定義された検索キー関係に係る情報を変数として設定して、類似する検索キー関係同士をグループ化するクラスタリング処理を行うクラスタリング手段として更に機能させ、
前記代表属性取得手段は、前記クラスタリング手段によってグループ化されたグループのうち、前記対象データに含まれる前記検索キー関係が属するグループの、代表検索キー
関係に関連付けられた属性情報を、該対象データの属性情報として取得する、
請求項１１に記載の文書データ解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書データを解析する技術に関する。
【背景技術】
【０００２】
従来、自然文を形態素に分解し、その形態素の並びが予め用意された事象パターンに該当するか否かを判断することで、因果関係の有無を判断し、因果関係がある場合には、その因果関係を加味したデータクラスタリングを行う技術がある（特許文献１を参照）。また、述語キーワードを用いて検索を行い、該当した述語キーワードと前後の文章を抽出し、抽出された文章に対して、絞り込み検索や並べ替えを行うことでノイズを除去し、前後の文と併せて知識ベースに格納する技術がある（特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２０３９６４号公報
【特許文献２】特開２００５−１１５８８２号公報
【特許文献３】特開２００５−０６３４７０号公報
【特許文献４】特開２００１−８４２５０号公報
【非特許文献】
【０００４】
【非特許文献１】酢山  明弘、他３名、「決定木を用いたフリーアンケート文のフィルタリング」、人工知能学会全国大会論文集、２００４  １Ａ４−０５
【非特許文献２】土田  正明、他２名、「Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ  を用いた辞典システムの構築」、人工知能学会全国大会論文集、２００４  １Ａ３−０４
【非特許文献３】西山  莉紗、他４名、「技術文書マイニングのための特長表現抽出」、人工知能学会全国大会論文集、２００８  ３Ｋ３−２
【非特許文献４】小林  慎一、他５名、「インターネットリソースを用いた技術動向の時系列的分析」、電気学会論文誌Ｃ（電子・情報・システム部門誌）、２００５年、Ｖｏｌ．１２５−Ｃ、Ｎｕｍｂｅｒ５
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来、大量の文書データから知識を抽出する方式として、形態素解析技術により１つの文書から単語を切り出し、自立語を基準にした単語の係り受け関係を推定することで、係り受け関係から構文木を構築する技術が用いられている。このような形態素解析では、構築された構文木の中で多くの構文木に含まれている頻出パターン（知識）を、与えられたパターンの制約に基づいて発見し、発見された頻出パターンへの代入にマッチする文書を検索する。
【０００６】
しかし、実際の解析対象となる自然文は、表記の揺れが大きく、また、主語や述語が省略されることもあるため、文章における係り受けの関係を形態素解析によって機械的に抽出したり、抽出結果から文章の正確な意味内容を推定したりすることは困難であった。
【０００７】
本発明は、上記した問題に鑑み、文書データの解析において、解析対象の文章の係り受け関係が考慮された、正確なパターン抽出を行うことを課題とする。
【課題を解決するための手段】
【０００８】
本発明は、以下の構成を備えることで、上記した課題を解決することとした。即ち、本
発明は、複数の対象データを含む文書データを解析するための文書データ解析装置であって、正規表現を用いて定義された複数の検索キーを保持する保持手段と、前記保持手段によって保持された前記複数の検索キーを用いて前記複数の対象データを検索する検索手段と、前記検索手段による検索の結果を参照することで、前記対象データが、夫々、関連する検索キーの組み合わせとして予め定義された検索キー関係を含むか否かを判定する判定手段と、前記複数の対象データ全体における該検索キー関係の出現頻度または出現率を所定の閾値と比較し、該所定の閾値以上である検索キー関係をパターンとして抽出する、パターン抽出手段と、を備える文書データ解析装置である。
【０００９】
本発明によれば、正規表現で定義された検索キーが用いられることによって、対象データの表記揺れに影響されずに必要な特徴部分を索出することが出来る。なお、このような特徴部分の索出をより正確に行うために、検索キーには、口語体や主語の省略等の表記揺れに影響されない特徴を正規表現化したものが用いられることが好ましい。
【００１０】
更に、本発明では、検索キー関係を用いた判定が行われる。ここで、検索キー関係とは、意味内容において関連性を有する検索キーの組み合わせ、換言すると、対象データ内に同時に現れた場合に所定の意味内容（属性）を表すものとして予め定義された関係である。本発明では、対象データがこのような検索キー関係を含むか否かを判定することによって、従来の言語解析では抽出できなかったような係り受け関係を抽出し、頻出パターンを分類することを可能としている。
【００１１】
また、本発明に係る文書データ解析装置は、前記判定手段によって、前記対象データが前記検索キー関係を含むと判定された場合に、前記検索キー関係に予め関連付けられた属性情報を、該対象データの属性情報として取得する属性取得手段を更に備えてもよい。
【００１２】
上記説明した通り、検索キー関係は、対象データ内に同時に現れた場合に所定の意味内容（属性）を表すものとして予め定義された関係である。このため、検索キー関係に、該検索キー関係が現れた場合にそのような文章が有する意味内容を属性情報として予め関連づけておき、ある対象データにおいてこの検索キー関係が発見された場合に、発見された検索キー関係に関連付けられた属性情報を取得することとすれば、対象データの意味内容を正確に決定し、文書データの解析を行うことが可能となる。
【００１３】
また、本発明に係る文書データ解析装置は、
前記判定手段によって、前記対象データが前記検索キー関係を含むと判定された場合に、グループ化された類似する検索キー関係のグループのうち、前記対象データに含まれる前記検索キー関係が属するグループの、代表検索キー関係に関連付けられた属性情報を、該対象データの属性情報として取得する代表属性取得手段を更に備えてもよい。
【００１４】
ここで、代表検索キーとは、意味内容が類似する検索キー関係がグループ化されている場合に、各グループ内で最も重心に近い検索キー関係を示す。本発明によれば、全ての検索キー関係について属性情報が予め関連付けられていないような場合にも、対象データから抽出された検索キー関係に類似する代表検索キー関係の属性情報を、対象データの属性情報として取得することが出来る。
【００１５】
また、本発明に係る文書データ解析装置は、
前記予め定義された検索キー関係に係る情報を変数として設定して、類似する検索キー関係同士をグループ化するクラスタリング処理を行うクラスタリング手段を更に備え、
前記代表属性取得手段は、前記クラスタリング手段によってグループ化されたグループのうち、前記対象データに含まれる前記検索キー関係が属するグループの、代表検索キー関係に関連付けられた属性情報を、該対象データの属性情報として取得してもよい。
【００１６】
このような発明によれば、検索キー関係に係る情報を変数として設定して、類似する検索キー関係同士をグループ化するクラスタリング処理が行われる。ここで、クラスタリング処理とは、対象データ（ここでは、検索キー関係）の中から互いに近似するものを凝集させてグループ分けを行う従来技術であり、例えば、検索キー関係同士の距離を計算し、最も距離の近い２つの検索キー関係を逐次的に併合することによりグループ化を行うことが出来る。クラスタリング処理によって、類似した検索キー関係同士がグルーピングされる。このため、本発明によれば、正規表現の特徴パターンをクラスタリングし、類似ケースから属性情報を取得して設定することができる。即ち、本発明によれば、属性情報の設定がなされていない検索キー関係についても、内容が類似すると推定される他の検索キー関係から属性情報を取得すること、換言すると、類似する他の検索キー関係に基づいて、対象データに含まれる文章の意味内容を推定することが出来る。
【００１７】
更に、本発明は、コンピュータが実行する方法、又はコンピュータに実行させるプログラムとしても把握することが可能である。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
【発明の効果】
【００１８】
本発明によれば、文書データの解析において、解析対象の文章の係り受け関係が考慮された、正確なパターン抽出を行うことが出来る。
【図面の簡単な説明】
【００１９】
【図１】実施形態に係る文書データ解析装置１のハードウェア構成を示す図である。
【図２】実施形態に係る文書データ解析装置１の機能構成の概略を示す図である。
【図３】実施形態に係るベース辞書の構成を示す図である。
【図４】実施形態に係る関係辞書の構成を示す図である。
【図５】実施形態に係るデータクラスタリング処理の流れを示すフローチャートである。
【図６】実施形態における、ベース辞書を用いた検索処理の結果を示す図である。
【図７】実施形態において、クラスタリングのために生成された変数データの構成を示す図である。
【図８】実施形態における、データクラスタリングの結果を示す図である。
【図９】実施形態に係るパターン抽出処理の流れを示すフローチャートである。
【図１０】実施形態における、関係辞書を用いた属性判定処理の結果を示す図である。
【図１１】実施形態におけるパターン抽出処理の結果を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明に係る文書データ解析装置１の実施の形態について、図面に基づいて説明する。
【００２１】
＜システムの構成＞
図１は、本実施形態に係る文書データ解析装置１のハードウェア構成を示す図である。文書データ解析装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、主記憶装置としてのＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒ
ｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の補助記憶装置１４、表示装置１５としてのディスプレイ、および、入力装置１６としてのキーボードやマウス等を備えるコンピュータ（情報処理装置）である。
【００２２】
図２は、本実施形態に係る文書データ解析装置１の機能構成の概略を示す図である。図１に示された構成を有するコンピュータは、補助記憶装置１４に記録されている文書データ解析用プログラムが、ＲＡＭ１３に読み出され、ＣＰＵ１１によって実行されることによって、入力受付部２１、保持部２２、出力部２３、検索部２４、判定部２５、パターン抽出部２６、情報取得／推定部２７、クラスタリング部２８および表記統制部２９を備える文書データ解析装置１として機能する。
【００２３】
情報取得／推定部２７は、判定部２５によって、対象ケースが検索キー関係を含むと判定された場合に、検索キー関係に予め関連付けられた属性情報を、該対象ケースの属性情報として取得し、検索キー関係に予め関連付けられた属性情報によって属性情報が取得されなかった場合に、対象ケースについて、対象ケースの属性情報として、クラスタリング処理の結果において同一グループに属する他の対象ケースに設定されている属性情報を取得する。
【００２４】
また、保持部２２は、通常の文字列または正規表現を用いて予め定義された複数の検索キー、および検索キーに対応する属性情報を含む各種辞書（ベース辞書および関係辞書等）を保持する。なお、辞書は、分野ごとに異なるものが用意され、文書データの属する分野に応じて適切な分野の辞書が優先的に用いられることが好ましい。
【００２５】
図３は、本実施形態に係るベース辞書の構成を示す図である。ベース辞書は、検索キーを識別するための検索キーＩＤと、通常の文字列または正規表現による文字列で定義された１の検索キーと、この検索キーに対応する属性情報と、を有するパターンが蓄積された辞書データであり、解析対象の文書データの分野毎に異なるものが用意されることが好ましい。原則として、検索キーは正規表現で定義されており、この正規表現にマッチする文章の意味内容を示す属性情報が、夫々の検索キーに関連付けられている。例えば、「.*苦労(した|しました)」という正規表現にマッチする文章は、クレームを意味すると考えられるため、「クレーム」を示す属性情報が関連付けられる。
【００２６】
図４は、本実施形態に係る関係辞書の構成を示す図である。関係辞書は、検索キーＩＤと、複数の検索キーと、この検索キーの組み合わせに対応する属性情報と、を有するパターンが蓄積された辞書データである。原則として検索キーは正規表現で定義されており、１のパターンに含まれる全ての正規表現（検索キーのセット）にマッチする文章の意味内容を示す属性情報が、夫々の検索キーのセットに関連付けられている。例えば、単体ではクレームを意味する「.*苦労(した|しました)」という正規表現にマッチするが、同時に「.*(良いのでは|助かる)」という正規表現にもマッチする文章は、文章全体としてクレームではなく意見要望を意味すると考えられるため、「意見要望」を示す属性情報が関連付けられる。なお、関係辞書の検索キーは、直接正規表現としてデータで含まれるのではなく、ベース辞書における検索キーＩＤ（検索キーの識別情報）を指定することで設定されていてもよい。
【００２７】
＜処理の流れ＞
次に、本実施形態に係る文書データ解析装置１によって実行される処理の流れを説明する。なお、以下では、コールセンタにおいてオペレータが入力し蓄積された受付ログを、文書データ解析装置１によって解析する場合の処理の流れについて説明する。コールセンタでは、顧客からの問い合わせ等の電話が受け付けられ、オペレータは、顧客対応の記録をコンピュータに入力する。オペレータによって入力され、蓄積される受付ログは、一部
が文章で入力されている。但し、本実施形態に係る文書データ解析装置１は、コールセンタの受付ログ以外にも、様々な文章（例えば、アンケート結果等）を解析する目的で用いることが出来る。
【００２８】
図５は、本実施形態に係るデータクラスタリング処理の流れを示すフローチャートである。本フローチャートに示された処理は、ユーザによって解析対象の文書データが指定され、データクラスタリング処理の開始を指示する操作の入力が受け付けられたことを契機として開始される。なお、本フローチャートに示した処理の順序および具体的な処理は、本発明を実施するうえで採用できる一例であり、実際の処理順序および具体的な処理には、本発明を実施するために当業者が採用可能な様々な処理順序および具体的な処理が採用されてよい。
【００２９】
ステップＳ１０１では、文書データの入力が受け付けられる。入力受付部２１は、ＬＡＮ等のネットワークや、ＵＳＢメモリ、ＣＤ−ＲＯＭ等の可搬記録媒体等を介して文書データの入力を受け付ける。本実施形態において処理の対象となる文書データは、コールセンタにおける受付ログであり、受付ログには、コール単位、または一連の案件単位で、オペレータが入力した文章が文字コードを用いたデータとして含まれる。以下、受付ログに含まれるコール単位又は案件単位のデータを、「ケース」と称する。
【００３０】
各ケースには、ケースを識別するためのケースＩＤ、及びオペレータによって入力されたケースの属性情報が含まれる。属性情報とは、ケースの属性を示すための情報であり、例えば、「クレーム」、「意見要望」、「おほめ」等、ケースに係るコール又は案件の意味内容を判断可能とするために、電話対応を行ったオペレータによって設定される情報である。但し、属性情報は、必ずしも全てのケースに設定されているものではなく、受付ログ中には、オペレータによる設定忘れ等の原因で、属性情報が設定されていないケースも存在し得る。入力された文書データがＲＡＭに記録され、入力受付が完了すると、処理はステップＳ１０２へ進む。
【００３１】
ステップＳ１０２では、文書における表記が統制される。表記統制部２９は、ステップＳ１０１で入力された文書データに対し、表記統制用辞書を用いた検索・置換処理を実行することで、文書における表記を統制する。表記統制用辞書には、表記の揺れや頻出する誤記を定義した検索キーが、通常の文字列または正規表現文字列で含まれており、また、この検索キーに対応する置換文字列、即ち表記統制後の文字列が含まれている。このような表記統制用辞書を用いて、文書データに対して検索・置換処理が適用されることで、文書中の表記が統制され、表記揺れや誤字のない（または、表記揺れや誤字が低減された）文書データが生成される。
【００３２】
ここで、統制とは、文章中で用いられる表現を一定の基準の下に画一化することをいう。具体的には、誤記の修正、複数の表記方法がある語句の統一（例えば、「ファックス」、「ファクシミリ」等の文字列を全て「ＦＡＸ」に置換する）、同義語の統制（例えば、「手早く」、「素早く」、「迅速に」等の文字列を「すぐに」に置換する）、接頭語の削除、もってまわった言い回しの補正、である調への統一、簡素化、意味を持たない文末の削除および補正、等が行われる。
【００３３】
コールセンタの応対記録やアンケート等を分析の対象とした場合、扱う文章は誤字脱字、変換ミスが含まれた口語体で記述されており、表記の揺れが大きい。このため、文章中に自立語との係り受け関係がきれいに表現されていないことが多い。例えば「デンわたいおうが、○○です」の場合、人であれば「電話対応が、○○です」と読めるので、「電話対応」と「○○」との係り受け関係が抽出できるが、機械的に抽出することは困難である。そのため、本実施形態では、統制処理によって、分析前に表記の揺れを除去することと
している。また、アンケート等の文書データでは、主語や述語が省略されていることが多く、係り受け関係が漏れることがある。例えば、「電話対応  昨日○○」という文章では、「電話対応」と「昨日○○」の間に空白文字が入っているため、人間が読めば分かる係り受け関係であるにも拘らず、従来の形態素解析では、「昨日」と「○○」との係り受け関係は抽出できるが、「電話対応」との関係が抽出されない。本実施形態に係る文章データ解析処理によれば、統制処理によって文章中の表現が整えられることで、後述する正規表現を用いた辞書検索処理、およびデータクラスタリング処理がより効率化され、精度の高い解析結果が期待できる。
【００３４】
また、本実施形態に係る文書データ解析装置１では、置換文字列を正規表現で設定することで、正規表現で索出された文字列の一部のみを置換することを可能としている。このため、本実施形態では、予めマッチングのための正規表現内に、置換文字列において引用する箇所を、「\1」等のタグで囲む等して示しておく。例えば、「１００ワット、２００ワット、・・・」から「１００Ｗ、２００Ｗ、・・・」へ、数学の箇所はそのままに単位だけ表記を統一したい場合、「\1[０−９]＋\1ワット」のように定義された正規表現で検索して置換箇所を探し、置換文字列を「\1[０−９]＋\1Ｗ」のように定義することで、数値の部分のみ置換前の文字列から取得して、置換することが出来る。なお、１つの正規表現内に、置換時に引用すべき部分が複数あるような場合には、「\2」「\3」・・・等の囲みタグを用いることで対応出来る。このような置換処理によれば、置換処理において、全ての置換パターンを用意することなく、また、表記ミス、表記漏れなどが起こる確率を低減させることが出来る。表記の統制が終了すると、処理はステップＳ１０３へ進む。
【００３５】
ステップＳ１０３では、ベース辞書を用いた検索処理が行われる。検索部２４は、ステップＳ１０２で生成された、表記統制済みの文書データを、ベース辞書に含まれる検索キーで検索し、索出された文字列（以下、「索出文字列」という）、索出文字列が含まれる対象ケースのケースＩＤ、文書中の索出文字列の位置、索出に係る検索キー、索出文字列の属性、等を夫々関連付けて、検索結果としてＲＡＭ１３に保持する。
【００３６】
図６は、本実施形態における、ベース辞書を用いた検索処理の結果を示す図である。なお、正規表現による検索の場合、システムに指定された区切り文字をデータの区切りとして、正規表現と一致する文字列を発見することで検索が行われる。区切り文字は自由に指定可能であり、例えば、「。」や改行を区切り文字として指定できる。また、索出文字列の位置は、文書の先頭からの文字数、バイト数や論理行数等を用いて特定することが出来る。ベース辞書検索が終了すると、処理はステップＳ１０５へ進む。
【００３７】
ステップＳ１０４では、索出文字列の関係性が抽出される。パターン抽出部２６は、各ケースにおいて、ステップＳ１０３で検索キーに一致した索出文字列同士の順番等に基づいて、同一ケースに存在する索出文字列間の関係を抽出する。ここで、パターン抽出部２６は、各索出文字列の出現位置の距離を所定の閾値と比較し、閾値以上離れた索出文字列は、関係性が低いとみなして抽出対象から除外する。また、パターン抽出部２６は、索出文字列がケースに占める割合（索出文字列の文字数／１文書の文字数）を所定の閾値と比較し、割合が閾値以下である索出文字列を抽出対象から除外する。このような処理を経ることで、ケース毎に、索出文字列の関係性を抽出することが出来る。なお、上述した閾値等を含む抽出のための定義は、解析対象の文書データの分野毎に異なるものが用意されることが好ましい。その後、処理はステップＳ１０５へ進む。
【００３８】
ステップＳ１０５では、索出文字列間の関係の絞り込みが行われる。パターン抽出部２６は、ステップＳ１０４で抽出された、索出文字列間の関係（正規表現のキー関係）を、出現頻度または出現率（例えば、「出現ケース数／全ケース数」で算出される出現率を用いることが出来る。）に基づいて絞り込む。この際、絞り込みの方法としては、算出され
た出現頻度または出現率を所定の閾値と比較し、閾値以上の出現頻度または出現率を有する関係のみを抽出することで絞り込む方法が採用されてよい。その後、処理はステップＳ１０６へ進む。
【００３９】
ステップＳ１０６では、データクラスタリングによる、類似ケース（類似パターン）およびその代表ケース（代表パターン）の抽出が行われる。クラスタリング部２８は、ステップＳ１０５までに抽出され絞り込まれた、正規表現のキー関係を、ケース、各正規表現及びその出現順位、属性、該当文書数、該当文数、正規表現間の距離、出現頻度、出現率を変数としてデータクラスタリングし、類似ケースおよびその代表ケースを抽出する。
【００４０】
図７は、本実施形態において、クラスタリングのために生成された変数データの構成を示す図である。なお、正規表現間の距離は、データクラスタリングにおける距離と同様である。例えば、２つの正規表現のキー関係（以下、「２項関係」と称する）において、２つの正規表現が文章中で続けて現れる場合の距離は、（２つめの正規表現の文頭位置）−（１つめの正規表現の文末位置）で、１となる。
【００４１】
図８は、本実施形態における、データクラスタリングの結果を示す図である。ここで、代表ケースとは、類似ケースの中で各ケースと最も距離関係が近いケースのことであり、即ち、データクラスタリングの結果が重心に近いケースである。なお、関係辞書に正規表現のキー関係が存在する場合、抽出されたケースには属性情報が設定される。
【００４２】
なお、データクラスタリングは、対象（ケース、変数）の中から互いに近似するものを凝集させてグループ分けを行う従来技術であり、キー関係１、キー関係２、・・・キー関係ｋ（ｋはキー関係のケース数）、各キー関係の出現順位、属性、頻度、および文字長の夫々を変数として指定し、クラスタリング処理することにより、意味が類似したキー関係パターンがグルーピングされる。例えば、ウォード法によるクラスタリングを採用することで、ケース間の距離を計算し、最も距離の近い２つのケースを逐次的に併合することによりグループ化することが出来る。
【００４３】
より具体的には、データクラスタリングでは、初期ケースとして、ｎ個のケースについて、ｍ個の変数ｘｉ１，ｘｉ２，・・・，ｘｉｍが設定される（ｉ  ＝  １，２，・・・，ｎ）。そして、第１段の併合として、ケースａとｂの間の距離ｄ（ｘａ  ，ｘｂ）（非類似度）からケース間の距離が計算され、最も距離の近い二つのケースが逐次的に併合される。この際、以下の式が用いられる。
【００４４】
【数１】
2011081494.tif 000003
【００４５】
更に、第２段以降の併合として、ケースａ、ｂを併合したｃと、ｄとが併合される。この際、以下の式が用いられる。なお、ｎａ、ｎｂ、ｎｃ、ｎｄは、ケースａ、ｂ、ｃ、ｄに含まれる個体数（データの個数）である。
【００４６】
【数２】
2011081494.tif 000004
【００４７】
このようにして併合が繰り返されると、１つのグループが形成される。このため、ケース間の距離を所定の閾値と比較して、閾値以内にあるものを、最終グループとして決定することが出来る。グループの中で、各ケースに最も距離の近いケース、すなわち、重心となるケースが、代表ケースとなり、そのグループの正規表現の代表記述を有することとなる。
【００４８】
データクラスタリングの結果は、予め定義された辞書ではなく蓄積された文書データから自動生成された辞書（以下、「リアルタイム辞書」と称する）として用いることが出来る他、関係辞書に辞書項目を追加するための候補データとして用いることが出来る。なお、リアルタイム辞書として用いる方法については、パターン抽出処理の説明において後述する。
【００４９】
図９は、本実施形態に係るパターン抽出処理の流れを示すフローチャートである。本フローチャートに示された処理は、ユーザによって解析対象の文書データが指定され、パターン抽出処理の開始を指示する操作の入力が受け付けられたことを契機として開始される。なお、本フローチャートに示した処理の順序および具体的な処理は、本発明を実施するうえで採用できる一例であり、実際の処理順序および具体的な処理には、本発明を実施するために当業者が採用可能な様々な処理順序および具体的な処理が採用されてよい。
【００５０】
ステップＳ２０１からステップＳ２０３では、文書データの入力が受け付けられ、文書における表記が統制され、ベース辞書を用いた検索処理が行われる。ステップＳ２０１からステップＳ２０３の処理の詳細は、ステップＳ１０１からステップＳ１０３において説明した処理と概略同様であるため、説明を省略する。ベース辞書を用いた検索処理が終了すると、処理はステップＳ２０４へ進む。
【００５１】
ステップＳ２０４では、関係辞書を用いて、対象ケースに含まれる文章の意味内容（属性）が判定される。判定部２５および情報取得／推定部２７は、ステップＳ２０３における検索結果と、関係辞書とを対比する事で、対象ケースに含まれる文章の意味内容を判定し、属性情報を設定する。より具体的には、判定部２５は、ステップＳ２０３における検索結果を参照し、関係辞書に含まれる検索キーと同一の検索キーによる索出文字列がステップＳ２０３における検索結果に含まれているか否かを判定することで、関係辞書の各レコードに定義された複数の検索キーが、対象ケース（検索対象の文書）に同時に含まれているか否かを判定する。複数の検索キーが対象ケースに同時に含まれている場合、判定部２５は、更に索出文字列の長さや、索出文字列同士の間隔等が、関係辞書に定義された条件を満たすか否かを判定し、条件が満たされている場合に、情報取得／推定部２７は、対象ケースが、関係辞書の該当レコードに付された属性を有しているものとして、属性情報を設定する。
【００５２】
図１０は、本実施形態における、関係辞書を用いた属性判定処理の結果を示す図である。例えば、「○○苦労した。××したら良いのでは。」という文章の場合、「○○苦労した。」と「××したら良いのでは。」との２文で構成されているため、従来の形態素解析では、「××」と「良い」との係り受け関係は抽出できるが、これらの表現と「○○」との関係性は抽出されない。本実施形態に係る文書データ解析処理によれば、１文中の形態
素の係り受けだけでなく、文の前後関係を考慮した分析、人の行動や感情等の特徴的表現を取り入れた分析、が可能となる。
【００５３】
なお、抽出処理は、定義辞書で定義された順に行われる。また、マッチングの結果一致した検索キーの数が多い検索結果や、各項間の出現位置の距離が短い検索結果が優先的に抽出される。また、属性に優先順位を設定し、この優先順位に従って抽出が行われても善い。例えば、属性のうち「クレーム」に「意見要望」よりも高い優先順位を設定し、クレームを優先的に抽出することとしてもよい。なお、本実施形態では、ステップＳ２０３における検索結果と、関係辞書とを対比する事で、関係辞書の各レコードに含まれる複数の検索キーが、対象ケースに同時に含まれているか否かを判定することとしているが、このような方法に代えて、関係辞書に含まれる検索キーで対象ケースを直接検索することで、関係辞書の各レコードに含まれる複数の検索キーが、対象ケースに同時に含まれているか否かを判定することとしてもよい。意味内容の判定が終了すると、処理はステップＳ２０５へ進む。
【００５４】
ステップＳ２０５では、対象ケースにおける索出文字列間の関係が、関係辞書を用いて抽出されたか否かが判定される。判定部２５は、ステップＳ２０３で索出された複数の索出文字列間の関係が、ステップＳ２０４における関係辞書を用いた意味内容の抽出処理で抽出されたか否かを判定する。換言すると、判定部２５は、対象ケースにおける索出文字列の関係が、関係辞書に存在するか否かを判定する。対象ケースにおける索出文字列間の関係が、関係辞書を用いて抽出された場合、処理はステップＳ２０７へ進む。対象ケースにおける索出文字列間の関係が、関係辞書を用いて抽出されなかった場合、処理はステップＳ２０６へ進む。
【００５５】
ステップＳ２０６では、データクラスタリングの結果に基づいて、対象ケースの意味内容が抽出される。情報取得／推定部２７は、データクラスタリングの結果（リアルタイム辞書）を参照することで、対象ケース（複数の索出文字列の組み合わせ）のパターンに近い類似ケースの属性情報を取得し、この属性情報を、対象ケースの属性情報（意味内容）として抽出する（図１０を参照）。ここで、補完の優先順位は、重心に最も近い代表ケースが最も優先順位が高く、重心から距離が遠くなる順に優先順位が低くなる。なお、データクラスタリングの結果から抽出される属性情報は、対象ケース（または対象ケースにおいて索出された検索キー関係）が属するグループの代表ケースの属性情報であってもよいし、代表ケースから属性情報が得られない場合には、同一グループ内の他のケースの属性情報であってもよい。また、情報取得／推定部２７は、対象ケースに関連する情報として、対象ケースまたは該対象ケースの検索キー関係が属するグループの代表ケースに関連する情報全般（即ち、属性情報に限られず、検索キーや索出文字列等の広範な情報）を取得してもよい。これによって、対象ケースに関連する情報の置換や補充等が可能となり、対象ケースの検索キーを詳細に推定すること、検索キーを具体化、詳細化または統一化すること、が可能となる。その後、処理はステップＳ２０７へ進む。
【００５６】
ステップＳ２０７では、パターン抽出が行われる。パターン抽出部２６は、ステップＳ２０３におけるベース辞書に基づく索出結果、ステップＳ２０４における関係辞書に基づく索出結果、およびステップＳ２０６における意味内容の推定結果、に基づいて、受付ログに含まれるケースのパターン抽出を行う。
【００５７】
図１１は、本実施形態におけるパターン抽出処理の結果を示す図である。本実施形態では、各ケースが有するパターンとして、ケースに含まれる検索キー、および属性を抽出する。また、抽出されたケースを集計することで、受付ログに含まれる検索キー関係の出現頻度および出現率等を算出する。また、パターン抽出は、ステップＳ２０６までに索出等された関係について、出現頻度または出現率（出現ケース数／全ケース数）、文字長の割
合（正規表現該当文字数／１文書文字数）を予め指定された閾値と比較することで絞り込むことで行われる。閾値を用いた絞り込みによって、閾値に満たないパターンをベース辞書および関係辞書からの削除候補として示したり、閾値以上であるが辞書に定義されていないパターンをベース辞書および関係辞書への追加候補として示したりすることが出来る。パターン抽出が完了すると、処理はステップＳ２０８へ進む。
【００５８】
ステップＳ２０８では、抽出されたパターンが出力される。出力部２３は、ステップＳ２０７で抽出されたパターンおよび算出された集計結果等を、表示装置１５へ出力することで表示させ、ユーザに提供する。出力部２３は、キー関係の出現頻度や出現率、検索キーの出現頻度や出現率の多いものが上位に来るように出力する。更に、出力部２３は、出現頻度や出現率の低いパターンを、辞書からの削除候補として提示し、また、現在は異なるパターンとして辞書に定義されているが類似度が所定の閾値以上であるパターンを、辞書内の１エントリとしてまとめられる候補として提示する。ユーザは、出力された情報を参照して、ベース辞書や関係辞書等の正規表現辞書を作成、更新、削除する。その後、本フローチャートに示された処理は終了する。
【００５９】
なお、本実施形態では、ユーザに対する出力の方法として、表示装置１５を用いた表示出力が用いられるが、表示出力以外の出力方法が採用されてもよい。例えば、プリンタを用いた印刷出力によって、ユーザに対して情報が提供されてもよい。
【００６０】
本実施形態に係る文書データ解析装置１によれば、従来のテキスト分析による知識獲得手法では抽出できなかった、複数の文で構成される文書から文の前後関係を考慮した形や人の直感的な言語の特徴表現も正規表現化して言語解析辞書に登録可能となり、分析の幅が広がり、アンケートなど省略形の多い文書の分析・分類・知識獲得にも対応することが可能となる。また、本実施形態に係る文書データ解析装置は、正規表現の特徴パターンによる文書解析機能を備えているため、従来の形態素に細かく区切られた後に抽出された係り受け関係のパターン分析よりも、実表記パターンの関係をより的確に抽出し、人による直感的な表現パターンを容易に抽出することを可能としている。
【符号の説明】
【００６１】
１  文書データ解析装置
２２  保持部
２４  検索部
２５  判定部
２６  パターン抽出部
２７  情報取得／推定部
２８  クラスタリング部
２９  表記統制部
【図１】
2011081494.tif 000005
【図２】
2011081494.tif 000006
【図３】
2011081494.tif 000007
【図４】
2011081494.tif 000008
【図５】
2011081494.tif 000009
【図６】
2011081494.tif 000010
【図７】
2011081494.tif 000011
【図８】
2011081494.tif 000012
【図９】
2011081494.tif 000013
【図１０】
2011081494.tif 000014
【図１１】
2011081494.tif 000015