(57)【要約】【課題】解析に利用する文字列にノイズとなる文字列が含まれる可能性を低減し、精度の高いテキストマイニングを可能とする。【解決手段】データ処理部１１は、デキストデータ記憶部１２に記憶したテキストデータから複数の文字列を抽出し、カテゴリー毎の出現頻度を算出する。また、抽出した文字列に対応するカテゴリーが、記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出する。そして、出現頻度と同時利用率を利用して、因子分析対象とするカテゴリーを選択し、因子分析を行う。【選択図】図１
2009271772.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータがテキストマイニング処理を行うテキストマイニング方法であって、
複数のデキストデータをメモリに記憶するテキスト記憶ステップと、
前記テキスト記憶ステップで記憶されたテキストデータから、複数の文字列を抽出する文字列抽出ステップと、
前記文字列抽出ステップで抽出した文字列を所定のカテゴリー毎にまとめ、カテゴリー毎の出現頻度を算出する出現頻度算出ステップと、
前記文字列抽出ステップで抽出した文字列に対応するカテゴリーが、前記テキスト記憶ステップで記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出する同時使用率算出ステップと、
前記出現頻度算出ステップで算出した前記出現頻度と、前記同時使用率算出ステップで算出された前記同時利用率を利用して、因子分析対象とするカテゴリーを選択する分析対象選択ステップと、
前記分析対象選択ステップで選択された前記カテゴリーについて、前記カテゴリー別出現間の相関係数を算出する相関係数算出ステップと、
前記相関係数算出ステップで算出した前記相関係数に対して因子分析を行い、少なくとも１つの因子とその因子に対応する前記カテゴリー別出現の因子付加量とを算出する因子分析ステップとを備えるテキストマイニング方法。
【請求項２】
請求項１記載のテキストマイニング方法であって、
前記出現頻度算出ステップは、予め記憶したシソーラスを参照して前記カテゴリー毎の出現頻度を算出するテキストマイニング方法。
【請求項３】
請求項１又は２記載のテキストマイニング方法であって、
前記同時使用率算出ステップは、前記出現頻度算出ステップで算出した前記出現頻度を利用して、前記カテゴリーから所定の数のカテゴリーを選択するカテゴリー選択ステップと、前記カテゴリー選択ステップで選択した前記カテゴリーが、前記テキスト記憶ステップで記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出するテキストマイニング方法。
【請求項４】
請求項１ないし３のいずれか１項記載のテキストマイニング方法であって、
前記文字列抽出ステップは、前記テキスト記憶ステップで記憶されたテキストデータの内の少なくとも２つのテキストデータに含まれる文字列を抽出するテキストマイニング方法。
【請求項５】
請求項４記載のテキストマイニング方法であって、
前記文字列抽出ステップは、前記文字列の内、文字数の多い方から順に抽出するテキストマイニング方法。
【請求項６】
請求項１ないし５のいずれか１項記載のテキストマイニング方法であって、
前記出現頻度算出ステップは、不要語を格納する不要語データベースを参照して、前記文字列抽出ステップで抽出した文字列から不要語データベースに保持された不要語を除いた文字列について、カテゴリー毎の出現頻度を算出するテキストマイニング方法。
【請求項７】
請求項１ないし６のいずれか１項記載のテキストマイニング方法であって、
前記相関係数算出ステップは、前記分析対象選択ステップで選択された前記テキストデータに含まれる前記カテゴリーの回数を同時に利用して、前記カテゴリー別出現間の相関係数を算出するテキストマイニング方法。
【請求項８】
テキストマイニング処理を行うテキストマイニング装置であって、
複数のデキストデータを記憶するテキストデータ記憶部と、
カテゴリーと単語を対応付けて記憶したシソーラス記憶部と、
前記テキストデータ記憶部に記憶されたテキストデータと、前記シソーラス記憶部に記憶されたシソーラスを利用してデータマイニング処理を行うデータ処理部と、を備え、
前記データ処理部は、
前記テキストデータ記憶部に記憶されたテキストデータから、複数の文字列を抽出する文字列抽出処理と、前記文字列抽出処理で抽出した文字列を所定のカテゴリー毎にまとめ、カテゴリー毎の出現頻度を算出する出現頻度算出処理と、
前記文字列抽出処理で抽出した文字列に対応するカテゴリーが、前記テキストデータ記憶部に記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出する同時使用率算出処理と、
前記出現頻度算出処理で算出した前記出現頻度と、前記同時使用率算出処理で算出した前記同時利用率を利用して、因子分析対象とするカテゴリーを選択する分析対象選択処理と、
前記分析対象選択処理で選択された前記カテゴリーについて、前記カテゴリー別出現間の相関係数を算出する相関係数算出処理と、
前記相関係数算出処理で算出した前記相関係数に対して因子分析を行い、少なくとも１つの因子とその因子に対応する前記カテゴリー別出現の因子付加量とを算出する因子分析処理を行うテキストマイニング装置。
【請求項９】
請求項８記載のテキストマイニング装置であって、
前記同時使用率算出処理は、前記出現頻度算出処理で算出した前記出現頻度を利用して、前記カテゴリーから所定の数のカテゴリーを選択するカテゴリー選択処理と、前記カテゴリー選択ステップで選択した前記カテゴリーが、前記テキスト記憶ステップで記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出するテキストマイニング装置。
【請求項１０】
請求項８又は９記載のテキストマイニング装置であって、
前記文字列抽出処理は、前記テキストデータ記憶部に記憶されたテキストデータの内の少なくとも２つのテキストデータに含まれる文字列を抽出するテキストマイニング装置。
【請求項１１】
請求項１０記載のテキストマイニング装置であって、
前記文字列抽出処理は、前記文字列の内、文字数の多い方から順に抽出するテキストマイニング装置。
【請求項１２】
請求項８ないし１１のいずれか１項記載のテキストマイニング装置であって、
不要語を格納する不要語データ記憶部を備え、
前記出現頻度算出処理は、前記不要語データベースを参照して、前記文字列抽出処理で抽出した文字列から不要語データ記憶部に保持された不要語を除いた文字列について、カテゴリー毎の出現頻度を算出するテキストマイニング装置。
【請求項１３】
請求項１ないし６のいずれか１項記載のテキストマイニング装置であって、
前記相関係数算出処理は、前記分析対象選択処理で選択された前記テキストデータに含まれる前記カテゴリーの回数を同時に利用して、前記カテゴリー別出現間の相関係数を算出するテキストマイニング装置。
【請求項１４】
請求項１ないし７のいずれか１項記載のテキストマイニング方法における各ステップを、コンピュータに実行させるためのプログラム。
【請求項１５】
請求項１ないし７のいずれか１項記載のテキストマイニング方法における各ステップを実行するためのプログラムをインストールしたコンピュータ。
【請求項１６】
請求項８ないし１３のいずれか１項記載のテキストマイニング装置を、コンピュータによって実現するためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のテキストデータからテキストマイニング処理を行うテキストマイニング方法、テキストマイニング装置、及びテキストマイニングプログラムに関する。
【背景技術】
【０００２】
データマイニングは、大量に蓄積されるデータを解析し、その中に含まれる項目間の相関関係やパターン等を探し出す技術であり、データとして定型化されていない文章（テキスト）を利用するものをテキストマイニングという。テキストマイニングは、企業が顧客から収集する大量のアンケート、顧客からコールセンターへの問合せ等の大量に蓄積されたデキストデータに基づいて、顧客のニーズ等を把握する手段として利用可能である。
【０００３】
テキストマイニングとしては、大量のテキストデータから、形態素の分析等により文字列を切り出し、切り出した文字列を分類し、分析する方法が知られている（特許文献１参照）。特許文献１に示される方法は、（ａ）多数の自由記述回答から二つ以上の回答に含まれる同一文字列を抽出してキーワードの素を生成する工程と、（ｂ）該キーワードの素から重複した同一表現を削除すると共に、キーワードとなり得ない不要文字列を削除してキーワードデータベースを構築する工程と、（ｃ）該多数の自由記述回答と該データベースとを比較し、各自由記述回答に各キーワードを含む文字列があれば「反応あり」としてカウントする工程と、（ｄ）反応がカウントされた人の属性と該キーワードとを関連付ける工程と、を有するものである。
【０００４】
また、大量のテキストデータから抽出した文字列からシソーラスデータベースを参照して求めたカテゴリー別の頻度を算出し、カテゴリー相互の相関係数を求め、求めた相関係数に対して因子分析を行うものも提案されている（特許文献２参照）。
【０００５】
しかし、これらの方法は、いずれも大量のテキストデータから抽出した文字列に基づいて解析を行うものであるので、抽出した文字列に解析にとってノイズとなる文字列が含まれる場合は、解析精度の低下が避けられない。
【０００６】
【特許文献１】特開２００２−２３０００６号公報
【特許文献２】特開２００５−２８４７７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は、上記事情に鑑みなされたもので、解析に利用する文字列にノイズとなる文字列が含まれる可能性を低減し、精度の高いテキストマイニングを可能とするテキストマイニング方法、及びテキストマイニング装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のテキストマイニング方法は、コンピュータがテキストマイニング処理を行うテキストマイニング方法であって、複数のデキストデータをメモリに記憶するテキスト記憶ステップと、前記テキスト記憶ステップで記憶されたテキストデータから、複数の文字列を抽出する文字列抽出ステップと、前記文字列抽出ステップで抽出した文字列を所定のカテゴリー毎にまとめ、カテゴリー毎の出現頻度を算出する出現頻度算出ステップと、前記文字列抽出ステップで抽出した文字列に対応するカテゴリーが、前記テキスト記憶ステップで記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出する同時使用率算出ステップと、前記出現頻度算出ステップで算出した前記出現頻度と、前記同時使用率算出ステップで算出された前記同時利用率を利用して、因子分析対象とするカテゴリーを選択する分析対象選択ステップと、前記分析対象選択ステップで選択された前記カテゴリーについて、前記カテゴリー別出現間の相関係数を算出する相関係数算出ステップと、前記相関係数算出ステップで算出した前記相関係数に対して因子分析を行い、少なくとも１つの因子とその因子に対応する前記カテゴリー別出現の因子付加量とを算出する因子分析ステップとを備えるものである。
【０００９】
本発明によれば、解析に利用する文字列にノイズとなる文字列が含まれる可能性を低減し、精度の高いテキストマイニングを可能とするテキストマイニング方法を提供することができる。
【００１０】
本発明のテキストマイニング方法は、前記出現頻度算出ステップが、予め記憶したシソーラスを参照して前記カテゴリー毎の出現頻度を算出するものを含む。本発明によれば、精度の高いカテゴリーの抽出が可能となり、テキストマイニング精度がされに向上する。
【００１１】
本発明のテキストマイニング方法は、前記同時使用率算出ステップが、前記出現頻度算出ステップで算出した前記出現頻度を利用して、前記カテゴリーから所定の数のカテゴリーを選択するカテゴリー選択ステップと、前記カテゴリー選択ステップで選択した前記カテゴリーが、前記テキスト記憶ステップで記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出するものを含む。本発明によれば、同時使用率の算出演算負担を低減できる。
【００１２】
本発明のテキストマイニング方法は、前記文字列抽出ステップが、前記テキスト記憶ステップで記憶されたテキストデータの内の少なくとも２つのテキストデータに含まれる文字列を抽出するものを含む。本発明によれば、分析に効果的な文字列の抽出を行うことができる。
【００１３】
本発明のテキストマイニング方法は、前記文字列抽出ステップが、前記文字列の内、文字数の多い方から順に抽出するものを含む。
【００１４】
本発明のテキストマイニング方法は、前記出現頻度算出ステップが、不要語を格納する不要語データベースを参照して、前記文字列抽出ステップで抽出した文字列から不要語データベースに保持された不要語を除いた文字列について、カテゴリー毎の出現頻度を算出するものを含む。
【００１５】
本発明のテキストマイニング方法は、前記相関係数算出ステップが、前記分析対象選択ステップで選択された前記テキストデータに含まれる前記カテゴリーの回数を同時に利用して、前記カテゴリー別出現間の相関係数を算出するものを含む。
【００１６】
本発明のテキストマイニング装置は、テキストマイニング処理を行うテキストマイニング装置であって、複数のデキストデータを記憶するテキストデータ記憶部と、カテゴリーと単語を対応付けて記憶したシソーラス記憶部と、前記テキストデータ記憶部に記憶されたテキストデータと、前記シソーラス記憶部に記憶されたシソーラスを利用してデータマイニング処理を行うデータ処理部と、を備え、前記データ処理部は、前記テキストデータ記憶部に記憶されたテキストデータから、複数の文字列を抽出する文字列抽出処理と、前記文字列抽出処理で抽出した文字列を所定のカテゴリー毎にまとめ、カテゴリー毎の出現頻度を算出する出現頻度算出処理と、前記文字列抽出処理で抽出した文字列に対応するカテゴリーが、前記テキストデータ記憶部に記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出する同時使用率算出処理と、前記出現頻度算出処理で算出した前記出現頻度と、前記同時使用率算出処理で算出した前記同時利用率を利用して、因子分析対象とするカテゴリーを選択する分析対象選択処理と、前記分析対象選択処理で選択された前記カテゴリーについて、前記カテゴリー別出現間の相関係数を算出する相関係数算出処理と、前記相関係数算出処理で算出した前記相関係数に対して因子分析を行い、少なくとも１つの因子とその因子に対応する前記カテゴリー別出現の因子付加量とを算出する因子分析処理を行うものである。
【００１７】
本発明のテキストマイニング装置は、前記同時使用率算出処理が、前記出現頻度算出処理で算出した前記出現頻度を利用して、前記カテゴリーから所定の数のカテゴリーを選択するカテゴリー選択処理と、前記カテゴリー選択ステップで選択した前記カテゴリーが、前記テキスト記憶ステップで記憶されたテキストデータそれぞれにおいて同時に使用されている比率である同時利用率を算出するものを含む。
【００１８】
本発明のテキストマイニング装置は、前記文字列抽出処理が、前記テキストデータ記憶部に記憶されたテキストデータの内の少なくとも２つのテキストデータに含まれる文字列を抽出するものを含む。
【００１９】
本発明のテキストマイニング装置は、前記文字列抽出処理が、前記文字列の内、文字数の多い方から順に抽出するものを含む。
【００２０】
本発明のテキストマイニング装置は、不要語を格納する不要語データ記憶部を備え、前記出現頻度算出処理が、前記不要語データベースを参照して、前記文字列抽出処理で抽出した文字列から不要語データ記憶部に保持された不要語を除いた文字列について、カテゴリー毎の出現頻度を算出するものを含む。
【００２１】
本発明のテキストマイニング装置は、前記相関係数算出処理が、前記分析対象選択処理で選択された前記テキストデータに含まれる前記カテゴリーの回数を同時に利用して、前記カテゴリー別出現間の相関係数を算出するものを含む。
【００２２】
本発明のプログラムは、上記したテキストマイニング方法における各ステップを、コンピュータに実行させるためのプログラムである。
【００２３】
本発明のコンピュータは、上記したテキストマイニング方法における各ステップを実行するためのプログラムをインストールしたコンピュータである。
【００２４】
本発明のプログラムは、上記したテキストマイニング装置を、コンピュータによって実現するためのプログラムである。
【発明の効果】
【００２５】
以上の説明から明らかなように、本発明によれば、解析に利用する文字列にノイズとなる文字列が含まれる可能性を低減し、精度の高いテキストマイニングを可能とするテキストマイニング方法、及びテキストマイニング装置を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態について、図面を用いて説明する。以下においては、企業が収集した顧客の意見を集約するためのテキストマイニング処理を一例に説明する。テキストマイニング処理の対象とされる意見は、アンケート等によって取得される。アンケート等の取得方法としては、音声、アンケート用紙、電子メール等各種方法が利用可能であり、これらの文章は、各種手段（音声認識装置、光学式文字読取装置等）を用いて、テキストデータとして取得される。以下、取得された意見を述べた者（文章の作成者であり、例えば、アンケート調査に回答した人、企業に電話、電子メール、ファックス、葉書等により意見を寄せた人である。）を回答者と記述する。
【００２７】
テキストマイニングは、業界あるいは分野毎に分類されたテキストデータに基づいて行われる。業界あるいは分野の管理は、テキストデータが入力される際に、テキストデータが関係する業界や分野等を特定する「業種名」が合わせて入力される。業種名は、例えば、自動車、飲食、小売、医療、教育、政治等である。どのような業種名を利用するかは任意であり、ここで入力される業種名に対応させて、後述のシソーラスも作成され、予め所定の記憶装置に記憶される。
【００２８】
図１は、本発明の実施の形態のテキストマイニング装置の概略構成を示す機能ブロック図である。図１のデータマイニング装置は、データ処理部１１、デキストデータ記憶部１２、シソーラス記憶部１３、操作部１４、表示部１５、データ入出力部１６を含んで構成される。このテキストマイニング装置は、具体的にはコンピュータを用いて実現される。コンピュータは、スタンドアローン型のものでもよいし、クライアント−サーバ型のものでもよい。
【００２９】
データ処理部１１は、所定のプログラムにしたがった処理を行うプロセッサを主体に構成されるもので、テキストデータの入力、テキストデータからの文字列を抽出、抽出した文字列に対応するカテゴリー毎の出現頻度を算出、文字列に対応するカテゴリーの同時利用率の算出、因子分析対象とするカテゴリーの選択、カテゴリー別出現間の相関係数の算出、及び相関係数に対する因子分析を含むテキストマイニング装置全体の制御を行う。データ処理部１１には、プログラムを記憶するメモリ、データ処理に使用する各種ファイルを記憶するメモリが含まれる。これらのメモリは、デキストデータ記憶部１２、シソーラス記憶部１３と同一の記憶装置によって実現してもよいし、異なる記憶装置によって実現してもよい。上記したプロセッサが実行するプログラムには、上記した処理を実行するためのプログラムが含まれる。
【００３０】
デキストデータ記憶部１２は、データ入出力部１６を介して入力されるデキストデータを記憶するものである。入力されたデキストデータは、例えば、図２に示されるような形式で記憶される。
【００３１】
シソーラス記憶部１３は、カテゴリーと単語（キーワード）を対応付けて記憶したものであり、複数の業界、分野に対応させて複数のシソーラスを記憶している。一例を後述するように、カテゴリーコードとキーワードを対応させたテーブルと、カテゴリーコードとカテゴリー名を対応させたテーブルを備える。カテゴリーは通常複数階層に構成されるが、１階層であってもよい。
【００３２】
操作部１４は、テキストデータの入力、分析処理の各種指示を含むテキストマイニング装置の各種操作を行うもので、例えば、キーボードやマウスである。
表示部１５は、テキストマイニング結果の表示、操作部１４によるデータマイニング装置の操作ガイダンスの表示等の各種データの表示を行うものである。
【００３３】
データ入出力部１６は、データマイニング装置が必要とするデータの入出力を行うものである。入力するデータは、例えば、解析対象となるテキストデータであり、入出力装置の具体例としては、音声認識装置、光学式文字読取装置、外部記憶装置とのインタフェース、通信インタフェース等（いずれも図示せず）が利用される。なお、音声認識装置は、人間の話す声が記録された音声データを処理してテキストデータに変換するものであり、光学式文字読取装置は、手書きされた又はタイプされた文字の画像データを処理してテキストデータに変換するものである。音声認識装置や学式文字読取装置を利用することにより、分析対象とする文章（この実施の形態では顧客の意見を示す文章）をテキストデータとして簡単に入力することができる。
【００３４】
図２に、テキストデータ記憶部１２に記憶されるテキストデータの記憶形式の一例を示す。データ入出力部１６から入力されるテキストデータは、顧客の意見の自由記述文をテキストデータに変換したものを１エントリとして、それぞれの意見の回答者を識別する回答者ＩＤに、回答者の属性とともに対応付けたテーブル形式で記憶される。回答者ＩＤは、１つ１つの意見を特定するためのものであり、テキストの作成者に相当する。なお、回答者（作成者）の属性をテキストデータの分析に利用しない場合は、回答者を個別に識別するＩＤは、必ずしも必要でなく、１つ１つの意見を示すテキストデータを識別できる連続番号でもよい。
【００３５】
図２に示すようなテキストデータは、意見（自由記述文）が属する業界、分野等に区別され、それぞれ別ファイルとして記憶される。以下、データ入出力部１６から入力されるテキストデータを記憶したファイルを、Ａファイルと記述する場合もある。なお、図２では、テキストデータを業界や分野毎に別ファイルで記憶するようにしたが、全てのテキストデータを１つのファイルに記憶してもよい。その場合は、各エントリに、そのエントリのテキストデータが属する業界や分野を特定する分野ＩＤを付加して記憶する。
【００３６】
図３に、シソーラス記憶部１３に記憶されるシソーラスの記憶形式の一例を示す。シソーラスは、文字列（キーワード）が含まれるカテゴリーを識別するカテゴリーコードと、そのカテゴリーに含まれる文字列を対応付けて記憶した文字列テーブルと、カテゴリーコードとカテゴリー名とを対応付けたカテゴリー名テーブルを含む。図３（ａ）は、文字列テーブルの形式の一例である。図３（ａ）の文字列テーブルは、文字列を１エントリとして、それぞれにカテゴリーコードを対応付けて記憶しているが、カテゴリーコードを１エントリとして、そのカテゴリーに含まれる文字列を、１又は複数対応付けたテーブルとしてもよい。
【００３７】
図３（ｂ）及び（ｃ）に、カテゴリー名テーブルの形式の２つの例を示す。図３（ｂ）は、カテゴリーを１階層とした場合の例であり、各エントリにカテゴリーコードとカテゴリー名を対応させてテーブルを構成している。図３（ｃ）は、カテゴリーを大分類と小分類の２階層とし、それぞれのカテゴリーコードとカテゴリー名を対応させてテーブルを構成するとともに、大分類のカテゴリーコードと、そのカテゴリーの下位のカテゴリーを示すカテゴリーコードとを対応させている。図３（ｃ）の例では、カテゴリーコード「００１」のカテゴリー名は、「プラス表現・良い」であり、その下位のカテゴリーコードとして「００１１」、「００１２」、「００１３」があり、それぞれカテゴリー名が「素晴らしい」、「うれしい」、「要望」であることを示している。
【００３８】
図３に示すようなシソーラスは、テキストデータを記憶したＡファイルと同様、意見（自由記述文）が属する業界、分野等に区別して記憶される。シソーラスは、外部で予め作成されたものを記憶させてもよいし、データマイニング装置で新規に作成してもよい。シソーラスの作成は、特許文献２に示されるような手順で行うことができる。また、データマイニング処理を行う過程に、新規の文字列を登録してシソーラスを更新するようにしてもよい。
【００３９】
図４に、図１のデータマイニング装置を用いてデータマイニングを行う場合の概略動作フローを示す。ステップＳ１０１では、データ入出力部１６を動作させ、分析対象とする文章をテキストデータに変換し、テキストデータ記憶部１２に記憶する。この時、記憶すべきＡファイルは、操作部１４によって業界、分野等を指示することによって特定する。回答者ＩＤ、属性は、入力すべき文章に含まれるものをテキストに変換し、そのテキストを認識することによって入力するのが好ましい。業界、分野の指定、回答者ＩＤ及び属性の入力は、この方法に限ることはなく、全てデータ入出力部１６から入力してもよいし、全て操作部１４から入力してもよい。入力されたテキストデータは、図２に示すような形式で、その業界、分野に対応する亜ファイルとして記憶される。
【００４０】
ステップＳ１０２では、Ａファイルに記憶したテキストデータから文字列を抽出する。文字列の抽出に当たっては、操作部１４から指示された業界や分野のＡファイルを対象とし、そのＡファイルに含まれるテキストデータのみを使用する。また、さらに、特定の属性を有する回答者のテキストデータのみを分析対象とする場合は、操作部１４から特定の属性を指示する。
【００４１】
テキストデータからの文字列の抽出は、Ａファイルの少なくとも２つのエントリのテキストデータ（原文）に含まれる文字列を抽出することによって行う。この方法の詳細は特許文献１に示されるものと同様である。図２のテキストデータから文字列を抽出する場合、まず、それぞれのテキストデータから特定の長さの文字列が切り出され、切り出された文字列同士を比較する。そして、図５（ａ）に示すような、それぞれの文字列が含まれる回答者ＩＤを対応させた中間ファイルを作成し、複数の回答者ＩＤが対応する文字列を抽出すべき文字列とする。図２の例では、抽出すべき文字列は、図５（ｂ）に示すものとなる（以下、Ｂファイルと記述する場合もある。）。
【００４２】
なお、テキストデータからの文字列の抽出は、以上説明したような方法に限らない。例えば、形態素を用いてテキストデータを解析し、一致する文字列を抽出するようにしてもよい。
【００４３】
ステップＳ１０３では、抽出した文字列（Ｂファイルに記憶された文字列）をシソーラス記憶部１３の該当するシソーラス（業界、分野が一致するシソーラス）と対比させ、所定の長さが一致する（マッチング比率が一定以上である）文字列があるかどうかを判断する。そして、マッチング比率が一定以上である場合、そのカテゴリーの文字列がテキストデータに存在すると判断し、そのカテゴリーの出現頻度をカウントアップする。図５（ｂ）の抽出文字列「私の好きな」に注目すると、「好き」がシソーラステーブル（図３（ａ）参照）のカテゴリーコード「００１１」の文字列に該当するので、このカテゴリーの文字列が存在すると判断する。そして、抽出した文字列すべてについて、シソーラスのカテゴリーに該当するかどうかを判断する。この場合、図示しない不要語データベース（シソーラス記憶部１３に記憶しておいてもよいし、他のメモリに記憶しておいてもよい。）に保持された不要語に一致する抽出文字列については、カテゴリーの出現頻度にカウントしない。
【００４４】
図６に、カテゴリーの出現頻度を示すデータの一例を示す。図６（ａ）は、出現頻度を算出すべきカテゴリーのカテゴリーコードと抽出文字列を対応させて中間ファイルの構成であり、図６（ｂ）は、カテゴリー頻度を算出したカテゴリーのカテゴリーコード、カテゴリー名、出現頻度を多い順に並べたファイルである。
【００４５】
ステップＳ１０４では、カテゴリー毎の同時使用率を算出する。同時使用率は、ステップＳ１０３で抽出した文字列に対応するカテゴリーが、Ａファイルの各エントリのテキストデータ（各意見の原文に対応するテキストデータ）において同時に使用されている比率であり、次の手順で算出する。
【００４６】
まず、図６（ｂ）に示されるカテゴリーの出現頻度を参照して、所定個数（例えば、抽出されたカテゴリーコードの上位半分の数）のカテゴリーを選択し、Ａファイルの各エントリに対応させた中間ファイルを作成する（図７（ａ）参照）。図７（ａ）は、回答者ＩＤ「００１」のテキストデータに、カテゴリーコード「００１１」、「５０１１」、「５０１１」の文字列が含まれることを示している。なお、ここで、選択するカテゴリーの数は任意であり、抽出されたカテゴリーすべてを選択してもよい。
【００４７】
続いて、図７（ａ）の中間ファイルを利用して、テーブルの横方法にカテゴリー頻度順にカテゴリーコードを並べ、縦方向に回答者ＩＤを並べたテーブルを作成し、エントリ毎に、図７（ａ）のカテゴリーコードに対応する箇所に「１」を記憶した分析ファイルを作成する（図７（ｂ）参照）。
【００４８】
次に、図７（ｂ）のテーブルを利用してカテゴリー毎の同時使用率を算出する手順を説明する。
（１）Ｃ（ｉ、ｊ）＝１（ｉ列の値とｊ列の値が共に「１」），０（ｉ列の値とｊ列の値の少なくとも一方が「０」）を、すべてのエントリ（行）について演算し、それらを加算したＴＣ（ｉ、ｊ）を求める。ただし、ｉとｊが一致するＣ（ｉ、ｊ）は除く。
（２）ＴＣ（ｉ、ｊ）／Ｎを演算する。ただし、Ｎはエントリの数
（３）ｊを＋１して、上記（１）、（２）の演算を繰り返す。
（４）ＴＣ（ｉ、ｊ）／Ｎを、ｊ＝１〜Ｍ（Ｍはカテゴリーコードの数、ｉ＝ｊを除く）について求め、それらを加算した値を、ｉ列のカテゴリーの同時使用率とする。
（５）上記（１）−（４）の演算を、ｉ＝１〜Ｍについて繰り返す。
【００４９】
上記演算を図７（ｂ）の場合について行うと、１列目のカテゴリーの同時使用率は、次のように算出される。Ｃ（１，２）は、１列目と２列目が「１」である場合に「１」とするので、ＴＣ（１，２）＝４である。同様に、ＴＣ（１，３）＝０、ＴＣ（１，４）＝１である。したがって、１列目のカテゴリーの同時使用率Ｔ１は、Ｔ１＝（４＋０＋１＋・・・）／Ｎとなる。
【００５０】
図８に、このようにして求めた同時使用率を示すファイルの一例を示す。図８は、カテゴリーコード、カテゴリー名、同時使用率からなるエントリを、同時使用率が大きい順に並べたものである。
【００５１】
ステップＳ１０５では、ステップＳ１０３で算出した出現頻度とステップＳ１０４で算出した同時使用率を利用して、因子分析対象とするカテゴリーを選択する。例えば、図６（ａ）の上位所定個数に含まれるカテゴリーコードであって、かつ、図８に示したカテゴリーコードの上位所定個数に含まれるもの、あるいは、図６（ａ）の上位所定個数に含まれるカテゴリーコードであって、かつ、同時使用率が所定値以上のカテゴリーを因子分析対象とする。図９に、出現頻度と同時使用率を用いて選択したカテゴリーを記憶したファイルの一例を示す。
【００５２】
このように、因子分析対象となるカテゴリーは、カテゴリーの出現頻度及び同時使用率によって候補を絞っており、高頻度で出現し、かつ、他のカテゴリーと同時使用される確率が高いカテゴリーは、回答者（作成者）の意図をより多く含んでいると考えられるので、そのようなカテゴリーを用いて行った因子分析は、ノイズが低減されたものとなっていることが期待できる。
【００５３】
ステップＳ１０６では、因子分析対象として選択されたカテゴリー間の相関係数を算出し、相関行列（図示せず）を作成する。ステップＳ１０７では、作成された相関行列を用いて所定数の因子により因子分析を行う。そして、ステップＳ１０８で分析結果である因子負荷量行列を、入出力装置１６を介して出力する。出力は、表示装置１５に対して行ってもよい。また、因子負荷量行列を利用して魚骨図（図示せず）を作成、出力してもよい。
【００５４】
因子分析自体は、周知のもので、そのためのソフトウェアも種々流通しているので、詳細な説明は省略する。
【００５５】
以上説明した説明では、選択したカテゴリーについて、そのカテゴリーの使用の有無の相関を利用して因子分析を行ったが、各エントリのテキストデータが、選択したカテゴリーに属する文字列が複数存在する場合は、大きな相関があると判断して因子分析を行ってもよい。この場合の分析ファイルの一例を図１０に示す。図１０は、図７（ｂ）に対応するものであり、同一のカテゴリーに属する文字列が複数使用されているテキストデータい対しては、「２」が記憶されている。すなわち、回答者ＩＤが「００１」のテキストデータには、カテゴリー名「カレー」が２回以上使用されていることが示されている。
【００５６】
以上のような分析ファイルを利用して因子分析を行うと、さらに精度よい分析結果が得られる。
【産業上の利用可能性】
【００５７】
本発明は、解析に利用する文字列にノイズとなる文字列が含まれる可能性を低減し、精度の高いテキストマイニングを可能とするテキストマイニング方法、及びテキストマイニング装置等として有用である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態のテキストマイニング装置の概略構成を示す機能ブロック図
【図２】本発明の実施の形態のテキストマイニング装置におけるテキストデータの記憶形式の一例を示す図
【図３】本発明の実施の形態のテキストマイニング装置におけるシソーラスの記憶形式の一例を示す図
【図４】本発明の実施の形態のデータマイニング装置を用いてデータマイニングを行う場合の概略動作フローを示す図
【図５】本発明の実施の形態のデータマイニング装置における文字列抽出時のファイルの構成を示す図
【図６】本発明の実施の形態のデータマイニング装置におけるカテゴリー出現頻度算出時のファイルの構成を示す図
【図７】本発明の実施の形態のデータマイニング装置におけるカテゴリー出現頻度算出時のファイルの構成を示す図
【図８】本発明の実施の形態のデータマイニング装置における同時使用率を示すファイルの一例を示す図
【図９】本発明の実施の形態のデータマイニング装置における出現頻度と同時使用率を用いて選択したカテゴリーを記憶したファイルの一例を示す
【図１０】本発明の実施の形態のデータマイニング装置における分析ファイルの他の例を示す図
【符号の説明】
【００５９】
１１・・・データ処理部
１２・・・デキストデータ記憶部
１３・・・シソーラス記憶部
１４・・・操作部
１５・・・表示部
１６・・・データ入出力部
【図１】
2009271772.tif 000003
【図２】
2009271772.tif 000004
【図３】
2009271772.tif 000005
【図４】
2009271772.tif 000006
【図５】
2009271772.tif 000007
【図６】
2009271772.tif 000008
【図７】
2009271772.tif 000009
【図８】
2009271772.tif 000010
【図９】
2009271772.tif 000011
【図１０】
2009271772.tif 000012