(57)【要約】【課題】  自由記述文のテキストを、ユーザのニーズに合致した数のカテゴリに、高精度に自動分類すること。【解決手段】  テキストを、複数の大カテゴリのうちのいずれかに分類する１次分類処理と、テキストを、１次分類の結果に応じた複数の小カテゴリのうちのいずれかに更に分類する２次分類処理との２段構成とする。１次分類では、関連度解析法によって分類を行い、２次分類では、係り受け解析法によって分類を行う。【選択図】  図２
2008225582.tif 000002
【特許請求の範囲】
【請求項１】
入力したテキストを分類するテキスト分類装置であって、
前記テキストを、複数の大カテゴリのうちのいずれかに分類する第１分類手段と、
前記テキストを、前記第１分類手段の分類結果に応じた複数の小カテゴリのうちのいずれかに更に分類する第２分類手段と、
を有し、
前記第１分類手段は、前記テキストを、前記テキストに含まれるキーワードの出現頻度に基づき算出される大カテゴリとの関連度が最大となる大カテゴリに分類する、関連度解析法によって分類を行い、
前記第２分類手段は、前記テキストから特定の係り受け関係にある形態素の係り受け組を抽出し、前記テキストを、前記第１分類手段で分類された大カテゴリに対応する複数の小カテゴリのうち、前記抽出した係り受け組に対応する小カテゴリに分類する、係り受け解析法によって分類を行う
ことを特徴とするテキスト分類装置。
【請求項２】
前記複数の大カテゴリのそれぞれについて、キーワードと該キーワードの当該大カテゴリに対する重要度とが記述された第１分類辞書を更に有し、
前記第１分類手段は、
前記テキストに含まれる各キーワードの出現頻度を計算し、
計算した各キーワードの出現頻度と、前記第１辞書に記述された１つの大カテゴリに属するキーワード及びその重要度とに基づいて前記テキストと当該１つの大カテゴリとの関連度を計算することを、全ての大カテゴリに対して行い、前記テキストを、前記関連度が最大となる大カテゴリに分類する
ことを特徴とする請求項１に記載のテキスト分類装置。
【請求項３】
前記複数の大カテゴリのそれぞれについて、当該大カテゴリに関連する特定の係り受け関係にある形態素の係り受け組と該係り受け組に対応する小カテゴリが記述された複数の第２分類辞書を更に有し、
前記第２分類手段は、前記第１分類手段で分類された大カテゴリに対応する第２の分類辞書を参照して、前記テキストの小カテゴリへの分類を行う
ことを特徴とする請求項１又は２に記載のテキスト分類装置。
【請求項４】
前記第２分類辞書には、同義の係り受け組が複数記述され、それぞれ同一の小カテゴリに対応していることを特徴とする請求項３に記載のテキスト分類装置。
【請求項５】
前記小カテゴリは、製品の品質表現を示す品質コードに対応することを特徴とする請求項１から４までのいずれか１項に記載のテキスト分類装置。
【請求項６】
前記小カテゴリは、感性評価に関するカテゴリであることを特徴とする請求項１から４までのいずれか１項に記載のテキスト分類装置。
【請求項７】
入力したテキストを分類するテキスト分類方法をコンピュータに実行させるためのプログラムであって、前記コンピュータに、
前記テキストを、複数の大カテゴリのうちのいずれかに分類する第１分類ステップと、
前記テキストを、前記第１分類手段の分類結果に応じた複数の小カテゴリのうちのいずれかに更に分類する第２分類ステップと、
を実行させるプログラムを含み、
前記第１分類ステップでは、前記コンピュータに、前記テキストを、前記テキストに含まれるキーワードの出現頻度に基づき算出される大カテゴリとの関連度が最大となる大カテゴリに分類する、関連度解析法によって分類を行わせ、
前記第２分類ステップでは、前記コンピュータに、前記テキストから特定の係り受け関係にある形態素の係り受け組を抽出し、前記テキストを、前記第１分類手段で分類された大カテゴリに対応する複数の小カテゴリのうち、前記抽出した係り受け組に対応する小カテゴリに分類する、係り受け解析法によって分類を行わせる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顧客の声（VOC : Voice of Customer）として蓄積したテキストデータを分析して所定のカテゴリに自動分類する技術に関する。
【背景技術】
【０００２】
近年のインターネットをはじめとする情報通信技術の発達によりＶＯＣデータの収集が容易になり、これを顧客の感性評価や品質改善項目の抽出などに役立てようとする試みが盛んに行われている。収集したＶＯＣデータの分析にはテキストマイニングの技術が大変有効である。テキストマイニングを適用することにより、重要キーワードの抽出を容易に行うことができる。
【０００３】
しかし、抽出したキーワードを分類する工程は依然として手作業に頼らざるを得ないのが現状である。この手作業には膨大な労力が必要であり、また、分類漏れや作業者によってばらつきを生じるといった問題がある。したがって、このキーワードを分類する工程を自動化することが強く望まれている。
【０００４】
【特許文献１】特開２００２−０１４９８２号公報
【特許文献２】特開２００４−００５０２５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
もっとも、ＶＯＣテキストデータをクラスタリングする手法は存在する。一例は、テキストデータから出現頻度の最も高いキーワードを抽出し、そのキーワードに応じたカテゴリに分類するという手法である。
【０００６】
しかしながら、このような手法では、選択された１つのキーワードによって１つのカテゴリに分類されてしまうため、重要な情報が埋もれてしまう場合が多い。
【０００７】
一例として、以下のようなＶＯＣテキストを検討する。
【０００８】
『走行中にエンジンが止まり、ブレーキが効かなくなった。また、ブレーキを踏むとキーキーという異音がしてとても新車とは思えません。フロントに比べリアのブレーキダストの多さも気になります。』
【０００９】
上記のテキストにおいて、最も重要な事項は、走行中にエンジンが止まった点にあると思われる。ところが従来手法によれば、キーワード「ブレーキ」の出現頻度が高いため、このテキストは、例えば「ブレーキ」カテゴリに分類されてしまう。この場合、エンジンについての重要な情報が「ブレーキ」カテゴリに埋もれてしまい、抽出漏れと同じ結果を招く。
【００１０】
もちろん、このような抽出漏れは設定したカテゴリの数にも大きく依存する。カテゴリの数を少なくすれば抽出漏れの問題は減少するであろう。しかしその場合には、カテゴリの数が減った分、各カテゴリに不要文書（ノイズ）が多く含まれることになり、ユーザのニーズに合致した質の分析結果を出力することは困難になるであろう。
【００１１】
したがって、本発明の目的は、自由記述文のテキストを、ユーザのニーズに合致した数のカテゴリに、高精度に自動分類できる技術を実現することである。
【課題を解決するための手段】
【００１２】
本発明の一側面によれば、入力したテキストを分類するテキスト分類装置であって、前記テキストを、複数の大カテゴリのうちのいずれかに分類する第１分類手段と、前記テキストを、前記第１分類手段の分類結果に応じた複数の小カテゴリのうちのいずれかに更に分類する第２分類手段とを有し、前記第１分類手段は、前記テキストを、前記テキストに含まれるキーワードの出現頻度に基づき算出される大カテゴリとの関連度が最大となる大カテゴリに分類する、関連度解析法によって分類を行い、前記第２分類手段は、前記テキストから特定の係り受け関係にある形態素の係り受け組を抽出し、前記テキストを、前記第１分類手段で分類された大カテゴリに対応する複数の小カテゴリのうち、前記抽出した係り受け組に対応する小カテゴリに分類する、係り受け解析法によって分類を行うことを特徴とするテキスト分類装置が提供される。
【００１３】
この構成によれば、第１分類手段と第２分類手段によって少なくとも２階層の分類処理が行われ、第１分類手段によりテキストは大カテゴリに漏れなく振り分けられ、その後、係り受け組に基づき小カテゴリへと分類される。これにより高精度な自動分類が実現される。
【００１４】
本発明の好適な実施形態によれば、前記複数の大カテゴリのそれぞれについて、キーワードと該キーワードの当該大カテゴリに対する重要度とが記述された第１分類辞書を更に有し、前記第１分類手段は、前記テキストに含まれる各キーワードの出現頻度を計算し、計算した各キーワードの出現頻度と、前記第１辞書に記述された１つの大カテゴリに属するキーワード及びその重要度とに基づいて前記テキストと当該１つの大カテゴリとの関連度を計算することを、全ての大カテゴリに対して行い、前記テキストを、前記関連度が最大となる大カテゴリに分類することが好ましい。
【００１５】
この構成によれば、キーワードの出現頻度のみならずその重要度に基づいて適切な分類が実現される。
【００１６】
本発明の好適な実施形態によれば、前記複数の大カテゴリのそれぞれについて、当該大カテゴリに関連する特定の係り受け関係にある形態素の係り受け組と該係り受け組に対応する小カテゴリが記述された複数の第２分類辞書を更に有し、前記第２分類手段は、前記第１分類手段で分類された大カテゴリに対応する第２の分類辞書を参照して、前記テキストの小カテゴリへの分類を行うことが好ましい。
【００１７】
この構成によれば、自由記述文のテキストに精度良く対応することが可能になる。
【００１８】
本発明の好適な実施形態によれば、前記第２分類辞書には、同義の係り受け組が複数記述され、それぞれ同一の小カテゴリに対応していることが好ましい。
【００１９】
この構成によれば、表現が異なっても同じ意味のテキストに対しては同じカテゴリに分類することができる。
【００２０】
本発明の好適な実施形態によれば、前記小カテゴリは、製品の品質表現を示す品質コードに対応させることができる。したがって、多数の品質項目への分類を正確に行うことができる。
【００２１】
また、本発明の好適な実施形態によれば、前記小カテゴリは、感性評価に関するカテゴリとすることも可能である。この場合、分類が難しい感性表現のテキストを正確に分類することができる。
【発明の効果】
【００２２】
本発明によれば、自由記述文のテキストを、ユーザのニーズに合致した数のカテゴリに、高精度に自動分類することができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決手段として必須のものであるとは限らない。
【００２４】
図１は、本実施形態におけるテキスト分類装置として利用可能なコンピュータのハードウェア構成を示すブロック図である。
【００２５】
図中、２２は、ＣＲＴ等のディスプレイ、２３は入力装置であるキーボードである。２４は、ブートプログラム等を記憶しているＲＯＭである。２５は、各種処理結果を一時記憶するＲＡＭである。２６は、ＯＳ（オペレーティングシステム）や後述するテキスト分類処理を実現するテキスト処理プログラム等を記憶するハードディスクドライブ（ＨＤＤ）等の記憶装置である。そして２７は、外部のデータベース（以下、「データベース」は「ＤＢ」と称する）３１と通信回線３０を介して通信するための通信インタフェースである。これらの各構成は、内部バス２８を介して接続されており、ＣＰＵ（中央演算処理装置）２１は記憶装置２６に記憶したプログラムに従って当該コンピュータ（テキスト分類装置）１の全体を制御する。
【００２６】
ＤＢ３１には、例えばコールセンター、サポートセンター等の部門を経由して得られたＶＯＣテキストデータが記憶されている。ＶＯＣテキストデータは、例えば、顧客により作成された自由記述文である。
【００２７】
図２は、本実施形態におけるテキスト分類装置の機能構成を示す図である。
【００２８】
テキスト解析プログラム１００は、記憶装置２６に格納されており、ＲＡＭ２５にロードされＣＰＵ２１によって実行される。テキスト処理プログラム１００は、ＤＢ３１に登録されているＶＯＣデータ１１０を入力して構文解析を行い分析結果１４０をディスプレイ２２に出力する。このテキスト解析プログラム１００は、形態素解析モジュール及び係り受け解析モジュールを含んでいる。このテキスト解析処理には、記憶装置２６に格納された分類辞書が参照される。本実施形態では、後述するように、分類辞書は、例えば、１次分類辞書１２０と、２次分類辞書１３０とがあり、更に２次分類辞書１３０は、例えば２次分類辞書Ａ〜Ｉの９つの辞書に分割されている。
【００２９】
図３は、本実施形態におけるテキスト分類装置の処理フローの概要を示す図である。
【００３０】
この処理フローの特徴は、入力したＶＯＣテキストデータに対して、大分類として１次分類を行い（ステップＳ１）、その後、１次分類で分類された各カテゴリ毎に、小分類として２次分類を行う（ステップＳ２）、多段階の分類処理とした点にある。
【００３１】
概要を述べると、ステップＳ１の１次分類では、関連度解析法によって、１次分類辞書１２０を利用して、入力したＶＯＣテキストデータを、ブレーキ、エンジン、トランスミッションなど、Ｋ種類（例えば９種類）の大カテゴリに分類する。ステップＳ２の２次分類では、係り受け解析法によって、２次分類辞書１３０を利用して、Ｐ種類（例えば２８０種類）の小カテゴリに分類する。
【００３２】
まず、関連度解析法による、１次分類の処理について具体的に説明する。
【００３３】
図４は、本実施形態における１次分類辞書１２０の構造例を示す図である。図示の如く、１次分類辞書１２０には、カテゴリ毎に関連するキーワードが登録され、各キーワードにはそのカテゴリに対する重要度を示すｔｆ＊ｉｄｆ値が付与されている。ｔｆ＊ｉｄｆ値はデータマイニングの分野では公知の指標値であるが、簡単に説明しておくと、一般に、キーワードｉが特定のカテゴリｋで出現頻度が高い一方、他のカテゴリでは出現頻度が低いほど、当該キーワードｉのカテゴリｋに対する重要度は高いといえる。ｔｆ＊ｉｄｆ値はそのような重要度を定量化したものである。ここで、ｔｆ（term frequency）は、キーワードｉがカテゴリｋにおける出現頻度の高さを示す指標であり、その出現頻度が高くなるほど大きな値をとる。ｉｄｆ（inverse document frequency）は、その他のカテゴリにおけるキーワードｉの出現頻度の低さを示す指標であり、その出現頻度が低くなるほど大きな値をとる。ｔｆ＊ｉｄｆ値は、ｔｆとｉｄｆとの積である。
【００３４】
１次分類辞書１２０は、例えば次のような手順で構築されたものである。
（１）まず、Ｋ個の各カテゴリ（ブレーキ、エンジン、トランスミッションなど）に分類済みのコーパスを作成する。ここで用意する文書は大量であるほど好ましい。
（２）上記の分類済みコーパスに対して形態素解析を行う。ここで名詞の形態素のみをキーワード（分類特徴素）として抽出し、その他の品詞の形態素は削除する。
（３）抽出した名詞の形態素（キーワード）の各々について、ｔｆ＊ｉｄｆ値を計算し、図４のようなリストに登録していく。
【００３５】
さて、図３のステップＳ１では、上記のようにして構築された１次分類辞書１２０に基づき、図５に示すような手順で、入力したＶＯＣテキストデータの１次分類が行われる。
【００３６】
まず、入力したＶＯＣテキストデータに対して、上述の１次分類辞書１２０の構築時と同様のアルゴリズムで形態素解析を行う（ステップＳ１０１）。次に、その形態素解析結果から、１次分類辞書１２０に登録された各キーワードの出現頻度をカウントして、キーワード毎のｔｆ値を計算する（ステップS１０２）。その後、各キーワードのｔｆ値を並べた特徴ベクトルｕを生成する（ステップＳ１０３）。
【００３７】
次に、カテゴリ毎（１≦ｋ≦Ｋ）に、生成した特徴ベクトルｕとカテゴリｋの特徴ベクトルｖｋとの内積値を計算する（ステップＳ１０４）。ここで、カテゴリｋの特徴ベクトルｖｋは、１次分類辞書１２０におけるカテゴリｋに属する全キーワードのｔｆ＊ｉｄｆ値をそれぞれ並べて得られたベクトルである。この内積値は、ベクトル空間内において、両ベクトルの大きさを固定すれば、両ベクトルの向きが近いほど大きくなる値であり、入力したＶＯＣテキストデータとカテゴリｋとの関連度を示すものである。
【００３８】
したがって、入力したＶＯＣデータは、この内積値が最大となるカテゴリに分類される（ステップＳ１０５）。
【００３９】
１次分類は、以上のような手順で行われる。このような分類の特徴は、最大出現頻度のキーワードによってのみカテゴリが決定されるのではなく、他の重要なキーワードとの関係でカテゴリが決定される点である。これを実現すべく、本実施形態では、１つのキーワードが１次分類辞書１２０の複数のカテゴリに重複して登録されることが許容されている。例えば、図４の例では、参照符号４１，４２に示されるように、キーワード「アクセル」は、「エンジン」カテゴリ及び「トランスミッション」カテゴリにそれぞれ登録されている。このような構造によって、キーワード「アクセル」を含むＶＯＣテキストデータは、そこに含まれる他のキーワードとの関係に応じて、「エンジン」カテゴリに分類される場合もあるし、「トランスミッション」カテゴリに分類される場合もあることになる。より具体的には、例えば、入力したＶＯＣテキストデータに「アクセル」と「パワー」が含まれていた場合には、「エンジン」カテゴリに分類され、「アクセル」と「キックダウン」が含まれていた場合には、「トランスミッション」カテゴリに分類されうる。よって、入力したＶＯＣテキストの文脈に応じてより適切な分類を行うことが可能である。
【００４０】
次に、図３のステップＳ２の、係り受け解析法による２次分類の処理について詳しく説明する。
【００４１】
図６は、本実施形態における２次分類の処理を示すフローチャートである。
【００４２】
ＶＯＣテキストは、製品に対する具体的な不満、不具合などの品質評価に関する文章記述を含んでいる。例えば、「ブレーキが重い。」という記述があった場合、「ブレーキ」（対象）と「重い」（現象）は係り受け関係にあり、その関係は文章中での語の使われ方を解析することで識別することができる。つまり、文章中の品質評価は、係り受け関係を持った語の組み合わせである「係り受け組」を解析することによって抽出が可能である。
【００４３】
まず、入力したＶＯＣテキストデータに対して形態素解析を行い（ステップＳ２０１）、この形態素解析の結果を利用して、係り受け解析を実行する（ステップＳ２０２）。形態素解析、係り受け解析自体は公知のものを使用することができる。
【００４４】
その後、入力ＶＯＣテキストデータの１次分類のカテゴリに応じた２次分類辞書を用いて、当該ＶＯＣテキストデータに対する品質コードを特定する（ステップＳ２０３）。具体的には、ステップＳ２０２で抽出した係り受け組を、１次分類で分類されたカテゴリに対応する２次分類辞書から検索する。そして、その検索結果に対応する品質コードを、２次分類辞書から選択する。
【００４５】
ここで、２次分類辞書の構造例を図７に示す。図７は、１次分類における「ブレーキ」カテゴリに対応する２次分類辞書Ａの例を示している。図示の如く、係り受け組と品質コードとの対応が記述されている。それぞれの２次分類辞書は、１次分類に関連した内容となっている。そのため、不要文書を排除することができる。
【００４６】
例えば、入力したＶＯＣテキストが、「車種Ｘのブレーキは、硬い感じがします。」との文であり、この文が１次分類で「ブレーキ」カテゴリに分類された場合を考える。この場合、ステップＳ２０２の係り受け解析の結果、「ブレーキ→硬い」との係り受け組が抽出され、ステップＳ２０３では、図７の２次分類辞書Ｂより、品質コードが「Ａ２」と特定される。
【００４７】
また、例えば、「ブレーキ→重い」、「ブレーキ→硬い」、「制動→重い」、「制動→硬い」という係り受け組は互いに同義の表現であると考えられるから、これらの係り受け組には、図７に示すように、共通の品質コード（図７の例では「Ａ２」）を付与するとよい。これにより同義表現に対しては同じ品質コードを付与することができ、多様な文章表現に対応することが可能になる。
【００４８】
ところで、テキスト分類性能Ｆは、再現率と適合率で評価され、
Ｆ＝１００×（再現率Ｒｅ＋適合率Ｐｒ）／２
にて算出される。ここで、再現率Ｒｅは正分類の比率であり、１．０に近いほど抽出漏れが少ないことを表す。また、適合率Ｒｒは不要文の比率であり、１．０に近いほど不要文（ノイズ）が少ないことを表す。
【００４９】
上記再現率と適合率はトレードオフの関係にあり、１次分類のみによる従来の方法によれば、上記のようなテキスト分類性能は70％程度が限界であった。これに対し、本実施形態では、２段階以上の分類を行い、再現率と適合率がそれぞれベストとなるように、１分類の関連度設定値を調整する。すなわち、１次分類では、関連度解析により、漏れがないように抽出し、２次分類では、係り受け解析により、不要文（ノイズ）を除去する。本発明者らの実験によれば、このような構成によって、約９６％のテキスト分類性能が達成された。
【００５０】
以上の実施形態では、入力したＶＯＣテキストを品質コードに対応した小カテゴリに分類する例を示した。しかし本発明はこのような品質コードに分類することに限定されるものではない。例えば、これまで分類が難しいとされてきたユーザの好き嫌いなどを含む感性評価のテキストを分類することにも適用が可能である。
【００５１】
この場合、図７に示した２次分類辞書には、係り受け組として、「デザイン→かっこいい」、「トランク→狭い」といった感性評価に関するものが記述され、それぞれの係り受け組に対応する小カテゴリには「スタイル」、「荷室の大きさ」といった分類項目を対応させることが考えられる。
【図面の簡単な説明】
【００５２】
【図１】実施形態におけるテキスト分類装置として利用可能なコンピュータのハードウェア構成を示すブロック図である。
【図２】実施形態におけるテキスト分類装置の機能構成を示す図である。
【図３】実施形態におけるテキスト分類装置の処理フローの概要を示す図である。
【図４】実施形態における１次分類辞書の構造例を示す図である。
【図５】実施形態における１次分類の処理を示すフローチャートである。
【図６】実施形態における２次分類の処理を示すフローチャートである。
【図７】実施形態における２次分類辞書の構造例を示す図である。
【符号の説明】
【００５３】
１：コンピュータ（テキスト分類装置）
２１：ＣＰＵ
２２：ディスプレイ
２３：キーボード
２４：ＲＯＭ
２５：ＲＡＭ
２６：記憶装置
２７：通信インタフェース
２８：内部バス
３０：通信回線
３１：データベース
【図１】
2008225582.tif 000003
【図２】
2008225582.tif 000004
【図３】
2008225582.tif 000005
【図４】
2008225582.tif 000006
【図５】
2008225582.tif 000007
【図６】
2008225582.tif 000008
【図７】
2008225582.tif 000009