(57)【要約】      （修正有）【課題】生成されたテキストグループと属性情報との間の関連性を指標化して関連性の高いテキストグループを検出し、その情報に基づき文書分類結果を表示することで、テキストデータを読むべきテキストグループを利用者にわかりやすく表示するテキスト分類結果表示装置を提供する。【解決手段】データ集合保持部１、１つ以上の属性情報を利用者から指定させる属性情報選択部２、データ集合を１つ以上の部分集合に分割するデータ集合分割部３、データ集合のテキストデータを対象にテキスト分類を行うテキストグループ生成部４、テキストグループの特徴を算出するテキストグループ特徴算出部５、部分集合毎に各テキストグループの計数的特徴を算出するテキストグループ固有度算出部６と、前記テキストグループ特徴算出部５の出力を用いて、前記データ集合分割部３に記録される部分集合毎にテキストグループを表示するテキスト分類結果表示部７と、を備えている。【選択図】      図２
2004164137.tif 000002
【特許請求の範囲】
【請求項１】
１つ以上のテキストデータと、１つ以上の属性情報データから成るデータ集合に基づいてテキストグループを生成及び表示する装置であって、
前記データ集合を入力して保持するデータ集合保持部と、１つ以上の属性情報の指定を利用者から入力させる属性情報選択部と、該属性情報選択部から出力されたフィールド識別子に基づいてデータ集合を１つ以上の部分集合に分割するデータ集合分割部と、前記データ集合保持部に保持されるデータ集合のテキストデータを対象にテキスト分類を行うテキストグループ生成部と、前記テキストグループの特徴を算出するテキストグループ特徴算出部と、前記データ集合分割部に記録される部分集合毎に各テキストグループの計数的特徴を算出するテキストグループ固有度算出部と、前記テキストグループ特徴算出部の出力を用いて、前記データ集合分割部に記録される部分集合毎にテキストグループを表示するテキスト分類結果表示部と、を備えたことを特徴とするテキスト分類結果表示装置。
【請求項２】
前記テキストグループ固有度算出部は、少なくとも全データ集合での計数的特徴と前記部分集合での計数的特徴とを比較し、当該部分集合における当該テキストグループの特異度を算出し、前記テキスト分類結果表示部は、前記テキストグループ固有度算出部が算出した特異度に応じてテキストグループを表示することを特徴とする請求項１に記載のテキスト分類結果表示装置。
【請求項３】
前記テキスト分類結果表示部は、少なくとも前記テキストグループ固有度算出部の算出する特異度が一定以上のテキストグループに対して、他のテキストグループと識別可能に表示することを特徴とする請求項２に記載のテキスト分類結果表示装置。
【請求項４】
前記テキスト分類結果表示部は、テキストグループを各部分集合毎に表示する複数の表示領域と、各表示領域に表示される情報を一括して変更する操作部と、を備えたことを特徴とする請求項３に記載のテキスト分類結果表示装置。
【請求項５】
前記テキスト分類結果表示部は、テキストグループを１つずつ連続的に表示し、該表示の任意の時点でマーキングを行うマーキング手段と、該マーキング手段によりマーキングされた時点で表示されていたテキストグループを保持する利用者選択テキストグループ保持部と、を備えたことを特徴とする請求項１乃至４の何れか一項に記載のテキスト分類結果表示装置。
【請求項６】
１つ以上のテキストデータと、１つ以上の属性情報データから成るデータ集合に基づいてテキストグループを生成及び表示する方法であって、
前記データ集合を入力して保持するステップと、１つ以上の属性情報の指定を利用者から入力させるステップと、該ステップから出力されたフィールド識別子に基づいてデータ集合を１つ以上の部分集合に分割するステップと、前記データ集合のテキストデータを対象にテキスト分類を行うステップと、前記テキストグループの特徴を算出するステップと、前記部分集合毎に各テキストグループの計数的特徴を算出するステップと、前記テキストグループの特徴を算出するステップの出力を用いて、前記データ集合を１つ以上の部分集合に分割するステップにより記録される部分集合毎にテキストグループを表示するステップと、を備えたことを特徴とするテキスト分類結果表示方法。
【請求項７】
前記部分集合毎に各テキストグループの計数的特徴を算出するステップは、少なくとも全データ集合での計数的特徴と前記部分集合での計数的特徴とを比較し、当該部分集合における当該テキストグループの特異度を算出し、前記部分集合毎にテキストグループを表示するステップは、前記特異度に応じてテキストグループを表示することを特徴とする請求項６に記載のテキスト分類結果表示方法。
【請求項８】
前記テキストグループを表示するステップは、少なくとも前記特異度が一定以上のテキストグループに対して、他のテキストグループと識別可能に表示することを特徴とする請求項７に記載のテキスト分類結果表示方法。
【請求項９】
前記テキストグループを表示するステップは、複数の表示領域にテキストグループを各部分集合毎に表示し、操作部により各表示領域に表示される情報を一括して変更可能とすることを特徴とする請求項８に記載のテキスト分類結果表示方法。
【請求項１０】
前記テキストグループを表示するステップは、テキストグループを１つずつ連続的に表示し、該表示の任意の時点でマーキングを行い、該マーキングされた時点で表示されていたテキストグループを保持するようにしたことを特徴とする請求項６乃至９の何れか一項に記載のテキスト分類結果表示方法。
【請求項１１】
請求項６乃至１０の何れか一項に記載のテキスト分類結果表示方法をコンピュータが読み取り可能なプログラム形式で記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マイニング結果の表示技術に関し、特に、文書の内容に基づき文書を分類する技術を、文書データ集合の分析に利用するテキストマイニング技術に関するものである。
【０００２】
【従来の技術】
近年、インターネットおよびパーソナルコンピュータ（ＰＣ）の発展に伴い、電子化された文書データが容易に大量に入手・蓄積される状況になってきた。こうして入手される膨大なテキストで記述されたデータを分析して、企業の意思決定に利用しようとする動きがある。例えば、企業が顧客相談窓口などから集められるテキストデータ（文書データ）に対して、顧客からの問い合わせの内容をテキストで記録し、それらの内容に基づいて、どの製品に対する問い合わせか、どういう不具合に対する問い合わせかなどで分類したり、それらの顧客のセグメントによるばらつきを見たり、あるいは集計したりして、ＣＳ（Ｃｕｓｔｏｍｅｒ  Ｓａｔｉｓｆａｃｔｉｏｎ）のための情報収集や、既存製品の改良点の把握、新規製品の企画ポイントを探る資料としている。
また、同様の例として、インターネットチャネルを介して実施されるアンケートで収集される自由記述回答データから、同様に市場の動向を把握し、新規商品や新規サービスのヒントを得ようとすることにも利用されている。こうしたテキストデータは、テキストで記述される部分と、従来の統計手法により解析が容易な記号やコード、数値などで記述される部分とから構成されている。前記の顧客相談窓口のデータでは、具体的な顧客の声の記録と、企業の担当者の回答の記録とがテキスト記述データであり、機種コードや問い合わせの受け付け日時、問い合わせ相手の属性などが、数値・記号データとなる。また、アンケートデータでは、自由記述を求められた設問がテキストデータであり、従来のように記号や数値で回答を求められた設問が数値・記号データである。どちらも、１件の問い合わせ記録や１件のアンケート回答を１文書データとする。
【０００３】
このようなテキストを含むデータの分析支援技術の従来技術として、例えば、特開平１１−１５８３５号公報には、各テキストデータを、単語を特徴とする文書ベクトルと見なし、ベクトル間の類似度（距離）を測度として、クラスタリング手法を用いてこれらの文書ベクトルの群分けをし、文書の自動分類を行うものがある。つまり、テキスト部分を自動分類するということは、各データのテキスト部分に自動的に分類識別記号を付与することと等価と見なすことができるため、この分類識別記号と他の数値・記号データとの相関や集計値などを算出すれば、機種毎の問い合わせ内容の違いや、年齢・性別別の自由記述内容の種類との関連を分析することができるとしている。
また、特開平１１−１７５５３０号公報では、各テキストデータの作成日時の部分を分類する時間分類部と、テキスト部分を分類する話題分類部とを用意し、対象テキストデータを時間×話題（時間毎の話題の遷移）として表示する方法が提案されている。その他、付属情報を利用して文書分類を行う方法の従来例として、特開２０００−３３１０２６公報、特開２０００−２５９６５８公報、特開２０００−２４２６５２公報、及び特開２０００−１８１９３６公報等がある。また、同一出願人から、関連技術として特願２００２−０３５２２５公報、及び特願２００１−２９００２１が既に報告されている。
【特許文献１】特開平１１−１５８３５号公報
【特許文献２】特開平１１−１７５５３０号公報
【特許文献３】特開２０００−３３１０２６公報
【特許文献４】特開２０００−２５９６５８公報
【特許文献５】特開２０００−２４２６５２公報
【特許文献６】特開２０００−１８１９３６公報
【特許文献７】特願２００２−０３５２２５公報
【特許文献８】特願２００１−２９００２１公報
【０００４】
【発明が解決しようとする課題】
しかしながら、こうした文書分類技術は、上述のように文書に含まれる単語のパターンの類似性に基づき統計的に求められた分類であるため、理解が困難な文書グループが生成されてしまうという問題があった。すなわち、生成された文書グループの内容が理解可能で分析にとって有益かどうかは、人間が文書グループに所属するテキストデータを読まなければ本質的には判断できないものと言える。さらに、データ分析全体からみると２つの問題がある。１つは、前述した顧客相談窓口における問い合わせ記録やアンケートデータは、データ数（文書数）が数万件〜数十万件にも及ぶため、生成される文書グループ数も膨大になり、読むべきテキストデータも膨大となる問題がある。さらに、生成された文書グループと関連性を分析すべき機種や性別、他の設問などの属性情報の数や組み合わせも膨大になるという問題もある。
また、特許文献１は、テキスト部分との関連性を想定する数値・記号データ部分が固定（例えば作成日時）であり、予め決まっている属性間の関連性しか分析できない。また、特許文献２は、テキストデータを話題に基づき分類する際の対象データ範囲が全分析対象データであるため、特にテキストデータに対する話題分類をクラスタリングに基づき行う場合、分析対象データ全体の傾向を反映してしまい、ある条件のデータ範囲の中でのみ出現するようなローカルな話題、マイナーな話題を抽出することが困難である。
前記のこうした問題を実用的に解決するには、関連性のある文書グループと属性情報の組み合わせを発見して、関連性ある文書グループから、テキストデータを読むようにすれば、全体として分析終了までに読むテキストデータの量を減らすことが期待できる。そこで、本発明は、かかる課題に鑑み、生成されたテキストグループと属性情報との間の関連性を指標化して関連性の高いテキストグループを検出し、その情報に基づき文書分類結果を表示することで、テキストデータを読むべきテキストグループを利用者にわかりやすく表示するテキスト分類結果表示装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明はかかる課題を解決するために、請求項１は、１つ以上のテキストデータと、１つ以上の属性情報データから成るデータ集合に基づいてテキストグループを生成及び表示する装置であって、前記データ集合を入力して保持するデータ集合保持部と、１つ以上の属性情報の指定を利用者から入力させる属性情報選択部と、該属性情報選択部から出力されたフィールド識別子に基づいてデータ集合を１つ以上の部分集合に分割するデータ集合分割部と、前記データ集合保持部に保持されるデータ集合のテキストデータを対象にテキスト分類を行うテキストグループ生成部と、前記テキストグループの特徴を算出するテキストグループ特徴算出部と、前記データ集合分割部に記録される部分集合毎に各テキストグループの計数的特徴を算出するテキストグループ固有度算出部と、前記テキストグループ特徴算出部の出力を用いて、前記データ集合分割部に記録される部分集合毎にテキストグループを表示するテキスト分類結果表示部と、を備えたことを特徴とする。
本発明のテキスト分類結果表示装置は、入力されたデータ集合をデータ集合保持部でバッファリングされ、データ集合分割部によりそのデータが１つ以上の部分集合に分割される。それと同時にテキストグループ生成部によりデータのテキスト分類が行われる。これらの作業は、属性情報選択部から出力されるフィールド識別子に基づいて行われる。そして、テキストグループ生成部により生成されたテキストグループの特徴がテキストグループ特徴算出部により算出され、テキストグループ固有度算出部により、部分集合毎に各テキストグループの計数的特徴が算出される。そして、その結果がテキスト分類結果表示部により部分集合毎に表示される。このように、データタイプが数値・記号型の属性情報に関する集計値として、テキストグループの計数的特徴を利用し一覧表示できるため、数値・記号型の属性によるテキストグループの偏りや差異がパターンとして呈示され、瞬時に知覚的に把握することができる。
かかる発明によれば、データタイプが数値・記号型の属性情報に関する集計値として、テキストグループの計数的特徴を利用し一覧表示できるので、テキストグループと数値記号型の属性との関連性を効率的に把握することができる（内容を読まなければならないテキストグループを少なくすることができる）。
請求項２は、前記テキストグループ固有度算出部は、少なくとも全データ集合での計数的特徴と前記部分集合での計数的特徴とを比較し、当該部分集合における当該テキストグループの特異度を算出し、前記テキスト分類結果表示部は、前記テキストグループ固有度算出部が算出した特異度に応じてテキストグループを表示することを特徴とする。
テキストグループと数値記号型の属性との関連性を把握するために、内容を読まなければならないテキストグループを検出する際、各部分集合におけるテキストグループの所属メンバーの分布を、理論的に推定された分布と比較する統計指標を利用することができるため、利用者の判断が容易である。
かかる発明によれば、理論的に推定された分布と比較する統計指標を利用することができるため、利用者が容易に判断することができる。
【０００６】
請求項３は、前記テキスト分類結果表示部は、少なくとも前記テキストグループ固有度算出部の算出する特異度が一定以上のテキストグループに対して、他のテキストグループと識別可能に表示することを特徴とする。
かかる発明によれば、各部分集合におけるテキストグループの所属メンバーの分布を理論的に推定された分布と比較し、統計的に有意な差の認められるテキストグループを、それ以外のテキストグループと知覚的に区別して把握できるため、テキストグループと数値記号型の属性との関連性を把握することが容易にできる。
請求項４は、前記テキスト分類結果表示部は、テキストグループを各部分集合毎に表示する複数の表示領域と、各表示領域に表示される情報を一括して変更する操作部と、を備えたことを特徴とする。
限られた表示領域の中で効率的にテキストグループと数値記号型の属性との関連性を視覚的なパターンとして把握するために、テキストグループを各部分集合毎に表示し、その情報を一括して変更するために操作部を備える。
かかる発明によれば、テキストグループを各部分集合毎に表示して、その表示内容を操作部により一括して変更することができるので、テキストグループと数値記号型の属性との関連性を視覚的なパターンとして効率的に把握することができる。
請求項５は、前記テキスト分類結果表示部は、テキストグループを１つずつ連続的に表示し、該表示の任意の時点でマーキングを行うマーキング手段と、該マーキング手段によりマーキングされた時点で表示されていたテキストグループを保持する利用者選択テキストグループ保持部と、を備えたことを特徴とする。
テキストグループの中から、関連性のあるデータや有益と思われるデータを保存しておきたい場合がある。このようなとき、そのデータをマーキングしてその時点のデータを保存するようにする。
かかる発明によれば、視覚的パターンとして、あるいは統計的指標を用いて、関連性がある、あるいは有益であると判断したテキストグループのみを保存することができるため、データ分析を効率化することができる。
【０００７】
請求項６は、１つ以上のテキストデータと、１つ以上の属性情報データから成るデータ集合に基づいてテキストグループを生成及び表示する方法であって、前記データ集合を入力して保持するステップと、１つ以上の属性情報の指定を利用者から入力させるステップと、該ステップから出力されたフィールド識別子に基づいてデータ集合を１つ以上の部分集合に分割するステップと、前記データ集合のテキストデータを対象にテキスト分類を行うステップと、前記テキストグループの特徴を算出するステップと、前記部分集合毎に各テキストグループの計数的特徴を算出するステップと、前記テキストグループの特徴を算出するステップの出力を用いて、前記データ集合を１つ以上の部分集合に分割するステップにより記録される部分集合毎にテキストグループを表示するステップと、を備えたことを特徴とする。
かかる発明によれば、請求項１と同様な作用効果を奏する。
請求項７は、前記部分集合毎に各テキストグループの計数的特徴を算出するステップは、少なくとも全データ集合での計数的特徴と前記部分集合での計数的特徴とを比較し、当該部分集合における当該テキストグループの特異度を算出し、前記部分集合毎にテキストグループを表示するステップは、前記特異度に応じてテキストグループを表示することを特徴とする。
かかる発明によれば、請求項２と同様な作用効果を奏する。
請求項８は、前記テキストグループを表示するステップは、少なくとも前記特異度が一定以上のテキストグループに対して、他のテキストグループと識別可能に表示することを特徴とする。
かかる発明によれば、請求項３と同様な作用効果を奏する。
請求項９は、前記テキストグループを表示するステップは、複数の表示領域にテキストグループを各部分集合毎に表示し、操作部により各表示領域に表示される情報を一括して変更可能とすることを特徴とする。
かかる発明によれば、請求項４と同様な作用効果を奏する。
【０００８】
請求項１０は、前記テキストグループを表示するステップは、テキストグループを１つずつ連続的に表示し、該表示の任意の時点でマーキングを行い、該マーキングされた時点で表示されていたテキストグループを保持するようにしたことを特徴とする。
かかる発明によれば、請求項５と同様な作用効果を奏する。
請求項１１は、請求項６乃至１０の何れか一項に記載のテキスト分類結果表示方法をコンピュータが読み取り可能なプログラム形式で記録したことを特徴とする。
本発明のテキスト分類結果表示方法を、所定のＯＳに基づいたソフトウェアとしてプログラミングし、その情報をそのＯＳの環境下で動作するコンピュータが読み取り可能な形式に記録媒体に記録することにより、可搬型の記録媒体として他の場所でコンピュータを稼動することができる。
かかる発明によれば、本発明のテキスト分類結果表示方法を可搬型の記録媒体に記録することにより、異なる場所のコンピュータがテキスト分類結果表示装置として稼動させることができる。
【０００９】
【発明の実施の形態】
以下、本発明を図に示した実施形態を用いて詳細に説明する。但し、この実施形態に記載される構成要素、種類、組み合わせ、形状、その相対配置などは特定的な記載がない限り、この発明の範囲をそれのみに限定する主旨ではなく単なる説明例に過ぎない。
図１は、本発明の分析対象データ例の一部を示す図である。このデータでは、Ｑ２およびＱ４にテキストデータが記述されており、ＩＤ（回答者番号）、Ｑ１、Ｑ３、ＡＧＥに数値・記号データが記述されている。また、１レコード毎が１つの回答であり、全体としてはこうしたレコードが多数あるアンケートデータとする。
図２は、本発明の実施形態に係るテキスト分類結果表示装置の構成図である。このテキスト分類結果表示装置は、データ集合を入力して保持するデータ集合保持部１と、１つ以上の属性情報の指定を利用者から入力させる属性情報選択部２と、この属性情報選択部２から出力されたフィールド識別子に基づいて、データ集合を１つ以上の部分集合に分割するデータ集合分割部３と、前記データ集合保持部１に保持されるデータ集合のテキストデータを対象にテキスト分類を行うテキストグループ生成部４と、テキストグループの特徴を算出するテキストグループ特徴算出部５と、前記データ集合分割部３に記録される部分集合毎に各テキストグループの計数的特徴を算出するテキストグループ固有度算出部６と、前記テキストグループ特徴算出部５の出力を用いて、前記データ集合分割部３に記録される部分集合毎にテキストグループを表示するテキスト分類結果表示部７と、を備えて構成される。尚、テキストグループ生成部４は、形態素解析技術により各データから語句（トークン）を抽出し、結果を言語解析結果保持部へ出力する言語解析部４ａと、受け取ったトークンからレコード×トークン行列を生成する言語解析結果保持部４ｂと、ｋ−ｍｅａｎｓ等のクラスタリング手法を適用し、複数のクラスタを求める文書分類部４ｃにより構成される。
【００１０】
次に本実施形態の動作について説明する。データ集合保持部１は、テキストデータと数値・記号データを含む図１のようなデータをフィールド×レコードのテーブル形式で保持している。そして、数値データおよび記号データは、１つのフィールドに対応しているが、Ｑ１やＱ３のような記号データは、回答の選択肢をフィールドに対応付け、フィールド値を１／０に変換した形式で格納している。例えば、図３は、図１のＱ３に対応した元のアンケートデータ１０が、１の場合は、選択肢番号１のフィールド１１が「１」で、その他は「０」とし、２の場合は、選択肢番号２のフィールド１２が「１」で、その他は「０」として格納されている。そして、個々のデータ内容に対してはフィールド識別番号とレコード識別番号を指定することで獲得することができる。また、データ集合保持部１は、ネットワークやファイルＩＯと接続されており、外部から分析対象データ集合を入力・保持することができる。本発明では、データが格納される際、各フィールドがテキストデータか、数値データか、記号データかを識別するために、データタイプがフィールド識別番号に対応して保持されている。
また、属性情報選択部２は、テキスト分類結果表示部７に表示する属性情報を選択・指定する手段である。つまり利用者には、少なくともフィールドの名称などフィールドを識別するための情報と、データタイプが呈示され、フィールドの選択を受け付ける。また、属性情報選択部２は、選択されたフィールドの識別子をデータ集合分割部３へ出力する。本発明では、属性情報選択部２で指定できる属性の数は、２つまでである。例えば、図１のＱ１およびＱ３に対応するフィールドが選択された場合、Ｑ１は選択肢がＡ〜Ｄ、Ｑ３は選択肢が１〜４であるから、データ集合分割部３へは、［１、２、３、４］と［６、７、８、９］の２組のフィールド識別子のリストが出力される。ただし、フィールド識別子は、先頭のＱ１から順番に付与されているものとする。なお、本発明では、テキストグループを生成するためのテキストデータタイプのフィールド識別子についても、テキストグループ生成部４に出力されるようになっている。
また、属性情報選択部２から出力されたフィールド識別子（ｆｉｅｌｄ＿ｉｄ）に基づいて、データ集合分割部３は、属性毎に選択肢の数だけの記憶領域を初期化する。Ｑ１とＱ３の例では、２属性で各々４つの選択肢であるから、４×４＝１６の部分集合の記憶領域を初期化する。次いで、データ集合分割部３は、データ集合保持部１から、当該のセルの値が１であるレコードの識別子を検索し、レコード識別子を対応する記憶領域に格納する。上の例では図４に示すようになる。なお、データタイプが数値の属性が選択された場合、本発明のデータ集合分割部３は、最大値と最小値を求め、それを予め定めた分割数で除算することで級区間を決定して、各々の区間に適合するレコード識別子を格納する。
【００１１】
テキストデータタイプのフィールド識別子を入力されたテキストグループ生成部４は、当該のテキストデータをデータ集合保持部１から獲得し、以下のステップで文書分類を行う。
１）言語解析部４ａは、形態素解析技術により各データから語句（トークン）を抽出し、結果を言語解析結果保持部４ｂへ出力する。
２）言語解析結果保持部４ｂは、受け取ったトークンから、レコード×トークン行列を生成する。行列の各要素には当該のレコードに出現するトークンの出現数が記録される。
３）２）のレコード×トークン行列に対して、文書分類部４ｃは、ｋ−ｍｅａｎｓ等のクラスタリング手法を適用し、複数のクラスタを求める。ｋ−ｍｅａｎｓ法は以下のようなステップで実行される。なおｋは求めるクラスタ数であり、データ総数から適当に与えても、利用者に指定させても良い。
Ｓ１：ｋ個のクラスタ（部分集合）の重心の初期値をｎ個の文書ベクトルの中から選択する。
Ｓ２：ｎ個の各文書ベクトルをもっとも類似するクラスタ重心を持つクラスタへ帰属させる。
Ｓ３：ｋ個の各クラスタについて、含まれる文書ベクトルの平均を新たに求め、これを新しいクラスタ重心とする。
Ｓ４：上記、（Ｓ２）、（Ｓ３）を「クラスタ重心の位置が変化しなくなるまで」等の終了条件を満たすまで繰り返す。
Ｓ５：求めたクラスタに所属するレコードの識別子をテキストグループ特徴算出部５へ出力する。
【００１２】
なお文書分類の方法には、カテゴライゼーションあるいはクラシフィケーションと呼ばれ、個々の分類対象文書が、予め設定されたカテゴリのカテゴリに属するかを判断し、文書を自動的に分類する技術もある。中でも古典的に知られたものとしてＳａｌｔｏｎらの装置を解説する（Ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ｍｏｄｅｒｎ  ｉｎｆｏｒｍａｔｉｏｎ  ｒｅｔｒｉｅｖａｌ，  Ｇ．Ｓａｌｔｏｎ  ＆  Ｍ．Ｊ．ＭｃＧｉｌｌ，  １９８３，  Ｎｅｗ  Ｙｏｒｋ  ＭｃＧｒａｗ  Ｈｉｌｌ）。この装置では、まず、個々の文書に含まれる語句を抽出し、各々の文書を、文書集合全体に現れる語句を次元、当該文書内での語句の出現頻度をノルムとしたベクトルとして表現する。また、所与のカテゴリには、そのカテゴリを特徴付けるいくつかのサンプル文書を与え、同様にサンプル文書の文書ベクトルを生成して、それらの合成ベクトル（例えば重心ベクトル）としてカテゴリベクトルを求める。分類は、文書ベクトル毎に各カテゴリベクトルとの類似度を求め、もっとも類似度の高いカテゴリを当該文書ベクトルの所属カテゴリとして計算される。本発明では、予め利用者が当該フィールドのサンプルテキストデータをサンプル文書として与えた分類体系（カテゴリ体系）を作成し、テキストグループ生成部４に入力し、テキストグループを生成してもよい。
また、テキストグループ特徴算出部５は、テキストグループ生成部４から入力されるクラスタ毎の所属レコードの識別子リストに基づき、言語解析結果保持部４ｂに保持される言語解析結果から、当該レコード識別子をキーに保持されている語句を獲得し、獲得した語句の中で頻度の高いものを、テキストグループ特徴として保持する。図５は、テキストグループ特徴算出部５に保持された、テキストグループ毎の所属レコード識別子、テキストグループ特徴を表現した図である。
【００１３】
テキストグループ固有度算出部６は、データ集合分割部３に記録される各部分集合のレコード識別子、およびテキストグループ特徴算出部５に記録される各テキストグループの所属レコード識別子を用いて、以下のステップにより固有度を算出する。
（方式１）単純相対比率を求める方法
Ｓ１：部分集合毎に各部分集合のレコード識別子の個数をカウントし頻度Ｆｉを求める。Ｆは度数、ｉは部分集合の識別子で本発明の例では、部分集合は１６個生成されているので、ｉは１〜１６になる。
Ｓ２：テキストグループｊのレコード識別子と各部分集合のレコード識別子との積集合を求め、個数をカウントし、ｊ番目のテキストグループのｉ番目の部分集合における頻度Ｔｊ・ｉを求める。
Ｓ３：部分集合毎のテキストグループ固有度ｒｉ・ｊを、以下の式で求める。
ｒｉ・ｊ＝Ｔｊｉ／Ｆｉ
（方式２）クリティカル・レシオを求める方法
Ｓ１：部分集合毎に各部分集合のレコード識別子の個数をカウントし頻度Ｆｉを求める。Ｆは度数、ｉは部分集合の識別子で本発明の例では、部分集合は１６個生成されているので、ｉは１〜１６になる。
Ｓ２：データ集合全体のレコード総数Ｕを求め、テキストグループｊのレコード識別子の個数をカウントし、ｊ番目のテキストグループの頻度Ｔｊ・を求める。Ｓ３：テキストグループｊのレコード識別子と各部分集合のレコード識別子との積集合を求め、個数をカウントし、ｊ番目のテキストグループのｉ番目の部分集合における頻度Ｔｊ・ｉを求める。
Ｓ４：部分集合毎のテキストグループ固有度ｚｉ・ｊを、以下の式で求める。
Ｐｕ＝Ｔｊ／Ｕ
Ｐｉ．ｊ＝Ｔｉｊ／Ｆｉ
ｚｉ．ｊ＝（Ｐｉ．ｊ−Ｐｕ）／［Ｆｉ・Ｐｕ・（１−Ｐｕ）］１／２
以上のステップにより、ｉ番目の部分集合におけるｊ番目のテキストグループの固有度が求められ、テキストグループ固有度算出部６はｒｉ・ｊないしｚｉ・ｊをテキスト分類結果表示部７へ出力する。
【００１４】
テキスト分類結果表示部７は、データ集合分割部３に保持されている属性毎の部分集合の識別子の組（［１、２、３、４］と［６、７、８、９］）に基づき、表示領域を生成し初期化する。例では、２属性、各々４選択肢であるから、本発明では、４×４のマトリックス型の表示領域を描画する。次いで、前記表示領域内に、部分集合毎にテキストグループ情報を描画する。描画内容は、テキストグループに関して算出された情報で利用者にとって有用なものであればどのようなものであってもよい。ここでは、ｒｉ・ｊないしｚｉ・ｊ、テキストグループ特徴を用いて、頻度グラフとして描画する例で説明する。
Ｓ１：部分集合毎に仮想的にテキストグループ特徴および頻度グラフを描画する領域を生成し、初期化する。
Ｓ２：生成されたテキストグループの識別子を対応するＴｊ・を降順にソートする。
Ｓ３：最上位のテキストグループ識別子から仮想描画領域に、テキストグループ特徴、および矩形を描画する。矩形の高さはテキストグループ特徴である語句を表示する際の文字の高さに適切な大きさに設定する。また矩形の幅は、ｒｉ・ｊに比例するよう設定する。
Ｓ４：本発明では、（１−α）／２となる値を、別途保持している正規分布表から引きｔαとし、ｔα＜｜ｚｉ・ｊ｜である場合は、それ以外の場合と異なる色を矩形に設定する。
Ｓ５：Ｓ３〜Ｓ４をすべてのテキストグループについて繰り返す。
Ｓ６：Ｓ２〜Ｓ５をすべての部分集合について繰り返す。
Ｓ７：各部分集合の表示領域毎に対応する仮想描画領域のうち表示可能な範囲をプットする。
【００１５】
なお、ｔα＞｜ｚｉ・ｊ｜であるテキストグループは描画しないよう制御することもできる。この場合、描画領域には、その所属レコードの分布が統計的に有意差の認められるテキストグループのみが表示されることになる。以上により例えば、図６のような表示が生成されることになる。図６では、各テキストグループ２０（学生、会社員、自営業、その他）が、部分集合２１（１０代、２０代、３０代、４０代）毎に、ｒｉ・ｊの大きい順に棒グラフとして描画されている。表示領域の大きさの制約から、テキストグループは、上位８つが表示されており、それ以下のテキストグループが閲覧できるよう部分集合毎の表示領域の右側には、スクロールバー２２が設けられている。また、ハッチングされているものは、ｔα＜｜ｚｉ・ｊ｜である特異なテキストグループである。本発明では、各部分集合に表示されている個々のテキストグループを同時に一括して変更するための操作部が設けられている。各部分集合には、対応する仮想描画領域が設定されている。通常、各部分集合の表示領域の面積は、対応する仮想描画領域の面積よりも小さいため、一部のみが表示されることになる（図６では８つのテキストグループしか表示されていない）。当該の操作部は、利用者よりスクロールバーの移動量やダイヤルの回転量を等の描画の変更量を検出し、値を各部分集合の仮想描画領域を管理するルーチンに出力する。
また、仮想描画領域管理ルーチンは、入力された変更量に応じて、各部分集合の表示領域に対して仮想描画領域の表示範囲を変更する。例えば、現在の表示範囲がテキストグループ＃１〜＃８であり、入力された変更量が＋４である場合は、変更後の表示範囲がテキストグループ＃５〜＃１２に変更されることになる。
【００１６】
図７は、本発明のテキスト分類結果表示部７における描画制御の手順を示すフローチャートである。まず、テキストグループの順番を示すｊを０にする（Ｓ１０）。次にｊをインクリメントしてｊ＋１番目にし（Ｓ１１）、ｊ番目のテキストグループ情報が獲得できるか否かを判断する（Ｓ１２）。獲得できなければ（Ｓ１２でＮＯのルート）そこで終了し、獲得できれば（Ｓ１２でＹＥＳのルート）ｊ番目のテキストグループ情報の描画を開始する（Ｓ１３）。次に、所定の時間のポーズを置き（Ｓ１４）、利用者によるマーキングバッファがＮＵＬＬか否かを判断し（Ｓ１５）、ＮＵＬＬであれば（Ｓ１５でＹＥＳのルート）Ｓ１１に戻って繰り返し、ＮＵＬＬでなければ（Ｓ１５でＮＯのルート）マーキングバッファにＮＵＬＬを代入して（Ｓ１６）、ｊ番目のテキストグループの識別子を保存して（Ｓ１７）Ｓ１１に戻って繰り返す。
このように、テキストグループ情報を表示中の任意の時点で、利用者の保存命令を受け付ける操作部が構成に加えられ、利用者による操作があった場合、マーキングバッファの内容が書き換えられ一時的に保持されるようになっている。また、ｊ個のテキストグループについてその情報を逐次描画し、マーキングバッファの内容がＮＵＬＬでない場合、その時点で描画されているテキストグループの識別子、テキストグループ特徴、テキストグループ固有度がテキスト分類結果表示部７に保存される。
【００１７】
【発明の効果】
以上記載のごとく請求項１、６の発明によれば、データタイプが数値・記号型の属性情報に関する集計値として、テキストグループの計数的特徴を利用し一覧表示できるので、テキストグループと数値記号型の属性との関連性を効率的に把握することができる。
また請求項２、７では、理論的に推定された分布と比較する統計指標を利用することができるため、利用者が容易に判断することができる。
また請求項３、８では、各部分集合におけるテキストグループの所属メンバーの分布を理論的に推定された分布と比較し、統計的に有意な差の認められるテキストグループを、それ以外のテキストグループと知覚的に区別して把握できるため、テキストグループと数値記号型の属性との関連性を把握することが容易にできる。
また請求項４、９では、テキストグループを各部分集合毎に表示して、その表示内容を操作部により一括して変更することができるので、テキストグループと数値記号型の属性との関連性を視覚的なパターンとして効率的に把握することができる。
また請求項５、１０では、視覚的パターンとして、あるいは統計的指標を用いて、関連性がある、あるいは有益であると判断したテキストグループのみを保存することができるため、データ分析を効率化することができる。
また請求項１１では、本発明のテキスト分類結果表示方法を可搬型の記録媒体に記録することにより、異なる場所のコンピュータがテキスト分類結果表示装置として稼動させることができる。
【図面の簡単な説明】
【図１】本発明の分析対象データ例の一部を示す図である。
【図２】本発明の実施形態に係るテキスト分類結果表示装置の構成図である。
【図３】本発明の回答の選択肢をフィールドに対応付け、フィールド値を１／０に変換した形式で格納する図である。
【図４】本発明のレコード識別子を対応する記憶領域に格納する図である。
【図５】本発明のテキストグループ特徴算出部５に保持された、テキストグループ毎の所属レコード識別子、テキストグループ特徴を表現した図である。
【図６】本発明の表示の一例を示す図である。
【図７】本発明のテキスト分類結果表示部７における描画制御の手順を示すフローチャートである。
【符号の説明】
１  データ集合保持部、２  属性情報選択部、３  データ集合分割部、４  テキストグループ生成部、５  テキストグループ特徴算出部、６  テキストグループ固有度算出部、７  テキスト分類結果表示部
【図１】
2004164137.tif 000003
【図２】
2004164137.tif 000004
【図３】
2004164137.tif 000005
【図４】
2004164137.tif 000006
【図５】
2004164137.tif 000007
【図６】
2004164137.tif 000008
【図７】
2004164137.tif 000009