(57)【要約】【課題】情報をカテゴリ毎に分類する際に参照する分類基準情報の生成を好適に実行すること。【解決手段】分類パラメータを生成する分類パラメータ生成装置１であって、既にカテゴリの分類がされている学習用データを取得し、取得した学習用情報を構成する複数のｌｃｐ文字列を抽出するｌｃｐ文字列抽出部１０１と、抽出されたｌｃｐ文字列の学習用データにおける重み値を算出する重み算出部１０２と、抽出された複数のｌｃｐ文字列の散らばりを示す分散度情報を閾値として取得する閾値算出部１０３と、取得された閾値及び算出された重み値に基づいて取得された複数のｌｃｐ文字列から分類パラメータとして用いるものを分類パラメータ候補として抽出する分類パラメータ候補抽出部１０４とを含むことを特徴とする。【選択図】図４
2009295097.tif 000002
【特許請求の範囲】
【請求項１】
入力された情報のカテゴリを分類する際に参照する分類基準情報を生成する分類基準情報生成装置であって、
既にカテゴリの分類がされている学習用情報を取得する学習用情報取得部と、
前記取得された学習用情報を構成する複数の情報要素を前記学習用情報から抽出する情報要素抽出部と、
前記抽出された情報要素の前記学習用情報における重要度を算出する重要度算出部と、
前記抽出された複数の情報要素の散らばりを示す分散度情報を取得する分散度情報取得部と、
前記取得された分散度情報及び前記算出された重要度に基づいて前記取得された複数の情報要素から前記分類基準情報として用いる情報要素を分類基準候補情報として抽出する分類基準候補情報抽出部とを含むことを特徴とする、分類基準情報生成装置。
【請求項２】
前記分類基準候補情報抽出部は、前記取得された分散度情報が示す前記抽出された複数の情報要素の散らばりが大きい程多くの前記情報要素を前記分類基準候補情報として抽出することを特徴とする、請求項１に記載の分類基準情報生成装置。
【請求項３】
前記分類基準候補情報抽出部は、前記算出された重要度の降順に前記情報要素を選択して前記分類基準候補情報とし、前記分散度情報に基づいて前記情報要素の選択を終了することにより前記分類基準候補情報を抽出することを特徴とする、請求項２に記載の分類基準情報生成装置。
【請求項４】
前記分散度情報は、前記抽出された複数の情報要素の散らばりが大きい程高い値を示す数値情報であり、
前記分類基準候補情報抽出部は、前記算出された重要度の降順に前記情報要素を選択して前記分類基準候補情報とする度に、前記選択した情報要素に応じた値を変数に加算し、前記変数の値と前記取得された分散度情報が示す値との関係に応じて前記情報要素の選択を終了することを特徴とする、請求項３に記載の分類基準情報生成装置。
【請求項５】
前記分類基準候補情報抽出部は、前記取得された分散度情報に応じて前記分類基準候補情報として抽出する前記情報要素の数を決定することを特徴とする、請求項１または２に記載の分類基準情報生成装置。
【請求項６】
前記分散度情報取得部は、前記情報要素を構成する情報単位の前記複数の情報要素における出現率のエントロピーに基づいて前記分散度情報を取得することを特徴とする、請求項１乃至５いずれか１項に記載の分類基準情報生成装置。
【請求項７】
前記分散度情報取得部は、前記取得された学習用情報に基づいて取得された情報及び前記エントロピーに基づいて前記分散度情報を取得することを特徴とする、請求項６に記載の分類基準情報生成装置。
【請求項８】
前記抽出された情報要素が示す内容を分類する内容分類情報を取得する内容分類情報取得部を更に有し、
前記分散度情報取得部は、前記複数の情報要素について取得された複数の内容分類情報の散らばりに基づいて前記分散度情報を取得することを特徴とする、請求項１乃至５いずれか１項に記載の分類基準情報生成部。
【請求項９】
前記情報要素抽出部は、前記取得された学習用情報の接尾辞配列を構築し、前記接尾辞配列において隣接する接尾辞間の最大の共通文字列を前記情報要素として抽出することを特徴とする、請求項１乃至８いずれか１項に記載の分類基準情報生成装置。
【請求項１０】
前記情報要素抽出部は、前記取得された学習用情報に基づいて形態素解析を実行することにより前記情報要素を抽出することを特徴とする、請求項１乃至８いずれか１項に記載の分類基準情報生成装置。
【請求項１１】
前記学習用情報取得部は、複数の情報のまとまりを前記学習用情報として取得し、
前記重要度算出部は、前記学習用情報全体における前記情報要素の出現数及び前記情報要素を含む前記情報のまとまりの数に基づいて前記重要度を算出することを特徴とする、請求項１乃至１０いずれか１項に記載の分類基準情報生成装置。
【請求項１２】
入力された情報のカテゴリを分類する際に参照する分類基準情報を生成するための分類基準候補情報の生成方法であって、
学習用情報取得部と、情報要素抽出部と、重要度算出部と、分散度情報取得部と、分類基準候補情報抽出部とを含み、
前記学習用情報取得部が、既にカテゴリの分類がされている学習用情報を取得し、
前記情報要素抽出部が、前記取得された学習用情報を構成する複数の情報要素を前記学習用情報から抽出し、
前記重要度算出が、前記抽出された情報要素の前記学習用情報における重要度を算出し、
前記分散度情報取得部が、前記抽出された複数の情報要素の散らばりを示す分散度情報を取得し、
前記分類基準候補情報抽出部が、前記取得された分散度情報及び前記算出された重要度に基づいて前記取得された複数の情報要素から前記分類基準候補情報として用いる情報を抽出することを特徴とする、分類基準候補情報の生成方法。
【請求項１３】
入力された情報のカテゴリを分類する分類装置の製造方法であって、
前記入力された情報のカテゴリを分類する際に参照する分類基準情報を生成するための分類基準候補情報の生成方法を含み、
前記分類基準候補情報の生成方法は、学習用情報取得部と、情報要素抽出部と、重要度算出部と、分散度情報取得部と、分類基準候補情報抽出部とを含み、
前記学習用情報取得部が、既にカテゴリの分類がされている学習用情報を取得し、
前記情報要素抽出部が、前記取得された学習用情報を構成する複数の情報要素を前記学習用情報から抽出し、
前記重要度算出が、前記抽出された情報要素の前記学習用情報における重要度を算出し、
前記分散度情報取得部が、前記抽出された複数の情報要素の散らばりを示す分散度情報を取得し、
前記分類基準候補情報抽出部が、前記取得された分散度情報及び前記算出された重要度に基づいて前記取得された複数の情報要素から前記分類基準候補情報として用いる情報を抽出することを特徴とする、分類装置の製造方法。
【請求項１４】
請求項１３に記載の方法を情報処理装置に実行させることを特徴とする制御プログラム。
【請求項１５】
請求項１４に記載の制御プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報分類装置、情報分類装置の製造方法、情報処理プログラム及び記録媒体に関し、特に、情報を分類する際に参照する情報の生成に関する。
【背景技術】
【０００２】
電子データに対する検索技術、あるいは検索結果の表示技術は、検索対象の情報量の増大による検索結果数の増大のため、ますます重要な技術となっている。なぜなら、求める情報が大量の検索結果に埋もれてしまい、見つけることが困難になっているからである。このような検索技術のうち、文章によって情報が開示された文献情報の検索技術として、例えば、“政治”、“経済”、“スポーツ”等のカテゴリ毎に文献情報を分類しておき、検索を容易化する技術が提案されている（例えば、特許文献１参照）。
【０００３】
文献情報の分類においては、夫々のカテゴリ毎に分類値を算出するための基準となる分類基準情報である分類パラメータを予め生成しておき、入力された文献情報に含まれる文字情報と上記の分類パラメータとを所定の計算方法に適用して分類値を算出する。そして、その分類値の正負に応じて夫々のカテゴリに属するか否かを判断する。
【０００４】
このような分類方法においては、分類対象である入力された文献情報について形態素解析を実行することにより上記文字情報を抽出することが一般的であった。しかしながら、形態素解析の実行は処理負荷の高い処理であり、分類処理を実行する情報処理装置のリソース消費量が大きくなるという課題があった。また、形態素解析を実行するためには、言語毎に辞書情報が必要となるため、形態素解析を用いる分類方法では、複数言語に対応した分類処理が困難であるという課題があった。
【０００５】
特許文献１においては、上記のような課題を解決するため、形態素解析を用いる態様に替わる分類処理の方法が開示されている。即ち、予め生成された分類パラメータに基づいてオートマトンを構築し、分類対象である入力された文献情報に含まれる文字列パターンの受理及び出現頻度の算出を行なうことにより、分類値を算出する。
【特許文献１】特開２００８−７１２８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示された技術においては、分類パラメータを生成する工程において、分類パラメータの数を決定する際、ユーザが任意に決定していた。文字列によって構成された情報を分類する分類方法の場合、分類パラメータとして用いるデータとして、夫々のカテゴリの特徴を示す文字列とその文字列の重要度に関する情報とが関連付けられている。この分類パラメータを多く設定しておけば、それだけ分類精度を向上することが可能であるが、その数に従って分類に要する処理量が増大し、情報処理装置のリソースや所要時間の増大を招く。他方、分類パラメータを少なく設定した場合、上記課題は解決するが、分類精度は低くなる。
【０００７】
ここで、夫々のカテゴリによって分類の容易性は異なる。例えば、“経済”についての情報を“スポーツ”のカテゴリに属するか否か分類する際は、その内容は大きく異なると考えられる。従って、分類は容易であり、設定すべき分類パラメータの数は少なくて良い。しかしながら、“経済”についての情報を“政治”のカテゴリに属するか否か分類する際は、その内容は類似した内容になると考えられる。従って、高精度な分類を可能とするためには多くの分類パラメータを設定する必要がある。分類パラメータの数が少ない場合、“経済”についての情報であっても、“政治”のカテゴリに属するものとして誤った分類がされてしまうという課題が生じ得る。
【０００８】
また、画像検索等の文字列検索以外の場合においても、画像情報を一次元記号列に変換することにより文言検索と同様の手法で分類値の算出が可能となるため、上述したような課題は、文献情報の分類のみならず、画像情報の分類においても同様に課題となり得る。
【０００９】
本発明は、上記実情を考慮してなされたものであり、情報をカテゴリ毎に分類する際に参照する分類基準情報の生成を好適に実行することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、請求項１に記載の発明は、入力された情報のカテゴリを分類する際に参照する分類基準情報を生成する分類基準情報生成装置であって、既にカテゴリの分類がされている学習用情報を取得する学習用情報取得部と、前記取得された学習用情報を構成する複数の情報要素を前記学習用情報から抽出する情報要素抽出部と、前記抽出された情報要素の前記学習用情報における重要度を算出する重要度算出部と、前記抽出された複数の情報要素の散らばりを示す分散度情報を取得する分散度情報取得部と、前記取得された分散度情報及び前記算出された重要度に基づいて前記取得された複数の情報要素から前記分類基準情報として用いる情報要素を分類基準候補情報として抽出する分類基準候補情報抽出部とを含むことを特徴とする。
【００１１】
また、請求項２に記載の発明は、請求項１に記載の分類基準情報生成装置において、前記分類基準候補情報抽出部は、前記取得された分散度情報が示す前記抽出された複数の情報要素の散らばりが大きい程多くの前記情報要素を前記分類基準候補情報として抽出することを特徴とする。
【００１２】
また、請求項３に記載の発明は、請求項２に記載の分類基準情報生成装置において、前記分類基準候補情報抽出部は、前記算出された重要度の降順に前記情報要素を選択して前記分類基準候補情報とし、前記分散度情報に基づいて前記情報要素の選択を終了することにより前記分類基準候補情報を抽出することを特徴とする。
【００１３】
また、請求項４に記載の発明は、請求項３に記載の分類基準情報生成装置において、前記分散度情報は、前記抽出された複数の情報要素の散らばりが大きい程高い値を示す数値情報であり、前記分類基準候補情報抽出部は、前記算出された重要度の降順に前記情報要素を選択して前記分類基準候補情報とする度に、前記選択した情報要素に応じた値を変数に加算し、前記変数の値と前記取得された分散度情報が示す値との関係に応じて前記情報要素の選択を終了することを特徴とする。
【００１４】
また、請求項５に記載の発明は、請求項１または２に記載の分類基準情報生成装置において、前記分類基準候補情報抽出部は、前記取得された分散度情報に応じて前記分類基準候補情報として抽出する前記情報要素の数を決定することを特徴とする。
【００１５】
また、請求項６に記載の発明は、請求項１乃至５いずれか１項に記載の分類基準情報生成装置において、前記分散度情報取得部は、前記情報要素を構成する情報単位の前記複数の情報要素における出現率のエントロピーに基づいて前記分散度情報を取得することを特徴とする。
【００１６】
また、請求項７に記載の発明は、請求項６に記載の分類基準情報生成装置において、前記分散度情報取得部は、前記取得された学習用情報に基づいて取得された情報及び前記エントロピーに基づいて前記分散度情報を取得することを特徴とする。
【００１７】
また、請求項８に記載の発明は、請求項１乃至５いずれか１項に記載の分類基準情報生成部において、前記抽出された情報要素が示す内容を分類する内容分類情報を取得する内容分類情報取得部を更に有し、前記分散度情報取得部は、前記複数の情報要素について取得された複数の内容分類情報の散らばりに基づいて前記分散度情報を取得することを特徴とする。
【００１８】
また、請求項９に記載の発明は、請求項１乃至８いずれか１項に記載の分類基準情報生成装置において、前記情報要素抽出部は、前記取得された学習用情報の接尾辞配列を構築し、前記接尾辞配列において隣接する接尾辞間の最大の共通文字列を前記情報要素として抽出することを特徴とする。
【００１９】
また、請求項１０に記載の発明は、請求項１乃至８いずれか１項に記載の分類基準情報生成装置において、前記情報要素抽出部は、前記取得された学習用情報に基づいて形態素解析を実行することにより前記情報要素を抽出することを特徴とする。
【００２０】
また、請求項１１に記載の発明は、請求項１乃至１０いずれか１項に記載の分類基準情報生成装置において、前記学習用情報取得部は、複数の情報のまとまりを前記学習用情報として取得し、前記重要度算出部は、前記学習用情報全体における前記情報要素の出現数及び前記情報要素を含む前記情報のまとまりの数に基づいて前記重要度を算出することを特徴とする。
【００２１】
また、請求項１２に記載の発明は、入力された情報のカテゴリを分類する際に参照する分類基準情報を生成するための分類基準候補情報の生成方法であって、学習用情報取得部と、情報要素抽出部と、重要度算出部と、分散度情報取得部と、分類基準候補情報抽出部とを含み、前記学習用情報取得部が、既にカテゴリの分類がされている学習用情報を取得し、前記情報要素抽出部が、前記取得された学習用情報を構成する複数の情報要素を前記学習用情報から抽出し、前記重要度算出が、前記抽出された情報要素の前記学習用情報における重要度を算出し、前記分散度情報取得部が、前記抽出された複数の情報要素の散らばりを示す分散度情報を取得し、前記分類基準候補情報抽出部が、前記取得された分散度情報及び前記算出された重要度に基づいて前記取得された複数の情報要素から前記分類基準候補情報として用いる情報を抽出することを特徴とする。
【００２２】
また、請求項１３に記載の発明は、入力された情報のカテゴリを分類する分類装置の製造方法であって、前記入力された情報のカテゴリを分類する際に参照する分類基準情報を生成するための分類基準候補情報の生成方法を含み、前記分類基準候補情報の生成方法は、学習用情報取得部と、情報要素抽出部と、重要度算出部と、分散度情報取得部と、分類基準候補情報抽出部とを含み、前記学習用情報取得部が、既にカテゴリの分類がされている学習用情報を取得し、前記情報要素抽出部が、前記取得された学習用情報を構成する複数の情報要素を前記学習用情報から抽出し、前記重要度算出が、前記抽出された情報要素の前記学習用情報における重要度を算出し、前記分散度情報取得部が、前記抽出された複数の情報要素の散らばりを示す分散度情報を取得し、前記分類基準候補情報抽出部が、前記取得された分散度情報及び前記算出された重要度に基づいて前記取得された複数の情報要素から前記分類基準候補情報として用いる情報を抽出することを特徴とする。
【００２３】
また、請求項１４に記載の発明は、制御プログラムであって、請求項１３に記載の方法を情報処理装置に実行させることを特徴とする。
【００２４】
また、請求項１５に記載の発明は、記録媒体であって、請求項１４に記載の制御プログラムを情報処理装置が読み取り可能な形式で記録したことを特徴とする。
【発明の効果】
【００２５】
本発明の一態様によれば、情報をカテゴリ毎に分類する際に参照する分類基準情報の生成を好適に実行することが可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
本実施形態においては、情報分類システムの一例として、文字情報によって構成される文献情報が、所定のカテゴリに属するか否かを分類するための分類装置によって参照される分類基準情報としての分類パラメータを生成する分類パラメータ生成装置及び当該分類パラメータ生成装置を含む情報分類システムを例として説明する。
【００２７】
図１は、本実施の形態に係る情報分類システムの運用形態の例を示す図である。図１に示すように、本実施形態に係る情報分類システムは、分類パラメータ生成装置１、情報分類装置２及びクライアント装置３を含む。クライアント装置３は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の一般的な情報処理装置によって構成される。
【００２８】
分類パラメータ生成装置１は、ネットワーク若しくは専用線を介して情報分類装置２と接続されており、情報分類装置２からの分類パラメータ取得要求を受けて分類パラメータを情報分類装置２に送信するサーバとして運用される。情報分類装置２は、ネットワーク若しくは専用線を介してクライアント装置３と接続されており、クライアント装置３から入力された文献情報を分類パラメータ生成装置１から取得した分類パラメータに基づいて分類するサーバとして運用される。
【００２９】
図２は、本実施形態に係る情報分類システムの動作フェーズ及び各装置間において送受信される情報を示す図である。図２に示すように、本実施形態に係る情報分類システムは、学習フェーズ及び分類フェーズの２つのフェーズを有する。分類フェーズは、情報分類装置２がクライアント装置３からラベル無しデータとして入力された文献情報を、分類パラメータ生成装置１から入力された分類パラメータに基づいて分類するフェーズである。ここで、ラベル無しデータとは、カテゴリの情報が付加されていない文献情報であり、ラベルとはカテゴリのラベルである。分類のフェーズの結果、ラベル無しデータとして入力された文献情報にはカテゴリの情報がラベルとして付加され、ラベル付きデータとして生成される。
【００３０】
学習フェーズは、分類パラメータ生成装置１が、分類フェーズにおいて情報分類装置２が参照する分類パラメータを生成するフェーズである。学習フェーズにおいて、分類パラメータ生成装置１は、予めカテゴリ分けされた文献情報であるラベル付き学習用データを取得し、その学習用データから特徴となる文字列を抽出することによって、そのカテゴリを分類するための分類用パラメータを生成する。換言すると、分類パラメータ生成装置１は、既に所定のカテゴリのラベルが付された文献情報を学習用データとして取得し、その文献情報から特徴を抽出することによって所定のカテゴリの特徴を学習する。
【００３１】
次に、本実施形態に係る分類パラメータ生成装置１及び情報分類装置２のハードウェア構成について説明する。図３は、本実施形態に係る分類パラメータ生成装置１及び情報分類装置２夫々のハードウェア構成を示すブロック図である。図３に示すように、本実施形態に係る分類パラメータ生成装置１及び情報分類装置２は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成を有する。以降の説明においては、分類パラメータ生成装置１について説明するが、情報分類装置２に付いても同様である。また、本実施形態においては、図１に示すように、分類パラメータ生成装置１と情報分類装置２とが別々に設けられている例を説明するが、分類パラメータ生成装置１と情報分類装置２とを一体の装置として構成することも可能である。
【００３２】
即ち、本実施形態に係る分類パラメータ生成装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）３０、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）４０及びＩ／Ｆ５０がバス８０を介して接続されている。また、Ｉ／Ｆ５０にはＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）６０及び操作部７０が接続されている。
【００３３】
ＣＰＵ１０は演算手段であり、分類パラメータ生成装置１及び情報分類装置２において全体の動作を制御する。ＲＡＭ２０は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ３０は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ４０は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納される。Ｉ／Ｆ５０は、バス８０と各種のハードウェアやネットワーク等を接続し制御する。
【００３４】
ＬＣＤ６０は、ユーザが分類パラメータ生成装置１及び情報分類装置２の状態を確認するための視覚的ユーザインタフェースである。操作部７０は、キーボードやマウス等、ユーザが分類パラメータ生成装置１及び情報分類装置２に情報を入力するためのユーザインタフェースである。尚、図１において説明したように、本実施形態に係る分類パラメータ生成装置１及び情報分類装置２は、サーバとして運用される。従って、ＬＣＤ６００及び操作部７０等のユーザインタフェースは省略可能である。
【００３５】
このようなハードウェア構成において、ＲＯＭ３０やＨＤＤ４０若しくは図示しない光学ディスク等の記憶媒体に格納されたプログラムがＲＡＭ２０に読み出され、ＣＰＵ１０の制御に従って動作することにより、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る分類パラメータ生成装置１及び情報分類装置２夫々の機能を実現する機能ブロックが構成される。
【００３６】
次に、本実施形態に係る分類パラメータ生成装置１の機能ブロックについて、図４を参照して説明する。図４は、本実施形態に係る分類パラメータ生成装置１の機能ブロックを示すブロック図である。図４に示すように、本実施形態に係る分類パラメータ生成装置１は、分類パラメータ生成制御部１００、情報入力部１１０、ネットワークＩ／Ｆ１２０、表示部１３０及び分類パラメータ記憶部２００を有する。
【００３７】
情報入力部１１０は、ユーザが分類パラメータ生成装置１を操作して分類パラメータ生成制御部１００に情報を入力するための構成であり、図３に示すＩ／Ｆ５０及び操作部７０によって実現される。ネットワークＩ／Ｆ１２０は、分類パラメータ生成装置１がネットワークを介して情報を取得し、若しくはネットワークを介して情報を送信するためのインタフェースであり、図３に示すＩ／Ｆ５０によって実現される。具体的には、例えばＥｔｈｅｒｎｅｔ（登録商標）接続のインタフェースや、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）接続のインタフェースによって実現される。分類パラメータ生成装置１は、情報入力部１１０及びネットワークＩ／Ｆ１２０から情報を取得することが可能であるが、本実施形態においては、ネットワークＩ／Ｆ１２０から上述したラベル付き学習用データを取得する場合を例として説明する。
【００３８】
表示部１３０は、分類パラメータ生成装置１の動作状態や、検索結果等が表示される構成であり、図３に示すＩ／Ｆ５０及びＬＣＤ６０によって実現される。分類パラメータ記憶部２００は、分類パラメータ生成装置１が生成した分類パラメータを記憶しているデータベースであり、図３に示すＨＤＤ４０及びＲＡＭ２０において動作するプログラムによって実現される。ここで、分類パラメータ記憶部２００に記憶されている情報の例について図を参照して説明する。
【００３９】
図５は、分類パラメータ記憶部２００に記憶されている情報を示す図である。図５に示すように、分類パラメータ記憶部２００は、カテゴリを識別する情報、夫々のカテゴリの特徴を示す文字列及びその文字列がそのカテゴリの特徴として有効である値を示す特徴値が互いに関連付けられて記憶している。図５の例においては、“ａｂｃｄ”、“ｅｆｇｈ”、“ｊｋｌｍ”という文字列がカテゴリ“Ｃ1”の特徴として夫々“αa”、“αe”、“αi”という特徴値を有することを示す。また、“ｎｏｐｑ”、“ｒｓｔｕ”、“ｖｗｘｙ”という文字列がカテゴリ“Ｃ2”の特徴として夫々“αn”、“αr”、“αv”という特徴値を有することを示す。
【００４０】
分類パラメータ生成制御部１００は、本実施形態に係る分類パラメータ生成装置１の主要機能である分類パラメータ生成機能を担う構成であり、ｌｃｐ（ｌｏｎｇｅｓｔ  ｃｏｍｍｏｎ  ｐｒｅｆｉｘ）文字列抽出部１０１、重み算出部１０２、閾値算出部１０３、分類パラメータ候補抽出部１０４及び分類パラメータ生成部１０５を有する。分類パラメータ生成制御部１００は、上記夫々の構成部の処理により、入力されたラベル付き学習用データのカテゴリ（移行、学習対象カテゴリとする）の分類パラメータを生成する。分類パラメータ生成制御部１００は、図３に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。
【００４１】
ｌｃｐ文字列抽出部１０１は、ネットワークＩ／Ｆ１２０が取得したラベル付き学習用データに基づいてＳｕｆｆｉｘ  Ａｒａｙを用いてｌｃｐ文字列を抽出すると共に、夫々のｌｃｐ文字列のＴＦ（Ｔｅｒｍ  Ｆｒｅｑｕｅｎｃｙ）及びＤＦ（Ｄｏｃｕｍｅｎｔ  Ｆｒｅｑｕｅｎｃｙ）を求める。即ち、ｌｃｐ文字列抽出部１０１が、学習用情報取得部として機能する。学習用情報取得部は、図３に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。
【００４２】
また、ｌｃｐ文字列とは、学習用情報であるラベル付き学習用情報を構成する情報要素であり、ｌｃｐ文字列抽出部１０１が、情報要素抽出部として機能する。情報要素抽出部は、図３に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。ここで、ＴＦとは、入力された学習用データにおいてある文字列が出現する個数である。また、ＤＦとは、入力された学習用データにおいてある文字列を含む文書の数である。
【００４３】
図を参照してｌｃｐ文字列抽出部１０１の動作について更に詳細に説明する。図６は、本実施形態において、ラベル付き学習用データとして分類パラメータ生成制御部１００に入力される情報、即ち、学習用情報の例を示す図である。図６に示す記号“＄”は、文書の区切りを示している。即ち、図６に示す例においては、“ｄｅｖａｎｄａｄｅｖａｎｄａ”という文字列の文書と、“ｄｅｖａｎｄａ”という文字列の文書と、“ａｂｃｄａ”という文字列の文書がラベル付き学習用データとして入力される場合を示している。
【００４４】
図７は、本実施形態において、ｌｃｐ文字列抽出部１０１によって生成される情報の例を示す図である。図７に示すように、ｌｃｐ文字列抽出部１０１は、ラベル付き学習用データとして入力された文字列から、“ｄｅｖａｎｄａ”、“ｅｖａｎｄａ”、“ｖａｎｄａ”、“ａｎｄａ”、“ｎｄａ”、“ｄａ”を夫々ｌｃｐ文字列、即ち学習用情報を構成する情報要素として抽出し、夫々についてＴＦ及びＤＦを求める。
【００４５】
重み算出部１０２は、ｌｃｐ文字列抽出部１０１が抽出したｌｃｐ文字列及び夫々のＴＦ、ＤＦに基づき、夫々のｌｃｐ文字列が学習対象カテゴリの特徴を示す重みの値、即ち重要度情報を算出する。即ち、重み算出部１０２が重要度算出部として機能する。重要度算出部は、図３に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。重み値を算出するための方法は様々な方法を用いることが可能であるが、本実施形態においては、以下の式（１）に基づいて夫々のｌｃｐ文字列の重み値を算出する。
【００４６】
【数１】
2009295097.tif 000003
【００４７】
上述したように、ＴＦは入力された学習用データにおいてある文字列が出現する頻度を示す。また、ＤＦは、入力された学習用データにおいてある文字列を含む文書の頻度を示す。更に、Ｎは、学習用データの件数を示す。従って、上記式（１）においては、その文字列が多く用いられている程、重要度が高く算出される。また、その文字列を含む文書が少ない程、重要度が高く算出される。
【００４８】
図８は、本実施形態において、重み算出部１０２によって生成される情報の例を示す図である。図８に示すように、重み算出部１０２の処理の結果、夫々のｌｃｐ文字列についての重み値βn（ｎ＝１、２、３、・・・）が算出される。
【００４９】
閾値算出部１０３は、本実施形態の要旨の１つとなる構成であり、ｌｃｐ文字列抽出部１０１が抽出したｌｃｐ文字列のうち、学習対象カテゴリの分類パラメータとして用いるｌｃｐ文字列を決定するための情報である閾値を算出する。閾値算出部１０３は、ｌｃｐ文字列の出現率に基づいて、上記閾値を決定する。閾値算出部１０３の動作については後に詳述する。
【００５０】
分類パラメータ候補抽出部１０４は、閾値算出部１０３と同様に本実施形態の要旨となる構成であり、閾値算出部１０３が算出した閾値を、重み算出部１０２が算出した各ｌｃｐ文字列に適用し、学習対象カテゴリの分類パラメータとして用いるｌｃｐ文字列を抽出する。分類パラメータ候補抽出部１０４は、図３に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。
【００５１】
分類パラメータ生成部１０５は、分類パラメータ候補抽出部１０４によって抽出されたｌｃｐ文字列に学習アルゴリズムを適用し、各ｌｃｐ文字列の分類値を算出して学習対象カテゴリの分類パラメータを生成する。分類パラメータ生成部１０５が用いる学習アルゴリズムは公知のアルゴリズムを用いることが可能であるため、詳細な説明を省略する。分類パラメータ生成部１０５は、図３に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。
【００５２】
次に、本実施形態に係る分類パラメータ生成装置１の動作について図を参照して説明する。図９は、本実施形態に係る分類パラメータ生成装置１の分類パラメータ生成動作において、分類パラメータ生成制御部１００が実行する動作を示すフローチャートである。図９に示すように、本実施形態に係る分類パラメータの生成動作においては、ます、ｌｃｐ文字列抽出部１０１がネットワークＩ／Ｆ１２０を介してラベル付き学習用データを取得する（Ｓ９０１）。Ｓ９０１においてｌｃｐ文字列抽出部１０１が取得するラベル付き学習用データは、上述したように、既にカテゴリ分けされた情報である。従って、ラベル付き学習用データには、カテゴリを示す情報が含まれる。本実施形態においては、カテゴリＣ1のラベル付き学習用データが入力される。
【００５３】
ｌｃｐ文字列抽出部１０１は、ラベル付き学習用データを取得すると、図６及び図７において説明したように、ラベル付き学習用データからｌｃｐ文字列を抽出し、ＴＦ及びＤＦを求める（Ｓ９０２）。ここで、Ｓ９０２におけるｌｃｐ文字列抽出部１０１の処理について、更に詳細に説明する。上述したように、ｌｃｐ文字列抽出部１０１は、先ず入力された学習用データに基づいてＳｕｆｆｉｘ  Ａｒｒａｙを構築する。図１０に、本実施形態においてｌｃｐ文字列抽出部１０１が構築するＳｕｆｆｉｘ  Ａｒｒａｙを示す。
【００５４】
上述したように、本実施形態においては、図６に示す文字列をラベル付き学習用データとして取得する。図６に示す文字列に基づいてＳｕｆｆｉｘ  Ａｒｒａｙを構築すると、図１０に示すようにラベル付き学習用データの接尾辞を辞書順に配列した接尾辞配列Ｓｕｆｆｉｘ  Ａｒｒａｙが構築される。ｌｃｐ文字列抽出部１０１は、図１０に示すようにＡｕｆｆｉｘ  Ａｒｒａｙを構築すると、Ｓｕｆｆｉｘ  Ａｒｒａｙに含まれる夫々のＳｕｆｆｉｘからｌｃｐ文字列を抽出する。ｌｃｐ文字列の抽出態様について、図１１に示す。
【００５５】
ｌｃｐ文字列の抽出処理は、公知の方法を用いる。即ち、Ｓｕｆｆｉｘ  ＡｒｒａｙのＳ[０]から順に、文字列の先頭から共通する最大の文字列を判断していく。例えば、図１１に示すように、Ｓ[０]とＳ[１]との共通する文字列は“ａ”のみであるため、Ｓ[０]においては“ａ”がｌｃｐとして抽出される。Ｓ[１]とＳ[２]も同様である。Ｓ[２]とＳ[３]並びにＳ[３]とＳ[４]の判断においては、“ａｎｄａ”が共通するため、Ｓ[２]〜Ｓ[４]においては“ａｎｄａ”がｌｃｐとして抽出される。また、Ｓ[４]とＳ[５]の判断においては、先頭から共通する文字列が存在しないが、Ｓ[４]はＳ[３]と共通する文字列“ａｎｄａ”を含むため、Ｓ[４]においては“ａｎｄａ”がｌｃｐとして抽出される。
【００５６】
このような処理により、図１１のテーブルにおける右端の列のようにｌｃｐが抽出される。ここで、本実施形態においては、抽出されたｌｃｐのうち、２文字以上の文字列を用いる。即ち、図１１のテーブルにおける右端の列に示す“ａ”はｌｃｐ文字列としては抽出しない。このような処理により、図７に示すようにｌｃｐ文字列が抽出され、ＴＦ及びＤＦが求められる。ｌｃｐ文字列抽出部１０１は、図７に示す情報を生成すると、その情報を重み算出部１０２に入力する。
【００５７】
重み算出部１０２は、ｌｃｐ文字列及びそのＴＦ、ＤＦの情報をｌｃｐ文字列抽出部１０１から取得すると、各ｌｃｐ文字列について、上述した式（１）を用いて重み値を算出する（Ｓ９０３）。重み算出部１０２は、各ｌｃｐ文字列について重み値を算出すると、図８に示すように各ｌｃｐ文字列とその重み値とが関連付けられた情報（以降、ｌｃｐ文字列重み値情報とする）を生成する。重み算出部１０２は、生成したｌｃｐ文字列重み値情報を閾値算出部１０３及び分類パラメータ候補抽出部１０４に入力する。
【００５８】
重み算出部１０２からｌｃｐ文字列重み値情報を取得した閾値算出部１０３は、情報要素であるｌｃｐ文字列を構成する情報単位である夫々の文字の出現数に基づいてエントロピーを計算することにより、閾値“ＡＨ”を求める（Ｓ９０４）。ここで、上記エントロピーの値“Ｈ”は以下の式（２）によって求められる。
【００５９】
【数２】
2009295097.tif 000004
【００６０】
ここで、上記式（２）における“ｐi”は、ｌｃｐ文字列に含まれる夫々の文字ｃi（ｉ＝１、２、３、・・・）のｌｃｐ文字列全体における出現率である。即ち、“ｄｅｖａｎｄａ”に含まれる文字“ｄ”の場合（ｉ＝１とする）、ｐ1は以下の式（３）で求められる。
【００６１】
【数３】
2009295097.tif 000005
【００６２】
ここで、エントロピーとは、情報の“散らばり”や情報の“不確かさ”を示す値であり、本実施形態においては、ｌｃｐ文字列に含まれる文字の出現率の分散度を示す。即ち、閾値算出部１０３が、分散度情報取得部として機能する。
【００６３】
閾値算出部１０３は、上記式（２）によりエントロピー“Ｈ”を求めると、その値に基づいて閾値“ＡＨ”を求める。本実施形態においては、以下の式（４）に示すように、閾値“ＡＨ”はエントロピー “Ｈ”の関数で求める。
【数４】
2009295097.tif 000006
ここで、上記“Ｈ”の関数Ｆｕｎｃ（Ｈ）には、様々な関数を用いることが可能であるが、本実施形態においては学習用情報であるラベル付き学習用データに基づいて求められる情報である定数ηを用いて、以下の式（５）によって求めることができる。
【数５】
2009295097.tif 000007
閾値“ＡＨ”は、エントロピー“Ｈ”の関数であり、上述したようにエントロピーとは、情報の“散らばり”や情報の“不確かさ”等の分散度を示す値である。即ち、閾値“ＡＨ”は分散度情報として用いられ、閾値算出部１０３が、分散度情報算出部として機能する。分散度情報算出部は、図３に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。閾値算出部１０３は、上述した処理により閾値“ＡＨ”を求めると、求めた閾値を分類パラメータ候補抽出部１０４に入力する。
【００６４】
分類パラメータ候補抽出部１０４は、重み算出部１０２からｌｃｐ文字列重み値情報を取得し、閾値算出部１０３から閾値“ＡＨ”の情報を取得すると、“ＡＨ”に基づいてｌｃｐ文字列を重みが大きいものから順に分類パラメータの候補とする（Ｓ９０５）。ここで、Ｓ９０５における処理の詳細について、図１２を参照して説明する。図１２は、本実施形態に係る分類パラメータ候補の抽出動作を示すフローチャートである。図１２に示すように、先ず、分類パラメータ候補抽出部１０４は、夫々のｌｃｐ文字列をその重み値に基づいてソートする（Ｓ１２０１）。本実施形態において、仮に図８に示す夫々のｌｃｐ文字列の重み“βn”（ｎ＝１、２、３、・・・、６）の値の降順が、β4、β1、β3、β5、β2、β6の順番である場合、分類パラメータ候補抽出部１０４は、図１３に示すようにｌｃｐ文字列をソートする。
【００６５】
図１３に示すようにｌｃｐ文字列をソートすると、分類パラメータ候補抽出部１０４は、ソートｌｃｐ文字列の先頭、即ち、重み値の大きいものから順にｌｃｐ文字列を１つ選択し（Ｓ１２０２）、選択したｌｃｐ文字列を分類パラメータに加える（Ｓ１２０３）。ここで加えられたｌｃｐ文字列が分類パラメータの候補である分類基準候補情報として用いられる。即ち、分類パラメータ候補抽出部１０４が、分類基準候補情報抽出部として機能する。Ｓ１２０２において選択したｌｃｐ文字列を分類パラメータに加えると、分類パラメータ候補抽出部１０４は、Ｓ１２０２において選択したｌｃｐ文字列について、そのｌｃｐ文字列の学習データ中の出現率Ｐi参照する（Ｓ１２０４）。そして、参照した出現率Ｐiから−Ｐi×ｌｏｇ（Ｐi）を求め、変数“ｈ”に加算する（Ｓ１２０５）。
【００６６】
Ｓ１２０５の処理により、選択したｌｃｐ文字列の−Ｐi×ｌｏｇ（Ｐi）を変数“ｈ”に加算した結果、変数“ｈ”の値が閾値“ＡＨ”以上となった場合（Ｓ１２０６／ＹＥＳ）、分類パラメータ候補抽出部１０４は、処理を終了し、それまでに分類パラメータに加えられたｌｃｐ文字列が分類パラメータとして用いられる文字列となる。他方、変数“ｈ”の値が閾値“ＡＨ”未満である場合（Ｓ１２０６／ＮＯ）、Ｓ１２０２に戻り、分類パラメータ候補抽出部１０４は、次に重み値の大きいｌｃｐ文字列を選択して処理を繰り返す。
【００６７】
図１４に、本実施形態において分類パラメータ候補として抽出されるｌｃｐも字列の例を示す。図１４に示す例の場合、“ａｎｄａ”、“ｄｅｖａｎｄａ”、“ｖａｎｄａ”の順にｌｃｐ文字列が選択され、“ｎｄａ”の文字列を選択して図１２に示すＳ１２０３〜Ｓ１２０５の処理を実行した時点で変数“ｈ”の値が閾値“ＡＨ”以上となったことを示す。分類パラメータ候補抽出部１０４は、図１４に示すように分類パラメータ候補を抽出すると、抽出した分類パラメータ候補を分類パラメータ生成部１０５に入力する。
【００６８】
分類パラメータ生成部１０５は、分類パラメータ候補抽出部１０４から取得した分類パラメータ候補に基づき、夫々のｌｃｐ文字列の分類パラメータとしての重み値を学習アルゴリズムに基づいて再計算し、分類パラメータを生成する（Ｓ９０６）。ここで、分類パラメータ生成部１０５が用いる学習アルゴリズムとしては、公知のアルゴリズムを用いることが可能であるが、例えば、線形ＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）、ＦＩＳＨＥＲ判別式及びＢａｙｅｓのＢｉｎａｒｙ  Ｉｎｄｅｐｅｎｄｅｎｃｅ  Ｍｏｄｅｌ等を用いる。図１５に、本実施形態において分類パラメータ生成部１０５が生成する分類パラメータに含まれる情報の例を示す。
【００６９】
図１５に示すように、夫々のｌｃｐ文字列が分類パラメータにおいてカテゴリの特徴を示す文字列として用いられる。また、分類パラメータ候補の情報においてβnで示されていた重み値は、上述した学習アルゴリズムによる重み値の再計算によりαnとして示される値となる。また、ラベル付き学習用データのカテゴリを示す情報“Ｃ1”が夫々の文字列に関連付けられる。分類パラメータ生成部１０５は、図１４に示す分類パラメータを生成すると、分類パラメータ記憶部２００に分類パラメータを記憶させ、処理を終了する。このような処理により、本実施形態に係る分類パラメータ生成動作が完了する。
【００７０】
従来の分類パラメータ生成処理においては、分類パラメータとして用いる文字列の数をオペレータが任意に決定していた。この文字列の数の決定に際しては、夫々のカテゴリに応じて決定することが求められる。例えば、特徴となり得る文字列が少数で明確なカテゴリの場合、分類パラメータとして用いる文字列の数は少なく設定することが好ましい。これにより、分類処理に要する時間を短縮することが可能となる。
【００７１】
他方、特徴となり得る文字列が多岐に渡る場合、正確な分類処理を実行するためには、分類パラメータとして用いる文字列の数を多くする必要がある。従来のように、分類パラメータとして用いる文字列の数をオペレータが任意に設定する場合、夫々のカテゴリ毎に設定することが可能であるが、設定すべきカテゴリの数が膨大となれば、オペレータによる作業量も膨大となり、実現が困難となる。
【００７２】
これに対して、図９のＳ９０５の処理として説明したように、本実施形態に係る分類パラメータの生成に際しては、ｌｃｐ文字列を分類パラメータの候補として抽出する度にその文字列の−Ｐi×ｌｏｇ（Ｐi）を変数“ｈ”に加算する。そして、変数“ｈ”の値が閾値“ＡＨ”以上となった時点で、即ち、変数“ｈ”と閾値“ＡＨ”との関係に応じて分類パラメータの候補の選択を終了する。即ち、分類パラメータとして用いる文字列の数が、ラベル付き学習用データを入力するだけで自動的に決定される。
【００７３】
ここで、上述したように、エントロピーとは、情報の“散らばり”や情報の“不確かさ”を示す値であり、本実施形態においては、ｌｃｐ文字列に含まれる文字の出現率の分散度を示す。即ち、上記式（２）において求められるエントロピーの値が大きい場合、ｌｃｐ文字列に含まれる文字が多岐に渡っていることを示している。換言すると、そのカテゴリの特徴を示す文言が散らばっており、そのカテゴリの特徴をより正確に特定するためには、多くの文言を要することを示す。
【００７４】
他方、式（２）において求められるエントロピーの値が小さい場合、ｌｃｐ文字列に含まれる文字が比較的少数の範囲に収まっていることを示している。換言すると、そのカテゴリの特徴を示す文言がまとまっており、そのカテゴリの特徴を正確に特定するために要する文言の数が少なくてよいことを示している。
【００７５】
このような性質に基づき、本実施形態においては、図１２において説明したように、式（２）により求めたエントロピーの値が大きい程、より多くの文字列が選択されるように、分類パラメータとして用いる文字列の数を決定する。これにより、分類パラメータとして用いる文字列数の決定において、カテゴリの分類容易性に応じた文字列数を決定することが可能となる。
【００７６】
以上説明したように、本実施形態に係る分類パラメータ生成装置１においては、あるカテゴリについての分類パラメータを生成するために学習用のデータを取得し、その学習用データからｌｃｐ文字列を抽出する。そして、抽出したｌｃｐ文字列に含まれる文字のエントロピーを求めることにより、ｌｃｐ文字列のうち分類パラメータとして用いる文字列の数を、上記含まれる文字の散らばりに基づいて決定する。このような処理により、情報をカテゴリ毎に分類する際に参照する分類基準情報である分類パラメータの生成を好適に実行することが可能となる。
【００７７】
尚、上記の説明においては、図１０及び図１１にて説明したように、Ｓｕｆｆｉｘ  Ａｒｒａｙを用いてラベル付き学習用データからｌｃｐ文字列を抽出する態様を例として説明した。この場合、形態素解析を実行する必要がないため、辞書情報が不要であり、言語に関わらず適用することが可能であるため好ましい。また、形態素解析の実行には多くの情報処理リソースを要するところ、本実施形態においては、そのような必要もないため、更に好ましい。
【００７８】
他方、形態素解析を実行する場合であっても、本実施形態を適用することが可能である。即ち、図９のＳ９０２における処理を形態素解析及びＴＦ、ＤＦの算出処理とすることにより、他の処理は上述した処理を同様の処理で実行することが可能である。この場合であっても、分類パラメータとして用いる文字列の数を好適且つ容易に決定可能であるという本実施形態の効果を、上記と同様に得ることが可能である。
【００７９】
また、上記実施形態においては、図１２において説明したように、ｌｃｐ文字列の重み値の降順にｌｃｐ文字列を分類パラメータ候補として抽出する度に、変数“ｈ”にｌｃｐ文字列の−Ｐi×ｌｏｇ（Ｐi）を加算する例を説明した。即ち、上記式（４）に示すエントロピー“Ｈ”の関数“ＡＨ”とは、学習データのエントロピーを学習データから抽出したｌｃｐ文字列のエントロピーで代用するためのものである。
【００８０】
また、図１２のＳ１２０５において加算する値は、上述したｌｃｐ文字列の−Ｐi×ｌｏｇ（Ｐi）以外でも良く、例えば、各ｌｃｐ文字列に基づいて算出した値等を用いることができる。
【００８１】
実施の形態２．
実施の形態１においては、式（２）を用いて、閾値“ＡＨ”を求め、図１２に示す処理により分類パラメータ数を決定する例を説明した。しかしながら、上記効果を得るための処理は、学習用データに含まれる文言の散らばりに基づいて分類パラメータ数を決定することであり、上述した態様に限定されるものではない。本実施形態においては、分類パラメータとして用いる文字列数を決定するための他の態様について説明する。尚、実施の形態１と同様の符号を付す構成については、実施の形態１と同一または相当部を示し、説明を省略する。
【００８２】
本実施形態においては、実施の形態１における閾値“ＡＨ”を学習用データに含まれる文言の散らばりを示す分散値として用い、分散値“ＡＨ”に基づいて分類パラメータ数を決定することを特徴とする。本実施形態に係る分類パラメータ生成装置１の機能ブロック図を図１６に示す。図１６に示すように、本実施形態に係る分類パラメータ生成装置１は、実施の形態１における閾値算出部１０３に替えて分散値算出部１０６を有する。また、パラメータ数記憶部１０７を更に有する。
【００８３】
本実施形態の要旨は、分類パラメータ候補抽出部１０４が、分散値算出部１０６が算出した分散値に基づいて分類パラメータ候補を抽出する際に、パラメータ数記憶部１０７に記憶されている情報を参照することにある。分散値算出部１０６は、実施の形態１における閾値算出部１０３と略同様の機能を有する。即ち、上述した式（２）〜式（５）を用いて、実施の形態１における閾値“ＡＨ”を、分散値“ＡＨ”として算出する。即ち、分散値算出部１０６が分散度情報取得部として機能する。
【００８４】
図１７は、本実施形態に係るパラメータ数記憶部１０７が記憶している情報の例を示す図である。図１７に示すように、本実施形態に係るパラメータ数記憶部１０７は、分散値“ＡＨ”の値の範囲と分類パラメータ数とを関連付けて記憶している。例えば、分散値がＡＨ1〜ＡＨ2の範囲には、ｍ1（個）の分類パラメータ数が関連付けられている。これは、入力された学習用データに基づいて算出された分散値“ＡＨ”が、ＡＨ1〜ＡＨ2の範囲内である場合、分類パラメータ数をｍ1（個）とすることを示している。
【００８５】
次に、本実施形態に係る分類パラメータ生成動作において、分類パラメータ生成制御部１００が実行する動作を説明する。図１８は、本実施形態に係る分類パラメータ生成動作を示すフローチャートである。図１８に示すように、Ｓ１８０１からＳ１８０３までは、実施の形態１における図９のＳ９０１からＳ９０３と同様に処理が実行される。ここで、Ｓ１８０３において、重み算出部１０２は、生成したｌｃｐ文字列重み値情報を分散値算出部１０６及び分類パラメータ候補抽出部１０４に入力する。
【００８６】
重み算出部１０２からｌｃｐ文字列重み値情報を取得した分散値算出部１０６は、実施の形態１における閾値算出部１０３と同様に、式（２）〜式（５）を用いて分散値“ＡＨ”を算出する（Ｓ１８０４）。分散値算出部１０６は、分散値“ＡＨ”を求めると、求めた分散値を分類パラメータ候補抽出部１０４に入力する。
【００８７】
分類パラメータ候補抽出部１０４は、分散値算出部１０６から分散値“ＡＨ”を取得すると、パラメータ数記憶部１０７にアクセスし、分散値“ＡＨ”に基づいて分類パラメータ数を取得する（Ｓ１８０５）。図１７に示すように、パラメータ数記憶部１０７は、分散値“ＡＨ”を所定の範囲に区切り、夫々の範囲と分類パラメータ数とを関連付けて記憶している。Ｓ１８０５において、分類パラメータ候補抽出部１０４は、取得した分散値“ＡＨ”が属する範囲に関連付けられている分類パラメータ数を取得する。即ち、分類パラメータ候補抽出部１０４は、取得された分散度情報に応じて、分類基準候補情報として抽出するｌｃｐ文字列、即ち情報要素の数を決定する。このような処理により、学習用データに含まれる文言の散らばりを示す分散値“ＡＨ”に基づいて分類パラメータ数が決定される。
【００８８】
分類パラメータ候補抽出部１０４は、パラメータ数記憶部１０７から分類パラメータ数の情報を取得すると、重み算出部１０２から取得したｌｃｐ文字列重み値情報から分類パラメータ候補情報を抽出する（Ｓ１８０６）。Ｓ１８０６において、分類パラメータ候補抽出部１０４は、ｌｃｐ文字列重み値情報に含まれる夫々のｌｃｐ文字列をその重み値に基づいて降順、即ち、重み値が大きい順にソートする。このソート処理は、実施の形態１の図１３に示すように行なわれる。ｌｃｐ文字列をソートすると、分類パラメータ候補抽出部１０４は、Ｓ１８０５において取得した分類パラメータ数分のｌｃｐ文字列を、ｌｃｐ文字列重み値情報から降順に抽出する。
【００８９】
Ｓ１８０６の処理の例として、Ｓ１８０５において取得した分類パラメータ数が２０（個）である場合を考える。分類パラメータ候補抽出部１０４は、ｌｃｐ文字列重み値情報に含まれる夫々のｌｃｐ文字列を、図１３に示すようにソートした後、先頭から２０個抽出する。このような処理により、分散値“ＡＨ”に基づいて決定された数分のｌｃｐ文字列が分類パラメータ候補として抽出される。分類パラメータ候補抽出部１０４は、図１４に示すように分類パラメータ候補を抽出すると、抽出した分類パラメータ候補を分類パラメータ生成部１０５に入力する。
【００９０】
分類パラメータ生成部１０５は、分類パラメータ候補抽出部１０４から取得した分類パラメータ候補に基づき、実施の形態１におけるＳ９０６の処理と同様に分類パラメータを生成する（Ｓ１８０７）。
【００９１】
以上説明したように、本実施形態に係る分類パラメータ生成装置１においては、実施の形態１において説明した閾値“ＡＨ”を分散値“ＡＨ”として用いる。そして、分散値“ＡＨ”と分類パラメータの数とを予め関連付けて記憶している。このような構成により、学習用データに含まれる文字の散らばりに基づいて分類パラメータ数を決定することが可能であり、実施の形態１と同様の効果を得ることが可能となる。
【００９２】
実施の形態３．
本実施形態においては、学習用データに含まれる文言の散らばりに基づいて分類パラメータ数を決定することの他の例を説明する。尚、実施の形態１、２と同様の符号を付す構成については、実施の形態１と同一または相当部を示し、説明を省略する。
【００９３】
本実施形態においては、分類パラメータ生成制御部１００が形態素解析を行なうことにより、学習用データから特徴情報として文言を抽出する場合を例とする。そして、学習用データに含まれる文言の散らばりを示す情報として、形態素解析により抽出された文言の語意のカテゴリを用いる。本実施形態に係る分類パラメータ生成装置１の機能ブロック図を図１９に示す。図１に示すように、本実施形態に係る分類パラメータ生成装置１は、実施の形態２におけるｌｃｐ文字列抽出部１０１に替えて特徴情報抽出部１０８を有する。また、辞書情報記憶部１０９を更に有する。
【００９４】
特徴情報抽出部１０８は、辞書情報記憶部１０９に記憶されている辞書情報を参照し、入力された学習用データの形態素解析を行なう。そして、特徴情報抽出部１０８は、学習用データの特徴を示す特徴語を抽出する。また、特徴情報抽出部１０８は、形態素解析によって抽出した特徴語のＴＦ及びＤＦを求める。特徴情報抽出部１０８によって生成される情報の例を、図２０に示す。図２０の例においては、特徴情報抽出部１０８による形態素解析の結果、“Ａ社”、“複写機”、“複合機”、“Ｂ社”、“カメラ”及び“機能”という文言が特徴語として抽出された場合を示している。本実施形態においては、このように抽出された特徴語が情報要素として用いられる。また、特徴情報抽出部１０８が学習用情報取得部及び情報要素抽出部として機能する。
【００９５】
本実施形態に係る重み算出部１０２は、実施の形態１、２における重み算出部１０２と同様に、上述した式（１）を用いて特徴情報抽出部１０８が抽出した特徴語の重み値を算出する。重み算出部１０２によって生成される情報の例を、図２１に示す。本実施形態に係る重み算出部１０２は、図２１に示すように各特徴語とその重み値とが関連付けられた情報（以降、特徴語重み値情報とする）を生成し、分散値算出部１０６に入力する。
【００９６】
本実施形態に係る分散値算出部１０６は、重み算出部１０２から取得した特徴語重み値情報に基づき、学習用データの散らばりを示す分散値を算出する。分散値の算出に際して、分散値算出部１０６は、辞書情報記憶部１０９に記憶されている辞書情報を参照する。ここで、辞書情報記憶部１０９に記憶されている情報の例を図２２に示す。図２２に示すように、本実施形態に係る辞書情報記憶部１０９は、一般的な辞書情報が有する文言及びその語意の情報に加え、その文言の語意が属するカテゴリ（語意カテゴリ）の情報を記憶している。本実施形態に係る分散値算出部１０６は、特徴語として抽出された文言の語意カテゴリを集計し、その集計結果を分散値“ＡＨ”として取得する。即ち、図２２に示す語意カテゴリは、情報要素が示す内容を分類する内容分類情報として用いられる。また、分散値算出部１０６が、内容分類情報取得部として機能する。内容分類情報取得部は、図３に示すＲＡＭ２０にロードされたプログラムがＣＰＵ１０の制御に従って動作することにより構成される。
【００９７】
本実施形態に係るパラメータ数記憶部１０７は、分散値算出部１０６によって算出された分散値である語意カテゴリの数の範囲と分類パラメータ数とを関連付けて記憶している。本実施形態に係るパラメータ数記憶部１０７は、実施の形態２におけるパラメータ数記憶部１０７と同様に、図１７に示すような態様で分散値の範囲と分類パラメータ数とを関連付けて記憶している。
【００９８】
本実施形態に係る分類パラメータ生成装置１は、実施の形態２の図１８において説明した処理と同様の処理により、分類パラメータを生成する。ここで、本実施形態においては、Ｓ１８０４における処理が実施の形態２とは異なる。以下、本実施形態に係るＳ１８０４の処理について詳細に説明する。分散値算出部１０６は、Ｓ１８０３の処理の結果、重み算出部１０２から特徴語重み値情報を取得すると、辞書情報記憶部１０９にアクセスし、特徴語として抽出された文言のカテゴリを集計する。具体的には、特徴語として抽出された夫々の文言のカテゴリを取得し、そのカテゴリの種類の数を集計する。分散値算出部１０６は、このように集計されたカテゴリの種類の数を分散値“ＡＨ”として取得する。即ち、本実施形態において、分散値算出部部１０６は、内容分類情報である語意カテゴリの散らばりに基づいて分散度情報を取得する。
【００９９】
このように、本実施形態に係る分類パラメータ生成装置１は、学習用データの散らばりを示す分散値“ＡＨ”を、形態素解析によって抽出された特徴語の語意の種類に基づいて算出する。このような態様によっても、実施の形態１、２と同様の効果を得ることが可能となる。
【０１００】
尚、本実施形態においては、ｌｃｐ文字列抽出部１０１に替えて特徴情報抽出部１０８を有し、形態素解析を実行する例を説明した。形態素解析を行なう場合は、辞書情報が必須となるため、本実施形態に係る態様を容易に実行することが可能となり、好ましい。
【０１０１】
また、本実施形態においては、語意カテゴリの種類の数に基づいて分散値“ＡＨ”を取得する例を説明した。しかしながら、語意カテゴリを用いる場合の要旨の１つは、カテゴリの散らばりに基づいて分散値“ＡＨ”を取得することにある。従って、上記以外の例として、特徴語として抽出された文言において、カテゴリの種類毎のエントロピー“Ｈ”を求め、そのエントロピー“Ｈ”に基づいて分散値“ＡＨ”を求めても良い。エントロピー“Ｈ”及び分散値“ＡＨ”の算出においては、実施の形態１において説明した式（２）〜式（５）を用いることができる。このような態様によっても上記と同様の効果を得ることが可能である。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施形態に係る情報分類システムの運用形態を示す図である。
【図２】本発明の実施形態に係る情報分類システムの動作態様を示す図である。
【図３】本発明の実施形態に係る分類パラメータ生成装置及び情報分類装置のハードウェア構成を模式的に示すブロック図である。
【図４】本発明の実施形態に係る分類パラメータ生成装置の機能構成を示すブロック図である。
【図５】本発明の実施形態に係る分類パラメータ記憶部２００に格納されている情報を示す図である。
【図６】本発明の実施形態に係る学習用データの例を示す図である。
【図７】本発明の実施形態に係るｌｃｐ文字列抽出部によって生成される情報の例を示す図である。
【図８】本発明の実施形態に係るｌｃｐ文字列重み値情報の例を示す図である。
【図９】本発明の実施形態に係る分類パラメータの生成動作を示す図である。
【図１０】本発明の実施形態に係るＳｕｆｆｉｘ  Ａｒｒａｙの情報の例を示す図である。
【図１１】本発明の実施形態に係るｌｃｐ文字列の抽出態様の例を示す図である。
【図１２】本発明の実施形態に係る分類パラメータ候補の抽出動作を示すフローチャートである。
【図１３】本発明の実施形態に係る分類パラメータ候補の抽出過程において生成される情報の例を示す図である。
【図１４】本発明の実施形態に係る分類パラメータ候補の抽出結果の例を示す図である。
【図１５】本発明の実施形態に係る分類パラメータの生成結果の例を示す図である。
【図１６】本発明の他の実施形態に係る分類パラメータ生成装置の機能構成を示すブロック図である。
【図１７】本発明の他の実施形態に係るパラメータ数記憶部に記憶されている情報の例を示す図である。
【図１８】本発明の他の実施形態に係る分類パラメータの生成動作を示す図である。
【図１９】本発明の他の実施形態に係る分類パラメータ生成装置の機能構成を示すブロック図である。
【図２０】本発明の他の実施形態に係る特徴情報抽出部によって抽出された特徴語の例を示す図である。
【図２１】本発明の他の実施形態に係る特徴語重み値情報の例を示す図である。
【図２２】本発明の他の実施形態に係る辞書情報記憶部に記憶されている情報の例を示す図である。
【符号の説明】
【０１０３】
１    分類パラメータ生成装置
２    情報分類装置
３    クライアント装置
１０    ＣＰＵ
２０    ＲＡＭ
３０    ＲＯＭ
４０    ＨＤＤ
５０    Ｉ／Ｆ
６０    ＬＣＤ
７０    操作部
８０    バス
１００    分類パラメータ生成制御部
１０１    ｌｃｐ文字列抽出部
１０２    重み算出部
１０３    閾値算出部
１０４    分類パラメータ候補抽出部
１０５    分類パラメータ生成部
１０６    分散値算出部
１０７    パラメータ数記憶部
１０８    特徴情報抽出部
１０９    辞書情報記憶部
１１０    情報入力部
１２０    ネットワークＩ／Ｆ
１３０    表示部
２００    分類パラメータ記憶部
【図１】
2009295097.tif 000008
【図２】
2009295097.tif 000009
【図３】
2009295097.tif 000010
【図４】
2009295097.tif 000011
【図５】
2009295097.tif 000012
【図６】
2009295097.tif 000013
【図７】
2009295097.tif 000014
【図８】
2009295097.tif 000015
【図９】
2009295097.tif 000016
【図１０】
2009295097.tif 000017
【図１１】
2009295097.tif 000018
【図１２】
2009295097.tif 000019
【図１３】
2009295097.tif 000020
【図１４】
2009295097.tif 000021
【図１５】
2009295097.tif 000022
【図１６】
2009295097.tif 000023
【図１７】
2009295097.tif 000024
【図１８】
2009295097.tif 000025
【図１９】
2009295097.tif 000026
【図２０】
2009295097.tif 000027
【図２１】
2009295097.tif 000028
【図２２】
2009295097.tif 000029