(57)【要約】【課題】  ブログなどの個人の体験や感想が書かれた記事を精度よく分類するためのベクトルを生成する。【解決手段】  本発明は、学習用テキストを取得し、各テキストから単語を抽出し、蓄積されている検索語を含む単語集合を抽出し、単語集合の核単語の重要度を、検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して蓄積すると共に、該特徴ベクトルを構成する単語のリストを蓄積する。さらに、入力されたカテゴリが未知の分類対象テキストから、単語のリストに含まれる単語を抽出し、ベクトルに変換し、当該ベクトルと蓄積されている各カテゴリの特徴ベクトルとの類似度を求め、所定の閾値以上の類似度を持つカテゴリを分類対象テキストに付与する。【選択図】  図１
2006318398.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、及び、ベクトル変換手段と、を有するベクトル生成装置における、ベクトル生成方法において、
前記単語抽出手段において、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された前記検索語蓄積手段からある期間の検索語を抽出し、学習用テキストが蓄積された前記学習用テキスト蓄積手段から単語を抽出し、また、入力された分類対象テキストから単語を抽出する単語抽出ステップと、
前記ベクトル変換手段において、前記単語抽出ステップで前記学習用テキスト及び前記分類対象テキストから抽出された単語を前記検索語を含むベクトルに変換する変換ステップと、
を行うことを特徴とするベクトル生成方法。
【請求項２】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、及び重要度算出手段と、を有するベクトル生成装置における、ベクトル生成方法において、
前記単語抽出手段において、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された前記検索語蓄積手段からある期間の検索語を抽出し、学習用テキストが格納された前記学習用テキスト蓄積手段から単語を抽出し、該検索語を含む単語集合を抽出する単語抽出ステップと、
前記重要度算出手段において、前記単語集合の各単語の重要度を、検索語のランキングが高い単語ほど重要度を高くする評価値を用いて算出し、ベクトルに変換するする重要度算出ステップと、
を行うことを特徴とするベクトル生成方法。
【請求項３】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、及び、重要度算出手段と、を有するベクトル生成装置における、ベクトル生成方法において、
前記単語抽出手段において、カテゴリが付与され、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された前記検索語蓄積手段からある期間の検索語を抽出し、予めカテゴリが付与された学習用テキストが蓄積された学習用テキスト蓄積手段から単語集合を抽出する単語抽出ステップと、
前記重要度算出手段において、各カテゴリにおける前記単語の重要度を、前記検索語に付与されたカテゴリにおいてのみ該検索語の重要度を高くする評価値を用いて算出し、ベクトルに変換する重要度算出ステップと、
を行うことを特徴とするベクトル生成方法。
【請求項４】
任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、重要度算出手段、ベクトル変換手段、カテゴリ決定手段と、を有するカテゴリ分類装置における、カテゴリ分類方法において、
前記単語抽出手段において、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された前記検索語蓄積手段からある期間の検索語を抽出し、学習用テキスト集合が格納された前記学習用テキスト蓄積手段から単語を抽出し、該検索語を含む単語集合を抽出する単語抽出ステップと、
前記重要度算出手段において、前記単語集合の重要度を、前記検索語の重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを生成する重要度算出ステップと、
前記ベクトル変換手段において、入力されたカテゴリが未知の分類対象テキストをベクトルに変換するベクトル変換ステップと、
前記カテゴリ決定手段において、前記ベクトルとカテゴリ毎の特徴ベクトルの類似度を算出し、前記分類対象テキストにカテゴリを付与するカテゴリ決定ステップと、
を行うことを特徴とするカテゴリ分類方法。
【請求項５】
任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、重要度算出手段、ベクトル変換手段、カテゴリ決定手段と、を有するカテゴリ分類装置における、カテゴリ分類方法において、
前記単語抽出手段において、カテゴリが付与され、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された前記検索語蓄積手段からある期間の検索語を抽出し、予めカテゴリが付与された学習用テキスト集合が格納された前記学習用テキスト蓄積手段から単語を抽出し、該検索語を含む単語集合を抽出する単語抽出ステップと、
前記重要度算出手段において、前記単語集合の重要度を、前記検索語に付与されたカテゴリにおいてのみ該検索語の重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを生成する重要度算出ステップと、
前記ベクトル変換手段において、入力されたカテゴリが未知の分類対象テキストをベクトルに変換するベクトル変換ステップと、
前記カテゴリ決定手段において、前記ベクトルとカテゴリ毎の特徴ベクトルの類似度を算出し、前記分類対象テキストにカテゴリを付与するカテゴリ決定ステップと、
を行うことを特徴とするカテゴリ分類方法。
【請求項６】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するためのベクトル生成装置であって、
予めカテゴリが付与された学習用テキストが蓄積されている学習用テキスト蓄積手段と、
ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段と、
前記学習用テキスト蓄積手段から学習用テキストを取得し、各学習用テキストから単語を抽出し、前記検索語蓄積手段に蓄積された検索語を含む単語集合を抽出する単語抽出手段と、
前記単語集合の各単語の重要度を、検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して特徴ベクトル蓄積手段に蓄積すると共に、該特徴ベクトルを構成する単語のリストを単語リスト蓄積手段に蓄積する重要度算出手段と、
を有することを特徴とするベクトル生成装置。
【請求項７】
前記検索語蓄積手段の前記検索語ランキングは、検索エンジンにおいて前回受け取った検索語ランキングと、今回受け取った検索語ランキングとを比較することにより求められた上昇度に基づいて決定され、
前記重要度算出手段は、
１つカテゴリに含まれる単語について、カテゴリ内の単語出現数とカテゴリ内単語出現率を算出する手段と、
前記カテゴリ内の単語出現数とカテゴリ内単語出現率に基づいて、あるカテゴリによく出現し、他のカテゴリにあまり出現せず、前記上昇度が高い値ほど高い値をとる重要度を求める手段を含む、請求項６記載のベクトル生成装置。
【請求項８】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するためのベクトル生成装置であって、
予めカテゴリが付与された学習用テキストが蓄積されている学習用テキスト蓄積手段と、
カテゴリが付与され、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段と、
前記検索語蓄積手段からある期間の検索語を抽出し、前記学習用テキスト蓄積手段から単語を抽出し、該検索語を含む単語集合を抽出する単語抽出手段と、
各カテゴリにおける前記単語の重要度を、前記検索語に付与されたカテゴリにおいてのみ該検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して特徴ベクトル蓄積手段に蓄積すると共に、該特徴ベクトルを構成する単語のリストを単語リスト蓄積手段に蓄積する重要度算出手段と、
を有することを特徴とするベクトル生成装置。
【請求項９】
前記検索語蓄積手段の前記検索語ランキングは、検索エンジンにおいて前回受け取った検索語ランキングと、今回受け取った検索語ランキングとを比較することにより求められたカテゴリ毎の上昇度に基づいて決定され、
前記重要度算出手段は、
前記検索語がカテゴリに分類されているときには、検索語のカテゴリ内における上昇度順位をとり、該検索語がカテゴリに分類されていないときには、カテゴリ内の総検索語数をとる評価値を用いて、あるカテゴリによく出現し、他のカテゴリにはあまり出現せず、カテゴリにおける前記検索語のカテゴリ内の上昇度順位が高いほど高い値を取る重要度を求める、請求項８記載のベクトル生成装置。
【請求項１０】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するため情報分類装置であって、
予めカテゴリが付与された学習用テキストが蓄積されている学習用テキスト蓄積手段と、
ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段と、
前記学習用テキスト蓄積手段から学習用テキストを取得し、各学習用テキストから単語を抽出し、前記検索語蓄積手段に蓄積された検索語を含む単語集合を抽出する単語抽出手段と、
前記単語集合の各単語の重要度を、検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して特徴ベクトル蓄積手段に蓄積すると共に、該特徴ベクトルを構成する単語のリストを単語リスト蓄積手段に蓄積する重要度算出手段と、
入力されたカテゴリが未知の分類対象テキストから、前記単語リスト蓄積手段に含まれる単語を抽出し、ベクトルに変換するベクトル変換手段と、
前記ベクトル変換手段で生成されたベクトルと前記特徴ベクトル蓄積手段に蓄積されている各カテゴリの特徴ベクトルとの類似度を求め、所定の閾値以上の類似度を持つカテゴリを分類対象テキストに付与するカテゴリ決定手段と、
を有することを特徴とする情報分類装置。
【請求項１１】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための情報分類生成装置であって、
予めカテゴリが付与された学習用テキストが蓄積されている学習用テキスト蓄積手段と、
カテゴリが付与され、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段と、
前記学習用テキスト蓄積手段からカテゴリが付与された学習用テキストを取得し、各学習用テキストから単語集合を抽出する単語抽出手段と、
各カテゴリにおける前記単語集合の各単語の重要度を、前記検索語に付与されたカテゴリにおいてのみ該検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して特徴ベクトル蓄積手段に蓄積すると共に、該特徴ベクトルを構成する単語のリストを単語リスト蓄積手段に蓄積する重要度算出手段と、
入力されたカテゴリが未知の分類対象テキストから、前記単語リスト蓄積手段に含まれる単語を抽出し、ベクトルに変換するベクトル変換手段と、
前記ベクトル変換手段で生成されたベクトルと前記特徴ベクトル蓄積手段に蓄積されている各カテゴリの特徴ベクトルとの類似度を求め、所定の閾値以上の類似度を持つカテゴリを分類対象テキストに付与するカテゴリ決定手段と、
を有することを特徴とする情報分類装置。
【請求項１２】
前記ベクトル変換手段は、
前記分類対象テキストの単語と前記単語リスト蓄積手段に蓄積されている前記単語と一致する単語毎に出現数を算出し、該出現数に基づいてベクトルを生成する手段を含み、
前記カテゴリ決定手段は、
前記ベクトル変換手段で生成されたベクトルと、前記特徴ベクトル蓄積手段に蓄積されているカテゴリ毎の特徴ベクトルの距離を求め、該距離が所定の閾値より大きい場合、前記分類対象テキストにカテゴリを付与する手段を含む、請求項１０または、１１記載の情報分類装置。
【請求項１３】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するためのプログラムであって、
記憶手段上に、少なくとも、学習用テキストが蓄積されている学習用テキスト蓄積手段と、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段とを有するコンピュータに、
請求項６乃至１２記載の各手段を実行させることを特徴とするプログラム。
【請求項１４】
ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
記憶手段上に、少なくとも、学習用テキストが蓄積されている学習用テキスト蓄積手段と、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段とを有するコンピュータを、
請求項６乃至１２記載の各手段を有するベクトル生成装置または情報分類装置として機能させるプログラムを格納したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ベクトル生成方法及び装置及び情報分類方法及び装置及びプログラム及びプログラムを格納したコンピュータ読み取り可能な記憶媒体に係り、ネットワーク上に公開されている最新の文書情報を、効率的に分類する情報分類手法に関し、特に、検索サイトに入力された検索語を含むベクトルを生成することにより、最新のテキストを効率的にカテゴリ分類することのできるベクトル生成方法及び装置及び情報分類方法及び装置及びプログラム及びプログラムを格納したコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
近年、インターネットなどのコンピュータネットワークの発達に伴い、大量の電子化された文書情報が発信され続けている。ネットワーク利用者は、従来からの掲示板に加えて、ブログサービスを利用して自分の興味のある事柄に対して感想や意見を発信することが容易に行えるようになってきた。ニュース記事は、例えば、「社会」、「国際」、「ＩＴ」など、カテゴリ分けして記事を提供しており、ニュース記事のカテゴリは複数のニュースサイトにおいてほぼ同じである。そのため、記事に付与されたカテゴリ情報に基づいて情報を分類することが可能である。
【０００３】
しかし、ブログサービスにおいては、情報発信者がそれぞれの観点で記事を分類するカテゴリを選択したり、自分で新たなカテゴリを設定する場合も多いことから、記事に付与されたカテゴリ情報に基づいて記事を分類することが困難である。
【０００４】
さらに、ホームページの情報などカテゴリ情報が付与されていない記事がほとんどである。
【０００５】
従来、自然言語処理や情報検索技術分野において、電子化されたテキストをテキスト内で出現する単語のベクトルで表し、カテゴリの特徴を現すベクトルとの向きを比較することにより、カテゴリ分類する技術がある。
【０００６】
例えば、特定のカテゴリに重要な単語は、特定のカテゴリにおける出現テキスト件数が多く、他のカテゴリに出現しない単語であるとし、学習用テキスト集合の総カテゴリ数のうち特定の単語が出現するカテゴリ数の逆数に基づくカテゴリ頻度係数を算出し、特定のカテゴリに出現する単語の出現件数と当該カテゴリ頻度係数との乗算により学習用テキスト中の単語毎の重要度を算出する。この単語毎の重要度をベクトルの要素とするベクトルを生成し、カテゴリ分類を行う方法がある（例えば、特許文献１参照）。
【０００７】
以下、この方法を詳しく説明する。
【０００８】
学習用テキストはカテゴリが明らかな（複数のカテゴリに帰属する場合も含む）テキストの集合であり、新聞記事データベースから、あるいはカテゴリが明らかなＷｅｂページ（ポータルサイトのディレクトリサービス）などから収集している。近年では、新聞社のホームページよりカテゴリ分類された記事が収集可能であり、常に新しい情報を学習させたい場合などに利用されている。
【０００９】
例えば、映画に関するカテゴリを生成しようとした場合を考える。映画のニュース記事を収集し、各記事にカテゴリとして「映画」を付与して蓄積する。蓄積された映画ニュースにのみ頻出する重要な単語としては、「監督」、「脚本」、「出演」などが抽出される。これらの語は、公開された映画の情報を正確に伝えるために映画ニュースの記事には頻繁に出現している。映画のタイトルは映画毎に異なるため、「監督」、「脚本」、「出演」などの単語と比較すると出現数は小さい。
【００１０】
また、最近になって注目され始めたような単語についても、学習用テキスト内での出現数は小さい。
【００１１】
学習用テキスト集合から各カテゴリを特徴付ける特徴ベクトルを生成する。
【００１２】
カテゴリＣｊ（ｊ＝１〜Ｍ）の特徴ベクトルは、例えば次式で表すことができる。
【００１３】
【数１】
2006318398.tif 000003
ここで、Ｗ（Ｃi，ｗ）は、カテゴリCｉにおける単語ｗの重要度であり、カテゴリＣiにおける単語ｗの出現文書数に、
【００１４】
【数２】
2006318398.tif 000004
を乗算した値をとる。つまり、特定のカテゴリにおける出現文書数が多い単語で、他のカテゴリに出現しない単語の重要度が高くなっている。
【００１５】
そこで、カテゴリＡにおいて重要度が高い単語を多く含むような未分類テキストは、カテゴリＡの特徴ベクトルと類似するため（テキストのベクトルとカテゴリの特徴ベクトルの類似度が所定範囲内になる）、カテゴリＡを付与される。
【特許文献１】特許第３４８８０６３
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかしながら、映画を見た感想などを個人がブログ等で記事にする場合、映画のタイトルや役者の名前、主人公の名前などを入れて記事を書くのが大半である。映画の批評を継続して発信しているユーザは、「監督」、「脚本」などの単語を使い、映画の情報をより正確に読者に伝えようとするかもしれない。
【００１７】
上記の従来技術においては、後者の映画の批評を継続して発信しているユーザの記事は、学習用テキストから生成した映画カテゴリの特徴ベクトルと類似するため、映画カテゴリに分類されるが、前者の映画のタイトルや役者の名前、主人公の名前などから構成された記事は、ベクトルが映画カテゴリの特徴ベクトルと類似しないと判断され（類似度が所定範囲外になる）、映画カテゴリに分類することができないという問題がある。
【００１８】
また、映画のタイトルが複数の単語で構成されている場合は、テキストから単語を抽出した際に、映画のタイトルが複数の単語に分割されてしまう。さらに、分割された単語が、別のカテゴリでも良く使われる単語（例えば、「世界」、「野球」）である場合、単語が出現するカテゴリ数が大きくなり単語の重要度を低くなってしまう。その結果、映画のタイトルを含んでいても映画カテゴリに分類することができないという問題がある。
【００１９】
さらに、最近注目されるようになった単語を含む未分類テキストは、注目されている単語を含んでいても他にカテゴリを特徴付ける重要度の高い単語が含まれなければ、カテゴリを付与することができないという問題がある。
【００２０】
本発明は、上記の点に鑑みなされたもので、ブログなどの個人の体験や感想が書かれた記事を精度よく分類するためのベクトルを生成することが可能なベクトル生成方法及び装置及び情報分類方法及び装置及びプログラム及びプログラムを格納したコンピュータ読み取り可能な記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【００２１】
図１は、本発明の原理を説明するための図である。
【００２２】
本発明(請求項１)は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、及び、ベクトル変換手段と、を有するベクトル生成装置における、ベクトル生成方法において、
単語抽出手段において、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段からある期間の検索語を抽出し（ステップ１）、学習用テキストが蓄積された学習用テキスト蓄積手段から単語を抽出し、また、入力された分類対象テキストから単語を抽出する（ステップ２）単語抽出ステップと、
ベクトル変換手段において、単語抽出ステップで学習用テキスト及び分類対象テキストから抽出された単語を検索語を含むベクトルに変換する変換ステップ（ステップ３）と、を行う。
【００２３】
本発明（請求項２）は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、及び重要度算出手段と、を有するベクトル生成装置における、ベクトル生成方法において、
単語抽出手段において、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段からある期間の検索語を抽出し、学習用テキストが格納された学習用テキスト蓄積手段から単語を抽出し、該検索語を含む単語集合を抽出する単語抽出ステップと、
重要度算出手段において、単語集合の各単語の重要度を、前記検索語に付与されたカテゴリにおいてのみ該検索語の重要度を高くする評価値を用いて算出し、ベクトルに変換するする重要度算出ステップと、を行う。
【００２４】
本発明(請求項３)は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、及び、重要度算出手段と、を有するベクトル生成装置における、ベクトル生成方法において、
単語抽出手段において、カテゴリが付与され、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段からある期間の検索語を抽出し、予めカテゴリが付与された学習用テキストが蓄積された学習用テキスト蓄積手段から単語集合を抽出する単語抽出ステップと、
重要度算出手段において、各カテゴリにおける単語の重要度を、検索語に付与されたカテゴリにおいてのみ該検索語の重要度を高くする評価値を用いて算出し、ベクトルに変換する重要度算出ステップと、を行う。
【００２５】
本発明（請求項４)は、任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、重要度算出手段、ベクトル変換手段、カテゴリ決定手段と、を有するカテゴリ分類装置における、カテゴリ分類方法において、
単語抽出手段において、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段からある期間の検索語を抽出し、学習用テキスト集合が格納された学習用テキスト蓄積手段から単語を抽出し、該検索語を含む単語集合を抽出する単語抽出ステップと、
重要度算出手段において、単語集合の重要度を、検索語の重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを生成する重要度算出ステップと、
ベクトル変換手段において、入力されたカテゴリが未知の分類対象テキストをベクトルに変換するベクトル変換ステップと、
カテゴリ決定手段において、ベクトルとカテゴリ毎の特徴ベクトルの類似度を算出し、分類対象テキストにカテゴリを付与するカテゴリ決定ステップと、を行う。
【００２６】
本発明（請求項５）は、任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための、検索語蓄積手段、学習用テキスト蓄積手段、単語抽出手段、重要度算出手段、ベクトル変換手段、カテゴリ決定手段と、を有するカテゴリ分類装置における、カテゴリ分類方法において、
単語抽出手段において、カテゴリが付与され、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段からある期間の検索語を抽出し、予めカテゴリが付与された学習用テキスト集合が格納された学習用テキスト蓄積手段から単語を抽出し、該検索語を含む単語集合を抽出する単語抽出ステップと、
重要度算出手段において、記単語集合の重要度を、記検索語に付与されたカテゴリにおいてのみ該検索語の重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを生成する重要度算出ステップと、
ベクトル変換手段において、入力されたカテゴリが未知の分類対象テキストをベクトルに変換するベクトル変換ステップと、
カテゴリ決定手段において、ベクトルとカテゴリ毎の特徴ベクトルの類似度を算出し、分類対象テキストにカテゴリを付与するカテゴリ決定ステップと、を行う。
【００２７】
図２は、本発明の原理構成図である。
【００２８】
本発明（請求項６）は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するためのベクトル生成装置であって、
予めカテゴリが付与された学習用テキストが蓄積されている学習用テキスト蓄積手段３０と、
ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段２０と、
学習用テキスト蓄積手段３０から学習用テキストを取得し、各学習用テキストから単語を抽出し、検索語蓄積手段２０に蓄積された検索語を含む単語集合を抽出する単語抽出手段１１と、
単語集合の各単語の重要度を、検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して特徴ベクトル蓄積手段１３に蓄積すると共に、該特徴ベクトルを構成する単語のリストを単語リスト蓄積手段１４に蓄積する重要度算出手段１２と、を有する。
【００２９】
本発明（請求項７）は、上記の請求項６において、検索語蓄積手段２０の検索語ランキングは、検索エンジンにおいて前回受け取った検索語ランキングと、今回受け取った検索語ランキングとを比較することにより求められた上昇度に基づいて決定され、
重要度算出手段１２は、
１つのカテゴリに含まれる単語について、カテゴリ内の単語出現数とカテゴリ内単語出現率を算出する手段と、
カテゴリ内の単語出現数とカテゴリ内単語出現率に基づいて、あるカテゴリによく出現し、他のカテゴリにあまり出現せず、上昇度が高い値ほど高い値をとる重要度を求める手段を含む。
【００３０】
本発明（請求項８）は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するためのベクトル生成装置であって、
予めカテゴリが付与された学習用テキストが蓄積されている学習用テキスト蓄積手段３０と、
カテゴリが付与され、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段２０と、
検索語蓄積手段２０からある期間の検索語を抽出し、学習用テキスト蓄積手段３０から単語を抽出し、該検索語を含む単語集合を抽出する単語抽出手段１１と、
各カテゴリにおける単語の重要度を、記検索語に付与されたカテゴリにおいてのみ該検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して特徴ベクトル蓄積手段に蓄積すると共に、該特徴ベクトルを構成する単語のリストを単語リスト蓄積手段に蓄積する重要度算出手段１２と、を有する。
【００３１】
本発明（請求項９）は、請求項８において、検索語蓄積手段２０の検索語ランキングは、検索エンジンにおいて前回受け取った検索語ランキングと、今回受け取った検索語ランキングとを比較することにより求められたカテゴリ毎の上昇度に基づいて決定され、
重要度算出手段１２は、
検索語がカテゴリに分類されているときには、検索語のカテゴリ内における上昇度順位をとり、該検索語がカテゴリに分類されていないときには、カテゴリ内の総検索語数をとる評価値を用いて、あるカテゴリによく出現し、他のカテゴリにはあまり出現せず、カテゴリにおける検索語のカテゴリ内の上昇度順位が高いほど高い値を取る重要度を求める。
【００３２】
本発明（請求項１０）は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するため情報分類装置であって、
予めカテゴリが付与された学習用テキストが蓄積されている学習用テキスト蓄積手段３０と、
ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段２０と、
学習用テキスト蓄積手段３０から学習用テキストを取得し、各学習用テキストから単語を抽出し、検索語蓄積手段２０に蓄積された検索語を含む単語集合を抽出する単語抽出手段１１と、
単語集合の各単語の重要度を、検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して特徴ベクトル蓄積手段１３に蓄積すると共に、該特徴ベクトルを構成する単語のリストを単語リスト蓄積手段１４に蓄積する重要度算出手段１１と、
入力されたカテゴリが未知の分類対象テキストから、単語リスト蓄積手段１４に含まれる単語を抽出し、ベクトルに変換するベクトル変換手段４１と、
ベクトル変換手段４１で生成されたベクトルと特徴ベクトル蓄積手段１３に蓄積されている各カテゴリの特徴ベクトルとの類似度を求め、所定の閾値以上の類似度を持つカテゴリを分類対象テキストに付与するカテゴリ決定手段４２と、を有する。
【００３３】
本発明（請求項１１）は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するための情報分類生成装置であって、
予めカテゴリが付与された学習用テキストが蓄積されている学習用テキスト蓄積手段３０と、
カテゴリが付与され、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段２０と、
学習用テキスト蓄積手段３０からカテゴリが付与された学習用テキストを取得し、各学習用テキストから単語集合を抽出する単語抽出手段１１と、
各カテゴリにおける前記単語集合の各単語の重要度を、検索語に付与されたカテゴリにおいてのみ該検索語のランキングが高いほど重要度を高くする評価値を用いて算出し、カテゴリ毎の特徴ベクトルを算出して特徴ベクトル蓄積手段１３に蓄積すると共に、該特徴ベクトルを構成する単語のリストを単語リスト蓄積手段１４に蓄積する重要度算出手段１１と、
入力されたカテゴリが未知の分類対象テキストから、単語リスト蓄積手段１４に含まれる単語を抽出し、ベクトルに変換するベクトル変換手段４１と、
ベクトル変換手段４１で生成されたベクトルと特徴ベクトル蓄積手段１３に蓄積されている各カテゴリの特徴ベクトルとの類似度を求め、所定の閾値以上の類似度を持つカテゴリを分類対象テキストに付与するカテゴリ決定手段４２と、を有する。
【００３４】
本発明（請求項１２）は、請求項１０または、１１において、ベクトル変換手段４１は、
分類対象テキストの単語と単語リスト蓄積手段に蓄積されている単語と一致する単語毎に出現数を算出し、該出現数に基づいてベクトルを生成する手段を含み、
カテゴリ決定手段４２は、
ベクトル変換手段４１で生成されたベクトルと、特徴ベクトル蓄積手段１３に蓄積されているカテゴリ毎の特徴ベクトルの距離を求め、該距離が所定の閾値より大きい場合、分類対象テキストにカテゴリを付与する手段を含む。
【００３５】
本発明（請求項１３）は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するためのプログラムであって、
記憶手段上に、少なくとも、学習用テキストが蓄積されている学習用テキスト蓄積手段と、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段とを有するコンピュータに、請求項６乃至１２記載の各手段を実行させるプログラムである。
【００３６】
本発明（請求項１４）は、ネットワーク上に公開されている任意のテキストを、該テキストが帰属する１つまたは複数のカテゴリに分類するためのプログラムを格納したコンピュータ読み取り可能な記憶媒体であって、
記憶手段上に、少なくとも、学習用テキストが蓄積されている学習用テキスト蓄積手段と、ある期間においてランキングされた検索語と該検索語のランキングの組が蓄積された検索語蓄積手段とを有するコンピュータを、請求項６乃至１２記載の各手段を有するベクトル生成装置または情報分類装置として機能させるプログラムを格納したコンピュータ読み取り可能な記憶媒体である。
【発明の効果】
【００３７】
上述のように、本発明では、ある期間における検索語ランキングを取得し、学習用テキスト集合から検索語の重要度を要素として含むカテゴリの特徴ベクトルを生成することができるため、従来一単語として扱うことができなかった検索語を含む記事を精度よく分類するためのベクトルを生成することができる。
【００３８】
また、検索語の重要度をランキングに応じて高くすることにより、ブログなどの個人の体験や感想が書かれた記事を精度よく分類するためのベクトルを生成することができる。
【００３９】
また、最近注目されるようになった（検索ランキングが急上昇した）単語を含む記事を適切なカテゴリに分類するためのベクトルを生成することができる。
【００４０】
さらに、生成したベクトルを用いて、検索語を含むカテゴリが未知のテキストを精度よく分類することができる。
【発明を実施するための最良の形態】
【００４１】
以下、図面と共に本発明の実施の形態を説明する。
【００４２】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における情報分類装置の構成を示す。
【００４３】
同図に示す情報分類装置は、検索語取得部２００、学習用テキスト取得部３００、特徴ベクトル生成部１０、分類部４０から構成される。
【００４４】
検索語取得部２００は、検索語収集部２１、注目検索語ランキング部２２、検索語蓄積部２０から構成される。
【００４５】
検索語収集部２１は、ある期間において集計・ランク付けされた検索語ランキングを検索語収集先記憶部２３に設定された収集先から取得し、注目検索語ランキング部２２に検索語ランキングを送る。ここで、検索語収集先記憶部２３には、検索語ランキング(検索語と順位)のデータが格納されているマシン名とディレクトリが格納されているものとし、マシン名とディレクトリに基づいて、当該マシンにアクセスして検索語ランキングを取得するものとする。なお、この方法に限定されることなく、検索語収集先記憶部２３にＵＲＬを保持しておき、検索語ランキングをインターネットなどで公開しているＷｅｂページのＵＲＬにアクセスして取得する方法もある。また、検索語ランキングは、検索語と検索語の順位が対になったデータであり、HTML文書やテキスト、データファイルなどの形態で取得する。検索語ランキングは、検索サイト利用者が入力した検索語をある期間で集計し、入力回数の多い検索語から降順に１位から順位付けされている。ランキング上位の検索語は、「２ちゃんねる」、「yahoo」、「楽天」、「ドコモ」など、サイトを探すために入力された検索語が多く、常に入力回数が多いため上位を占めている。最近流行ってきた情報に関する検索語の順位は高くなく、入力回数が急に増えている傾向にある。そこで、注目検索語ランキング部２２では最近入力回数が急に増えている注目キーワードを抽出する。
【００４６】
注目検索語ランキング部２２は、検索語収集部２１から検索語ランキングを受け取り、今回受け取った検索語の所定順位以上の検索語に対して、前回受け取り、メモリに保存されている検索語ランキングと比較することにより、上昇度（例えば、今回の検索語順位から前回の検索語順位を減算した値）を求め、上昇度の高い検索語から降順に１位から順位付けを行う。以下、上昇度の高い順に付与された順位を上昇度順位と呼ぶ。上昇度順位が付与された検索語は、検索語蓄積部２０に蓄積される。ここで、前回の順位を検索する検索語は、所定順位以上の検索語としているが、これは、今回の順位があまり低い検索語は注目している人の数が少ないと考えられ、より多くの人々に注目されている検索語を抽出するためである。
【００４７】
例えば、検索語収集部２１において、１ヶ月単位の検索語ランキングを取得する場合、注目検索語ランキング部２２では、最新の検索語ランキングが所定順位以上の検索語に対して前回の処理で受け取った１ヶ月前の検索語ランキングと比較して上昇度を算出し、検索語蓄積部２０に蓄積する。
【００４８】
また、検索サイトにおいて、検索語の上昇度を算出し順位付けしているサイトも存在する。検索語収集部２１において上昇度順位が既に付与された検索語を取得する場合には、注目検索語ランキング部２２の処理を省いて、検索語蓄積部２０に上昇度順位が付与された検索語を蓄積するものとする。
【００４９】
学習用テキスト取得部３００は、学習用テキスト収集部３１と学習用テキスト蓄積部３０から構成される。
【００５０】
学習用テキスト収集部３１は、カテゴリ毎に収集先リストを格納した学習用収集先リスト３２をメモリ内に持ち、定期的に学習用収集先リスト３２に設定されている収集先からテキストをネットワーク（図示せず）等を介して収集する。収集したテキストは、収集先、カテゴリと対応付けられて学習用テキスト蓄積部３０に蓄積される。
【００５１】
収集され、学習用テキスト蓄積部３０に蓄積された学習用テキスト（学習データ）は、後述する重要度算出部１２において検索語によって重み付けされるため、検索語収集部２１で取得した検索語ランキングの期間に生成／更新されたテキストであることが望ましい。そこで、学習用テキスト収集部３１は、検索語ランキングの期間毎に収集を行う。収集を開始するに先立ち、前回収集した学習用テキストが蓄積されている学習用テキスト蓄積部３０の情報を別の蓄積場所(領域)に移動させ、今回収集したテキストについて、収集先で前回収集したテキストを検索し、同じテキストが存在しなければ新しいテキストだとして学習用テキスト蓄積部３０に蓄積する。
【００５２】
また、学習用テキストのデータ量が少ない場合は、今回収集したテキストだけでなく、前回収集したテキストも学習用テキストとして学習用テキスト蓄積部３０に蓄積するように構成してもよい。
【００５３】
学習用テキスト蓄積部３０においては、テキストに対応付けられたカテゴリが容易に識別できるよう蓄積する。例えば、カテゴリ毎にディレクトリを生成し、その中にテキストファイルを格納する方法や、テキストファイルの名前にカテゴリを識別するための名前を含めるなどの方法を用いる。
【００５４】
特徴ベクトル生成部１０は、単語抽出部１１、重要度算出部１２、特徴ベクトル蓄積部１３、単語リスト蓄積部１４から構成される。
【００５５】
単語抽出部１１は、学習用テキスト蓄積部３０の蓄積が完了した後、学習用テキスト蓄積部３０に蓄積されているカテゴリ毎に蓄積された学習用テキストを全て取得し、各テキストから単語と単語の出現数を抽出し、カテゴリと対応付けてテキスト記録部１５に記録する。
【００５６】
図４は、本発明の第１の実施の形態における単語抽出部の処理のフローチャートである。
【００５７】
まず、単語抽出部１１は、学習用テキスト蓄積部３０からカテゴリを１つ読み出し（ステップ１２）、続いてテキストを１つ読み出す（ステップ１４）。なお、当該処理は、カテゴリ毎に予め付与されているカテゴリ識別番号を順次読み出し、また、テキストについても同様に予め付与されているテキスト識別番号の順に読み出すものとする。
【００５８】
読み出されたテキストを形態素解析処理によって形態素に分解する。形態素の中から名詞、動詞、形容詞など、それだけで意味のわかる自立語を単語として抽出する（ステップ１５）。以下、「単語」とは、自立語のことを指し、付属語等を含める場合は、単に「語」と記す。抽出した単語に基づいて検索語蓄積部２０を検索する（ステップ１７）。検索により前方一致するかどうかを調べ（ステップ１８）、前方一致する場合は抽出された単語に続く語（自立語だけでなく付属語も含める）を順に調べ、検索語と一致するかどうか調べる（ステップ１９）。検索語に一致する場合は、検索語と一致する複数の語を一つにまとめ１単語とする（ステップ２０）。前方一致の検索語がない場合（ステップ１８、NO）、前方一致に続く語が検索語に一致しない場合（ステップ１９、NO）は、ステップ１６で抽出された単語の出現数を１増やす。検索語に一致する単語がある場合は（ステップ１９、YES）、１単語とした検索語の出現数を１増やす。また、検索語に一致する語は処理が終了したとし、続く未処理の単語があるか調べる（ステップ１６）。未処理の単語がある場合は、単語を１つ読み出して、検索語と一致するかを調べる（ステップ１７〜ステップ２０）。テキストの中の単語を全て処理し終えたら（ステップ１６、NO）、テキストが識別できるように抽出した単語と単語の出現数をテキスト記録部１５に記録する（ステップ２２）。続いて、未処理のテキストがあるか調べ（ステップ１３）、ある場合は未処理テキストの単語を抽出する（ステップ１５〜ステップ２２）。カテゴリ内の全てのテキストを処理し終えたら（ステップ１３、NO）、未処理のカテゴリがあるか調べ（ステップ１１）、ある場合は未処理のカテゴリ内のテキストから単語を抽出する（ステップ１３〜ステップ２２）。全てのカテゴリを処理し終えたら（ステップ１１、NO）、単語抽出部１１の処理を終了する。
【００５９】
ステップ２１の処理において、テキスト毎に単語の出現数を集計しているが、単語の出現数を集計せずに、抽出した単語を順に列挙して記録しておいてもよい。
【００６０】
また、学習用テキストに前回処理したテキストが含まれる場合には、前回の処理により記録されたテキスト記録部１５の情報を別の蓄積場所(領域)に移動し、ステップ１３の未処理のテキストを調べる処理において、前回記録したテキスト記録部１５にテキストが存在するか調べ、テキストが存在する場合は単語抽出処理が終了しているテキストであると判断する（ステップ１３、NO)。
【００６１】
単語抽出部１１より処理されるテキストの一例を図５を用いて説明する。
【００６２】
図５は、カテゴリ「韓国ドラマ」に含まれる、テキスト「冬のソナタのピアノ曲を紹介します」を処理する例であり、図４のステップ１４において、テキストａ『冬のソナタのピアノ曲を紹介します」が読み出された状態である。当該テキストaから単語を抽出するために形態素解析処理を行い、結果として図５のｂのような語と品詞の対を出力する。ここでは、動詞や形容詞については活用形のままではなく、原型に戻す処理を行っている（異なる活用形が使われていても、同じ動詞や形容詞の場合は同じ単語として出現数をカウントすることが可能となる）。この語集合から名詞、動詞、形容詞のいずれかについて、抽出された単語に基づいて、検索語蓄積部２０に蓄積されている検索語に該当する単語があるか調べる（ステップ１７）。まず、「冬」を単語として抽出し、検索語蓄積部２０に「冬」と前方一致する検索語があるか調べる（ステップ１８）。
【００６３】
その結果、前方一致で「冬のソナタ」、「冬将軍」が取得される（ステップ１８、Ｙｅｓ）。テキストの単語「冬」に続く語「の」で検索語と一致するか調べ、「冬のソナタ」に一致する。次に語「の」に続く「ソナタ」で一致するか調べ、一致するため「冬のソナタ」を１つの単語として抽出する（ステップ１９、Ｙｅｓ，ステップ２０）。抽出した「冬のソナタ」の出現数を１増やし（ステップ２１）、次の単語の処理に移る。ここで、テキスト中の語「ソナタ」まで処理が完了したことになり、次の自立語である「ピアノ」から同様に検索語と一致するかの処理（ステップ１６〜ステップ２０）を行う。「ピアノ」が検索語蓄積部２０にある場合、前方一致で「ピアノ」が検索される。検索語は「ピアノ」は、「ピアノ」に続く語がないため（ステップ１９、ＮＯ）、「ピアノ」の出現数を１増やす。同様に単語を処理した結果、単語と単語の出現数の対（図５ｃ）をカテゴリ「韓国ドラマ」と対応付けてテキスト記録部１５に記録する（ステップ２２）。
【００６４】
重要度算出部１２は、単語抽出部１１においてすべての学習用テキストから単語抽出が終了した後、処理を開始する。重要度算出部１２では、テキスト記録部１５に記録されたカテゴリ毎の単語と単語出現数を取得し、検索語蓄積部２０から検索語の上昇度順位を取得し、カテゴリ毎に単語の重要度を算出する。
【００６５】
図６は、本発明の第１の実施の形態における重要度算出部の処理のフローチャートである。
【００６６】
重要度算出部１２は、単語抽出部１１で抽出され、テキスト記録部１５に格納されている単語をカテゴリ毎に処理する。まず、１つのカテゴリについて単語を読み出し（ステップ３１）、当該カテゴリに含まれる単語について、カテゴリ内の単語出現数とカテゴリ内単語出現率を算出する（ステップ３２）。カテゴリ内単語出現率rc（Ci，ｗ）は、式（１）で算出され、カテゴリ内全体の文書数において、ある単語が出現する文書数の占める割合であり０から１までの値をとる。
【００６７】
【数３】
2006318398.tif 000005
図７にステップ３２で算出したカテゴリ毎の単語出現数とカテゴリ内単語出現率の例を示す。同図において、重要度算出部１２は、カテゴリを識別するための情報１００１，１００２，１００３と各カテゴリ内の単語、単語の出現数、及びカテゴリ内単語出現率を記録したテーブル１１００，１２００、１３００を持つ。なお、本実施の形態では、当該テーブル１１００，１２００，１３００は、重要度算出部１２内のメモリに格納されるものとする。
【００６８】
全てのカテゴリに対して、ステップ３２の処理を行った後（ステップ３３、ＮＯ）、各カテゴリにおいて、単語の重要度を式（２）のweight(Ci,w)により求める（ステップ３４）。重要度weight(Ci,w)は、カテゴリCiによく出現し、他のカテゴリにはあまり出現せず、検索語の上昇度順位が高いほど、高い値をとる。
【００６９】
【数４】
2006318398.tif 000006
ここで、tf（Ci，w）は、単語ｗがカテゴリCｉ（ｉ＝１〜Ｍ）に出現する出現数であり、カテゴリ内によく出現する単語ほど大きな値をとり、重要度を高くする働きをする。icf（Ci，w）は、単語wのカテゴリＣiにおけるカテゴリ内単語出現率が、全カテゴリにおけるカテゴリ内単語出現率の和に占める割合である。
【００７０】
仮に、カテゴリＡには２文書、カテゴリＢには１０文書、カテゴリＣには５文書の文書があり、単語ｗが、カテゴリＢの３文書と、カテゴリＣの３文書に含まれていたとすると、以下のように、icf（Ｃi，ｗ）が算出される。
【００７１】
【数５】
2006318398.tif 000007
カテゴリＢとＣでは同じ３文書に単語ｗが出現するが、カテゴリ内単語出現率の高いカテゴリＣのicf（Ｃ，ｗ）が高くなり、結果として単語ｗの重要度が高くなる。
【００７２】
図７の例では、単語「韓国」のカテゴリ「韓国ドラマ」における
icf（韓国ドラマ、韓国）は、
icf（韓国ドラマ、韓国）＝０．７／（０．７＋０．２＋０．１）＝０．７
と算出される。
【００７３】
Ｎは検索語蓄積部２０における検索語の総数、rank（ｗ）は単語ｗの上昇度順位であり、
【００７４】
【数６】
2006318398.tif 000008
を乗算することにより、上昇度順位の高い検索語ほどrank（ｗ）が大きな値をとり、重要度を高くする働きをする。例えば、図５の検索語蓄積部２０において、「冬のソナタ」は順位１５位であり、Ｎ＝１５００の場合、
【００７５】
【数７】
2006318398.tif 000009
となり、「冬のソナタ」の重要度を３倍にすることができる。
【００７６】
rank（ｗ）は、上昇度順位上位Ｎ件の検索語についてのみ値があるため、Ｎ件に含まれない単語は、便宜上rank(ｗ)＝Ｎとして処理するものとする。式（２）により、検索語蓄積部２０に含まれない語の重要度は、カテゴリにおけるtf(Ci,w)×icf(Ci,w)のみで決定され、検索語蓄積部２０に含まれる単語の重要度は、上昇順位が上位になるほど重要度を高くすることができる。
【００７７】
また、単語の重要度を算出する式は、式（２）の代わりに、式（４）を、用いることも可能である。この場合も、検索語蓄積部２０のランキングＮ件に含まれない単語については、rank（ｗ）＝Ｎとして処理するものとする。
【００７８】
【数８】
2006318398.tif 000010
式（４）においては、検索語ランキングＮ件に含まれない単語の重要度は０となり、検索語ランキングＮ件に含まれる単語のみ０以外の値をとる。そのため、検索語ランキングＮ件に含まれる単語のみをベクトルの要素として、ベクトルを生成することになる。検索語Ｎ件のみのベクトルは、学習用テキスト中の自立語全てを用いるベクトルに比べ次元数が小さいため、ベクトル演算を高速化することができる。
【００７９】
Ｎのサイズが小さい場合や検索語の重要性をもっと高くしたい場合などは、適当な係数を乗算して重要度を算出するようにしてもよいし、
【００８０】
【数９】
2006318398.tif 000011
の代わりに対数をとらずにN／rank（w）を用いても良い。
【００８１】
カテゴリ毎に単語の重要度を算出した後、重要度算出部１２は、カテゴリ毎の特徴ベクトルを式（５）により生成する（ステップ３５）。カテゴリ毎の特徴ベクトル
【００８２】
【数１０】
2006318398.tif 000012
は、単語抽出部１１で抽出された全ての単語をwｉ（ｉ＝１〜ｚ）とし、カテゴリCｊ（ｊ＝１〜Ｍ）における単語の重要度weight（Cｊ，wｉ）を要素とするベクトルである。
【００８３】
【数１１】
2006318398.tif 000013
全てのカテゴリに対して特徴ベクトルを生成し、特徴ベクトル蓄積部１３に蓄積する。
【００８４】
特徴ベクトルを構成する全ての単語wｉ（ｉ＝１〜ｚ）は、単語の要素順に１から番号を付与し、出現数とともに単語リスト蓄積部１４に蓄積し（ステップ３６）、重要度算出部１２の処理を終了する。
【００８５】
図８は、本発明の第１の実施の形態における特徴ベクトル蓄積部の蓄積例である。
【００８６】
同図において、カテゴリと各単語の重要度を１行で記録し、カテゴリと単語の重要度をコロン「：」で区切り、単語ｗ１から単語ｗｚの重要度をカンマ「、」で区切り、列挙している。
【００８７】
図９は、本発明の第１の実施の形態における単語リスト蓄積部の蓄積例を示す。同図に示す単語リスト蓄積部１４に格納される情報は、番号９０１、出現数９０２、単語９０３から構成され、番号９０１は、単語ｗｉ（ｉ＝１〜ｚ）のｉに対応し、１からｚまでの数値をとる。出現数９０２は、全ての学習用テキストにおいて単語が出現した出現数である。単語９０３は、テキストから抽出した単語である。図９の例では、ｚ＝20000で、単語を出現数の降順に並べて番号を1から付与してある。出現数９０２は、説明のために図示しているが、分類部４０で出現数は利用しないため、出現数を蓄積しないようにしてもよい。単語「韓国」の番号は「１００」、出現数が「２５０」であり、「冬のソナタ」の番号は「１０００」、出現数が「１００」である。出現数の多い単語「日」、「人」、「年」などの単語は、どのカテゴリにおいても出現文書数が多い。そのため、icf(Ci，w)を計算すると０に近い値をとり、単語の重要度が低くなる。
【００８８】
また、前述の図７を用いて、重要度算出部１２の処理例を説明する。図７では、「韓国ドラマ」、「国際」、「グルメ」というカテゴリがあり、単語「韓国」と「冬のソナタ」の重要度算出例を説明する。
【００８９】
「韓国」は、「韓国ドラマ」以外のカテゴリ、「国際ニュース」、「グルメ」にも出現し、「冬のソナタ」は「韓国ドラマ」カテゴリのみで出現したとする。また、「韓国」、「冬のソナタ」は検索語として検索語蓄積部２０に蓄積されており、上昇度順位が図５に示す順位であったとすると、式（２）により、単語「韓国」と「冬のソナタ」の重要度は以下のように求めることができる。
【００９０】
weight(韓国ドラマ、韓国)＝200×0.7/(0.7+0.2+0.1)×log(1500/150)＋1
＝280
weight(韓国ドラマ、冬のソナタ)＝100×0.5/0.5×log(1500/15)＋1=300
tf(Ci,w)や、tf(Ci,w)×icf(Ci,w)では、「韓国」の重要度が高くなってしまうが、検索語の上昇度順位を反映した重要度を算出することで、「冬のソナタ」の重要度を「韓国」より高くすることが可能となる。
【００９１】
分類部４０は、ベクトル変換部４１とカテゴリ決定部４２から構成される。分類部４０は、カテゴリが未知の分類対象テキストを入力とし、分類対象テキストに予め決められたカテゴリ（学習用テキストに対応付けられているカテゴリ）を付与する。なお、分類対象テキストは、当該装置の外部の入力装置（図示せず）から入力されるものとする。
【００９２】
分類部４０は、重要度算出部１２の処理終了後、分類対象テキストが入力されると、処理を開始する。
【００９３】
ベクトル変換部４１は、分類対象テキストが入力されると、単語リスト蓄積部１４に蓄積されている単語の出現数を要素とするベクトルを生成する。
【００９４】
図１０は、本発明の第１の実施の形態におけるベクトル変換部の処理のフローチャートである。
【００９５】
まず、ベクトル変換部４１は、入力された分類対象テキストを形態素解析処理により形態素に分解し、分解された形態素から自立語を単語として抽出する（ステップ４１）。形態素解析された単語が単語リスト蓄積部１４に蓄積された単語と前方一致するかどうか調べる（ステップ４３）。前方一致する場合は、当該単語に続く語（自立語だけでなく付属語も含める）を順に調べ、前方一致した語と一致するか調べる（ステップ４５）。一致する場合は、複数の語を１つにまとめ１単語とする（ステップ４６）。一致しない場合は、未処理の単語があるか調べ（ステップ４２）、ある場合は未処理について、単語リスト蓄積部１４の単語に一致するかを調べる（ステップ４３〜ステップ４６）。
【００９６】
全ての単語を処理し終えたら（ステップ４２、ＮＯ）、単語毎に出現数を算出し（ステップ４７）、単語リスト蓄積部１４に蓄積されている単語と番号を参照して出現数を取得し、式（６）によりベクトルを生成する（ステップ４８）。
【００９７】
【数１２】
2006318398.tif 000014
ここで、tf(w)は、単語ｗがテキストに出現する出現数である。
【００９８】
ベクトル変換部４１の処理が終了すると、続いてカテゴリ決定部４２の処理を開始する。
【００９９】
カテゴリ決定部４２では、分類対象テキストのベクトルと、特徴ベクトル蓄積部１３に蓄積されているカテゴリ毎の特徴ベクトルを用いて分類対象テキストに付与するカテゴリを決定する。
【０１００】
例えば、従来手法として、２つのベクトル間のコサインを計算することで、ベクトル間の距離を計算する方法がある。コサインの値が１に近いほど２つのベクトル間の距離が近いことになる。分類対象テキストのベクトルを
【０１０１】
【数１３】
2006318398.tif 000015
各カテゴリの特徴ベクトル
【０１０２】
【数１４】
2006318398.tif 000016
とすると、２ベクトル間の距離
【０１０３】
【数１５】
2006318398.tif 000017
は式（７）で求めることができる。
【０１０４】
【数１６】
2006318398.tif 000018
各カテゴリＣｊ（ｊ＝１〜Ｍ）について、２ベクトル間の距離を求め、距離が予め設定しておいた閾値より大きい場合、分類対象テキストに該カテゴリを付与する。距離が閾値より大きいカテゴリが複数ある場合は、複数のカテゴリを分類対象テキストに付与する。
【０１０５】
図１１は、本発明の第１の実施の形態におけるベクトル変換部の処理例である。
【０１０６】
テキストａ「ピアノの本「冬のソナタ」を購入した」は、韓国ドラマ「冬のソナタ」と音楽に関連するテキストであり、テキストｅ「もう冬ですね。ピアノ・ソナタの本を購入しました」は、音楽にのみ関連のあるテキストである。テキストａを形態素解析処理した結果がｂである。ｂの結果から自立語を単語として抽出し（ステップ４３）、単語リスト蓄積部14に存在する単語とその出現数を集計した（ステップ４７）結果がｃである。同様に、テキストｅについて形態素解析処理した結果がｆであり、ｆの結果から自立語を単語として抽出し（ステップ４３）、単語リスト蓄積部1４に存在する単語とその出現数を集計した（ステップ４７）結果がｇである。ｃとｇからは異なる単語ベクトルが生成される。
【０１０７】
しかし、仮に単語リスト蓄積部1４に「冬のソナタ」が存在しない場合は、テキストａから生成される単語と単語出現数はｄのようになる。ｄとｇの単語及び単語出現数は同じであるため、２つのテキストは同じカテゴリに分類されてしまう。
【０１０８】
本発明では、単語リスト蓄積部１４に「冬のソナタ」が存在するため、２つのテキストから異なるベクトルを生成することが可能となり、その結果テキストを別々のカテゴリに分類することも可能となる。
【０１０９】
このように、学習用テキスト及び未分類テキストを、検索語ランキング上位の検索語を含むベクトルで表現することで、テキストを精度よく分類することができる。
【０１１０】
また、最近話題になりだした出現数があまり多くない新出単語であっても、検索語ランキングが高ければ、カテゴリベクトルにおける単語の重要度が高くなっているため、新出単語を含む分類対象テキストを分類部４０に入力すると、類似度が高く算出され、適切なカテゴリに分類することが可能となる。
【０１１１】
［第２の実施の形態］
図１２は、本発明の第２の実施の形態における情報分類装置の構成を示す。本実施の形態は、検索語蓄積部に蓄積される検索語ランキングがカテゴリ分けされている場合の例であり、検索語が分類されているカテゴリにおいてのみ、検索語ランキングを反映した重み付けを行い、カテゴリの特徴ベクトルを生成する。
【０１１２】
図１２において、第1の実施の形態とは、検索語取得部２００Ａ、特徴ベクトル生成部１０の重要度算出部１２Ａの処理が異なる。なお、第1の実施の形態と同じ処理を行うブロックには、同じ符号を付し、その説明は省略するものとし、処理の異なる部分についてのみ説明する。
【０１１３】
検索語取得部２００Ａは、検索語収集部２１Ａ、注目検索語ランキング部２２Ａ、検索語蓄積部２０Ａから構成される。
【０１１４】
検索語収集部２１Ａは、ある期間においてカテゴリ毎に集計・ランク付けされた検索語ランキングを検索語用収集先記憶部２３に設定されている収集先に基づいて、前述の第１の実施の形態と同様の方法により取得し、注目検索語ランキング部２２Ａに検索語ランキングを送る。検索語ランキングは、カテゴリ、検索語、検索語の順位がセットになったデータであり、ＨＴＭＬ文書やテキスト、データファイルなどの形態で取得する。
【０１１５】
注目検索語ランキング部２２Ａは、検索語収集部２１から検索語ランキングを受け取り、カテゴリ毎に、今回受け取った検索語の所定順位以上の検索語に対して、前回受け取った検索語ランキングと比較することによりカテゴリ内での上昇度（例えば、今回の検索語順位から前回の検索語順位を減算した値）を求め、上昇度の高い検索語から降順に1位から順番に上昇度順位を付与する。カテゴリ毎にカテゴリ内上昇度順位が付与された検索語は、検索語蓄積部２０Ａに蓄積される。
【０１１６】
図１３は、本発明の第２の実施の形態における検索語蓄積部の蓄積例を示す。検索語蓄積部２０Ａは、カテゴリ１３１と検索語１３２、検索語のカテゴリ内での上昇度順位１３３が対応付けられて蓄積されている。
【０１１７】
また、検索語収集部２１Ａにおいて、カテゴリ毎に検索語の上位度順位が付与された検索語ランキングを取得する場合は、注目検索語ランキング部２２Ａの処理を省いて、検索語蓄積部２０Ａにカテゴリ内上昇度順位が付与されたカテゴリ別の検索語を蓄積する。
【０１１８】
重要度算出部１２Ａは、単語抽出部１１においてすべての学習用テキストからの単語抽出が終了したあと、処理を開始する。重要度算出部１２Ａでは、テキスト記録部１５に記録されたカテゴリ毎の単語と単語出現数を取得し、検索語蓄積部２０Ａから検索語のカテゴリ内上昇度順位を取得し、カテゴリ毎に単語の重要度を算出する。第1の実施の形態における重要度算出部１２の処理のフローチャート（図６）と処理の流れは同じであり、ステップ３４のカテゴリにおける単語の重要度算出処理が異なる。
【０１１９】
本実施の形態においては、検索語が分類されているカテゴリにおいてのみ重み付けを行うため、式（８）の評価値sr（Ci，w）を用いる。評価値sr（Ci，w）は、検索語がカテゴリCｉに分類されているとき検索語のカテゴリ内上昇度順位をとり、検索語がカテゴリCｉに分類されていないとき、カテゴリ内の総検索語数Ｌをとる。評価値sr（Ci，w）をｍ個引いて単語の重要度は、式（９）で算出される。
【０１２０】
重要度weight(Ci,w)は、カテゴリCiによく出現し、他のカテゴリにはあまり出現せず、カテゴリCiにおける検索語のカテゴリ内上昇度順位が高いほど、高い値をとる。
【０１２１】
【数１７】
2006318398.tif 000019
ここで、tf(Ci,w)は、単語ｗがカテゴリＣi＝（ｉ＝１〜Ｍ）に出現する出現数であり、カテゴリ内によく出現する単語ほど大きな値をとり、重要度を高くする働きをする。icf(Ci，w）は単語wのカテゴリCiにおけるカテゴリ内単語出現率が、全カテゴリにおけるカテゴリ内単語出現率の和に占める割合であり、式（３）で求められる値である。
【０１２２】
また、式（９）の代わりに式（１０）を用いて、単語の重要度を算出することも可能である。
【０１２３】
【数１８】
2006318398.tif 000020
式（１０）においては、検索語蓄積部２０Ａに含まれない単語の重要度は全て０となり、検索語蓄積部２０Ａに含まれる単語のみをベクトルの要素として、ベクトルを生成することが可能となる。検索語蓄積部２０Ａに含まれる単語のみのベクトルは、学習用テキスト中の自立語全てを用いるベクトルに比べ次元数が小さいため、ベクトル演算を高速化することができる。
【０１２４】
Ｌのサイズが小さい場合や検索語の重要性をもっと高くしたい場合などは、適当な係数を乗算して重要度を算出するようにしてもよいし、
【０１２５】
【数１９】
2006318398.tif 000021
の代わりに、対数をとらずにL/sr(Ci,w)を用いてもよい。
【０１２６】
カテゴリ毎に単語の重要度を算出した後、重要度算出部１２Ａはカテゴリ毎の特徴ベクトルを式(５)により生成し（ステップ３５）、特徴ベクトル蓄積部１３に蓄積する。特徴ベクトルを構成するすべての単語ｗi（ｉ＝１〜ｚ）は、単語の要素順に１から番号を付与し、出現数とともに単語リスト蓄積部１４に蓄積し（ステップ３６）、重要度算出部１２の処理を終了する。
【０１２７】
以上のように、検索語にカテゴリが付与されている場合は、各単語の重要度として式（９）、式（１０）を用いることにより、検索語がどのカテゴリにおいて注目されているかを反映した重要度付けが可能となる。即ち、検索語が複数のカテゴリで出現する場合、第１の実施の形態では、検索語が出現する全てのカテゴリにおいて検索語の重要度が高くなるのに対し、第２の実施の形態では、検索語に付与された特定のカテゴリにおいてのみ検索語の重要度を高くすることができる。
【０１２８】
なお、上記の第１、及び第２の実施の形態における検索語取得部２００、学習用テキスト取得部３００、特徴ベクトル生成部１０からなる構成をベクトル生成装置とし、当該ベクトル生成装置の動作をプログラムとして構築し、コンピュータに実行させる、または、ネットワーク上に流通させることが可能である。また、ベクトル生成装置と、分類部４０からなる構成を情報分類装置とし、当該情報分類装置の動作をプログラムとして構築し、コンピュータに実行させる、または、ネットワーク上に流通させることが可能である。
【０１２９】
また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭやフレキシブルディスク等の可搬記憶媒体に格納し、ベクトル生成装置及び情報分類装置として利用されるコンピュータにインストールする、または、配布することが可能である。
【０１３０】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【０１３１】
本発明は、ネットワーク上に公開されている文書情報を分類するための技術に適用可能である。
【図面の簡単な説明】
【０１３２】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における情報分類装置の構成図である。
【図４】本発明の第１の実施の形態における単語抽出部の処理のフローチャートである。
【図５】本発明の第１の実施の形態における単語抽出部の処理例である。
【図６】本発明の第１の実施の形態における重要度算出部の処理のフローチャートである。
【図７】本発明の第１の実施の形態における重要度算出部の処理を説明する図である。
【図８】本発明の第１の実施の形態における特徴ベクトル蓄積部の蓄積例である。
【図９】本発明の第１の実施の形態における単語リスト蓄積部の蓄積例である。
【図１０】本発明の第１の実施の形態におけるベクトル変換部の処理のフローチャートである。
【図１１】本発明の第１の実施の形態におけるベクトル変換部の処理例である。
【図１２】本発明の第２の実施の形態における情報分類装置の構成図である。
【図１３】本発明の第２の実施の形態における検索語蓄積部の蓄積例である。
【符号の説明】
【０１３３】
１０  特徴ベクトル生成部
１１  単語抽出手段、単語抽出部
１２，１２Ａ  重要度算出手段、重要度算出部
１３  特徴ベクトル蓄積手段、特徴ベクトル蓄積部
１４  単語リスト蓄積手段、単語リスト蓄積部
１５  テキスト記憶部
２０  検索語蓄積手段、検索語蓄積部
２０Ａ  検索語蓄積部
２１，２１Ａ  検索語収集部
２２，２２Ａ  注目検索語ランキング部
３０  学習用テキスト蓄積手段、学習用テキスト蓄積部
３１  学習用テキスト収集部
３２  学習用収集先リスト
４０  分類部
４１  ベクトル変換手段、ベクトル変換部
４２  カテゴリ決定手段、カテゴリ決定部
１３１  カテゴリ
１３２  検索語
１３３  カテゴリ内上昇度順位
２００，２００Ａ  検索語取得部
３００  学習用テキスト取得部
８０１  カテゴリと各単語の重要度を示した列
９０１  番号
９０２  出現数
９０３  単語
１００１，１００２，１００３  カテゴリ名
１１００，１２００，１３００  テーブル
【図１】
2006318398.tif 000022
【図２】
2006318398.tif 000023
【図３】
2006318398.tif 000024
【図４】
2006318398.tif 000025
【図５】
2006318398.tif 000026
【図６】
2006318398.tif 000027
【図７】
2006318398.tif 000028
【図８】
2006318398.tif 000029
【図９】
2006318398.tif 000030
【図１０】
2006318398.tif 000031
【図１１】
2006318398.tif 000032
【図１２】
2006318398.tif 000033
【図１３】
2006318398.tif 000034