(57)【要約】      （修正有）【課題】ニュース記事や雑誌の記事等の日本語テキスト文書を解析し、該当するカテゴリに文書を分類する文書分類方法において、精度良く分類できる文書分類技術を提供する。【解決手段】文書分類方法は、文書分類に用いる特徴単語を、文の表層格と述語の関係から修飾構造および意味構造の単位で抽出する。特徴単語の重要度として、尤もらしいカテゴリを予測した重み付けを用いる。重み付けは、特定のカテゴリに偏って出現する特徴単語を、分類すべきカテゴリと依存の度合いが高い特徴単語であるとし、特徴単語に対し最も多い頻度で現れたカテゴリを尤もらしいカテゴリと推定し、当該カテゴリに対する統計指標の計算結果を特徴単語の重要度として使用する。分類すべき文書を、予め学習済みの文書データと、修飾構造および意味構造の単位で類似性を比較する。特徴単語の類似性の比較を、潜在的意味空間における上位概念同士の比較により行う。【選択図】図１
2014056331.tif 000002
【特許請求の範囲】
【請求項１】
文書データを特定のカテゴリに分類する文書分類方法であって、
予め正解のカテゴリが付与された複数の文書データと、カテゴリが付与されていない文書データの各々について、文構造を解析する構造解析ステップと、
前記解析された文構造に基づき、格要素と述語を抽出し、該格要素と述語ごとに特徴単語を抽出する格要素等抽出ステップと、
前記抽出された特徴単語、及び、カテゴリごとに該特徴単語が出現した文書数、を記憶する重要度計算用学習辞書作成ステップと、
前記特徴単語及びカテゴリごとに該特徴単語が出現した文書数に基づき、該特徴単語の重要度を計算する重要度計算ステップと、
前記抽出された特徴単語と該特徴単語の重要度に基づき、前記格要素と述語ごとに特徴量を作成する特徴量作成ステップと、
前記格要素と述語ごとに作成された特徴量を記憶する分類計算用学習辞書作成ステップと、
前記格要素と述語ごとに作成された特徴量を第２の特徴量に変換する特徴量変換ステップと、
前記第２の特徴量に基づき、前記カテゴリが付与されていない文書データのカテゴリを決定する分類処理ステップと、
を有することを特徴とする文書分類方法。
【請求項２】
前記第２の特徴量変換ステップは、前記特徴量を潜在的意味空間における特徴量に変換するステップである請求項１記載の文書分類方法。
【請求項３】
前記格要素等抽出ステップは、表層格と述語の関係により文の意味構造を捕捉することを特徴とする請求項１記載の文書分類方法。
【請求項４】
前記格要素等抽出ステップは、格要素を修飾する文節から抽出した特徴単語を格要素の一部に含めることで、文の修飾構造を分類に利用することを特徴とする請求項１から３記載の文書分類方法。
【請求項５】
前記重要度計算ステップは、前記予め正解のカテゴリが付与された複数の文書データから前記格要素等抽出ステップによって抽出した特徴単語と、前記文書データに付与された正解のカテゴリとの統計指標に基づいて計算することを特徴とする請求項１から４記載の文書分類方法。
【請求項６】
前記重要度計算ステップは、前記カテゴリが付与されていない文書データに対して、分類すべきカテゴリとの依存の度合いが高く、特定のカテゴリに偏って出現する単語が最も多い頻度で現れたカテゴリを尤もらしいカテゴリと推定し、前記文書データを格要素等抽出ステップによって抽出した特徴単語と、前記推定したカテゴリとの統計指標に基づいて計算することを特徴とする請求項１から５記載の文書分類方法。
【請求項７】
前記第２の特徴量変換ステップは、前記格要素と述語ごとに作成された特徴量を潜在的意味空間に変換し、単語の上位概念を扱うことを特徴とする、請求項１から６記載の文書分類方法。
【請求項８】
予め正解のカテゴリが付与された複数の文書データと、カテゴリが付与されていない文書データの各々について、文構造を解析する手順と、
前記解析された文構造に基づき、格要素と述語を抽出し、該格要素と述語ごとに特徴単語を抽出する手順と、
前記抽出された特徴単語、及び、カテゴリごとに該特徴単語が出現した文書数、を記憶する手順と、
前記特徴単語及びカテゴリごとに該特徴単語が出現した文書数に基づき、該特徴単語の重要度を計算する手順と、
前記抽出された特徴単語と該特徴単語の重要度に基づき、前記格要素と述語ごとに特徴量を作成する手順と、
前記格要素と述語ごとに作成された特徴量を記憶する手順と、
前記格要素と述語ごとに作成された特徴量を第２の特徴量に変換する手順と、
前記第２の特徴量に基づき、前記カテゴリが付与されていない文書データのカテゴリを決定する手順と、
をコンピュータに実行させ、文書データを特定のカテゴリに分類する文書分類プログラム。
【請求項９】
文書データを特定のカテゴリに分類する文書分類装置であって、
予め正解のカテゴリが付与された複数の文書データと、カテゴリが付与されていない文書データの各々について、文構造を解析する構造解析手段と、
前記解析された文構造に基づき、格要素と述語を抽出し、該格要素と述語ごとに特徴単語を抽出する格要素等抽出手段と、
前記抽出された特徴単語、及び、カテゴリごとに該特徴単語が出現した文書数、を記憶する重要度計算用学習辞書と、
前記特徴単語及びカテゴリごとに該特徴単語が出現した文書数に基づき、該特徴単語の重要度を計算する重要度計算手段と、
前記抽出された特徴単語と該特徴単語の重要度に基づき、前記格要素と述語ごとに特徴量を作成する特徴量作成手段と、
前記格要素と述語ごとに作成された特徴量を記憶する分類計算用学習辞書と、
前記格要素と述語ごとに作成された特徴量を第２の特徴量に変換する特徴量変換手段と、
前記第２の特徴量に基づき、前記カテゴリが付与されていない文書データのカテゴリを決定する分類処理手段と、
を有することを特徴とする文書分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、日本語の文書を利用者があらかじめ指定した所定のカテゴリに分類する文書分類技術に関するものである。
【背景技術】
【０００２】
文書分類は、与えられた文書をあらかじめ定められたいくつかの分類対象、カテゴリに分類することである。カテゴリとは、例えば、政治、経済、事件、社会等をいう。従来の文書分類方法として、ベクトル空間法、ナイーブベイズ法等が提案されている。特許文献１には、テキストデータをカテゴリ別に分類可能とする情報分類方法が開示されている。
【０００３】
文書分類においては、文書を形態素解析し、特徴となる単語を抽出して使用する。一般に、文中の出現位置や係り受け構造を考慮しないbag−of−wordsとして抽出する方法が用いられている。bag−of−wordsとは、並び順を無視した単語の集合として文書を表現する手法である。
【０００４】
また、特徴単語に重要度を付与することで分類精度を向上させる方法も提案されている（例えば、非特許文献１を参照）。
【０００５】
特徴単語に対する重要度の計算方法として、相互情報量やカイ２乗値等の統計指標が用いられることもある。未分類の文書に対してこれらを計算する場合には、正解のカテゴリに依存しない計算方法が必要であることから、すべてのカテゴリに対して計算した結果の平均値や最大値等が用いられる（例えば、非特許文献２を参照）。
【０００６】
また、表層的に一致しない特徴単語同士を比較するために、シソーラス辞書により同義語の定義をあらかじめ整備しておき、同義語をもとに比較する方法がある（例えば、非特許文献３を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１９０２８４号公報
【非特許文献】
【０００８】
【非特許文献１】福本文代、鈴木良弥：「語の重み付け学習を用いた文書の自動分類」、情報処理学会論文誌、Ｖｏｌ．４０、Ｎｏ．４、ｐｐ．１７８２−１７９１、１９９９．
【非特許文献２】高村大也、奥村学：「言語処理のための機械学習入門」、コロナ社、ｐｐ．１３８−１４３、２０１０．
【非特許文献３】上嶋宏、三浦孝夫、塩谷勇：「同義語、多義語の考慮による文書分類の精度向上」、電子情報通信学会論文誌、Ｖｏｌ．Ｊ８７−Ｄ１、Ｎｏ．２、ｐｐ．１３７−１４４、２００４．
【非特許文献４】河原大輔、黒橋禎夫：「大規模格フレームに基づく構文・格解析の統合的確率モデル」、自然言語処理、Ｖｏｌ．１４、Ｎｏ．４、ｐｐ．６７−８１、２００７．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特徴単語の抽出方法で最も良く用いられる「bag−of−words」では、文中から単語をばらばらに取ってくるため、文の意味構造を捉えた比較ができない。
【００１０】
未分類文書の特徴単語に対する重要度の計算方法として、すべてのカテゴリに対して計算した結果の平均値や最大値を用いる方法では、それぞれのカテゴリに対する計算結果の影響が残ってしまい、特徴単語のカテゴリへの関係性が明確とならないという問題がある。
【００１１】
表層的に一致しない特徴単語同士を比較するために同義語辞書を用いる方法では、同義語の定義を事前に整備する労力が必要となる。
【００１２】
このような背景の下、本発明は、上述の問題点の少なくとも１つ以上を解消し、ニュース記事や雑誌の記事等の日本語テキスト文書を解析し、該当するカテゴリに文書を分類する文書分類方法において、精度良く分類できる文書分類技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、与えられた文書を精度良く分類できるよう、特徴単語を修飾構造及び意味構造の単位で抽出し、未分類文書の特徴単語に対する重要度として尤もらしいカテゴリを予測した重み付けを行い、特徴単語同士を潜在的意味空間における上位概念において比較することを特徴とする。
【００１４】
本発明の実施形態において、文構造を解析した結果から係り受け構造の表層格と述語の関係を抽出し、文の修飾構造及び意味構造の単位で前記特徴単語を抽出する。
【００１５】
本発明の実施形態において、未分類文書の特徴単語に対する重要度の計算方法は、分類すべきカテゴリとの依存の度合いが高く、特定のカテゴリに偏って出現する単語が最も多い頻度で現れたカテゴリを尤もらしいカテゴリと推定し、当該カテゴリに対する統計指標の計算結果を特徴単語の重要度として使用する。
【００１６】
本発明の実施形態において、前記特徴単語の比較方法は、文書を潜在的意味空間に変換して、単語の上位概念に基づく語彙の辞書を自動的に構築したうえで、上位概念同士を比較する。
【発明の効果】
【００１７】
本発明によれば、与えられた文書を該当するカテゴリに分類する文書分類方法において、精度良く分類できる文書分類技術を提供することができる。
【００１８】
また、本発明の文書分類方法は、文構造を解析した結果から係り受け構造の表層格と述語の関係を抽出し、文の修飾構造及び意味構造の単位で特徴単語を抽出するようにしたので、意味的構造が似ている文書同士を比較することができる。
【００１９】
また、本発明の文書分類方法は、未分類文書に対する重要度の計算方法として、相互情報量やカイ２乗値等の統計指標を計算する際、尤もらしいカテゴリを推定し、推定したカテゴリに対する統計指標の計算を行うようにしたので、より適切な重要度を特徴単語に割り当てることができる。
【００２０】
また、本発明の文書分類方法は、文書を潜在的意味空間に変換するようにしたので、単語の概念に基づく語彙の辞書を自動的に構築することができ、意味的に似ている単語同士を比較することができる。
【００２１】
本発明は、明細書に記載され又は示唆される、様々な新規の特徴及び組み合わせ、並びに顕著な効果を有する特徴及び組み合わせをも、その範囲に含み得ることに留意されたい。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る文書分類方法の構成を示す機能ブロック図である。
【図２】本発明に係る文書分類方法の学習処理手順を示すフローチャートである。
【図３】本発明に係る文書分類方法の分類処理手順を示すフローチャートである。
【図４】重要度計算部の処理手順を示すフローチャートである。
【図５】重要度計算部におけるカテゴリの選択手順を示すフローチャートである。
【図６】本発明に係る文書分類方法における学習文書データの一例を示す図である。
【図７】本発明に係る文書分類方法における未分類文書データの一例を示す図である。
【図８】本発明に係る文構造解析部における文構造解析結果（形態素解析結果）の一例を示す図である。
【図９】本発明に係る文構造解析部における文構造解析結果（係り受け解析結果）の一例を示す図である。
【図１０】本発明に係る格要素抽出部における格要素抽出結果の一例を示す図である。
【図１１】本発明に係る格要素抽出部における特徴単語抽出結果の一例を示す図である。
【図１２】本発明に係る重要度計算部における特徴単語及び重要度の組の一例を示す図である。
【図１３】本発明に係る重要度計算部において、尤もらしいカテゴリを選択する一例を示す図である。
【図１４】本発明に係る重要度計算用学習辞書の一例を示す図である。
【図１５】本発明に係る分類計算用学習辞書の一例を示す図である。
【図１６】本発明に係る単語を上位概念に変換した語彙の辞書の一例を示す図である。
【図１７】本発明に係る分類処理部における類似性比較方法の一例を示す図である。
【図１８】本発明に係る分類処理部における類似度計算の一例を示す図である。
【図１９】本発明に係るシステムのハードウェア構成を示す図である。
【発明を実施するための形態】
【００２３】
ニュース記事や雑誌の記事等の日本語テキスト文書を解析し、該当するカテゴリに文書を分類する文書分類方法において、精度良く分類できる文書分類技術を提供するという目的を、特徴単語の抽出方法として修飾構造及び意味構造の単位で抽出し、未分類文書の特徴単語に対する重要度の計算方法として尤もらしいカテゴリを予測した重み付けを行い、特徴単語の比較方法として潜在的意味空間における上位概念を比較することにより実現した。
【００２４】
以下、本発明の好適な実施例を、添付図面を参照しつつ詳細に説明する。
【００２５】
図１は、ここで説明される実施例の文書分類方法の構成を示す機能ブロック図である。同図に示すように、文書分類方法は、入力処理部１１０と、文書解析部１２１と、格要素抽出部１２２と、重要度計算部１３０と、学習処理部１４０と、重要度計算用学習辞書１５１と、分類計算用学習辞書１５２と、特徴量作成部１６１と、潜在的意味解析部１６２と、分類処理部１６３と、出力処理部１７０と、を備えている。
【００２６】
入力処理部１１０は、利用者による文書データの入力を受け付け、テキストを取り込む処理部である。ここで、入力処理部１１０に投入される文書データ１８０には予め正解のカテゴリが付与された複数の文書データである学習文書データと、カテゴリが付与されていない文書データである未分類文書データの２種類が存在する。
【００２７】
文書解析部１２１は、入力処理部１１０によって入力された文書データ１８０に対して、形態素解析及び係り受け解析を実行し、文構造解析結果を出力する処理部である。なお、形態素解析及び係り受け解析については公知の技術であり、形態素解析は、MeCab（和布蕪）（http://code.google.com/p/mecab）等の形態素解析システムを用いることにより実現可能であり、係り受け解析は、CaboCha（南瓜）（http://code.google.com/p/cabocha）等の係り受け解析器を用いることにより実現可能であるため、ここでは説明を省略する。
【００２８】
格要素抽出部１２２は、文書解析部１２１から受け取った文構造解析結果から、述語と、当該述語に係る格要素を抽出し、格要素及び述語ごとに特徴単語を出力する処理部である。
【００２９】
具体的には、文構造解析結果から文節の係り受け関係に着目し、係り元の文節が名詞句と表層格の組で構成されており、係り先の文節が動詞、形容詞、名詞句と助動詞「ダ」の組、もしくは文末の名詞句で構成されているものを見付け、係り元の文節を格要素、係り先の文節を述語として抽出する。なお、非特許文献４に開示されているように、格フレームを用いた格解析を行い、格要素を抽出することとしてもよい。
【００３０】
前述の表層格として、日本語の表層格である「ガ格」、「ヲ格」、「ニ格」、「カラ格」、「ヘ格」、「ト格」、「ヨリ格」、「マデ格」、「デ格」を用いる。また、表層格ではないが主語を示す助詞「ハ」についても、「ガ格」として抽出する。
【００３１】
また、前述の格要素の抽出方法において、格要素として抽出した文節を構成する単語のうち、品詞が内容語（普通名詞、固有名詞、サ変名詞、形容詞的名詞、動詞、形容詞）である単語を特徴単語として出力する。なお、動詞及び形容詞については活用形により語幹が変化するため、原形を使用する。
【００３２】
また、前述の格要素の抽出方法において、格要素の文節を更に修飾する係り元の文節が存在し、その文節が抽出済みの述語ではない場合は連結して一つの格要素に含めることとする。このようにすることで、文の修飾構造を含めた情報を利用することができる。
【００３３】
文書データ１８０として学習文書データを用いる場合、格要素抽出部１２２は、上記の方法により特徴単語を抽出したのち、特徴単語と、当該特徴単語が出現したカテゴリに対する文書数を重要度計算用学習辞書１５１に登録する。
【００３４】
重要度計算部１３０は、格要素抽出部１２２によって得られた特徴単語と、重要度計算用学習辞書１５１に登録された統計情報に基づき、特徴単語の重要度を計算し、特徴単語と、当該特徴単語に対する重要度の組を出力する処理部である。ここで、重要度計算の統計指標としては、tf＊idf、相互情報量、カイ２乗値、情報利得等が挙げられる。
【００３５】
学習処理部１４０は、文書データ１８０として学習文書データを用いる場合に実行され、重要度計算部１３０によって得られた特徴単語と、当該特徴単語に対する重要度の組から、格要素及び述語ごとのそれぞれについて特徴量を作成し、当該特徴量を学習文書単位で分類計算用学習辞書１５２に登録する処理部である。ここで、学習処理部１４０によって作成された特徴量を以下では学習特徴量と呼ぶこととする。
【００３６】
特徴量作成部１６１は、重要度計算部１３０によって得られた特徴単語と、当該特徴単語に対する重要度の組、及び分類計算用学習辞書１５２から取得した学習特徴量を基に、分類計算に使用する特徴量を作成する処理部である。ここで、特徴量作成部１６１によって作成された特徴量を以下では評価特徴量と呼ぶこととし、特徴量作成部１６１は、評価特徴量及び学習特徴量を出力する。
【００３７】
潜在的意味解析部１６２は、特徴量作成部１６１において取得した学習特徴量を基に、潜在的意味空間における語彙辞書を構築し、特徴量作成部１６１から受け取った評価特徴量及び学習特徴量を潜在的意味空間における特徴量に変換し、出力する処理部である。
【００３８】
分類処理部１６３は、潜在的意味解析部１６２によって潜在的意味空間に変換された評価特徴量及び学習特徴量を基に、所定の分類アルゴリズムに従って分類対象のカテゴリを決定する処理部である。また、分類処理部１６３は格要素及び述語ごとの意味構造単位で、潜在的意味空間における上位概念による比較計算を行う。
【００３９】
出力処理部１７０は、分類処理部１６３によって得られた分類対象のカテゴリを利用者へ出力する処理部である。
【実施例１】
【００４０】
次に、本実施の形態に係る文書分類方法で行われる文書分類手順について図２〜図５を用いて説明する。本実施の形態における文書分類方法は、学習と分類の２段階で処理を行う。
【００４１】
まず、学習の処理手順について図２を用いて説明する。
【００４２】
図２は、文書分類方法の学習手順を示すフロー図である。
【００４３】
学習文書データ２００に対してはあらかじめ人手により正解となるカテゴリが付与されており、以下では複数の学習文書データを一括で学習する実施例を挙げる。
【００４４】
まず、入力処理部１１０は、学習文書データ２００を１件読み込む（ステップＳ２０１）。
【００４５】
文書解析部１２１は、読み込まれた学習文書データ２００に対し、形態素解析および係り受け解析を実行し、文構造解析結果２０１を出力する（ステップＳ２０２）。例えば、図６に示す例文は、形態素解析により図８に示す結果となり、係り受け解析により図９に示す結果となる。
【００４６】
格要素抽出部１２２は、ステップＳ２０２によって抽出した文構造解析結果２０１から格要素および述語を抽出し、格要素抽出結果２０２を出力する（ステップＳ２０３）。例えば、図６に示す例文は、格要素抽出により図１０に示す結果となる。
【００４７】
また、格要素抽出部１２２は、格要素抽出結果２０２から、内容語の品詞（普通名詞、固有名詞、サ変名詞、形容詞的名詞、動詞、形容詞）を選択し、特徴単語抽出結果２０３を抽出する（ステップＳ２０４）。例えば、図６に示す例文は、特徴単語抽出により図１１に示す結果となる。図１１に示すように、特徴単語抽出結果２０３は、学習文書データ２００に付与されたカテゴリと、格要素及び述語ごとに抽出した特徴単語が出力され、学習文書ごとに作成される。
【００４８】
また、格要素抽出部１２２は、抽出した特徴単語抽出結果２０３と、当該特徴単語が学習文書データ２００に付与されたカテゴリに出現する文書数を重要度計算用学習辞書１５１の該当する箇所に１つ加算して登録する（ステップＳ２０５）。図１４は重要度計算用に用いる学習辞書の例を示したものである。同図に示すように、重要度計算用学習辞書１５１は、格要素抽出部１２２によって抽出された特徴単語と、当該特徴単語が出現したカテゴリに対する文書数を保持している。
【００４９】
全ての学習文書データを処理したか否かを判断する（ステップＳ２０６）。
【００５０】
ステップＳ２０６において、全ての学習文書データを処理していないと判断した場合（ステップＳ２０６：ＮＯ）は、ステップＳ２０１の処理に戻る。
【００５１】
ステップＳ２０６において、全ての学習文書データを処理したと判断した場合（ステップＳ２０６：ＹＥＳ）、重要度計算部１３０は、ステップＳ２０４によって抽出した特徴単語抽出結果２０３と重要度計算用学習辞書１５１を用い、後述の計算式により重要度計算を実行し、特徴単語と、当該特徴単語に対する重要度の組２０４を出力する（ステップＳ２０７）。例えば、図６に示す例文は、重要度計算により図１２に示す結果となる。このとき、図１２に示す特徴単語と、当該特徴単語に対する重要度の組２０４は学習文書ごとに作成される。
【００５２】
ここで、ステップＳ２０７の重要度計算実行処理について、図４を参照しながら詳細に説明する。
【００５３】
図４は、重要度計算の詳細な処理手順を説明するフローチャートである。ここでは特徴単語に対する重要度として、統計指標による重み付けを行う。本実施例では、重要度計算の統計指標として、単語とカテゴリとのカイ２乗値を用いる。
【００５４】
まず、特徴単語抽出結果４０１を１件読み込む（ステップＳ４０１）。なお、ここでいう特徴単語抽出結果４０１はステップＳ２０４によって抽出した特徴単語抽出結果２０３に対応するものを表す。
【００５５】
統計指標の計算対象をカテゴリｃと呼び、これを選択する。学習文書データはあらかじめ正解のカテゴリが付与されているため、特徴単語抽出結果４０１に付与された正解のカテゴリを選択する（ステップＳ４０２）。
【００５６】
重要度計算用学習辞書１５１から、特徴単語抽出結果４０１に含まれる特徴単語ｗｉがカテゴリｃに出現した文書数Ｎ１１を取得する（ステップＳ４０３）。
【００５７】
単語ｗｉを含み、かつカテゴリｃに属する文書数Ｎ１１と、単語ｗｉを含み、かつカテゴリｃに属さない文書数Ｎ１０と、単語ｗｉを含まず、かつカテゴリｃに属する文書数Ｎ０１と、単語ｗｉを含まず、かつカテゴリｃに属さない文書数Ｎ００と、全文書数Ｎにより、単語ｗｉとカテゴリｃとのカイ２乗値χ２（ｔ，ｃ）を次の式で計算する（ステップＳ４０４）。
【００５８】
【数１】
2014056331.tif 000003
【００５９】
単語ｗｉの重要度に、（１）、（２）式で計算した単語ｗｉとカテゴリｃのカイ２乗値χ２（ｔ，ｃ）を割り当て、特徴単語と、当該特徴単語に対する重要度の組４０２を出力する（ステップＳ４０５）。
【００６０】
特徴単語抽出結果４０１に含まれる全ての特徴単語ｗｉを処理したか否かを判断する（ステップＳ４０６）。
【００６１】
ステップＳ４０６において、全ての特徴単語ｗｉを処理していないと判断した場合（ステップＳ４０６：ＮＯ）は、ステップＳ４０３の処理に戻る。
【００６２】
ステップＳ４０６において、全ての特徴単語ｗｉを処理したと判断した場合（ステップＳ４０６：ＹＥＳ）は、全ての特徴単語抽出結果４０１を処理したか否かを判断する（ステップＳ４０７）。
【００６３】
ステップＳ４０７において、全ての特徴単語抽出結果４０１を処理していないと判断した場合（ステップＳ４０７：ＮＯ）は、ステップＳ４０１の処理に戻る。
【００６４】
ステップＳ４０７において、全ての特徴単語抽出結果４０１を処理したと判断した場合（ステップＳ４０７：ＹＥＳ）は、重要度計算処理を終了する。
【００６５】
以上のように、すべての学習文書データから抽出されたすべての特徴単語について重要度を割り当て、特徴単語と、当該特徴単語に対する重要度の組４０２を出力する。図１４に示すように、同じ単語でもカテゴリによりカイ２乗値、つまり特徴単語の重要度が異なるため、これにより、そのカテゴリと関連の高い単語には、重要度が高くなるように計算される。なお、ここでいう特徴単語と、当該特徴単語に対する重要度の組４０２はステップＳ２０７で出力される特徴単語と、当該特徴単語に対する重要度の組２０４に対応するものを表す。
【００６６】
再び図２に戻り、学習処理部１４０は、ステップＳ２０７で抽出した特徴単語と、当該特徴単語に対する重要度の組２０４を用い、格要素および述語ごとに特徴量を構成する（ステップＳ２０８）。
【００６７】
このとき、前記特徴量は、各行に一つの特徴単語を対応付け、特徴単語の重要度を要素値とする、多次元ベクトルにおける列ベクトルを構成する。
【００６８】
しかる後、学習処理部１４０は、すべての学習文書に現れる格要素および述語ごとに抽出したすべての特徴単語と、当該特徴単語に対する重要度を要素値としたベクトルを学習文書単位で列方向に追加していくことで、学習特徴量として学習文書行列２０５を構成する（ステップＳ２０８）。
【００６９】
学習処理部１４０は、ステップＳ２０８によって作成した学習文書行列２０５を分類計算用学習辞書１５２に行列形式で登録する（ステップＳ２０９）。
【００７０】
図１５は分類計算用に用いる学習辞書の例を示したものである。同図に示すように、分類計算用学習辞書１５２は、学習処理部１４０によって作成された学習特徴量を学習文書単位で保持している。
【００７１】
以上、学習の処理手順を説明したが、次に、分類の処理手順について図３を用いて説明する。
【００７２】
図３は、文書分類方法の分類手順を示すフロー図である。
【００７３】
未分類文書データ３００に対してはカテゴリが付与されておらず、以下では１件の未分類文書データを分類する実施例を挙げる。
【００７４】
まず、入力処理部１１０は、未分類文書データ３００を読み込む（ステップＳ３０１）。
【００７５】
文書解析部１２１は、入力された未分類文書データ３００に対し、形態素解析および係り受け解析を実行し、文構造解析結果３０１を出力する（ステップＳ３０２）。
【００７６】
格要素抽出部１２２は、ステップＳ３０２によって抽出した文構造解析結果３０１から格要素および述語を抽出し、格要素抽出結果３０２を出力する（ステップＳ３０３）。
【００７７】
また、格要素抽出部１２２は、格要素抽出結果３０２から、内容語の品詞（普通名詞、固有名詞、サ変名詞、形容詞的名詞、動詞、形容詞）を選択し、特徴単語抽出結果３０３を出力する（ステップＳ３０４）。このとき、特徴単語抽出結果３０３には、格要素及び述語ごとに抽出した特徴単語が出力される。
【００７８】
重要度計算部１３０は、抽出した特徴単語抽出結果３０３と重要度計算用学習辞書１５１を用い、重要度計算を実行し、特徴単語と、当該特徴単語に対する重要度の組３０４を出力する（ステップＳ３０５）。
【００７９】
ここで、ステップＳ３０５の重要度計算実行処理について、図４〜図５を参照しながら詳細に説明する。
【００８０】
図４は、重要度計算の詳細な処理手順を説明するフローチャートである。
【００８１】
まず、特徴単語抽出結果４０１を読み込む（ステップＳ４０１）。なお、ここでいう特徴単語抽出結果４０１はステップＳ３０４によって抽出した特徴単語抽出結果３０３に対応するものを表す。
【００８２】
統計指標の計算対象として、カテゴリｃを選択する（ステップＳ４０２）。未分類文書データはカテゴリに依存しない指標が必要なため、カテゴリの選択手順について図５を用いて説明する。
【００８３】
図５は、未分類文書の重要度計算におけるカテゴリの選択手順を説明するフローチャートである。
【００８４】
まず、特徴単語抽出結果５０１を読み込む（ステップＳ５０１）。なお、ここでいう特徴単語抽出結果５０１はステップＳ４０１によって抽出した特徴単語抽出結果４０１に対応するものを表す。
【００８５】
重要度計算用学習辞書１５１から、特徴単語抽出結果４０１に含まれる特徴単語ｗｉが、あるカテゴリｃｊに出現した文書数Ｎ１１を取得する（ステップＳ５０２）。
【００８６】
単語ｗｉを含み、かつカテゴリcｊに属する文書数Ｎ１１と、単語ｗｉを含み、かつカテゴリcｊに属さない文書数Ｎ１０と、単語ｗｉを含まず、かつカテゴリcｊに属する文書数Ｎ０１と、単語ｗｉを含まず、かつカテゴリcｊに属さない文書数Ｎ００と、全文書数Ｎにより、単語ｗｉとカテゴリcｊとの相互情報量Ｉ（Ｕ，Ｃ）を次の式で計算する（ステップＳ５０３）。
【００８７】
【数２】
2014056331.tif 000004
【００８８】
カテゴリcｊのスコアに、（３）〜（６）式で計算した単語ｗｉとカテゴリcｊの相互情報量Ｉ（Ｕ，Ｃ）を加算し、特徴単語ｗｉとカテゴリcｊの依存度５０２を出力する（ステップＳ５０４）。
【００８９】
全てのカテゴリcｊを処理したか否かを判断する（ステップＳ５０５）。
【００９０】
ステップＳ５０５において、全てのカテゴリcｊを処理していないと判断した場合（ステップＳ５０５：ＮＯ）は、ステップＳ５０３の処理に戻る。
【００９１】
ステップＳ５０５において、全てのカテゴリcｊを処理したと判断した場合（ステップＳ５０５：ＹＥＳ）は、特徴単語ｗｉが多岐のカテゴリに渡り出現する単語か否かを判断する（ステップＳ５０６）。本実施例では、次の式により得られるＶ（ｗｉ）の値がある閾値ε（ε≧０）以下となる単語を分類多岐語と呼ぶこととする。
【００９２】
【数３】
2014056331.tif 000005
【００９３】
ステップＳ５０６において、単語ｗｉが分類多岐語であると判断した場合（ステップＳ５０６：ＮＯ）は、ステップＳ５０８まで処理を進める。
【００９４】
ステップＳ５０６において、単語ｗｉが分類多岐語ではないと判断した場合（ステップＳ５０６：ＹＥＳ）は、特徴単語ｗｉとカテゴリcｊの依存度５０２のうち、相互情報量の最大値を記録したカテゴリを見付け、カテゴリcｊの最大値観測頻度５０３にカウントアップして出力する（ステップＳ５０７）。
【００９５】
このように、すべての単語ｗｉについて相互情報量が最大となったカテゴリの頻度を計測していく。
【００９６】
全ての特徴単語ｗｉを処理したか否かを判断する（ステップＳ５０８）。
【００９７】
ステップＳ５０８において、全ての特徴単語ｗｉを処理していないと判断した場合（ステップＳ５０８：ＮＯ）は、ステップＳ５０２の処理に戻る。
【００９８】
ステップＳ５０８において、全ての特徴単語ｗｉを処理したと判断した場合（ステップＳ５０８：ＹＥＳ）は、カテゴリｃｊのスコア×カテゴリcｊの最大値観測頻度が最も大きくなったカテゴリｃを未分類文書の予測カテゴリとして出力する（ステップＳ５０９）。
【００９９】
以上のように、すべてのカテゴリに対する相互情報量を計算した例を図１３に示す。図１３に示すように、相互情報量は単語とカテゴリとの相互依存の度合いを数値化したものとなっており、カテゴリとの依存の度合いが高く、特定のカテゴリに偏って出現する単語が最も多い頻度で現れたカテゴリを、分野未分類の文書データに対する尤もらしいカテゴリとして選択する。
【０１００】
図４に戻り、重要度計算用学習辞書１５１から、特徴単語抽出結果４０１に含まれる特徴単語ｗｉがカテゴリｃに出現した文書数Ｎ１１を取得する（ステップＳ４０３）。
【０１０１】
単語ｗｉを含み、かつカテゴリｃに属する文書数Ｎ１１と、単語ｗｉを含み、かつカテゴリｃに属さない文書数Ｎ１０と、単語ｗｉを含まず、かつカテゴリｃに属する文書数Ｎ０１と、単語ｗｉを含まず、かつカテゴリｃに属さない文書数Ｎ００と、全文書数Ｎにより、単語ｗｉとカテゴリｃとのカイ２乗値χ２（ｔ，ｃ）を（１）〜（５）式で計算する（ステップＳ４０４）。
【０１０２】
単語ｗｉの重要度に、（１）、（２）式で計算した単語ｗｉとカテゴリｃのカイ２乗値χ２（ｔ，ｃ）を割り当て、特徴単語と、当該特徴単語に対する重要度の組９０４を出力する（ステップＳ４０５）。
【０１０３】
特徴単語抽出結果４０１に含まれる全ての特徴単語ｗｉを処理したか否かを判断する（ステップＳ４０６）。
【０１０４】
ステップＳ４０６において、全ての特徴単語ｗｉを処理していないと判断した場合（ステップＳ４０６：ＮＯ）は、ステップＳ４０３の処理に戻る。
【０１０５】
ステップＳ４０６において、全ての特徴単語ｗｉを処理したと判断した場合（ステップＳ４０６：ＹＥＳ）は、全ての特徴単語抽出結果４０１を処理したか否かを判断する（ステップＳ４０７）。
【０１０６】
ステップＳ４０７において、全ての特徴単語抽出結果４０１を処理したと判断され（ステップＳ４０７：ＹＥＳ）、重要度計算処理を終了する。
【０１０７】
以上のように、未分類文書から抽出されたすべての特徴単語について重要度を割り当て、特徴単語と、当該特徴単語に対する重要度の組４０２を出力する。なお、ここでいう特徴単語と、当該特徴単語に対する重要度の組４０２はステップＳ３０５で出力される特徴単語と、当該特徴単語に対する重要度の組２０４に対応するものを表す。
【０１０８】
再び図３に戻り、特徴量作成部１６１は、ステップＳ３０５で抽出した特徴単語と、当該特徴単語に対する重要度の組３０４に対して、分類計算用学習辞書１５２から取得した学習文書行列を基に、格要素および述語ごとに特徴量を構成する（ステップＳ３０６）。
【０１０９】
このとき、前記特徴量は、各行に一つの特徴単語を対応付け、特徴単語の重要度を要素値とする、多次元ベクトルにおける列ベクトルを構成する。
【０１１０】
潜在的意味解析部１６２は、ステップＳ３０６で取得した文書ベクトル及び学習文書行列を基に、特異値分解を利用して学習文書行列を低次元の行列に圧縮することで、単語を上位概念に変換した語彙の辞書を構築し、ステップＳ３０６から受け取った文書ベクトル及び学習文書行列を潜在的意味空間における特徴量に変換する（ステップＳ３０７）。
【０１１１】
図１６は、単語を上位概念に変換した語彙の辞書の例を示したものである。同図に示すように、単語を上位概念に変換した語彙の辞書は、潜在的意味解析部１６２によって作成された圧縮済み学習文書行列を保持している。圧縮済み学習文書行列は、特徴単語が潜在的意味空間に畳み込まれた上位概念と各学習文書データにおいて当該上位概念の重みとの関係を表す行列となっている。
【０１１２】
ここで、ステップＳ３０７の学習文書行列の特異値分解を利用して低次元の行列に圧縮する方法を利用し、文書ベクトル及び学習文書行列３０５を潜在的意味空間における特徴量に変換する処理について詳細に説明する。
【０１１３】
学習文書行列をｍ×ｎ行列Ｄとしたとき、Ｄを次式のように特異値分解する。
【０１１４】
【数４】
2014056331.tif 000006
【０１１５】
ここで、Ｕはｍ×ｍ直交行列、Ｖはｎ×ｎ直交行列、Σはｍ×ｎ行列であり、ｒａｎｋ（Ｄ）＝ｒとすると、ｒ個の特異値（σ１≧σ２≧…≧σｒ＞０）を対角成分とする対角行列となる。
【０１１６】
（８）式に対し、左特異行列Ｕから最初のｋ個（ｋ＜ｒ）の左特異ベクトルを取り出したｍ×ｋ行列Ｕｋ、右特異行列Ｖから最初のｋ個の右特異ベクトルを取り出したｎ×ｋ行列Ｖｋ、特異値行列Σの上位ｋ個の特異値のみから構成されるｋ×ｋ対角行列Σｋにより、学習文書行列Ｄは以下のように低階数行列に近似できる。
【０１１７】
【数５】
2014056331.tif 000007
【０１１８】
ｍ次元の学習文書行列Ｄをｋ次元の学習文書行列Ｄ（ｋ）に圧縮するためには、次式の通りＵｋの張る空間への射影を考えればよい。
【０１１９】
【数６】
2014056331.tif 000008
【０１２０】
これにより、学習文書行列を低次元に圧縮することができる。圧縮済み文書行列Ｄ（ｋ）は、特徴単語が潜在的意味空間に畳み込まれた上位概念と各学習文書データにおいて当該上位概念の重みとの関係を表す行列となっている。
【０１２１】
次に、文書ベクトルをｍ行の列ベクトルqとしたとき、ｍ×ｋ左特異行列Ｕｋを用い、次の式により低次元のベクトルに圧縮する。
【０１２２】
【数７】
2014056331.tif 000009
【０１２３】
以上により、文書ベクトル及び学習文書行列３０５を潜在的意味空間における特徴量に変換することができる。
【０１２４】
しかる後、分類処理部１６３は、ステップＳ３０７で変換した文書ベクトル圧縮結果ｑ（ｋ）及び学習文書行列圧縮結果Ｄ（ｋ）を用いて類似度計算を行い、分類結果３０７を出力する（ステップＳ３０８）。
【０１２５】
前記類似度計算は、文書ベクトル圧縮結果ｑ（ｋ）と、学習文書行列圧縮結果Ｄ（ｋ）のカテゴリ毎に線形和を取ったベクトルｄｊ（ｋ）を用いて、次の式によりコサイン類似度を計算する。
【０１２６】
【数８】
2014056331.tif 000010
【０１２７】
（１２）式により最もコサイン類似度が高くなったｄｊ（ｋ）のカテゴリを分類結果３０７として出力する。
【０１２８】
図１７は、図６に示す例文と図７に示す例文を比較した例である。修飾構造および意味構造の単位で類似性を比較し、図１８に示すように類似度計算される。
【０１２９】
最後に、出力処理部１７０は、ステップＳ３０８によって得られた分類結果のカテゴリ３０８を利用者へ出力する（ステップＳ３０９）。
【０１３０】
上述のように、本発明の実施の形態を、図面を参照しながら説明してきたが、本実施の形態における処理は、プログラムで実現しても良い。
【０１３１】
図１９は、本発明の実施形態に係る文書分類プログラムのハードウェア構成を示すブロック図である。同図に示すように、本文書分類プログラムは、バス１９１０に接続された入力部１９２０と、出力部１９３０と、補助記憶部１９４０と、主記憶部１９５０と、演算処理部１９６０と、外部記憶部１９７０と、通信制御部１９８０とで構成される情報端末１９００に搭載される。
【０１３２】
バス１９１０は、各ハードウェア間の制御信号、データ信号等の授受を媒介する経路である。
【０１３３】
入力部１９２０は、利用者がデータの入力を行うキーボードやマウス等の入力装置である。
【０１３４】
出力部１９３０は、処理結果を出力するプリンタやディスプレイ等の出力装置である。
【０１３５】
補助記憶部１９４０は、文書分類プログラム１９４１や文書分類プログラム１９４１を実行するために必要なデータを記憶する、ＨＤＤ（ハードディスクドライブ）等の記憶装置である。
【０１３６】
主記憶部１９５０は、補助記憶部１９４０からロードしたデータやプログラムを記憶するＲＡＭ（Random Access Memory）等の記憶装置である。
【０１３７】
演算処理部１９６０は、主記憶部１４５０上のデータやプログラムを読み出して実行するＣＰＵ（Central Processing Ｕnit）等の演算処理装置である。
【０１３８】
外部記憶部１９７０は、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、光磁気ディスク等の記憶媒体である。
【０１３９】
通信制御部１９８０は、ネットワーク等に接続するための制御装置である。
【０１４０】
本発明の機能は、情報端末１９００が補助記憶部１９４０に記憶された文書分類プログラム１９４１のプログラムコードを読み出し、演算処理部１９６０によって実行する構成としても達成することができる。
【０１４１】
また、本発明の機能は、文書分類プログラム１９４１を外部記憶装置１９７０の記憶媒体等に記憶しておき、プログラムを読み出し、演算処理装置１９６０によって実行する構成としても達成することができる。
【０１４２】
また、本発明の機能は、通信回線を介して通信制御装置１９８０が文書分類プログラム１９４１をダウンロードし演算処理装置１９６０によって実行する構成としても達成することができる。
【０１４３】
以上、本発明の各実施形態について説明したが、本発明は、上述の実施の形態に限定されるものではなく、種々の変更が可能である。
【符号の説明】
【０１４４】
１１０    入力処理部
１２０    解析処理部
１２１    文書解析部
１２２    格要素抽出部
１３０    重要度計算部
１４０    学習処理部
１５１    重要度計算用学習辞書
１５２    分類計算用学習辞書
１６１    特徴量作成部
１６２    潜在的意味解析部
１６３    分類処理部
１７０    出力処理部
１８０    文書データ
【図１】
2014056331.tif 000011
【図２】
2014056331.tif 000012
【図３】
2014056331.tif 000013
【図４】
2014056331.tif 000014
【図５】
2014056331.tif 000015
【図６】
2014056331.tif 000016
【図７】
2014056331.tif 000017
【図８】
2014056331.tif 000018
【図９】
2014056331.tif 000019
【図１０】
2014056331.tif 000020
【図１１】
2014056331.tif 000021
【図１２】
2014056331.tif 000022
【図１３】
2014056331.tif 000023
【図１４】
2014056331.tif 000024
【図１５】
2014056331.tif 000025
【図１６】
2014056331.tif 000026
【図１７】
2014056331.tif 000027
【図１８】
2014056331.tif 000028
【図１９】
2014056331.tif 000029