(57)【特許請求の範囲】
【請求項１】
電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類装置において、
訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出する第１の特徴ベクトル空間算出手段と、
すべてのベクトルの長さが等しい特徴ベクトル空間、訓練用文書集合の特徴ベクトル空間および分類対象文書集合の特徴ベクトル空間の重み付き平均から分類不能カテゴリの特徴ベクトル空間を算出する第２の特徴ベクトル空間算出手段と、
前記第１の特徴ベクトル空間算出手段により算出された各カテゴリの特徴ベクトル空間および前記第２の特徴ベクトル空間算出手段により算出された分類不能カテゴリの特徴ベクトル空間と、分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリまたは前記分類不能カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出する分類カテゴリ算出手段と、
前記分類カテゴリ算出手段により分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったかどうかを判定するカテゴリ追加要否判定手段と、
前記カテゴリ追加要否判定手段により分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったと判定された場合に、新たなカテゴリの追加を操作者に対して推奨するカテゴリ追加推奨手段と、
を備えたことを特徴とする文書分類装置。
【請求項２】
さらに、前記分類カテゴリ算出手段により分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあるかどうかを判定するカテゴリ分割要否判定手段と、
前記カテゴリ分割要否判定手段により分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあると判定された場合に、当該カテゴリの分割を操作者に対して推奨するカテゴリ分割推奨手段と、
を備えたことを特徴とする前記請求項１に記載の文書分類装置。
【請求項３】
第１の特徴ベクトル空間算出手段と、第２の特徴ベクトル空間算出手段と、分類カテゴリ算出手段と、カテゴリ追加要否判定手段と、カテゴリ追加推奨手段と、を備えたコンピュータにおいて、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類方法であって、
前記第１の特徴ベクトル空間算出手段が、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出する第１の特徴ベクトル空間算出工程と、
前記第２の特徴ベクトル空間算出手段が、すべてのベクトルの長さが等しい特徴ベクトル空間、訓練用文書集合の特徴ベクトル空間および分類対象文書集合の特徴ベクトル空間の重み付き平均から分類不能カテゴリの特徴ベクトル空間を算出する第２の特徴ベクトル空間算出工程と、
前記分類カテゴリ算出手段が、前記第１の特徴ベクトル空間算出工程で算出された各カテゴリの特徴ベクトル空間および前記第２の特徴ベクトル空間算出工程で算出された分類不能カテゴリの特徴ベクトル空間と、分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリまたは前記分類不能カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出する分類カテゴリ算出工程と、
前記カテゴリ追加要否判定手段が、前記分類カテゴリ算出工程で分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったかどうかを判定するカテゴリ追加要否判定工程と、
前記カテゴリ追加推奨手段が、前記カテゴリ追加要否判定工程で分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったと判定された場合に、新たなカテゴリの追加を操作者に対して推奨するカテゴリ追加推奨工程と、
を含んだことを特徴とする文書分類方法。
【請求項４】
さらに、前記コンピュータがカテゴリ分割要否判定手段と、カテゴリ分割推奨手段と、を備え、
前記カテゴリ分割要否判定手段が、前記分類カテゴリ算出工程で分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあるかどうかを判定するカテゴリ分割要否判定工程と、
前記カテゴリ分割推奨手段が、前記カテゴリ分割要否判定工程で分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあると判定された場合に、当該カテゴリの分割を操作者に対して推奨するカテゴリ分割推奨工程と、
を含んだことを特徴とする前記請求項３に記載の文書分類方法。
【請求項５】
コンピュータを用いて、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類装置において、
前記コンピュータを、
訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出する第１の特徴ベクトル空間算出手段、
すべてのベクトルの長さが等しい特徴ベクトル空間、訓練用文書集合の特徴ベクトル空間および分類対象文書集合の特徴ベクトル空間の重み付き平均から分類不能カテゴリの特徴ベクトル空間を算出する第２の特徴ベクトル空間算出手段、
前記第１の特徴ベクトル空間算出手段により算出された各カテゴリの特徴ベクトル空間および前記第２の特徴ベクトル空間算出手段により算出された分類不能カテゴリの特徴ベクトル空間と、分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリまたは前記分類不能カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出する分類カテゴリ算出手段、
前記分類カテゴリ算出手段により分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったかどうかを判定するカテゴリ追加要否判定手段、
前記カテゴリ追加要否判定手段により分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったと判定された場合に、新たなカテゴリの追加を操作者に対して推奨するカテゴリ追加推奨手段、
として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類装置、文書分類方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【０００２】
【従来の技術】
コーパスと呼ばれる文書群をもちいて、与えられた分類対象文書（群）をあらかじめ設定されたいずれかのカテゴリに自動分類する文書分類装置が従来から知られている。この種の装置では、あらかじめ多種多様な内容を有する大量の文書（コーパス）について、人手によりそれぞれの分類先のカテゴリを決定しておき、各カテゴリに分類される文書の特徴から逆に各カテゴリの特徴を算出しておく。そして、分類対象文書が与えられたときは、当該文書の特徴と各カテゴリの特徴とを順次比較して、もっとも類似度の高いカテゴリへ当該文書を分類する。
【０００３】
ただ、分類される文書の特性によっては、あらかじめ設定された分類体系が不適切となる場合もあるので、分類対象文書の傾向にあわせて、自動的に分類体系を変更してゆく文書分類装置も提案されている。このような従来技術としては、たとえば特開平０７−０４９８７５や特開２０００−０１１００４を挙げることができる。
【０００４】
特開平０７−０４９８７５における文書収集サーバシステムは、自動的に複数の情報源に接続して新文書を取得し、適合度計算によって、あらかじめユーザーが記述した検索条件との適合度を調べる。そして、検索条件間の関係から分類体系を構成し、適合した文書を分類してフォルダに格納する。さらに、各フォルダへの情報の集まり具合を監視し、自動的にフォルダの細分化、統合、構造の変更をおこなう。
【０００５】
また、特開２０００−０１１００４における情報自動分類装置は、あるカテゴリに誤って分類された文書がある場合に、当該カテゴリに付随する仮カテゴリを設けてそこに上記文書を分類するようにしている。そして、以後の文書は正規のカテゴリまたは仮カテゴリのうちより類似度の高い方に分類される。すなわち、既存のカテゴリの範疇を超える文書が出現した場合には、正規のカテゴリに隣接してそれに準ずる仮カテゴリが自動的に生成されることになる。この仮カテゴリを正規のカテゴリに格上げすることもできる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術のうち特開平０７−０４９８７５においては、既存のカテゴリを分割（細分化）してゆくことができるのみなので、まったく新しい分野の文書が出現した場合には当該文書にふさわしいカテゴリを生成することはできない。また、文書がほとんどあるいはまったく分類されていない、不必要なカテゴリを削除することもできない。また、特開２０００−０１１００４によっても、既存のカテゴリとの類似性の低いカテゴリを生成することはできず、またカテゴリの分割や削除もおこなうことができない。
【０００７】
すなわち、上記従来技術は分類対象文書群の質的変化に弱く、既存のカテゴリに分類できない新規な文書が現れてくると、分類体系が分類対象文書群の特性にそぐわないものである結果、適切な分類ができず分類精度が低下してしまうという問題点があった。
【０００８】
この発明は、上述した従来技術による問題点を解消するため、分類対象文書群の特性に見合った分類体系を常に維持することができ、したがってその変化にともなう分類精度の低下を防止することが可能な文書分類装置、文書分類方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、この発明にかかる文書分類装置は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類装置において、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出する第１の特徴ベクトル空間算出手段と、すべてのベクトルの長さが等しい特徴ベクトル空間、訓練用文書集合の特徴ベクトル空間および分類対象文書集合の特徴ベクトル空間の重み付き平均から分類不能カテゴリの特徴ベクトル空間を算出する第２の特徴ベクトル空間算出手段と、前記第１の特徴ベクトル空間算出手段により算出された各カテゴリの特徴ベクトル空間および前記第２の特徴ベクトル空間算出手段により算出された分類不能カテゴリの特徴ベクトル空間と、分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリまたは前記分類不能カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出する分類カテゴリ算出手段と、前記分類カテゴリ算出手段により分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったかどうかを判定するカテゴリ追加要否判定手段と、前記カテゴリ追加要否判定手段により分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったと判定された場合に、新たなカテゴリの追加を操作者に対して推奨するカテゴリ追加推奨手段と、を備えたことを特徴とする。
【００１０】
この発明によれば、分類不能カテゴリに分類される文書が多くなると、操作者に対して新たなカテゴリの追加が推奨される。
【００１１】
また、この発明にかかる文書分類装置は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類装置において、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出する特徴ベクトル空間算出手段と、前記特徴ベクトル空間算出手段により算出された各カテゴリの特徴ベクトル空間と分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出する分類カテゴリ算出手段と、前記分類カテゴリ算出手段により分類先のカテゴリと算出される頻度が一定の閾値を下回ったカテゴリがあるかどうかを判定するカテゴリ削除・併合要否判定手段と、前記カテゴリ削除・併合要否判定手段により分類先のカテゴリと算出される頻度が一定の閾値を下回ったカテゴリがあると判定された場合に、当該カテゴリの削除または併合を操作者に対して推奨するカテゴリ削除・併合推奨手段と、を備えたことを特徴とする。
【００１２】
この発明によれば、あるカテゴリに分類される文書が少なくなると、操作者に対して当該カテゴリの削除または併合が推奨される。
【００１３】
また、この発明にかかる文書分類装置は、上記発明において、さらに、前記分類カテゴリ算出手段により分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあるかどうかを判定するカテゴリ分割要否判定手段と、前記カテゴリ分割要否判定手段により分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあると判定された場合に、当該カテゴリの分割を操作者に対して推奨するカテゴリ分割推奨手段と、を備えたことを特徴とする。
【００１４】
この発明によれば、あるカテゴリに分類される文書が多くなると、操作者に対して当該カテゴリの分割が推奨される。
【００１５】
また、この発明にかかる文書分類方法は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類方法において、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出する第１の特徴ベクトル空間算出工程と、すべてのベクトルの長さが等しい特徴ベクトル空間、訓練用文書集合の特徴ベクトル空間および分類対象文書集合の特徴ベクトル空間の重み付き平均から分類不能カテゴリの特徴ベクトル空間を算出する第２の特徴ベクトル空間算出工程と、前記第１の特徴ベクトル空間算出工程で算出された各カテゴリの特徴ベクトル空間および前記第２の特徴ベクトル空間算出工程で算出された分類不能カテゴリの特徴ベクトル空間と、分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリまたは前記分類不能カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出する分類カテゴリ算出工程と、前記分類カテゴリ算出工程で分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったかどうかを判定するカテゴリ追加要否判定工程と、前記カテゴリ追加要否判定工程で分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったと判定された場合に、新たなカテゴリの追加を操作者に対して推奨するカテゴリ追加推奨工程と、を含んだことを特徴とする。
【００１６】
この発明によれば、分類不能カテゴリに分類される文書が多くなると、操作者に対して新たなカテゴリの追加が推奨される。
【００１７】
また、この発明にかかる文書分類方法は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類方法において、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出する特徴ベクトル空間算出工程と、前記特徴ベクトル空間算出工程で算出された各カテゴリの特徴ベクトル空間と分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出する分類カテゴリ算出工程と、前記分類カテゴリ算出工程で分類先のカテゴリと算出される頻度が一定の閾値を下回ったカテゴリがあるかどうかを判定するカテゴリ削除・併合要否判定工程と、前記カテゴリ削除・併合要否判定工程で分類先のカテゴリと算出される頻度が一定の閾値を下回ったカテゴリがあると判定された場合に、当該カテゴリの削除または併合を操作者に対して推奨するカテゴリ削除・併合推奨工程と、を含んだことを特徴とする。
【００１８】
この発明によれば、あるカテゴリに分類される文書が少なくなると、操作者に対して当該カテゴリの削除または併合が推奨される。
【００１９】
また、この発明にかかる文書分類方法は、上記発明において、さらに、前記分類カテゴリ算出工程で分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあるかどうかを判定するカテゴリ分割要否判定工程と、前記カテゴリ分割要否判定工程で分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあると判定された場合に、当該カテゴリの分割を操作者に対して推奨するカテゴリ分割推奨工程と、を含んだことを特徴とする。
【００２０】
この発明によれば、あるカテゴリに分類される文書が多くなると、操作者に対して当該カテゴリの分割が推奨される。
【００２１】
また、この発明にかかる記録媒体は、上記方法をコンピュータに実行させるプログラムを記録したことで、当該プログラムをコンピュータで読み取ることが可能となり、これによって、上記方法をコンピュータによって実施することが可能となる。
【００２２】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる文書分類装置、文書分類方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。
【００２３】
（実施の形態）
まず、この発明の実施の形態による文書分類装置のハードウエア構成について説明する。図１は、この発明の実施の形態による文書分類装置のハードウエア構成を示す説明図である。同図において、１０１はシステム全体を制御するＣＰＵを、１０２は基本入出力プログラムを記憶したＲＯＭを、１０３はＣＰＵ１０１のワークエリアとして使用されるＲＡＭを、それぞれ示している。
【００２４】
また、１０４はＣＰＵ１０１の制御にしたがってＨＤ（ハードディスク）１０５に対するデータのリード／ライトを制御するＨＤＤ（ハードディスクドライブ）を、１０５はＨＤＤ１０４の制御にしたがって書き込まれたデータを記憶するＨＤを、それぞれ示している。また、１０６はＣＰＵ１０１の制御にしたがってＦＤ（フロッピーディスク）１０７に対するデータのリード／ライトを制御するＦＤＤ（フロッピーディスクドライブ）を、１０７はＦＤＤ１０６の制御にしたがって書き込まれたデータを記憶する着脱自在のＦＤを、それぞれ示している。
【００２５】
また、１０８はカーソル、メニュー、ウィンドウ、あるいは文字や画像などの各種データを表示するディスプレイを、１０９は通信回線１１０を介してネットワークＮＥＴに接続され、そのネットワークＮＥＴとＣＰＵ１０１とのインターフェースとして機能するネットワークボードを、それぞれ示している。また、１１１は文字、数値、各種指示などの入力のための複数のキーを備えたキーボードを、１１２は各種指示の選択や実行、処理対象の選択、カーソルの移動などをおこなうマウスを、それぞれ示している。
【００２６】
また、１１３は文字や画像を光学的に読み取るスキャナを、１１４はＣＰＵ１０１の制御にしたがって文字や画像を印刷するプリンタを、１１５は着脱可能な記録媒体であるＣＤ−ＲＯＭを、１１６はＣＤ−ＲＯＭ１１５に対するデータのリードを制御するＣＤ−ＲＯＭドライブを、１００は上記各部を接続するためのバスまたはケーブルを、それぞれ示している。
【００２７】
つぎに、この発明の実施の形態にかかる文書分類装置の機能的構成について説明する。図２は、この発明の実施の形態にかかる文書分類装置の構成を機能的に示す説明図である。
【００２８】
２０１は、文書記憶部であり、後述する分類カテゴリ推定部２０３による分類の対象となる文書群（分類対象文書集合）２０１ａを保持している。それぞれの文書は、ネットワーク上の他の情報処理装置などから通信回線１１０を介して取得されたり、キーボード１１１によって入力されたり、紙媒体の文書からスキャナ１１３を介して取り込まれたり、あるいはＣＤ−ＲＯＭ１１５などの各種記録媒体から読み込まれたりしたものである。なお、それぞれの文書の取得・蓄積時に差異があってもよい（５０個の文書のうち、１０個は一週間前に取得・蓄積され、２５個は昨日取得・蓄積され、１５個は今日取得・蓄積された、など）。
【００２９】
２０２は、特徴ベクトル空間推定部であり、初期状態では訓練用文書集合２０２ａと文書−カテゴリ対応表２０２ｂとを保持している。訓練用文書集合２０２ａはいわゆるコーパスであって、様々な分野に属する文書をまんべんなく含む文書集合、たとえば一年分の新聞記事からなる文書集合である。また、文書−カテゴリ対応表２０２ｂは、訓練用文書集合２０２ａの各文書に対応づけて、当該文書が分類されるカテゴリを記憶したテーブルである。このカテゴリの名称や上位・下位関係は、後述するカテゴリ体系管理部２０４のカテゴリ体系表２０４ａで定義されている。
【００３０】
特徴ベクトル空間推定部２０２は、訓練用文書集合２０２ａと文書−カテゴリ対応表２０２ｂとから、分類用データベース２０２ｃを作成する。図３は、分類用データベース２０２ｃの作成方法を具体的に説明するための説明図である。訓練用文書集合２０２ａが図３（ａ）に示すＤ１〜Ｄ１０の１０個の文書からなり、それらの文書が図３（ｂ）の文書−カテゴリ対応表２０２ｂに示すように、Ａ、ＢまたはＣのいずれかのカテゴリに分類されていたものとする。
【００３１】
特徴ベクトル空間推定部２０２は、まず訓練用文書集合２０２ａの個々の文書について、当該文書の意味内容を近似的に表現するベクトル（特徴ベクトル）を作成する。特徴ベクトルの作成方法としては種々の従来技術が存在するが、ここでは説明の便宜上、文書集合内に出現する全単語（全語彙。ただし不要語などを除く）の各文書内での出現頻度（出現回数）を計数して、ベクトル内の各要素値（各ベクトルの長さ）とするもっとも単純な方法を採用する。
【００３２】
訓練用文書集合２０２ａ内に出現する単語がＷ１〜Ｗ５の５種類であった場合、各文書について作成される特徴ベクトルは、当該文書内での単語Ｗ１の出現頻度、Ｗ２の出現頻度、Ｗ３の出現頻度、Ｗ４の出現頻度、およびＷ５の出現頻度を各ベクトル長さとする５次元のベクトルとなる。図３（ｃ）に、各文書について作成される特徴ベクトルの一例を示す。たとえば、単語Ｗ１が０回、Ｗ２が２回、Ｗ３が１回、Ｗ４が０回、Ｗ５が３回出現する文書Ｄ１の特徴ベクトルは、Ｖ１＝（０、２、１、０、３）である。同様に、文書Ｄ５の特徴ベクトルはＶ５＝（１、５、１、０、４）、文書Ｄ８の特徴ベクトルはＶ８＝（０、２、０、０、２）である。
【００３３】
訓練用文書集合２０２ａの各文書についてその特徴ベクトルを作成すると、つぎに特徴ベクトル空間推定部２０２は、各カテゴリに分類される文書の特徴ベクトルを平均することで、各カテゴリの特徴ベクトル空間を算出する。たとえば、カテゴリＡの特徴ベクトル空間ＶＡは、カテゴリＡに属する文書Ｄ１、Ｄ５およびＤ８の特徴ベクトルの平均を取って、ＶＡ＝（０＋１＋０／３、２＋５＋２／３、１＋１＋０／３、０＋０＋０／３、３＋４＋２／３）、すなわちＶＡ＝（０．３３、３、０．６６、０、３）となる。そしてこのＶＡ、また同様にして求めたＶＢおよびＶＣから、図３（ｄ）に示す分類用データベース２０２ｃを作成する。
【００３４】
ここで、分類用データベース２０２ｃには、Ａ、ＢおよびＣのほかにカテゴリ「分類不能」が設けられている。この分類不能カテゴリの特徴ベクトル空間は、以下の（１）〜（４）の手順にしたがって算出する。
【００３５】
（１）すべてのベクトルの長さが等しい特徴ベクトル空間Ｖαの算出
まず、特徴ベクトル空間推定部２０２は、文書記憶部２０１に保持されている分類対象文書集合２０１ａの各文書について、当該文書集合内に出現する全単語、あるいはあらかじめ選定されたいくつかの単語の、各文書内での出現頻度を要素値とする特徴ベクトルを作成する。ここでは、分類対象文書集合２０１ａが図４（ａ）に示すＤ’１〜Ｄ’５の５個の文書からなり、各文書について図４（ｂ）に示すような特徴ベクトルが作成されたものとする。
【００３６】
そして、特徴ベクトル空間推定部２０２は、訓練用文書集合２０２ａおよび分類対象文書集合２０１ａにおいて単語Ｗ１〜Ｗ７が出現する全回数（ベクトル長さの合計といってもよい。ここでは８７＋５９＝１４６）を、全文書数（ここでは１０＋５＝１５）で除算して、一文書あたりの平均単語出現回数（ここでは１４６／１５＝９．７３）を算出する。さらに、これを全語彙数（ベクトルの数といってもよい。ここでは５）で除算して、一文書あたりの各単語の平均出現回数（ここでは９．７３／５＝１．９５）を算出する。そして、この値を単語Ｗ１〜Ｗ７に対応する各ベクトルの長さとする特徴ベクトル＝（１．９５、１．９５、１．９５、１．９５、１．９５、１．９５、１．９５）で表される空間Ｖαを作成する。
【００３７】
（２）訓練用文書集合２０２ａの特徴ベクトル空間Ｖβの算出
つぎに、特徴ベクトル空間推定部２０２は、単語Ｗ１〜Ｗ７のそれぞれが訓練用文書集合２０２ａ内の一文書あたりに平均何回出現しているかを算出して、訓練用文書集合２０２ａの特徴ベクトル空間Ｖβを作成する。ここでは、特徴ベクトル空間Ｖβを表す特徴ベクトルは、（１２／１０、１１／１０、１３／１０、１７／１０、３４／１０、０／１０、０／１０）、すなわち（１．２、１．１、１．３、１．７、３．４、０、０）となる。
【００３８】
（３）分類対象文書集合２０１ａの特徴ベクトル空間Ｖγの算出
さらに、特徴ベクトル空間推定部２０２は、単語Ｗ１〜Ｗ７のぞれぞれが分類対象文書集合２０１ａ内の一文書あたりに平均何回出現しているかを算出して、分類対象文書集合２０１ａの特徴ベクトル空間Ｖγを作成する。ここでは、特徴ベクトル空間Ｖγを表す特徴ベクトルは、（７／５、６／５、８／５、１０／５、１８／５、１０／５、０／５）、すなわち（１．４、１．２、１．６、２、３．６、２、０）となる。
【００３９】
（４）分類不能カテゴリの特徴ベクトル空間Ｖの算出
そして、特徴ベクトル空間推定部２０２は、上記で算出したＶα、ＶβおよびＶγの重み付き平均を取ることで、分類不能カテゴリの特徴ベクトル空間Ｖを算出する。たとえば、Ｖαに与える重みが０．１５、Ｖβに与える重みが０．４５、Ｖγに与える重みが０．４０であったとすると、特徴ベクトル空間Ｖを表す特徴ベクトルは、（（１．９５×０．１５）＋（１．２×０．４５）＋（１．４×０．４０）、（１．９５×０．１５）＋（１．１×０．４５）＋（１．２×０．１４）、・・・）、すなわち（１．３９、１．２７、１．５２、１．８６、３．２６、１．０９、０．２９）となる。そして、このＶを分類不能カテゴリの特徴ベクトル空間として、分類用データベース２０２ｃに登録する。
【００４０】
このように、分類不能カテゴリの特徴ベクトル空間Ｖを「すべてのベクトルの長さが等しい特徴ベクトル空間Ｖα」「訓練用文書集合２０２ａの特徴ベクトル空間Ｖβ」および「分類対象文書集合２０１ａの特徴ベクトル空間Ｖγ」の加重平均によって推定することの意味は以下の通りである。
【００４１】
まず、すべてのベクトルの長さが等しい特徴ベクトル空間Ｖαは、未知のカテゴリの特徴ベクトル空間を仮定する役割を担っている。未知のカテゴリでは、各語彙がどのような分布を取るかが不明なので、すべての語彙の出現頻度が同じというベクトル空間をこのＶαによって仮定する。
【００４２】
もっとも、このＶαは自然な言語空間の表現とはなっていない。たとえば、英語の「ｔｈｅ」などはカテゴリに関係なくどの文書でも出現頻度が高いため、分類不能カテゴリにおいても頻度が高くなっているのが自然である。そこで、訓練用文書集合２０２ａの特徴ベクトル空間Ｖβを考慮することにより、出現頻度がカテゴリに依存しない語（図３の例ではＷ５）のベクトル長さを改善することができる。
【００４３】
分類対象文書集合２０１ａの特徴ベクトル空間Ｖγを考慮に入れるのも、基本的には上記と同様である。ただし、訓練用文書集合２０２ａはその規模に限界があるので（あらかじめ各文書の内容を検討して、人手によってカテゴリを付与しなければならないため）、その規模を補う意味で、Ｖβに加えてＶγを考慮する。また、訓練用文書を収集したときと語彙のパターンが変わった場合など、Ｖβが実際に分類をおこないたい文書集合に適したものとなっていない場合に、Ｖγを考慮することで、分類対象文書にあわせた最適化をおこなうことができる。たとえば、図３（ｄ）に示すようにカテゴリＡ〜Ｃの特徴ベクトル空間ＶＡ〜ＶＣでは、Ｗ６およびＷ７のベクトル長さはともに０であるが、分類不能カテゴリの特徴ベクトル空間Ｖではそれぞれ１．０９、０．２９であるので、Ｗ６やＷ７、すなわち訓練用文書集合２０２ａには現れていなかった新たな語や新たな分野の語などを含む文書は、そのぶん分類不能カテゴリに分類される可能性が高くなる。
【００４４】
なお、上記ではＶαおよびＶγの算出に、分類対象文書集合２０１ａのすべての文書をもちいるようにしたが、その数が多いときは処理の負荷が大きいので、分類対象文書集合２０１ａから無作為に抽出した一部の文書をもちいるようにしてもよい。
【００４５】
なお、この特徴ベクトル空間推定部２０２が、請求項にいう「第１の特徴ベクトル空間算出手段」「第２の特徴ベクトル空間算出手段」あるいは「特徴ベクトル空間算出手段」に相当し、そのおこなう処理の中に、請求項にいう「第１の特徴ベクトル空間算出工程」「第２の特徴ベクトル空間算出工程」あるいは「特徴ベクトル空間算出工程」が含まれる。
【００４６】
図２に戻り、残りの機能部について説明を続ける。２０３は、分類カテゴリ推定部であり、分類対象文書集合２０１ａの各文書の特徴ベクトルを、特徴ベクトル空間推定部２０２で算出された各カテゴリの特徴ベクトル空間（これは分類用データベース２０２ｃに保存されている）と比較して、その類似度を順次算出する。なお、類似度の算出方法としてはＴＦ・ＩＤＦ、ｎａｉｖｅ  Ｂａｙｅｓ、最小２乗法、最大エントロピー法などの従来技術が多数存在し、ここではそのいずれを採用するのであってもよい。
【００４７】
そして、類似度のもっとも高いカテゴリを当該文書の分類先と推定し、文書とその分類先カテゴリとを対応づけて、図５に例示するような分類結果一覧表２０３ａを作成する。なお、この分類カテゴリ推定部２０３が、請求項にいう「分類カテゴリ算出手段」に相当し、またそのおこなう処理が、請求項にいう「分類カテゴリ算出工程」に相当する。
【００４８】
２０４は、カテゴリ体系管理部であり、あらかじめカテゴリ体系表２０４ａと、カテゴリ体系変更規則２０４ｂとを保持している。カテゴリ体系表２０４ａでは、文書が分類される各カテゴリの名称と、その上位・下位関係とが定義されている。カテゴリの名称と関係とが分かるのであれば、カテゴリ体系表２０４ａのデータ構造はどのようなものであってもよい。
【００４９】
また、カテゴリ体系変更規則２０４ｂとは、カテゴリ体系表２０４ａに新たなカテゴリを追加したり、すでに登録されているカテゴリを分割・削除あるいは併合したりするのが望ましいかどうかを判定するための複数の規則（判定基準）である。
【００５０】
たとえば、カテゴリ追加に関しては「（ａ−１）分類不能と判定される頻度が閾値を上回った（具体的には「全文書中、分類不能カテゴリに属すると判定された文書の割合が２０％を上回った」「分類不能カテゴリに属すると判定された文書が３０以上連続して出現した」など）」という規則があり、この規則に該当する場合に、新たなカテゴリの追加が望ましいと判定する。
【００５１】
カテゴリ追加の規則としては、上記のほか「（ａ−２）分類不能カテゴリに属する文書の数が閾値を上回った」、「（ａ−３）上記頻度および／または文書数をもちいた評価関数の結果が閾値を上回った（具体的には「分類不能カテゴリに属すると判定された文書の連続出現回数が、全文書数の１５％にあたる数値を上回った」など）」、などがある。以下ではこれらの規則のうち、最初に挙げた「全文書中、分類不能カテゴリに属すると判定された文書の割合が２０％を上回った」を、カテゴリ追加規則として採用する。
【００５２】
また、カテゴリ分割に関する規則としては、たとえば「（ｂ−１）あるカテゴリが分類先であると判定される頻度が閾値を上回った（具体的には「全文書中、あるカテゴリに属すると判定された文書の割合が２０％を上回った」「あるカテゴリに属すると判定された文書が３０以上連続して出現した」など）」、「（ｂ−２）あるカテゴリに属する文書の数が閾値を上回った」、「（ｂ−３）上記頻度および／または文書数をもちいた評価関数の結果が閾値を上回った（具体的には「あるカテゴリに属すると判定された文書の連続出現回数が、全文書数の１５％にあたる数値を上回った」など）」、などがある。以下ではこれらの規則のうち、最初に挙げた「全文書中、あるカテゴリに属すると判定された文書の割合が２０％を上回った」を、カテゴリ分割規則として採用する。
【００５３】
また、カテゴリ削除または併合に関する規則としては、「（ｃ−１）あるカテゴリが分類先であると判定される頻度が閾値を下回った（具体的には「全文書中、あるカテゴリに属すると判定された文書の割合が５％を下回った」「あるカテゴリ以外に分類される文書が５０以上連続して出現した」など）」がある。ここでは最初に挙げた「全文書中、あるカテゴリに属すると判定された文書の割合が５％を下回った」を、カテゴリ削除・併合規則として採用する。
【００５４】
カテゴリ体系管理部２０４は、分類カテゴリ推定部２０３による文書の分類が終了すると、作成された分類結果一覧表２０３ａを参照して、カテゴリの追加や分割、削除あるいは併合が望ましいかどうか、具体的には、カテゴリ体系変更規則２０４ｂの各規則に該当する事象が発生しているかどうかを判定する。
【００５５】
たとえば、分類結果一覧表２０３ａが図５に示すようであり、カテゴリ体系変更規則２０４ｂは追加規則「全文書中、分類不能カテゴリに属すると判定された文書の割合が２０％を上回った」の一つのみであったとすると、図５から分類不能カテゴリの文書数（ここでは２）が全文書数（ここでは５）の２０％を上回ったことが分かるので、新たなカテゴリの追加が望ましいと判定する。カテゴリの分割や削除・併合についても、上記と同様にしてその可否を判定する。
【００５６】
なお、このカテゴリ体系管理部２０４が、請求項にいう「カテゴリ追加要否判定手段」「カテゴリ分割要否判定手段」あるいは「カテゴリ削除・併合要否判定手段」に相当し、またそのおこなう処理の中に、請求項にいう「カテゴリ追加要否判定工程」「カテゴリ分割要否判定工程」あるいは「カテゴリ削除・併合要否判定工程」が含まれる。
【００５７】
ユーザーインターフェース部２０５は、分類カテゴリ推定部２０３により作成された分類結果一覧表２０３ａ、およびカテゴリ体系管理部２０４のカテゴリ体系表２０４ａを読み込んで、カテゴリのツリー構造と各カテゴリに分類される文書のタイトルとをグラフィカルに画面表示する。また、カテゴリ体系管理部２０４によってカテゴリの追加・分割・削除あるいは併合が望ましいと判定された場合に、カテゴリの追加などを実行するよう操作者に推奨するダイアログ、またその実行に際して必要なパラメータ（追加するカテゴリの名称など）を入力させるダイアログを表示する。これらの表示例については後述する。
【００５８】
なお、このユーザーインターフェース部２０５が、請求項にいう「カテゴリ追加推奨手段」「カテゴリ分割推奨手段」あるいは「カテゴリ削除・併合推奨手段」に相当し、またそのおこなう処理の中に、請求項にいう「カテゴリ追加推奨工程」「カテゴリ分割推奨工程」あるいは「カテゴリ削除・併合推奨工程」が含まれる。
【００５９】
なお、文書記憶部２０１、特徴ベクトル空間推定部２０２、分類カテゴリ推定部２０３、カテゴリ体系管理部２０４およびユーザーインターフェース部２０５は、それぞれＲＯＭ１０２、ＲＡＭ１０３またはハードディスク１０５、フロッピーディスク１０７などの記録媒体に記録されたプログラムに記載された命令にしたがってＣＰＵ１０１などが命令処理を実行することにより、各部の機能を実現するものである。
【００６０】
つぎに、この発明の実施の形態による文書分類装置の文書分類処理の手順について説明する。図６は、この発明の実施の形態による文書分類装置の文書分類処理の手順を示すフローチャートである。分類対象文書集合２０１ａに新たな文書が追加されたり、あるいは操作者から文書の分類が指示されたりした場合に、本フローチャートによる処理を開始する。
【００６１】
ステップＳ６０１において、特徴ベクトル空間推定部２０２は、訓練用文書集合２０２ａの各文書についてその特徴ベクトルを作成する。そして、ステップＳ６０２で、文書−カテゴリ対応表２０２ｂの各カテゴリごとに文書の特徴ベクトルを平均して、各カテゴリの特徴ベクトル空間を算出する。
【００６２】
なお、これ以前にも本フローチャートによる処理をおこなったことがあれば（すなわち、２回目以降の分類処理の場合は）、以前の処理時にも訓練用文書集合２０２ａにもとづく各カテゴリの特徴ベクトル空間の算出がおこなわれ、その結果が分類用データベース２０２ｃに保存されているので、ステップＳ６０１およびＳ６０２の処理は省略することができる。
【００６３】
さらに、ステップＳ６０３において、分類不能カテゴリの特徴ベクトル空間Ｖを推定する。これは上述のように、すべてのベクトルの長さが等しい特徴ベクトル空間Ｖα（分類対象文書集合２０１ａおよび訓練用文書集合２０２ａの双方から算出）と、訓練用文書集合２０２ａの特徴ベクトル空間Ｖβと、分類対象文書集合２０１ａの特徴ベクトル空間Ｖγとの加重平均によって算出する。そして、ステップＳ６０４で、ステップＳ６０２およびステップＳ６０３で算出された各カテゴリの特徴ベクトル空間を、分類用データベース２０２ｃに保存する。
【００６４】
ステップＳ６０５で、分類カテゴリ推定部２０３は、分類対象文書集合２０１ａの各文書についてその特徴ベクトルを作成する。なお、ステップＳ６０３でＶαやＶγが分類対象文書の全部をもちいて算出された場合は、その際にすでにすべての文書の特徴ベクトルが作成されているので、このステップＳ６０５の処理は省略することができる。また、ステップＳ６０３でＶαやＶγが分類対象文書の一部をもちいて算出された場合には、そこに含まれなかった文書についてのみ特徴ベクトルを作成すればよい。
【００６５】
ステップＳ６０６で、分類カテゴリ推定部２０３は、ステップＳ６０５で作成された各文書の特徴ベクトルと、ステップＳ６０４で作成された分類用データベース２０２ｃの各カテゴリの特徴ベクトル空間とを順次比較して、もっとも類似度の高いカテゴリを当該文書の分類先と推定する。そして、ステップＳ６０７で、各文書とその分類先のカテゴリとを分類結果一覧表２０３ａに保存する。
【００６６】
ステップＳ６０８で、ユーザーインターフェース部２０５は、ステップＳ６０７で作成された分類結果一覧表２０３ａを読み込んで、図７に示すような分類結果一覧ウィンドウを表示する。そして、本フローチャートによる処理を終了する。
【００６７】
つぎに、この発明の実施の形態による文書分類装置のカテゴリ追加処理の手順について説明する。図８は、この発明の実施の形態による文書分類装置のカテゴリ追加処理の手順を示すフローチャートである。
【００６８】
図６に示す文書分類処理が終了した直後に、本フローチャートによる処理を開始する（あるいは、分類処理とは無関係にこの処理のみを定期的におこなうようにしてもよい）。なお、この開始時点で画面表示されている分類結果一覧ウィンドウは、図７に示すようなものであったとする。同図は分類不能カテゴリに大量の文書（たとえば全文書数の２０％超）が分類されている状態を示している。
【００６９】
ステップＳ８０１で、カテゴリ体系管理部２０４は、図６のステップＳ６０７で作成された分類結果一覧表２０３ａを参照して、カテゴリ体系変更規則２０４ｂのカテゴリ追加規則に該当する事象が発生しているかどうかを判定する。そして、カテゴリ追加規則に該当する事象が発生しているときは（ステップＳ８０１肯定）ステップＳ８０２に移行し、発生していないときは（ステップＳ８０１否定）そのまま本フローチャートによる処理を終了する。
【００７０】
ステップＳ８０２で、ユーザーインターフェース部２０５は、図９に示すような変更推奨ダイアログを表示する。ここでは新たなカテゴリの追加を推奨している。そして、ステップＳ８０３でいずれかのボタンがマウスクリックされるのを待ち、マウスクリックされたのが変更開始ボタン９０１であったときは（ステップＳ８０３肯定）ステップＳ８０４に移行する。また、マウスクリックされたのがキャンセルボタン９０２であったときは（ステップＳ８０３否定）、そのまま本フローチャートによる処理を終了する。
【００７１】
ステップＳ８０４で、ユーザーインターフェース部２０５は、ステップＳ８０２で表示された変更推奨ダイアログを消去するとともに、図１０に示すようなカテゴリ追加ダイアログを表示する。これは追加する新たなカテゴリの名称を操作者に入力させるためのダイアログである。そして、ステップＳ８０５でいずれかのボタンがマウスクリックされるのを待ち、マウスクリックされたのが「進む」ボタン１００１であったときは（ステップＳ８０５肯定）ステップＳ８０７に移行し、「進む」ボタン１００１でなかったときは（ステップＳ８０５否定）、ステップＳ８０６に移行して、クリックされたその他のボタンに応じた処理をおこなう。
【００７２】
ステップＳ８０７で、ステップＳ８０４で表示されたカテゴリ追加ダイアログを消去するとともに、図１１に示すような文書割付ダイアログを表示する。これは、追加する新たなカテゴリ（ここでは情報家電カテゴリ）に分類する文書を操作者に指定させるためのダイアログであり、分類不能カテゴリに分類されているすべての文書が一覧表示される。そして、ステップＳ８０８でいずれかのボタンがマウスクリックされるのを待ち、マウスクリックされたのが「完了」ボタン１１０１であったときは（ステップＳ８０８肯定）ステップＳ８１０に移行し、「完了」ボタン１１０１でなかったときは（ステップＳ８０８否定）、ステップＳ８０９に移行して、クリックされたその他のボタンに応じた処理をおこなう。
【００７３】
ステップＳ８１０で、ユーザーインターフェース部２０５は、ステップＳ８０５で「進む」ボタン１００１がクリックされた時点でカテゴリ追加ダイアログに入力されていたカテゴリ名称（ここでは「情報家電」）を、カテゴリ体系管理部２０４に対して通知する。これを受けたカテゴリ体系管理部２０４は、カテゴリ体系表２０４ａに新たなカテゴリ「情報家電」を追記する。
【００７４】
また、ステップＳ８１１で、ユーザーインターフェース部２０５は、ステップＳ８０８で文書割付ダイアログの「完了」ボタン１１０１がクリックされた時点で選択されていた文書（ここでは分類不能カテゴリのすべての文書が選択されていたものとする）を、特徴ベクトル空間推定部２０２に対して通知する。これを受けた特徴ベクトル空間推定部２０２は、通知された文書について図６のステップＳ６０５で作成された特徴ベクトルを取得して、それらの平均を取ることで、追加するカテゴリの特徴ベクトル空間を算出する。そして、これをカテゴリ名称と対応づけて、分類用データベース２０２ｃに登録する。
【００７５】
さらに、ステップＳ８１２で、ステップＳ８０７で表示された文書割付ダイアログを消去した後、図６のステップＳ６０６に移行して、更新された分類用データベース２０２ｃをもとに分類対象文書集合２０１ａの分類を再度実行する。図１２は、新たなカテゴリ「情報家電」が追加された直後の分類結果一覧ウィンドウの一例を示す説明図である。図７で分類不能カテゴリに分類されていた文書が、図１２では情報家電カテゴリに分類されている。
【００７６】
つぎに、この発明の実施の形態による文書分類装置のカテゴリ分割処理の手順について説明する。図１３は、この発明の実施の形態による文書分類装置のカテゴリ分割処理の手順を示すフローチャートである。図８に示すカテゴリ追加処理が終了した直後に、本フローチャートによる処理を開始する。なお、この開始時点で画面表示されている分類結果一覧ウィンドウは、図１４に示すようなものであったとする。同図は携帯端末カテゴリに大量の文書（たとえば全文書数の２０％超）が分類されている状態を示している。
【００７７】
ステップＳ１３０１で、カテゴリ体系管理部２０４は、図８のステップＳ８１１で更新された分類結果一覧表２０３ａを参照して、カテゴリ体系変更規則２０４ｂのカテゴリ分割規則に該当する事象が発生しているかどうかを判定する。そして、カテゴリ分割規則に該当する事象が発生しているときは（ステップＳ１３０１肯定）ステップＳ１３０２に移行し、発生していないときは（ステップＳ１３０１否定）そのまま本フローチャートによる処理を終了する。
【００７８】
ステップＳ１３０２で、ユーザーインターフェース部２０５は、図１５に示すような変更推奨ダイアログを表示する。ここでは携帯端末カテゴリの分割を推奨している。そして、ステップＳ１３０３でいずれかのボタンがマウスクリックされるのを待ち、マウスクリックされたのが変更開始ボタン１５０１であったときは（ステップＳ１３０３肯定）ステップＳ１３０４に移行する。また、マウスクリックされたのがキャンセルボタン１５０２であったときは（ステップＳ１３０３否定）、そのまま本フローチャートによる処理を終了する。
【００７９】
ステップＳ１３０４で、ユーザーインターフェース部２０５は、ステップＳ１３０２で表示された変更推奨ダイアログを消去するとともに、図１６に示すようなカテゴリ分割ダイアログを表示する。これは分割後の各カテゴリの名称を操作者に入力させるためのダイアログである。そして、ステップＳ１３０５でいずれかのボタンがマウスクリックされるのを待ち、マウスクリックされたのが「進む」ボタン１６０１であったときは（ステップＳ１３０５肯定）ステップＳ１３０７に移行し、「進む」ボタン１６０１でなかったときは（ステップＳ１３０５否定）、ステップＳ１３０６に移行して、クリックされたその他のボタンに応じた処理をおこなう。
【００８０】
ステップＳ１３０７で、ステップＳ１３０４で表示されたカテゴリ分割ダイアログを消去するとともに、図１７に示すような文書割付ダイアログを表示する。これは、分割後のカテゴリの一方（ここでは携帯電話カテゴリ）に分類する文書を操作者に指定させるためのダイアログであり、分割前のカテゴリ（ここでは携帯端末カテゴリ）に分類されているすべての文書が一覧表示される。
【００８１】
そして、ステップＳ１３０８でいずれかのボタンがマウスクリックされるのを待ち、マウスクリックされたのが「進む」ボタン１７０１であったときは（ステップ１３０８肯定）ステップＳ１３１０に移行し、「進む」ボタン１７０１でなかったときは（ステップＳ１３０８否定）、ステップＳ１３０９に移行して、クリックされたその他のボタンに応じた処理をおこなう。
【００８２】
ステップＳ１３１０で、ステップＳ１３０７で表示された文書割付ダイアログを消去するとともに、同様の文書割付ダイアログを分割後のカテゴリのもう一方（ここでは携帯ＰＣカテゴリ）について表示する。ただし、このダイアログには分割前のカテゴリの全文書から、ステップＳ１３０８で分割後の他のカテゴリに分類された文書を除いた文書の一覧が表示される。そして、ステップＳ１３１１でいずれかのボタンがマウスクリックされるのを待ち、マウスクリックされたのが「完了」ボタン１７０２であったときは（ステップ１３１１肯定）ステップＳ１３１３に移行し、「完了」ボタン１７０２でなかったときは（ステップＳ１３１１否定）、ステップＳ１３１２に移行して、クリックされたその他のボタンに応じた処理をおこなう。
【００８３】
ステップＳ１３１３で、ユーザーインターフェース部２０５は、分割前のカテゴリ名称（ここでは「携帯端末」）および分割後のカテゴリ名称（ステップＳ１３０５で「進む」ボタン１６０１がクリックされた時点でカテゴリ分割ダイアログに入力されていたカテゴリ名称。ここでは「携帯電話」「携帯ＰＣ」）を、カテゴリ体系管理部２０４に対して通知する。これを受けたカテゴリ体系管理部２０４は、カテゴリ体系表２０４ａからカテゴリ「携帯端末」を削除するとともに、新たなカテゴリ「携帯電話」および「携帯ＰＣ」を追記する。
【００８４】
また、ステップＳ１３１４で、ユーザーインターフェース部２０５は、分割前後のカテゴリ名称およびステップＳ１３０８およびステップＳ１３１１で分割後の各カテゴリに割り付けられた文書を、特徴ベクトル空間推定部２０２に対して通知する。これを受けた特徴ベクトル空間推定部２０２は、分割前のカテゴリの特徴ベクトル空間を分類用データベース２０２ｃから削除するとともに、分割後の各カテゴリの特徴ベクトル空間を算出して、カテゴリ名称と対応づけて上記データベースに登録する。
【００８５】
さらに、ステップＳ１３１５で、ステップＳ１３１０で表示された文書割付ダイアログを消去した後、図６のステップＳ６０６に移行して、更新された分類用データベース２０２ｃをもとに分類対象文書集合２０１ａの分類を再度実行する。図１８は、携帯端末カテゴリが携帯電話カテゴリおよび携帯ＰＣカテゴリに分割された直後の分類結果一覧ウィンドウの一例を示す説明図である。
【００８６】
図１４で携帯端末カテゴリに分類されていた文書の一部が、図１８では携帯ＰＣカテゴリに分類されている。また、カテゴリ分割後に再度分類対象文書集合２０１ａの全文書について分類をおこなった結果、分割前の携帯端末カテゴリには含まれていなかった文書（たとえば「携帯ＰＣの音声入力規格をＩ社が提案。Ｊ社なども賛同」）が、分割後の携帯ＰＣカテゴリに含まれるようになっている。なお、図示は省略するが、携帯電話カテゴリも上記と同様である。なお、上記ではカテゴリを２つに分割したが、この個数はいくつであってもよい。
【００８７】
つぎに、この発明の実施の形態による文書分類装置のカテゴリ削除・併合処理の手順について説明する。図１９は、この発明の実施の形態による文書分類装置のカテゴリ削除・併合処理の手順を示すフローチャートである。図１３に示すカテゴリ分割処理が終了した直後に、本フローチャートによる処理を開始する。なお、この開始時点で画面表示されている分類結果一覧ウィンドウは、図２０に示すようなものであったとする。同図はｉＮｅｔ専用端末カテゴリに分類された文書が少ない（たとえば全文書数の５％未満）状態を示している。
【００８８】
ステップＳ１９０１で、カテゴリ体系管理部２０４は、図１３のステップＳ１３１４で更新された分類結果一覧表２０３ａを参照して、カテゴリ体系変更規則２０４ｂのカテゴリ削除・併合規則に該当する事象が発生しているかどうかを判定する。そして、カテゴリ削除・併合規則に該当する事象が発生しているときは（ステップＳ１９０１肯定）ステップＳ１９０２に移行し、発生していないときは（ステップＳ１９０１否定）そのまま本フローチャートによる処理を終了する。
【００８９】
ステップＳ１９０２で、ユーザーインターフェース部２０５は、図２１に示すような変更推奨ダイアログを表示する。ここではｉＮｅｔ専用端末カテゴリの削除または併合を推奨している。そして、ステップＳ１９０３でいずれかのボタンがマウスクリックされるのを待ち、マウスクリックされたのが変更開始ボタン２１０１であったときは（ステップＳ１９０３肯定）ステップＳ１９０４に移行する。また、マウスクリックされたのがキャンセルボタン２１０２であったときは（ステップＳ１９０３否定）、そのまま本フローチャートによる処理を終了する。
【００９０】
ステップＳ１９０４で、ユーザーインターフェース部２０５は、ステップＳ１９０２で表示された変更推奨ダイアログを消去するとともに、図２２に示すようなカテゴリ削除・併合ダイアログを表示する。これは文書数の少ないカテゴリを削除するのか、あるいは併合するのかを操作者に指定させるためのダイアログである。なお、削除が指定されている間は「進む」ボタン２２０１を、併合が指定されている間は「完了」ボタン２２０２を、それぞれグレーアウトして押下できないようにする。
【００９１】
そして、ステップＳ１９０５でいずれかのボタンが押下されるのを待ち、押下されたのが「完了」ボタン２２０２であったときは（ステップＳ１９０５肯定）、カテゴリの削除が指定されたので、削除するカテゴリの名称（ここでは「ｉＮｅｔ専用端末」）をステップＳ１９０６でカテゴリ体系管理部２０４に通知して、カテゴリ体系表２０４ａから削除させる。また、ステップＳ１９０７で特徴ベクトル空間推定部２０２にも通知して、文書−カテゴリ対応表２０２ｂおよび分類用データベース２０２ｃから削除させる。そして、ステップＳ１９０８で、ステップＳ１９０４で表示されたカテゴリ削除・併合ダイアログを消去した後、図６のステップＳ６０６に移行する。
【００９２】
また、ステップＳ１９０５で押下されたのが「完了」ボタン２２０２でなかったときは（ステップＳ１９０５否定）、ステップＳ１９０９に移行して、それが「進む」ボタン２２０１であったかどうかを判定する。そして、「進む」ボタン２２０１でもなかったときは（ステップＳ１９０９否定）、ステップＳ１９１０で押下されたその他のボタンに応じた処理をおこなうが、「進む」ボタン２２０１であったときは（ステップＳ１９０９肯定）、ステップＳ１９１１に移行する。
【００９３】
この場合はカテゴリの併合が指定されたので、ステップＳ１９１１で、ステップＳ１９０４で表示されたカテゴリ削除・併合ダイアログを消去するとともに、図２３に示すような併合先選択ダイアログを表示する。これは、併合により削除されるカテゴリの文書を他のどのカテゴリに分類するかを操作者に指定させるためのダイアログであり、併合されるカテゴリ以外のすべてのカテゴリが一覧表示される。
【００９４】
そして、ステップＳ１９１２でいずれかのボタンが押下されるのを待ち、押下されたのが「進む」ボタン２３０１でなかったときは（ステップ１９１２否定）、ステップＳ１９１３で押下されたその他のボタンに応じた処理をおこなうが、「進む」ボタン２３０１であったときは（ステップＳ１９１２肯定）、ステップＳ１９１４に移行する。
【００９５】
ステップＳ１９１４で、ステップＳ１９１１で表示した併合先選択ダイアログを消去するとともに、図２４に示すような文書割付ダイアログを表示する。これは、併合により削除されるカテゴリの文書のうちいずれの文書を、併合先のカテゴリ（ステップＳ１９１２で「進む」ボタン２３０１が押下された時点で選択されていたカテゴリ。ここでは情報家電カテゴリであったものとする）に分類するかを操作者に指定させるためのダイアログであり、併合されるカテゴリのすべての文書の一覧が表示される。
【００９６】
そして、ステップＳ１９１５でいずれかのボタンが押下されるのを待ち、押下されたのが「完了」ボタン２４０１でなかったときは（ステップ１９１５否定）、ステップＳ１９１６で押下されたその他のボタンに応じた処理をおこなうが、「完了」ボタン２４０１であったときは（ステップＳ１９１５肯定）、ステップＳ１９１７に移行する。
【００９７】
ステップＳ１９１７で、ユーザーインターフェース部２０５は、併合されるカテゴリの名称（ここでは「ｉＮｅｔ専用端末」）をカテゴリ体系管理部２０４に通知して、カテゴリ体系表２０４ａから削除させる。また、ステップＳ１９１８で、併合元および併合先のカテゴリ名称、および併合先に割り付けられる文書（ステップＳ１９１５で「完了」ボタン２４０１が押下された時点で選択されていた文書）を、特徴ベクトル空間推定部２０２に対して通知する。これを受けた特徴ベクトル空間推定部２０２は、文書−カテゴリ対応表２０２ｂの併合元カテゴリを併合先カテゴリに書き換え、併合先のカテゴリの特徴ベクトル空間を再計算して分類用データベース２０２ｃに登録するとともに、併合元のカテゴリの特徴ベクトル空間を上記データベースから削除する。
【００９８】
そして、ステップＳ１９１９で、ステップＳ１９１４で表示された文書割付ダイアログを消去した後、図６のステップＳ６０６に移行して、更新された分類用データベース２０２ｃをもとに分類対象文書集合２０１ａの分類を再度実行する。図２５は、ｉＮｅｔ専用端末カテゴリが削除、あるいは情報家電カテゴリに併合された直後の分類結果一覧ウィンドウの一例を示す説明図である。
【００９９】
以上説明したようにこの実施の形態によれば、文書の追加や文書の分類指示によって文書の分類を実行するたびに、特定のカテゴリの文書（分類不能カテゴリを含む）の文書が増えすぎていないかどうかや、逆に特定のカテゴリの文書が減りすぎていないかなどが自動的にチェックされ、そのチェック結果にもとづいてカテゴリの追加や分割、削除、併合のいずれかが推奨されるので、この推奨にしたがって必要事項などを入力してゆくだけで、分類対象文書の特性に見合った最適な分類体系を常に維持することができる（分類体系のメンテナンスの容易化）。したがって、分類対象文書の分野傾向が変わるなどの質的変化があった場合にも、常に適切な分類結果を得ることが可能である。
【０１００】
また、分類不能カテゴリの特徴ベクトル空間Ｖを、すべてのベクトルの長さが等しい特徴ベクトル空間Ｖα、訓練用文書集合２０２ａの特徴ベクトル空間Ｖβおよび分類対象文書集合２０１ａの特徴ベクトル空間Ｖγの加重平均によって推定するので、既存のカテゴリとの類似度の低い文書が出現した場合にも、まったく新しい分野のカテゴリを生成してその中に分類することが可能である。
【０１０１】
なお、上記実施の形態で説明した文書分類方法（カテゴリ追加方法、カテゴリ分割方法およびカテゴリ削除・併合方法を含む）は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することにより実現される。このプログラムは、ハードディスク、フロッピーディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されて実行される。また、このプログラムは、上記記録媒体を介して、インターネットなどのネットワークを介して配布することができる。
【０１０２】
【発明の効果】
以上説明したようにこの発明にかかる文書分類装置は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類装置において、第１の特徴ベクトル空間算出手段が、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出し、第２の特徴ベクトル空間算出手段が、すべてのベクトルの長さが等しい特徴ベクトル空間、訓練用文書集合の特徴ベクトル空間および分類対象文書集合の特徴ベクトル空間の重み付き平均から分類不能カテゴリの特徴ベクトル空間を算出し、分類カテゴリ算出手段が、前記第１の特徴ベクトル空間算出手段により算出された各カテゴリの特徴ベクトル空間および前記第２の特徴ベクトル空間算出手段により算出された分類不能カテゴリの特徴ベクトル空間と、分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリまたは前記分類不能カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出し、カテゴリ追加要否判定手段が、前記分類カテゴリ算出手段により分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったかどうかを判定し、カテゴリ追加推奨手段が、前記カテゴリ追加要否判定手段により分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったと判定された場合に、新たなカテゴリの追加を操作者に対して推奨するので、分類不能カテゴリに分類される文書が多くなると、操作者に対して新たなカテゴリの追加が推奨され、これによって、分類対象文書群の特性に見合った分類体系を常に維持することができ、したがってその変化にともなう分類精度の低下を防止することが可能な文書分類装置が得られるという効果を奏する。
【０１０３】
また、この発明にかかる文書分類装置は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類装置において、特徴ベクトル空間算出手段が、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出し、分類カテゴリ算出手段が、前記特徴ベクトル空間算出手段により算出された各カテゴリの特徴ベクトル空間と分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出し、カテゴリ削除・併合要否判定手段が、前記分類カテゴリ算出手段により分類先のカテゴリと算出される頻度が一定の閾値を下回ったカテゴリがあるかどうかを判定し、カテゴリ削除・併合推奨手段が、前記カテゴリ削除・併合要否判定手段により分類先のカテゴリと算出される頻度が一定の閾値を下回ったカテゴリがあると判定された場合に、当該カテゴリの削除または併合を操作者に対して推奨するので、あるカテゴリに分類される文書が少なくなると、操作者に対して当該カテゴリの削除または併合が推奨され、これによって、分類対象文書群の特性に見合った分類体系を常に維持することができ、したがってその変化にともなう分類精度の低下を防止することが可能な文書分類装置が得られるという効果を奏する。
【０１０４】
また、この発明にかかる文書分類装置は、上記発明において、さらに、前記分類カテゴリ算出手段により分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあるかどうかを判定するカテゴリ分割要否判定手段と、前記カテゴリ分割要否判定手段により分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあると判定された場合に、当該カテゴリの分割を操作者に対して推奨するカテゴリ分割推奨手段と、を備えたので、あるカテゴリに分類される文書が多くなると、操作者に対して当該カテゴリの分割が推奨され、これによって、分類対象文書群の特性に見合った分類体系を常に維持することができ、したがってその変化にともなう分類精度の低下を防止することが可能な文書分類装置が得られるという効果を奏する。
【０１０５】
また、この発明にかかる文書分類方法は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類方法において、第１の特徴ベクトル空間算出工程で、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出し、第２の特徴ベクトル空間算出工程で、すべてのベクトルの長さが等しい特徴ベクトル空間、訓練用文書集合の特徴ベクトル空間および分類対象文書集合の特徴ベクトル空間の重み付き平均から分類不能カテゴリの特徴ベクトル空間を算出し、分類カテゴリ算出工程で、前記第１の特徴ベクトル空間算出工程で算出された各カテゴリの特徴ベクトル空間および前記第２の特徴ベクトル空間算出工程で算出された分類不能カテゴリの特徴ベクトル空間と、分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリまたは前記分類不能カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出し、カテゴリ追加要否判定工程で、前記分類カテゴリ算出工程で分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったかどうかを判定し、カテゴリ追加推奨工程で、前記カテゴリ追加要否判定工程で分類不能カテゴリが分類先のカテゴリと算出される頻度が一定の閾値を上回ったと判定された場合に、新たなカテゴリの追加を操作者に対して推奨するので、分類不能カテゴリに分類される文書が多くなると、操作者に対して新たなカテゴリの追加が推奨され、これによって、分類対象文書群の特性に見合った分類体系を常に維持することができ、したがってその変化にともなう分類精度の低下を防止することが可能な文書分類方法が得られるという効果を奏する。
【０１０６】
また、この発明にかかる文書分類方法は、電子化された文書をあらかじめ設定されたカテゴリのうちいずれか一つに分類する文書分類方法において、特徴ベクトル空間算出工程で、訓練用文書集合を構成する各文書の特徴ベクトルから前記各カテゴリの特徴ベクトル空間を算出し、分類カテゴリ算出工程で、前記特徴ベクトル空間算出工程で算出された各カテゴリの特徴ベクトル空間と分類対象文書集合を構成する各文書の特徴ベクトルとを比較することにより、前記各カテゴリのうちいずれか一つを前記各文書の分類先のカテゴリと算出し、カテゴリ削除・併合要否判定工程で、前記分類カテゴリ算出工程で分類先のカテゴリと算出される頻度が一定の閾値を下回ったカテゴリがあるかどうかを判定し、カテゴリ削除・併合推奨工程で、前記カテゴリ削除・併合要否判定工程で分類先のカテゴリと算出される頻度が一定の閾値を下回ったカテゴリがあると判定された場合に、当該カテゴリの削除または併合を操作者に対して推奨するので、あるカテゴリに分類される文書が少なくなると、操作者に対して当該カテゴリの削除または併合が推奨され、これによって、分類対象文書群の特性に見合った分類体系を常に維持することができ、したがってその変化にともなう分類精度の低下を防止することが可能な文書分類方法が得られるという効果を奏する。
【０１０７】
また、この発明にかかる文書分類方法は、上記発明において、さらに、前記分類カテゴリ算出工程で分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあるかどうかを判定するカテゴリ分割要否判定工程と、前記カテゴリ分割要否判定工程で分類先のカテゴリと算出される頻度が一定の閾値を上回ったカテゴリがあると判定された場合に、当該カテゴリの分割を操作者に対して推奨するカテゴリ分割推奨工程と、を含んだので、あるカテゴリに分類される文書が多くなると、操作者に対して当該カテゴリの分割が推奨され、これによって、分類対象文書群の特性に見合った分類体系を常に維持することができ、したがってその変化にともなう分類精度の低下を防止することが可能な文書分類方法が得られるという効果を奏する。
【０１０８】
また、この発明にかかる記録媒体は、上記方法をコンピュータに実行させるプログラムを記録したことで、当該プログラムをコンピュータで読み取ることが可能となり、これによって、上記方法をコンピュータによって実施することが可能な記録媒体が得られるという効果を奏する。
【図面の簡単な説明】
【図１】  この発明の実施の形態による文書分類装置のハードウエア構成を示す説明図である。
【図２】  この発明の実施の形態による文書分類装置の構成を機能的に示す説明図である。
【図３】  この発明の実施の形態による文書分類装置の、特徴ベクトル空間推定部２０２による分類用データベース２０２ｃの作成方法を具体的に説明するための説明図である。
【図４】  この発明の実施の形態による文書分類装置の、分類対象文書集合２０１ａおよびその各文書について作成される特徴ベクトルの一例を示す説明図である。
【図５】  この発明の実施の形態による文書分類装置の、分類カテゴリ推定部２０３により作成される分類結果一覧表２０３ａの一例を示す説明図である。
【図６】  この発明の実施の形態による文書分類装置の、文書分類処理の手順を示すフローチャートである。
【図７】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により作成される分類結果一覧ウィンドウの一例を示す説明図である。
【図８】  この発明の実施の形態による文書分類装置の、カテゴリ追加処理の手順を示すフローチャートである。
【図９】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される変更推奨ダイアログの一例を示す説明図である。
【図１０】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示されるカテゴリ追加ダイアログの一例を示す説明図である。
【図１１】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される文書割付ダイアログの一例を示す説明図である。
【図１２】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される分類結果一覧ウィンドウの他の一例を示す説明図である。
【図１３】  この発明の実施の形態による文書分類装置の、カテゴリ分割処理の手順を示すフローチャートである。
【図１４】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される分類結果一覧ウィンドウの他の一例を示す説明図である。
【図１５】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される変更推奨ダイアログの他の一例を示す説明図である。
【図１６】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示されるカテゴリ分割ダイアログの一例を示す説明図である。
【図１７】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される文書割付ダイアログの他の一例を示す説明図である。
【図１８】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される分類結果一覧ウィンドウの他の一例を示す説明図である。
【図１９】  この発明の実施の形態による文書分類装置の、カテゴリ削除・併合処理の手順を示すフローチャートである。
【図２０】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される分類結果一覧ウィンドウの他の一例を示す説明図である。
【図２１】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される変更推奨ダイアログの他の一例を示す説明図である。
【図２２】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示されるカテゴリ削除・併合ダイアログの一例を示す説明図である。
【図２３】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される併合先選択ダイアログの一例を示す説明図である。
【図２４】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される文書割付ダイアログの他の一例を示す説明図である。
【図２５】  この発明の実施の形態による文書分類装置の、ユーザーインターフェース部２０５により表示される分類結果一覧ウィンドウの他の一例を示す説明図である。
【符号の説明】
１００  バス
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  ＨＤＤ
１０５  ＨＤ
１０６  ＦＤＤ
１０７  ＦＤ
１０８  ディスプレイ
１０９  Ｉ／Ｆ
１１０  通信回線
１１１  キーボード
１１２  マウス
１１３  スキャナ
１１４  プリンタ
１１５  ＣＤ−ＲＯＭ
１１６  ＣＤ−ＲＯＭドライブ
２０１  文書記憶部
２０１ａ  分類対象文書集合
２０２  特徴ベクトル空間推定部
２０２ａ  訓練用文書集合
２０２ｂ  文書−カテゴリ対応表
２０２ｃ  分類用データベース
２０３  分類カテゴリ推定部
２０３ａ  分類結果一覧表
２０４  カテゴリ体系管理部
２０４ａ  カテゴリ体系表
２０４ｂ  カテゴリ体系変更規則
２０５  ユーザーインターフェース部
【図１】
0004063489.tif 000002
【図２】
0004063489.tif 000003
【図３】
0004063489.tif 000004
【図４】
0004063489.tif 000005
【図５】
0004063489.tif 000006
【図６】
0004063489.tif 000007
【図７】
0004063489.tif 000008
【図８】
0004063489.tif 000009
【図９】
0004063489.tif 000010
【図１０】
0004063489.tif 000011
【図１１】
0004063489.tif 000012
【図１２】
0004063489.tif 000013
【図１３】
0004063489.tif 000014
【図１４】
0004063489.tif 000015
【図１５】
0004063489.tif 000016
【図１６】
0004063489.tif 000017
【図１７】
0004063489.tif 000018
【図１８】
0004063489.tif 000019
【図１９】
0004063489.tif 000020
【図２０】
0004063489.tif 000021
【図２１】
0004063489.tif 000022
【図２２】
0004063489.tif 000023
【図２３】
0004063489.tif 000024
【図２４】
0004063489.tif 000025
【図２５】
0004063489.tif 000026