(57)【要約】【課題】  分類、登録された分類済文書データのうち、分類作業に効果的でない文書データを効率よく自動的に削除することができる文書分類装置および方法を提供する。【解決手段】  カテゴリー別に分類された複数の文書データ外部記憶装置４にを記憶し、カテゴリーのそれぞれに任意の分類済文書データを関連付け、分類済文書データと、新たに記憶する文書データとを制御装置１が比較して、類似度情報を算出し、類似度情報に基づいてカテゴリー別に、新たに登録する文書データを分類後、分類の正誤判別を行い、所定の条件を満たしていないと判別した場合は、正誤情報に対応する分類済文書データを外部記憶装置４から削除する。【選択図】    図１
2005084908.tif 000002
【特許請求の範囲】
【請求項１】
文書データを分類する文書分類装置であって、
カテゴリー別に分類された複数の文書データを記憶する第１の記憶手段と、
前記カテゴリーのそれぞれに任意の分類済文書データを関連付け記憶する第２の記憶手段と、
前記分類済文書データと、新たに記憶する文書データとを比較して、類似度情報を算出する算出手段と、
前記算出手段によって算出された類似度情報に基づいて前記カテゴリー別に、前記新たに登録する文書データを分類して記憶する第３の記憶手段と、
前記第３の記憶手段によって記憶された文書データが、所定のカテゴリー別に分類されたか否かの正誤判別を行い、分類に用いられた前記分類済文書データの正誤情報を記憶する第４の記憶手段と、
前記第４の記憶手段によって記憶された正誤情報のうち、所定の条件を満たしていないと判別した場合は、当該正誤情報に対応する分類済文書データを前記第２の記憶手段から削除する削除手段と、
を具備することを特徴とする文書分類装置。
【請求項２】
請求項１に記載の文書分類装置において、
前記所定の条件は、前記分類済文書データ毎に正誤情報をカウントし、カウントされたカウント値が所定の閾値に達するか否かの条件であることを特徴とする文書分類装置。
【請求項３】
請求項１に記載の文書分類装置において、
前記登録する文書データを分類する場合、前記類似度算出情報からヒストグラムを作成し分野を特定することを特徴とする文書分類装置。
【請求項４】
文書データを記憶して、記憶された文書データを検索する文書分類方法であって、
カテゴリー別に分類された複数の文書データを記憶する第１の記憶ステップと、
前記カテゴリーのそれぞれに任意の分類済文書データを関連付け記憶手段に記憶する第２の記憶ステップと、
前記分類済文書データと、新たに記憶する文書データとを比較して、類似度情報を算出する算出ステップと、
前記算出ステップによって算出された類似度情報に基づいて前記カテゴリー別に、前記新たに登録する文書データを分類して記憶する第３の記憶ステップと、
前記第３の記憶ステップによって記憶された文書データが、所定のカテゴリー別に分類されたか否かの正誤判別を行い、分類に用いられた前記分類済文書データの正誤情報を記憶する第４の記憶ステップと、
前記第４の記憶ステップによって記憶された正誤情報のうち、所定の条件を満たしていないと判別した場合は、当該正誤情報に対応する分類済文書データを前記記憶手段から削除する削除ステップと、
を有することを特徴とする文書分類方法。
【請求項５】
請求項４に記載の文書分類方法において、
前記所定の条件は、前記分類済文書データ毎に正誤情報をカウントし、カウントされたカウント値が所定の閾値に達するか否かの条件であることを特徴とする文書分類方法。
【請求項６】
請求項４に記載の文書分類方法において、
前記登録する文書データを分類する場合、前記類似度算出情報からヒストグラムを作成し分野を特定することを特徴とする文書分類方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、文書データ中のキーワードと、予め登録されている分類済文書データとを比較、分類してデータベースに登録する技術に関し、特に、予め登録されている分類済文書データのうち、分類成功率が低い分類済文書データを削除できる文書分類装置および方法に関する。
【背景技術】
【０００２】
従来、登録したい文書データ中のキーワードと、予め分類され登録されている分類済文書データとを比較することによって、文書データを分類してデータベースに登録する技術においては、分類するために適切な分類済文書データと不適切な分類済文書データとが混在してデータベースに記憶されている。また、分類できなかった文書データが一定頻度以上発生した場合に、新たなカテゴリーの追加を使用者に促す技術が開示されている（例えば、特許文献１参照）。
【特許文献１】特開２００２−１１７０４６。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところが、このような構成では、登録したい文書データの分類時に正確なカテゴリーに分類する確率が低い分類済文書データと、確率が高い分類済文書データとが混在して登録しており、データベース中の不適切な分類済文書データによって、分類効率が低下することがある。さらに、分類不能になる文書データの発生が増大する可能性がある。また、一端、分類され登録された分類済文書データは、登録数が増大するのみであり、分類済文書データの分類の成功率如何に関わらず、登録された分類済文書データをすべて使用して毎回分類処理を行うため、分類の精度や効率の低下を招く恐れがある。
【０００４】
この発明は上記事情に着目してなされたもので、その目的とするところは、分類、登録された分類済文書データのうち、分類作業に効果的でない文書データを効率よく自動的に削除することができる文書分類装置および方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明はかかる課題を解決するものであり、本発明は、文書データを記憶して、記憶された文書データを検索する情報検索装置であって、カテゴリー別に分類された複数の文書データを記憶する第１の記憶手段と、前記カテゴリーのそれぞれに任意の分類済文書データを関連付け記憶する第２の記憶手段と、前記分類済文書データと、新たに記憶する文書データとを比較して、類似度情報を算出する算出手段と、前記算出手段によって算出された類似度情報に基づいて前記カテゴリー別に、前記新たに登録する文書データを分類して記憶する第３の記憶手段と、前記第３の記憶手段によって記憶された文書データが、所定のカテゴリー別に分類されたか否かの正誤判別を行い、分類に用いられた前記分類済文書データの正誤情報を記憶する第４の記憶手段と、前記第４の記憶手段によって記憶された正誤情報のうち、所定の条件を満たしていないと判別した場合は、当該正誤情報に対応する分類済文書データを前記第２の記憶手段から削除する削除手段とを具備するものとした。
【０００６】
したがって本発明は、カテゴリー別に分類された複数の文書データが記憶され、カテゴリーのそれぞれに任意の分類済文書データが関連付けられ、分類済文書データと、新たに記憶する文書データとを比較して、類似度情報が算出される。算出された類似度情報に基づいてカテゴリー別に、新たに登録する文書データが分類され、記憶される。記憶された文書データが、所定のカテゴリー別に分類されたか否かの正誤判別が行われ、分類に用いられた分類済文書データの正誤情報が記憶される。記憶された正誤情報のうち、所定の条件を満たしていないと判別した場合は、正誤情報に対応する分類済文書データが削除される。このため、文書分類装置に登録された分類作業に効果的でない文書を効率よく自動的に削除することができる。
【発明の効果】
【０００７】
本発明によれば、文書分類装置に登録された分類作業に効果的でない文書を効率よく自動的に削除することができる。
【発明を実施するための最良の形態】
【０００８】
図１は、本発明の一実施形態に係る文書分類装置を適用した情報分離検索システムを示す構成ブロック図である。本発明は、過去の分類済文書データの正解情報（適切な分類カテゴリー等の情報）と、実際に分類、登録する文書データの分類処理の結果とを比較することで、正解に分類するに寄与した登録済文書データを増やし、不正解に寄与する登録文書データを削除することを目的としている。
【０００９】
この文書分類システムは、図１に示すような構成となっている。CPUおよびメモリなどから構成される制御装置１、キーボード、ポインティングデバイス、スキャナ、マイクなどの入力装置２、類似文書のデータの検索結果などを表示する表示装置３、および文書データや類似度情報、各種設定値などを記憶する外部記憶装置４（ハードディスク、MO、DVD・RAMなど）から構成される。なお、本システムは一般的なアーキテクチャを持つコンピュータ上の一機能として構成されるものである。また、本システムで扱う文書データには、それぞれにバーコードや通し番号等のＩＤが付与されているものとする。
【００１０】
制御装置１は、例えば、図２に示すように制御部１０と記憶部３０とから構成されている。制御部１０は、初期化部１１、参照回数条件設定部１２、分類文書入力部１３、登録文書読み込み部１４、類似度算出部１５、分野特定部１６、正解情報データベース登録部１７、参照回数カウント部１８、削除文書選択部１９、登録文書削除部２０を有している。記憶部３０は、参照回数条件情報記憶領域３１、分類文書データ記憶領域３２、登録文書データ記憶領域３３、類似度算出データ記憶領域３４、正解分類コード記憶領域３５、参照回数カウンター値記憶領域３６、削除候補記憶領域３７を有している。
【００１１】
参照回数条件情報記憶領域３１は、ユーザが入力装置２を用いて入力した削除対象とする条件値データを記憶する。分類文書データ記憶領域３２は、分類文書入力部１３によって、ユーザが入力装置２を用いて入力する過去の分類済み案件である分類文書データ（分類済文書データ）を記憶する。この時、分類文書ＩＤが発行され、このＩＤも分類文書データ記憶領域３２へ記憶される。
【００１２】
登録文書データ記憶領域３３は、登録文書読み込み部１４によって、外部記憶装置４に記憶された登録文書を読み出された文書データを記憶する。類似度算出データ記憶領域３４は、算出された類似度を記憶する。正解分類コード記憶領域３５は、正解情報データベース登録部１７によって、分類文書入力部１３で入力された過去の分類済みの文書データから分類文書ＩＤと正解情報を抽出し、例えば、分野のカテゴリーごとに正解分類コードとして記憶する。参照回数カウンター値記憶領域３６は、参照回数カウント部１８によって、類似度算出データ記憶領域３４に記憶されている類似度算出結果情報からヒストグラムを作成する時に使用した登録文書ＩＤ毎の分類結果と正解分類コード記憶領域３５の分類文書ＩＤ毎の正解情報を比較し、参照回数カウンター値として記憶する。削除候補記憶領域３７は、削除文書選択部１９によって、参照回数カウンター値記憶領域３６に記憶されている参照回数カウント情報から、参照回数条件情報記憶領域３１の値以下の登録文書ＩＤを選択して記憶する。
【００１３】
初期化部１１は、記憶部３０内の各記憶領域のデータのクリアを行う。参照回数条件設定部１２は、ユーザが入力装置２を用いて削除対象とする条件値データを参照回数条件情報記憶領域３１へ記憶する。分類文書入力部１３は、ユーザが入力装置２を用いて入力する過去の分類済み案件である分類文書データを、分類文書データ記憶領域３２へ記憶する。この時、分類文書ＩＤが発行され、このＩＤも分類文書データ記憶領域３２へ記憶される。登録文書読み込み部１４は、外部記憶装置４に記憶された登録文書を読み出し、登録文書データ記憶領域３３へ記憶する。類似度算出部１５は、分類文書データ記憶領域３２に記憶されている分類文書データと、登録文書データ記憶領域３３に記憶されている登録文書データとを単語に分割し、各単語の出現回数をベクトルの成分とするベクトル空間法で類似の度合いを算出し、分類文書ＩＤと登録文書ＩＤと類似度と登録文書が属する分野情報を組にして、類似度算出データ記憶領域３４に記憶する。分野特定部１６は、類似度算出データ記憶領域３４に記憶されている、登録文書データとの類似度情報から、各分野別に類似度を加算したヒストグラムを作成し、類似度の和の大きい物から順に分野特定を行い、正解分類コード記憶領域３５へ記憶する。正解情報データベース登録部１７は、分類文書入力部１３で入力した過去の分類済み案件から分類文書ＩＤと正解情報を抽出し正解分類コード記憶領域３５へ記憶する。参照回数カウント部１８は、類似度算出データ記憶領域３４に記憶されている類似度算出結果情報からヒストグラムを作成する時に使用した登録文書ＩＤ毎の分類結果と正解分類コード記憶領域３５の分類文書ＩＤ毎の正解情報を比較し、参照回数カウンター値記憶領域３６に記憶する。削除文書選択部１９は、参照回数カウンター値記憶領域３６に記憶されている参照回数カウント情報から、参照回数条件情報記憶領域３１の値以下の登録文書ＩＤを選択して、削除候補記憶領域３７に記憶する。登録文書削除部２０は、削除候補記憶領域３７に記憶されている、削除候補文書情報を元に登録文書を削除する。
【００１４】
以上のように構成された本発明の文書分類装置が有するプログラムを適用した文書分類システムの登録手順について、図３のフローチャートを用いて説明する。
【００１５】
初期化部１１が、ステップＳ１にて、記憶部３０内の各記憶領域のデータのクリアを行う。分類文書入力部１３によって、ステップＳ２にて、ユーザが入力した過去の分類済み案件である分類文書データを、分類文書データ記憶領域３２へ記憶する。この時、分類文書ＩＤが発行され、このＩＤも分類文書データ記憶領域３２へ記憶される。登録文書読み込み部１４は、ステップＳ３にて、外部記憶装置４に記憶された登録文書を読み出し、登録文書データ記憶領域３３へ記憶する。
【００１６】
以上で文書分類システムの登録処理を終了する。
【００１７】
次に、本発明の文書分類装置が有するプログラムを適用した文書分類システムの処理手順について、図４のフローチャートを用いて説明する。
【００１８】
初期化部１１が、ステップＳ１０にて、記憶部３０内の各記憶領域のデータのクリアを行う。続いて、参照回数条件設定部１２が、ステップＳ１１にて、ユーザによって入力された削除対象とする条件値データ（例えば、キーワード等）を参照回数条件情報記憶領域３１に記憶する。次に、類似度算出部１５は、ステップＳ１２にて、分類文書データ記憶領域３２に記憶されている分類文書データと、登録文書データ記憶領域３３に記憶されている登録文書データとを単語に分割し、各単語の出現回数をベクトルの成分とするベクトル空間法で類似の度合いを算出し、分類文書ＩＤと登録文書ＩＤと類似度と登録文書が属する分野情報を組にして、類似度算出データ記憶領域３４に記憶する。尚、ここでの類似度はベクトル空間法の代わりに共通単語数により算出するようにしても構わない。
【００１９】
分野特定部１６は、ステップＳ１３にて、類似度算出データ記憶領域３４に記憶されている、登録文書データとの類似度情報から、例えば、図５に示すように、分類コードＡ〜Ｅの各分野別に類似度を加算したヒストグラムを作成し、類似度の和の大きい物から順に分野特定を行い、正解分類コード記憶領域３５へ記憶する。
【００２０】
正解情報データベース登録部１７は、ステップＳ１４にて、分類文書入力部１３で入力した過去の分類済み案件から分類文書ＩＤと正解情報（所定の分野に正確に分類されているか否かの正誤情報）を抽出し、正解分類コード記憶領域３５へ記憶する。参照回数カウント部１８は、ステップＳ１５にて、類似度算出データ記憶領域３４に記憶されている類似度算出結果情報（類似度算出データ）からヒストグラムを作成する時に使用した登録文書ＩＤ毎の分類結果と正解分類コード記憶領域３５の分類文書ＩＤ毎の正解情報を比較し、正確に所定の分類がされた場合のみに用いられた分類文書データ（又は／及びキーワード）の参照回数（正解の分類に利用された回数）を参照回数カウント情報として、参照回数カウンター値記憶領域３６に記憶する。削除文書選択部１９は、ステップＳ１６にて、参照回数カウンター値記憶領域３６に記憶されている参照回数カウント情報から、参照回数条件情報記憶領域３１の値（例えば、１０回）以下の登録文書ＩＤを選択して、削除候補記憶領域３７に記憶し、登録文書削除部２０によって、削除候補記憶領域３７に記憶されている、削除候補文書情報に基づいて登録文書データを削除する。
【００２１】
以上の構成により、過去の分類済み文書データの正解情報と、実際の登録文書データの分類処理の結果とを比較することで、正解に分類するに寄与した登録済文書データを増やし、不正解に寄与する登録文書データを削除することが可能となり、文書分類作業の制度向上が図れる。
【００２２】
なお、本実施形態で説明した文書分類装置は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピーディスク、ハ一ドディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に記憶し、また通信媒体により伝送して頒布することもできる。なお、媒体側に記憶されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブルやデータ構造も含む）を計算機内に構成させる設定プログラムをも含むものである。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。
【図面の簡単な説明】
【００２３】
【図１】この発明の一実施形態に係わる文書分類装置を適用した文書分類システムの一実施形態を示す構成ブロック図。
【図２】この発明の一実施形態に係わる制御装置の構成を示すブロック図。
【図３】この発明の一実施形態に係わる文書分類システムによる登録処理を示したフローチャート。
【図４】この発明の一実施形態に係わる文書分類システムによる分類処理を示したフローチャート。
【図５】この発明の一実施形態に係わるヒストグラムを示す模式図。
【符号の説明】
【００２４】
１…制御装置、２…入力装置、３…表示装置、４…外部記憶装置、１０…制御部、１１…初期化部、１２…参照回数条件設定部、１３…分類文書入力部、１４…込み部、１５…類似度算出部、１６…分野特定部、１７…正解情報データベース登録部、１８…参照回数カウント部、１９…削除文書選択部、２０…登録文書削除部、３０…記憶部、３１…参照回数条件情報記憶領域、３２…分類文書データ記憶領域、３３…登録文書データ記憶領域、３４…類似度算出データ記憶領域、３５…正解分類コード記憶領域、３６…参照回数カウンター値記憶領域、３７…削除候補記憶領域
【図１】
2005084908.tif 000003
【図２】
2005084908.tif 000004
【図３】
2005084908.tif 000005
【図４】
2005084908.tif 000006
【図５】
2005084908.tif 000007