(57)【特許請求の範囲】
【請求項１】
分野情報を有する登録文書を記録したデータベースを管理する管理装置であって、
所定の文書を入力する第一入力手段と、
前記データベースに登録された登録文書を読み込む読み込み手段と、
前記所定の文書と前記登録文書との間の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度をもとに、確度を算出する確度算出手段と、
前記所定の文書の属する分野を入力する第二入力手段と、
前記所定の文書の属する分野と、前記登録文書が登録されている分野との一致／不一致を判別する判別手段と、
前記判別手段が前記所定の文書の属する分野と、前記登録文書が登録されている分野とが一致していると判別した場合、前記類似度と前記確度をもとに正解影響度を算出する正解影響度算出手段と、
前記判別手段が前記所定の文書の属する分野と、前記登録文書が登録されている分野とが一致していないと判別した場合、前記類似度と前記確度をもとに不正解影響度を算出する不正解影響度算出手段と、
前記正解影響度及び前記不正解影響度から削除文書候補点数を算出する削除文書候補点数算出手段とを具備することを特徴とするデータベース管理装置。
【請求項２】
前記データベース管理装置は、所定の文書を複数入力することが可能であり、前記正解影響度算出手段及び前記不正解影響度算出手段はこの複数の所定の文書ごとに正解影響度や不正解影響度を算出し、
前記登録文書ごとにこれらの正解影響度及び不正解影響度を累算することを特徴とする請求項１記載のデータベース管理装置。
【請求項３】
前記確度算出手段は、当該登録文書の類似度を当該登録文書を含む他の登録文書の類似度の和で除算した値を確度として算出することを特徴とする請求項１記載のデータベース管理装置。
【請求項４】
前記正解影響度算出手段は、前記類似度と前記確度との積を正解影響度として算出することを特徴とする請求項１ないし３記載のデータベース管理装置。
【請求項５】
前記不正解影響度算出手段は、前記類似度と前記確度との積を正解影響度として算出することを特徴とする請求項１ないし３記載のデータベース管理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、文書検索技術に係わり、検索に用いるデータベースの管理装置及び管理方法に関する。
【０００２】
【従来の技術】
近年、大量の電子化された文書データが流通するようになり、その文書データが、どのような分野に属するかを自動的に分類する技術が実用化されている。一般的な技術としては、データベースに色々な分野を代表する文書を複数登録しておき、入力された文書と登録されている文書間の類似性の度合いを表す値（以下「類似度」と表記）をベクトル空間法などを用いて求め、類似していた文書が属する分野を参考に入力された文書が属すると思われる分野を特定するというものである。
【０００３】
このような文書自動分類システムは、時間が経つにしたがって、分野を代表するような新しい単語が使われるようになったり、逆に、あまり使われなくなる単語があったりし、いつまでも同じデータベースを利用することは、分類の精度低下につながる。
【０００４】
また、自動分類したものは、そのままその分野が付与されることは少なく、自動分類された結果が正しいかどうかを人手によって判断し、その結果を元に正解／不正解と類似度情報からデータベースに登録されている文書に点数を付け、点数の悪い文書をデータベースから削除する方式があった。
【０００５】
このように、従来は、データベースから削除すべき文書であるかの判断の材料として、「分野特定結果が正解であったかどうか」といった情報や、「分野特定の要となったデータベース内の文書と、その文書との類似度」といった情報が用いられてきた。このような手法を用いた例として、特開２００１−１５５０２５公報に開示された文書分類装置がある。
【０００６】
しかし、データベースに登録されている文書の属する分野は、すべて独立している訳ではなく、関連性の深い分野も存在する。例えば「レーザー」という言葉は、印刷機器や医療機器、記憶装置、計測機器などの広い分野で使用される可能性がある。このような、様々な分野で使用される単語を多く含む文書は、分野特定においてある１つの分野に特定することは難しく、複数の可能性のある分野に特定され易くなる。
【０００７】
このような、複数の分野と関連性の高い分野に属する文書については、複数の分野で同じような類似度となる可能性が高く、一つの分野に特定することは困難である。このような文書は、分野特定で失敗する可能性も高くなるが、これは、その分野の特徴によるものであり、データベースに登録されている特定の文書が悪影響している訳ではない。
【０００８】
このような正解しにくい分野の文書を分類した際に、不正解に影響した文書を優先的に削除するこでは精度向上は望めず、逆に、関連のある分野の文書が削除され易くなり、それらの分野の特定精度が低下することにもつながる。
【０００９】
また、分類する文書から抽出した単語に、データベースに登録されている分野の特徴を表す単語がほとんど含まれていない場合なども考えられる。このような場合にも、その文書とデータベースに登録されている文書との間の類似度は全体的に同じような値になるため、このような文書の分類結果から、データベースに登録されている文書の悪影響の度合いを判断しデータベースから削除することは、精度低下を招くことになる。
【００１０】
【発明が解決しようとする課題】
本発明は上記の問題を解決するためになされたものであり、分類の精度を維持しながら、データベースのメンテナンスを行うことのできる文書分類装置および文書分類方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
この発明は、分野情報を有する登録文書を記録したデータベースを管理する管理装置であって、所定の文書を入力する第一入力手段と、前記データベースに登録された登録文書を読み込む読み込み手段と、前記所定の文書と前記登録文書との間の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度をもとに、確度を算出する確度算出手段と、前記所定の文書の属する分野を入力する第二入力手段と、前記所定の文書の属する分野と、前記登録文書が登録されている分野との一致／不一致を判別する判別手段と、前記判別手段が前記所定の文書の属する分野と、前記登録文書が登録されている分野とが一致していると判別した場合、前記類似度と前記確度をもとに正解影響度を算出する正解影響度算出手段と、前記判別手段が前記所定の文書の属する分野と、前記登録文書が登録されている分野とが一致していないと判別した場合、前記類似度と前記確度をもとに不正解影響度を算出する正解影響度算出手段と、前記正解影響度及び前記不正解影響度から削除文書候補点数を算出する削除文書候補点数算出手段とを具備することを特徴とする。
【００１２】
このような構成によれば、分類の精度を維持しながら、データベースのメンテナンスを行うことが可能となる。
【００１３】
この発明は、分野情報を有する登録文書を記録したデータベースを管理するデータベース管理方法であって、所定の文書を入力する第一入力ステップと、前記データベースに登録された登録文書を読み込む読み込みステップと、前記所定の文書と前記登録文書との間の類似度を算出する類似度算出ステップと、前記類似度算出ステップにより算出された類似度をもとに、確度を算出する確度算出ステップと、前記所定の文書の属する分野を入力する第二入力ステップと、前記第二入力ステップで入力された所定の文書の属する分野と、前記登録文書が登録されている分野との一致／不一致を判別する判別ステップと、前記判別ステップにおいて、手段が前記所定の文書の属する分野と、前記登録文書が登録されている分野とが一致していると判別した場合、前記類似度と前記確度をもとに正解影響度を算出する正解影響度算出ステップと、前記判別手段が前記所定の文書の属する分野と、前記登録文書が登録されている分野とが一致していないと判別した場合、前記類似度と前記確度をもとに不正解影響度を算出する正解影響度算出ステップと、前記正解影響度及び前記不正解影響度から削除文書候補点数を算出する削除文書候補点数算出ステップとを具備することを特徴とする。
【００１４】
このような構成によれば、分類の精度を維持しながら、データベースのメンテナンスを行うことが可能となる。
【００１５】
【発明の実施の形態】
本発明の具体的な構成について説明する前に、発明の理解の一助として、本発明のアウトラインを説明する。本発明においては、データベースのメンテナンスを行うために、ユーザが予め所定の分野に属することが分かっている文書を入力して、文書分類装置に分類動作を行わせる。ここでユーザが入力する文書を「分類文書」とし、この分類文書が属する分野としてユーザが予め認識している分野を「正解分野」とする。
【００１６】
この分類文書を用いて、文書分類を行う際に、この文書分類装置は分類文書とデータベースに登録されている文書（以下「登録文書」と表記する）間の類似度と、その類似度や類似度算出時に参照した単語数などから算出した確度を算出する。
【００１７】
次に、登録文書がそれぞれ分類されている分野（以下「登録分野」と表記する）と、先述の分類文書の正解分野が一致していた場合と異なっていた場合に、その分野の特定に影響した文書との類似度と、分野を特定した際に、比較した文書との類似度や比較に使用した単語数などの情報から、特定結果がどの程度信頼できるかを表す値（以下「確度」と表記）を元に、それぞれ正解影響度と不正解影響度を算出する。すなわち、ある登録文書に関し、第一の分類文書について類似度と確度を求める。つづいてこの登録文書の登録分野と分類文書の正解分野が一致した場合は、正解影響度を蓄積する。また、登録分野と正解分野が一致しなかった場合は、不正解影響度を蓄積する。
【００１８】
この操作を分類文書を複数種用いて繰り返し、各々の登録文書について正解影響度と不正解影響度を蓄積して登録文書毎に格納する。
【００１９】
この蓄積した正解影響度と不正解影響度（以下、両者をまとめて「正解／不正解影響度」と表記）をもとに、登録文書毎の削除文書候補点数を算出する。この削除文書候補点数は不正解影響度を正解影響度で除することで求められ、正解影響度に比して不正解影響度が大きい文書については、削除文書候補点数が大きくなる。データベースのメンテナンスに当たっては、この削除文書候補点数が大きい文書を削除文書候補として抽出するというものである。
【００２０】
以下、図面を参照して本発明の実施形態について以下の通り説明する。図１は本発明に関する一実施形態である類似文書検索装置のハードウェア構成を示すブロック図である。なお、本装置は一般的なアーキテクチャを持つコンピュータ上の一機能として構成されるものである。
【００２１】
図１に示すように、この類似文書検索装置は、ＣＰＵおよびメモリなどから構成される制御装置１、キーボード、ポインティングデバイス、スキャナ、マイクなどの入力装置２、類似文書の検索結果などを表示する表示装置３、および文書データや類似度情報、各種設定値などを格納する外部記憶装置４（ハードディスク、ＭＯ、ＤＶＤ−ＲＡＭなど）から構成される。
【００２２】
図２に本類似文書検索装置における制御装置１の構成を示す。制御装置１はプログラム部２００とバッファ部２５０からなる。プログラム部２００は、初期化部２０１、分類文書入力部２０２、登録文書読み込み部２０３、類似度算出部２０４、確度算出部２０５、分類結果出力部２０６、正解／不正解影響度格納部２０７、削除文書候補点数算出部２０８、削除文書候補出力部２０９の機能を有している。
【００２３】
バッファ部２５０は、分類文書格納バッファ部２５１、登録文書格納バッファ部２５２、類似度算出結果格納バッファ部２５３、正解／不正解影響度格納バッファ部２５４、削除文書候補格納バッファ部２５５の領域を有している。
【００２４】
初期化部２０１は、バッファ部２５０内の各バッファ部をクリアする。分類文書入力部２０２は、ユーザが入力装置２を用いて入力する分類文書データを、分類文書格納バッファ部２５１へ格納する。この時、分類文書ＩＤが発行され、このＩＤも分類文書格納バッファ部２５１へ格納される。
登録文書読み込み部２０３は、外部記憶装置４に格納された登録文書を読み出し、登録文書格納バッファ部２５２へ格納する。
【００２５】
類似度算出部２０４は、分類文書格納バッファ部２５１に格納されている分類文書と、登録文書格納バッファ部２５２に格納されている登録文書を単語に分割し、各単語の出現回数をベクトルの成分とするベクトル空間法などで類似の度合いを算出し、分類文書ＩＤと登録文書ＩＤと類似度と登録文書が属する分野情報を組にして、類似度算出結果格納バッファ部２５３に格納する。類似度はベクトル空間法の代わりに共通単語数により算出するようにしても構わない。
【００２６】
確度算出部２０５は、類似度算出結果格納バッファ部２５３に格納されている類似度の合計値を算出し、各登録文書との類似度が占める割合を確度として算出し、類似度算出結果格納バッファ部２５３に格納する。
【００２７】
分類結果出力部２０６は、類似度算出結果格納バッファ部２５３に格納されているデータを類似度でソートし、類似度の高い登録文書に付与されている分野を出力する。
【００２８】
正解／不正解影響度格納部２０６は、類似度算出結果格納バッファ２５３に格納される、類似度算出結果情報と入力装置２より入力された、分類文書の正解分野情報から、登録文書毎の正解／不正解への影響の度合いとして類似度に確度を掛け合せた値を、正解／不正解影響度格納バッファ部２５４に加算する。正解／不正解への影響の度合いとしては、類似度に確度を掛け合せた値の他に、確度が設定された閾値以上の場合にのみ類似度を加算するようにしても良い。
【００２９】
削除文書候補点数算出部２０８は、正解／不正解影響度格納バッファ部２５４に格納されている正解／不正解影響度から削除文書候補としての点数を算出し、削除文書候補格納バッファ部２５５に格納する。削除文書候補出力部２０９は、削除文書候補格納バッファ部２５５に格納されている削除文書候補を削除文書候補点数でソートし出力する。
【００３０】
次に、本発明の実施形態の一つである文書分類装置の動作について図３及び図４のフローチャート図を参照して以下の通り説明する。
【００３１】
本実施例は、大きく分けて図３に示す第１のステップと、図４に示す第２のステップとからなる。第１のステップは、文書分類装置に登録された文書から、削除すべき文書を選択するために、ユーザが予め正解分野を把握している分類文書を用いて分類処理を行い、その処理結果を蓄積するステップである。第２のステップは、この蓄積された処理結果をもとに、削除すべき文書の候補を出力するステップである。
【００３２】
まず、図３を参照して分類処理結果を蓄積する第１のステップについて説明する。はじめにユーザは、入力装置２を使用して、外部記憶装置４にデータベースのメンテナンスの対象となる登録文書の文書データを格納する（ステップ３０１）。続いて初期化部２０１により全バッファをクリアする（ステップ３０２）。
【００３３】
次に、分類文書入力部２０２が、入力装置２を通じてユーザより分類文書を受け付けて、分類文書格納バッファ部２５１に格納する。（ステップ３０３）。  具体例として、図５に示すような「この文書は、計測機器について記述したものです。」というテキスト文書を分類文書の一つとして格納したとする。
【００３４】
続いて登録文書読み出し部２０３が、外部記憶装置４から複数の登録文書を読み出し、登録文書格納バッファ部２５２に登録文書として格納する（ステップ３０４）。検索対象となる登録文書には、文書を識別するための文書ＩＤと、その文書の分類を表す分野（登録分野）の情報が付与されている。具体例として、図６に示すように、文書ＩＤ、分野情報、本文からなるデータを格納したとする。例えば文書ＩＤが「１」の文書は「エンジン」に関する分野であり、本文として「この文書は、エンジンについて記述したものです。」というデータを格納する。もちろん、より長い本文データについても同様に処理する。以下、文書ＩＤ「２」、「３」…と各登録文書について同様の処理を行う。
【００３５】
次に、類似度算出部２０４が、分類文書格納バッファ部２５１に格納された分類文書と、登録文書格納バッファ部２５２に格納された登録文書の本文とを比較し、類似の度合いを示す数値である類似度をベクトル空間法を用いて算出した後、登録文書ＩＤとその文書の分類を表す分野情報とともに類似度算出結果格納バッファ部２５３に格納する（ステップ３０５）。ここで、ベクトル空間法は、特開２０００−３１１１７３公報に記載されたような手法を用いることができる。
【００３６】
この時、類似度が大きいものから一定の件数だけ格納したり、一定の類似度以上のものだけを格納しても構わない。図７の類似度算出結果格納例では、分類文書ＩＤが「１」の文書について、登録文書に関する１番目のデータは、文書ＩＤ＝１０２３、登録分野＝記憶装置、類似度＝０．３７８という内容が格納されていることを示す。以下、２番目、３番目と同様に格納される。
【００３７】
次に、類似度を算出していない登録文書が残っているかを判断し（ステップ３０６）、残っている場合は、ステップ３０４に戻って残りの登録文書に対してステップ３０４、３０５の動作を繰り返す。一方、他に登録文書が無い場合は、ステップ３０７に進む。
【００３８】
次に、ステップ３０５で類似度算出結果格納バッファ部２５３に格納した類似度算出結果の登録文書ごとの類似度の和を算出し、その値に対して各文書の類似度が占める割合を確度として算出し、類似度算出結果格納バッファ部２５３に格納する（ステップ３０７）。なお、確度は分類結果の確からしさを表す値であれば、類似度の合計値に対する占有率以外にも、文書同士を比較した際の共通単語数などから算出したものでも構わない。図８に図７に示した例における確度の算出例を示す。類似度算出結果格納バッファ部２５３に格納された登録文書の類似度の和は２．７８３である。ここで、登録文書ＩＤ「１０２３」の文書は分類文書ＩＤ「１」の分類文書に対する類似度が０．３７８である場合、登録文書ＩＤ「１０２３」の文書の確度は０．３７８÷２．７８３＝０．１３６となり、確度の値として０．１３６が格納される。他の文書についても同様に確度が求められ、格納される。
【００３９】
次に、ステップ３０７までで算出された各情報について出力する（ステップ３０８）。この出力は図８の情報を出力する形が好ましいが、類似度順にソートし、上位の文書から順に付与されている登録分野の分野情報を出力するようにしても構わない。ソートした上で分野情報を出力した例を図９に示す。ここで、各登録分野ごとにその分野に含まれる登録文書の類似度の和を取り、高い順に並べている。この出力はこの後の処理では使用しないが、ユーザにとって分類状況を把握しやすくなるという効果がある。
【００４０】
分類結果出力が済むと、他に使用する分類文書が残っているかを判断し（ステップ３０９）、残っていればステップ３０３に戻り、ステップ３０３から３０８までを繰り返す。図８に相当するデータは分類文書ごとに異なるので、分類文書ごとにそれぞれ格納される。一方、分類文書が残っていなければ分類処理を終了する。
【００４１】
次に、第１のステップで格納された、類似度算出結果を使用して、登録文書から削除する文献の候補を出力する第２のステップについて説明する。図４はその手順を示すフローチャートである。
【００４２】
はじめに初期化部２０１により類似度度算出結果格納バッファ部２５３以外のバッファをクリアする（ステップ３５１）。次に、入力装置２より、第１のステップで用いた分類文書のＩＤとその分類文書の正解分野を入力する（ステップ３５２）。
【００４３】
次に、ステップ３５２で入力された分類文書ＩＤに対応する類似度算出結果と正解分野をもとに、各登録文書について、登録分野と正解分野が一致していれば正解影響度として、一致していなければ不正解影響度として、類似度に確度を掛け合せた値を正解／不正解影響度格納バッファ部２５４に加算する（ステップ３５３）。類似度と確度を掛け合わせることで、一種の重み付けを行うことができる。この正解／不正解影響度は登録文書ごとに管理される。
【００４４】
分類文書ＩＤが１で、正解分野が計測機器であった場合、類似度算出結果が図８の状態であるとすると、登録文書ＩＤ＝１０２３の文書は、その分野が正解分野と異なるので、その類似度に確度を掛け合せた値０．３７８×０．１３６＝０．０５１を不正解影響度に加算して格納する。登録文書ＩＤ＝５９３３の文書は、その分野が正解分野と同じなので、その類似度に確度を掛け合せた値０．１７２×０．０６２＝０．０１１を正解影響度に加算して格納する。
【００４５】
ここでは、正解／不正解影響度に加算する値として類似度に確度を掛け合せた値を利用しているが、確度に閾値を設けて、その閾値よりも確度が大きい場合にのみ類似度を正解／不正解影響度に加算する方式であっても構わない。
【００４６】
続いて、処理中の分類文書の類似度算出結果が残っているか判断し（ステップ３５４）、残っている場合はステップ３５３に戻り、ステップ３５３の処理を繰り返す。この処理の対象となるのはすべての類似度算出結果でも構わないし、類似度の高いものから何件、または類似度や確度が一定の値以上のものでも構わない。一方、処理する類似度算出結果が残っていない場合はステップ３５５に進む。
【００４７】
ステップ３５５では、他に正解情報が残っているかを判断し（ステップ３５５）、残っている場合はステップ３５２に戻り、上述したステップ３５２から３５４までの処理を繰り返し、残っていなければ、ステップ３５６に進む。ここで、正解情報が残っている場合、すなわち別の分類文書による計算結果を用いる場合は、その正解情報に対応する分類文書ＩＤで管理された算出結果を用いることになる。
【００４８】
このようにして、登録文書ごとにいくつかの分類文書についてそれぞれ正解／不正解影響度を求め、登録文書ごとに格納した結果となる、正解／不正解影響度格納バッファ部２５４の例を図１０に示す。例えば登録文書ＩＤ「１」の文書について、登録分野は「エンジン」であり、正解影響度は０．００２４９、不正解影響度は０．２５３８２、となる。正解影響度の大きい登録文書は、所定の分類文書と同じ分野であり、一般的に類似度も高く、確度も高いということができる。一方、不正解影響度の大きい登録文書は、所定の分類文書と異なる分野であるが、類似度や確度が高く、紛らわしい文書であるということができる。
【００４９】
ステップ３５６では、ステップ３５３で正解／不正解影響度格納バッファ部２５５に格納した、正解／不正解影響度をもとに、データベースに登録されている各登録文書について「削除文書候補点数」を算出する。この削除文書候補点数の算出式の例を図１１に示す。ここで、削除文書候補点数は、「不正解影響度÷（正解影響度＋０．００１）」で求められる。分母となる正解影響度に０．００１を加えているのは、正解影響度が０である文書があった場合に０による除算エラーが発生するのを防ぐためである。この式によれば、正解影響度に比して不正解影響度が大きい登録文書が削除文書候補点数が高くなる。削除文書候補点数算出部２０８は算出した結果を削除文書候補格納バッファ部２５５に格納する。
【００５０】
図１２の例は、図１０の類似度算出結果格納バッファ部２５３に格納されている類似度算出結果を図１１に示す削除文書候補点数の算出式を用いて点数を算出した結果を表す。この結果は削除文書候補格納バッファ部２５５に格納される。例えば登録文書ＩＤ「１」の登録文書について、その削除文書候補点数は「０．２５３８２／（０．００２４９＋０．００１」で求められ、その値は７２．７２７７９となる。
【００５１】
次に、正解／不正解影響度データが残っているか、すなわち削除候補点数を算出する登録文書が残っているかを判断し（ステップ３５７）、残っていればステップ３５６に戻り、ステップ３５６を繰り返す。正解／不正解影響度データが残っていない場合はステップ３５８に進む。
【００５２】
ステップ３５８では、ステップ３５６で算出した削除文書候補点数を用いて削除文献候補格納バッファ部２５５の内容をソートし、削除文書候補点数の高い文書順に削除文書候補として出力する。図１３に、削除文書候補の出力例を示す。登録文書ＩＤが９９２４の文書は、計測機器分野の文書で、削除文書候補点数が１２９．１６９７３であることを表す。
【００５３】
以上で、第２のステップである登録文書削除候補出力処理を終了する。ユーザはこの出力を見て、データベースから削除すべき登録文書を選択することができる。この選択まで、自動的に実行させることも可能である。
【００５４】
複数の分野と関連の深い（類似性の高い）分野の文書は、１つの分野に特定することが難しく、特定した分野が正解分野と一致する確率も低くなる傾向にある。本発明では確度が低い場合には不正解への影響度として加算する値を低くするので、そのような分野の文書が優先的に削除されることによる、分類精度の低下を抑えることができる。
【００５５】
また、分類する文書に分野の特徴を表す単語が少ないような分類処理に不向きな文書を分類した場合、正解分野に特定される確率は低くなる。このような文書を分類処理した場合、分野特定結果が不正解であっても、確度が小さければ不正解影響度として類似度が加算されにくくなるため、削除文書候補の抽出時に不適当な候補が抽出されることを少なくできる。
【００５６】
【発明の効果】
以上説明したように、この発明によれば、分類の精度を維持しながら、データベースのメンテナンスを行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係わる類似文書検索装置のハードウェア構成を示すブロック図。
【図２】本発明の実施形態に係わる類似文書検索装置の制御装置の機能ブロック図。
【図３】文書分類処理の流れを示すフローチャート図。
【図４】削除文書の候補を出力する処理の流れを示すフローチャート図。
【図５】分類文書の例を示す図。
【図６】登録文書の例を示す図。
【図７】類似度算出結果の例を示す図。
【図８】確度算出の例を示す図。
【図９】分類結果の出力例を示す図。
【図１０】正解／不正解影響度の例を示す図。
【図１１】削除文書候補点数計算式の例を示す図。
【図１２】削除文書候補格納の例を示す図。
【図１３】削除文書候補出力の例を示す図。
【符号の説明】
１…制御装置、２…入力装置、３…表示装置、４…外部記憶装置、２００…プログラム部、２０１…初期化部、２０２…分類文書入力部、２０３…登録文書読み込み部、２０４…類似度算出部、２０５…確度算出部、２０６…分類結果出力部、２０７…正解／不正解影響度格納部、２０８…削除文書候補点数算出部、２０９…削除文書候補出力部、２５０…バッファ部、２５１…分類文書格納バッファ部、２５２…登録文書格納バッファ部、２５３…類似度算出結果格納バッファ部、２５４…正解／不正解影響度格納バッファ部、２５５…削除文書候補格納バッファ部
【図１】
0003602084.tif 000002
【図２】
0003602084.tif 000003
【図３】
0003602084.tif 000004
【図４】
0003602084.tif 000005
【図５】
0003602084.tif 000006
【図６】
0003602084.tif 000007
【図７】
0003602084.tif 000008
【図８】
0003602084.tif 000009
【図９】
0003602084.tif 000010
【図１０】
0003602084.tif 000011
【図１１】
0003602084.tif 000012
【図１２】
0003602084.tif 000013
【図１３】
0003602084.tif 000014