(57)【要約】      （修正有）【課題】文書を内容の類似性によって分類する場合、類似性の判断を行うための明示的で効率的な方法を提供する。【解決手段】文書間の共通キーワード数を閾値として利用し、直接的、間接的に接続される文書の同一グループ性を検査し分類する。その際に、共通キーワード数閾値を段階的に変化させながら分類を行うことにより、グループ内の文書数とグループ総数とを抑制しながら文書群全体を分類することを可能とする。【選択図】図１
2011060061.tif 000002
【特許請求の範囲】
【請求項１】
文書間共通キーワード数計算部、共通キーワード数閾値制御部、グループ内文書数制御部、同一グループ検知部、グループ分離部、分類結果出力部、文書データベース、キーワードデータベース、グループ情報データベースより構成され、
該文書間共通キーワード数計算部は、該文書データベースに登録された２文書間の共通キーワード数をカウントした後該キーワードデータベースに登録し、
該同一グループ検知部は、該共通キーワード数閾値制御部が設定する文書間の共通キーワード数閾値に従い直接的、あるいは、間接的な接続状態にある複数の文書を同一グループとして検知し、
該グループ分離部は、検知されたグループにおけるグループ内文書数が該グループ内文書制御部が設定するグループ内文書数条件を満たす場合に、該グループを処理文書群から分離した後，該グループ情報データベースに登録することを特徴とする文書情報分類方法、およびそれを用いた文書情報分類システム。
【請求項２】
請求項1記載の文書情報分類方法および文書情報分類システムであって、
該共通キーワード数閾値制御部が閾値を動的に設定する際に、処理対象とする文書群における文書間共通キーワード数の最小値より小さい閾値を初期値として、単調的に上昇するように変更設定することを特徴とする文書情報分類方法、およびそれを用いた文書情報分類システム。
【請求項３】
請求項1記載の文書情報分類方法および文書情報分類システムであって、
該共通キーワード数閾値制御部が閾値を動的に設定する際に、処理対象とする文書群における文書間共通キーワード数の最大値より大きい閾値を初期値として、単調的に下降するように変更設定することを特徴とする文書情報分類方法、およびそれを用いた文書情報分類システム。
【請求項４】
請求項1記載の文書情報分類方法および文書情報分類システムであって、
該共通キーワード数閾値制御部が外部から提供されるファイル情報に記載された共通キーワード数閾値系列を読み取り、該系列の順に共通キーワード数閾値を設定することを特徴とする文書情報分類方法および文書情報分類システム。
【請求項５】
請求項1記載の文書情報分類方法および文書情報分類システムであって、
該グループ内文書数制御部が外部から提供されるファイル情報に記載されたグループ内文書数系列を読み取り、該系列の順にグループ内文書数を設定することを特徴とする文書情報分類方法および文書情報分類システム。
【請求項６】
請求項1記載の文書情報分類方法および文書情報分類システムであって、
該共通キーワード数閾値制御部および該グループ内文書数制御部が外部から提供されるファイル情報に記載された共通キーワード数閾値系列とグループ内文書数系列の対情報を読み取り、該系列の順に同期的に共通キーワード数閾値とグループ内文書数とを設定することを特徴とする文書情報分類方法および文書情報分類システム。
【請求項７】
請求項1記載の文書情報分類方法および文書情報分類システムであって、
該システムは、分類の結果を表示する際に、共通キーワード数の閾値の設定値を階層値として用い、全体階層、あるいは、利用者が指示する特定の階層を表示することを特徴とする文書情報分類システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、様々な情報が記述された複数の文書群、特に、多数の文書からなる文書群に対して、それらを分類したりグループ分けしたりするための方法とそれを使ったシステムとを対象とするものである。
【背景技術】
【０００２】
様々な情報が、文書、あるいは文書群として記述され、また、管理されている。これらは、従来からいろいろな方法により分類、あるいはグループ分けされ、人の情報活用に利用されてきた。
【０００３】
このような分類において、非常に多くの文書が存在する場合であっても、それを自動で行うことができれば、例えばその後の人の情報活用に効率的に役立てることが可能となる。特に、多くの文書に対して、その内容の類似性の高さでグループ化することができれば、同種の文書の把握が容易となり管理しやすくなるという利点がある。
【０００４】
特許文献１においては、文書群の関係を座標系に配置する際に、文書間距離を文書類似度の増大関係と反対の関係となるようにしながら配置する文書移動手段とこれを用いた文書分類装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2008-90510
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、このような文書の内容の類似性によってグループ化しようとした場合に、どのようにして内容が類似しているかを判断するか、また、類似性が高い文書どうしをどのようにしてグループ化するかに関して、明示的で効率的な方法が提供されなければこれを行えないといった問題が存在する。
【０００７】
また、このようなグループ化では、その後の人の情報活用を支援するという目的においては、個々のグループのサイズ（グループ内の文書数）やグループ総数が適切な数に抑制されなければ、管理や処理が困難になるという問題が存在する。なぜなら、一つのグループ内の文書数やグループ総数が過剰に多くなってしまうと、人がこれを把握することが難しくなるためである。
【０００８】
背景技術で引用したような特許文献１は、文書の間の類似度に応じて座標系に配置する際の文書間距離を調整することが可能となる。これにより、文書類似関係を人が見て判断することが容易化されると想定されるが、その分類の方法には以下のような問題が存在した。
【０００９】
すなわち、開示文献に示される方法では、明示的にどの文書とどの文書を同じグループに属するようにし、どの文書とどの文書を別のグループに属するようにするかといったことを、グループ排他的に、すなわち、一つの文書が複数のグループに属することがないようにしながら決定することは容易ではない。
【００１０】
また、一般に、分類やグループ化では、その後の人の情報活用を支援するという目的があるから、個々のグループ内の文書数（グループサイズ）やグループ総数が過剰に大きくならないように適切なものとされることが望ましい。これは、一つのグループ内の文書数やグループ数が大きくなると、人がこれを把握したり管理したりすることが難しくなるためである。例えば、１グループ内の文書数が数百以上にも及んだりすると、人がその文書を調査するような場合に、グループ化が済んだあとであっても非常に多くの文書を処理しなければならなくなってしまうという問題がある。また、グループ総数が大きくなると、グループ化が済んだ後であってもなお、多くの数のグループを処理する必要があるため、やはり情報の活用が難しくなってしまうという問題がある。
【００１１】
このような問題対し、上述の開示特許文書に示されるような方法や装置は、一つのグループ内の文書数やグループ総数が過度に増大しないように抑制しながら、明示的に文書とそれが属するグループとの関係を与えられるような分類方法を示していない。
本発明では、明示的にどの文書群が同じグループに属するかをグループ排他的に決定する手段を与えると同時に、一つのグループ内の文書数を抑制し、また、グループ総数を抑制できるような分類方法を提供する。
【課題を解決するための手段】
【００１２】
本発明は、文書群のグループ化を行う際に、一つのグループ内の文書数とグループ総数の増大を抑制しながら、与えられた文書群を複数のグループに明示的に分類するために以下のような手段を用いる。
【００１３】
本発明による分類システム、あるいはグルーピングシステム（100）は、図１に示すように、文書入力部（101）、キーワード抽出部（102）、文書間共通キーワード数計算部（103）、共通キーワード数閾値制御部（104）、グループ内文書数制御部（105）、同一グループ検知部（106）、グループ分離部（107）、分類結果出力部（108）、文書データベース（110）、キーワードデータベース（111）、グループ情報データベース（112）より構成される。
【００１４】
文書入力部は、本発明を用いたシステムに複数の文書の情報を入力するためのもので、各文書のテキスト情報を読み取りシステム内の文書データベースに保持する。これは、文書ID（システム内の文書特有の指示記号）から対応する文書内部のテキスト情報を読み出すことを可能にするものである。
【００１５】
キーワード抽出部は、文書のテキスト情報が与えられると、その中に存在する重要ワードをキーワードとして抽出し、キーワードデータベースに保持するものである。
【００１６】
文書間共通キーワード数計算部は、対象とする文書群に含まれる少なくとも２つの文書の間で共通するキーワードの数をカウントし、キーワードデータベースに保持する。
【００１７】
共通キーワード数閾値制御部は、グループ化に用いる共通キーワード数の閾値基準をグループ化の最中に変更しながら設定を行うものである。すなわち、一連の処理の途中において、動的にその閾値の設定を増減させることを制御する部分である。
【００１８】
グループ内文書数制御部は、１つのグループの中に存在しうる文書数の上限値を制御する部分である。これは、１つのグループの中の文書数が過度に大きくならないようにすることを目的として文書数の上限値を設定するものである。
【００１９】
また、同一グループ検知部は、文書どうしが共通キーワード数閾値制御部で設定された共通キーワード数閾値より大きい共通キーワード数で直接的、あるいは間接的に接続されているかどうかを検知する部分である。
【００２０】
グループ分離部は、上記の同一グループ検知部により互いに同一グループであるとされた文書群を、対象とする文書群全体から分離することにより、独立したグループとしてグループデータベースに登録するものである。グループの分離と登録は、上記グループ内文書数制御部が設定するグループ内文書数に従い決定されるものである。
【００２１】
分類結果出力部は、文書群入力部で与えられた複数の文書のそれぞれに関して、上述したグループ分離部で分離分割された複数のグループのどのグループに属するかの結果を出力するものである。
【００２２】
本発明は、典型的には以下の２つのステップ（S1、S2）を経て文書の分類、あるいは、グループ化を行う。
（S1）文書からキーワードを抽出
（S2）共通キーワード数に関わる所定の基準に従い文書群を複数に分割
（S2）では、文書間の共通キーワード数をカウントした後、共通キーワード数閾値より大きい共通キーワード数で直接的、あるいは間接的に接続される文書群を同一グループと決定し、直接的、間接的に接続されていない文書群は非同一グループと決定する。このような文書どうしの同一グループ性の判断は、同一グループ検知部が行うものである。ここで、直接的、あるいは間接的に接続される状態とは以下に示すとおりである。
【００２３】
直接的に接続されている状態とは、２つの文書の間の共通キーワード数が上記共通キーワード数閾値制御部で設定された閾値以上の場合の２つの文書間の接続状態を指し、間接的に接続されている状態とは、２つの文書の間の共通キーワード数が上記閾値未満であっても、それら２つの文書は、別の一つ、あるいは、複数の文書との間に閾値以上の数の共通キーワードを持ち、数珠繋ぎ的に一方の文書から他方の文書に到達が可能な接続がなされている状態を指す。
【００２４】
図２は、文書とそれら間の共通のキーワード数とを示した例である。
【００２５】
文書は、同図中に数字つきのノード（201、202）として示され（丸内の数字がノード番号、あるいは、文書番号）、また、文書間の共通キーワード数はそれらノードを結ぶ線の横（203）に記載されている。例えば、同図では文書２と文書７に関して、その双方に存在する共通キーワードの数が３であることが示されている。
【００２６】
今、共通キーワード数閾値制御部で設定された閾値が1.5である場合を見る。文書２と文書７の２つの文書は閾値以上の共通キーワード数で結ばれているため、これらは直接的に接続されている状態にある。一方、文書１と文書７は互いの間に閾値以上の共通キーワード数で結ばれていないため、直接的には接続されていない。しかし、文書２が文書１および文書７のいずれとも閾値以上の共通キーワード数で結ばれているため、数珠繋ぎ的に文書１から文書７に到達することが可能である。したがって、文書１と文書７とは間接的に接続されている状態にある。
【００２７】
他方、閾値以下の共通キーワード数で結ばれる文書どうしは直接的にも間接的にも接続されていないことになるため、同図の文書６と文書９は非接続とみなされ、また、同図の文書８と文書１１も非接続とみなされる。
【００２８】
また、このような非接続の部分により全体を分離すれば、同図全体の文書群は、４つに分離されることになる。すなわち、文書１、２、３、７、９よりなるグループ１、文書４、５、６よりなるグループ２、文書８、１０、１２よりなるグループ３、文書１１よりなるグループ４の総数４つのグループである。このように本発明を用いれば、明示的にどの文書群が同じグループに属するかを決定することが可能となる。
【００２９】
さらに、本発明では、上述したような共通キーワード数閾値をグループ分けの最中に動的に制御しながらグループの分離を行うことにより、一つのグループ内の文書数やグループ総数が過度に増大しないようにしながら、文書群を複数のグループに分割することを可能とする。
【００３０】
本発明では、そのような方法として、図２に示すような文書と共通キーワード数の構成があった場合に、段階的に共通キーワード数閾値を上昇、あるいは下降させながらグループの分離を行っていく方法により、グループ総数を抑制しながら文書群を分類することを可能とする。また、この際に、グループ内文書数制御部がグループ内の文書数を設定、検査することにより、一つのグループ内の文書数が増大することを抑制する。
【００３１】
以下では、グループ内文書数制御部により設定されるグループ内文書数はその上限値が３であるものとして、段階的に共通キーワード数閾値を上昇させるような例を説明するが、ここでは、閾値を順に0.5、1.5、2.5、3.5と上昇させる。
【００３２】
まず、閾値が0.5として設定され、上述のような直接的、および、間接的な接続関係で結ばれる文書群を同一グループ検知部の処理にしたがいグループ化する。文書１、２、３、４、５、６，７，９によるグループAと文書８、１０、１１、１２のグループGとに分離される。いずれのグループもグループ内文書数制御部により設定されるグループ内文書数よりも大きいため、目的とする１グループのサイズ上限値よりも大きい。したがって、これは最終的な分類グループとはみなされず、以降の処理に持ち越される。このように、分離されたグループ内の文書数が、グループ内文書数制御部により設定されるグループ内文書数以内であるか否かによって、グループとして登録がなされるか、あるいは、以降の処理に進められるかが分かれる。
【００３３】
次に、閾値が1.5として設定され、上記でグループとして分離と登録がなされなかった文書について、同一グループ検知部の処理にしたがい再度グループ化する。これにより、文書１、２、３、７、９によるグループa、文書４、５，６によるグループc、文書８、１０、１２のグループg、文書１１によるグループjとに分割される。ここで、グループc、グループg、グループjはいずれもそのサイズ（グループ内文書数）がグループ内文書数制御部により設定されるグループ内文書数以内であるため、それぞれ処理対象文書群から分離され、グループIDが付与され登録される。一方、グループaは、そのサイズが５であることから、グループ内文書数制御部により設定されるグループ内文書数より大きいため、以降の処理に持ち越される。
【００３４】
次に、閾値が2.5に設定され、文書１、２、３、７、９によるグループが生成されるが、グループのサイズは５のままで変わらないため、未だ最終グループとして分離登録されず、以降の処理に持ち越される。
【００３５】
次に、閾値が3.5に設定される。文書２と文書７の間の共通キーワード数が３であるため、この間は直接的にも間接的にも接続されていない状態となり、結果として、文書１、２、３よりなるグループmと文書７、９よりなるグループpとに分割される。いずれのグループもサイズがグループ内文書数制御部により設定されるグループ内文書数以下であるため、グループとして分離登録される。
【００３６】
以上の結果、最終的に生成されるグループは、上述のグループc、グループg、グループj、グループm、グループpの５つとなる。
【００３７】
このようにして得られたグループ分割の結果を見れば、一つのグループ中に存在する文書の数は、あらかじめ許容範囲として設定した文書数制限値以下であることがわかる。また、グループ総数は５であるが、このグループ総数が抑制された望ましいものであることは、他の方法を用いて同様の処理を行った以下のような場合との比較でこれを示すことができる。
【００３８】
上述したような他の方法として、共通キーワード数閾値を特別な決定方法によらずに、適当な値に設定にする場合を見てみる。このような例として、閾値を第1回目に5.5に設定する場合を調べる。
【００３９】
この場合、同様の手続きにより文書群をグループ分割すれば、一回目の閾値設定を反映した段階で全てのグループのサイズがグループ内文書数制御部により設定されるグループ内文書数以内となるため、全てのグループが最終グループとして分離登録される。
【００４０】
すなわち、文書番号１、２，３よりなるグループr、文書７、９よりなるグループs、文書４、６よりなるグループt、文書５よりなるグループu、文書８よりなるグループv、文書９よりなるグループw、文書１０よりなるグループx、文書１１よりなるグループy、文書１２よりなるグループzの全部で９個のグループである。
【００４１】
この場合、先の場合でグループ総数が５であったのに比較して、グループ総数が９となり相当に大きいことがわかる。したがって、先の場合の方法がグループ総数を抑制する目的にふさわしい方法を提供していることが確認できる。これは一例を示したものであるが、我々は、多数のサンプルを用いた実験等により、上述したような共通キーワード数の閾値を段階的に上昇する方法が、一つのグループ内の文書数を抑制しながら、かつ、グループ総数を抑制して分類を行うという目的に合致することを見出した。
【００４２】
以上のようにして、本発明では、明示的にどの文書群が同じグループに属するかを決定する手段を与えると同時に、一つのグループ内の文書数が増大してしまうといった問題、あるいは、グループ総数が増大してしまうといった問題を解決することが可能な手段を提供する。
【００４３】
さらに別の本発明は、グループ内の文書数が増大してしまうといった問題、あるいは、グループ総数が増大してしまうといった問題を解決した上で分類した結果について、それを階層的な構造として捉えた場合に、各文書がどの階層に配置されるかといった情報を表示する手段を提供する。また、上記階層的な構造を地形概念図として表示することにより、利用者の判断を容易化することが可能な手段を提供する。
【００４４】
さらに別の本発明は、上記階層的な構造において、直接的、あるいは間接的に接続される状態の塊のサイズが一定数以下のグループを選択的に取り出すための手段を提供する。
【００４５】
さらに別の本発明は、各文書のテキスト量に相違があっても、これを考慮した上で類似度に応じて文書を分類、あるいはグループ化することが可能な方法を提供する。
【００４６】
なお、本発明において、文書とは、テキストで記述されたものならいかなるものであってもよく、書類、資料、書籍などが全て含まれる。例えば、技術を記載した論文等の技術文献、人の特徴を記載したプロファイル情報、場所の特徴を記載したマップ情報、時刻別のイベントの特徴を記載したイベント履歴情報などは、いずれもテキストを用いて表現される文書に含まれることは言うまでもない。
【００４７】
また、紙面に限らず、インターネットやイントラネットなどのWEB上のページに表示されるテキストコンテンツなども文書に含まれる。
【００４８】
さらに、テキストのかわりにバイナリ情報であっても、個々の要素がビット列の形でパターンとして特定することが可能であれば、個々の要素はテキストの単位となる文字と同等とみなせるため、やはりそれらを用いて構成されるデータも文書として扱うことが可能である。したがって、そのような場合も同様に、本発明を適用することが可能である。
【００４９】
また、遺伝子構成や分子構成などの物質構成においても、一定のパターンが記号として表現できるような場合にはそれらも文字と同等であり、それらを部分構成要素として含むより大きな構成も文書とみなすことが可能であるため、このような場合にも、その文書の類似度によるグループ化を行う際に本発明を適用することが可能である。
【発明の効果】
【００５０】
多数の文書群を分類する際に、グループ内文書数やグループ総数の増大を抑制しながら分類を行うことが可能となる。
【図面の簡単な説明】
【００５１】
【図１】本特許を用いたシステムの構成図
【図２】本特許を説明するための文書群の関係説明図
【図３】本特許の処理フローチャート１
【図４】本特許で用いる文書間共通キーワード数表
【図５】本特許の処理フローチャート２
【図６】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト１
【図７】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト２
【図８】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト３
【図９】本特許の処理フローチャート３
【図１０】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト４
【図１１】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト５
【図１２】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト６
【図１３】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト７
【図１４】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト８
【図１５】本特許で用いる到達可能グループID表、および、到達可能文書グループリスト９
【図１６】本特許の処理フローチャート４
【図１７】本特許を用いたシステムの構成図２
【図１８】本特許を用いたシステムの構成図３
【図１９】本特許を用いたシステムの構成図４
【図２０】本特許を用いた文書階層表示例
【図２１】本特許を用いた文書地形的表示例
【発明を実施するための形態】
【実施例１】
【００５２】
本発明第1の実施形態について、図１、図２、図３、図４、図５、図６、図７、図８を用いて、グループ内の文書数を増大させないようにしながら、グループ総数を抑制した分類を行う例を示す。以下では、図２で与えられるような共通キーワード関係を有する複数の文書を分類する際に、図１に示す各部が図３に示されるような一連の手続きを実行する。なお、図３には、文書情報のシステムへの入力と文書データベースへの登録、および各文書ごとのキーワード抽出とキーワードデータベースへの登録が終了しており、分類処理を実行開始する部分からが示されている。
【００５３】
まず、図３において、文書間共通キーワード数表の作成を行う（301）。ここでは、文書間共通キーワード数計算部が、２つの文書の間の共通キーワード数を計算する。各文書に対応するキーワード情報は、キーワードデータベースに登録されている。２つの文書を対象として、一方の文書から抽出されたキーワードのそれぞれが、他方の文書から抽出されたキーワード群に含まれているかどうかを調べる。含まれている場合にはこれを共通キーワードとして印付けする。一方の文書から抽出されたキーワードの全てに対して処理を終了した後、印付けされたキーワードの数をカウントする。これにより、図４に示されるような文書間の共通キーワード数が記された文書間共通キーワード数表（400）が作成され、これがキーワードデータベースに登録される。例えば、文書２の行（401）およびと文書７（402）の列の交点（403）を参照すれば、それら２つの文書間の共通キーワード数は３であることが示される。
【００５４】
次に、分類で用いるための共通キーワード数閾値を初期化する（302）。例えば、共通キーワード数閾値を0と初期化する。本ステップを含め、以下の共通キーワード数閾値の変更は全て、共通キーワード数閾値制御部が管理する。
【００５５】
次に、共通キーワード数閾値を0.5に上昇させる（303）。
【００５６】
次に、同一グループ検知部が、閾値以上の文書同士を接続した到達可能文書グループリストを作成する（304）。例えば、このような到達可能文書グループリストの作成方法としては、どのような方法が用いられても構わないが、一つの方法として本実施例記載の末尾に後述するようなものがある。このような方法を実施した結果として作成された到達可能文書グループリスト（図６の610）には、２つの文書群グループA（611）とG（612）が存在する。
【００５７】
次に305のステップへと移る。到達可能文書グループリストから未チェックの一つを選択すると、グループA（611）が選ばれる。306のステップでこれがグループ内文書数制御部の設定するグループ内文書数以下（本例では３以下）であるかどうかがチェックされ、今、その文書数（グループのサイズ）が８であることから、グループ内文書数制御部の設定するグループ内文書数以内でないため、309のステップへと進む。まだ全てのグループがチェックされていないから、305のステップで次のグループとして、G（612）が選択される。同様にして306のステップが実施されると再びグループGは、そのサイズが４であることから、グループ内文書数制御部の設定するグループ内文書数以内でないため、309のステップに進む。この段階で全てのグループのチェックが終了したため、310のステップへと進む。全グループに最終グループIDが付与されているかどうかが調べられ、未だ全グループに最終グループIDが付与されていないので、303のステップへと進む。
【００５８】
303のステップでは、共通キーワード数閾値を1.5に上昇させる。以降、304のステップでは、上述と同様図５に示されるステップを経て、図７に示されるように到達可能グループID表（701）は推移し、最終的に到達可能文書グループリスト（710）が作成される。ここでは、全部で４つのグループ（711、712、713、714）が作成される。305のステップにおいて一つのグループa（711）が選択され、306のステップにおいてその文書数が調べられるが、これが５であり、グループ内文書数制御部の設定するグループ内文書数以内でないため、309のステップへと進む。
【００５９】
まだ全てのグループがチェックされていないから、305のステップで次のグループとして、c（712）が選択される。306のステップにおいてその文書数が調べられ、これが３であり、グループ内文書数制御部の設定するグループ内文書数以内であるため、このグループは全体文書群から分離され、最終グループIDが付与され登録される。
【００６０】
まだ全てのグループがチェックされていないから、305のステップで次のグループとして、g（713）が選択される。306のステップにおいてその文書数が調べられ、これが３であり、グループ内文書数制御部の設定するグループ内文書数以内であるため、このグループは全体文書群から分離され、最終グループIDが付与され登録される。
【００６１】
まだ全てのグループがチェックされていないから、305のステップで次の文書群として、j（714）が選択される。306のステップにおいてその文書数が調べられると、これが１であり、グループ内文書数制御部の設定するグループ内文書数以内であるため、このグループは全体文書群から分離され、最終グループIDが付与され登録される。未だ全てのグループに最終グループIDが付与されていないので、303のステップへと進む。
【００６２】
303のステップでは、共通キーワード数閾値を2.5に上昇させる。未だ最終的なグループIDが付与されていない文書、すなわち文書１，２、３、７、９に対して、304以降のステップを実行するが、その結果は、図7における文書群a（711）から変化しない。したがって、未だ全てのグループに最終グループIDが付与されていないので、303のステップへと進む。  303のステップでは、共通キーワード数閾値を3.5に上昇させる。図８に示されるように到達可能グループID表（801）は推移し、最終的に到達可能文書グループリスト（810）が作成される。ここでは、全部で２つのグループ（811、812）が作成される。305のステップにおいて一つのグループm（811）が選択され、306のステップにおいてその文書数が調べられるが、これが３であり、グループ内文書数制御部の設定するグループ内文書数以内であるため、このグループは全体文書群から分離され、最終グループIDが付与され登録される。
【００６３】
まだ全てのグループがチェックされていないから、305のステップで次のグループとして、p（812）が選択される。306のステップにおいてその文書数が調べられ、これが２であり、グループ内文書数制御部の設定するグループ内文書数以内であるため、このグループは全体文書群から分離され、最終グループIDが付与され登録される。
【００６４】
ここで、310のステップとして、全てのグループに最終グループIDが付与されたかどうかが調べられ、全てのグループに最終グループIDが付与されたために一連の処理を終了する。
【００６５】
以上のようにして、最終的に、５つのグループIDを持つグループ（c、g、j、m、p）へと文書は分類される。
【００６６】
さて、ここで、先に述べた到達可能文書グループリストの作成方法の一例を、図５に示されるような一連の手続きとして示す。本手続きは一例を示すものであり、先に述べたように他のいかなる方法を用いてもよいことは言うまでもない。
【００６７】
まず、全部でNの文書が存在した場合に、その中の番号の昇順で一つずつ文書を選択する（501）。今、この文書番号をiとする。この文書にグループID（あるいはグループ番号）が付与されていれば次のステップに進むが、付与されていなければ、これにグループIDを付与する（502）。次に、iより大きい文書番号の文書を昇順で一つずつ選択する（503）。今、この文書番号をjとする。次に、文書iおよび文書jの間が閾値以上の共通キーワードで直接的に接続されているかどうかを同一グループ検知部が調べる（504）。
【００６８】
もし、両文書が閾値以上で接続されている場合には、文書jにグループIDが存在するかどうかを調べ（505）、存在する場合には文書iとjの若い方のグループIDを双方に付与し、若くない方のグループIDを持つ全ての文書のグループIDを若い方のグループIDに更新する（506）。もし、文書jにグループIDが存在しない場合には、文書iのグループIDを文書jに付与する（507）。
【００６９】
もし、両文書が閾値以上で接続されていない場合には、文書jにグループIDが付与されているかどうかを調べ（508）、付与されていない場合には新しいグループIDを付与する（509）。
文書jとしての文書選択が文書Nまで終了するまでは、ステップ503以降を繰り返すが、文書Nまで終了すると文書iの選択が終了したかどうかの判定へと進む（510）。
文書iとしての文書選択が文書Nまで終了するまでは、ステップ502以降を繰り返すが、文書Nまで終了すると次のステップに進む（511）。次に、到達可能グループID表を調べて到達可能リストに文書IDを挿入し（512）、一連の処理を終了する。
【００７０】
図６は、先に述べた到達可能文書グループリスト（610）の作成を行うにあたり、到達可能グループID表（601）を使いながら同リストを作成する手順を示している。これは、図５を用いて説明した一連の処理により、各文書のグループIDがどのように付与され、また変化していくかを示している。
【００７１】
まず、最初に、全ての文書はグループIDが付与されていないため、グループIDがないものとして、ヌルの状態（602）となっている。以下図５の一連の処理にしたがって図６の変化を示す。
【００７２】
まず、501のステップで文書１がiとして選ばれる。次に、502のステップにて文書１は新しいグループIDとしてA（603）が付与される。次に503のステップで文書２が選択される。504のステップで、文書１と文書２の間が共通キーワード数が閾値以上で直接接続されているかどうかが判断されるが、今、両者の間は閾値以上で接続されているため、505のステップに進む。文書２にはグループIDは付与されていないため、507のステップで文書２に対してグループIDとしてA（604）が付与される。
【００７３】
次に、510のステップでjがN（本例では１２である）まで到達していないので、503のステップに戻り文書３がjとして選ばれる。文書１と文書３の間の共通キーワード数が閾値以上で接続されているかどうかが504のステップで判断され閾値以上で接続されているため505のステップに進み、文書３にはグループIDが付与されていないため、507のステップに進み文書３にグループIDとしてB（605）が付与される。
【００７４】
次に、510のステップでjがNまで到達していないので、503のステップに戻り文書４がjとして選ばれる。504のステップで文書１と文書４は共通キーワード数が閾値以上で直接接続されていないため、508のステップにて文書４にグループIDが付与されているかどうかが調べられ、付与されていないため509のステップで文書４に新しいグループIDとしてC（606）が付与される。
【００７５】
次に、510のステップでjがNまで到達していないので、503のステップに戻り文書５がjとして選ばれる。504のステップで文書１と文書５は共通キーワード数が閾値以上で接続されていないため、508のステップにて文書５にグループIDが付与されているかどうかが調べられ、付与されていないため509のステップで文書５に新しいグループIDとしてD（607）が付与される。
【００７６】
さらに図5に示すような一連の処理を継続することにより、最終的に到達可能グループID表には、各文書IDの行の末尾に示されるようなグループIDが付与されることになる。したがって、これらを各グループID別に、そこに属する文書としてリスト化することにより、到達可能文書グループリスト(610)が作成される。
【実施例２】
【００７７】
本発明第２の実施形態について、図１、図２、図９を用いて、グループ内の文書数を増大させないようにしながら、グループ総数を抑制した分類を行う例を示す。本実施形態は、実施例１のそれと文書間共通キーワード数閾値制御の方法が異なるものであり、実施例１のそれが閾値制御を上昇させるように制御したのに対し、本例では閾値制御を下降させるように制御するものである。
【００７８】
また、グループ内文書数制御部が設定するグループ内文書数は、やはり、実施例１の場合と異なり、グループ分離を引き起こす下限値となるものである。この場合、グループ内の文書数は、実施例１のように厳密に指定数以内に制御されるものではないが、これに近い近似値として与えられるものである。
【００７９】
実施例１と同様、以下では、図２で与えられるような共通キーワード関係を有する複数の文書を分類する際に、図１に示す各部が図９に示されるような一連の手続きを実行する。以下では、実施例１と異なる部分に関して説明する。
【００８０】
文書間共通キーワード数表の作成を行った後（301）、分類で用いるための共通キーワード数閾値を初期化する（302）。閾値を本実施例では下降させることを想定し、図２中の最大の文書間共通キーワード数の7に設定を行うものとする。  次に、共通キーワード数閾値を0.5下降させ、6.5に設定する（303）。  次に、同一グループ検知部が、閾値以上の文書同士を接続した到達可能文書グループリストを作成する（304）。  作成された到達可能文書グループリスト（図１０の1010）には、１１の文書グループが作成される。各グループのサイズはいずれも３未満であるため、どのグループも登録されない。
【００８１】
次に、共通キーワード数閾値を0.5下降させ、5.5に設定する。これにより到達可能文書グループリスト（図１１の1110）には、９つの文書グループが作成される。1112〜1119の各グループのサイズはいずれも３未満であるため登録されないが、1111のグループはそのサイズが３であるため登録される。次に、共通キーワード数閾値を0.5下降させ、4.5に設定する。これにより到達可能文書グループリスト（図１２の1210）には、６つの文書グループが作成される。1212〜1216の各グループのサイズはいずれも３未満であるため登録されないが、1211のグループはそのサイズが３であるため登録される。
【００８２】
次に、共通キーワード数閾値を0.5下降させ、3.5に設定する。これにより特に変化はないので、さらに共通キーワード数閾値を0.5下降させ、2.5に設定する。これにより到達可能文書グループリスト（図１３の1310）には、４つの文書グループが作成されるが、いずれもサイズが３未満であるため登録されない。
【００８３】
次に、共通キーワード数閾値を0.5下降させ、1.5に設定する。これにより到達可能文書グループリスト（図１４の1410）には、３つの文書グループが作成される。1411と1413の各グループのサイズはいずれも３未満であるため登録されないが、1412のグループはそのサイズが３であるため登録される。次に、共通キーワード数閾値を0.5下降させ、0.5に設定する。これにより到達可能文書グループリスト（図１５の1510）には、２つの文書グループが作成される。いずれのグループもそのサイズが３未満であるが、共通キーワード数閾値は１以下となったためもはやこれ以上の下降は意味がなく、最終状態と等しくなったため、これら２つのグループが登録される。以上のようにして、最終的に、５つのグループIDを持つグループ（a、j、v、x、y）へと文書は分類される。このような方法により、本実施例では、グループサイズとグループ総数を抑制した分類がなされる。
【実施例３】
【００８４】
図９に示す実施例は、上述の実施例２における処理を意図的に途中で終了することにより、文書の分類（グループ化）に必要となる処理時間の増大を抑制しながら、より類似性の高いグループのみを抽出する方法を提供するものである。すなわち、図9において全ての文書がグループに分類される以前に、目的の数のグループが分離された時点で処理を中断するものである。このような処理の中断は、図９の910のステップのかわりに、図１６の1610のように指定数以上のグループが分離された段階で終了するようにするものである。このような方法によれば、特別に強い類似度がある文書群を一定数だけ抽出したいといった要求に対し、一定数を超えるグループの分離処理を全て省略することにより、短い時間で結果を取得することが可能となる。このような方法は、特に、全体の文書数が著しく多いような場合に、より短い時間で分類を行いたいといった場合に有効である。
【実施例４】
【００８５】
図１７に示す実施例は、本発明を用いたシステムにおいて、外部から提供されるファイル（1701）に記載された共通キーワード数閾値系列を共通キーワード数閾値制御部が読み取り、その値に共通キーワード数閾値を設定することを特徴とするものである。このような方法によれば、共通キーワード数閾値の制御をあらかじめ共通キーワード数閾値制御部の制御手続きとしてシステム内で固定するかわりに、入力ファイルの変更として柔軟に変更することができるという利点がある。
【実施例５】
【００８６】
図１８に示す実施例は、本発明を用いたシステムにおいて、外部から提供されるファイル（1801）に記載されたグループ内文書数系列をグループ内文書数制御部が読み取り、その値にグループ内文書数を設定することを特徴とするものである。このような方法によれば、グループ内文書数の制御をあらかじめグループ内文書数制御部の制御手続きとしてシステム内で固定するかわりに、入力ファイル変更として柔軟に変更できるという利点がある。
【実施例６】
【００８７】
図１９に示す実施例は、本発明を用いたシステムにおいて、外部から提供されるファイル（1901）にペア情報として記載された共通キーワード数閾値系列とグループ内文書数系列とを、共通キーワード数閾値制御部、およびグループ内文書数制御部が同期的に読み取り、それらの値に共通キーワード数閾値とグループ内文書数を設定することを特徴とするものである。このような方法によれば、文書間の類似関連強度の違いに応じて、グループサイズを変化させられるという利点がある。例えば、相互に強い類似関係がある文書群は小さいサイズのグループとして、また、相互に弱い類似関係にある文書群は大きいサイズのグループとして分類を行うといったことが可能となる。逆に、相互に強い類似関係にある文書群は大きいサイズのグループとして、また、相互に弱い類似関係にある文書群は小さいサイズのグループとして分類を行うといったことも可能となる。
【実施例７】
【００８８】
図２０に示す実施例は、共通キーワード数閾値情報とその閾値により分離されたグループ情報とを表（図２０（a））に保持し、これを用いてその階層関係を図示（図２０（b））できるようにしたものである。このような図示情報を用いることにより、ある文書の属するグループが文書全体の階層構造のどの階層に位置しているかといった関係を把握することが容易になる。ここで、階層構造は、共通キーワード数の閾値の違いを反映したものであるから、文書間の類似程度を反映した階層を図示したものとなる。処理システム（図２０（c））では、全体の階層構造を表示したり、特定の階層をシステム利用者が特別に指示することにより、その階層のみを拡大して表示したりするといったことができるようになる。
【００８９】
例えば、技術情報の文書においてこのような関係を図示すれば、技術間の類似関係によって大きく群を成す技術集合を抽出したり、小さく群を成す技術集合を抽出したり、あるいは、完全に孤立する技術集合を抽出したりするといったことが可能となる。
【００９０】
さらに、別の利用形態では、人のプロファイル情報として所属情報や趣向情報が記載された文書に本発明を適用すれば、その所属情報の類似関係や趣向の類似関係によって大きく群を成す集団を抽出したり、小さく群を成す集団を抽出したり、あるいは、完全に孤立する集団を抽出したりするといったことが可能となる。これによって、例えば、趣向の共通性が強いグループを抽出したり、逆に趣向の共通性があまり強くないグループを抽出したりするといったことが可能となる。
【実施例８】
【００９１】
図２１は、本発明のグループ化の結果の表示手法として、地形学的要素である陸地と水面の関係を使い表示したものである。一つの文書を，十分な高度の一つの陸地要素（あるいは、島2101）として表示し、また，共通キーワードを，陸地間を接続する土壌要素（2102）として表示し、その土壌の高さを共通キーワード数に対応させ、さらに、これら陸地と土壌が存在する地形に非透明水を挿入するものとし、その水面（2103）を共通キーワード数閾値に対応させるように表示するものである。
【００９２】
図２１（a）はこのような地形状態を側面方向からの視点を図示したものであり、図２１（b）は同状態を上面方向から図示したものである。これは、非透明水の水面以下の地形情報が視認できなくことを利用して、本発明における直接的にも間接的にも接続されない状態を視覚的に判別しやすくしたものである。このような表示方法を用いることにより、文書のグルーピング結果を人の直感に合致するように行うことができるようになるという利点がある。
【実施例９】
【００９３】
さらに、本発明の別の実施例では、共通キーワードを判別する対象となる文書の総テキスト量（総文字数）の大小に依存して共通キーワード数閾値を変化させることで質の高い分類方法を提供することが可能となる。例えば，総テキスト量が大きい文書では閾値を大きく設定し，逆に総テキスト量が小さい文書では閾値を小さく設定することにより，テキスト量の差による類似性の判断の差が生じにくいような分類の方法を提供することが可能となる。
【符号の説明】
【００９４】
１０１，１０２，１０３，１０４，１０５，１０６，１０７，１０８  ・・・  本発明のシステム内処理部
１１０，１１１，１１２  ・・・  データベース
２０１，２０２  ・・・  文書ノード，２０３  ・・・  文書間共通キーワード数
３０１，３０２，３０３，３０４，３０５，３０６，３０７，３０８，３０９，３１０，５０１，５０２，５０３，５０４，５０５，５０６，５０７，５０８，５０９，５１０，５１１，５１２，９０１，９０２，９０３，９０４，９０５，９０６，９０７，９０８，９０９，９１０，１６１０    ・・・    フローチャート要素
１７０１，１８０１，１９０１    ・・・  入力ファイル
４００，４０１，４０２，４０３，６０１，６０２，６０３，６０４，６０５，６０６，６０７，６１０，６１１，６１２，７０１，７１０，７１１，７１２，７１３，７１４，８０１，８１０，８１１，８１２，１０１０，１０１１，１０１２，１０１３，１０１４，１０１５，１０１６，１０１７，１０１８，１０１９，１０２０，１０２１，１１１０，１１１１，１１１２，１１１３，１１１４，１１１５，１１１６，１１１７，１１１８，１１１９，１２１０，１２１１，１２１２，１２１３，１２１４，１２１５，１２１６，１３１０，１３１１，１３１２，１３１３，１３１４，１４１０，１４１１，１４１２，１４１３，１４５１０，１５１１，１５１２  ・・・  表および表構成要素
２０１０，２０１１，２０１２，２０１３，２０１４，２０１５，２０１６，２０１７，２０１８，２０１９  ・・・  文書および文書群
２１０１，２１０２，２１０３  ・・・  地形的構成要素
【図１】
2011060061.tif 000003
【図２】
2011060061.tif 000004
【図３】
2011060061.tif 000005
【図４】
2011060061.tif 000006
【図５】
2011060061.tif 000007
【図６】
2011060061.tif 000008
【図７】
2011060061.tif 000009
【図８】
2011060061.tif 000010
【図９】
2011060061.tif 000011
【図１０】
2011060061.tif 000012
【図１１】
2011060061.tif 000013
【図１２】
2011060061.tif 000014
【図１３】
2011060061.tif 000015
【図１４】
2011060061.tif 000016
【図１５】
2011060061.tif 000017
【図１６】
2011060061.tif 000018
【図１７】
2011060061.tif 000019
【図１８】
2011060061.tif 000020
【図１９】
2011060061.tif 000021
【図２０】
2011060061.tif 000022
【図２１】
2011060061.tif 000023