(57)【要約】【課題】紙文書の複写時に生成されるイメージデータを収集し、再利用のためにそれらを管理・検索することを可能とする文書管理システムを提供する。【解決手段】文書のスキャンにより生成されたスキャン情報をデータサーバに取り込むための文書管理システムであって、スキャン情報から文書の図柄の情報を抽出し、データサーバに与える処理装置を含むことを特徴とする文書管理システム。【選択図】図１
2017175524.tif 000002
【特許請求の範囲】
【請求項１】
文書のスキャンにより生成されたスキャン情報をデータサーバに取り込むための文書管理システムであって、
前記スキャン情報から前記文書の図柄の情報を抽出し、前記データサーバに与える処理装置を含むことを特徴とする文書管理システム。
【請求項２】
文書のスキャンにより生成されたスキャン情報を得るデータサーバと、前記スキャン情報から前記文書の図柄の情報を抽出し、前記データサーバに与える処理装置を含むことを特徴とする文書管理システム。
【請求項３】
文書のスキャンによりスキャン情報を生成するスキャン情報生成手段と、文書のスキャンにより生成されたスキャン情報を得るデータサーバと、前記スキャン情報から前記文書の図柄の情報を抽出し、前記データサーバに与える処理装置を含むことを特徴とする文書管理システム。
【請求項４】
請求項１から請求項３のいずれか１項に記載の文書管理システムであって、
前記スキャン情報から得た前記文書の図柄の情報は、前記文書のレイアウトの情報であることを特徴とする文書管理システム。
【請求項５】
請求項１から請求項３のいずれか１項に記載の文書管理システムであって、
前記スキャン情報から得た前記文書の図柄の情報は、前記文書の特徴的な図形の情報であることを特徴とする文書管理システム。
【請求項６】
請求項１から請求項３のいずれか１項に記載の文書管理システムであって、
前記スキャン情報から得た前記文書の図柄の情報は、前記文書の構成色の情報であることを特徴とする文書管理システム。
【請求項７】
請求項１から請求項３のいずれか１項に記載の文書管理システムであって、
前記スキャン情報から得た前記文書の図柄の情報は、前記文書の色分布の情報であることを特徴とする文書管理システム。
【請求項８】
請求項１から請求項７のいずれか１項に記載の文書管理システムであって、
抽出した複数の前記文書の図柄の情報をグルーピングして保持しておき、グルーピングしたパターンを提示することを特徴とする文書管理システム。
【請求項９】
文書のスキャンによりスキャン情報を生成するスキャン情報生成手段を備えた請求項１から請求項８のいずれか１項に記載の文書管理システムであって、
前記スキャン情報生成手段から得た図柄の情報を、前記データサーバに保全する図柄の情報と比較し、類似する図柄の情報を取り出して提示することを特徴とする文書管理システム。
【請求項１０】
文書のスキャンにより生成されたスキャン情報から、前記文書の図柄の情報を抽出し、前記スキャン情報とともに保存することを特徴とするイメージ文書管理方法。
【請求項１１】
請求項１１に記載のイメージ文書管理方法であって、
前記スキャン情報から得た前記文書の図柄の情報は、前記文書のレイアウトの情報であることを特徴とするイメージ文書管理方法。
【請求項１２】
請求項１１に記載のイメージ文書管理方法であって、
前記スキャン情報から得た前記文書の図柄の情報は、前記文書の特徴的な図形の情報であることを特徴とするイメージ文書管理方法。
【請求項１３】
請求項１１に記載のイメージ文書管理方法であって、
前記スキャン情報から得た前記文書の図柄の情報は、前記文書の構成色の情報であることを特徴とするイメージ文書管理方法。
【請求項１４】
請求項１１に記載のイメージ文書管理方法であって、
前記スキャン情報から得た前記文書の図柄の情報は、前記文書の色分布の情報であることを特徴とするイメージ文書管理方法。
【請求項１５】
請求項１０から請求項１４のいずれか１項に記載のイメージ文書管理方法であって、
抽出した複数の前記文書の図柄の情報をグルーピングして保持しておき、グルーピングしたパターンを提示することを特徴とするイメージ文書管理方法。
【請求項１６】
請求項１０から請求項１４のいずれか１項に記載のイメージ文書管理方法であって、
新たに得た第１の図柄の情報を、保存している第２の図柄の情報と比較し、第１の図柄の情報に類似する第２の図柄の情報を取り出して提示することを特徴とするイメージ文書管理方法。
【請求項１７】
請求項１０から請求項１６のいずれか１項に記載のイメージ文書管理方法であって、
抽出した前記文書の図柄の情報は、内容精査のうえ前記スキャン情報とともに保存されることを特徴とするイメージ文書管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙文書の複写時に生成されるイメージデータを収集し、それらを管理・検索する文書管理システムおよびイメージデータ管理方法に関する。
【背景技術】
【０００２】
近年、複合機等の画像処理装置で読み取った文書を再利用できるように、文書から読み取った文言やイメージデータをサーバに蓄積することが行われている。
【０００３】
例えば特許文献１では、原稿画像データに含まれる文字に係る属性および原稿画像データに含まれる文字に係る属性に関する属性情報を生成し、属性情報に基づいて、検索条件に係る属性を有する文字を含む蓄積文書を蓄積手段から検索する。
【０００４】
また特許文献２では、画像の入力ジョブ又は出力ジョブを受け付けた複合機は、画像の入力ジョブ実行時に、原稿を読み取った画像または外部から入力された画像を管理サーバに記録し、また、画像を印刷または送信する出力ジョブ実行時に、管理サーバに記録されている画像への参照情報を記録する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−６０２６３号公報
【特許文献２】特開２０１１−２２３５９４号広報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、原稿画像データに含まれる文字に係る属性および原稿画像データに含まれる文字に係る属性に関する属性情報を生成するに留まっており、図形やイラストなど文字では表しきれない原稿画像データの蓄積・検索を行うことは難しい。
【０００７】
また、特許文献２では、原稿を読み取った画像または外部から入力された画像を管理サーバに記録するが、情報漏えいの観点からの記録となっており、再利用を踏まえた画像の記録とはなっていない。
【０００８】
本発明の目的は、紙文書の複写時に生成されるイメージデータを収集し、再利用のためにそれらを管理・検索することを可能とする文書管理システムおよびイメージデータ管理方法を提供することである。
【課題を解決するための手段】
【０００９】
以上のことから本発明においては、文書のスキャンにより生成されたスキャン情報をデータサーバに取り込むための文書管理システムであって、スキャン情報から文書の図柄の情報を抽出し、データサーバに与える処理装置を含むことを特徴とする文書管理システムである。
【発明の効果】
【００１０】
本発明によって、紙文書の複写時に生成されるイメージデータを収集し、再利用のためにそれらを管理・検索することができる。
【図面の簡単な説明】
【００１１】
【図１】図柄の特徴量を蓄積、記憶しているデータベース６０の構造を示す図。
【図２】周辺設備を含んで文書管理システムを構成する場合の全体構成を示す図。
【図３】スキャン情報から解析処理装置３０によって生成されるサムネイルの具体例を示す図。
【図４】解析処理装置３０の構成例を示す図。
【図５】検索処理装置８０の構成例を示す図。
【図６】文書を複合機などで読み取ってから、データサーバおよびデータベースにおけるレイアウトマスタテーブルに情報が蓄積されるまでの作業フローを示す図。
【図７】文書を複合機などで読み取ってから、データサーバおよびデータベースにおける特徴図形マスタテーブルに情報が蓄積されるまでの作業フローを示す図。
【図８】文書を複合機などで読み取ってから、データサーバおよびデータベースにおける構成色マスタテーブルに情報が蓄積されるまでの作業フローを示す図。
【図９】文書を複合機などで読み取ってから、データサーバおよびデータベースにおける色分布マスタテーブルに情報が蓄積されるまでの作業フローを示す図。
【図１０】検索処理装置における手書き資料検索エンジンおよび解析処理装置におけるレイアウト解析エンジンを適用した資料検索の作業フローを示す図。
【図１１】検索処理装置における手書き資料検索エンジンおよび解析処理装置における特徴図形解析エンジンを適用した資料検索の作業フローを示す図。
【図１２】検索処理装置における手書き資料検索エンジンおよび解析処理装置における構成色解析エンジンを適用した資料検索の作業フローを示す図。
【図１３】検索処理装置における登録パターン検索エンジンを適用した資料検索の作業フローを示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について、図面を用いて説明する。
【実施例１】
【００１３】
最初に、本発明に係る文書管理システムの全体構成について説明する。なお文書管理システムは、処理装置やデータサーバを主体に構成されており、周辺設備を含んで文書管理システムを構成してもよい。
【００１４】
図２は、周辺設備を含んで文書管理システムを構成する場合の全体構成を示している。図２の文書管理システムは、全文ＯＣＲ２０と解析処理装置３０の機能を備えた複合機１０、運用端末４０、データベース６０を備えたデータサーバ５０、検索処理装置８０を備えた文書管理装置７０、検索端末９０などで構成されている。これらはＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などのネットワークＮＷを通じて接続されている。文書管理システムは、最小単位としては処理装置やデータサーバを備えているが、周辺設備としてさらに検索端末９０や運用端末４０を備えて構成することも、またさらに複合機１０を備えて構成するものであってもよい。なお図２の実施例では、解析処理装置３０の機能を複合機１０内に備える事例を示しているが、これは複合機１０外に設置されるものであってもよい。
【００１５】
このうち複合機１０は、文書（Ｄ１、Ｄ２・・・）を読み取って得たスキャンデータを蓄積あるいは外部端末へ出力するスキャニング機能、読み取った文書の複製イメージを記録紙上に形成して出力するコピー機能など各種機能を備えた文書処理装置であり、複合機１０を通じて読み取ったスキャン情報をデータサーバ５０に送信し、データサーバ５０への登録日や通し番号などが自動で付与された状態でデータベース６０に蓄積していく。
【００１６】
複合機１０は、文書のスキャン情報から文字情報を抽出する全文ＯＣＲ２０や、文書のスキャン情報から図柄の特徴量を抽出するための解析処理装置３０の機能を備える。このうち全文ＯＣＲ２０は、文書のスキャンデータに含まれる文字に関わる情報を解析する手段を備えており、解析した文字に関する情報をスキャンデータの属性情報としてデータベース６０に蓄積する。
【００１７】
解析処理装置３０は、複合機１０を通じて取得したスキャンデータを、検索端末９０を用いて検索が可能とするためにその図柄の特徴量を抽出し、サムネイルを生成する。ここでいうサムネイルとは、ただ単に画像データを本来のサイズより大幅に圧縮された画像データを指すのではなく、それに加えてレイアウトや特徴的な図形などを抽出・抽象化したものを指す。
【００１８】
本発明は、スキャンデータから、その図柄の特徴量を抽出して利用する点に特徴を有しており、図柄の特徴量としてレイアウトや特徴的な図形などを抽出・抽象化したサムネイルを生成している。図柄の特徴量に関して、具体的に生成されるサムネイルの事例としては、スキャンデータのレイアウトに関するサムネイル、スキャンデータに利用されている特徴的な図形に関するサムネイル、スキャンデータの構成色に関するサムネイル、画像の明度や彩度、色彩など色の分布に関するサムネイルなどがある。これらのさらに詳細な内容については、事例を挙げて後述する。
【００１９】
なお解析処理装置３０は、生成したサムネイルをさらにグルーピングすることにより、サムネイルを、パターンとして生成する機能を持つ。
【００２０】
運用端末４０では、全文ＯＣＲ２０を適用して取得した文字に関する属性情報や、解析処理装置３０を適用してスキャン情報から図柄の特徴量を抽出したサムネイルやパターンについて、人間の手によって修正・調整を行う。
【００２１】
データサーバ５０では、複合機１０を通じて取得したスキャン情報を、データベース６０を用いて蓄積していく。スキャン情報として具体的に、スキャン実施日や実施者、全文ＯＣＲ２０を適用して取得する文字に関する属性情報、解析処理装置３０を適用して取得するスキャン情報から図形の特徴量を抽出した情報などがある。
【００２２】
データベース６０では、複合機１０を通じて取得したスキャン情報を蓄積していく。蓄積する際に、一意となる通し番号を取得する。
【００２３】
文書管理装置７０では、スキャン情報を検索するための検索処理装置８０を用いてデータベース６０に蓄積されているスキャン情報の検索を可能とする。
【００２４】
検索処理装置８０は、データベース６０に蓄積されているスキャン情報を検索する際に適用される。具体的には、レイアウトや特徴的な図形などのイメージを手書きで作成し、複合機１０を通してそれを読み取り手書きイメージのサムネイルやパターンを取得し、データベース６０に蓄積されているスキャン情報におけるレイアウトや特徴的な図形などのサムネイルやパターンとの適合性を検索する方法や、データベース６０に蓄積されているレイアウトや特徴的な図形などのサムネイル及びパターン情報を検索端末９０に一覧表示し、その中から検索者自身が意図する文書に近いものを抽出していく手法などがある。
【００２５】
検索端末９０では、データサーバ５０にて管理されているスキャン情報を検索する。
【００２６】
次に、解析処理装置３０において生成される図柄の特徴量について説明する。図３は、スキャン情報から図柄の情報量を抽出する解析処理装置３０を適用することによって生成されるサムネイルの具体例を示している。
【００２７】
図３において、解析処理装置３０で生成される図柄の特徴量についてのサムネイルは、具体的には、レイアウトに関するサムネイル３１１、特徴的な図形に関するサムネイル３２１、構成色に関するサムネイル３３１、色の分布に関するサムネイル３４１などである。
【００２８】
レイアウトに関するサムネイル３１１について、例えば文章や図形や写真が、スキャンされた文書一枚一枚の中で、どこにどの程度の割合で配置されているのかを抽象化する。図３の例３１１では、横長のドキュメントの上段に文章の部分が配置され、中段に写真が配置され、かつ下段の図形が上部の各領域よりも広い領域の図形であるという配置関係、つまりレイアウトの関係として抽出され、把握されている。
【００２９】
特徴的な図形に関するサムネイル３２１について、例えば丸や四角などの図形や矢印などがスキャンされた文書一枚一枚の中でどのように利用されているのかを抽象化する。図３の例３２１では、横長のドキュメントの中央部に四角の枠、その上部に３個の丸があり、四角の枠内と３個の丸間に、それぞれ循環経路があるような図形を有する図章として、抽出され、把握されている。
【００３０】
構成色に関するサムネイル３３１について、スキャンされた文書一枚一枚の中でどのような色がどのような配置で利用されているのかを抽象化する。図３の例３３１では、横長のドキュメント中央部の四角枠が薄青、その上部の丸が濃紺という色の構成として、抽出され、把握されている。
【００３１】
色の分布に関するサムネイル３４１について、明度や彩度、色彩といった、色に関する分布情報を取得し分布図として生成する。図３の例３４１では、ドキュメントの明度／彩度／色彩について、横軸の周波数に対する情報の大きさを表すヒストグラム（度数分布図）として色分布が抽出され、把握されている。
【００３２】
図３に例示した図柄の特徴量は、解析処理装置３０において図４に示す処理が実行される。図４に示す解析処理装置３０は、二段階処理構成とされており、第一段階処理にはレイアウト解析エンジン３１、特徴図形解析エンジン３２、構成色解析エンジン３３、色分布解析エンジン３４などを備える。第二段階処理にはレイアウトパターン化機能３１２、特徴図形パターン化機能３２２、構成色パターン化機能３３２、色分布パターン化機能３４２などを備える。なお、レイアウト解析エンジン３１とレイアウトパターン化機能３１２、特徴図形解析エンジン３２と特徴図形パターン化機能３２２、構成色解析エンジン３３と構成色パターン化機能３３２、色分布解析エンジン３４と色分布パターン化機能３４２は、夫々の図柄の特徴量についての一連の処理である。
【００３３】
レイアウト解析エンジン３１では、スキャン情報から文書一枚一枚のレイアウトの特徴量を抽出し、レイアウトサムネイル３１１を画像データとして生成し、画像データとしてデータサーバ５０に蓄積する。さらに、レイアウトパターン化機能３１２を適用し、生成したレイアウトサムネイル３１１をさらにグルーピングすることにより、レイアウトパターン３１３として生成し、データベース６０のレイアウトマスタテーブル６１の中から該当するパターンを抽出し、レイアウトパターンとしてデータサーバ５０に蓄積するが、レイアウトパターン３１３が抽出されない場合は新規マスタ情報としてデータベース６０に登録し、新規レイアウトパターンとして蓄積していく。
【００３４】
特徴図形解析エンジン３２では、スキャン情報から文書一枚一枚の特徴図形の特徴量を抽出し、特徴図形サムネイル３２１を画像データとして生成し、画像データとしてデータサーバ５０に蓄積する。さらに、特徴図形パターン化機能３２２を適用し、生成した特徴図形サムネイル３２１をさらにグルーピングすることにより、特徴図形パターン３２３として生成し、データベース６０の特徴図形マスタテーブル６２の中から該当するパターンを抽出し、特徴図形パターンとしてデータサーバ５０に蓄積するが、特徴図形パターン３２３が抽出されない場合は新規マスタ情報としてデータベース６０に登録し、新規特徴図形パターンとして蓄積していく。
【００３５】
構成色解析エンジン３３では、スキャン情報から文書一枚一枚の構成色の特徴量を抽出し、構成色サムネイル３３１を画像データとして生成し、画像データとしてデータサーバ５０に蓄積する。さらに、構成色パターン化機能３３２を適用し、生成した構成色サムネイル３３１をさらにグルーピングすることにより構成色パターン３３３として生成し、データベース６０の構成色マスタテーブル６３の中から該当するパターンを抽出し、構成色パターンとしてデータサーバ５０に蓄積するが、構成色パターン３３３が抽出されない場合は新規マスタ情報としてデータベース６０に登録し、新規構成色パターンとして蓄積していく。
【００３６】
色分布解析エンジン３４では、スキャン情報から文書一枚一枚の色の分布に関する特徴量を抽出し、色分布サムネイル３４１を画像データとして生成し、画像データとしてデータサーバ５０に蓄積する。さらに、色分布パターン化機能３４２を適用し、生成した色分布サムネイル３４１をさらにグルーピングすることにより色分布パターン３４３として生成し、データベース６０の色分布マスタテーブル６４の中から該当するパターンを抽出し、色分布パターンとしてデータサーバ５０に蓄積するが、色分布パターン３４３が抽出されない場合は新規マスタ情報としてデータベース６０に登録し、新規色分布パターンとして蓄積していく。
【００３７】
図柄の特徴量を把握し、蓄積する以上の処理を通じてデータベース６０には、図１に例示するようなデータ構造のデータ群として蓄積されている。データベース６０の構造は、３データ要素に大別される。第１のデータ要素は、文書のスキャン時に自動的に取得するシステム情報６０１であり、第２のデータ要素は、文書のスキャン時に全文ＯＣＲを実施し取得する文字情報６０２であり、第３のデータ要素は、文書のスキャン時にスキャン情報の特徴量を抽出する解析処理を実施し取得するイメージ情報６０３である。
【００３８】
このうち、システム情報６０１の具体的なフィールドとしては、データベース６０に登録された順番に取得し一意となる通し番号を管理するフィールド６０１１、データベース６０に保存されているファイルの形式（ＰＤＦ、ＪＰＥＧなど）を管理するフィールド６０１２、データベース６０に保存された登録日を管理するフィールド６０１３などがある。
【００３９】
文字情報６０２の具体的なフィールドとしては、文書名などを管理するフィールド６０２１、作成日などの日付を管理するフィールド６０２２、顧客名を管理するフィールド６０２３などがある。
【００４０】
イメージ情報６０３の具体的な管理項目としては、レイアウト情報６０３１、特徴図形情報６０３２、構成色情報６０３３、色分布情報６０３４などがある。各管理項目それぞれにおいて、解析処理装置３０を適用して取得したサムネイル情報およびパターン情報を管理する。レイアウトパターン・特徴図形パターン・構成色パターン・色分布パターンを管理するために、レイアウトマスタ６１、特徴図形マスタ６２、構成色マスタ６３、色分布マスタ６４をもつ。
【００４１】
レイアウトマスタ６１には、レイアウトサムネイル３１１をグルーピングしたパターン画像３１３を画像データとして保存するフィールド６１１とそれに対応するパターン番号のフィールド６１２がある。特徴図形マスタ６２には、特徴図形サムネイル３２１をグルーピングしたパターン画像３２３を画像データとして保存するフィールド６２１と、それに対応するパターン番号のフィールド６２２がある。構成色マスタ６３には、構成色レイアウトサムネイル３３１をさらにグルーピングしたパターン画像３３３を画像データとして保存するフィールド６３１と、それに対応するパターン番号のフィールド６３２がある。色分布マスタ６４には、色分布サムネイル３４１をさらにグルーピングしたパターン画像３４３を画像データとして保存するフィールド６４１と、それに対応するパターン番号のフィールド６４２がある。
【００４２】
ここで、グルーピングしたパターン画像について説明しておくと、例えばレイアウトマスタ６１には、００１として横長用紙の上段から文章、写真、図形を配置したパターン画像、００２として横長用紙の左に文章、右に図形を配置したパターン画像、００３として横長用紙の上段文章、下段に図形を配置したパターン画像が、グルーピングされて保管される。同様に、特徴図形マスタ６２、構成色マスタ６３、色分布マスタ６４においてもそれぞれの特徴に応じたパターン画像がグルーピングされ、新しいパターンを検知するたびに新しいグルーピングが形成され、次第にその内容を拡充していく。
【００４３】
以上、図１、図２、図３、図４を用いて、スキャンデータから図柄の特徴量を把握し、蓄積することについて説明した。以下においては、このように蓄積された図柄の特徴量を用いて、蓄積データの中から該当するドキュメントのスキャンデータを検索、抽出することについて説明する。
【００４４】
情報の検索は、データサーバ５０に格納された情報を検索する検索処理装置８０を用いて行われる。図５は検索処理装置８０の構成例を示している。検索処理装置８０は、手書きイメージ検索エンジン８１と、登録パターン検索エンジン８２から構成されている。
【００４５】
ここで、検索を行うためには、どのような内容のものを抽出しようとしているのか、検索対象の特徴を特定する必要がある。この特定手法の一つは、複合機１０から類似文書をスキャン入力し、類似文書の図柄の特徴量を生成し、この類似文書の図柄の特徴量を有する情報をデータベース６０から抽出してくるというやり方である。他の特定手法の一つは、データベース６０に保持する図柄の特徴量のグルーピングされたパターンを検索者に提示し、検索者に提示したパターンの中から希望するパターンを選択させる、さらにはそのグループ内の各スキャン情報を提示して、１つのスキャン情報を選択させるというやり方である。前者の類似文書を用いる手法が手書きイメージ検索エンジン８１を用いた手法であり、後者の手法が登録パターン検索エンジン８２を用いた手法である。
【００４６】
なお類似文書として、イメージが近い文書が存在するのであればそれを用いればよいが、存在しない場合には検索者が用紙にパターンなどのイメージを手書きしたものを用いることで実現が可能である。手書きイメージ検索エンジン８１とは、検索者が用紙にパターンなどのイメージを手書きしたものを用いることを意識した表現のものである。
【００４７】
以上の説明から明らかなように、図５の手書きイメージ検索エンジン８１は、図４の解析処理装置３０の構成を備えている。手書きイメージ検索エンジン８１では、解析処理装置３０に備わるレイアウト解析エンジン３１を適用することで手書きイメージをレイアウトサムネイル８１１として生成し、データベース６０に蓄積されているサムネイルから類似のサムネイルがあるかどうか検索するとともに、解析処理装置３０に備わるレイアウトパターン化機能３１２を適用することで、手書きイメージのレイアウトサムネイル８１１からレイアウトパターン８３１を生成し、データベース６０に蓄積されているレイアウトパターンからレイアウトパターン８３１と同様のレイアウトパターンを検索する。
【００４８】
並びに、解析処理装置３０に備わる特徴図形解析エンジン３２を適用することで手書きイメージを特徴図形サムネイル８１２として生成し、データベース６０に蓄積されているサムネイルから類似のサムネイルがあるかどうか検索するとともに、解析処理装置３０に備わる特徴図形パターン化機能３２２を適用することで、手書きイメージの特徴図形サムネイル８１２から特徴図形パターン８３２を生成し、データベース６０に蓄積されている特徴図形パターンから特徴図形パターン８３２と同様の特徴図形パターンを検索する。
【００４９】
並びに、解析処理装置３０に備わる構成色解析エンジン３３を適用することで手書きイメージを構成色サムネイル８１３として生成し、データベース６０に蓄積されているサムネイルから類似のサムネイルがあるかどうか検索するとともに、解析処理装置３０に備わる構成色パターン化機能３３２を適用することで、手書きイメージの構成色サムネイル８１３から構成色パターン８３３を生成し、データベース６０に蓄積されている構成色パターンから構成色パターン８３３と同様の構成色パターンを検索する。
【００５０】
これに対し、登録パターン検索エンジン８２を用いた手法では、グルーピングされた図柄の特徴量のパターンを提示して検索者に選択させるという手順を踏む。
【００５１】
このため、図５の検索処理装置８０内の登録パターン検索エンジン８２は、レイアウトパターン検索機能８２１、特徴図形パターン検索機能８２２、構成色パターン検索機能８２３、色分布パターン検索機能８２４を備え、データベース６０のマスタ情報として登録・蓄積されているレイアウトパターン、特徴図形パターン、構成色パターン、色分布パターンを検索端末９０に表示し、検索者がその中から意図するパターンを選択、抽出することで検索する。
【００５２】
以上により、図１のシステム構成、並びに各部機能について説明を行った。以下においては、図１の各部機能が協同して実行する各種処理機能における時系列的な処理手順について説明する。
【００５３】
まず図６は、文書（Ｄ１、Ｄ２・・・）を複合機１０で読み取ってから、データベース６０およびレイアウトマスタ６１に情報が蓄積されるまでの作業フローを示す。ここでは、複合機１０、各種の処理装置２０、３０、運用端末４０、データサーバ５０の間での処理手順が実行されて、データベース６０およびレイアウトマスタ６１に情報が蓄積される。
【００５４】
図６の処理の最初の処理ステップＳ６０１において、文書（Ｄ１、Ｄ２・・・）を複合機１０で読み取ることにより、処理ステップＳ６０２において、通し番号などデータベース６０に文書の読み取り時に自動的に取得するシステム情報が蓄積される。
【００５５】
これを受けて処理ステップＳ６０３において、全文ＯＣＲ２０の機能として、文書（Ｄ１、Ｄ２・・・）に文字情報があるかどうか判断し、ある場合は処理ステップＳ６０４において、文書の名称などを抽出し、処理ステップＳ６０５において、運用端末４０を利用して全文ＯＣＲ２０で抽出した文書の名称などを人の手によって適切に修正し、処理ステップＳ６０６においてデータベース６０に文字属性情報として蓄積する。また文書名などの書誌事項を登録する。
【００５６】
処理ステップＳ６０３において文書（Ｄ１、Ｄ２・・・）に文字情報が利用されていないと判断された場合、並びに処理ステップＳ６０６においてデータベース６０に文字属性情報を蓄積した後、処理ステップＳ６０７ａが実行される。処理ステップＳ６０７ａにおいて、解析処理装置３０におけるレイアウト解析エンジン３１の機能として文書（Ｄ１、Ｄ２・・・）におけるスキャン情報の図柄の特徴のうちレイアウトの特徴量を抽出し、レイアウトサムネイル３１１を取得する。また続いて処理ステップＳ６０８ａにおいて、レイアウトサムネイル３１１をデータベース６０のレイアウトイメージ情報６０３１に蓄積する。
【００５７】
その後処理ステップＳ６０９ａにおいて、解析処理装置３０におけるレイアウトパターン化機能３１２にて、取得したレイアウト３１１をさらに抽象化したパターン３１３を作成する。
【００５８】
処理ステップＳ６１０ａでは、データベース６０のレイアウトマスタ６１の中に蓄積されているパターンの中に、処理ステップＳ６０９ａにおいて作成したレイアウトパターン３３１と同様のものがあるかどうか判断し、あると判断された場合、処理ステップＳ６１１ａにおいてレイアウトマスタ６１のレイアウトマスタ番号フィールド６１２から、該当するレイアウトマスタ番号を抽出する。
【００５９】
レイアウトマスタ番号を抽出すると、処理ステップＳ６１２において、抽出したレイアウトマスタ番号に対応するレイアウトパターン画像を運用端末４０に表示し、解析処理装置３０の解析が正しいと人の目によって判断した場合、処理ステップＳ６１３ａにおいて、データベース６０のレイアウトイメージ情報６０３１にレイアウトマスタ番号を登録する。
【００６０】
処理ステップＳ６１２において、抽出したレイアウトマスタ番号に対応するレイアウトパターン画像を運用端末４０に表示し、解析処理装置３０の解析が正しくないと人の目によって判断した場合、処理ステップＳ６１４において、他のレイアウトパターンを運用端末４０に一覧表示し、その中に妥当なレイアウトパターンがあるかどうか人の目によって判断し、あると判断した場合、処理ステップＳ６１３ａにおいてそのパターンのレイアウトマスタ番号を登録する。
【００６１】
処理ステップＳ６１４において、他のレイアウトパターンの中に妥当なレイアウトパターンがあるかどうか人の目によって「無し」と判断した場合、並びに、処理ステップＳ６１０ａにおいて同様のレイアウトがないと解析処理装置３０の機能で判断された場合、処理ステップＳ６１５において、解析処理装置３０が生成したレイアウトパターン３１３を運用端末４０上に表示し、そのレイアウトパターン３１３が妥当なものか人間の目によって判断し、妥当であると判断した場合、処理ステップＳ６１６ａにおいて、レイアウトマスタ６１に新規レイアウトマスタとして登録する。
【００６２】
処理ステップＳ６１５において、解析処理装置３０が生成したレイアウトパターン３１３が妥当でないと判断した場合、処理ステップＳ６１７においてレイアウトを修正し、処理ステップＳ６１６ａにおいて、レイアウトマスタ６１に新規レイアウトマスタとして登録する。
【００６３】
以上説明した図６は、レイアウトマスタ６１に情報が蓄積されるまでの作業フローを示している。これに対し、図７、図８、図９は特徴図形マスタ、構成色マスタ、色分布マスタに情報が蓄積されるまでの作業フローを示している。このため、処理内容的には図６の処理と重複する部分が多いので、簡便に説明しておく。
【００６４】
図７は、文書（Ｄ１、Ｄ２・・・）を複合機１０で読み取ってから、データベース６０および特徴図形マスタ６２に情報が蓄積されるまでの作業フローを示す。
【００６５】
図７は、基本的には図６と同様であるが、解析処理装置３０の解析エンジンがレイアウト解析エンジン３１から特徴図形解析エンジン３２となる点が異なっており、そのため、処理ステップＳ６０６ｂにおいて作成されるサムネイルがレイアウトサムネイル３１１から特徴図形サムネイル３２１に、並びに処理ステップＳ６０９ｂにおいて作成されるパターンがレイアウトパターン３１３から特徴図形パターン３２３となっている。
【００６６】
並びに、処理ステップＳ６０８ｂ、処理ステップＳ６１０ｂ、処理ステップＳ６１１ｂ、処理ステップＳ６１３ｂ、処理ステップＳ６１６ｂにおいて、データベース６０の対象とするフィールドが、レイアウトイメージ情報６０３１から特徴図形イメージ情報６０３２となっている。
【００６７】
図８は、文書（Ｄ１、Ｄ２・・・）を複合機１０で読み取ってから、データベース６０および構成色マスタ６３に情報が蓄積されるまでの作業フローを示す。
【００６８】
図８は、基本的には図６と同様であるが、解析処理装置３０の解析エンジンがレイアウト解析エンジン３１から構成色解析エンジン３３となる点が異なっており、そのため、処理ステップＳ６０６ｃにおいて作成されるサムネイルがレイアウトサムネイル３１１から構成色サムネイル３３１に、並びに処理ステップＳ６０９ｃにおいて作成されるパターンがレイアウトパターン３１３からパターン３３３となっている。
【００６９】
並びに、処理ステップＳ６０８ｃ、処理ステップＳ６１０ｃ、処理ステップＳ６１１ｃ、処理ステップＳ６１３ｃ、処理ステップＳ６１６ｃにおいて、データベース６０の対象とするフィールドが、レイアウトイメージ情報６０３１から構成色イメージ情報６０３３となっている。
【００７０】
図９は、文書（Ｄ１、Ｄ２・・・）を複合機１０で読み取ってから、データベース６０および色分布マスタ６４に情報が蓄積されるまでの作業フローを示す。
【００７１】
図９は、基本的には図６と同様であるが、解析処理装置３０の解析エンジンがレイアウト解析エンジン３１から色分布解析エンジン３４となる点が異なっており、そのため、処理ステップＳ６０６ｄにおいて作成されるサムネイルがレイアウトサムネイル３１１から色分布サムネイル３４１に、並びに処理ステップＳ６０９ｄにおいて作成されるパターンがレイアウトパターン３１３から色分布パターン３４３となっている。
【００７２】
並びに、処理ステップＳ６０８ｄ、処理ステップＳ６１０ｄ、処理ステップＳ６１１ｄ、処理ステップＳ６１３ｄ、処理ステップＳ６１６ｄにおいて、データベース６０の対象とするフィールドが、レイアウトイメージ情報６０３１から色分布イメージ情報６０３４となっている。
【００７３】
図１０は検索処理装置８０を適用した資料検索の作業フローとして手書き画像検索を行う場合を示している。ここでは、検索端末９０、複合機１０、各種の処理装置３１、８１、データサーバ５０の間での処理手順が実行されて、パターンが抽出される。
【００７４】
図１０の最初の処理ステップＳ１００１ａでは、手書きイメージ検索を実施するかどうか検索端末９０を利用して検索者が選択し、手書きイメージ検索を実施することを選択した場合、処理ステップＳ１００２においてレイアウトや特徴的な図形などのイメージを手書きで作成する。なお、手書きイメージ検索を実施しない場合における検索の作業フローは、図１３に示し、詳細は後述する。
【００７５】
処理ステップＳ１００３において、作成した手書きイメージを複合機１０にて読み取る。
【００７６】
処理ステップＳ１００４ａにおいて、解析処理装置３０のレイアウト解析エンジン３１を適用し、手書きイメージのレイアウトサムネイル８１１およびレイアウトパターン８３１が作成される。
【００７７】
処理ステップＳ１００５ａにおいて、検索処理装置８０の手書きイメージ検索エンジン８１の機能により、手書きイメージから生成されたレイアウトサムネイル８１１と類似するレイアウトサムネイルが、データベース６０のレイアウトイメージ情報６０３１に蓄積されているかどうか検索し、類似するサムネイルがある場合は処理ステップＳ１００６ａにおいて、該当する１つを含む２つ以上のレイアウトサムネイルＴ１０１ａをデータベース６０から抽出する。
【００７８】
処理ステップＳ１００７において、抽出した１つを含む２つ以上のレイアウトサムネイルＴ１０１ａを検索端末９０にて表示する。
【００７９】
処理ステップＳ１００８において、検索処理装置８０が抽出したレイアウトサムネイルＴ１０１ａのなかに検索者の意図したレイアウトサムネイルであるかどうか検索者の目によって判断し、レイアウトサムネイルＴ１０１ａのなかに検索者の意図したサムネイルがある場合、目的のデータが検索できたとして検索完了となる。レイアウトサムネイルＴ１０１ａのなかに検索者の意図したサムネイルがない場合、並びに、処理ステップＳ１００５ａにおいて類似サムネイルがないと検索処理装置８０が判断した場合、処理ステップＳ１００９ａにおいて、検索処理装置８０の手書きイメージ検索エンジン８１の機能より、データベース６０のサムネイルマスタ６１のなかから、手書きイメージのレイアウトパターン８３１に該当・もしくは類似するパターンがある場合、処理ステップＳ１０１０ａにおいて、データベース６０のサムネイルマスタ６１から１つを含む２つ以上のレイアウトパターンＰ１０２ａを抽出する。
【００８０】
処理ステップＳ１０１１において、検索端末９０に、１つを含む２つ以上のレイアウトパターンＰ１０２ａを表示する。
【００８１】
処理ステップＳ１０１２において、１つを含む２つ以上のレイアウトパターンＰ１０２ａのなかに検索者の意図したレイアウトパターンがあるかどうか検索者自身が検索端末９０にて判断し、該当する画像があると判断した場合、処理ステップＳ１０１３において、１つを含む２つ以上のレイアウトパターンＰ１０２ａの中から自分の意図するレイアウトパターンＰ１０３ａを選択する。
【００８２】
処理ステップＳ１０１４ａにおいて、データサーバ６０に蓄積されているスキャン情報の中から、レイアウトパターンＰ１０３ａを属性情報として管理しているデータの一覧リストを抽出する。
【００８３】
処理ステップＳ１０１５において、検索端末９０にて、その一覧リストを表示し、検索者がその一覧リストの中から該当するスキャン情報を選択することで、検索完了となる。
【００８４】
処理ステップＳ１０１２において、１つを含む２つ以上のレイアウトパターンＰ１０２ａのなかに該当するレイアウトパターンがないと件作者自身が判断した場合、並びに、処理ステップＳ１００９ａにおいて、検索処理装置８０の手書きイメージ検索エンジン８１の機能より、データベース６０のサムネイルマスタ６１のなかから、手書きイメージのレイアウトパターン８３１に該当・もしくは類似するパターンがないと判断した場合、処理ステップＳ１００１ａに戻り、手書きイメージ検索を行うか選択する作業からもう一度やり直す。
【００８５】
以上説明した図１０は、レイアウトパターンを対象として抽出する作業フローを示している。これに対し、図１１、図１２は特徴図形パターン、構成色パターンンを対象として抽出する作業フローを示している。このため、処理内容的には図１０の処理と重複する部分が多いので、簡便に説明しておく。
【００８６】
図１１は、図１０と同様に検索処理装置８０を適用した資料検索の作業フローを示すが、解析処理装置３０の解析エンジンがレイアウト解析エンジン３１から特徴図形解析エンジン３２となる点が異なっており、そのため、処理ステップＳ１００４ｂにて生成されるサムネイル及びパターンが、レイアウトサムネイル８１１およびレイアウトパターン８３１から特徴図形サムネイル８２１および特徴図形パターン８３２となる。
【００８７】
並びに、処理ステップＳ１００５ｂ、処理ステップＳ１００６ｂ、処理ステップＳ１００９ｂ、処理ステップＳ１０１０ｂ、処理ステップＳ１０１４ｂにおいて、データベース６０の対象とするフィールドが、レイアウトイメージ情報６０３１から特徴図形イメージ情報６０３２となっているとともに、処理ステップＳ１００６ｂにおいて抽出されるサムネイルがレイアウトサムネイルＴ１０１ａから特徴図形サムネイルＴ１０１ｂに、処理ステップＳ１０１０ｂにおいて抽出される１つを含む２つ以上のサムネイルパターンが、レイアウトパターンＰ１０２ａから特徴図形パターンＰ１０２ｂに、処理ステップＳ１０１４ｂにおいて抽出されるパターンがレイアウトパターンＰ１０３ａから特徴図形パターンＰ１０３ｂとなる。
【００８８】
図１２は、図１０と同様に検索処理装置８０を適用した資料検索の作業フローを示すが、解析処理装置３０の解析エンジンがレイアウト解析エンジン３１から構成色解析エンジン３３となる点が異なっており、そのため、処理ステップＳ１００４ｃにて生成されるサムネイル及びパターンが、レイアウトサムネイル８１１およびレイアウトパターン８３１から構成色サムネイル８１３および構成色パターン８３３となる。
【００８９】
並びに、処理ステップＳ１００５ｃ、処理ステップＳ１００６ｃ、処理ステップＳ１００９ｃ、処理ステップＳ１０１０ｃ、処理ステップＳ１０１４ｃにおいて、データベース６０の対象とするフィールドが、レイアウトイメージ情報６０３１から構成色イメージ情報６０３３となっているとともに、処理ステップＳ１００６ｃにおいて抽出されるサムネイルがレイアウトサムネイルＴ１０１ａから構成色サムネイルＴ１０１ｃに、処理ステップＳ１０１０ｃにおいて抽出される１つを含む２つ以上のサムネイルパターンが、レイアウトパターンＰ１０２ａから構成色パターンＰ１０２ｃに、処理ステップＳ１０１４ｃにおいて抽出されるサムネイルパターンがレイアウトパターンＰ１０３ａから構成色パターンＰ１０３ｃとなる。
【００９０】
図１３は、検索処理装置８０を適用した資料検索の作業フローを示すが、処理ステップＳ１００１ｄにおいて、手書きイメージ検索を行わないことを選択した作業フローとなっている。
【００９１】
処理ステップＳ１００１ｄにおいて、手書きイメージ検索を行わないことを選択した場合、検索処理装置８０の登録パターン検索エンジン８２の機能により、処理ステップＳ１３０１において、データサーバ６０のレイアウトマスタ６１に蓄積されているすべてのレイアウトパターンを抽出する。
【００９２】
処理ステップＳ１３０２において、データサーバ６０の特徴図形マスタ６２に蓄積されているすべての特徴図形パターンを抽出する。
【００９３】
処理ステップＳ１３０３において、データサーバ６０の構成色マスタ６３に蓄積されているすべての構成色パターンを抽出する。
【００９４】
処理ステップＳ１３０４において、データサーバ６０の色分布マスタ６４に蓄積されているすべての色分布パターンを抽出する。
【００９５】
処理ステップＳ１３０５において、処理ステップＳ１３０１から処理ステップＳ１３０４において抽出されたレイアウトパターン、特徴図形パターン、構成色パターン、色分布パターンを、検索端末９０に一覧表示し、その一覧の中から、検索者自身が検索したいデータに合致するよう、１つを含む２つ以上の組み合わせでパターンを選択する。
【００９６】
処理ステップＳ１３０６において、検索処理装置８０の登録パターン検索エンジン８２の機能により、処理ステップＳ１３０５において選択された組み合わせのパターンに合致するデータの絞込みを実施する。
【００９７】
処理ステップＳ１３０７において、絞り込まれたパターンに該当するデータの一覧リストＲ１３を抽出する。
【００９８】
処理ステップＳ１３０８において、検索端末９０に一覧リストＲ１３を表示し、処理ステップＳ１３０９において、一覧リストＲ１３の中から検索者が検索したいと考えていたデータを選択し、検索完了となる。
【００９９】
処理ステップＳ１３０９において、一覧リストＲ１３に検索者が検索したいと考えていたデータに該当するデータがない場合、処理ステップＳ１００１ｄに戻り、手書きイメージ検索を行うか指定するところからもう一度やり直す。
【符号の説明】
【０１００】
５０：データサーバ
６０：データベース
６０１：データベース中システム情報管理フィールド
６０２：データベース中文字情報管理フィールド
６０３：データベース中イメージ情報管理フィールド
６０１１：システム通し番号管理フィールド
６０１２：データファイル形式管理フィールド
６０１３：システム登録日管理フィールド
６０２１：文書名称管理フィールド
６０２２：文書作成日管理フィールド
６０２３：顧客名管理フィールド
６０３１：レイアウトイメージ情報管理フィールド
６０３２：特徴図形イメージ情報管理フィールド
６０３３：構成色イメージ情報管理フィールド
６０３４：色分布イメージ情報管理フィールド
６１：レイアウトマスタテーブル
６１１：レイアウトパターン画像管理フィールド
６１２：レイアウトパターン画像におけるシステム通し番号管理フィールド
６２：特徴図形マスタテーブル
６２１：特徴図形パターン画像管理フィールド
６２２：特徴図形パターン画像におけるシステム通し番号管理フィールド
６３：構成色マスタテーブル
６３１：構成色パターン画像管理フィールド
６３２：構成色パターン画像におけるシステム通し番号管理フィールド
６４：色分布マスタテーブル
６４１：色分布パターン画像管理フィールド
６４２：色分布パターン画像におけるシステム通し番号管理フィールド
【図１】
2017175524.tif 000003
【図２】
2017175524.tif 000004
【図３】
2017175524.tif 000005
【図４】
2017175524.tif 000006
【図５】
2017175524.tif 000007
【図６】
2017175524.tif 000008
【図７】
2017175524.tif 000009
【図８】
2017175524.tif 000010
【図９】
2017175524.tif 000011
【図１０】
2017175524.tif 000012
【図１１】
2017175524.tif 000013
【図１２】
2017175524.tif 000014
【図１３】
2017175524.tif 000015