(57)【要約】【課題】  登録する文書の電子データをより高画質の電子データに適宜更新する為の技術を提供すること。【解決手段】  既に登録されている画像データ群のうち、クエリとして入力した画像データに類似する画像データを検索し（Ｓ３１９０）、検索した画像のうち１つの画像データの画質が、入力した画像データの画質よりも低い場合には、入力した画像データを、この１つの画像データの代わりとして登録する（Ｓ３１６３）。【選択図】    図３Ｂ
2006085298.tif 000002
【特許請求の範囲】
【請求項１】
画像データを管理する画像処理装置であって、
画像データを１以上保持する保持手段と、
クエリとしての画像データを入力する入力手段と、
前記保持手段が保持する画像データ群のうち、前記入力手段によって入力した画像データに類似する画像データを検索する検索手段と、
前記検索手段によって検索した画像データのうち１つの画像データの画質と、前記入力手段によって入力した画像データの画質との比較を行う比較手段と、
前記入力手段によって入力した画像の画質の方が、前記１つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像データを、前記１つの画像データとして前記保持手段に格納する格納制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記保持手段は更に、保持している画像の画質に関する情報を保持しており、
前記比較手段は、前記１つの画像データの画質に関する情報と、前記入力手段によって入力した画像の画質に関する情報とを用いて、前記１つの画像データの画質と、前記入力手段によって入力した画像データの画質との比較を行い、
前記格納制御手段は更に、前記入力手段によって入力した画像の画質の方が、前記１つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像の画質に関する情報を、前記１つの画像データの画質に関する情報の代わりとして前記保持手段に格納することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力手段によって入力した画像の画質に関する情報は、前記入力手段によって入力されたことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
更に、前記入力手段によって入力した画像から、当該の画質に関する情報を収集する画質情報収集手段を備えることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
更に、
前記入力手段によって入力した画像の画質の方が、前記１つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像データ及び当該画像の画質に関する情報、前記１つの画像データ及び当該画像データの画質に関する情報を一覧表示する一覧表示手段と、
前記入力手段によって入力した画像データの画質に関する情報、前記１つの画像データの画質に関する情報の何れかを修正する修正手段と
を備えることを特徴とする請求項２乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記格納制御手段は、前記入力手段によって入力した画像の画質の方が、前記１つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像データ、当該画像データの画質に関する情報を、前記１つの画像データ、当該画像データの画質に関する情報の代わりに機能するように前記保持手段に格納することを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記検索手段によって検索した画像データのうち１つの画像データは、前記保持手段が保持する画像データ群のうち、前記入力手段によって入力した画像データに最も類似する画像データであることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
更に、前記検索手段によって検索した画像データのうち１つの画像データをユーザに選択させるための選択手段を備えることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項９】
前記画像の画質に関する情報は、当該画像の解像度、レイアウト、当該画像のスキャン元の用紙のサイズ、当該用紙の紙質、当該画像の当該用紙への印刷の倍率設定、当該用紙を得るためのオリジナルに対するコピー回数、当該印刷時の階調設定、当該印刷がカラー印刷かグレースケール印刷かの設定のうち１以上を含むことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
【請求項１０】
画像データを１以上保持するメモリを保持する画像処理装置が行う画像処理方法であって、
クエリとしての画像データを入力する入力工程と、
前記メモリが保持する画像データ群のうち、前記入力工程で入力した画像データに類似する画像データを検索する検索工程と、
前記検索工程で検索した画像データのうち１つの画像データの画質と、前記入力工程で入力した画像データの画質との比較を行う比較工程と、
前記入力工程で入力した画像の画質の方が、前記１つの画像データの画質よりも高い場合には、前記入力工程で入力した画像データを、前記１つの画像データとして前記メモリに格納する格納制御工程と
を備えることを特徴とする画像処理方法。
【請求項１１】
コンピュータに請求項１０に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を管理するための技術に関するものである。
【背景技術】
【０００２】
近年、作成済みの紙文書の再利用性を高めるために、紙文書をスキャナで読み取ることで電子データ化して管理しておき、その後、所望の文書の電子データを検索したり、検索して得られた電子データを印刷する等を可能とするシステムが提案されている。
【０００３】
これを実現するための方法として、例えば、特許文献１では以下のような技術が開示されている。即ち、紙文書をスキャンする事で得られるスキャン画像（電子データ）に対して文字認識を行って文字コード列を得、これを電子データと関連付けて記憶しておく。そして、検索条件として文書に含まれる文字コード列を入力すると、記憶された文字コード列とのマッチングを行うことで、所望の文書の電子データを検索する。
【０００４】
また、例えば、特許文献２では以下のような技術が開示されている。即ち、紙文書を電子データにする際に、その電子データに識別コードを付与して、その識別コードを含む印刷物を生成する。これにより、別途、印刷物に対応する電子データを検索したり印刷したりする場合には、その印刷物を読み込み、印刷されている識別コードを認識することで、所望の電子データの検索や印刷が可能となっている。
【特許文献１】特公平０７−０９７３７３号
【特許文献２】特開２００１−２５７８６２号
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１、２に開示された技術では、紙文書を電子データとするのは登録時のみであるため、次のような問題が生じる。
【０００６】
紙文書は通常、コピーなどを行って配布されるため、同一内容で、かつ、画質が様々な文書が、分散して存在していることが多い。特に、過去に作成した紙文書では、その紙文書の原稿がどこにあるかわからなくなってしまっていることも多い。このような場合、配布された紙文書を用いて、上記画像処理システムを利用することになる。
【０００７】
配布資料では参照することが目的のため、画質は重視されないし、コピーが重ねられている場合が多い。また、プリンタなどから直接印刷されている場合でも、カラー原稿であっても、グレースケールで印刷されることも多い。更に、１枚の紙に１文書の２ページ分、４ページ分といったように、Ｎページ分の文書を１枚の紙にレイアウトして印刷されることも多い（以降、Ｎページ印刷と呼ぶ）。
【０００８】
また、複数の文書のページを一度に参照する必要があるときは、結合させて印刷する場合もあり得る（以降、結合印刷と呼ぶ）。
【０００９】
更に、印刷後に２つ折にして製本できるように、ページ番号が製本時の順に印刷される場合もあり得る（以降、製本印刷と呼ぶ）。
【００１０】
尚、以降、Ｎページ印刷、結合印刷、製本印刷等の１枚の紙にＮページ分の文書をレイアウトして印刷する印刷を総称してＮｕｐ印刷と呼ぶことにする。このようにＮｕｐ印刷された場合は、１ページあたりの解像度は低いものになり、高画質とはいえない。
【００１１】
このような画質が低い紙文書を登録した場合は以下のような問題が生じる。
【００１２】
例えば、特許文献１に開示された技術では、文字認識の誤認識が発生しやすくなり、文書の登録数が増えるにつれて、他の文書との区別がつきにくくなるため、検索結果の候補が大量に得られることになり、ユーザは候補の中から改めて絞り込みをする作業を強いられることになる。
【００１３】
また、例えば、特許文献２に開示された技術では、印刷する際の画質は、登録時の文書の画質に依存する為、より高画質な印刷物を得たいとユーザが望んでも、実現できない。
【００１４】
上記問題点を解決するために従来の技術では、登録対象の紙文書を全て高画質なものに揃えるまで、登録作業を行わないようにする必要があった。しかし、これでは、高画質な紙文書を揃えるまで、上記画像処理システムを利用できなくなるという問題が発生する。また、別な解決方法としては、より高画質な紙文書が見つかった時点でそのつど、全文書について再登録する方法があるが、この方法はユーザへの負担が大きくなる。
【００１５】
本発明は上記の課題に鑑みてなされたものであり、登録する文書の電子データをより高画質の電子データに適宜更新する為の技術を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。
【００１７】
即ち、画像データを管理する画像処理装置であって、
画像データを１以上保持する保持手段と、
クエリとしての画像データを入力する入力手段と、
前記保持手段が保持する画像データ群のうち、前記入力手段によって入力した画像データに類似する画像データを検索する検索手段と、
前記検索手段によって検索した画像データのうち１つの画像データの画質と、前記入力手段によって入力した画像データの画質との比較を行う比較手段と、
前記入力手段によって入力した画像の画質の方が、前記１つの画像データの画質よりも高い場合には、前記入力手段によって入力した画像データを、前記１つの画像データとして前記保持手段に格納する格納制御手段と
を備えることを特徴とする。
【００１８】
本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。
【００１９】
即ち、画像データを１以上保持するメモリを保持する画像処理装置が行う画像処理方法であって、
クエリとしての画像データを入力する入力工程と、
前記メモリが保持する画像データ群のうち、前記入力工程で入力した画像データに類似する画像データを検索する検索工程と、
前記検索工程で検索した画像データのうち１つの画像データの画質と、前記入力工程で入力した画像データの画質との比較を行う比較工程と、
前記入力工程で入力した画像の画質の方が、前記１つの画像データの画質よりも高い場合には、前記入力工程で入力した画像データを、前記１つの画像データとして前記メモリに格納する格納制御工程と
を備えることを特徴とする。
【発明の効果】
【００２０】
本発明の構成により、登録する文書の電子データをより高画質の電子データに適宜更新することができる。
【発明を実施するための最良の形態】
【００２１】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００２２】
［第１の実施形態］
図１は、本実施形態に係る画像処理システムの構成例を示す図である。
【００２３】
同図に示す構成の画像処理システムは、オフィス１０とオフィス２０とをインターネット等のネットワーク１０４で接続された環境で実現する。
【００２４】
オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能を実現する複合機であるＭＦＰ（Multi Function Peripheral）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６ａ及びそのデータベース１０５ａ、及びプロキシサーバ１０３ａが接続されている。
【００２５】
オフィス１０内のＬＡＮ１０７及びオフィス２０内のＬＡＮ１０８は、双方のオフィスのプロキシサーバ１０３ａ、１０３ｂを介してネットワーク１０４に接続されている。
【００２６】
ＭＦＰ１００は特に、紙文書を電子的に読み取る画像読取部と、画像読取部から得られる画像信号に対する画像処理を実行する画像処理部を有し、この画像信号はＬＡＮ１０９を介してマネージメントＰＣ１０１に送信することができる。
【００２７】
マネージメントＰＣ１０１は、通常のＰＣ（パーソナルコンピュータ）であり、内部に画像記憶部、画像処理部、表示部、入力部等の各種構成要素を有するが、その構成要素の一部はＭＦＰ１００に一体化して構成されている。
【００２８】
尚、ネットワーク１０４は、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００２９】
また、マネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６ａ、１０６ｂ等の各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素（例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等）を有している。
【００３０】
次に、ＭＦＰ１００について説明する。
【００３１】
図２は、ＭＦＰ１００の機能構成を示すブロック図である。
【００３２】
原稿台とオートドキュメントフィーダ（ＡＤＦ）を含む画像読取部１１０は、束状のあるいは１枚の原稿を光源（不図示）で照射し、原稿反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスタ状の画像読取信号を所定密度（例えば、６００ＤＰＩ）のラスタ画像として得る。このラスタ画像が、原稿から読み取った画像である。
【００３３】
また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部１１２で記録媒体に印刷する複写機能を有し、原稿を１つ複写する場合には、この画像読取信号をデータ処理部１１５で画像処理して記録信号を生成し、これを印刷部１１２に出力し、印刷部１１２は記録媒体上にこの記録信号に従った画像を形成（印刷）する。一方、原稿を複数複写する場合には、各ページ毎の記録信号を記憶部１１１に一旦記憶保持させた後、各ページの記録信号を印刷部１１２に順次出力し、印刷部１１２は、各ページ毎の記録信号に従った画像を記録媒体上に形成（印刷）する。
【００３４】
一方、クライアントＰＣ１０２から出力される記録信号は、ＬＡＮ１０７及びネットワークＩＦ１１４を介してデータ処理部１１５が受信し、データ処理部１１５は、その記録信号を印刷部１１２で記録可能なラスターデータに変換した後、印刷部１１２によって記録媒体上に印刷させる。
【００３５】
操作者によるＭＦＰ１００への指示は、ＭＦＰ１００に装備されたキー操作部とマネージメントＰＣ１０１に接続されたキーボード及びマウスからなる入力部１１３を用いて行われ、これら一連の動作はデータ処理部１１５内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部１１６で行われる。
【００３６】
記憶部１１１は、マネージメントＰＣ１０１からも制御され、ＭＦＰ１００とマネージメントＰＣ１０１とのデータの送受信及び制御は、ネットワークＩＦ１１７及びＬＡＮ１０９を介して行われる。
【００３７】
尚、ＭＦＰ１００では、後述する各種処理を実行するための各種操作・表示をユーザに提供するユーザインタフェースを、表示部１１６及び入力部１１３によって実現している。
【００３８】
以下の説明では、ＭＦＰ１００の記憶部１１１に画像を登録する際にＭＦＰ１００が行うべき処理、ＭＦＰ１００の記憶部１１１に登録した画像群のうち、クエリとして入力した画像に最も類似する画像を検索する際にＭＦＰ１００が行うべき処理について説明する。
【００３９】
＜登録処理＞
図３Ａは、紙文書をスキャンして、この紙文書に印刷されている情報を画像データとして読み取り、読み取った画像をＭＦＰ１００の記憶部１１１に登録する為の一連の処理のフローチャートである。
【００４０】
尚、同図のフローチャートに従った処理は、画像読取部１１０のＡＤＦに、スキャン対象の紙文書がセットされ、入力部１１３の登録ボタンが操作された時点で開始される。セットする紙文書の枚数は複数枚であっても良い。
【００４１】
まず操作者によって入力部１１３を用いて、これから入力する文書の数、及び各文書のページ数を入力するので、ステップＳ３０００では、これらの入力された情報を一時的に記憶部１１１に格納する。このような情報を得ておくことで、スキャンにより得られる画像が、どの文書の何ページ目のものであるのかを特定することができる。
【００４２】
そして、「これから入力する文書の数」、及び「各文書のページ数」を示す情報を記憶部１１１に格納した後、画像読み取り部１１０は紙文書をスキャンして、この紙文書に印刷されている情報を画像（オリジナル文書）として読み取る。読み取った画像のデータはデータ処理部１１５によって、ガンマ補正などの画像処理によって補正され、補正後の画像データは一旦記憶部１１１にファイルとして格納される。スキャンする紙文書の枚数が複数枚である場合には、それぞれのページから読み取った画像のデータは、それぞれ別個のファイルとして記憶部１１１に格納される。
【００４３】
また、１枚の紙文書に複数ページが印刷されている場合もある（上記Nup印刷）。その場合、画像読み取り部１１０から得られる１枚の紙文書の画像データに対してデータ処理部１１５は、周知の技術により、それぞれのページの印刷領域を特定し、特定したそれぞれの領域内の画像を元の１枚の紙文書のサイズに拡大してから、記憶部１１１に格納する。即ち、１枚の紙文書内にＮページが印刷されている場合には、Ｎ個の画像（Ｎページ分のスキャン画像）が記憶部１１１に格納されることになる。
【００４４】
ここで、記憶部１１１に画像を格納する際には、文書毎に固有のＩＤを発行し、記憶部１１１における画像データの格納アドレスとセットにして文書管理情報として記憶部１１１に格納する。
【００４５】
文書毎のＩＤの発行については先ず最初にＩＤには「１」を設定しておく。そして、画像読み取り部１１０は紙文書をスキャンしながらスキャン回数をカウントしており、カウント値がこの紙文書のページ数に達したらＩＤに１を加算して更新し、且つカウント値を１にリセットして同様の処理を繰り返す。これにより、各文書毎にＩＤを発行することができる。
【００４６】
また、「格納アドレス」とは、ＵＲＬや、サーバ名とディレクトリ、ファイル名からなる、画像データの格納先を示すフルパス情報である。
【００４７】
また本実施形態では、画像データのファイル形式としてはＢＭＰ形式とするが、これに限定されるものではなく、色情報を保存しておくことが可能なファイル形式（例えば、ＧＩＦ、ＪＰＥＧ）であればどのようなものでも良い。
【００４８】
次に、ステップＳ３０００でスキャンした１枚の紙文書毎に画質に関する各種の情報（以下、画質情報と呼称する場合がある）を入力部１１３を用いてユーザが入力するので、ステップＳ３０１０では、データ処理部１１５はこれを受け、一旦記憶部１１１に格納する。このときの入力部１１３が提供するユーザインターフェースについては後述する。
【００４９】
ここで、画質情報の具体例としては、紙文書の解像度（ＤＰＩで指定する）、紙文書のページレイアウト（Ｎｕｐ印刷かどうかなど）、紙文書の用紙のサイズ、紙文書が印刷されたときの倍率、紙文書の用紙の紙質、コピー回数（紙文書が本来のオリジナルから何回コピーされたものか？）、紙文書が印刷されたときの階調の設定、紙文書がカラー印刷されたものであるのか、グレースケール印刷されたものであるのか、等が挙げられる。
【００５０】
上記具体例が画質に関する情報である理由について述べる。
【００５１】
「紙文書が印刷されたときの解像度」が画質に関する情報であることの理由は、紙文書が高い解像度で印刷されている場合には当然、この紙文書をスキャンすることで得られる画像の画質は高いものとなることに起因する。従って、「紙文書が印刷されたときの解像度」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
【００５２】
また、「ページレイアウト」が画質に関する情報であることの理由は、１枚の紙に複数ページの印刷を行うことで得られる紙文書をスキャンして得られる１つの画像中の各ページの画像よりも、１枚に１ページの情報を印刷することで得られる紙文書をスキャンして得られる画像の方が、１ページあたりの画質（解像度）は高いことに起因する。即ち、Ｎｕｐ印刷を行うことで得られる紙文書をスキャンして得られる画像中の各ページの画像は、上述の通り、拡大されて保存されるので、当然、画質は劣化する。従って、「ページレイアウト」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
【００５３】
また、「用紙サイズ」が画質に関する情報であることの理由は、同じ内容を印刷するのに、印刷対象の用紙のサイズが小さいほど、印刷すべき文字や画像をより縮小しなくてはいけないため、印刷結果の紙文書をスキャンして得られる画像もまた、画像や文字などの画質は低くなることに起因する。従って、「用紙サイズ」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
【００５４】
また、「印刷時の倍率」が画質に関する情報であることの理由は、同じ内容を印刷するのに、等倍よりも低い倍率（１倍未満）で印刷すれば、印刷すべき文字や画像をより縮小しなくてはいけないため、印刷結果の紙文書をスキャンして得られる画像もまた、画像や文字などの画質は低くなることに起因する。従って、「印刷時の倍率」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
【００５５】
また、「紙質」が画質に関する情報であることの理由は、再生紙よりも上質紙に印刷したほうがスキャン画像の色の再現度が高くなるので、より高画質になることに起因する。従って、「紙質」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
【００５６】
また、「コピー回数」が画質に関する情報であることの理由は、多くのコピーを行うことで得られた紙文書は、より少ないコピー回数で得られた紙文書に比べて、紙文書上に発生するノイズの量が多い為、多くのコピーを行うことで得られる紙文書をスキャンして得られる画像もまた、画像や文字などの画質は低くなることに起因する。従って、「コピー回数」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
【００５７】
また、「階調の設定」が画質に関する情報であることの理由は、同じ内容を印刷するのに、階調の設定が高いほど、特に写真部分については鮮明に表現できるので、印刷結果の紙文書をスキャンして得られる画像もまた、画質は高くなることに起因する。従って、「階調の設定」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
【００５８】
また、「カラー印刷か、もしくはモノクロ印刷か」が画質に関する情報であることの理由は、本来、カラー原稿として作成された文書ならば、カラー印刷である方が、オリジナルに忠実であるという意味で高画質であるので、印刷結果の紙文書をスキャンして得られる画像もまた、画質は高くなることに起因する。従って、「カラー印刷か、もしくはモノクロ印刷か」を指定すると、それは即ち紙文書からスキャンして得られる画像の画質が高いものであるのか、それとも低いものであるのかを指定したことになる。
【００５９】
このように、ユーザは紙文書をスキャンする際には、この紙文書について、上述のような、画質に関する情報（上述の各画質情報のうち一部を入力するようにしても良い）を入力部１１３を用いて入力する。なお、画質情報についてはこれに限定するものではなく、様々なものが考えられる。
【００６０】
また、画質情報は上記のように画質に関する複数の情報を個々に指定することにより、後述する画質比較処理においてより詳細な判断を行うことができるのであるが、画質情報を入力する際のユーザの負担を軽減するために、画質を最も高い画質から最も低い画質までを段階で表現し、段階で指定するようにしてもよい。もちろん、このとき、最も簡単なのは、２段階で表現して高画質か否かを指定する方法である。
【００６１】
尚、画質情報が、画質に関する複数の情報からなる場合、全ての情報を指定する必要はなく、不明なものがあれば、No Informationとして指定しても構わない。このときは、後述する画質比較においては、No Informationでない情報を用いる。
【００６２】
以上の処理で、１枚の紙文書をスキャンすることで得られる画像に関する情報である、ＩＤ、ページ番号、画質情報、アドレスをまとめて「文書管理情報」として記憶する。
【００６３】
図４は、文書管理情報の構成例を示す図である。同図では２種類の紙文書（一方はＩＤ＝１で特定される紙文書、他方はＩＤ＝２で特定される紙文書）を登録した場合について示している。
【００６４】
同図の文書管理情報の場合、ＩＤ＝１で特定される紙文書のページ数は１であり、１枚の紙に２ページの内容が印刷されたものであることが分かる。また、ＩＤ＝２で特定される紙文書のページ数は２であり、各ページの紙に１ページの内容が印刷されたものであることが分かる。
【００６５】
同図の文書管理情報によると、ＩＤ＝１で特定される紙文書をスキャンした結果得られる画像の画質に関する情報として、１枚には２ページの内容が印刷されており（２ｉｎ１）、更にこの紙文書はカラー印刷されたものであり（カラー）、紙文書の用紙サイズはＡ４であり（Ａ４）、紙文書の用紙の紙質は再生紙（再生紙）、１ページ目の画像の格納先のフルパスは「￥￥ａｂｃ￥ｄｏｃ￥ｓｈｉｐ＿ｐ１．ｂｍｐ」、２ページ目の画像の格納先のフルパスは「￥￥ａｂｃ￥ｄｏｃ￥ｓｈｉｐ＿ｐ２．ｂｍｐ」であることが分かる。
【００６６】
ＩＤ＝２で特定されるスキャンした結果得られる１ページ目、２ページ目の画像の画質に関する情報についても同様に、文書管理情報を参照すれば得ることができる。
【００６７】
図３Ａに戻って、ステップＳ３０１１では、ステップＳ３０００で入力した文書の数を変数Ｐに格納する。ステップＳ３０１２では、現在処理中の文書のＩＤを示すための変数ａ、現在処理中のページに含まれているページに対するインデックスを示すための変数ｂに１を代入することで初期化する。
【００６８】
そしてステップＳ３０１３では、ステップＳ３０００で入力された「各文書のページ数」を参照し、ＩＤ＝ａの文書のページ数を変数Ｑに格納する。例えば最初はａ＝１であるので、ＩＤが１である文書のページ数が変数Ｑに格納される。
【００６９】
そしてステップＳ３０１４では、変数Ｐが格納する値と、変数ａが格納する値とを比較し、Ｐ≧ａである場合、即ち、全ての文書について以下説明する処理を行っていない場合には処理をステップＳ３０１５に進め、変数Ｑが格納する値と、変数ｂが格納する値とを比較し、Ｑ≧ｂである場合、即ち、ＩＤ＝ａの文書の全てのページについて以下説明する処理を行っていない場合には処理をステップＳ３０２０に進め、ＩＤ＝ａの文書のｂページ目のスキャン画像についてブロックセレクション処理（ＢＳ処理）を行う。この処理は、マネージメントＰＣ１０１が備える不図示のＣＰＵによって行われる。
【００７０】
具体的には、マネージメントＰＣ１０１のＣＰＵは先ず、記憶部１１１に格納された処理対象のラスタ画像（ＩＤ＝ａの文書のｂページ目のスキャン画像）を読み出す。本処理を最初に行う場合にはａ＝ｂ＝１であるので、ＩＤ＝１の１ページ目の画像を読み出すことになる。文書管理情報が図４に示したものであるとすると、「￥￥ａｂｃ￥ｄｏｃ￥ｓｈｉｐ＿ｐ１．ｂｍｐ」の格納位置に格納されている画像を読み出すことになる。
【００７１】
そして画像を読み出すと先ず、文字／線画部分とハーフトーン画像部分とに領域分割し、文字／線画部分は更に段落で塊として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分割する。
【００７２】
一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等のブロックに分割する。
【００７３】
そして、処理対象のページのページ番号、そのページ中の各ブロックを特定するブロックＩＤを発行し、各ブロックの属性（画像、文字等）、サイズやオリジナル文書内の位置（ページ内の座標）と各ブロックを関連付けて記憶部１１１にブロック情報として記憶する。
【００７４】
図５は、ブロック情報の構成例を示す図である。同図の例では、ＩＤ＝１の文書の１ページ目は、３つのブロックに分割されており、例えばブロックＩＤ＝１のブロックの属性は画像で、サイズは３０画素×３０画素、このブロックの左上隅の位置は、スキャン画像の左上隅の座標を（０，０）とすると（５，５）であることが分かる。
【００７５】
なお、ブロックセレクション処理について詳しくは後述する。
【００７６】
次に、ステップＳ３０３０で、上記ＣＰＵにおいて、各ブロックの種別に応じて、各ブロックの特徴量情報を抽出する特徴量情報抽出処理を行う。
【００７７】
特に、文字ブロックについては、画像読み取り部１１０がＯＣＲ処理を施して文字コードを抽出し、これを文字特徴量とする。また、画像ブロックについては、色に関する画像特徴量を抽出する。このとき、それぞれのブロックに対応する特徴量を文書単位にまとめ、文書ＩＤ、ページ番号、ブロックＩＤに関連付けて記憶部１１１に特徴量情報として記憶する。
【００７８】
図６は、画像ブロックについて抽出した特徴量を管理するためのテーブルの構成例を示す図である。図７は、文字ブロックについて抽出した特徴量を管理するためのテーブルの構成例を示す図である。
【００７９】
特徴量の抽出処理について詳しくは後述する。
【００８０】
そして処理をステップＳ３０３１に進め、次のページを処理対象とすべく、変数ｂが保持する値を１つインクリメントし、処理をステップＳ３０１４に戻し、以降の処理を繰り返す。
【００８１】
なお、ステップＳ３０１５でＱ＜ｂである場合、即ち、ＩＤ＝ａの文書の全てのページについて処理を行った場合には、次のＩＤの文書を処理対象とすべく処理をステップＳ３０３２に進め、変数ａが保持する値を１つインクリメントし、処理をステップＳ３０１４に戻し、以降の処理を繰り返す。
【００８２】
また、ステップＳ３０１４でＰ＜ａの場合、即ち、全ての文書について処理を行った場合には本処理を終了する。
【００８３】
以上の処理により、記憶部１１１に各文書の各ページの画像、及び各ページに関する情報とを登録することができる。なお、登録先については記憶部１１１に限定するものではなく、データベース１０５ａ、１０５ｂの何れかであっても良い。
【００８４】
＜検索処理＞
次に、上述のようにして記憶部１１１に登録されたオリジナル文書の電子データのうち、所望の電子データを検索する検索処理について、同処理のフローチャートを示す図３Ｂを用いて以下、説明する。
【００８５】
以下の説明では、クエリとしての紙文書は、１ページ以上が印刷された１枚の紙文書であるとする。
【００８６】
先ず、ステップＳ３１００では、画像読み取り部１１０によって、上記ステップＳ３０００と同様にして、クエリとしての紙文書に印刷されている情報をスキャン画像として読み取る。
【００８７】
次にステップＳ３１１０では、クエリとしての紙文書についての画質情報を上記ステップＳ３０１０と同様にして入力する。
【００８８】
次に、ステップＳ３１１０で入力され、記憶部１１１に保持されている情報を参照し、クエリとしての紙文書をスキャンすることで得られた画像（以下、クエリ画像と呼称する場合がある）がＮｕｐ印刷されたものであるのかを判定する。
【００８９】
Ｎｕｐ印刷されたものである場合（ステップＳ３１１１でＹＥＳ）、処理をステップＳ３１１２に進め、変数Ｌに、ステップＳ３１１０で得た「１枚の紙文書に含まれているページ数」を格納する。
【００９０】
一方、Ｎｕｐ印刷されたものではない場合（ステップＳ３１１１でＮＯ）、処理をステップＳ３１１５に進め、「１枚の紙文書に含まれているページ数は１」であるので、変数Ｌに１を格納する。
【００９１】
次に、ステップＳ３１１３で、クエリ画像に含まれている各ページに対するインデックスを示すための変数ｂに１を代入することで初期化する。そして処理をステップＳ３１１６に進め、変数Ｌが格納する値と、変数ｂが格納する値とを比較し、Ｌ≧ｂである場合、即ち、クエリ画像中の各ページについて以下説明する処理を行っていない場合には処理をステップＳ３１２０に進め、クエリ画像についてブロックセレクション処理（ＢＳ処理）を行う。
【００９２】
この時のブロックセレクション処理の具体例について、図８を用いて説明する。図８は、２ページ分をＮｕｐ印刷したクエリ画像（２ｉｎ１の紙文書をクエリとしてステップＳ３１００で入力した場合に得られるクエリ画像）の例を示す図である。
【００９３】
同図において、８１０は１枚の紙全体の領域であり、８１１と８１２は各ページのページ画像を示している。８１３と８１４は各ページのページ番号である。ここで、ｂ＝１である場合、１ページ目のページ画像８１１を含む処理対象領域８１５に対してのみ、ブロックセレクション処理を行うことになる。そして、同図の例では、ｂ＝２の場合は、２ページ目のページ画像８１２を含む処理対象領域に対してブロックセレクション処理を行うことになる。
【００９４】
尚、このブロックセレクション処理自体は、ステップＳ３０２０のブロックセレクション処理と同様であるので説明は省略する。また、処理対象領域は、Ｌの値と、紙文書の向きに基づいて、１枚の紙文書をＬ個の領域に分割し、更に所定の処理順に基づいて決定される。
【００９５】
次に、ステップＳ３１３０で、各ブロックの特徴量を抽出する。この処理は、ステップＳ３０３０の処理と同様であるので説明は省略する。
【００９６】
次に、ステップＳ３１４０で、クエリ画像中のｂページ目の画像に対する特徴量と、記憶部１１１に先に登録した各画像の特徴量とを比較して、クエリ画像中のｂページ目の画像との類似度が所定値以上の画像を検索する処理を行う。即ち、記憶部１１１に先に登録した各画像のうち、クエリ画像中のｂページ目の画像とある程度以上類似している画像を特定し、特定した画像を検索結果とする。この検索処理の詳細については後述する。
【００９７】
次に、ステップＳ３１４１で、クエリ画像中の次のページを処理対象とすべく、変数ｂが保持する値を１つインクリメントしてから処理をステップＳ３１１６に戻し、以降の処理を繰り返す。
【００９８】
そしてステップＳ３１１６で、Ｌ＜ｂである場合、即ち、クエリ画像中の各ページについてステップＳ３１２０〜ステップＳ３１４０の処理を行った場合には処理をステップＳ３１５０に進め、ユーザ確認モードが設定されているのか否かを判断する。
【００９９】
ユーザ確認モードとは、ステップＳ３１４０における比較処理によって検索された１以上の画像を表示部１１６の表示画面上に表示することで操作者に確認させるためのモードである。この確認画面についての詳細は後述する。また、このモードは入力部１１３を用いて予め設定することができる。
【０１００】
そして、ユーザ確認モードが設定されている場合（ステップＳ３１５０でＹＥＳ）、処理をステップＳ３１６０に進め、表示部１１６の表示画面上に、検索結果の１以上の画像のサムネイル画像を生成して表示し、その中から操作者に入力部１１３を用いて１つを選択させる。例えばクエリ画像中に２ページが含まれている場合には、１ページ目の画像に対する検索結果を１つ選択し、２ページ目の画像に対する検索結果を１つ選択することになる。
【０１０１】
一方、ユーザ確認モードが設定されていない場合（ステップＳ３１５０でＮＯ）、処理をステップＳ３１９０に進め、マネージメントＰＣ１０１のＣＰＵは、クエリ画像中の各ページについて、記憶部１１１に先に登録した各画像のうち最も類似する画像を１つずつ選択する。
【０１０２】
ステップＳ３１６０、ステップＳ３１９０の何れかの処理を行った後、処理をステップＳ３１６１に進め、クエリ画像中の各ページについて、注目ページの画像と、注目ページの画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された画像とで、画質の比較を行う。画質の比較処理の詳細については後述する。
【０１０３】
そしてクエリ画像中の注目ページ画像と、この注目ページ画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された画像との画質比較の結果、注目ページ画像の方が画質が高いとステップＳ３１６２で判断した場合には処理をステップＳ３１６３に進め、記憶部１１１に登録されている「注目ページ画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された画像」の格納アドレスを参照し、このアドレスに格納されているこの画像を削除した後に、注目ページ画像のデータをこの格納アドレスで特定される記憶エリアに登録する処理を行う。なお、注目ページ画像を登録する際には、上記登録処理と同様に、データ処理部１１５で前処理を施した後に記憶部１１１に保存する。また、この注目ページ画像に対してステップＳ３１１０で入力された画質情報を、注目ページ画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された画像の画質情報の変わりに登録する。また、ブロック情報についても同様に注目ページ画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された画像のブロック情報の代わりに登録する。
【０１０４】
即ち、注目ページ画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された画像、及びこの画像に係る情報の代わりに機能するように、注目ページ画像、及びこの注目ページ画像に係る情報を記憶部１１１に登録する処理を行う。よって、注目ページ画像、及びこの注目ページ画像に係る情報を、注目ページ画像についてステップＳ３１６０もしくはステップＳ３１９０で選択された画像、及びこの画像に係る情報の代わりに機能する目的で記憶部１１１に登録するのであれば、どのような登録処理を行っても良い。
【０１０５】
以上の処理により、これまでに入力されたクエリ画像のうち、最も画質の良いものだけが記憶部１１１に登録されることになる。
【０１０６】
次に、ステップＳ３１７０では、クエリ画像に対し、表示部１０６、入力部１１４で実現されるユーザインタフェースを介するユーザからの操作に基いて、印刷、配信、蓄積、編集のいずれかの処理を実行する。
【０１０７】
また、注目ページ画像の方が画質が低いとステップＳ３１６２で判断した場合にはステップＳ３１６３における処理をスキップしてステップＳ３１７０に処理を進める。
【０１０８】
＜ブロックセレクション処理の詳細について＞
ステップＳ３０２０、ステップＳ３１２０において行うブロックセレクション処理についてより詳細に説明すると、例えば、図９（ａ）に示すラスタ画像を、図９（ｂ）に示すように、意味のあるブロック毎の塊として認識し、ブロック各々の属性（文字（ＴＥＸＴ）／図画（ＰＩＣＴＵＲＥ）／写真（ＰＨＯＴＯ）／線（ＬＩＮＥ）／表（ＴＡＢＬＥ）等）を判定し、異なる属性を持つブロックに分割する処理である。図９は、ブロックセレクション処理を説明する図である。
【０１０９】
そのための処理の一例としては先ず、画像を白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行って白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【０１１０】
このようにして得られた黒画素の塊を、大きさ及び形状で分類し、異なる属性を持つブロックへ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のブロックは文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロック、一定大きさ以上でかつ矩形の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在している領域を写真ブロック、それ以外の任意形状の画素塊を図画ブロックとする。
【０１１１】
なお、ブロックセレクション処理については周知の技術であるので、これ以上の説明は省略する。
【０１１２】
＜画質情報の入力の詳細について＞
ステップＳ３０１０、ステップＳ３１１０において画質情報を入力するために表示部１１６の表示画面上に表示されるユーザインターフェースについて説明する。
【０１１３】
図１４はこのユーザインターフェースの表示例を示す図である。同図では表示部分と操作部分とが混在しており、表示部分が表示部１１６、操作部分が入力部１１３に相当する。
【０１１４】
１４１１は表示・操作パネルである。１４１２〜１４１５は各種機能ボタンであり、それぞれの機能ボタン１４１２〜１４１５は、処理対象の画像の印刷指示、配信指示、蓄積指示及び編集指示を行うために押下されるべきボタンである。
【０１１５】
１４１６はスタートボタンであり、押下することで、機能ボタンで選択した機能を実行させることができる。１４２５はテンキーであり、印刷時の枚数の指定や、Ｎｕｐ印刷する場合の１枚の紙に含まれるページ数の指定や、数値で入力する必要のある画質情報の指定を行うことが可能である。
【０１１６】
１４１７は表示領域であり、タッチパネルで構成され、ユーザが直接画面に触れることで選択指示が可能である。１４１８は紙文書確認用領域であり、画像読取部１１０で読み取った紙文書画像を、領域１４１８内に収まるサイズに縮小して表示する。ユーザは紙文書画像の状態を、この領域１４１８を見ることで確認することが可能となる。
【０１１７】
１４１９は入力原稿の画質を指定する為の領域である。
【０１１８】
１４２０は、先に画像読み取り部１１０が読み取った１枚の紙文書中に何ページが印刷されているのかを表示するための領域で、テンキー１４２５を用いて指示された数値を表示することができる。
【０１１９】
１４２１ａ、１４２１ｂはそれぞれ表示領域１４１９内に表示されているボタン画像で、何れかのボタン画像を指示することで、先に画像読み取り部１１０が読み取った紙文書がの印刷モードがカラーであるのか、それともモノクロであるのかを指定することができる。
【０１２０】
１４２２ａ、１４２２ｂはそれぞれ表示領域１４１９内に表示されているボタン画像で、何れかのボタン画像を指示することで、先に画像読み取り部１１０が読み取った紙文書の用紙サイズがＡ４であるのか、それともＢ５であるのかを指定することができる。
【０１２１】
１４２３ａ、１４２３ｂはそれぞれ表示領域１４１９内に表示されているボタン画像で、何れかのボタン画像を指示することで、先に画像読み取り部１１０が読み取った紙文書の紙質が上質紙であるのか、それとも再生紙であるのかを指定することができる。
【０１２２】
印刷モード、用紙サイズ、紙質については、指定可能な値の候補がボタンで表示される。なお、指定された状態を示すために、その表示形態が、例えば、色付き表示、ブリンク表示、ハイライト表示等の表示形態に変更される。
【０１２３】
このようなユーザインターフェースを構成することで、読み取った紙文書に対する画質情報の指定を、その状態を表示しながら指定することができる。
【０１２４】
＜特徴量の抽出処理の詳細について＞
ステップＳ３０３０、ステップＳ３１３０における特徴量抽出処理の詳細について説明する。尚、特徴量抽出処理は、画像ブロック及び文字ブロックで処理方法が異なるので、それぞれ別に説明する。ここで、画像ブロックは図９（ｂ）の例の場合、写真ブロックと図画ブロックとで構成されているものとするが、用途や目的に応じて、画像ブロックを写真ブロック及び図画ブロックの少なくとも一方にすることも可能である。
【０１２５】
まず、画像ブロックに対する特徴量抽出処理について説明する。尚、１文書に複数の画像ブロックが存在する場合は、その総数分、以下の処理を繰り返す。
【０１２６】
本実施形態では、特徴量抽出処理の一例として、画像の色に関する色特徴量を抽出する。
【０１２７】
図１０は、本実施形態に係る、画像ブロックからの特徴量抽出処理の詳細を示すフローチャートである。即ち、処理対象ブロックのブロック情報に含まれている「属性」が「画像」を示す場合に、この処理対象ブロックに対して行われる特徴量抽出処理のフローチャートである。
【０１２８】
尚、この処理では、画像ブロックを複数のメッシュブロックに分割した各メッシュブロックの色ヒストグラム中の最頻色を有する色と各メッシュブロックの位置情報を対応づけた情報を色特徴情報として抽出する。
【０１２９】
まず、ステップＳ１０２０で、画像ブロックを複数のメッシュブロックに分割する。本実施形態では、図１１に示すように、画像ブロックを縦横をそれぞれ９メッシュブロックに分割する。特に本実施形態では、表記の都合上９×９＝８１メッシュブロックに分割している例を示しているが、実際には、１５×１５＝２２５メッシュブロック程度であることが好ましい。図１１は、メッシュブロック分割を説明する図である。
【０１３０】
次に、ステップＳ１０３０で、処理対象となる着目メッシュブロックを左上端のメッシュブロックに設定する。尚、この着目メッシュブロックの設定は、例えば、図１２に示すような、予め処理順序が決定された順序決定テーブルを参照して行う。図１２は、順序決定テーブルの構成例を示す図である。
【０１３１】
ステップＳ１０４０で、未処理の着目メッシュブロックの有無を判定する。未処理の着目メッシュブロックがない場合（ステップＳ１０４０でＮＯ）、処理を終了する。一方、未処理の着目メッシュブロックがある場合（ステップＳ１０４０でＹＥＳ）、処理をステップＳ１０５０に進める。
【０１３２】
ステップＳ１０５０では、着目メッシュブロックを構成する全画素の各濃度値を、図１３に示す色空間を分割して作った部分空間である色ビンへ射影し、色ビンに対する色ヒストグラムを生成する。図１３は、ＲＧＢ色空間における色ビンを示す図である。
【０１３３】
尚、本実施形態では、図１３に示すように、ＲＧＢ色空間を３×３×３＝２７に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影する場合を示しているが、実際には、ＲＧＢ色空間を６×６×６＝２１６に分割した色ビンへ着目メッシュブロックの全画素の濃度値を射影するほうが好ましい。
【０１３４】
ステップＳ１０６０では、色ヒストグラムの最頻色ビンの色ビンＩＤをその着目メッシュブロックの代表色として決定し、画像ブロックにおける着目メッシュブロックの位置に対応づけて記憶部１１１に記憶する。
【０１３５】
ステップＳ１０７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１０４０に戻り、未処理の着目メッシュブロックがなくなるまで、ステップＳ１０４０〜ステップＳ１０７０の処理を繰り返す。
【０１３６】
以上の処理によって、画像ブロックのメッシュブロック毎の代表色と各メッシュブロックの位置情報が対応付けられた情報を色特徴量情報として抽出することができる。
【０１３７】
次に、文字ブロックに対する特徴量抽出処理について説明する。尚、１文書に複数の文字ブロックが存在する場合は、その総数分、以下の処理を繰り返す。即ち、処理対象ブロックのブロック情報に含まれている「属性」が「文字」を示す場合に、この処理対象ブロックに対して行われる特徴量抽出処理のフローチャートである。
【０１３８】
文字ブロックに対する文字特徴量情報は、その文字ブロックにＯＣＲ（文字認識）処理を施して得られる文字コードとする。
【０１３９】
ＯＣＲ（文字認識）処理は、文字ブロックから文字単位で切り出された文字画像に対し、パターンマッチの一手法を用いて文字認識を行い、対応する文字コードを取得する。
【０１４０】
この文字認識処理は、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果とするものである。
【０１４１】
特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュブロック内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴とする方法がある。
【０１４２】
ブロックセレクション処理（ステップＳ３０２０あるいはステップＳ３１２０）で抽出された文字ブロックに対して文字認識を行う場合は、まず、文字ブロックに対して横書き／縦書きの判定を行い、各々対応する方向に文字列を切り出し、その後、文字列から文字を切り出して文字画像を取得する。
【０１４３】
横書き／縦書きの判定は、文字ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判定する。文字列及び文字への分解は、横書きの文字ブロックである場合には、その水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。一方、縦書きの文字ブロックに対しては、水平と垂直を逆にすれば良い。
【０１４４】
＜比較処理の詳細について＞
ステップＳ３１４０の比較処理の詳細について説明する。
【０１４５】
図１５は、ステップＳ３１４０における比較処理の詳細を示すフローチャートである。
【０１４６】
記憶部１１１に登録されている各画像を、クエリ画像中の各ページの画像との比較の為に参照するのであるが、ステップＳ１５１０では、記憶部１１１に登録されている全ての画像を参照したか否かをチェックする。そしてまだ参照していない画像がある場合には処理をステップＳ１５２０に進め、クエリ画像中のｂ（ｂはクエリ画像中の各ページに対するインデックスである）ページ目の画像（以下、参照元画像と呼称する）と、記憶部１１１に登録されたまだ参照していない画像のうちの１つ（以下、参照先画像と呼称する）とが同じレイアウトであるのかをチェックする。ここで、レイアウトとは、ブロック情報が示すブロックの属性、サイズ、位置のことである。
【０１４７】
即ちステップＳ１５２０では、参照元画像と参照先画像とで同じ位置にあるブロック同士が同じ属性を有するものであるのかをチェックする。そして互いにレイアウトが異なる場合（参照元画像と参照先画像とで同じ位置にあるブロックが互いに異なる属性を有するものが１以上ある場合）には処理をステップＳ１５１０に戻し、記憶部１１１に登録されたまだ参照していない画像のうちの１つを次の参照先画像として以降の処理を繰り返す。
【０１４８】
一方、参照元画像を構成する全てのブロックと参照先画像を構成する全てのブロックとで、同じ位置にあるブロックが同じ属性を有するものである場合には処理をステップＳ１５３０に進め、比較元画像と比較先画像のページ同士の比較を行う。この比較は、ブロックの属性に合わせ、文字、画像それぞれに応じた特徴量を用いて、複合的に比較を行い、類似度を算出する。即ち、参照先画像と参照元画像との類似度を計算する。この処理の詳細については後述する。
【０１４９】
次に、ステップＳ１５４０で、参照先画像のＩＤ、ページ番号に対応させてステップＳ１５３０で計算した類似度を記憶部１１１に一時記憶する。
【０１５０】
そして、ステップＳ１５１０において、全ての文書との比較が終了した場合、処理をステップＳ１５５０に進め、類似度の降順に文書ＩＤ、ページ番号をソートして出力する。
【０１５１】
次に、ステップＳ１５３０における処理の詳細について、同処理のフローチャートを示す図１６を用いて説明する。
【０１５２】
図１６はステップＳ１５３０における処理の詳細を示すフローチャートである。先ずステップＳ１６１０で、参照元画像と参照先画像とで比較するブロックがまだあるか否かをチェックし、まだある場合には処理をステップＳ１６２０に進め、参照元画像におけるブロック（以下、参照元ブロック）、もしくは参照元ブロックとの比較対照である参照先画像におけるブロック（以下、参照先ブロック）の何れかのブロック情報を参照し、参照元ブロック、参照先ブロックの属性を判断する。即ち、画像ブロックであるのか、文字ブロックであるのかを判断する。
【０１５３】
画像ブロックである場合には処理をステップＳ１６４０に進め、参照元ブロックと参照先ブロックとで、色特徴量の類似度を求める処理を行う。ステップＳ１６４０における処理の詳細については後述する。なお、ステップＳ１６４０で求めた類似度は、参照先画像の文書ＩＤ、ページ番号、参照先ブロックのブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１５４】
一方、文字ブロックである場合には処理をステップＳ１６６０に進め、参照元ブロックと参照先ブロックとで、文字特徴量の類似度を求める処理を行う。ステップＳ１６６０における処理の詳細については後述する。なお、ステップＳ１６６０で求めた類似度は、参照先画像の文書ＩＤ、ページ番号、参照先ブロックのブロックＩＤに対応させて記憶部１１１に一時記憶する。
【０１５５】
次に、ステップＳ１６１０において、全てのブロックとの比較が終了した場合（ステップＳ１６１０でＮＯ）、処理をステップＳ１６７０に進め、ステップＳ１６４０及びステップＳ１６６０の処理によって記憶部１１１に記憶されている、全てのブロック対毎に求めた類似度を統合し、参照元画像と参照先画像との類似度を求める。ステップＳ１６７０における処理の詳細については後述する。
【０１５６】
次に、ステップＳ１６４０の色特徴量比較処理の詳細について、同処理のフローチャートを示す図１７を用いて説明する。
【０１５７】
まず、ステップＳ１７１０で、参照元ブロックの色特徴量情報、参照先ブロックの色特徴量情報を読み出す。
【０１５８】
次に、ステップＳ１７２０で、処理対象とする着目メッシュブロックを先頭に設定する。ステップＳ１７３０で、以下計算する類似距離を０にリセットする。
【０１５９】
ステップＳ１７４０で、未比較の着目メッシュブロックの有無を判定する。未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、処理をステップＳ１７８０に進める。一方、未比較の着目メッシュブロックがある場合（ステップＳ１７４０でＹＥＳ）には、処理をステップＳ１７５０に進める。
【０１６０】
ステップＳ１７５０では、参照元ブロックの色特徴量情報から着目メッシュブロックの色ビンＩＤを取得し、参照先ブロックの色特徴量情報から着目メッシュブロックの色ビンＩＤを取得する。
【０１６１】
ステップＳ１７６０で、図１８に例示する色ビンペナルティマトリックスを参照して、ステップＳ１７５０で取得した色ビンＩＤ間の類似距離を取得し、これを直前の処理で取得している類似距離に累積加算し、記憶部１１１に記憶する。
【０１６２】
ここで、色ビンペナルティマトリックスについて、図１８を用いて説明する。図１８は本実施形態で用いる色ビンペナルティマトリックスの構成例を示す図である。
【０１６３】
色ビンペナルティマトリックスは、色ビンＩＤ同士の局所的類似距離を管理するマトリックスである。図１８によれば、色ビンペナルティマトリックスは、同一色ビンＩＤではその類似距離は０となり、色ビンＩＤ同士の差が大きくなるほど、つまり、類似度が低くなるほど、その類似距離は大きくなるように構成されている。また、同一色ビンＩＤの対角位置は全て、その類似距離は０で、それを境に対象性を持っている。
【０１６４】
このように、本実施形態では、色ビンペナルティマトリックスを参照するだけで、色ビンＩＤ同士の類似距離を取得することができるので、処理の高速化を図ることができる。
【０１６５】
そして、ステップＳ１７７０で、図１２の順序決定テーブルを参照して、次の処理対象となる着目メッシュブロックを設定する。その後、ステップＳ１７４０に戻る。
【０１６６】
そして、ステップＳ１７４０で、未比較の着目メッシュブロックがない場合（ステップＳ１７４０でＮＯ）、ステップＳ１７８０に進み、記憶部１１１に記憶されている類似距離を類似度に変換し、参照元ブロックのブロックＩＤと対にして出力する。
【０１６７】
尚、類似度への変換は、例えば、類似距離が最小値のときを類似度１００％、類似距離が最大値のときを類似度０％として、その範囲内の類似距離に対する類似度は、最小値あるいは最大値に対する差に基づいて算出するようにすれば良い。
【０１６８】
一方、ステップＳ１６６０における比較処理の詳細について説明する。
【０１６９】
この処理では、参照元画像と参照先画像とで対応する文字ブロック内の各文字コード同士の比較を行い、その一致度から類似度を算出する。類似度は１００％となるのが理想的であるが、実際には、参照元画像中の文字ブロックに対するＯＣＲ処理では誤認識が発生する場合があるので、類似度は１００％にならないことはあるが、かなり１００％に近い値となる。
【０１７０】
＜統合処理の詳細について＞
次に、ステップＳ１６７０における統合処理の詳細について説明する。この統合処理では、参照先画像内で占めている割合の大きいブロックの類似度が、参照先画像全体の類似度としてより大きく反映されるような、ブロック毎の類似度の統合を行う。
【０１７１】
例えば、参照先画像中のブロックＢ１〜Ｂ６に対し、ブロック毎の類似率がｎ１〜ｎ６と算出されたとする。このとき参照先画像全体の総合類似率Ｎは、以下の式で表現される。
【０１７２】
Ｎ＝ｗ１×ｎ１＋ｗ２×ｎ２＋ｗ３×ｎ３＋  ・・・  ＋ｗ６×ｎ６    （１）
ここで、ｗ１〜Ｗ６は、各ブロックの類似率を評価する重み係数である。重み係数ｗ１〜ｗ６は、各ブロックの参照先画像内占有率により算出する。例えば、ブロックＢ１〜Ｂ６のサイズをＳ１〜Ｓ６とするとｗ１は、
ｗ１＝Ｓ１／（Ｓ１＋Ｓ２＋・・・＋Ｓ６）                          （２）
として算出することができる。
【０１７３】
各ブロックのサイズは、ブロック情報を参照することで得られる。このような占有率を用いた重み付け処理により、参照先画像内で大きな領域を占めるブロックの類似度がより、参照先画像全体の類似度に反映することができる。
【０１７４】
なお、統合類似度の求め方についてはこれに限定するものではない。
【０１７５】
＜ユーザ確認モードについて＞
ユーザ確認モードについては、ステップＳ３１４０における検索処理が終了したらユーザ確認モードに移行するようにユーザが予め入力部１１３を用いて設定しても良いし、ステップＳ３１４０における検索処理が終了したら、その検索結果に応じて上記ＣＰＵがユーザ確認モードに移行するようにしても良い。
【０１７６】
ステップＳ３１４０における検索処理に結果に応じてユーザ確認モードに移行するか否かを判断する場合の処理には以下のようなものがある。
【０１７７】
例えば、ステップＳ３１４０で検索した結果が１つである場合（１つのページに対して検索結果が１つの画像である場合）、又は最も類似度の高い検索結果と次に類似度の高い検索結果とで、類似度の差が所定値以上であり、且つ最も類似度の高い検索結果が、所望とするものである可能性が高い場合には、ユーザ確認モードには移行せず、そうでない場合は、ユーザ確認モードに移行するようにする。
【０１７８】
但し、Ｎｕｐ印刷の紙文書をスキャンした場合は、スキャン画像中の各ページに対応するそれぞれの候補について、１つでも上記の条件（ステップＳ３１４０で検索した結果が１つである場合（１つのページに対して検索結果が１つの画像である場合）、又は最も類似度の高い検索結果と次に類似度の高い検索結果とで、類似度の差が所定値以上であり、且つ最も類似度の高い検索結果が、所望とするものである可能性が高い場合）を満足しない場合は、ユーザ確認モードに移行し、上記の条件を満足しなかったページのみの確認を行う。
【０１７９】
ユーザ確認モードに移行すると、ＭＦＰ１００の表示部１１０と入力部１１３で実現されるユーザインタフェースに、ステップＳ３１４０における検索結果を類似度の高い順に表示して、その中から所望の画像の選択をユーザに行ってもらう。ステップＳ３１６０では、このユーザインターフェースを表示すると共に、このユーザインターフェースに対する操作を受け付ける。
【０１８０】
このように、ユーザ確認モードへの以降を自動判定する場合は、ユーザによる画像の選択操作が不要となるので、操作工数を低減することができる。
【０１８１】
ここで、表示部１１０と入力部１１３で実現されるユーザインタフェースについて説明する。図１９は、このユーザインターフェースの表示例を示す図である。
【０１８２】
１９１７は図１４に示した表示領域１４１７に表示されるユーザインターフェースである。
【０１８３】
１９１８はモード表示領域であり、同図ではユーザ確認モードが設定されている。即ち、ステップＳ３１４０における検索処理が完了するとユーザ確認モードに移行するように設定されている。ここで、ユーザがモード表示領域１９１８の部分を自身の指などで指示すると、「非ユーザ確認モード」に移行すると共に、このモード表示領域１９１８には「非ユーザ確認モード」成る文字が表示される。このように、モード表示領域１９１８を指示する毎に「ユーザ確認モード」と「非ユーザ確認モード」とが交互に設定される。
【０１８４】
１９１９〜１９２８は、ステップＳ３１４０における検索処理の結果としての画像のサムネイル画像群である。このサムネイル画像の表示は、１９１９から番号順に類似度の高い順で表示されている。同図の例では最大１０のサムネイル画像が表示されており、検索結果が１０以上である場合には類似度の大きい順に上位１０位までを表示する。
【０１８５】
１９２９は、クエリ画像がＮｕｐ印刷された紙文書をスキャンしたことで得られた画像である場合に表示される領域であり、図１４に例示したユーザインターフェースにおいて領域１４２０に入力された数値が２以上である場合に表示される。
【０１８６】
同図ではこの領域１９２９には「１ページ」と表示されているため、画像１９１９〜１９２８は、記憶部１１１に登録されている画像群のうち、クエリ画像中の１ページ目の画像に対する類似度が所定値以上のもので且つ上位１０位以上のものである。
【０１８７】
操作者がこの領域１９２９を指示する毎に、領域１９２９内は「２ページ目」、「３ページ目」、、、「Ｎページ目」（Ｎは領域１４２０内に入力した数値で、クエリ画像中に含まれているページ数）というように表示が切り替わると共に、画像１９１９〜１９２８は「記憶部１１１に登録されている画像群のうち、２ページ目の画像に対する類似度が所定値以上のもので且つ上位１０位以上のもの」、「記憶部１１１に登録されている画像群のうち、３ページ目の画像に対する類似度が所定値以上のもので且つ上位１０位以上のもの」、、、「記憶部１１１に登録されている画像群のうち、Ｎページ目の画像に対する類似度が所定値以上のもので且つ上位１０位以上のもの」というように切り替わる。
【０１８８】
そして操作者は各ページにおいて画像１９１９〜１９２８のうち１つを指示することで、各ページについて１つの検索結果を指示することができる。同図では「記憶部１１１に登録されている画像群のうち、１ページ目の画像に対する類似度が所定値以上のもので且つ上位１０位以上のもの」が画像１９１９〜１９２８として表示されているので、画像１９１９〜１９２８のうち１つを指示することになる。
【０１８９】
＜画質比較処理の詳細について＞
次に、ステップＳ３１６１における画質比較処理の詳細について説明する。上述の通り、画質比較処理は、クエリ画像中の各ページについて、注目ページの画像と、注目ページの画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された画像（以下、選択画像と呼称する）とで、画質の比較を行うのであるが、画質の比較には、それぞれ比較する画像の画質情報を用いる。
【０１９０】
画質情報が複数の項目からなるときは、各項目をチェックし、両方ともその値がNo Informationでない項目を選択して比較する。次に、選択された項目のうち、画質に大きく寄与する項目の順にチェックする。例えば、クエリ画像中の注目ページの画像と、注目ページの画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された選択画像とで画質の比較を行う場合、クエリ画像に対する画質情報と、選択画像が属する文書に対する画質情報とを参照する。
【０１９１】
ここで、クエリ画像中のページレイアウトは１枚２ページ、紙質が上質紙であって、選択画像が属する文書のページレイアウトは１枚１ページ、紙質が再生紙である場合、紙質はクエリ画像の方が良いのであるが、ページレイアウトが１枚２ページであるので、１ページあたりの解像度は、選択画像の半分しかない。一方、上質紙の方が再生紙よりも色の再現度などがいいものの、大きな差はない。このような場合、画質は、紙質よりも１ページあたりの解像度の差によるものの方が圧倒的に大きい。よって、ページレイアウト、紙質が選択された項目であった場合は、ページレイアウトをまず比較し、クエリ画像の方が高画質と判定できれば、紙質は比較しない。ページレイアウトの比較で、クエリ画像の方が高画質と判定できなかった場合は、更に、紙質を比較し、この結果を採用するようにする。以上のように、画質に大きく寄与する項目から順に比較し、必要に応じて残りの項目の比較を行うようにする。
【０１９２】
また、画質情報が段階で表現されている時は、段階の高い方を高画質と判定すればよい。
【０１９３】
以上説明したように、本実施形態によれば、クエリ画像が既に登録されている画像よりも高画質であった場合には入れ替えを行い、クエリ画像を新たなオリジナル画像とすることによって、次回の検索をより高精度に行うことができる。検索時には様々なユーザが検索を行うので、手元に原稿を保持していることもあり、クエリ画像の方が高画質になる可能性は高いと考えられる。よって、多くのユーザが利用すればするほど、本画像処理システムは高精度の検索が可能となる。また、印刷品質を上げることができる。
【０１９４】
尚、本実施形態では、画像処理システム全体の処理効率を向上するために、上記各処理を画像処理システムを構成する各種端末に分散させて実行するようにしているが、１つの端末（例えば、ＭＦＰ１００）上で実行するようにしても構わない。
【０１９５】
［第２の実施形態］
第１の実施形態では、紙文書をスキャンすることで得られる画像の画質情報をユーザインターフェースを介してユーザが入力していたが、本実施形態では、画像を解析することでこの画像の画質を得る。
【０１９６】
＜登録処理＞
図２０Ａは、紙文書をスキャンして、この紙文書に印刷されている情報を画像データとして読み取り、読み取った画像をＭＦＰ１００の記憶部１１１に登録する為の一連の処理のフローチャートである。なお、同図の各ステップにおいて、図３Ａに示したステップと同じものについては同じステップ番号を付けており、その説明は省略する。
【０１９７】
ステップＳ２０１１では、ステップＳ３０１０で入力したラスタ画像を解析したり、紙文書入力時のセンサ情報を取得したりすることによって画質を判定し、画質情報を得る。このとき、画質情報としては第１の実施形態と同様に画質に関する各種の情報そのものであってもよいし、各種の情報より判定した段階で表現したものであってもよい。本ステップにおける処理の詳細については後述する。
【０１９８】
＜検索処理＞
次に、上述のようにして記憶部１１１に登録されたオリジナル文書の電子データのうち、所望の電子データを検索する検索処理について、同処理のフローチャートを示す図２０Ｂを用いて以下、説明する。なお、同図の各ステップにおいて、図３Ｂに示したステップと同じものについては同じステップ番号を付けており、その説明は省略する。
【０１９９】
ステップＳ２１１１では、ステップＳ３１１０で入力したクエリ画像に対して上記ステップＳ２０１１と同じ処理を行う。本ステップにおける処理の詳細については後述する。
【０２００】
そしてクエリ画像中の注目ページ画像と、この注目ページ画像についてステップＳ３１６０、もしくはステップＳ３１９０で選択された画像との画質比較の結果、注目ページ画像の方が画質が高いとステップＳ３１６２で判断した場合には処理をステップＳ２１６３に進め、ステップＳ３１６３における登録処理を行うか否かの指示を受け付ける。この指示は操作者によって入力されるものである。このような指示を受け付けるのは、ステップＳ２１１１で行った画質判定の結果が正当なものであるのかを操作者が判断する為である。本ステップにおける処理の詳細については後述する。
【０２０１】
ステップＳ２１６５では、登録する画像の画質情報の修正を行うのか否かの指示を受け付ける。この指示は操作者によって入力されるものである。このような指示が入力されていれば処理をステップＳ２１６６に進め、画質情報を修正するためのユーザインターフェースを表示部１１６の表示画面上に表示し、修正を受け付ける。ステップＳ２１６５，Ｓ２１６６における処理の詳細については後述する。
【０２０２】
＜画質判定処理の詳細について＞
ステップＳ２０１１、ステップＳ２１１１における画質判定処理の詳細について説明する。以下の説明では例として、Ｎｕｐ印刷判定、カラー／グレースケール印刷判定、用紙サイズ判定、紙質判定のそれぞれの判定処理について説明する。
【０２０３】
・  Ｎｕｐ印刷判定処理
まず、画像読み取り部１１０がスキャンした結果得られる画像がＮｕｐ印刷されたものであるのか否かを判定するＮｕｐ印刷判定処理について説明する。
【０２０４】
紙文書に１ページ分の文書が印刷されている通常印刷の場合には、紙文書の上端か下端にページ番号が印刷される。一方、Ｎｕｐ印刷の場合は、紙文書内に複数のページ番号が等間隔に印刷されることになる。そこで、このことを利用して、処理対象のスキャン画像がＮｕｐ印刷であるか否かを判定する。以下では、図２１に示すような１枚の紙に４ページ分の文書をＮｕｐ印刷した紙文書を例に取り、この紙文書スキャンした場合に、この紙文書がＮｕｐ印刷されたものであるのか否かを判定する処理について説明する。図２１は、１枚に４ページ分をＮｕｐ印刷した紙文書の一例を示す図である。
【０２０５】
図２１において、２１１０はＮｕｐ印刷時の紙全体の領域を示している。２１１１〜２１１４は各ページのページ画像を示している。２１１５〜２１１８は各ページに付与されたページ番号である。２１１９と２１２０の太枠内は、後述するページ番号探索領域である。
【０２０６】
図２２は本実施形態に係るＮｕｐ印刷判定処理の詳細を示すフローチャートである。
【０２０７】
まず、ステップＳ２２１０で、紙全体の領域２１１０の上端と下端の領域に対して、画像読み取り部１１０によってＯＣＲ処理を施す。次に、ステップＳ２２２０で、ＯＣＲ処理の処理結果として、ページ番号（例えば、アラビア数字、もしくは英数字）が２個所以上、上端領域または下端領域の同じ領域内に等間隔で存在するか否かを判定する。ページ番号が２個所以上存在しない場合（ステップＳ２２２０でＮＯ）、ステップＳ２２６０に進み、この紙文書が１枚の紙に１ページが印刷されたもの（通常印刷）であると判定する。一方、ページ番号が２個所以上存在する場合（ステップＳ２２２０でＹＥＳ）、ステップＳ２２３０に進む。
【０２０８】
図２１の例では、ページ番号２１１７（「３」）と２１１８（「４」）が下端領域に２箇所検出されることになる。
【０２０９】
ステップＳ２２３０で、検出されたページ番号に基づいて、他のページ番号を探索するためのページ番号探索領域を設定し、その設定したページ番号探索領域に対してＯＣＲ処理を施す。
【０２１０】
図２１の例では、ページ番号２１１７（「３」）を含む矩形領域をページ番号２１１７（「３」）、２１１８（「４」）の並びと垂直な方向に紙の長さ（この方向に対する紙の長さ）分だけ延長した矩形をページ番号探索領域２１１９として設定する。また、ページ番号２１１８（「４」）を含む矩形領域をページ番号２１１７（「３」）、２１１８（「４」）の並びと垂直な方向に紙の長さ（この方向に対する紙の長さ）分だけ延長した矩形をページ番号探索領域２１２０として設定する。そして、各ページ番号探索領域２１１９、２１２０に対してＯＣＲ処理を施す。
【０２１１】
次に、ステップＳ２２４０で、各ページ番号探索領域でページ番号が検出され、各ページ番号探索領域中のページ番号同士の間隔が同一であるか否かを判定する。同一でない場合（ステップＳ２２４０でＮＯ）、ステップＳ２２６０に進み、通常印刷であると判定する。一方、同一である場合（ステップＳ２２４０でＹＥＳ）、ステップＳ２２５０に進み、Ｎｕｐ印刷であると判定する。
【０２１２】
図２１の例では、ページ番号探索領域２１１９にページ番号２１１５（「１」）と２１１７（「３」）が検出され、ページ番号探索領域２１２０にページ番号２１１６（「２」）と２１１８（「４」）が検出される。そして、ページ番号探索領域２１１９とページ番号探索領域２１２０中のページ番号の間隔は、同じ間隔となっている。そのため、この場合は、Ｎｕｐ印刷と判定される。
【０２１３】
また、この際、ステップＳ２２１０で検出されたページ番号の数と、ステップＳ２２３０の１つのページ番号探索領域で検出されたページ番号の数を乗算することで、１枚の紙に含まれるページ数を算出することができ、このページ数を画質情報の１つ（ページレイアウト）として記憶部１１１に一時保存する。
【０２１４】
・  カラー印刷かグレースケール印刷かの判定処理
次に、カラー印刷かグレースケール印刷かの判定処理について説明する。
【０２１５】
この判定は、画像読み取り部１１０がスキャンした結果得られる画像に占める色情報の割合を解析し、画像に占める色情報の割合が予め定められた閾値以上である場合に色情報が十分であると判定し、閾値未満である場合に色情報が不十分であると判定する。
【０２１６】
図２４は本実施形態に係る、カラー印刷かグレースケール印刷かの判定処理のフローチャートである。
【０２１７】
先ずステップＳ１６１０でスキャン画像を構成する全画素の色の平均色を算出する。ステップＳ１６２０で、平均色を輝度成分と色差成分に変換する。ステップＳ１６３０で、輝度成分値に対する色差成分値の割合Ｒを算出する。
【０２１８】
ここで、色を輝度成分と色差成分に分離する分離方法については、公知の方法を用いる。例えば、ＹＣｂＣｒ色空間を用いると、２４ビットＲＧＢ値との関連は、
Ｙ  ＝０．２９９００×Ｒ＋０．５８７００×Ｇ＋０．１１４００×Ｂ
Ｃｂ＝−０．１６８７４×Ｒ−０．３３１２６×Ｇ＋０．５００００×Ｂ＋１２８
Ｃｒ＝０．５００００×Ｒ−０．４１８６９×Ｇ＋（−０．０８１３１）×Ｂ＋１２８          （２）
と表現される。
【０２１９】
そしてステップＳ１６１０で算出した平均色を式（２）に従って輝度成分Ｙaveと色差成分Ｃｂave及びＣｒaveに分離し、割合Ｒを以下の式３に従って求める
割合Ｒ＝√（Ｃｂave×Ｃｂave＋Ｃｒave×Ｃｒave）／Ｙave      （３）
そして、ステップＳ１６４０で、この割合Ｒが予め定めた閾値以上であるか否かを判定する。閾値以上である場合（ステップＳ１６４０でＹＥＳ）、ステップＳ１６５０に進み、画像の色情報が十分であると判定する（即ち、カラー画像であると判定する）。一方、閾値未満である場合（ステップＳ１６４０でＮＯ）、ステップＳ１６６０に進み、画像の色情報が十分であると判定する（即ち、カラー画像であると判定する）。
【０２２０】
以上の処理により、紙文書をスキャンすることで得られる画像がカラー画像であるのか、それともグレースケール画像であるのかを判定することができる。
【０２２１】
・  用紙サイズの判定処理
次に、用紙のサイズの判定処理について説明する。用紙サイズは、画像読み取り部１１０において、光電センサを用いてプレスキャンを行い、光電センサの出力に基いてサイズを判定することができる。
【０２２２】
・  紙質の判定処理
次に、紙質の判定処理について説明する。紙質は、反射型センサによって上質紙と再生紙との光の反射率の違いを利用して紙の種類を弁別する方法が特開平４−３９２２３号公報などで開示されており、このようなセンサを画像読み取り部１１０に取り付けることによって紙文書の紙質の判定は可能となる。
【０２２３】
なお、画質情報を段階で表現する場合は、前述のような各項目の情報を抽出した後に、各項目について予め設けた基準に基いて、各項目ごとの段階を求め、全項目の中で最も低画質に近い段階を、全体の段階として採用する。
【０２２４】
＜ステップＳ３１６３における登録処理を行うか否かの指示方法についての詳細＞
次に、ステップＳ３１６３における登録処理を行うか否かの指示方法について説明する。
【０２２５】
本実施形態では、クエリ画像に対する画質判定が観察者が行うわけではないので、例えばクエリ画像をスキャンした紙質の判定がセンサエラーにより誤っていたり、ページレイアウトの判定を誤っていたりすることで、本当は検索した画像の方が画質が高いはずなのに、クエリ画像の方が画質が高いとなってしまう可能性が生ずる。
【０２２６】
よって本実施形態では表示部１１６の表示画面上にクエリ画像（入力画像）と、検索結果の画像（登録画像）とを一覧表示すると共に、それぞれの画像の画質情報を一覧表示することで、観察者にそれぞれの画像の画質を判断してもらい、入力画像を登録画像の代わりに登録するのか否かを観察者に判断してもらう。また、入力画像の画質情報が誤っている場合には、これを修正するような構成を観察者に提供する。
【０２２７】
図２３は、クエリ画像（入力画像）、検索結果の画像（登録画像）、それぞれの画像の画質情報の表示部１１６の表示画面上における表示例を示す図である。
【０２２８】
２３００は図１４に示した表示領域１４１７に表示されるユーザインターフェースである。
【０２２９】
２３０１は入力画像（文書）のサムネイル画像、２３０２は登録画像（文書）のサムネイル画像である。これによりユーザはそれぞれの画像の画質を比較することができる。もし、サムネイルで判別が難しい際は、判別したい方のサムネイルの表示領域を指示し、拡大ボタン画像２３０３を指示することで、指示したサムネイル画像を拡大表示させることができる。
【０２３０】
なお、拡大ボタン画像２３０３を再度指示することによって、拡大表示した画像を元のサムネイル画像に戻すこともできる。
【０２３１】
２３０４は入力文書に対する画質判定結果、２３０５は記憶部１１１に登録されている登録文書の画質情報である。これらの情報をユーザが参照することによって、本画像処理システムがどのような判定結果に基いて入力画像を登録画像の代わりに登録することを勧めているか知ることができ、観察者が入力画像の登録を指示する判断材料とすることができる。
【０２３２】
ユーザが入力画像を登録するべきであると判断した場合は、入れ替えボタン画像２３０６を指示することで、上記ＣＰＵに、登録を指示することになる。
【０２３３】
また、観察者が画質情報２３０４を見て、画質判定の誤りが発生していると判断した場合には、入力画像の登録は行わない方がよいので、登録をキャンセルするためのボタン画像２３０７を指示する。これにより、登録をキャンセルすることができる。
【０２３４】
また、観察者が画質情報２３０４を見て、画質判定の誤りが発生していると判断した場合には、画質情報２３０４を修正することもでき、その場合には領域２３０８を指示する。指示すると同図に示す如く、チェックマークが表示される。これにより、表示部１１６の表示画面上には、図２５に例示するようなユーザインターフェースが表示される。
【０２３５】
図２５は、入力画像の画質情報を修正するためのユーザインターフェースの表示例を示す図である。
【０２３６】
２５００は、図１４に示した表示領域１４１７に表示されるユーザインターフェースである。
【０２３７】
２５０１は、入力画像に対する画質判定処理の結果である画質情報である。各項目である２５０２、２５０３ａ、２５０３ｂ、２５０４ａ、２５０４ｂ、２５０５ａ、２５０５ｂはそれぞれ、図１４における１４２０、１４２１ａ、１４２１ｂ、１４２２ａ、１４２２ｂ、１４２３ａ、１４２３ｂと同じであり、それぞれの項目については、第１の実施形態で説明したように、テンキー１４２５を用いて、もしくは直接表示部分を指示することで設定することができる。即ち、第１の実施形態において、画質情報を観察者が入力する場合と同様にして、入力画像の画質情報を修正する。
【０２３８】
修正が完了すると、ＯＫボタン画像２５０６を指示することで、このユーザインターフェースにおいて設定した各項目を、この入力画像に対する画質情報として設定し、記憶部１１１に登録することができる。２５０７はキャンセルボタン画像であり、画質情報の修正自体を取り消したい場合に指示する。
【０２３９】
このようなユーザインターフェースを提供することで、ユーザは入力画像の登録の判断を、入力画像と登録画像のサムネイル画像、及び、画質情報を確認しながら行い、入力画像の登録を指示することができる。そして、登録画像、或いは、登録する入力画像の画質情報が誤判定されているときは、適宜、修正を行うことができる。修正しておけば、次回からはより適切に画質比較の判断を行うことが可能になる。
【０２４０】
以上説明したように、本実施形態によれば、第１の実施形態で説明した効果に加えて、登録・検索時の入力画像の画質情報を自動的に判定することで、ユーザの手を煩わすことなく、入力画像の方が高画質のときは登録を行うことができる。またユーザは、必要に応じて登録を行うのか否かの判定を確認することが可能となる。
【０２４１】
尚、第１，２の実施形態において、画質情報はページ単位に付与したが、画像ごとに常に同じ条件であるような場合は、画像単位に付与しても構わない。このときは、画像管理情報のページ番号は不要となる。そして、１画像が複数枚からなる場合は、その紙文書から得られる画像データ群（ページ画像群）を１つのファイルとして管理することになる。
【０２４２】
尚、画質情報は、第１の実施形態ではユーザが指定し、第２の実施形態では自動判定するように構成したが、これらを併用してももちろん構わない。例えば、登録時はユーザの負担を減らすために自動判定を用い、検索時のみユーザが指定するよういしてもよい。このとき、登録の確認を行って、登録済みの画質情報が誤っているときは、修正できるようにしてもよい。また別な例としては、モードを設け、スキャンさせる紙文書の画質がほぼ一定であれば、自動判定モードで行い、ばらつきが大きい時は、ユーザが指定するユーザ指定モードで行う、というようにしてもよい。
【０２４３】
尚、第１，２の実施形態において、読み取りの解像度は固定としたが、変更できるようにしてもよい。このとき、読み取り解像度は、スキャン画質の解像度そのものであるので、画質情報として利用することができる。
【０２４４】
また、第１，２の実施形態では、紙文書を登録対象としたが、電子データも登録対象としてもよい。このときのファイル形式は、その電子データを作成したアプリケーション（例えば、マイクロソフト（登録商標）社のＭＳ−Ｗｏｒｄや、アドビシステム（登録商標）のアクロバット等）で作成されたファイル形式（＊．ｄｏｃや＊．ｐｄｆ）となる。そして、このときは、電子データを、一旦、ラスタ画像に変換するか、ＢＳ処理を行わず、電子データから直接、文字コードや画像を抜き出して比較してももちろん構わない。
【０２４５】
このようにすれば、文字特徴量としては誤認識のない文字コードが得られたり、解像度の高い画像から画像特徴量を抽出できたりするので、より高い検索精度を得られることになる。
【０２４６】
更には、電子データから直接印刷する方が、より高画質に印刷できる。よって、電子データも登録対象とする場合は、電子データか紙文書をスキャンしたものかという情報も、画質情報として利用することが可能である。
【０２４７】
また、図１０の色特徴量抽出処理では、処理対象画像の最頻色を色特徴情報として抽出する例を説明したが、これに限定されるものではなく、例えば、平均色を色特徴情報として抽出するようにしても良い。
【０２４８】
また、画像特徴量として色特徴量を用いたが、これに限定されるものではなく、例えば、最頻輝度、平均輝度等の輝度特徴量、共起行列、コントラスト、エントロピ、Ｇａｂｏｒ変換等で表現されるテクスチャ特徴量、エッジ、フーリエ記述子等の形状特徴量等の複数種類の画像特徴量を１つ、或いは、任意に組み合わせた画像特徴量を用いても良い。
【０２４９】
また、ブロックセレクション処理を行い、処理対象の画像を文字ブロックと画像ブロックに分割し、これらの各ブロックの特徴量を複合的に用いて検索を行ったが、スキャン画像全体を単位として検索を行うようにしても良い。また、精度が許容される範囲ならば、画像ブロックのみを利用して検索を行うようにしても構わない。
【０２５０】
また、文字特徴量としては文字コードを採用したが、例えば、単語辞書とのマッチングを予め行って単語の品詞を抽出しておき、名詞である単語を文字特徴量としても良い。
また第１，２の実施形態では、画質情報を記憶部１１１に登録するようにしているが、上記ＣＰＵの処理速度が十分に早い場合には、画像の登録時、検索時に入力画像の画質、登録画像の画質を求め、それぞれを比較するようにしても良い。画質の求め方については特に限定するものではないが、周知のように画像中の高周波数成分に基づいて画質を求めるようにしても良い。このような構成にすることで、記憶部１１１に登録するデータ量を軽減することができる。
【０２５１】
［その他の実施形態］
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０２５２】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０２５３】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０２５４】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０２５５】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０２５６】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０２５７】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０２５８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０２５９】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【０２６０】
以上の実施形態を通じ、本発明によれば、読み取った紙文書から対応するオリジナルの電子データを検索するシステムにおいて、オリジナルの電子データのクオリティを高いものに更新することができるので、高画質での印刷など、高いクオリティで応用することが可能となる。また、クオリティの高い電子データより抽出した特徴量に更新することができるので、検索精度を高めることが可能となる。
【図面の簡単な説明】
【０２６１】
【図１】本発明の第１の実施形態に係る画像処理システムの構成例を示す図である。
【図２】ＭＦＰ１００の機能構成を示すブロック図である。
【図３Ａ】紙文書をスキャンして、この紙文書に印刷されている情報を画像データとして読み取り、読み取った画像をＭＦＰ１００の記憶部１１１に登録する為の一連の処理のフローチャートである。
【図３Ｂ】記憶部１１１に登録されたオリジナル文書の電子データのうち、所望の電子データを検索する検索処理のフローチャートである。
【図４】文書管理情報の構成例を示す図である。
【図５】ブロック情報の構成例を示す図である。
【図６】画像ブロックについて抽出した特徴量を管理するためのテーブルの構成例を示す図である。
【図７】図７は、文字ブロックについて抽出した特徴量を管理するためのテーブルの構成例を示す図である。
【図８】２ページ分をＮｕｐ印刷したクエリ画像（２ｉｎ１の紙文書をクエリとしてステップＳ３１００で入力した場合に得られるクエリ画像）の例を示す図である。
【図９】ブロックセレクション処理を説明する図である。
【図１０】本発明の第１の実施形態に係る、画像ブロックからの特徴量抽出処理の詳細を示すフローチャートである。
【図１１】メッシュブロック分割を説明する図である。
【図１２】順序決定テーブルの構成例を示す図である。
【図１３】ＲＧＢ色空間における色ビンを示す図である。
【図１４】ステップＳ３０１０、ステップＳ３１１０において画質情報を入力するために表示部１１６の表示画面上に表示されるユーザインターフェースの表示例を示す図である。
【図１５】ステップＳ３１４０における比較処理の詳細を示すフローチャートである。
【図１６】ステップＳ１５３０における処理のフローチャートである。
【図１７】ステップＳ１６４０の色特徴量比較処理のフローチャートである。
【図１８】本発明の第１の実施形態で用いる色ビンペナルティマトリックスの構成例を示す図である。
【図１９】ユーザ確認モードに移行したときに表示される、ＭＦＰ１００の表示部１１０と入力部１１３で実現されるユーザインタフェースの表示例を示す図である。
【図２０Ａ】紙文書をスキャンして、この紙文書に印刷されている情報を画像データとして読み取り、読み取った画像をＭＦＰ１００の記憶部１１１に登録する為の一連の処理のフローチャートである。
【図２０Ｂ】記憶部１１１に登録されたオリジナル文書の電子データのうち、所望の電子データを検索する検索処理のフローチャートである。
【図２１】１枚に４ページ分をＮｕｐ印刷した紙文書の一例を示す図である。
【図２２】本発明の第２の実施形態に係るＮｕｐ印刷判定処理の詳細を示すフローチャートである。
【図２３】クエリ画像（入力画像）、検索結果の画像（登録画像）、それぞれの画像の画質情報の表示部１１６の表示画面上における表示例を示す図である。
【図２４】本発明の第２の実施形態に係る、カラー印刷かグレースケール印刷かの判定処理のフローチャートである。
【図２５】入力画像の画質情報を修正するためのユーザインターフェースの表示例を示す図である。
【図１】
2006085298.tif 000003
【図２】
2006085298.tif 000004
【図３Ａ】
2006085298.tif 000005
【図３Ｂ】
2006085298.tif 000006
【図４】
2006085298.tif 000007
【図５】
2006085298.tif 000008
【図６】
2006085298.tif 000009
【図７】
2006085298.tif 000010
【図８】
2006085298.tif 000011
【図９】
2006085298.tif 000012
【図１０】
2006085298.tif 000013
【図１１】
2006085298.tif 000014
【図１２】
2006085298.tif 000015
【図１３】
2006085298.tif 000016
【図１４】
2006085298.tif 000017
【図１５】
2006085298.tif 000018
【図１６】
2006085298.tif 000019
【図１７】
2006085298.tif 000020
【図１８】
2006085298.tif 000021
【図１９】
2006085298.tif 000022
【図２０Ａ】
2006085298.tif 000023
【図２０Ｂ】
2006085298.tif 000024
【図２１】
2006085298.tif 000025
【図２２】
2006085298.tif 000026
【図２３】
2006085298.tif 000027
【図２４】
2006085298.tif 000028
【図２５】
2006085298.tif 000029