(57)【要約】【課題】従来よりも簡単に原稿に書き込まれた書込み画像を抽出することができる画像処理方法、画像処理装置、画像形成装置、コンピュータプログラム、及びコンピュータプログラムを記録した記録媒体を提供する。【解決手段】文書照合処理部２２は、入力された原稿画像に基づいて、ハッシュ値を算出し、算出したハッシュ値に基づいて、原稿画像が予め記憶されている登録フォーマットに類似するか否かを判定し、類似すると判定した場合、原稿画像に書込みがされているか否かを判定して原稿書込み画像を抽出する。文書照合処理部２２は、抽出した原稿書込み画像と、原稿画像に類似すると判定された登録フォーマットに関連付けて記憶してある書込み画像とを照合し、原稿書込み画像と類似する書込み画像を抽出する。【選択図】図１
2008123456.tif 000002
【特許請求の範囲】
【請求項１】
取得した原稿画像が予め登録された登録画像に類似するか否かを判定し、判定結果に基づいて登録画像に書き込まれた書込み画像を抽出する画像処理方法において、
複数の登録画像夫々に対して定められた１又は複数の箇所に書き込まれた書込み画像を前記登録画像に関連付けて複数記憶してあり、
原稿画像が登録画像に類似するか否かを判定し、
原稿画像が登録画像に類似する場合、該原稿画像に書込みがされているか否かを判定し、
書込みがされている場合、前記原稿画像に書き込まれた原稿書込み画像を特定し、
特定した原稿書込み画像が前記原稿画像に類似する登録画像に関連付けられた書込み画像に類似するか否かを判定し、
前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出することを特徴とする画像処理方法。
【請求項２】
登録画像の書込み画像が書き込まれた箇所の選択を受け付け、
原稿画像に書込みがされているか否かを判定する場合、前記原稿画像の選択された箇所に対応する箇所を除外し、
特定した原稿書込み画像が登録画像の書込み画像に類似するか否かを判定する場合、選択された箇所の書込み画像を除外することを特徴とする請求項１に記載の画像処理方法。
【請求項３】
原稿書込み画像が書込み画像に類似すると判定した場合、該書込み画像に関連付けられた登録画像と前記書込み画像とを合成し、
合成した登録画像及び書込み画像を出力することを特徴とする請求項１又は請求項２に記載の画像処理方法。
【請求項４】
原稿画像に書込みがされているか否かを判定する場合、該原稿画像の各画素の濃度値に基づいて下地の有無を判定し、
下地がある場合、下地を除去することを特徴とする請求項１乃至請求項３のいずれか１つに記載の画像処理方法。
【請求項５】
取得した原稿画像が予め登録された登録画像に類似するか否かを判定し、判定結果に基づいて登録画像に書き込まれた書込み画像を抽出する画像処理装置において、
複数の登録画像夫々に対して定められた１又は複数の箇所に書き込まれた書込み画像を前記登録画像に関連付けて複数記憶する手段と、
原稿画像が登録画像に類似するか否かを判定する手段と、
原稿画像が登録画像に類似する場合、該原稿画像に書込みがされているか否かを判定する手段と、
書込みがされている場合、前記原稿画像に書き込まれた原稿書込み画像を特定する手段と、
特定した原稿書込み画像が前記原稿画像に類似する登録画像に関連付けられた書込み画像に類似するか否かを判定する手段と、
前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出する手段と
を備えることを特徴とする画像処理装置。
【請求項６】
登録画像の書込み画像が書き込まれた箇所の選択を受け付ける受付手段と、
原稿画像に書込みがされているか否かを判定する場合、前記原稿画像の前記受付手段により選択された箇所に対応する箇所を除外する手段と、
特定した原稿書込み画像が登録画像の書込み画像に類似するか否かを判定する場合、前記受付手段により選択された箇所の書込み画像を除外する手段と
を備えることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
原稿書込み画像が書込み画像に類似すると判定した場合、該書込み画像に関連付けられた登録画像と前記書込み画像とを合成する手段と、
該手段で合成された登録画像及び書込み画像を出力する手段と
を備えることを特徴とする請求項５又は請求項６に記載の画像処理装置。
【請求項８】
原稿画像に書込みがされているか否かを判定する場合、該原稿画像の各画素の濃度値に基づいて下地の有無を判定する手段と、
下地がある場合、下地を除去する手段と
を備えることを特徴とする請求項５乃至請求項７のいずれか１つに記載の画像処理装置。
【請求項９】
原稿画像に書き込まれた原稿書込み画像の登録を受け付ける手段と、
該手段で原稿書込み画像の登録を受け付けた場合、前記原稿画像に類似する登録画像を特定する手段と、
前記原稿画像に書き込まれた原稿書込み画像を特定する手段と、
該手段で特定された原稿書込み画像を前記登録画像に対して定められた箇所に関連付けて記憶する手段と
を備えることを特徴とする請求項５乃至請求項８のいずれか１つに記載の画像処理装置。
【請求項１０】
請求項５乃至請求項９のいずれか１つに記載の画像処理装置と、該画像処理装置で処理された画像に基づいて出力画像を形成する画像形成手段とを備えることを特徴とする画像形成装置。
【請求項１１】
コンピュータに、取得した原稿画像が予め登録された登録画像に類似するか否かを判定し、判定結果に基づいて登録画像に書き込まれた書込み画像を抽出させるためのコンピュータプログラムにおいて、
コンピュータを、原稿画像が登録画像に類似するか否かを判定する手段と、
コンピュータを、原稿画像が登録画像に類似する場合、該原稿画像に書込みがされているか否かを判定する手段と、
コンピュータを、書込みがされている場合、前記原稿画像に書き込まれた原稿書込み画像を特定する手段と、
コンピュータを、特定した原稿書込み画像が前記原稿画像に類似する登録画像に対して定められた１又は複数の箇所に書き込まれた書込み画像に類似するか否かを判定する手段と、
コンピュータを、前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出する手段と
して機能させることを特徴とするコンピュータプログラム。
【請求項１２】
請求項１１に記載のコンピュータプログラムを記録してあることを特徴とするコンピュータでの読み取りが可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、取得した原稿画像と予め登録してある登録画像とを照合し、照合結果に基づいて原稿画像に対する処理を行う画像処理方法、画像処理装置、該画像処理装置を備える画像形成装置、前記画像処理装置を実現するためのコンピュータプログラム、及び該コンピュータプログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
スキャナで原稿を読み取り、読み取った原稿画像が予め登録されたフォーマットに類似するか否か判定する処理としては、ＯＣＲで読み取った画像からキーワードを抽出し、抽出したキーワードによりパターンマッチングを行う方法、あるいは判定を行う原稿を罫線がある帳票原稿に限定し、読み取った原稿から抽出した罫線に関する情報によりパターンマッチングを行う方法などが提案されている。
【０００３】
類似判定に用いるフォーマットを登録するには、登録用に入力された入力画像に対して、線分抽出、文字枠抽出、文字認識又は枠抽出などの認識処理を行い、認識結果から枠データの中心座標、文字列枠の中心座標、連結枠情報などの情報（例えば、特徴点）を抽出する。次に、抽出した情報より特徴量（例えば、ハッシュ値）を算出し、テーブル管理に必要なデータ（特徴量、モデル名、特徴量を算出するのに用いたパラメータなど）を作成してハッシュテーブルに登録することにより、フォーマットの登録を行う。
【０００４】
原稿の類似判定を行う場合には、入力された原稿画像に対して認識処理を行い、認識結果から枠データの中心座標、文字列枠の中心座標、連結枠情報などの情報（例えば、特徴点）を抽出する。そして、各情報に対する特徴量（例えば、ハッシュ値）を算出し、算出した特徴量を用いて、予め登録されたハッシュテーブルのエリアを検索し、検索したエリア内の登録帳票名ごとに投票を行う。これらの処理を入力された原稿画像の特徴点毎に繰り返し、ヒストグラムの最も大きいモデルを認識結果として類似度を計算する。原稿画像が登録されたフォーマットに類似すると確認された場合、原稿画像に識別子を付与して保存する。また、原稿（入力帳票）がいずれの種類の登録帳票であるかが判明した場合、ハッシュテーブルのプロット位置から枠データへの対応付けを行い、その枠内の画像を切り出して、登録帳票名と関連付けたファイル名を用いて、切り出した部分画像のみを保存する。このような処理を行うことにより、原稿画像と登録されたフォーマットとのマッチングを自動的に行ってユーザの処理工程を軽減することができる画像（原稿画像）のファイリング装置が提案されている（特許文献１参照）。
【特許文献１】特許第３４６９３４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の装置にあっては、ファイル名を登録帳票名と関連付けるとともに、枠データが示す属性と関連付けることにより、効率的なファイル管理あるいは検索を行うことができる点が指摘されているものの、登録されているデータ量が多い場合、登録帳票名又は枠データに関連付けられたファイル名を確認した上で検索する必要があるため、原稿画像に書き込まれた書込み画像を抽出するには、検索に要する処理が膨大になり、処理時間がかかる虞があった。また、原稿の一部に汚れ、あるいは欠落部分がある場合には、登録されたフォーマットを検索して原稿に書き込まれた元の書込み画像を抽出することができなかった。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、原稿画像が登録画像に類似するか否かを判定し、原稿画像が登録画像に類似する場合、該原稿画像に書き込まれた原稿書込み画像を特定し、特定した原稿書込み画像が前記原稿画像に類似する登録画像に関連付けられた書込み画像に類似するか否かを判定し、前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出することにより、従来よりも簡単に原稿に書き込まれた書込み画像を抽出することができる画像処理方法、画像処理装置、該画像処理装置を備える画像形成装置、前記画像処理装置を実現するためのコンピュータプログラム、及び該コンピュータプログラムを記録した記録媒体を提供することを目的とする。
【０００７】
また、本発明の他の目的は、登録画像の書込み画像が書き込まれた箇所の選択を受け付け、原稿画像に書込みがされているか否かを判定する場合、前記原稿画像の選択された箇所に対応する箇所を除外し、特定した原稿書込み画像が登録画像の書込み画像に類似するか否かを判定する場合、選択された箇所の書込み画像を除外することにより、原稿の一部に汚れ、あるいは欠落などがある場合であっても、原稿に書き込まれた書込み画像を抽出することができる画像処理方法、画像処理装置、及び該画像処理装置を備える画像形成装置を提供することにある。
【０００８】
また、本発明の他の目的は、原稿書込み画像が書込み画像に類似すると判定した場合、該書込み画像に関連付けられた登録画像と前記書込み画像とを合成し、合成した登録画像及び書込み画像を出力することにより、書込みがされた元の原稿を復元することができる画像処理方法、画像処理装置、及び該画像処理装置を備える画像形成装置を提供することにある。
【０００９】
また、本発明の他の目的は、原稿画像に書込みがされているか否かを判定する場合、該原稿画像の各画素の濃度値に基づいて下地の有無を判定し、下地がある場合、下地を除去することにより、原稿に書き込まれた書込み画像を精度良く抽出することができる画像処理方法、画像処理装置、及び該画像処理装置を備える画像形成装置を提供することにある。
【００１０】
また、本発明の他の目的は、原稿に書き込まれた書込み画像を登録画像に関連付けて記憶することができる画像処理装置、及び該画像処理装置を備える画像形成装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理方法は、取得した原稿画像が予め登録された登録画像に類似するか否かを判定し、判定結果に基づいて登録画像に書き込まれた書込み画像を抽出する画像処理方法において、複数の登録画像夫々に対して定められた１又は複数の箇所に書き込まれた書込み画像を前記登録画像に関連付けて複数記憶してあり、原稿画像が登録画像に類似するか否かを判定し、原稿画像が登録画像に類似する場合、該原稿画像に書込みがされているか否かを判定し、書込みがされている場合、前記原稿画像に書き込まれた原稿書込み画像を特定し、特定した原稿書込み画像が前記原稿画像に類似する登録画像に関連付けられた書込み画像に類似するか否かを判定し、前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出することを特徴とする。
【００１２】
本発明に係る画像処理方法は、登録画像の書込み画像が書き込まれた箇所の選択を受け付け、原稿画像に書込みがされているか否かを判定する場合、前記原稿画像の選択された箇所に対応する箇所を除外し、特定した原稿書込み画像が登録画像の書込み画像に類似するか否かを判定する場合、選択された箇所の書込み画像を除外することを特徴とする。
【００１３】
本発明に係る画像処理方法は、原稿書込み画像が書込み画像に類似すると判定した場合、該書込み画像に関連付けられた登録画像と前記書込み画像とを合成し、合成した登録画像及び書込み画像を出力することを特徴とする。
【００１４】
本発明に係る画像処理方法は、原稿画像に書込みがされているか否かを判定する場合、該原稿画像の各画素の濃度値に基づいて下地の有無を判定し、下地がある場合、下地を除去することを特徴とする。
【００１５】
本発明に係る画像処理装置は、取得した原稿画像が予め登録された登録画像に類似するか否かを判定し、判定結果に基づいて登録画像に書き込まれた書込み画像を抽出する画像処理装置において、複数の登録画像夫々に対して定められた１又は複数の箇所に書き込まれた書込み画像を前記登録画像に関連付けて複数記憶する手段と、原稿画像が登録画像に類似するか否かを判定する手段と、原稿画像が登録画像に類似する場合、該原稿画像に書込みがされているか否かを判定する手段と、書込みがされている場合、前記原稿画像に書き込まれた原稿書込み画像を特定する手段と、特定した原稿書込み画像が前記原稿画像に類似する登録画像に関連付けられた書込み画像に類似するか否かを判定する手段と、前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出する手段とを備えることを特徴とする。
【００１６】
本発明に係る画像処理装置は、登録画像の書込み画像が書き込まれた箇所の選択を受け付ける受付手段と、原稿画像に書込みがされているか否かを判定する場合、前記原稿画像の前記受付手段により選択された箇所に対応する箇所を除外する手段と、特定した原稿書込み画像が登録画像の書込み画像に類似するか否かを判定する場合、前記受付手段により選択された箇所の書込み画像を除外する手段とを備えることを特徴とする。
【００１７】
本発明に係る画像処理装置は、原稿書込み画像が書込み画像に類似すると判定した場合、該書込み画像に関連付けられた登録画像と前記書込み画像とを合成する手段と、該手段で合成された登録画像及び書込み画像を出力する手段とを備えることを特徴とする。
【００１８】
本発明に係る画像処理装置は、原稿画像に書込みがされているか否かを判定する場合、該原稿画像の各画素の濃度値に基づいて下地の有無を判定する手段と、下地がある場合、下地を除去する手段とを備えることを特徴とする。
【００１９】
本発明に係る画像処理装置は、原稿画像に書き込まれた原稿書込み画像の登録を受け付ける手段と、該手段で原稿書込み画像の登録を受け付けた場合、前記原稿画像に類似する登録画像を特定する手段と、前記原稿画像に書き込まれた原稿書込み画像を特定する手段と、該手段で特定された原稿書込み画像を前記登録画像に対して定められた箇所に関連付けて記憶する手段とを備えることを特徴とする。
【００２０】
本発明に係る画像形成装置は、前述の発明のいずれか１つに係る画像処理装置と、該画像処理装置で処理された画像に基づいて出力画像を形成する画像形成手段とを備えることを特徴とする。
【００２１】
本発明に係るコンピュータプログラムは、コンピュータに、取得した原稿画像が予め登録された登録画像に類似するか否かを判定し、判定結果に基づいて登録画像に書き込まれた書込み画像を抽出させるためのコンピュータプログラムにおいて、コンピュータを、原稿画像が登録画像に類似するか否かを判定する手段と、コンピュータを、原稿画像が登録画像に類似する場合、該原稿画像に書込みがされているか否かを判定する手段と、コンピュータを、書込みがされている場合、前記原稿画像に書き込まれた原稿書込み画像を特定する手段と、コンピュータを、特定した原稿書込み画像が前記原稿画像に類似する登録画像に対して定められた１又は複数の箇所に書き込まれた書込み画像に類似するか否かを判定する手段と、コンピュータを、前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出する手段として機能させることを特徴とする。
【００２２】
本発明に係るコンピュータでの読み取りが可能な記録媒体は、前述の発明に係るコンピュータプログラムを記録してあることを特徴とする。
【００２３】
本発明にあっては、取得した原稿画像が予め登録された登録画像に類似するか否かを判定し、原稿画像が登録画像に類似すると判定された場合、取得した原稿画像に書込みがされているか否かを判定する。原稿画像に書込みがされている場合、該原稿画像に書き込まれた原稿書込み画像を特定する。特定した原稿書込み画像が前記原稿画像に類似する登録画像に関連付けられた書込み画像に類似するか否かを判定し、前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出する。すなわち、原稿画像と登録画像とを照合することにより、原稿画像に類似する登録画像を特定する。登録画像には、所定の箇所に書き込まれた書込み画像が関連付けられてあり、原稿画像に書き込まれた原稿書込み画像と登録画像に関連付けられた書込み画像とを照合することにより、原稿画像の原稿書込み画像に類似する書込み画像を抽出する。これにより、原稿に書き込まれた元の書込み画像を抽出する。
【００２４】
また、本発明にあっては、登録画像の書込み画像が書き込まれた箇所の選択を受け付ける。例えば、原稿画像と登録画像とを照合して、原稿画像に類似する登録画像が特定された場合、その登録画像に対して予め定められ箇所であって書込み画像が書き込まれた箇所を表示することにより、利用者による所要箇所の選択を受け付ける。選択される箇所は、例えば、原稿の汚れがある部分、あるいは欠落部分を含む箇所に対応する箇所である。原稿画像に書込みがされているか否かを判定する場合、前記原稿画像の選択された箇所に対応する箇所を除外し、特定した原稿書込み画像が登録画像の書込み画像に類似するか否かを判定する場合、選択された箇所の書込み画像を除外する。これにより、原稿に汚れ又は欠落部分がある場合であっても、その部分を除外して原稿画像の書込みの有無を判定するとともに、原稿書込み画像と登録画像の書込み画像を照合することができ、原稿の一部に欠落がある場合、あるいは汚れがある場合でも、原稿の元の書込み画像を抽出することができる。
【００２５】
また、本発明にあっては、原稿画像の原稿書込み画像と登録画像の書込み画像とを照合して、原稿書込み画像が書込み画像に類似すると判定した場合、該書込み画像に関連付けられた登録画像と前記書込み画像とを合成し、合成した登録画像及び書込み画像を出力する。これにより、原稿画像に類似する登録画像に元の書込み画像を合成することができ、元の原稿を復元することができる。
【００２６】
また、本発明にあっては、原稿画像に書込みがされているか否かを判定する場合、該原稿画像の各画素の濃度値に基づいて下地の有無を判定し、下地がある場合、下地を除去する。例えば、下地であると判断される濃度値の最大値を予め第１の閾値として定めておくとともに、どれだけの画素数以上であれば下地であると判断するか、すなわち、下地であると判断される画素数の最小値を予め第２の閾値として定めておく。原稿画像の各画素の濃度値に基づいて、濃度ヒストグラムを作成し、作成した濃度ヒストグラムの高濃度側から検索することにより、下地であると判断される第１の閾値以下の濃度区分にあって、画素数が第２の閾値以上の濃度区分を下地として抽出する。下地として抽出した濃度区分に対応する濃度補正テーブルにより下地除去処理を行う。これにより、原稿の紙の退色の影響、スキャナで画像データを読み込む際の読み取り条件の変動による影響などを吸収することができる。
【００２７】
また、本発明にあっては、原稿画像に書き込まれた原稿書込み画像の登録を受け付けた場合、原稿画像に類似する登録画像を特定するとともに、原稿画像に書き込まれた原稿書込み画像を特定する。特定された登録画像に対して定められた箇所に関連付けて特定された原稿書込み画像を記憶することにより、原稿に書き込まれた原稿書込み画像を書込み画像として登録する。
【発明の効果】
【００２８】
本発明にあっては、原稿画像が登録画像に類似するか否かを判定し、原稿画像が登録画像に類似する場合、該原稿画像に書き込まれた原稿書込み画像を特定し、特定した原稿書込み画像が前記原稿画像に類似する登録画像に関連付けられた書込み画像に類似するか否かを判定し、前記原稿書込み画像が書込み画像に類似する場合、該書込み画像を抽出することにより、従来よりも簡単に原稿に書き込まれた書込み画像を抽出することができる。
【００２９】
本発明にあっては、登録画像の書込み画像が書き込まれた箇所の選択を受け付け、原稿画像に書込みがされているか否かを判定する場合、前記原稿画像の選択された箇所に対応する箇所を除外し、特定した原稿書込み画像が登録画像の書込み画像に類似するか否かを判定する場合、選択された箇所の書込み画像を除外することにより、原稿の一部に汚れ、あるいは欠落などがある場合であっても、原稿に書き込まれた書込み画像を抽出することができる。
【００３０】
本発明にあっては、原稿書込み画像が書込み画像に類似すると判定した場合、該書込み画像に関連付けられた登録画像と前記書込み画像とを合成し、合成した登録画像及び書込み画像を出力することにより、書込みがされた元の原稿を復元することができる。
【００３１】
本発明にあっては、原稿画像に書込みがされているか否かを判定する場合、該原稿画像の各画素の濃度値に基づいて下地の有無を判定し、下地がある場合、下地を除去することにより、原稿に書き込まれた書込み画像を精度良く抽出することができる。
【００３２】
本発明にあっては、原稿に書き込まれた原稿書込み画像を登録画像に関連付けて記憶することができる。
【発明を実施するための最良の形態】
【００３３】
実施の形態１
以下、本発明を実施の形態を示す図面に基づいて説明する。図１は本発明に係る画像処理装置を備える画像形成装置１００の構成を示すブロック図である。画像形成装置１００（例えば、デジタルカラー複写機や複合機能、プリンタ機能、ファックスや電子メール配信機能を備えた複合機）は、カラー画像入力装置１、カラー画像処理装置２（画像処理装置）、画像形成手段としてのカラー画像出力装置３、各種操作を行うための操作パネル４などを備える。カラー画像入力装置１で原稿を読み取ることにより得られたＲＧＢ（Ｒ：赤、Ｇ：緑、Ｂ：青）のアナログ信号の画像データは、カラー画像処理装置２へ出力され、カラー画像処理装置２で所定の処理が行われ、ＣＭＹＫ（Ｃ：シアン、Ｍ：マゼンタ、Ｙ：イエロー、Ｋ：黒）のデジタルカラー信号としてカラー画像出力装置３へ出力される。
【００３４】
カラー画像入力装置１は、例えば、ＣＣＤ（Charged Coupled Device）を備えたスキャナであり、原稿画像からの反射光像をＲＧＢのアナログ信号として読み取り、読み取ったＲＧＢ信号をカラー画像処理装置２へ出力する。また、カラー画像出力装置３は、原稿画像の画像データを記録紙上に出力する電子写真方式やインクジェット方式などを用いた画像形成手段である。また、カラー画像出力装置３は、ディスプレイ等の表示装置であってもよい。
【００３５】
カラー画像処理装置２は、ＣＰＵ、ＡＳＩＣ（Application Specific Integrated Circuit）などにより構成される。
【００３６】
Ａ／Ｄ変換部２０は、カラー画像入力装置１から入力されたＲＧＢ信号を、例えば、１０ビットのデジタル信号に変換し、変換後のＲＧＢ信号をシェーディング補正部２１へ出力する。
【００３７】
シェーディング補正部２１は、入力されたＲＧＢ信号に対して、カラー画像入力装置１の照明系、結像系、撮像系などで生じた各種の歪みを取り除く補正処理を行う。また、シェーディング補正部２１は、濃度信号などカラー画像処理装置２で採用されている画像処理システムが扱い易い信号に変換する処理を行い、補正後のＲＧＢ信号（画像）を文書照合処理部２２へ出力する。
【００３８】
文書照合処理部２２は、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点（例えば、重心）を算出し、算出した特徴点の中から複数の特徴点を選択し、選択した特徴点に基づいて不変量を求め、該不変量に基づいて特徴量（例えば、ハッシュ値）を算出する。文書照合処理部２２は、算出した特徴量に基づいて入力された画像（原稿画像）が予め記憶されている登録フォーマット（登録画像）に類似するか否かを判定（照合）し、類似すると判定した場合、入力画像（原稿画像）に書込みがされているか否かを判定し、書込みされた画像（原稿書込み画像）を抽出する。
【００３９】
また、文書照合処理部２２は、抽出した原稿書込み画像と、照合の結果原稿画像と類似すると判定された登録フォーマットに関連付けて記憶してある書込み画像とを照合し、原稿書込み画像と類似する書込み画像を抽出する。文書照合処理部２２は、原稿画像と登録フォーマットとの照合結果、原稿書込み画像の有無の判定結果、登録フォーマットに関連付けられた書込み画像の抽出結果などの処理結果を出力する。また、文書照合処理部２２は、入力されたＲＧＢ信号をそのまま後段の入力階調補正部２３へ出力する。
【００４０】
入力階調補正部２３は、入力されたＲＧＢ信号（ＲＧＢの反射率信号）に対して、カラーバランスを整える処理を行うとともに、下地濃度の除去又はコントラストなど画質調整処理を施し、処理後のＲＧＢ信号を領域分離処理部２４へ出力する。
【００４１】
領域分離処理部２４は、入力されたＲＧＢ信号に基づき、入力された画像中の各画素が、文字領域、網点領域、写真領域の何れであるかを分離する。領域分離処理部２４は、分離結果に基づいて、各画素がどの領域に属しているかを示す領域識別信号を黒生成下色除去部２６、空間フィルタ処理部２７、出力階調補正部２８、階調再現処理部２９へ出力する。また、領域分離処理部２４は、入力されたＲＧＢ信号をそのまま後段の色補正部２５へ出力する。
【００４２】
色補正部２５は、入力されたＲＧＢ信号をＣＭＹの色空間に変換し、カラー画像出力装置３の特性に合わせて色補正を行い、補正後のＣＭＹ信号を黒生成下色除去部２６へ出力する。具体的には、色補正部２５は、色再現の忠実化のため、不要吸収成分を含むＣＭＹ色材の分光特性に基づいた色濁りを取り除く処理を行う。
【００４３】
黒生成下色除去部２６は、色補正部２５から入力されたＣＭＹ信号に基づいて、Ｋ（黒）信号を生成するとともに、入力されたＣＭＹ信号からＫ信号を差し引いて新たなＣＭＹ信号を生成し、生成したＣＭＹＫ信号を空間フィルタ処理部２７へ出力する。
【００４４】
黒生成下色除去部２６における処理の一例を示す。例えば、スケルトンブラックによる黒生成を行う処理の場合、スケルトンカーブの入出力特性をｙ＝ｆ（ｘ）とし、入力されるデータをＣ、Ｍ、Ｙとし、出力されるデータをＣ′、Ｍ′、Ｙ′、Ｋ′とし、ＵＣＲ（Under Color Removal）率をα（０＜α＜１）とすると、黒生成下色除去処理により出力されるデータ夫々は、Ｋ′＝ｆ｛ｍｉｎ（Ｃ、Ｍ、Ｙ）｝、Ｃ′＝Ｃ−αＫ′、Ｍ′＝Ｍ−αＫ′、Ｙ′＝Ｙ−αＫ′で表される。
【００４５】
空間フィルタ処理部２７は、黒生成下色除去部２６から入力されたＣＭＹＫ信号に対して、領域識別信号に基づいたデジタルフィルタによる空間フィルタ処理を行う。これにより、画像データの空間周波数特性が補正され、カラー画像出力装置３における出力画像のぼやけ、又は粒状性劣化を防止する。例えば、空間フィルタ処理部２７は、領域分離処理部２４において文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、鮮鋭強調処理を施し高周波成分を強調する。また、空間フィルタ処理部２７は、領域分離処理部２４において網点領域に分離された領域を、入力網点成分を除去するためのローパス・フィルタ処理を施す。空間フィルタ処理部２７は、処理後のＣＭＹＫ信号を出力階調補正部２８へ出力する。
【００４６】
出力階調補正部２８は、空間フィルタ処理部２７から入力されたＣＭＹＫ信号に対して、カラー画像出力装置３の特性値である網点面積率に変換する出力階調補正処理を行い、出力階調補正処理後のＣＭＹＫ信号を階調再現処理部２９へ出力する。
【００４７】
階調再現処理部２９は、領域分離処理部２４から入力された領域識別信号に基づいて、出力階調補正部２８から入力されたＣＭＹＫ信号に対して所定の処理を行う。例えば、階調再現処理部２９は、文字領域に分離された領域を、特に黒文字又は色文字の再現性を高めるため、カラー画像出力装置３における高周波成分の再現に適するように二値化処理又は多値化処理を行う。
【００４８】
また、階調再現処理部２９は、領域分離処理部２４において網点領域に分離された領域を、最終的に画像を画素に分離して、それぞれの階調を再現できるように階調再現処理（中間調生成）を行う。さらに、階調再現処理部２９は、領域分離処理部２４において写真領域に分離された領域を、カラー画像出力装置３における階調再現性に適するように二値化処理又は多値化処理を行う。
【００４９】
カラー画像処理装置２は、階調再現処理部２９で処理された画像データ（ＣＭＹＫ信号）を記憶部（不図示）に一旦記憶し、画像形成をする所定のタイミングで記憶部に記憶した画像データを読み出し、読み出した画像データをカラー画像出力装置３へ出力する。これらの制御は、例えば、ＣＰＵ（不図示）により行われる。また、カラー画像処理装置２内のＣＰＵ（不図示）は、文書照合処理部２２から出力された処理結果に基づいて、原稿画像に対する出力処理（例えば、ファイリング、複写、電子配信など）を制御する。
【００５０】
操作パネル４は、例えば、液晶ディスプレイなどの表示部と設定ボタンなどより構成され、操作パネル４より入力された情報に基づいてカラー画像入力装置１、カラー画像処理装置２、カラー画像出力装置３の動作が制御される。例えば、操作パネル４には登録モード、検索モードの選択ボタンが表示され、ユーザが登録モード、検索モードを選択することができる。登録モードを選択することにより、登録フォーマット（登録画像）又は原稿画像に書き込まれた原稿書込み画像を登録（記憶）することができる。また、検索モードを選択することにより、原稿の一部が欠落、あるいは汚れがあるため、再度元の原稿を出力するような場合、あるいは原稿に書き込まれた文字、記号、図表などの情報（書込み画像）を変更する必要が生じ、書き込まれた情報の差し替えを行う場合に、原稿画像に基づいて、元の書込み画像を抽出することができる。
【００５１】
図２は文書照合処理部２２の構成を示すブロック図である。文書照合処理部２２は、特徴点算出部２２０、特徴量算出部２２１、投票処理部２２２、類似度判定処理部２２３、書込み領域抽出部２２４、登録制御部２２５、圧縮／伸張処理部２２６、検索処理部２２７、合成処理部２２８、前述の各部を制御する制御部２２９、メモリ５０などを備えている。
【００５２】
特徴点算出部２２０は、入力された画像（原稿画像）に対して後述する所定の処理を行うとともに、入力画像の文字列あるいは罫線の連結領域を抽出し、連結領域の特徴点（例えば、重心）を算出する。より具体的には、特徴点算出部２２０は、入力された画像を二値化し、二値画像に基づいて特定された連結領域の特徴点（例えば、連結領域を構成する各画素の二値画像における座標値を累積加算し、累積加算した座標値を連結領域に含まれる画素数で除算した値）を抽出（算出）し、抽出した特徴点を特徴量算出部２２１へ出力する。
【００５３】
図３は特徴点算出部２２０の構成を示すブロック図である。特徴点算出部２２０は、無彩化処理部２２００、解像度変換部２２０１、フィルタ処理部２２０２、二値化処理部２２０３、重心算出部２２０４などを備えている。
【００５４】
無彩化処理部２２００は、入力された画像がカラー画像である場合、カラー画像を無彩化して、輝度信号又は明度信号に変換し、変換後の画像を解像度変換部２２０１へ出力する。例えば、輝度信号Ｙｊは、各画素ＲＧＢの色成分を夫々Ｒｊ、Ｇｊ、Ｂｊとし、Ｙｊ＝０．３０×Ｒｊ＋０．５９×Ｇｊ＋０．１１×Ｂｊで表すことができる。なお、上式に限らず、ＲＧＢ信号をＣＩＥ１９７６Ｌ* ａ* ｂ* 信号に変換することもできる。
【００５５】
解像度変換部２２０１は、入力された画像がカラー画像入力装置１で光学的に変倍された場合であっても、所定の解像度になるように入力された画像を再度変倍し、変倍された画像をフィルタ処理部２２０２へ出力する。これにより、カラー画像入力装置１で変倍処理が行われ解像度が変化した場合であっても、その影響を受けることなく特徴点の抽出を行うことができ、精度良く原稿を分類することができる。特に、縮小された文字などの場合、二値化処理を行って連結領域を特定するとき、文字が潰れているために本来離れている領域が繋がった状態で特定され、算出される重心がずれる虞を防止できる。また、解像度変換部２２０１は、カラー画像入力装置１で等倍時に読み込まれる解像度よりも小さい解像度に変換する。例えば、カラー画像入力装置１において６００ｄｐｉ（dot per inch）で読み込まれた画像を３００ｄｐｉに変換する。これにより、後段における処理量を低減することができる。
【００５６】
フィルタ処理部２２０２は、入力された画像が有する空間周波数特性を補正し（例えば、画像の強調化処理及び平滑化処理など）、補正後の画像を二値化処理部２２０３へ出力する。フィルタ処理部２２０２は、カラー画像入力装置１の空間周波数特性が機種ごとに異なるため、異なる空間周波数特性を所要の特性に補正する。カラー画像入力装置１が出力する画像（例えば、画像信号）には、レンズ又はミラーなどの光学系部品、ＣＣＤの受光面のアパーチャ開口度、転送効率、残像、物理的な走査による積分効果及び走査むら等に起因して画像のぼけなどの劣化が生ずる。フィルタ処理部２２０２は、境界又はエッジなどの強調処理を行うことにより、画像に生じたぼけなどの劣化を修復する。また、フィルタ処理部２２０２は、後段で処理される特徴点の抽出処理に不要な高周波成分を抑制するための平滑化処理を行う。これにより、特徴点を精度良く抽出することができ、結果として画像の類似度の判定を精度良く行うことが可能となる。なお、フィルタ処理部２２０２で使用するフィルタ係数は、使用されるカラー画像入力装置１の機種又は特性などに応じて適宜設定することができる。
【００５７】
図４はフィルタ処理部２２０２のフィルタ係数の例を示す説明図である。図に示すように、空間フィルタは、例えば、７×７（７行、７列）の大きさを有し、強調処理及び平滑化処理を行う混合フィルタである。入力された画像の画素を走査し、空間フィルタによる演算処理をすべての画素に対して行う。なお、空間フィルタの大きさは、７×７の大きさに限定されるものではなく、３×３、５×５などの大きさであってもよい。また、フィルタ係数の数値は一例であって、これに限定されるものではなく、使用されるカラー画像入力装置１の機種又は特性などに応じて適宜設定することができる。
【００５８】
二値化処理部２２０３は、入力された画像の輝度値（輝度信号）又は明度値（明度信号）を閾値と比較することにより画像を二値化し、二値化した二値画像を重心算出部２２０４へ出力する。
【００５９】
重心算出部２２０４は、二値化処理部２２０３から入力された二値画像の各画素の二値化情報（例えば、「１」、「０」で表される）に基づいて、各画素に対してラベリング（ラベル付け処理）を行い、同一ラベルが付された画素が連結した連結領域を特定し、特定した連結領域の重心を特徴点として抽出し、抽出した特徴点を特徴量算出部２２１へ出力する。なお、特徴点は、二値画像（原稿画像）における座標（ｘ′、ｙ′）で表すことができる。
【００６０】
図５は連結領域の特徴点の例を示す説明図である。図において、特定された連結領域は、文字「Ａ」であり、同一ラベルが付された画素の集合として特定される。この文字「Ａ」の特徴点（重心）は、図中黒丸で示される位置（ｘ′座標、ｙ′座標）となる。
【００６１】
図６は文字列に対する特徴点の抽出結果の例を示す説明図である。複数の文字から構成される文字列の場合、文字の種類により夫々異なる座標を有する特徴点が複数抽出される。
【００６２】
特徴量算出部２２１は、特徴点算出部２２０から入力された特徴点を用いて、回転、拡大、縮小などの処理に対する不変量を求め、該不変量に基づいて特徴量（例えば、ハッシュ値）を算出する。より具体的には、特徴量算出部２２１は、特徴点算出部２２０から入力された特徴点（すなわち、連結領域の重心の座標値）夫々を注目特徴点とし、例えば、注目特徴点からの距離が小さい周辺の他の特徴点を４つ抽出する。
【００６３】
図７は注目特徴点と周辺の特徴点を示す説明図である。図に示すように、注目特徴点Ｐ１に対して、例えば、閉曲線Ｓ１で囲まれる４つの特徴点を抽出する（注目特徴点Ｐ１に対しては、注目特徴点Ｐ２も１つの特徴点として抽出されている）。また、注目特徴点Ｐ２に対して、例えば、閉曲線Ｓ２で囲まれる４つの特徴点を抽出する（注目特徴点Ｐ２に対しては、注目特徴点Ｐ１も１つの特徴点として抽出されている）。
【００６４】
特徴量算出部２２１は、抽出した４つの特徴点の中から３つの特徴点を選択して、不変量を算出する。なお、選択する特徴点は３つに限られるものではなく、４つ、５つなどの特徴点を選択することもできる。求めたい不変量の種類によって選択すべき特徴点の数が異なる。例えば、３点から求められる不変量は相似不変量となる。
【００６５】
図８は注目特徴点Ｐ１による不変量の算出例を示す説明図であり、図９は注目特徴点Ｐ２による不変量の算出例を示す説明図である。図８に示すように、注目特徴点Ｐ１の周辺の４つの特徴点から３つの特徴点を選択し、３通りの不変量夫々をＨ１ｊ（ｊ＝１、２、３）とする。不変量Ｈ１ｊは、Ｈ１ｊ＝（Ａ１ｊ／Ｂ１ｊ）×Ｃ／Ｄで表される式で算出する。ここで、Ａ１ｊ、Ｂ１ｊ夫々は特徴点間の距離を示し、Ｃは正規化の定数、Ｄは予め定められた定数である。これにより、例えば、原稿が回転、移動、傾いた場合であっても、不変量Ｈ１ｊは変化せず、画像の類似度の判定を精度良く行うことができ、類似する原稿を精度良く判定することができる。
【００６６】
同様に、図９に示すように、注目特徴点Ｐ２の周辺の４つの特徴点から３つの特徴点を選択し、３通りの不変量夫々をＨ２ｊ（ｊ＝１、２、３）とする。不変量Ｈ２ｊは、Ｈ２ｊ＝（Ａ２ｊ／Ｂ２ｊ）×Ｃ／Ｄで表される式で算出する。ここで、Ａ２ｊ、Ｂ２ｊ夫々は特徴点間の距離を示し、Ｃは正規化の定数、Ｄは予め定められた定数である。以下同様に、他の注目特徴点に対して不変量を算出することができる。
【００６７】
特徴量算出部２２１は、夫々の注目特徴点により算出された不変量に基づいて、ハッシュ値（特徴量）Ｈｉを算出する。注目特徴点Ｐｉのハッシュ値Ｈｉは、Ｈｉ＝（Ｈｉ１×１０2 ＋Ｈｉ２×１０1 ＋Ｈｉ３×１０0）／Ｅで表される。ここで、Ｅは余りをどの程度設定するかにより決定される定数であり、例えば、「１０」とした場合には、余りは「０」〜「９」となり、これが算出するハッシュ値の取り得る範囲となる。また、ｉは自然数である。なお、特徴量としての上記ハッシュ値は一例であって、これに限定されるものではなく、他のハッシュ関数を用いることができる。上記では、周辺の他の特徴点として４点を抽出する例を示しているが、４点に限定されるものではない。例えば、６点抽出するようにしても良い。この場合、６点の特徴点から５点を抽出し、５点を抽出する６通りそれぞれの方法について、５点から３点を抽出して不変量を求め、ハッシュ値を算出するようにしても良い。これにより、１つの特徴点から１つのハッシュ値を算出することも、１つの特徴点から複数のハッシュ値を算出することもできる。
【００６８】
特徴量算出部２２１は、原稿画像の特徴点を表すインデックスと、該特徴点に基づいて算出されたハッシュ値と、該特徴点の原稿画像上の座標とを原稿画像の特徴点座標テーブルとしてメモリ５０に記憶する。
【００６９】
また、特徴量算出部２２１は、操作パネル４で登録フォーマット（登録画像）の登録モードが選択された場合、登録画像の特徴点を表すインデックス、該特徴点に基づいて算出されたハッシュ値、及び該特徴点の登録画像上の座標を後述する登録制御部２２５へ出力する。
【００７０】
図１０は原稿画像の特徴点座標テーブル５０１の構造を示す説明図である。原稿画像の特徴点座標テーブル５０１は、原稿画像の特徴点を表すインデックス、特徴点に基づいて算出されたハッシュ値、特徴点の原稿画像上の座標（ｘ′座標、ｙ′座標）の各欄により構成されている。
【００７１】
図１０に示すように、例えば、原稿画像の特徴点を表すインデックスがｐ１である特徴点に基づいて算出されたハッシュ値はＨ１、特徴点の座標は（ｘ１１′、ｙ１１′）である。また、同様に、原稿画像の特徴点を表すインデックスがｐ２である特徴点に基づいて算出されたハッシュ値はＨ８、特徴点の座標は（ｘ３２′、ｙ３２′）である。
【００７２】
図１１は登録フォーマットのハッシュテーブル５０２の構造を示す説明図である。図１１（ａ）に示すように、ハッシュテーブル５０２の構造は、ハッシュ値及び原稿（登録フォーマット）を表すインデックスの各欄により構成されている。より具体的には、原稿を示すインデックスに対応して、原稿中の位置を示すポイントインデックス、及び不変量（いずれも不図示）が登録されている。ハッシュテーブル５０２はメモリ５０に記憶してある。また、画像の類似度を判定するため、予め登録フォーマット（照合する画像・文書画像）をメモリ５０に記憶してある。なお、図１１（ｂ）に示すように、ハッシュ値が等しい場合（Ｈ１＝Ｈ５）、ハッシュテーブル５０２の２つのエントリを１つにまとめることもできる。
【００７３】
図１２は登録フォーマットの特徴点座標テーブル５０３の構造を示す説明図である。登録フォーマットの特徴点座標テーブル５０３は、メモリ５０に記憶してあり、各登録フォーマットを識別するための原稿を表すインデックス、各登録フォーマットにおいて算出された特徴点を識別するための特徴点を表すインデックス、各特徴点の登録フォーマット上の座標（ｘ座標、ｙ座標）の各欄により構成されている。
【００７４】
図１２に示すように、例えば、原稿を表すインデックスがＩＤ１の登録フォーマットは、特徴点ｆ１１、ｆ１２、ｆ１３、ｆ１４、…を有し、それぞれの登録フォーマット上の特徴点の座標は、（ｘ１１、ｙ１１）、（ｘ１２、ｙ１２）、（ｘ１３、ｙ１３）、（ｘ１４、ｙ１４）、…である。他の登録フォーマットＩＤ２、…についても同様である。
【００７５】
投票処理部２２２は、特徴量算出部２２１が算出したハッシュ値（特徴量）に基づいて、メモリ５０に記憶された登録フォーマットのハッシュテーブル５０２を検索し、ハッシュ値が一致する場合、該ハッシュ値に登録されている原稿を表すインデックス（すなわち、一致するハッシュ値が算出された画像）に投票する。投票を累積加算した結果を得票数として類似度判定処理部２２３へ出力する。
【００７６】
また、投票処理部２２２は、原稿画像のハッシュ値と登録フォーマットのハッシュ値とが一致する場合、原稿画像の特徴点がどの登録フォーマットの何れの特徴点に投票したかを判定し、判定結果を特徴点投票テーブル５０４としてメモリ５０に記憶する。
【００７７】
図１３は特徴点投票テーブル５０４の構造を示す説明図である。特徴点投票テーブル５０４は、登録フォーマットの原稿を表すインデックスＩＤ１、ＩＤ２、ＩＤ３、ＩＤ４、…、ＩＤｎに対応して登録フォーマットの特徴点を表すインデックスｆ１１、ｆ２１、…、ｆｎ１（以下「ｆｎ１」と示す。）、ｆ１２、ｆ２２、…、ｆｎ２（以下「ｆｎ２」と示す）、以下同様に、ｆｎ３、ｆｎ４、ｆｎ５、ｆｎ６、ｆｎ７、…で構成されるマトリクスの各要素に原稿画像の特徴点を表すインデックスｐ１、ｐ２、…が記録されたものである。
【００７８】
図１３に示すように、例えば、インデックスｐ１で表される原稿画像の特徴点に対して算出されたハッシュ値が、登録フォーマットの原稿を表すインデックスＩＤ１の特徴点ｆ１１のハッシュ値と一致すると判定されている。また、インデックスｐ２で表される原稿画像の特徴点に対して算出されたハッシュ値が、登録フォーマットの原稿を表すインデックスＩＤ３の特徴点ｆ３２のハッシュ値と一致すると判定されている。さらに、インデックスｐ３で表される原稿画像の特徴点に対して算出されたハッシュ値が、登録フォーマットの原稿を表すインデックスＩＤ１の特徴点ｆ１３のハッシュ値と一致すると判定されている。以下、インデックスｐ４、ｐ５、ｐ６、ｐ７、…についても同様である。
【００７９】
類似度判定処理部２２３は、投票処理部２２２から入力された投票結果に基づいて、読み取られた原稿画像がいずれの登録フォーマットに類似するかを判定し、判定結果を書込み領域抽出部２２４へ出力する。より具体的には、類似度判定処理部２２３は、投票処理部２２２から入力された得票数を原稿画像の最大得票数（特徴点の数×１つの特徴点から算出されるハッシュ値の数で表される）で除算して正規化した類似度を算出する。類似度判定処理部２２３は、算出した類似度と予め定めた閾値Ｔｈ（例えば、０．８）とを比較し、類似度が閾値Ｔｈ以上である場合には、その類似度が算出された登録フォーマットに類似すると判定し、類似度が閾値Ｔｈより小さい場合には、原稿画像に類似する登録フォーマットはないと判定して、その判定結果を書込み領域抽出部２２４へ出力する。なお、投票処理部２２２から入力された得票数を予め定めた閾値と比較し、得票数が閾値以上であれば、原稿画像が予め登録された登録フォーマットに類似すると判定し、さらに類似と判定された中で最も得票数の高い登録フォーマットが原稿画像に一致すると判定することもできる。
【００８０】
図１４は投票結果に基づく類似判定の一例を示す説明図である。図１４に示すように、読み取った原稿画像から算出されたハッシュ値毎にハッシュテーブル５０２を検索して投票した結果、原稿を表すインデックスがＩＤ１、ＩＤ２、ＩＤ３で示される登録フォーマットに対して投票されたとする。投票の結果得られたそれぞれの得票数を原稿画像の最大得票数で除算して正規化した類似度Ｎ１、Ｎ２、Ｎ３を算出する。算出した類似度が閾値Ｔｈ以上であるのは、原稿を表すインデックスがＩＤ１で示される登録フォーマットであるため、原稿画像は、原稿を表すインデックスＩＤ１の登録フォーマットに類似すると判定される。
【００８１】
書込み領域抽出部２２４は、類似度判定処理部２２３から原稿画像が登録フォーマットに類似するとの判定結果が出力された場合、原稿画像に書込みがされているか否かを判定し、書込みがされている場合、その原稿書込み画像を抽出し、書込みの有無を示す判定信号とともに、抽出した原稿書込み画像を登録制御部２２５へ出力する。より具体的には、書込み領域抽出部２２４は、原稿画像と登録フォーマットとの位置合わせを行う位置合わせ処理、原稿画像及び登録フォーマットそれぞれの各画素が有する画素値（例えば、輝度値）の差分を算出する差分処理、算出された差分に基づいて原稿画像に書込みがされているか否かを判定する判定処理などを行う。
【００８２】
次に、登録フォーマットの座標系を原稿画像の座標系に変換して画像の位置合わせを行う位置合わせ処理について説明する。登録フォーマットの座標系を原稿画像の座標系に変換して画像の位置合わせを行う場合、登録フォーマット全体を座標変換することもでき、あるいは、登録フォーマットの記載欄毎に座標変換を行う箇所を設定し（又は予め定めておき）、設定した一部の箇所だけを座標変換することもできる。まず、登録フォーマット全体を座標変換して原稿画像との位置合わせを行う場合について説明する。なお、以下の説明においては、原稿画像は、原稿を表すインデックスがＩＤ１の登録フォーマットに類似していると判定されたものとする。
【００８３】
書込み領域抽出部２２４は、メモリ５０にアクセスして、特徴点投票テーブル５０４から原稿を表すインデックスがＩＤ１に投票された原稿画像の特徴点を抽出する。図１３の例では、原稿画像の特徴点を表すインデックスは、ｐ１、ｐ３、ｐ４、ｐ７である。
【００８４】
書込み領域抽出部２２４は、抽出した原稿画像の特徴点を表すインデックスｐ１、ｐ３、ｐ４、ｐ７に対応（ハッシュ値が一致）する登録フォーマットの特徴点を表すインデックスｆ１１、ｆ１３、ｆ１４、ｆ１７を特定する。書込み領域抽出部２２４は、登録フォーマットの特徴点座標テーブル５０３及び原稿画像の特徴点座標テーブル５０１を参照して、式（１）で示される登録フォーマットの特徴点の座標についての行列Ｊｉｎ、及び式（２）で示される原稿画像の特徴点の座標についての行列Ｊｏｕｔを求めるとともに、変換行列Ｗの変換係数を式（３）と仮定する。
【００８５】
【数１】
2008123456.tif 000003
【００８６】
書込み領域抽出部２２４は、式（４）により変換行列Ｗを算出する。この場合、式（４）の両辺にＪｉｎの転置行列ＪｉｎT を乗算して式（５）を求め、さらに、式（５）の両辺にＪｉｎT Ｊｉｎの逆行列を乗算して式（６）を求めることにより、変換係数を算出する。書込み領域抽出部２２４は、算出した変換係数で示される変換行列Ｗを用いて、式（７）で示す如く、登録フォーマット上の任意の座標（ｘ、ｙ）を、原稿画像上の座標（ｘ′、ｙ′）に変換する。
【００８７】
【数２】
2008123456.tif 000004
【００８８】
図１５は原稿画像及び登録フォーマットの位置合わせを示す説明図である。図１５に示すように、登録フォーマットの特徴点ｆ１１、ｆ１３、ｆ１４、ｆ１７と、原稿画像の特徴点ｐ１、ｐ３、ｐ４、ｐ７をそれぞれ対応付けることにより、登録フォーマットの原点（画像の左上の画素）と原稿画像の左上の画素の位置がずれている場合であっても、両画像の原点を一致させることができ、登録フォーマットと原稿画像との位置合わせを行うことができる。なお、各画像の特徴点の数は、４つに限定されるものではない。また、登録フォーマットの書式によっては、多数の特徴点が存在する場合、その中からいくつかの特徴点を選択することもできる。
【００８９】
次に、原稿画像及び登録フォーマットそれぞれの各画素が有する画素値の差分を算出する差分処理について説明する。書込み領域抽出部２２４は、位置合わせが行われた原稿画像と登録フォーマットそれぞれが有する画素を、例えば、両画像の左上から右下に順次走査することにより、両画像で対応する注目画素の輝度値の差分を算出する。この場合、原稿を読み取る際の画素値の再現性などを考慮して、画像が２５６階調で表されているようなときには、両画像の対応する画素の輝度値の差分が５〜１０程度の範囲内（差分閾値Ｔｇ）位置であれば、注目画素は同じである判定する。例えば、原稿画像のある注目画素の輝度値が２１０であり、登録フォーマットの対応する注目画素の輝度値が２１５であれば、両注目画素は同じであると判定する。また、例えば、原稿画像のある注目画素の輝度値が２１０であり、登録フォーマットの対応する注目画素の輝度値が２３５であれば、両注目画素は同じでないと判定する。
【００９０】
書込み領域抽出部２２４は、同じであると判定された画素数（判定画素数Ｍ）を登録フォーマットが有する画素数で除算した比率が比率閾値Ｔｓ（例えば、０．９９）より小さいか否かを判定し、算出された比率が比率閾値Ｔｓより小さい場合には、原稿画像に書込みがあると判定し、書き込まれた原稿書込み画像を抽出し、書込みの有無を示す判定信号とともに、抽出した原稿書込み画像を出力する。また、算出された比率が比率閾値Ｔｓ以上である場合には、原稿画像に書込みがないと判定し、判定信号を出力する。なお、同じでないと判定された画素数を登録フォーマットが有する画素数で除算した比率が比率閾値Ｔｄ（例えば、０．０１）より大きいか否かを判定し、算出された比率が比率閾値Ｔｄより大きい場合には、原稿画像に書込みがあると判定し、算出された比率が比率閾値Ｔｄ以下である場合には、原稿画像に書込みがないと判定することもできる。
【００９１】
すなわち、書込み領域抽出処理は、取得した原稿画像及び登録フォーマット（登録画像）が有する画素値の差分を算出し、算出された差分値を所定の閾値（差分閾値）と比較して画素値が略同一である画素の画素数（判定画素数）を算出し、算出された判定画素数を登録フォーマットが有する全画素数で除算した比率を算出し、算出された比率を所定の閾値（比率閾値）と比較（大小の比較）を行い、比較結果に応じて書込みの有無の判定を行う。
【００９２】
次に、登録フォーマットの記載欄毎に座標変換を行う箇所を設定し、設定した一部の箇所だけを座標変換することにより、登録フォーマットと原稿画像との位置合わせを行う場合について説明する。この場合、座標変換を行う箇所として設定された箇所に書込みがされているか否かを判定することになる。
【００９３】
図１６は登録フォーマットの一例を示す説明図である。図１６（ａ）に示すように、登録フォーマット（すなわち、所定の書式の書類）には、日付、氏名、住所、電話番号、記入事項の各記載欄（書込み領域）が設けられている。また、図１６（ｂ）に示すように、登録フォーマットの各記載欄のうち、氏名、住所、記入事項（図中、模様入りの箇所）についてのみ、座標変換を行うように設定することができる。
【００９４】
座標変換を行う箇所は、予め登録フォーマット毎に設定しておき、設定情報（登録フォーマットの座標変換対象テーブル）をメモリ５０に記憶する構成でもよく、あるいはユーザが操作パネル４から操作することにより、例えば、氏名、住所、記入事項などの記載欄毎に設定可能に構成することもできる。
【００９５】
図１７は登録フォーマットの座標変換対象テーブル５０５の一例を示す説明図である。図１７（ａ）に示すように、座標変換対象テーブル５０５は、登録フォーマットの原稿を表すインデックス、登録フォーマットの記載欄、記載欄の座標により構成され、さらに、図１７（ｂ）に示すように、記載欄の登録フォーマット上の位置は、記載欄の各四隅の登録フォーマット上の座標で特定されている。図１７（ｂ）では、一例として原稿を表すインデックスがＩＤ１の登録フォーマットの記載欄のうち氏名の欄の座標（ｘ１１、ｙ１１）、（ｘ１２、ｙ１１）、（ｘ１１、ｙ１２）、（ｘ１２、ｙ１２）を示している。
【００９６】
図１７に示すように、例えば、原稿を表すインデックスがＩＤ１の登録フォーマットでは、氏名、住所、記入事項の各記載欄が座標変換の対象であり、氏名の記載欄は、登録フォーマットの座標上の対角の座標値（ｘ１１、ｙ１１）、（ｘ１２、ｙ１２）で特定されている。
【００９７】
この場合、書込み領域抽出部２２４は、メモリ５０にアクセスして、特徴点投票テーブル５０４から原稿を表すインデックスがＩＤ１に投票された原稿画像の特徴点を抽出する。書込み領域抽出部２２４は、抽出した原稿画像の特徴点を表すインデックスに対応（ハッシュ値が一致）する登録フォーマットの特徴点を表すインデックスを特定する。書込み領域抽出部２２４は、登録フォーマットの特徴点座標テーブル５０３、原稿画像の特徴点座標テーブル５０１、座標変換対象テーブル５０５を参照して、座標変換対象内にある特徴点に基づいて、上述と同様の変換処理により、登録フォーマット上の記載欄の座標（ｘ、ｙ）を、原稿画像上の座標（ｘ′、ｙ′）に変換する。さらに、書込み領域抽出部２２４は、記載欄の原稿画像及び登録フォーマットそれぞれの各画素が有する画素値（例えば、輝度値）の差分を算出する差分処理、算出された差分に基づいて原稿画像に書込みがされているか否かを判定する判定処理を行う。
【００９８】
これにより、書込みの有無を判定する箇所だけを座標変換して判定処理を行うことができ、画像全体の処理を行う場合に比べて、処理労力の低減を図ることができ、書込み判定処理を高速に実現することができる。
【００９９】
登録制御部２２５は、登録フォーマット（登録画像）又は原稿画像に書き込まれた原稿書込み画像を登録（記憶）するために、ユーザが操作パネル４を操作して登録モードを選択した場合に、登録フォーマット又は原稿書込み画像の登録を行う。
【０１００】
登録制御部２２５は、登録フォーマット（登録画像）を登録する場合、カラー画像入力装置１で取得された登録フォーマットに原稿を表すインデックスを設定するとともに、特徴量算出部２２１で求められたハッシュ値、登録フォーマットの特徴点を表すインデックス、特徴点の登録フォーマット上の座標などに基づいて、登録フォーマットのハッシュテーブル５０２、登録フォーマットの特徴点座標テーブル５０３を作成してメモリ５０に記憶する。これにより、登録フォーマットに関する情報が登録（記憶）される。
【０１０１】
また、登録制御部２２５は、原稿書込み画像を登録する場合、類似度判定処理部２２３で原稿画像が類似すると判定された登録フォーマットの原稿を表すインデックスに書込み領域抽出部２２４で抽出された原稿書込み画像を関連付けて、原稿書込み画像を圧縮／伸張処理部２２６へ出力する。
【０１０２】
圧縮／伸張処理部２２６は、登録制御部２２５から入力された原稿書込み画像に対して、所定の圧縮方法、例えば、ＭＨ（Modified Huffman）、ＭＲ（Modified Read）、ＭＭＲ（Modified Modified Read）、ＪＰＥＧ（Joint Photographic Experts Group）などの方法を用いて圧縮処理を行い、圧縮後の画像データをメモリ５０に記憶する。
【０１０３】
また、圧縮／伸張処理部２２６は、メモリ５０に記憶された登録フォーマットの所定の箇所に書き込まれた書込み画像の画像データを伸張し、伸張した書込み画像を検索処理部２２７へ出力する。
【０１０４】
図１８は登録フォーマットに関連付けられた書込み画像の例を示す説明図である。登録フォーマットは、原稿を表すインデックスＩＤ１、ＩＤ２、…で特定される。原稿を表すインデックスがＩＤ１の登録フォーマットには、例えば、日付、氏名、住所、電話番号、記入事項の各記載欄が定められてあり、各記載欄のうち、氏名、住所、記入事項の各記載欄は、その箇所（書込み領域）を特定するための識別子Ｑ１１、Ｑ１２、Ｑ１３がそれぞれ定められている。なお、書込み領域は、一例であって、これに限定されるものではなく、すべての記載欄に対応して設けてもよい。
【０１０５】
原稿を表すインデックスがＩＤ１の登録フォーマットに関連付けて、書込み領域に書き込まれた書込み画像ＷＧ１１、ＷＧ１２、ＷＧ１３、…が記憶（登録）されている。例えば、書込み画像ＷＧ１１は、書込み領域Ｑ１１、Ｑ１２、Ｑ１３にそれぞれ「１１１１１」、「２２２２２」、「３３３３３」なる書込み画像が書き込まれている。なお、「１１１１１」等は、例示であって、これに限定されるものではない。これにより、元の原稿に書き込まれた文字、記号、図形等の書込み画像ＷＧ１１が、原稿の書式を示す登録フォーマットに関連付けて登録されている。同様に、書込み画像ＷＧ１２は、書込み領域Ｑ１１、Ｑ１２、Ｑ１３にそれぞれ「ａａａａａ」、「ｂｂｂｂｂ」、「ｃｃｃｃｃ」なる書込み画像が書き込まれている。なお、「ａａａａａ」等は、例示であって、これに限定されるものではない。これにより、元の原稿に書き込まれた文字、記号、図表等の書込み画像ＷＧ１２が、原稿の書式を示す登録フォーマットに関連付けて登録されている。また、書込み画像ＷＧ１３についても同様である。
【０１０６】
また、原稿を表すインデックスがＩＤ２の登録フォーマットに関連付けて、書込み領域Ｑ２１に書き込まれた書込み画像ＷＧ２１、ＷＧ２２、ＷＧ２３、…が記憶（登録）されている。例えば、書込み画像ＷＧ２１は、書込み領域Ｑ２１に「４４４４４」なる書込み画像が書き込まれている。なお、これは例示であって、これに限定されるものではない。また、書込み画像ＷＧ２２、ＷＧ２３についても同様である。
【０１０７】
なお、上述の識別子Ｑ１１、Ｑ１２、Ｑ１３は、登録フォーマット毎に１つの識別子にまとめることもできる。
【０１０８】
検索処理部２２７は、ユーザが操作パネル４を操作して検索モードを選択した場合に、原稿画像に基づいて、元の書込み画像を抽出するための検索処理を行う。より具体的には、検索処理部２２７は、原稿画像に類似する登録フォーマットに関連付けられた書込み画像を検索することにより、原稿画像から抽出された原稿書込み画像に類似する書込み画像を抽出する。
【０１０９】
検索処理部２２７は、書込み領域抽出部２２４で抽出された原稿画像の原稿書込み画像と、原稿画像に類似する登録フォーマットに関連付けられた書込み画像それぞれが有する画素を、例えば、両画像の左上から右下に順次走査することにより、両画像で対応する注目画素の輝度値の差分を算出する。この場合、原稿を読み取る際の画素値の再現性などを考慮して、画像が２５６階調で表されているようなときには、両画像の対応する画素の輝度値の差分が５〜１０程度の範囲内（差分閾値Ｔｇ）位置であれば、注目画素は同じであると判定する。例えば、原稿書込み画像のある注目画素の輝度値が２１０であり、登録フォーマットの書込み画像の対応する注目画素の輝度値が２１５であれば、両注目画素は同じであると判定する。また、例えば、原稿書込み画像のある注目画素の輝度値が２１０であり、登録フォーマットの書込み画像の対応する注目画素の輝度値が２３５であれば、両注目画素は同じでないと判定する。
【０１１０】
検索処理部２２７は、同じであると判定された画素数（判定画素数Ｍ）を原稿書込み画像が有する画素数で除算した比率Ｒｎ（ｎは、１つの登録フォーマットに関連付けられた書込み画像の数）を算出し、算出した比率Ｒｎのうちで最も大きい値に対応する書込み画像を原稿書込み画像に一致するものとして抽出する。検索処理部２２７は、抽出した書込み画像を登録フォーマットの原稿を表すインデックスとともに合成処理部２２８へ出力する。なお、抽出した書込み画像を合成処理部２２８へ出力する前に、操作パネル４に表示することで、ユーザに確認を促すようにすることもできる。また、算出した比率Ｒｎと所定の比率閾値とを比較して、比率閾値より大きい比率Ｒｎに対応する書込み画像を順次表示、もしくはサムネイル表示させて、ユーザに選択してもらうように構成することもできる。
【０１１１】
図１９は抽出される書込み画像の例を示す説明図である。図１９（ａ）は、カラー画像入力装置１で読み取られる原稿ＰＧ１の原稿画像を示す。ユーザは、原稿ＰＧ１に書き込まれた原稿書込み画像に一致する書込み画像を抽出すべく、原稿ＰＧ１をカラー画像入力装置１で読み取らせ、カラー画像処理装置２で所定の処理を行うことにより、図１９（ｂ）に示す書込み画像ＷＧ１１を抽出することができる。
【０１１２】
また、検索処理部２２７は、原稿画像から抽出された原稿書込み画像に類似する書込み画像を検索して抽出する場合に、原稿画像の一部の領域を除外して原稿書込み画像を抽出するとともに、登録フォーマットの対応する一部の領域の書込み画像を除外して検索することができる。例えば、図１８に示す例において、原稿を表すインデックスがＩＤ１の登録フォーマットの書込み領域Ｑ１１を除外して、原稿書込み画像の抽出処理、登録フォーマットの書込み画像の検索処理を行うこともできる。これにより、原稿の一部に欠落あるいは汚れがある場合であっても、その箇所（書込み領域）を除外して元の書込み画像を抽出することができる。
【０１１３】
除外する書込み領域は、例えば、原稿画像と登録フォーマットを照合して、原稿画像に類似する登録フォーマットが特定された時点で、特定された登録フォーマットを操作パネル４に表示し、表示された登録フォーマットの書込み領域のいずれを除外するかユーザに指定させるように構成することができる。ユーザは、原稿の欠落部分あるいは汚れ部分に対応する書込み領域を除外する書込み領域として指定することができる。
【０１１４】
図２０は書込み領域の一部を除外した場合に抽出される書込み画像の例を示す説明図である。図２０（ａ）は、カラー画像入力装置１で読み取られる原稿ＰＧ２の原稿画像を示し、氏名の欄に欠落あるいは汚れが存在する。ユーザは、欠落あるいは汚れが修復された元の原稿画像を得るために、原稿ＰＧ２をカラー画像入力装置１で読み取らせ、カラー画像処理装置２は所定の処理を行う。この場合、住所及び記入事項の各欄（書込み領域）に基づいて、原稿書込み画像の抽出、登録フォーマットの書込み画像の検索及び抽出が行われ、図２０（ｂ）に示す書込み画像ＷＧ１１を抽出することができる。
【０１１５】
合成処理部２２８は、検索処理部２２７から入力された書込み画像及び登録フォーマットの原稿を表すインデックスに基づいて、登録フォーマットと抽出された書込み画像とを合成し、合成画像データを出力する。これにより、元の原稿を復元することができる。
【０１１６】
次に、画像形成装置１００の動作について説明する。図２１は原稿に書き込まれた原稿書込み画像の登録処理の手順を示すフローチャートである。なお、登録処理は、専用のハードウエア回路で構成するだけでなく、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えたパーソナルコンピュータに、登録処理の手順を定めたコンピュータプログラムをロードしてＣＰＵでコンピュータプログラムを実行させることにより行うこともできる。
【０１１７】
制御部２２９は、登録モードであるか否かを判定し（Ｓ１１）、登録モードでない場合（Ｓ１１でＮＯ）、ステップＳ１１の処理を続け、ユーザによる登録モードの選択があるまで待機する。登録モードである場合（Ｓ１１でＹＥＳ）、制御部２２９は、カラー画像入力装置１で読み取られた原稿により得られた原稿画像を取得する（Ｓ１２）。
【０１１８】
制御部２２９は、取得した原稿画像に基づいて、特徴点を算出し（Ｓ１３）、算出した特徴点に基づいてハッシュ値（特徴量）を算出する（Ｓ１４）。制御部２２９は、算出したハッシュ値（特徴量）に基づいて、登録フォーマットのハッシュテーブル５０２を検索し、ハッシュ値が一致する原稿を表すインデックスに投票する（Ｓ１５）。なお、この場合、制御部２２９は、原稿画像の特徴点がどの登録フォーマットの何れの特徴点に投票したかを判定し、判定結果を記憶する。
【０１１９】
制御部２２９は、原稿画像の最大得票数で得票数を除算して類似度を算出し（Ｓ１６）、算出した類似度が閾値Ｔｈより大きいか否かを判定する（Ｓ１７）。類似度が閾値Ｔｈより大きい場合（Ｓ１７でＹＥＳ）、制御部２２９は、書込み領域抽出処理を行う（Ｓ１８）。なお、書込み領域抽出処理の詳細は後述する。制御部２２９は、抽出された原稿書込み画像を圧縮して原稿書込み画像を登録フォーマットの原稿を表すインデックスに関連付けて記憶することにより登録する（Ｓ１９）。
【０１２０】
制御部２２９は、すべての原稿画像を取得したか否かを判定し（Ｓ２０）、すべての原稿画像を取得していない場合（Ｓ２０でＮＯ）、ステップＳ１２以降の処理を続ける。一方、類似度が閾値Ｔｈより大きくない場合（Ｓ１７でＮＯ）、制御部２２９は、ステップＳ２０以降の処理を続ける。すべての原稿画像を取得した場合（Ｓ２０でＹＥＳ）、制御部２２９は、処理を終了する。
【０１２１】
図２２は書込み領域抽出処理の手順を示すフローチャートである。制御部２２９は、原稿画像と類似すると判定された登録フォーマットの座標系（座標）を原稿画像の座標系（座標）に変換する（Ｓ１０１）。なお、この場合、登録フォーマットの全体を座標変換してもよく、あるいは登録フォーマットの設定された記載欄のみの座標変換を行ってもよい。
【０１２２】
制御部２２９は、原稿画像と登録フォーマットの各画素のうち同じ画素値（例えば、輝度値）を有する画素数を示す判定画素数Ｍを「０」にし（Ｓ１０２）、原稿画像と登録フォーマットの注目画素を走査することにより、各注目画素の画素値の差分を算出する（Ｓ１０３）。
【０１２３】
制御部２２９は、算出した差分が差分閾値Ｔｇより小さいか否かを判定し（Ｓ１０４）、差分が差分閾値Ｔｇより小さい場合（Ｓ１０４でＹＥＳ）、判定画素数Ｍに「１」を加算する（Ｓ１０５）。制御部２２９は、原稿画像及び登録フォーマットのすべての画素について処理が終了したか否かを判定し（Ｓ１０６）、すべての画素について処理が終了していない場合（Ｓ１０６でＮＯ）、ステップＳ１０３以降の処理を続ける。
【０１２４】
制御部２２９は、差分が差分閾値Ｔｇより小さくない場合（Ｓ１０４でＮＯ）、ステップＳ１０６以降の処理を続ける。すべての画素について処理が終了した場合（Ｓ１０６でＹＥＳ）、制御部２２９は、（判定画素数Ｍ／登録フォーマットの画素数）で表される比率が比率閾値Ｔｓより小さいか否かを判定する（Ｓ１０７）。
【０１２５】
制御部２２９は、比率が比率閾値Ｔｓより小さい場合（Ｓ１０７でＹＥＳ）、書込みありと判定し（Ｓ１０８）、原稿書込み画像を抽出し（Ｓ１０９）、処理を終了する。一方、制御部２２９は、比率が比率閾値Ｔｓより小さくない場合（Ｓ１０７でＮＯ）、書込みなしと判定し（Ｓ１１０）、処理を終了する。
【０１２６】
図２３は原稿画像に基づいて元の原稿を復元する処理の手順を示すフローチャートである。なお、この処理は、専用のハードウエア回路で構成するだけでなく、ＣＰＵ、ＲＡＭ、ＲＯＭなどを備えたパーソナルコンピュータに、処理の手順を定めたコンピュータプログラムをロードしてＣＰＵでコンピュータプログラムを実行させることにより行うこともできる。
【０１２７】
制御部２２９は、検索モードであるか否かを判定し（Ｓ３１）、検索モードでない場合（Ｓ３１でＮＯ）、ステップＳ３１の処理を続け、ユーザによる検索モードの選択があるまで待機する。検索モードである場合（Ｓ３１でＹＥＳ）、制御部２２９は、カラー画像入力装置１で読み取られた原稿により得られた原稿画像を取得する（Ｓ３２）。
【０１２８】
制御部２２９は、取得した原稿画像に基づいて、特徴点を算出し（Ｓ３３）、算出した特徴点に基づいてハッシュ値（特徴量）を算出する（Ｓ３４）。制御部２２９は、算出したハッシュ値（特徴量）に基づいて、登録フォーマットのハッシュテーブル５０２を検索し、ハッシュ値が一致する原稿を表すインデックスに投票する（Ｓ３５）。なお、この場合、制御部２２９は、原稿画像の特徴点がどの登録フォーマットの何れの特徴点に投票したかを判定し、判定結果を記憶する。
【０１２９】
制御部２２９は、原稿画像の最大得票数で得票数を除算して類似度を算出し（Ｓ３６）、算出した類似度が閾値Ｔｈより大きいか否かを判定する（Ｓ３７）。類似度が閾値Ｔｈより大きい場合（Ｓ３７でＹＥＳ）、制御部２２９は、原稿画像に類似する登録フォーマットを操作パネル４に表示して、書込み領域の抽出箇所の選択を受け付け（Ｓ３８）、書込み領域抽出処理を行う（Ｓ３９）。なお、書込み領域抽出処理は図２２で示した処理である。
【０１３０】
制御部２２９は、選択された書込み領域を除外して検索処理を行う（Ｓ４０）。なお、検索処理の詳細は後述する。制御部２２９は、抽出された書込み画像を表示し（Ｓ４１）、ユーザの確認を得るとともに、抽出した書込み画像を登録フォーマットに合成して画像合成を行う（Ｓ４２）。
【０１３１】
制御部２２９は、すべての原稿画像を取得したか否かを判定し（Ｓ４３）、すべての原稿画像を取得していない場合（Ｓ４３でＮＯ）、ステップＳ３２以降の処理を続ける。一方、類似度が閾値Ｔｈより大きくない場合（Ｓ３７でＮＯ）、制御部２２９は、ステップＳ４３以降の処理を続ける。すべての原稿画像を取得した場合（Ｓ４３でＹＥＳ）、制御部２２９は、処理を終了する。
【０１３２】
図２４は検索処理の手順を示すフローチャートである。制御部２２９は、登録フォーマットに関連付けられた書込み画像をメモリ５０から読み出し（Ｓ１３１）、読み出した書込み画像に対して伸張処理を行う（Ｓ１３２）。
【０１３３】
制御部２２９は、原稿画像の原稿書込み画像と登録フォーマットの書込み画像の各画素のうち同じ画素値（例えば、輝度値）を有する画素数を示す判定画素数Ｍを「０」にし（Ｓ１３３）、原稿書込み画像と登録フォーマットの書込み画像の注目画素を走査することにより、各注目画素の画素値の差分を算出する（Ｓ１３４）。
【０１３４】
制御部２２９は、算出した差分が差分閾値Ｔｇより小さいか否かを判定し（Ｓ１３５）、差分が差分閾値Ｔｇより小さい場合（Ｓ１３５でＹＥＳ）、判定画素数Ｍに「１」を加算する（Ｓ１３６）。制御部２２９は、原稿書込み画像及び登録フォーマットの書込み画像のすべての画素について処理が終了したか否かを判定し（Ｓ１３７）、すべての画素について処理が終了していない場合（Ｓ１３７でＮＯ）、ステップＳ１３４以降の処理を続ける。
【０１３５】
制御部２２９は、差分が差分閾値Ｔｇより小さくない場合（Ｓ１３５でＮＯ）、ステップＳ１３７以降の処理を続ける。すべての画素について処理が終了した場合（Ｓ１３７でＹＥＳ）、制御部２２９は、（判定画素数Ｍ／原稿書込み画像の画素数）で表される比率Ｒｎを算出し（Ｓ１３８）、算出した比率Ｒｎを記録する（Ｓ１３９）。
【０１３６】
制御部２２９は、すべての書込み画像の処理が終了したか否かを判定し（Ｓ１４０）、すべての書込み画像の処理が終了していない場合（Ｓ１４０でＮＯ）、ステップＳ１３１以降の処理を続ける。すべての書込み画像の処理が終了した場合（Ｓ１４０でＹＥＳ）、制御部２２９は、比率Ｒｎが最も大きい書込み画像を抽出し（Ｓ１４１）、処理を終了する。
【０１３７】
なお、上述の書込み領域抽出処理の例では、（判定画素数Ｍ／登録フォーマットの画素数）で表される比率を用いる構成であったが、これに限定されるものではなく、文書照合処理部２２で画素数を算出することにより書込み領域抽出処理を実現することができる。この場合、予め定めた二値化閾値により原稿画像及び登録フォーマットを二値化し、二値化後の原稿画像の画素数Ｋ１及び二値化後の登録フォーマットの画素数Ｋ２を算出し、画素数の差（Ｋ１−Ｋ２）が画素数閾値より大きいか否かに基づいて原稿書込み画像の有無を判定することができる。また、二値化処理後のデータを用いて排他的論理和を算出することにより、原稿書込み画像の有無を判定することもできる。画素数を算出する構成とすることにより、原稿の記載欄（書込み領域）の面積の大小にかかわらず、わずかな書込みがある場合でも、書込みの有無を精度よく判定することができる。また、比率による書込み判定と画素数による書込み判定とを併用することにより、書込み判定精度をさらに向上させることが可能になる。
【０１３８】
実施の形態２
読み取られる原稿の用紙としては、白色の用紙であるとは限らず、再生紙、あるいは薄く着色された用紙を用いることもある。このような場合であっても、原稿画像の下地除去処理を行うことにより精度良く書込み領域の抽出をすることができる。この場合、文書照合処理部２２で下地除去処理を行うことができる。あるいは、シェーディング補正部２１の後段に入力階調補正部２３を設け、入力階調補正部２３の後段に文書照合処理部２２を設けて、入力階調補正部２３で下地除去処理を行うようにすることもできる。原稿画像に対して下地除去を行う場合、登録フォーマットについても下地除去処理を施して登録しておく。あるいは、原稿画像に対して、登録フォーマットの下地と同じレベルの下地となるように下地除去を行う。これは、下地除去を行う際の濃度補正テーブルを適切に設定することにより可能である。
【０１３９】
文書照合処理部２２は、シェーディング補正部２１から入力されたＲＧＢ信号のうちＧ信号を補正反転した信号を抽出し、例えば、２５６段階の濃度を１６の区分に分割して原稿画像の濃度ヒストグラムを作成する。
【０１４０】
また、下地であると判断される濃度値の最大値を予め第１の閾値としてメモリ５０に記憶しておくとともに、どれだけの画素数以上であれば下地であると判断するか、すなわち、下地であると判断される画素数の最小値を予め第２の閾値としてメモリ５０に記憶しておく。また、下地であると判断された濃度区分に対応して下地を除去するための濃度補正テーブルをメモリ５０に記憶しておく。
【０１４１】
文書照合処理部２２は、作成した濃度ヒストグラムの高濃度側から検索することにより、下地であると判断される第１の閾値以下の濃度区分にあって、画素数が第２の閾値以上の濃度区分を下地として抽出する。文書照合処理部２２は、下地として抽出した濃度区分に対応する濃度補正テーブルにより下地除去処理を行う。なお、Ｇ信号に代えて、輝度信号（２５５−Ｙｊ）を用いることもできる。ここで、Ｙｊは各画素ＲＧＢの色成分を夫々Ｒｊ、Ｇｊ、Ｂｊとし、Ｙｊ＝０．３０×Ｒｊ＋０．５９×Ｇｊ＋０．１１×Ｂｊで表される。
【０１４２】
図２５は実施の形態２の書込み領域抽出処理の手順を示すフローチャートである。制御部２２９は、原稿画像と類似すると判定された登録フォーマットの座標系（座標）を原稿画像の座標系（座標）に変換する（Ｓ１５１）。なお、この場合、実施の形態１と同様に登録フォーマットの全体を座標変換してもよく、あるいは登録フォーマットの設定された記載欄のみの座標変換を行ってもよい。
【０１４３】
制御部２２９は、原稿画像から抽出したＧ信号を補正反転した信号に基づいて、原稿画像の濃度ヒストグラムを作成し（Ｓ１５２）、作成した濃度ヒストグラムの高濃度側から検索することにより、下地を抽出する（Ｓ１５３）。制御部２２９は、下地として抽出した濃度区分に対応する濃度補正テーブルを用いて原稿画像の下地を除去する（Ｓ１５４）。
【０１４４】
制御部２２９は、原稿画像と登録フォーマットの各画素のうち同じ画素値（例えば、輝度値）を有する画素数を示す判定画素数Ｍを「０」にし（Ｓ１５５）、原稿画像と登録フォーマットの注目画素を走査することにより、各注目画素の画素値の差分を算出する（Ｓ１５６）。
【０１４５】
制御部２２９は、算出した差分が差分閾値Ｔｇより小さいか否かを判定し（Ｓ１５７）、差分が差分閾値Ｔｇより小さい場合（Ｓ１５７でＹＥＳ）、判定画素数Ｍに「１」を加算する（Ｓ１５８）。制御部２２９は、原稿画像及び登録フォーマットのすべての画素について処理が終了したか否かを判定し（Ｓ１５９）、すべての画素について処理が終了していない場合（Ｓ１５９でＮＯ）、ステップＳ１５６以降の処理を続ける。
【０１４６】
制御部２２９は、差分が差分閾値Ｔｇより小さくない場合（Ｓ１５７でＮＯ）、ステップＳ１５９以降の処理を続ける。すべての画素について処理が終了した場合（Ｓ１５９でＹＥＳ）、制御部２２９は、（判定画素数Ｍ／登録フォーマットの画素数）で表される比率が比率閾値Ｔｓより小さいか否かを判定する（Ｓ１６０）。
【０１４７】
制御部２２９は、比率が比率閾値Ｔｓより小さい場合（Ｓ１６０でＹＥＳ）、書込みありと判定し（Ｓ１６１）、原稿画像の原稿書込み画像を抽出し（Ｓ１６２）、処理を終了する。一方、制御部２２９は、比率が比率閾値Ｔｓより小さくない場合（Ｓ１６０でＮＯ）、書込みなしと判定し（Ｓ１６３）、処理を終了する。
【０１４８】
これにより、読み取られる原稿の用紙が再生紙、あるいは薄く着色された用紙であっても、精度良く書込み領域の抽出をすることができる。
【０１４９】
図２６は原稿読取装置５００の構成を示すブロック図である。図に示すように、原稿読取装置５００は、カラー画像入力装置１、Ａ／Ｄ変換部２０、シェーディング補正部２１、文書照合処理部２２などを備えている。カラー画像入力装置１、Ａ／Ｄ変換部２０、シェーディング補正部２１、文書照合処理部２２は、上述の画像形成装置１００の場合と同様であるので説明は省略する。
【０１５０】
以上説明したように、本発明にあっては、従来よりも簡単に原稿に書き込まれた書込み画像を抽出することができる。また、原稿の一部に汚れ、あるいは欠落などがある場合であっても、原稿に書き込まれた書込み画像を抽出することができる。また、書込みがされた元の原稿を復元することができる。また、下地を除去することにより、原稿に書き込まれた書込み画像を精度良く抽出することができる。さらに、原稿に書き込まれた原稿書込み画像を登録画像に関連付けて記憶することができる。
【０１５１】
上述の実施の形態では、登録フォーマット、ハッシュテーブル５０２を予めメモリ５０に記憶しておく構成であるが、これに限定されるものではなく、画像形成装置１００と通信回線（ネットワーク）を通じて接続されたサーバ装置の記憶部に登録フォーマットを記憶しておき、ハッシュテーブル５０２はメモリ５０に分散して記憶させてもよい。
【０１５２】
上述の実施の形態において、カラー画像入力装置１としては、例えば、フラットベッドスキャナ、フィルムスキャナ、デジタルカメラ、携帯電話機などが用いられる。また、カラー画像出力装置３としては、例えば、ＣＲＴディスプレイ、液晶ディスプレイなどの画像表示装置、処理結果を記録紙などに出力する電子写真方式又はインクジェット方式のプリンタなどが用いられる。さらに画像形成装置１００としては、ネットワークを介してサーバ装置などに接続するための通信手段としてのモデムなどを備えることもできる。また、カラー画像入力装置１からカラー画像データを取得する代わりに、ネットワークを介して外部記憶装置、サーバ装置などからカラー画像データを取得する構成であってもよい。
【０１５３】
上述の実施の形態では、文書照合処理部２２の中にメモリ５０、制御部２２９を備える構成であるが、これに限定されるものではなく、メモリ５０、制御部２２９を文書照合処理部２２の外部に設ける構成であってもよい。
【０１５４】
本発明はコンピュータに実行させるためのコンピュータプログラムを記録したコンピュータでの読み取り可能な記録媒体に、文書照合のための登録処理、書込み領域抽出処理、原稿の復元処理、検索処理などを行うコンピュータプログラムのプログラムコードを記録することもできる。この結果、上記処理を行うコンピュータプログラムのプログラムコードを記録した記録媒体を持ち運び自在に提供することができる。記録媒体としては、マイクロコンピュータで処理が行われるために図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。
【０１５５】
いずれの場合においても、格納されているプログラムコードはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムコードが実行される方式であってもよい。この場合、ダウンロード用のコンピュータプログラムは予め本体装置に格納されているものとする。
【０１５６】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にコンピュータプログラムを担持する媒体であってもよい。
【０１５７】
また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムコードをダウンロードする場合には、そのダウンロード用のコンピュータプログラムは予め本体装置に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【図面の簡単な説明】
【０１５８】
【図１】本発明に係る画像処理装置を備える画像形成装置の構成を示すブロック図である。
【図２】文書照合処理部の構成を示すブロック図である。
【図３】特徴点算出部の構成を示すブロック図である。
【図４】フィルタ処理部のフィルタ係数の例を示す説明図である。
【図５】連結領域の特徴点の例を示す説明図である。
【図６】文字列に対する特徴点の抽出結果の例を示す説明図である。
【図７】注目特徴点と周辺の特徴点を示す説明図である。
【図８】注目特徴点による不変量の算出例を示す説明図である。
【図９】注目特徴点による不変量の算出例を示す説明図である。
【図１０】原稿画像の特徴点座標テーブルの構造を示す説明図である。
【図１１】登録フォーマットのハッシュテーブルの構造を示す説明図である。
【図１２】登録フォーマットの特徴点座標テーブルの構造を示す説明図である。
【図１３】特徴点投票テーブルの構造を示す説明図である。
【図１４】投票結果に基づく類似判定の一例を示す説明図である。
【図１５】原稿画像及び登録フォーマットの位置合わせを示す説明図である。
【図１６】登録フォーマットの一例を示す説明図である。
【図１７】登録フォーマットの座標変換対象テーブルの一例を示す説明図である。
【図１８】登録フォーマットに関連付けられた書込み画像の例を示す説明図である。
【図１９】抽出される書込み画像の例を示す説明図である。
【図２０】書込み領域の一部を除外した場合に抽出される書込み画像の例を示す説明図である。
【図２１】原稿に書き込まれた原稿書込み画像の登録処理の手順を示すフローチャートである。
【図２２】書込み領域抽出処理の手順を示すフローチャートである。
【図２３】原稿画像に基づいて元の原稿を復元する処理の手順を示すフローチャートである。
【図２４】検索処理の手順を示すフローチャートである。
【図２５】実施の形態２の書込み領域抽出処理の手順を示すフローチャートである。
【図２６】原稿読取装置の構成を示すブロック図である。
【符号の説明】
【０１５９】
１  カラー画像入力装置
２  カラー画像処理装置
３  カラー画像出力装置
２２  文書照合処理部
５０  メモリ
２２０  特徴点算出部
２２１  特徴量算出部
２２２  投票処理部
２２３  類似度判定処理部
２２４  書込み領域抽出部
２２５  登録制御部
２２６  圧縮／伸張処理部
２２７  検索処理部
２２８  合成処理部
２２９  制御部
２２００  無彩化処理部
２２０１  解像度変換部
２２０２  フィルタ処理部
２２０３  二値化処理部
２２０４  重心算出部
【図１】
2008123456.tif 000005
【図２】
2008123456.tif 000006
【図３】
2008123456.tif 000007
【図４】
2008123456.tif 000008
【図５】
2008123456.tif 000009
【図６】
2008123456.tif 000010
【図７】
2008123456.tif 000011
【図８】
2008123456.tif 000012
【図９】
2008123456.tif 000013
【図１０】
2008123456.tif 000014
【図１１】
2008123456.tif 000015
【図１２】
2008123456.tif 000016
【図１３】
2008123456.tif 000017
【図１４】
2008123456.tif 000018
【図１５】
2008123456.tif 000019
【図１６】
2008123456.tif 000020
【図１７】
2008123456.tif 000021
【図１８】
2008123456.tif 000022
【図１９】
2008123456.tif 000023
【図２０】
2008123456.tif 000024
【図２１】
2008123456.tif 000025
【図２２】
2008123456.tif 000026
【図２３】
2008123456.tif 000027
【図２４】
2008123456.tif 000028
【図２５】
2008123456.tif 000029
【図２６】
2008123456.tif 000030