(57)【要約】【課題】２つの画像相互間の位置ずれが大きい場合や、２つの画像相互間で画像品質が異なる場合であっても、高精度で安定した画像相互間の位置合わせを高速に実現する。【解決手段】２つの画像ａ，ｂから位置合わせの補正係数を求め、この補正係数を基に２つの画像ａ，ｂの位置合わせ（位置補正）を行う画像処理装置において、２つの画像ａ，ｂの各々から特徴領域を特徴領域抽出部３１２，３２２で抽出し、この抽出した特徴領域の特徴量と位置を特徴量算出部３１３，３２３で算出し、この算出した特徴量と位置を基に２つの画像ａ，ｂに共通すると推測される特徴領域ペアを第１の選択部３３１で選択し、さらに選択した特徴領域ペアを２つの画像ａ，ｂにおける特徴領域の相対位置関係の類似性を基に第２の選択部３３２で絞り込み、この絞り込んだ特徴領域ペアを基にして、２つの画像ａ，ｂ間の位置ずれを補正する補正係数を補正係数算出部３３４で算出する。【選択図】図３
2007265389.tif 000002
【特許請求の範囲】
【請求項１】
２つの画像の各々から特徴領域を抽出する特徴領域抽出手段と、
前記特徴領域抽出手段が抽出した特徴領域の特徴量を算出する特徴量算出手段と、
前記特徴領域抽出手段が抽出した特徴領域の位置を算出する位置算出手段と、
前記特徴量算出手段が算出した特徴量および前記位置算出手段から算出した位置を基に前記２つの画像に共通すると推測される特徴領域ペアを選択する第１の選択手段と、
前記２つの画像における特徴領域の相対位置関係の類似性を基に前記第１の選択手段が選択した特徴領域ペアをさらに絞り込む第２の選択手段と、
前記第２の選択手段が絞り込んだ特徴領域ペアを基に前記２つの画像間の位置ずれを補正する補正係数を算出する補正係数算出手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量算出手段が算出した特徴量と前記位置算出手段が算出した特徴領域の位置を前記特徴領域抽出手段が抽出した特徴領域に関連付けて特徴領域テーブルとして保存する特徴領域情報保存手段と、
前記第１の選択手段に対して特徴量の類似度選択基準を、前記第２の選択手段に対して相対位置関係の類似度選択基準を設定する類似度選択基準設定手段と、
前記補正係数算出手段が算出した補正係数にしたがって前記特徴領域テーブルを変換するテーブル変換手段と、
前記類似度選択基準設定手段による類似度選択基準の設定を変化させながら、前記第１の選択手段、前記第２の選択手段、前記補正係数算出手段および前記テーブル変換手段の各処理を繰り返して実行する制御手段とをさらに備える
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２の選択手段は、
前記第１の選択手段が選択した特徴領域ペアについての特徴領域ペアリストから位置合わせのパラメータを算出するパラメータ算出手段と、
前記特徴領域ペアリスト内における特徴領域ペアの一方の画像に由来する特徴領域の位置を示すデータを、前記パラメータ算出手段が算出した位置合わせのパラメータに基づいて変換するペアリスト変換手段と、
前記ペアリスト変換手段が変換した特徴領域ペアリストから特徴領域ペアごとに特徴領域の位置ずれに応じた値を算出する位置ずれ算出手段と、
前記位置ずれ算出手段が算出した位置ずれに応じた値が、前記類似度選択基準設定手段が設定する相対位置関係の類似度選択基準の値よりも大きい特徴領域ペアを前記特徴領域ペアリストから除外する特徴領域ペア除外手段とを有する
ことを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記パラメータ算出手段、前記ペアリスト変換手段、前記位置ずれ算出手段および前記特徴領域ペア除外手段の各処理を繰り返して実行する
ことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記制御手段は、
前記類似度選択基準設定手段が設定する少なくとも前記特徴量の類似度選択基準を厳しい設定から緩い設定に変化させながら、前記特徴領域テーブルに対して前記第１の選択手段および前記第２の選択手段の各処理を、当該第２の選択手段が絞り込んだ特徴領域ペアの数が所定の値以上になるまで繰り返して実行する第１の処理ループと、
前記類似度選択基準設定手段が設定する少なくとも前記特徴量の類似度選択基準について、当該類似度選択基準のうちの少なくとも特徴領域ペアの検索範囲を、前記第１の処理ループでの処理で最終的に設定した範囲から狭い範囲に変化させながら、前記特徴領域テーブルに対して前記第１の選択手段および前記第２の選択手段の各処理を繰り返して実行する第２の処理ループとを有する
ことを特徴とする請求項２記載の画像処理装置。
【請求項６】
２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップで抽出した特徴領域の特徴量を算出する特徴量算出ステップと、
前記特徴領域抽出ステップで抽出した特徴領域の位置を算出する位置算出ステップと、
前記特徴量算出ステップで算出した特徴量および前記位置算出ステップで算出した位置を基に前記２つの画像に共通すると推測される特徴領域ペアを選択する第１の選択ステップと、
前記２つの画像の相対位置関係の類似性を基に前記第１の選択ステップで選択した特徴領域ペアをさらに絞り込む第２の選択ステップと、
前記第２の選択ステップで絞り込んだ特徴領域ペアを基に前記２つの画像間の位置ずれを補正する補正係数を算出する補正係数算出ステップと
の各処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理プログラムに関し、特に２つの画像データについての位置ずれ量の算出や位置合わせの補正処理を行う画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
画像処理の分野において、２枚の同種の紙ドキュメント間で、画像相互の位置合わせを行いたい場合が少なくない。例えば、プリンタやＦＡＸ（ファクシミリ装置）などから出力した帳票やレジュメなどの紙ドキュメントにユーザが記入（追記）した情報を、当該紙ドキュメントから抽出したり、セキュリティ文書が改竄されていないかどうかを検証したりする場合などに、これらの紙ドキュメントをスキャンして得たスキャン画像データを、電子原本の原本画像データと比較して追記情報や改竄部分を検出する処理が行われる。この検出処理の際に、スキャン画像データと原本画像データとの比較に先立って、イメージ上におけるスキャン画像と電子原本画像との位置合わせを高精度に行う必要がある。
【０００３】
かかる位置合わせの処理は、従来、次のようにして行われていた。すなわち、スキャン画像を単色化・二値化した後、所定の大きさの範囲に設定した検索領域において、黒データ（黒ラン）の連結領域を抽出するとともに、スキャン処理の元データとしての原本画像（単色化・二値化済み）から、同様の黒データ（黒ラン）の連結領域を抽出し、両画像から抽出した黒データの連結領域のパターンを比較して対応するパターンをパターンマッチングで見つける。次に、両画像間で対応がとれた複数のパターン（連結領域）の重心を求め、各画像における対応パターンの重心の位置に基づいて両画像の位置ずれを算出し、この算出した位置ずれに応じて一方の画像の補正を実行することにより、２つの画像位置を一致させるようにしていた（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開平９−２４５１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、例えば原本画像を一旦プリントした後スキャンして得たスキャン画像など、様々な画像読取装置や画像形成装置を介して取得した画像は、スキャンやプリントなどの処理の際に、各装置の持つ光学的な特性や機械的な特性によって、原本画像に対して大きな位置ずれが発生してしまう場合がある。
【０００６】
このような場合、上記従来技術では、原本画像とスキャン画像との位置合わせの処理において、位置ずれが大きすぎて画像間で対応する連結領域パターンを検索するのが困難になるという問題がある。これは、位置ずれが大きい場合、広い範囲に亘ってパターンマッチングの相関係数を算出しながらそれが最小になる位置を見つけ出す必要があり、多くの時間を要することに起因する。また、検索範囲が広くなると相関係数が極小値を示す位置が多数見つかり、どれが正しい位置か判定できないというケースもある。
【０００７】
特に、プリンタやＦＡＸ等の画像形成装置から出力した帳票やレジュメなどの紙ドキュメントにユーザが追記等を行い、その追記等が行われた紙ドキュメントをスキャナやＦＡＸなどの画像読取装置で読み込むと、原本画像に対して読み取り画像の位置が大きくずれる。その主原因としては、次の２点が想定される。
（１）画像出力時にプリンタやＦＡＸ等の画像形成装置が原本画像に描かれたオブジェクトの位置関係を完全に再現できない。
（２）画像読み込み時にスキャナやＦＡＸ等の画像読取装置が紙ドキュメントに描かれたオブジェクトの位置関係を完全に再現できない。
【０００８】
実際に、既存のプリンタ、スキャナ、ＦＡＸ、さらにマルチファンクション機器を用いて調査したところ、自動給紙機・自動原稿送り機を使用した場合、原本画像と出力画像との間の位置ずれは、原稿の幅方向Ｘで±１０ｍｍ程度、長さ方向Ｙで±１０ｍｍ程度、回転ずれ角θで±３ｄｅｇ程度、倍率変動βで±３％程度のずれが発生することが確認されている。さらに、自動原稿送り機を使わずにマニュアルで原稿をプラテン上に載置する場合には、自動原稿送りの場合の概ね２倍のずれを見込まねばならないことが予想される。
【０００９】
また、スキャン画像と原本画像の画像品質が異なることも、位置合わせが困難な一因として挙げられる。原本画像は、ワープロソフトなどから電子的に作成されるために画質劣化は皆無である。これに対し、スキャン画像は、プリンタやＦＡＸ等の画像形成装置から出力された紙ドキュメントをスキャンして得られているために、画像の品質（例えば、かすれ具合や色合い）が劣化している。場合によっては、プリント出力された紙ドキュメントを何回かコピーした後に加筆が施されているかも知れない。
【００１０】
このように、画像の劣化度合いが異なる状況では、対応位置で相関係数が際立って大きくなることが無くなるため、連結領域パターンに基づくパターンマッチングで対応パターンを見つけるのはさらに困難になる。こうした状況は、プリントやスキャンに使う装置を限定するなどである程度回避することができるが、ユーザがプリントやスキャンに使う装置を限定する方策を採ることは現実には難しい。
【００１１】
すなわち、例えばスキャン画像と原本画像を単色化・二値化した後、所定の大きさ範囲の連結領域を抽出して両画像の対応するパターンを見つける上記従来技術では、かすれ具合などの画像品質の劣化が異なる２画像において、広い範囲を探索してパターンマッチングによって対応するパターンを正確に見つけるのが非常に難しい。さらに、パターンマッチングは処理に時間がかかるため、処理時間の制約から多数の対応パターンを見つけることが出来ずに、数個程度と極めて少ない対応パターンから位置合わせをすることとなり、その精度も極端に悪化する。
【００１２】
本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、２つの画像相互間の位置ずれが大きい場合や、２つの画像相互間で画像品質が異なる場合であっても、高精度で安定した画像相互間の位置合わせを高速に実現可能な画像処理装置および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明では次のような構成を採っている。すなわち、２つの画像から位置合わせの補正係数を求め、この補正係数に基づいて２つの画像の位置合わせ（位置補正）を行う画像処理装置において、２つの画像の各々から特徴領域を抽出し、この抽出した特徴領域の特徴量と位置を算出する。また、この算出した特徴量と位置を基に２つの画像に共通すると推測される特徴領域ペアを選択し、さらに選択した特徴領域ペアを２つの画像における特徴領域の相対位置関係の類似性を基に絞り込む。そして、この絞り込んだ特徴領域ペアを基にして、２つの画像間の位置ずれを補正する補正係数を算出する。
【００１４】
上記構成の画像処理装置において、２つの画像に共通すると推測される特徴領域ペアを選択する手法が、特徴領域の特徴量と位置を基に２つの画像に共通すると推測される特徴領域ペアを選択する手法であることで、当該手法では数値比較によって特徴領域ペアを選択できるために、パターンマッチングによる選択に比べて高速に処理を実行できる。また、一度選択した特徴領域ペアを、相対位置関係の類似性に基づいてさらに絞り込むことで、２つの画像に共通すると推測される特徴領域ペアをより確実に選択できる。
【発明の効果】
【００１５】
本発明によれば、２つの画像に共通すると推測される特徴領域ペアを高速処理にてより確実に選択できるために、２つの画像相互間の位置ずれが大きい場合や、２つの画像相互間で画像品質が異なる場合であっても、高精度で安定した画像相互間の位置合わせを高速に実現できる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
図１は、本発明が適用される画像情報処理システムの構成の概略を示すシステム構成図である。図１に示すように、本適用例に係る画像情報処理システムは、第１の画像データ入力部１０、第２の画像データ入力部２０、処理制御部３０および画像データ出力部４０を有し、例えば、プリンタやＦＡＸ（ファクシミリ装置）などから出力した帳票やレジュメなどの紙ドキュメントから、当該紙ドキュメントにユーザが記入（追記）した追記情報を抽出するための画像処理を行う。
【００１８】
そして、本発明は、追記情報を抽出する用途の画像情報処理システムにおいて、紙ドキュメントをスキャンして得た比較対象となるスキャン画像の画像データを、比較基準となる原本画像の画像データと比較するのに先立って、原本画像に対するスキャン画像のイメージ上における位置ずれ量を検出し、当該位置ずれ量に基づいて両画像の位置合わせ（位置補正）を行うための画像処理を、高速処理にて高精度に安定して実行することを特徴としている。
【００１９】
ただし、本発明は、追記情報を抽出する用途への適用例に限られるものではなく、例えば、セキュリティ文書が改竄されていないかどうかを検証する用途などにおいて、スキャン画像を原本画像と比較して改竄部分を検出する際に、スキャン画像と原本画像との位置合わせを行う場合など、２つの画像相互の位置合わせ（位置補正）を行う画像処理全般に適用可能である。
【００２０】
また、比較基準となる画像と比較対象となる画像との組み合わせに関しても、原本画像とスキャン画像との組み合わせに限られるものではなく、スキャン画像とスキャン画像の組み合わせなど、様々な組み合わせが可能である。
【００２１】
以下では、紙ドキュメントから追記情報を抽出する用途の画像情報処理システムにおいて、原本画像とスキャン画像との組み合わせの場合を例に挙げて説明するものとする。
【００２２】
図１において、第１の画像データ入力部１０は、例えばパーソナルコンピュータの記憶装置等からなるサーバであり、電子原本の原本画像データを比較基準の画像データとして処理制御部３０に入力する。第２の画像データ入力部２０は、スキャナ等の画像読取装置とその制御手段によって構成され、紙ドキュメントをスキャンして得たスキャン画像データを比較対象の画像データとして処理制御部３０に入力する。
【００２３】
処理制御部３０は、ＣＰＵ(Central Processing Unit:中央演算装置)３１、Ｉ／Ｏ回路３２、ＲＯＭ３３、ＲＡＭ３４およびＨＤＤ（ハードディスクドライブ）装置３５などを有し、これら構成要素がバスライン３６を介して相互に通信可能に接続された構成となっている。
【００２４】
ＣＰＵ３１は、演算処理を含む本処理制御部３０全体の処理の制御を行う。Ｉ／Ｏ回路３２は、第１，第２の画像データ入力部１０，２０および画像データ出力部４０を含む周辺機器との入出力を管理する。ＲＯＭ３３は、ＣＰＵ３１による制御の下に実行される各種処理の処理プログラムを格納する。ＲＡＭ３４は、当該各種処理の実行時に使用される一次記憶装置である。ＨＤＤ３５は、ＣＰＵ３１による制御の下に処理された画像データや、外部から取り込んだ画像データなどを記憶する。
【００２５】
画像データ出力部４０は、プリンタやディスプレイ等の出力装置とその制御手段によって構成され、処理制御部３０による処理によって紙ドキュメントから抽出された追記情報を印刷（記録）紙に印刷出力したり、あるいは、表示画面上に表示出力したりする。
【００２６】
なお、本実施形態では、サーバである第１の画像データ入力部１０から電子原本の原本画像データを入力するとしたが、原本画像データをＨＤＤ装置３５のハードディスクにあらかじめ蓄積しておき、当該ハードディスクに蓄積されている原本画像データを用いるようにすることも可能である。
【００２７】
また、第２の画像データ入力部２０を第１の画像データ入力部１０として兼用し、当該第２の画像データ入力部２０で原本画像をスキャンして得た画像データを、比較基準の画像データとして処理制御部３０に入力するようにすることも可能である。
【００２８】
上記構成の画像情報処理システムにおいて、処理制御部３０は、第１の画像データ入力部１０から入力される原本画像データと、第２の画像データ入力部２０から入力されるスキャン画像データとに基づいて、様々な画像処理を実行する各種の画像処理機能を持っている。
【００２９】
具体的には、処理制御部３０は、例えば図２に示すように、原本画像の画像データとスキャン画像の画像データとを基に、原本画像に対するスキャン画像の位置ずれ量を求めて当該位置ずれ量から位置合わせの補正係数（パラメータ）を算出する（位置ずれ量を補正係数とする場合も含む）補正係数算出処理部３０１、この補正係数算出処理部３０１で算出した補正係数を用いて２画像の位置合わせを行う画像位置合わせ処理部３０２、この画像位置合わせ処理部３０２で位置合わせした後の両画像（画像データ）を比較する画像比較処理部３０３およびこの画像比較処理部３０３の比較結果を基に追記情報を抽出する追記情報抽出処理部３０４等の画像処理機能を持っている。
【００３０】
そして、処理制御部３０の画像処理機能の一つである、位置合わせの補正係数（パラメータ）を求める補正係数算出処理部３０１が本発明による画像処理装置に相当し、その機能を実行する処理プログラムが本発明による画像処理プログラムに相当する。
【００３１】
［補正係数算出処理］
以下、本発明による画像処理装置および画像処理プログラムに相当する位置合わせの補正係数を求める補正係数算出処理部３０１およびその処理プログラムの一実施形態について説明する。本実施形態に係る補正係数算出処理部３０１は、第１の画像データ入力部１０から入力される原本画像（以下、「画像ａ」と記述する）と第２の画像データ入力部２０から入力されるスキャン画像（以下、「画像ｂ」と記述する）との相対的な位置合わせ（位置補正）を行う際に用いる補正係数（パラメータ）を算出する。
【００３２】
具体的には、補正係数算出処理部３０１は、２つの画像ａ，ｂから画像の特徴領域を抽出し、当該特徴領域の特徴量を算出して特徴領域テーブルとして保存し、当該特徴領域テーブルを参照しつつ特徴量の類似性から２つの画像ａ，ｂに共通すると推測される特徴領域の対（以下、「特徴領域ペア」と記述する）を選択し、さらに特徴領域ペアの相対位置関係の類似性から特徴領域ペアをさらに絞り込み、この絞り込んだ特徴領域ペアから２画像ａ，ｂの位置ずれ量、即ち位置合わせの補正係数を算出し、この算出した補正係数を次段の画像位置合わせ処理部３０２に与える。
【００３３】
画像位置合わせ処理部３０２は、補正係数算出処理部３０１で算出された補正係数を用いた画像変換を一方の画像ａ／ｂまたは当該画像ａ／ｂを構成する画像データに施すことで、２つの画像ａ，ｂの相対的な位置合わせを行う。画像位置合わせ処理部３０２では、画像変換の手法の一つとして、例えば、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を位置合わせの補正係数（パラメータ）とするアフィン変換を用いるものとする。
【００３４】
本実施形態に係る補正係数算出処理部３０１は、画像変換（アフィン変換）に用いる補正係数（パラメータ）を、最終的に絞り込んだ２つの画像ａ，ｂの特徴領域ペアから得られる位置ずれ量に基づいて決定する。画像位置合わせ処理部３０２では、アフィン変換を用いて画像変換を行うことから、補正係数算出処理部３０１は、検出した位置ずれ量をそのまま位置合わせのパラメータ（補正係数）とする。
【００３５】
図３は、本実施形態に係る補正係数算出処理部３０１の機能構成の一例を示すブロック図である。
【００３６】
図３に示すように、本実施形態に係る補正係数算出処理部３０１は、前処理部３１１，３２１、特徴領域抽出部３１２，３２２、特徴量算出部３１３，３２３、位置算出部３１４，３２４、特徴領域情報保存部３１５，３２５、第１の選択部３３１、第２の選択部３３２、類似度選択基準設定部３３３、補正係数算出部３３４およびテーブル変換部３３５を有し、各機能部の処理が特許請求の範囲の制御手段に相当するＣＰＵ３１（図１参照）による制御の下に実行される構成となっている。
【００３７】
そして、前処理部３１１、特徴領域抽出部３１２、特徴量算出部３１３、位置算出部３１４および特徴領域情報保存部３１５は、第１の画像データ入力部１０から入力される画像ａについての画像データ（原本画像データ）を処理し、前処理部３２１、特徴領域抽出部３２２、特徴量算出部３２３、位置算出部３２４および特徴領域情報保存部３２５は、画像ｂについての画像データ（スキャン画像データ）を処理する。
【００３８】
具体的には、前処理部３１１，３２１は、原本画像データおよびスキャン画像データに対して単色化処理および二値化処理を行う。ここに、単色化処理とは、カラー画像を白黒のグレー画像に変換する処理であり、例えば、カラー画像を輝度情報のみの画像データに変換する処理などを言う。また、二値化処理とは、単色画像を所定の閾値レベルで論理“１”の黒または論理“０”の白のいずれかの値に設定する処理を言う。したがって、入力画像が単色画像の場合は単色化処理が、入力画像データが二値データの場合は単色化処理および二値化処理の両方が不要となる。
【００３９】
特徴領域抽出部３１２，３２２は、前処理の済んだ画像データを基に、各画像の特徴領域を抽出する。ここに、画像の特徴領域とは、二値化画像の文字や記号等において黒画素が連続する黒ランの領域あるいは白画素が連続する白ランの領域（以下、これらの領域を「連続領域」と記述する）を画像の特徴とするときに、当該連続領域に外接する外接矩形の領域を言い、表罫線において交点などを画像の特徴とするときに、当該交点を中心とした所定の領域などを言う。
【００４０】
画像の特徴を連続領域とした場合を例に挙げると、特徴領域の抽出は、例えば、あらかじめ抽出条件として、所定の大きさ（面積あるいは画素数）の範囲（最小、最大）を設定し、その範囲にある連続する同一画素値領域など、あらかじめ定められた設定条件に基づいて実行される。
【００４１】
ここで、特徴領域抽出部３１２，３２２での抽出処理によって抽出される特徴領域の具体例について図４を用いて説明する。図４には、二値化処理後における画像ａ，ｂを示している。これらの画像ａ，ｂから、一定条件の下に黒ラン（黒画素の連続）を持つ画像データや、白ラン（白画素の連続）を持つ画像データを連続領域として抽出する。
【００４２】
図４の例では、画像ａから黒文字画像のＡ，Ｂ，Ｃと白抜き文字Ａが連続領域１１〜１４として抽出され、画像ｂから黒文字画像のＡ，Ｂ，Ｃと白抜き文字Ａが連続領域２１〜２４として抽出される。なお、実際の処理においては、設定条件にもよるが、数百〜数千個単位の数の連続領域が抽出される。
【００４３】
特徴量算出部３１３，３２３は、特徴領域抽出部３１２，３２２で抽出された特徴領域についての特徴量を算出する。ここに、特徴量とは、外接矩形の幅・高さ・縦横比、線長、線面積、線幅などを言う。
【００４４】
位置算出部３１４，３２４は、特徴領域抽出部３１２，３２２で抽出された特徴領域について、画像内での位置を算出する。ここに、位置とは、外接矩形の中央や濃度重心などを言う。
【００４５】
ここで、図４の例の場合における特徴量および濃度重心について、一例として、図５に示すように、画像ａの黒文字「Ａ」１１を連続領域として抽出した場合を例に挙げて説明する。
【００４６】
図５において、濃度重心１１１は、連続領域としての黒文字「Ａ」１１の濃度の重心位置であり、例えば、画像ａをｘｙ座標面とした場合の座標データ（ｘ，ｙ）として算出される。外接矩形の幅、高さおよび縦横比は、連結領域１１に外接する外接矩形１１２の幅（Ｌ）、高さ（Ｈ）および縦横比（Ｈ／Ｌ）として算出される。
【００４７】
線長は、図５に示すように、連結領域１１を幅が１画素の線として細線化した連続領域細線化画像１１３における当該画像の構成素子数（ｎ）として算出される。すなわち、線長（ｎ）は、細線化後の構成素子数である。線面積は、連結領域１１自体を構成する全画素数（Ｎａｌｌ）として算出される。すなわち、線面積（Ｎａｌｌ）は、連結領域１１の構成画素数である。線幅は、図５に示すように、連結領域１１の線幅（Ｗ）であり、画素数または長さとして算出される。
【００４８】
上述したことから明らかなように、原本画像データを処理する前処理部３１１、特徴領域抽出部３１２、特徴量算出部３１３および位置算出部３１４からなる処理系と、スキャン画像データを処理する前処理部３２１、特徴領域抽出部３２２、特徴量算出部３２３および位置算出部３２４からなる処理系とは、処理対象の画像データが異なるだけで、基本的に同じ処理を行う。すなわち、図３では、理解を容易にするために、２系統の処理系として図示したが、実際の処理では、一方の処理系で時分割にて各処理を実行することになる。
【００４９】
特徴領域情報保存部３１５，３２５は、特徴量算出部３１３，３２３で算出された画像ａ，ｂ各々についての特徴量情報と位置算出部３１４，３２４で算出された特徴領域の位置を、特徴領域に関連付けて特徴領域テーブルとして保存する。このように、特徴量情報と特徴領域の位置を特徴領域に関連付けて特徴領域テーブルとして特徴領域情報保存部３１５，３２５で一旦保存することで、次段の処理ループに対して繰り返して特徴領域テーブルを出力することができる。
【００５０】
例えば図６に示すように、特徴領域テーブルは、画像ａと画像ｂから抽出された特徴領域の各々について識別子（ＩＤ）が付与されるとともに、各特徴領域についての特徴量情報、即ち外接矩形の幅・高さ・縦横比、線長、線面積、線幅と、位置情報、即ち濃度重心が特徴領域ＩＤと対応付けられて記録される。
【００５１】
第１の選択部３３１は、特徴領域情報保存部３１５，３２５に保存されている特徴領域テーブルを参照しつつ、特徴量の類似性から２つの画像ａ，ｂに共通すると推測される特徴領域ペアを選択する。具体的には、２つの画像ａ，ｂで対応する特徴領域について、一方の特徴量が他方の特徴量に対して、所定の範囲内、または類似度選択基準設定部３３３において設定された特徴量の類似度選択基準範囲内にあるもの同士を特徴領域ペアとして選択し、第１の特徴領域ペアリストとして出力する。
【００５２】
第２の選択部３３２は、第１の選択部３３１から出力される第１の特徴領域ペアリストについて、特徴領域ペアにおける特徴量領域の相対位置関係の類似性から特徴領域ペアをさらに絞り込んで第２の特徴領域ペアリストとして出力する。第２の選択部３３２は、本発明の特徴とする部分であり、その具体的な構成および動作の詳細については後述する。
【００５３】
類似度選択基準設定部３３３は、特徴量の類似度選択基準および／または相対位置関係の類似度選択基準を第１の選択部３３１および／または第２の選択部３３２に対して設定する。この類似度選択基準設定部３３３は、後述するように、選択基準の幅を順次広げたり、あるいは狭めたりすることで、数多くの特徴領域ペアを確実に見つけだし、位置合わせの精度を高める作用をなす。
【００５４】
類似度選択基準設定部３３３において、第１の選択部３３１に対して設定する特徴量の類似度選択基準としては、
（ａ）特徴領域ペアの検索範囲
（ｂ）比較対象の特徴量情報の種類数
（ｃ）比較対象の特徴量情報の一致度
の３つの選択基準カテゴリが挙げられる。第２の選択部３３２に対して設定する相対位置関係の類似度選択基準については、第２の選択部３３２の構成および動作を説明する際に述べる。
【００５５】
ここで、特徴領域ペアの検索範囲（ａ）とは、図７に示すように、画像ａにおける１つの連続領域１１の濃度重心１１１の座標に対応する座標位置を画像ｂから重心対応位置２１１として選択し、その周囲に連続領域１１と同様の特徴量を検索する範囲を設定する際に設定する検索範囲２１２を言う。
【００５６】
比較対象の特徴量情報の種類数（ｂ）とは、図６に示す外接矩形の幅・高さ・縦横比、線長（細線化後の構成画素数）、線面積（連続領域の画素）、線幅等の特徴量から、比較対象として設定する特徴量の種類数を言う。
【００５７】
比較対象の特徴量情報の一致度（ｃ）とは、適用した比較対象の特徴量を比較する際、例えば画像ａから選択した１つの連続領域の１つの特徴量、例えば外接矩形の幅と、画像ｂに設定された検索範囲２１２から選択された連続領域の外接矩形の幅とを比較した場合に、どの程度一致したかで、特徴領域ペアのとして選択するか否かを判定する度合いを言う。
【００５８】
補正係数算出部３３４は、第２の選択部３３２で絞り込まれた特徴領域ペアリストに基づいてアフィン変換（画像変換）に適用する補正係数を算出する。アフィン変換に適用する補正係数は、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）であり、一方の画像に対して補正係数に基づくアフィン変換を実行した場合に、２つの画像ａ，ｂの位置ずれ量、例えば濃度重心位置の誤差が最も小さくなる値として算出される。
【００５９】
具体的には、補正係数算出部３３４は、例えば最小二乗法を適用して、２つの画像ａ，ｂの濃度重心位置の誤差の総和が最も小さくなる補正係数として、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）の各値を求める。なお、最小二乗法を適用した補正係数の算出処理については、例えば特開平９−９３４３１号公報に記載されている。この補正係数算出部３３４で最終的に算出されたアフィン変換の補正係数が、図２の画像位置合わせ処理部３０２に位置合わせのパラメータとして供給される。
【００６０】
テーブル変換部３３５は、特徴領域情報保存部３２５に保存されているスキャン画像ｂについての特徴領域テーブルを、補正係数算出部３３４で求めたアフィン変換の補正係数にしたがってリスト上でアフィン変換することによってテーブル変換を行う。このテーブル変換は、図６に示す特徴領域テーブルに記録された特徴量の値を更新する処理として実行される。
【００６１】
すなわち、図６に示す特徴領域テーブルから、位置ずれの補正処理を実行する一方の画像（本例では、画像ｂ）に関する特徴領域テーブルを選択し、この選択した特徴領域テーブルに記録された特徴量の値（数値データ）を、補正係数算出部３３４が算出した補正係数に基づくアフィン変換を実行して得た値に更新する。ここで、特徴領域テーブルは数値データのテーブルである。したがって、テーブル変換部３３５での変換作業は、画像データ自体を変換する作業に比べて、演算量が極めて少なくて済むために非常に短時間で処理が終了する。
【００６２】
特徴領域テーブルには、特徴量算出部３１２，３２２で求めた特徴量、即ち濃度重心位置、外接矩形の幅・高さ・縦横比、線長、線面積、線幅などが数値データで保管されているが、テーブル変換部３３５ではこれら特徴量のうち、少なくとも濃度重心位置について変換処理を行う。ただし、アフィン変換の補正係数のうち、倍率が１．０ではない場合、即ち一方の画像が拡大あるいは縮小されている場合、濃度重心位置以外の特徴量に倍率をかけてテーブル変換することで、より確実に特徴領域ペアを見つけだすことができる。
【００６３】
（第２の選択部の構成および動作）
続いて、本発明の特徴とする第２の選択部３３２の具体的な構成および動作について詳細に説明する。
【００６４】
図８は、第２の選択部３３２の機能構成の一例を示すブロック図である。図８に示すように、本構成例に係る第２の選択部３３２は、パラメータ算出部３３２１、ペアリスト変換部３３２２、位置ずれ算出部３３２３および特徴領域ペア除外部３３２５を有する構成となっている。
【００６５】
パラメータ算出部３３２１は、基本的に、補正係数算出部３３４と同じ構成を採り、第１の選択部３３１から出力される第１の特徴領域ペアリストから位置合わせのパラメータ（アフィン変換の補正係数）を算出する。ペアリスト変換部３３２２は、第１の選択部３３１から出力される第１の特徴領域ペアリストの一方の画像に由来する特徴領域の位置を示すデータ、具体的には濃度重心位置を示すデータを、パラメータ算出部３３２１が算出した位置合わせのパラメータにしたがってリスト上でアフィン変換する。位置ずれ算出部３３２３は、ペアリスト変換部３３２２でアフィン変換された特徴領域ペアリストから特徴領域ペアごとに特徴領域の位置ずれに応じた値（位置ずれ量そのもの、または当該位置ずれ量の二乗）を算出する。
【００６６】
特徴領域ペア除外部３３２５は、位置ずれ算出部３３２３が算出した特徴領域の位置ずれ量が所定の基準値よりも大きい特徴領域ペアについては、特徴領域の位置ずれ量が当該所定の基準値（相対位置関係の類似度選択基準）以下の他の特徴領域ペアと相対位置関係の類似性がないものとして、リストアップされた特徴領域ペアを特徴領域ペアリストから除外することによって特徴領域ペアを絞り込む。そして、その絞り込んだ最終的な特徴領域ペアを第２の特徴領域ペアリストとして図３の補正係数算出部３３４に与える。ここで、特徴領域ペアを特徴領域ペアリストから除外する判定基準となる上記所定の基準値が、類似度選択基準設定部３３３において、第２の選択部３３２に対して設定される相対位置関係の類似度選択基準である。
【００６７】
上記構成の第２の選択部３３２においては、補正係数算出部３３２１による補正係数算出、ペアリスト変換部３３２２によるペアリスト変換、位置ずれ算出部３３２３による位置ずれ算出および特徴領域ペア除外部３３２５による特徴領域ペア除外の各処理が繰り返して実行される。
【００６８】
このような繰り返し処理を行うことにより、第１の選択部３３１において特徴量の類似性から２つの画像ａ，ｂに共通すると推測された特徴領域ペアのリストの中から、相対位置関係が他の特徴領域ペアと類似性がない、即ち本来は特徴領域ペアでないにもかかわらず特徴領域ペアとしてリストアップされた特徴領域ペアが徐々にふるい落とされる。この繰り返し処理については、通常、除外する特徴領域ペアが無くなるまで実施することになるが、これに限られるものではなく、当該繰り返し処理を指定回数だけ実行するなどの構成を採ることも可能である。
【００６９】
上記構成の第２の選択部３３２を含む補正係数算出処理部３０１において、特徴領域情報保存部３２５→第１の選択部３３１→第２の選択部３３２→補正係数算出部３３４→テーブル変換部３３５→特徴領域情報保存部３２５の処理経路は、２つの画像ａ，ｂ間の位置ずれ量をアフィン変換の補正係数（位置合わせのパラメータ）として検出する処理を行う検出処理ループを形成している。
【００７０】
この検出処理ループにおいては、アフィン変換の補正係数の検出処理に関して、大まかな補正係数を検出する粗調処理と、当該大まかな補正係数から位置ずれ量が小さい補正係数を検出する微調処理の少なくとも２段階の処理が行われる。さらに、粗調処理と微調処理の各々について、複数回の粗調処理、複数回の微調処理を行うようにすることも可能である。
【００７１】
以上説明した補正係数算出処理部３０１の各構成要素、即ち前処理部３１１，３２１、特徴領域抽出部３１２，３２２、特徴量算出部３１３，３２３、位置算出部３１４，３２４、特徴領域情報保存部３１５，３２５、第１の選択部３３１、第２の選択部３３２、類似度選択基準設定部３３３、補正係数算出部３３４およびテーブル変換部３３５については、ＰＣ（パーソナルコンピュータ）のように、所定プログラムを実行することによって情報記憶処理、画像処理、演算処理等の各機能を実行するコンピュータ機器を利用してソフトウェア構成によって実現することが考えられる。ただし、ソフトウェア構成による実現に限られるものではなく、ハードウェア構成、あるいはハードウェアとソフトウェアの複合構成によって実現することも可能である。
【００７２】
ソフトウェア構成によって実現する場合、前処理部３１１，３２１、特徴領域抽出部３１２，３２２、特徴量算出部３１３，３２３、位置算出部３１４，３２４、特徴領域情報保存部３１５，３２５、第１の選択部３３１、第２の選択部３３２、類似度選択基準設定部３３３、補正係数算出部３３４およびテーブル変換部３３５としてコンピュータを機能させるプログラムが本発明による画像処理プログラムとなる。
【００７３】
また、以下に説明する画像処理シーケンスにおける各ステップの処理を実行するプログラムが、本発明による画像処理プログラムであるとも言える。そして、これらの画像処理プログラムについては、あらかじめコンピュータ内にインストールしておくことが考えられる。ただし、あらかじめインストールされているのではなく、コンピュータ読み取り可能な記憶媒体に格納されて提供されるものであっても良く、または有線若しくは無線による通信手段を介して配信されるものであっても良い。
【００７４】
（補正係数の算出処理）
次に、位置合わせの補正係数を求める処理方法の処理手順の一例について、図９および図１０のフローチャートを用いて説明する。この位置合わせの補正係数を求める処理は、図３の補正係数算出処理部３０１における処理でもある。
【００７５】
この補正係数を求める処理においては、大まかな補正係数を検出する粗調処理と、当該大まかな補正係数から位置ずれ量が小さい補正係数を検出する微調処理の少なくとも２段階の処理が行われる。さらに、粗調処理と微調処理の各々について、複数回の粗調処理、複数回の微調処理を行うようにすることも可能である。
【００７６】
先ず、原本画像である画素ａの画像データを取得し（ステップＳ１１）、この取得した画像データを基に画像ａの特徴領域を抽出し（ステップＳ１２）、次いで、抽出した全特徴領域の特徴量（外接矩形の幅・高さ・縦横比、線長、線面積、線幅など）と全特徴領域の位置（特徴領域の濃度重心）を算出し、この算出した特徴量および位置を基に特徴領域に関連付けて、画像ａについての特徴領域テーブルを作成してメモリ（図３の特徴領域情報保存部３１５に相当）に保存する（ステップＳ１３）。
【００７７】
次に、スキャン画像である画素ｂの画像データを取得し（ステップＳ１４）、この取得した画像データを基に画像ｂの特徴領域を抽出し（ステップＳ１５）、次いで、抽出した全特徴領域の特徴量と位置を算出し、この算出した特徴量と位置を基に特徴領域に関連付けて、画像ｂについての特徴領域テーブルを作成してメモリ（図３の特徴領域情報保存部３２５に相当）に保存する（ステップＳ１６）。
【００７８】
次に、画像ａ，ｂの各特徴領域テーブルを取得し（ステップＳ１７）、次いで特徴量の類似度選択基準（図３の類似度選択基準設定部３３３で設定される）を取得し（ステップＳ１８）、この取得した特徴量の類似度選択基準を基に特徴量の類似性から特徴領域ペアを選択して第１の特徴領域ペアリストを作成する（ステップＳ１９）。この第１の特徴領域ペアリストを作成する処理は、図３の第１の選択部３３１で実行される１回目の処理に相当する。
【００７９】
次に、相対位置関係の類似度選択基準（図３の類似度選択基準設定部３３３で設定される）を取得し（ステップＳ２０）、この取得した相対位置関係の類似度選択基準を基に相対位置関係の類似性から、第１の特徴領域ペアリスト内の特徴領域ペアを絞り込んで第２の特徴領域ペアリストを作成する（ステップＳ２１）。この第２の特徴領域ペアリストを作成する処理は、図３の第２の選択部３３２で実行される１回目の処理に相当する。
【００８０】
次に、第２の特徴領域ペアリストの特徴領域ペアの数が所定の値、例えば１０個以上であるか否かを判断し（ステップＳ２２）、１０個未満であれば、特徴量の類似度選択基準の幅を広げ（ステップＳ２３）、しかる後ステップＳ１７→ステップＳ１８→ステップＳ１９→ステップＳ２０→ステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ１７のループの処理を特徴領域ペアの数が１０個以上になるまで繰り返して実行する。
【００８１】
すなわち、ステップＳ１７→ステップＳ１８→ステップＳ１９→ステップＳ２０→ステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ１７の第１の処理ループでの処理は、先述した粗調処理に相当する。この粗調処理においては、特徴量の類似度選択基準を厳しく設定し、特徴領域ペアの数が所定の値以上になるまで特徴量の類似度選択基準を段階的に緩くしていって特徴領域ペアを選択（検出）する処理が繰り返して行われる。
【００８２】
具体的には、特徴量の類似度選択基準について、初期状態では、
（ａ）特徴領域ペアの検索範囲：狭い
（ｂ）比較対象の特徴量情報の種類数：適宜
（ｃ）比較対象の特徴量情報の一致度：厳しい
というように、特徴量の類似度選択基準を厳しく設定し、特徴領域ペアの数が所定の値以上になるまで粗調処理を繰り返して実行する過程で、当該類似度選択基準を段階的に緩くしていく。
【００８３】
この粗調処理によって次のような作用効果を得ることができる。すなわち、もともと位置ずれが小さい２画像を位置合わせする場合もあり、最初から検索範囲を広く（特徴量の類似度選択基準を緩く）設定して検索を行うよりも、最初に検索範囲を狭く（特徴量の類似度選択基準を厳しく）設定して検索を行う方が、位置ずれ量が小さい特徴領域ペアを容易に検索できるために、特徴量の類似度選択基準の設定を狭い範囲から広い範囲に変化させながら特徴領域テーブルに対して特徴領域ペアリストの作成処理を繰り返して実行した方が、粗調処理ループの収束性を上げることができる。
【００８４】
なお、本粗調処理では、ステップＳ２３において、特徴量の類似度選択基準についてのみ当該選択基準の幅を段階的に広げる（基準を緩める）としたが、相対位置関係の類似度選択基準（相対位置関係の類似性がないものとして、特徴領域ペアリストから除外する際の判定基準）についても、その基準を段階的に緩めるようにしても良い。
【００８５】
ステップＳ２２で特徴領域ペアの数が１０個以上になったと判定したら、アフィン変換に適用する補正係数、即ち幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を算出する（ステップＳ２４）。このアフィン変換に適用する補正係数を算出する処理は、図３の補正係数算出部３３４で実行される処理に相当する。次に、画像ｂの特徴領域テーブルを、ステップＳ２４で算出した補正係数にしたがってリスト上でアフィン変換することによってテーブル変換を行う（ステップＳ２５）。このテーブル変換の処理は、図３のテーブル変換部３３５で実行される処理に相当する。
【００８６】
以降、先述した微調処理に入る。この微調処理では、上述した一連の粗調処理で最終的に緩く設定された特徴量の類似度選択基準から、当該選択基準の幅を狭めながら、粗調処理の場合と基本的に同様の処理が繰り返して実行される。
【００８７】
先ず、画像ａ，ｂの各特徴領域テーブルを取得し（ステップＳ２６）、次いで粗調処理で最終的に設定された特徴量の類似度選択基準（図３の類似度選択基準設定部３３３で設定される）を取得し（ステップＳ２７）、この取得した特徴量の類似度選択基準を基に特徴量の類似性から特徴領域ペアを選択して第１の特徴領域ペアリストを作成する（ステップＳ２８）。この第１の特徴領域ペアリストを作成する処理は、図３の第１の選択部３３１で実行される２回目の処理に相当する。
【００８８】
次に、相対位置関係の類似度選択基準（図３の類似度選択基準設定部３３３で設定される）を取得し（ステップＳ２９）、この取得した相対位置関係の類似度選択基準を基に相対位置関係の類似性から、第１の特徴領域ペアリストの特徴領域ペアを絞り込んで第２の特徴領域ペアリストを作成する（ステップＳ３０）。この第２の特徴領域ペアリストを作成する処理は、図３の第２の選択部３３２で実行される２回目の処理に相当する。
【００８９】
次に、第２の特徴領域ペアリストの特徴領域ペアの数が、前回作成した第２の特徴領域ペアリストの特徴領域ペアの数（以下、単に「前回の数」と記述する）に比べて大きく減少したか、例えば概ね２割程度減少したか否かを判断し（ステップＳ３１）、大きく減少していなければ、アフィン変換に適用する補正係数を算出する（ステップＳ３２）。このアフィン変換に適用する補正係数を算出する処理は、ステップＳ２４での処理と同じである。
【００９０】
次に、画像ｂの特徴領域テーブルを、ステップＳ３２で算出した補正係数にしたがってリスト上でアフィン変換することによってテーブル変換を行う（ステップＳ３３）。このテーブル変換の処理は、ステップＳ２５での処理と同じである。次に、特徴量の類似度選択基準の幅を狭め（ステップＳ３４）、しかる後に、ステップＳ２６→ステップＳ２７→ステップＳ２８→ステップＳ２９→ステップＳ３０→ステップＳ３１→ステップＳ３２→ステップＳ３３→ステップＳ３４→ステップＳ２６の第２の処理ループでの処理を繰り返し実行する。この際、第２の特徴領域ペアリストの特徴領域ペアの数を記憶しておき、前回の処理で抽出した特徴領域ペアの数（例えば、２００個程度）に比べて今回の抽出ペア数が大きく減少するまで繰り返して実行する。
【００９１】
そして、第２の特徴領域ペアリストの特徴領域ペアの数が前回の数に比べて大きく減少したと判定したら、前回作成した第２の特徴領域ペアリストの作成時に用いたアフィン変換の補正係数（前回の補正係数）を位置合わせのパラメータとして出力する（ステップＳ３５）。以上により、アフィン変換（画像変換）に適用する補正係数を求めるための一連の処理を終了する。
【００９２】
図１１〜図１３は処理が、粗調処理（ステップＳ１７→ステップＳ１８→ステップＳ１９→ステップＳ２０→ステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ１７）、およびステップＳ２４、ステップＳ２５、ならびに、微調処理（ステップＳ２６→ステップＳ２７→ステップＳ２８→ステップＳ２９→ステップＳ３０→ステップＳ３１→ステップＳ３２→ステップＳ３３→ステップＳ３４→ステップＳ２６）と進むに従って、特徴領域の対応付けがどう変化するかを図示してものである。ここでは、わかり易いように画像上で対応関係を示しているが、実際の処理では特徴領域テーブル間で対応付けがなされる。
【００９３】
図１１は、入力される原本画像とスキャン画像に対応する特徴領域テーブルの内容を画像として示したものであり、図１２は粗調処理終了後、図１３は微調処理終了後の様子をそれぞれ示している。
【００９４】
図１１は、入力される原本画像とスキャン画像で、原本画像に対しスキャン画像は大きくずれている。また、スキャン画像は画質が大きく劣化しており、（１'，１'）Ａ、（１'，２'）Ｅ、（１'，３'）Ｉは、原本画像に対して文字が太く変化している。さらに、（３'，１'）Ｂ、（３'，２'）Ｇ、（３'，３'）Ｊ、（４'，１'）Ｃ、（４'，２'）Ｈ、（４'，３'）Ｋは、原本画像に対して文字が細く変化しているだけでなく、（３'，２'）Ｇと（４'，２'）Ｈには両方にまだがり○印の追記がされている。さらに、（５'，１'）Ｄ、（５'，２'）Ｈ、（５'，３'）Ｌは、原本画像に対して文字が細く変化しているだけでなく、かなり薄くかすれている。（２'，１'）Ａ、（２'，２'）Ｆ、（２'，３'）Ｊには、画質劣化がなかったものとする。
【００９５】
まず、粗調処理について説明する。なお、ここでは特徴領域５個以上対応付けが出来たら粗調処理を終了し微調処理に移行するものとする。
【００９６】
図１１において、第１の対応付け部により各特徴領域の対応付けを行うと、最初は特徴量の類似度基準を厳しく設定しているため、画質劣化が少ない特徴領域だけが対応付けられ、（１，１）Ａと（２'，１'）Ａ、（２，２）Ｆと（２'，２'）Ｆ、（２，３）Ｊと（２'，３'）Ｊが特徴領域ペアとなる。
【００９７】
次に、第２の対応付け部により、特徴領域ペアの相対位置の類似度をチェックし、相対位置が他の物に対してずれている特徴領域を除外すると、位置ずれが大きいために間違って対応付けられていた（１，１）Ａと（２'，１'）Ａのペアが除外される。次に、対応付けできた特徴領域の数をチェックし５個未満であるため、特徴量の類似度基準を緩く設定して、再度粗調処理を実施する。
【００９８】
２回目の粗調処理では、第1の対応付け部により、（１，１）Ａと（２'，１'）Ａ、（２，１）Ａと（２'，１'）Ａ、（３，１）Ｂと（３'，１'）Ｂ、（４，１）Ｃと（４'，１'）Ｃ、（１，２）Ｅと（１'，２'）Ｅ、（２，２）Ｆと（２'，２'）Ｆ、（１，３）Ｉと（１'，３'）Ｉ、（２，３）Ｊと（２'，３'）Ｊ、（３，３）Ｊと（２'，３'）Ｊ、（４，３）Ｋと（４'，３'）Ｋが特徴領域ペアとなる。
【００９９】
特徴量の類似度基準が緩くなったため、多少の画質劣化があっても対応付けられるようになっている。
【０１００】
次に第２の対応付け部により、特徴領域ペアの相対位置の類似度をチェックし、相対位置が他の物に対してずれている特徴領域を除外すると、位置ずれが大きいために間違って対応付けられていた（１，１）Ａと（２'，１'）Ａのペアと、（３，３）Ｊと（２'，３'）Ｊのペアが除外される。
【０１０１】
次に、対応付けできた特徴領域の数をチェックし５個以上であるため、アフィン変換係数を求め、特徴点テーブル上でスキャン画像の特徴点にアフィン変換を施し、粗調処理を終了する。
【０１０２】
粗調処理終了時点での、特徴点テーブルの内容を画像として表現したものが図１２である。スキャン画像のずれが、粗調処理により小さくなっていることがわかる。
【０１０３】
次に、微調処理を開始する。ここでは、図１２を参照し、特徴量の類似度基準を更に緩く設定する微調処理の例について説明する。
【０１０４】
第1の対応付け部により、（１，１）Ａと（１"，１"）Ａ、（２，１）Ａと（２"，１"）Ａ、（３，１）Ｂと（３"，１"）Ｂ、（４，１）Ｃと（４"，１"）Ｃ、（５，１）Ｄと（５"，１"）Ｄ、（１，２）Ｅと（１"，２"）Ｅ、（２，２）Ｆと（２"，２"）Ｆ、（５，２）Ｈと（５"，２"）Ｈ、（１，３）Ｉと（１"，３"）Ｉ、（２，３）Ｊと（２"，３"）Ｊ、（３，３）Ｊと（３"，３"）Ｊ、（４，３）Ｋと（４"，３"）Ｋ、（５，３）Ｌと（５"，３"）Ｌが特徴領域ペアとなる。
【０１０５】
ここでは、特徴量の類似度基準を更に緩く設定したため、画質劣化の激しい特徴領域も対応付けることが出来る。なお、追記により特徴量が大きく変化してしまった(３・・・・・２・・・・・とＧ(４・・・・・２・・・・・Ｈは、対応付けられることはない。
【０１０６】
次に、第２の対応付け部により、特徴領域ペアの相対位置の類似度をチェックし、相対位置が他の物に対してずれている特徴領域を除外する。この例では、間違って対応付けられたペアがないため、除外するものはない。
【０１０７】
こうして対応付けられた特徴領域ペアを元に、アフィン変換係数を算出し、特徴点テーブル上でスキャン画像の特徴点にアフィン変換を施して、再度微調処理を行う。
【０１０８】
微調処理の２回目以降では、特徴量の類似度基準をこれまでとは逆に厳しくしながら処理を繰り返す例を示す。
【０１０９】
初めのうちは第１の対応付け部、第２の対応付け部で対応づける特徴領域は１回目と同じであり、補正係数算出部、テーブル変換部の動作も同じである。しかし、特徴量の類似度基準が厳しくしたがって、（５"，１"）Ｄ、（５"，２"）Ｈ、（５"，３"）Ｌは画質劣化が激しいために、第１の対応付け手段で対応付けされなくなる。そうすると特徴領域ペアの数が大きく減る事となり、図１０のステップＳ３１に示した処理で、Ｙｅｓとなって微調処理を終了する。
【０１１０】
その際、最終的に採用するアフィン変換係数は、特徴領域ペアが減少する１回前のデータとする。こうすることで、より確からしい、しかもより多くの特徴領域ペアからアフィン変換係数を決めることが出来、位置あわせ精度が向上する。
【０１１１】
なお、本微調処理では、ステップＳ３４において、特徴量の類似度選択基準についてのみ、当該選択基準の幅を段階的に狭めるとしたが、相対位置関係の類似度選択基準（相対位置関係の類似性がないものとして、特徴領域ペアリストから除外する際の基準値）についても、その基準を段階的に狭めるようにしても良い。
【０１１２】
また、ステップＳ３４での処理において、特徴量の類似度選択基準の幅を狭めるとしたが、特徴量の類似度選択基準のうち、少なくとも特徴領域ペアの検索範囲について、粗調処理で最終的に設定された検索範囲の大きさから当該検索範囲を段階的に狭めるようにすることで、粗調処理ループでの処理の目的を達成できる。このとき、他の特徴量の類似度選択基準、例えば比較対象の特徴量情報の一致度については固定、あるいは、特徴領域ペアの検索範囲と同様に段階的に厳しくしていき、途中から緩める方向に戻すなどの態様が考えられる。
【０１１３】
上述したように、２つの画像ａ，ｂから位置合わせの補正係数（アフィン変換に適用する補正係数）を求め、この補正係数を基に２つの画像ａ，ｂの位置合わせ（位置補正）を行う画像処理装置において、２つの画像ａ，ｂの各々から特徴領域を抽出し、この抽出した特徴領域の特徴量と位置を算出し、この算出した特徴量と位置を基に２つの画像ａ，ｂに共通すると推測される特徴領域ペアを選択し、さらに選択した特徴領域ペアを２つの画像ａ，ｂの相対位置関係の類似性を基に絞り込み、この絞り込んだ特徴領域ペアを基にして、２つの画像ａ，ｂ間の位置ずれを補正する補正係数を算出することにより、次のような作用効果を得ることができる。
【０１１４】
すなわち、２つの画像ａ，ｂに共通すると推測される特徴領域ペアを選択する手法が、特徴領域の特徴量を基に特徴量の類似性から特徴領域ペアを選択する手法であることで、当該手法では数値比較によって特徴領域ペアを選択できるために、パターンマッチングによる選択に比べて高速に処理を実行でき、また一度選択した特徴領域ペアを、相対位置関係の類似性に基づいてさらに絞り込むことで、２つの画像ａ，ｂに共通すると推測される特徴領域ペアをより確実に選択できるために、２つの画像ａ，ｂ相互間の位置ずれが大きい場合や、２つの画像ａ，ｂ相互間で画像品質が異なる場合であっても、高精度で安定した画像ａ，ｂ相互間の位置合わせを高速に実現できる。
【０１１５】
なお、上記実施形態では、本発明が適用される画像処理装置が、粗調処理では特徴量の類似度選択基準について当該類似度選択基準を厳しい設定から緩い設定に段階的に変化させ、微調処理では粗調処理で最終的に設定した緩い設定から厳しい設定に段階的に変化させる制御を行う構成の場合を例に挙げて説明したが、粗調処理および微調処理の上記制御は一例に過ぎず、これに限られるものではない。粗調処理および微調処理の他の制御例について以下に説明する。
【０１１６】
（粗調処理および微調処理の他の制御例）
ここでの制御例では、特徴量の類似度選択基準の設定変更について説明する。図３に示す補正係数算出処理部３０１において、特徴領域情報保存部３２５→第１の選択部３３１→第２の選択部３３２→補正係数算出部３３４→テーブル変換部３３５→特徴領域情報保存部３２５の検出処理ループにおける複数回の処理では、類似度選択基準設定部３３３において、各処理回数ごとに、第１の選択部３３１に対して特徴量の類似度選択基準の設定変更が行われる。
【０１１７】
具体的には、初期的に実行する粗調処理では、類似度選択基準設定部３３３は選択基準を厳しく設定する。すなわち、第１の選択部３３１において、図６に示す２つの画像ａ，ｂについての特徴領域テーブルを入力して、両テーブルに記録された特徴量情報に基づく特徴領域ペアの選択処理を行う場合、比較する特徴量情報の種類を多く設定したり、あるいは特徴量情報の一致度が極めて高いもののみを特徴領域ペアとして抽出したりする。
【０１１８】
一方、後半で実行する微調処理では、類似度選択基準設定部３３３は選択基準を緩やかに設定する。すなわち、第１の選択部３３１において、比較する特徴量情報の種類を少なく設定したり、あるいは特徴量情報の一致度を緩くしたりして検出処理を行う。
【０１１９】
図１４を参照して、類似度選択基準設定部３３３において、第１の選択部３３１に対して設定する選択基準の変遷について説明する。図１４に示す例は、第１の選択部３３１において１回目からｎ回目までのｎ回の特徴領域ペアの選択処理を行う場合に設定する選択基準の態様を示している。ｎ回の処理中、前半の処理が粗調処理に対応し、後半の処理が微調処理に対応する。
【０１２０】
類似度選択基準設定部３３３は、処理の前半（粗調処理）においては、
（ａ）特徴領域ペアの検索範囲：広い
（ｂ）比較対象の特徴量情報の種類数：適宜
（ｃ）比較対象の特徴量情報の一致度：厳しい
という設定を実行し、処理の後半（微調処理）においては、
（ａ）特徴領域ペアの検索範囲：狭い
（ｂ）比較対象の特徴量情報の種類数：適宜
（ｃ）比較対象の特徴量情報の一致度：緩い
という設定を実行する。
【０１２１】
これは、初期的な粗調処理では、２つの画像ａ，ｂ間のずれが大きい場合でも、特徴領域ペアの検索範囲を広く設定することで、類似する特徴領域ペアの検出を容易に可能にするためである。ただし、検索範囲が広いことから、１つの特徴領域に対し多数の特徴領域ペアの候補が検出されてしまう可能性が高くなるために、比較対象の特徴量情報の一致度を厳しく設定することで、より確からしい特徴領域ペアのみを検出するようにしている。
【０１２２】
一方、微調処理では、特徴領域ペアの検出処理における検出領域、即ち検索範囲を狭く設定して、粗調処理での処理結果を基に特徴領域ペアを検出する処理を行う。検索範囲が狭いために、多数の特徴領域ペアの候補が検出される可能性は少ない。したがって、比較対象の特徴量情報の一致度を緩く、即ち特徴領域ペアの検出条件を緩く設定して、スキャン時のカスレなどによる画像劣化で類似性が低くなってしまった特徴領域ペアでも確実に検出するようにしている。
【０１２３】
また、通常、粗調処理では比較対象の特徴量情報の種類を多く設定して、より確からしい特徴領域ペアを検出し、微調処理では比較対象の特徴量情報の種類を少なく設定して、数多く特徴領域ペアを検出するように調整が行われる。しかし一方で、２つの画像ａ，ｂ間の倍率ずれが大きい場合には、特徴量情報の種類を多くした上に一致度も厳しくすると、特徴量が一致する特徴領域ペアが一つも見つからないケースも生じる。したがって、比較対象の特徴量情報の種類は、想定される２画像ａ，ｂ間の位置ずれ量や、比較対象の特徴量情報の一致度の厳しさに応じて慎重に決定されることになる。
【０１２４】
なお、初期的に実行する粗調処理では、特徴領域の特徴量として、少なくとも外接矩形の縦横比を使うことが好ましい。このように、特徴量として外接矩形の縦横比を使うこと二より、例えば比較対象の２つの画像ａ，ｂ間で倍率の差が大きい場合でも、類似する形状を持つ特徴領域を検出することができる。
【０１２５】
また、比較対象の特徴量情報の一致度については、相対的に見れば、粗調処理から微調処理に移行するにしたがい、厳しい設定から緩い設定へと一律に変化させるようにしているが、これらについては必ずしも一律に変化させる必要はない。場合によっては、粗調処理・微調処理共に同じ値を採用することも可能である。
【０１２６】
図１５に、類似度選択基準設定部３３３において第１の選択部３３１に対して設定する選択基準を変化させた場合に、第１の選択部３３１において選択された特徴領域ペアの数についての実験データを示す。ここでは、Ｊ＝１〜３の３回の類似選択処理（特徴領域ペアの選択処理）について選択条件を次のように変更して行った場合を示している。
【０１２７】
具体的には、１回目（Ｊ＝１）の類似選択処理では、特徴領域ペアの検索範囲＝重心位置±２０ｍｍ、比較対象の特徴量情報の一致度＝±１％、２回目（Ｊ＝２）の類似選択処理では、特徴領域ペアの検索範囲＝重心位置±２ｍｍ、比較対象の特徴量情報の一致度＝±１０％、３回目（Ｊ＝３）の類似選択処理では、特徴領域ペアの検索範囲＝重心位置±０．４ｍｍ、比較対象の特徴量情報の一致度＝±２０％の選択基準を設定している。ここでは、比較対象の特徴量情報の種類については変更無しとしている。
【０１２８】
上記の選択基準を設定して３回の類似選択処理（特徴領域ペアの選択処理）を実行することで、１回目の類似選択処理では、１０〜２０個程度の特徴領域ペアが選択される。そして、この選択した特徴領域ペアの特徴量情報に基づいて２つの画像ａ，ｂ間の大まかな位置ずれ量を算出し、この算出した位置ずれ量をアフィン変換の補正係数として用いてアフィン変換を行った後、類似度選択基準設定部３３３において選択基準を行って２回目の類似選択処理を実行する。
【０１２９】
すると、２回目の類似選択処理では、１００〜２００個程度の特徴領域ペアが選択される。そして、この選択した特徴領域ペアの特徴量情報に基づいて、さらに２つの画像ａ，ｂ間の位置ずれ量を算出し、この算出した位置ずれ量をアフィン変換の補正係数として用いて２回目のアフィン変換を行った後、類似度選択基準設定部３３３において選択基準を行って３回目の類似選択処理を実行する。
【０１３０】
すると、３回目の類似選択処理では、２００〜３００個程度の特徴領域ペアが選択される。そして、この選択した特徴領域ペアの特徴量情報に基づいて、さらに２つの画像ａ，ｂ間の位置ずれ量を算出し、この算出した位置ずれ量をアフィン変換の補正係数として用いて３回目のアフィン変換を行う。という具合に、特徴量の類似性から２つの画像ａ，ｂに共通すると推測される特徴領域ペアを選択する処理が複数回（本例では、３回）に亘って繰り返して実行される。
【０１３１】
上述した他の制御例に係る粗調処理および微調処理を行う画像処理装置に対して、特徴領域の特徴量を基に２つの画像ａ，ｂに共通すると推測される特徴領域ペアを選択し、さらに選択した特徴領域ペアを２つの画像ａ，ｂの相対位置関係の類似性を基に絞り込み、この絞り込んだ特徴領域ペアを基にして、２つの画像ａ，ｂ間の位置ずれを補正する補正係数を算出する制御を行う本発明を適用した場合にも、先述した実施形態の場合と同様の作用効果、即ち２つの画像ａ，ｂに共通すると推測される特徴領域ペアを高速処理にてより確実に選択できる、という作用効果を得ることができる。
【０１３２】
また、上記実施形態では、図３に示す補正係数算出処理部３０１において、特徴領域情報保存部３２５→第１の選択部３３１→第２の選択部３３２→補正係数算出部３３４→テーブル変換部３３５→特徴領域情報保存部３２５の検出処理ループを有する画像処理装置に適用した場合を例に挙げて説明したが、当該検出処理ループを持たない画像処理装置においても、本発明を適用することにより、上記実施形態の場合と同様の作用を得ることができる。
【０１３３】
すなわち、図１６に示すように、前処理部３１１，３２１、特徴領域抽出部３１２，３２２および特徴量算出部３１３，３２３に加えて、第１の選択部３３１、第２の選択部３３２および補正係数算出部３３４を持つだけの構成の補正係数算出処理部（本発明の基本形に係る補正係数算出処理部）を備えた画像処理装置においても、特徴領域の特徴量を基に２つの画像ａ，ｂに共通すると推測される特徴領域ペアを選択し、さらに選択した特徴領域ペアを２つの画像ａ，ｂの相対位置関係の類似性を基に絞り込み、この絞り込んだ特徴領域ペアを基にして、２つの画像ａ，ｂ間の位置ずれを補正する補正係数を算出することで、２つの画像ａ，ｂに共通すると推測される特徴領域ペアを高速処理にてより確実に選択できる。
【０１３４】
また、上記実施形態では、スキャン画像と原本画像との差分をとることによって紙ドキュメントから追記情報を抽出する用途の画像情報処理システムに適用した場合を例に挙げて説明したが、本発明はこの適用例に限られるものではなく、セキュリティ文書が改竄されていないかどうかを検証する用途の画像情報処理システムや、２つの画像相互間での類似画像や同一画像を探す画像検索・画像照合等を行う用途の画像情報処理システムなど、２つの画像相互間の位置ずれを検出して位置合わせ（位置補正）を行う処理を伴う画像情報処理システム全般に対して適用可能である。
【図面の簡単な説明】
【０１３５】
【図１】本発明が適用される画像情報処理システムの構成の概略を示すシステム構成図である。
【図２】画像情報処理システムにおける処理制御部の機能構成の一例を示すブロック図である。
【図３】本実施形態に係る画像位置合わせ処理部の機能構成の一例を示すブロック図である。
【図４】特徴領域の具体例についての説明図である。
【図５】連続領域の特徴量についての説明図である。
【図６】特徴領域テーブルについての説明図である。
【図７】特徴領域ペアの検索範囲についての説明図である。
【図８】第２の選択部の機能構成例を示すブロック図である。
【図９】補正係数を求める処理方法の手順の一例を示すフローチャート（その１）である。
【図１０】補正係数を求める処理方法の手順の一例を示すフローチャート（その２）である。
【図１１】入力される原本画像とスキャン画像に対応する特徴領域テーブルの内容を画像として示した図である。
【図１２】粗調処理終了後の様子を示した図である。
【図１３】微調処理終了後の様子を示した図である。
【図１４】特徴領域ペアの選択処理において用いる類似度選択基準についての説明図である。
【図１５】他の制御例における類似度選択基準の処理例についての説明図である。
【図１６】本発明の基本形に係る画像位置合わせ処理部の機能構成の一例を示すブロック図である。
【符号の説明】
【０１３６】
１０・第１の画像データ入力部、２０…第２の画像データ入力部、３０…処理制御部、４０…画像データ出力部、３０１，３０１Ａ…補正係数算出処理部、３０２…画像位置合わせ処理部、３０３…画像比較処理部、３０４…追記情報抽出処理部、３１１，３２１…前処理部、３１２，３２２…特徴領域抽出部、３１３，３２３…特徴量算出部、３１５，３２５…特徴領域情報保存部、３３１…第１の選択部、３３２…第２の選択部、３３３…類似度選択基準設定部、３３４…補正係数算出部、３３５…テーブル変換部、３３２１…パラメータ算出部、３３２２…ペアリスト変換部、３３２３…位置ずれ算出部、３３２５…特徴領域ペア除外部
【図１】
2007265389.tif 000003
【図２】
2007265389.tif 000004
【図３】
2007265389.tif 000005
【図４】
2007265389.tif 000006
【図５】
2007265389.tif 000007
【図６】
2007265389.tif 000008
【図７】
2007265389.tif 000009
【図８】
2007265389.tif 000010
【図９】
2007265389.tif 000011
【図１０】
2007265389.tif 000012
【図１１】
2007265389.tif 000013
【図１２】
2007265389.tif 000014
【図１３】
2007265389.tif 000015
【図１４】
2007265389.tif 000016
【図１５】
2007265389.tif 000017
【図１６】
2007265389.tif 000018