(57)【要約】【課題】  画像間のずれの算出、画像補正処理を正確に実行する装置、および方法を提供する。【解決手段】  複数の画像間のずれを算出するために実行する対応連結領域選択処理を、選択条件を変更して複数回実行する。例えば検索範囲を、広い設定から順次狭い設定に変更し、比較対象の特徴量情報の種類数は、多い設定から少ない設定に変更し、比較対象の特徴量情報の一致度は、厳しい設定から緩い設定に変更する。初期的に実行する粗調処理においては、２画像のずれ量が大きくても対応連結領域を発見できる。また、後半で実行する微調処理では、狭い範囲で、かつ緩い一致条件の下で、対応連結領域選択処理を実行するので、対応関係のある連結領域を効率的に抽出できる。本構成により、正確で効率的な画像間のずれ量算出、調整処理が可能となる。【選択図】  図１
2006235785.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であり、
２つの画像の各々から特徴領域を抽出する特徴領域抽出手段と、
前記特徴領域抽出手段の抽出した特徴領域の特徴量を算出する特徴量算出手段と、
前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定手段と、
前記特徴領域選択基準設定手段の設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択手段と、
前記対応特徴領域選択手段において選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出手段と、
前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換手段とを有し、
前記対応特徴領域選択手段は、
前記特徴領域選択基準設定手段の設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行する構成であり、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行する構成であることを特徴とする画像処理装置。
【請求項２】
前記特徴領域選択基準設定手段は、
特徴領域選択基準を処理回数の進行に従って、
（１）対応特徴領域検索範囲を広い設定から狭い設定に変更、
（２）比較対象の特徴量の一致度を厳格な設定から緩い設定に変更、
上記（１）〜（２）の少なくともいずれかの設定変更を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴領域抽出手段は、
前記画像から連結領域を抽出し
前記特徴量算出手段は、
前記特徴領域抽出手段の抽出した連結領域の特徴量として、重心を含む特徴量情報の抽出処理を実行し、連結領域に対応する重心を含む特徴量についてのリストとしての連結領域情報テーブルを生成する処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記対応特徴領域選択手段は、
前記連結領域情報テーブルの格納データに基づいて、前記２つの画像から抽出された連結領域の特徴量比較を実行し、対応連結領域を選択する処理を実行する構成であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記データ変換手段は、
前記補正係数算出手段の算出した補正係数に基づいて、補正対象画像に対応する前記連結領域情報テーブルの格納データの変換処理を実行する構成であることを特徴とする請求項３に記載の画像処理装置。
【請求項６】
画像処理方法であり、
２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量を算出する特徴量算出ステップと、
前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定ステップと、
前記特徴領域選択基準設定ステップにおいて設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択ステップと、
前記対応特徴領域選択ステップにおいて選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出ステップと、
前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換ステップとを有し、
前記対応特徴領域選択ステップは、
前記特徴領域選択基準設定ステップにおいて設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行し、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行することを特徴とする画像処理方法。
【請求項７】
前記特徴領域選択基準設定ステップにおいては、
特徴領域選択基準を処理回数の進行に従って、
（１）対応特徴領域検索範囲を広い設定から狭い設定に変更、
（２）比較対象の特徴量の一致度を厳格な設定から緩い設定に変更、
上記（１）〜（２）の少なくともいずれかの設定変更を実行することを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記特徴領域抽出ステップは、
前記画像から連結領域を抽出し
前記特徴量算出ステップは、
前記特徴領域抽出ステップにおいて抽出した連結領域の特徴量として、重心を含む特徴量情報の抽出処理を実行し、連結領域に対応する重心を含む特徴量についてのリストとしての連結領域情報テーブルを生成する処理を実行することを特徴とする請求項６に記載の画像処理方法。
【請求項９】
前記対応特徴領域選択ステップは、
前記連結領域情報テーブルの格納データに基づいて、前記２つの画像から抽出された連結領域の特徴量比較を実行し、対応連結領域を選択する処理を実行することを特徴とする請求項８に記載の画像処理方法。
【請求項１０】
前記データ変換ステップは、
前記補正係数算出ステップにおいて算出した補正係数に基づいて、補正対象画像に対応する前記連結領域情報テーブルの格納データの変換処理を実行することを特徴とする請求項８に記載の画像処理方法。
【請求項１１】
画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量を算出する特徴量算出ステップと、
前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定ステップと、
前記特徴領域選択基準設定ステップにおいて設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択ステップと、
前記対応特徴領域選択ステップにおいて選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出ステップと、
前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換ステップとを有し、
前記対応特徴領域選択ステップは、
前記特徴領域選択基準設定ステップにおいて設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行し、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、複数の画像データについてのずれ量算出や、位置合わせ補正処理を正確に行なう画像処理装置、および画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００２】
画像処理の分野において、２枚以上の同種の画像を位置合わせしたい場合が少なくない。例えばプリンタやＦＡＸなどから出力した帳票やレジュメなどの紙ドキュメントに、ユーザが記入した追記等を抽出したり、セキュリティ文書が改竄されていないかどうか検証したりする場合など、これらの紙文書をスキャンして電子原本と比較して追記や改竄部分を検出する処理が行なわれる。
【０００３】
この検出処理の際、２つの画像データの比較に先立ちスキャン画像と電子原本画像の位置合わせを高精度に行う必要がある。複数の画像データについての位置合わせ技術を開示した従来技術として例えば特許文献１がある。
【０００４】
特許文献１には、スキャン画像を単色化・二値化した後、所定の大きさの範囲に設定した検索領域において、黒データ（黒ラン）の連結領域を抽出し、スキャン処理の元データとしての原本画像（単色化・二値化済み）から、同様の黒データ（黒ラン）の連結領域を抽出し、相互の画像から抽出した連結領域のパターンを比較して、対応パターンを、パターンマッチングで見つけ、さらに、パターンマッチングの結果、両画像で対応が取れた複数のパターン（連結領域）の重心を求め、各画像における対応パターンの重心の位置に基づいて、両画像の位置ずれを算出して、一方の画像の補正を実行して、２つの画像位置を一致させる構成が示されている。なお、画像補正は、アフィン変換を用いて実行し、位置ずれ情報は、アフィン変換の変換パラメータ（補正係数）として適用している。
【０００５】
上記従来技術において、パターンマッチング対象のデータとして検出する連結領域は、連結領域の外接矩形、すなわち、黒データ（黒ラン）の連結領域に外接する矩形の大きさが、幅Ｗ画素、高さＨ画素とした場合、８＜Ｗ＜１２８、かつ８＜Ｈ＜１２８の大きさを有する連結領域としている。また、アフィン変換の補正係数としては、並行移動（Ｘ，Ｙ）・回転（θ）・倍率（β）の４種類の補正係数を適用した処理例を開示している。
【０００６】
しかし、上述の従来技術を含むこれまでに知られる画像相互の位置合わせ技術では、例えば原本画像と原本画像をスキャンして得られたスキャン画像や、原本画像と原本画像の電子データをプリンタを介して出力されたプリント画像など、様々なデータ読み取りまたは出力機器を介して出力された画像は、スキャン処理やプリント処理などの際に、各機器の持つ光学的な特性やメカニカルな特性によって、原本との大きな位置ずれが発生してしまう場合がある。このような場合、原本画像とスキャン画像の位置合わせや、原本画像とプリント画像との位置合わせ、あるいはスキャン画像とプリント画像との位置合わせ処理などにおいて位置ずれが大きすぎて、画像間で対応する連結領域パターンの検索が困難になるという問題がある。
【０００７】
特に、プリンタやＦＡＸなどから出力した帳票やレジュメなどの紙ドキュメントに、ユーザが追記等を行い、スキャナやＦＡＸで読み込むと、原本画像に対して読み取り画像が大きくずれる。その主原因としては、次の２点が想定される。
（１）出力時のプリンタやＦＡＸ・コピアなど、画像形成装置が原本画像に描かれたオブジェクトの位置関係を完全に再現できない
（２）画像データの読み込み時のスキャナやＦＡＸ機など、画像読取装置が紙ドキュメントに描かれたオブジェクトの位置関係を完全に再現できない
【０００８】
実際に、既存の複数のプリンタ、スキャナ、ＦＡＸ、さらにマルチファンクション機器を調査したところ、自動給紙機・自動原稿送り機を適用した紙出力処理において、原本画像と出力画像の一ずれは、幅方向のずれ（Ｘ）、縦方向のずれ（Ｙ）、回転ずれ角（θ）、倍率変動（β）とした場合、Ｘ＝±１０ｍｍ、Ｙ＝±１０ｍｍ、θ＝±３ｄｅｇ．β＝±３％程度のずれが発生していることが確認されている。さらに、自動原稿送り機を使わずにマニュアルで原稿をプラテンに置く場合には、概ねこの２倍のずれを見込まねばならないことが予測される。
【０００９】
また、スキャン画像と原本画像の画像品質が異なることも問題になる。スキャン画像は、プリンタやＦＡＸなどから出力された用紙を元にスキャンされているので、画像の品質（かすれ具合や色合い）が劣化している。場合によっては、プリントされたものを何回かコピーした後に加筆が施されているかも知れない。一方の原本画像は劣化が少ない。このような一方の画像に様々なノイズデータが含まれる場合、画像間での黒ランの連結領域パターンに基づくパターンマッチングはさらに困難になる。      
【００１０】
こうした状況は、プリントやスキャンに使う装置を限定するなどである程度回避可能であるが、現実にユーザが利用状況を限定することは難しい。従来技術では、上述したように、例えばスキャン画像と原本画像を単色化・二値化した後、所定の大きさ範囲の連結領域を抽出し、両者の対応するパターンを見つける構成を有するが、かすれなどのノイズを含む画像において、広い範囲を探索して正確なパターマッチングを行い正確な対応データを抽出することは非常に難しい。また対応パターンが抽出されても、その数は極端に少なくなり（２個とか３個とか）、位置あわせ精度が極端に悪化するという問題がある。
【特許文献１】特開平９−２４５１７３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、上述の問題点に鑑みてなされたものであり、複数の画像データについてのずれ量算出や、位置合わせ補正処理を正確に行なう画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１２】
さらに、詳細には、本発明は、黒ランデータなどの画像パターンに基づくパターンマッチング処理を、条件を異ならせて複数回実行し、精度の高いパターンマッチングを実行し、これらのパターンマッチング処理結果などから得られる補正係数を適用してアフィン変換などの画像変換を実行して精度の高いずれ量算出や位置合わせを可能とした画像処理装置、および画像処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の第１の側面は、画像処理装置であり、２つの画像の各々から特徴領域を抽出する特徴領域抽出手段と、前記特徴領域抽出手段の抽出した特徴領域の特徴量を算出する特徴量算出手段と、前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定手段と、前記特徴領域選択基準設定手段の設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択手段と、前記対応特徴領域選択手段において選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出手段と、前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換手段とを有し、前記対応特徴領域選択手段は、前記特徴領域選択基準設定手段の設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行する構成であり、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行する構成であることを特徴とする画像処理装置にある。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記特徴領域選択基準設定手段は、特徴領域選択基準を処理回数の進行に従って、
（１）対応特徴領域検索範囲を広い設定から狭い設定に変更、
（２）比較対象の特徴量の一致度を厳格な設定から緩い設定に変更、
上記（１）〜（２）の少なくともいずれかの設定変更を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記特徴領域抽出手段は、前記画像から連結領域を抽出し、前記特徴量算出手段は、前記特徴領域抽出手段の抽出した連結領域の特徴量として、重心を含む特徴量情報の抽出処理を実行し、連結領域に対応する重心を含む特徴量についてのリストとしての連結領域情報テーブルを生成する処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記対応特徴領域選択手段は、前記連結領域情報テーブルの格納データに基づいて、前記２つの画像から抽出された連結領域の特徴量比較を実行し、対応連結領域を選択する処理を実行する構成であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記データ変換手段は、前記補正係数算出手段の算出した補正係数に基づいて、補正対象画像に対応する前記連結領域情報テーブルの格納データの変換処理を実行する構成であることを特徴とする。
【００１８】
さらに、本発明の第２の側面は、画像処理方法であり、２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量を算出する特徴量算出ステップと、前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定ステップと、前記特徴領域選択基準設定ステップにおいて設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択ステップと、前記対応特徴領域選択ステップにおいて選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出ステップと、前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換ステップとを有し、前記対応特徴領域選択ステップは、前記特徴領域選択基準設定ステップにおいて設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行し、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行することを特徴とする画像処理方法にある。
【００１９】
さらに、本発明の画像処理方法の一実施態様において、前記特徴領域選択基準設定ステップにおいては、特徴領域選択基準を処理回数の進行に従って、
（１）対応特徴領域検索範囲を広い設定から狭い設定に変更、
（２）比較対象の特徴量の一致度を厳格な設定から緩い設定に変更、
上記（１）〜（２）の少なくともいずれかの設定変更を実行することを特徴とする。
【００２０】
さらに、本発明の画像処理方法の一実施態様において、前記特徴領域抽出ステップは、前記画像から連結領域を抽出し、前記特徴量算出ステップは、前記特徴領域抽出ステップにおいて抽出した連結領域の特徴量として、重心を含む特徴量情報の抽出処理を実行し、連結領域に対応する重心を含む特徴量についてのリストとしての連結領域情報テーブルを生成する処理を実行することを特徴とする。
【００２１】
さらに、本発明の画像処理方法の一実施態様において、前記対応特徴領域選択ステップは、前記連結領域情報テーブルの格納データに基づいて、前記２つの画像から抽出された連結領域の特徴量比較を実行し、対応連結領域を選択する処理を実行することを特徴とする。
【００２２】
さらに、本発明の画像処理方法の一実施態様において、前記データ変換ステップは、前記補正係数算出ステップにおいて算出した補正係数に基づいて、補正対象画像に対応する前記連結領域情報テーブルの格納データの変換処理を実行することを特徴とする。
【００２３】
さらに、本発明の第３の側面は、
画像処理をコンピュータ上において実行させるコンピュータ・プログラムであり、
２つの画像の各々から特徴領域を抽出する特徴領域抽出ステップと、
前記特徴領域抽出ステップにおいて抽出した特徴領域の特徴量を算出する特徴量算出ステップと、
前記２つの画像から抽出された特徴領域から対応する特徴領域を選択するための選択基準を設定する特徴領域選択基準設定ステップと、
前記特徴領域選択基準設定ステップにおいて設定した選択基準に基づいて、前記２つの画像から抽出された特徴領域の特徴量の一致度に基づいて対応特徴領域を選択する対応特徴領域選択ステップと、
前記対応特徴領域選択ステップにおいて選択された対応特徴領域に基づいて、前記２つの画像間のずれ量を算出し、該ずれ量に基づく補正係数を算出する補正係数算出ステップと、
前記補正係数に基づいて、補正対象画像または補正対象画像対応データの変換処理を実行するデータ変換ステップとを有し、
前記対応特徴領域選択ステップは、
前記特徴領域選択基準設定ステップにおいて設定する異なる選択基準に基づいて、対応特徴領域選択処理を繰り返し実行し、２回目以降の対応特徴領域選択処理においては、前段の処理において算出された補正係数に基づく変換データを適用した処理を実行することを特徴とするコンピュータ・プログラムにある。
【００２４】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。
【００２５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２６】
本発明の構成によれば、複数の画像間のずれを算出するために実行する対応特徴領域選択処理を、選択条件を変更して複数回実行する構成とした。例えば検索範囲を、広い設定から順次狭い設定に変更し、比較対象の特徴量情報の一致度は、厳しい設定から緩い設定に変更する。この繰り返し処理によって、初期的に実行する粗調処理においては、広い範囲からより一致度の高い特徴領域を選択することが可能であり、２つの画像のずれ量が大きくても対応特徴領域を発見する可能性を高くすることができる。また、後半で実行する微調処理では、狭い範囲で、かつ緩い一致条件の下で、対応特徴領域選択処理を実行するので、対応関係のある特徴領域を効率的に抽出することが可能となる。
【００２７】
また、本発明の構成では、複数画像から選択された連結領域の重心および特徴量情報を記録した連結領域情報テーブルを生成し、テーブルの比較に基づいて、対応連結領域を選択する処理を実行し、１回の処理で算出した補正係数に基づいて、補正対象画像の連結領域情報テーブルに記録された連結領域の重心および特徴量情報を更新して、更新したデータに基づいて、条件を変更して２回目の対応連結領域選択処理を実行して、さらに対応連結領域情報に基づく補正係数の算出、テーブルの更新という処理を繰り返し実行する構成としたので、正確でかつ効率的な画像間のずれ量調整処理が可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照しながら本発明の実施形態に係る画像処理装置、および画像処理方法、並びにコンピュータ・プログラムの詳細について説明する。
【００２９】
図１を参照して、本発明の画像処理装置の構成、および処理について説明する。まず、本発明の画像処理装置において実行する画像処理の概要について説明する。本発明の画像処理装置では、例えば図１に示す画像ａ１０と、画像ｂ２０の２つの画像の位置合わせを実行する。例えば画像ａ１０と画像ｂ２０から特徴的な類似パターン（連結領域）を抽出してパターンマッチングを行い、各画像の位置ずれを算出して、算出した位置ずれ量に基づいて補正係数を算出して、補正係数を適用した画像変換を一方の画像または画像構成データに施すものであり、２つの画像ａ１０と画像ｂ２０の正確なずれ量算出や位置合わせを行なうものである。
【００３０】
画像ａ１０と画像ｂ２０は、例えば原本画像とスキャン画像、原本画像とプリント出力画像、スキャン画像とプリント出力画像等、様々な組み合わせが可能である。また、処理対象とする画像は用紙等の出力データに限らず、ＰＣ等の記憶手段に格納されディスプレイに出力可能な電子画像データであってもよい。
【００３１】
画像変換としては、例えば補正係数として、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を用いたアフィン変換を実行する。画像変換（アフィン変換）に適用するパラメータ（補正係数）は、画像ａ１０と画像ｂ２０のパターンマッチングの結果から得られる位置ずれ情報に基づいて決定されるデータである。
【００３２】
本発明の画像処理装置においては、アフィン変換の補正係数を算出するための２画像間の位置ずれの検出処理を、粗調処理と微調処理の少なくとも２段階の処理として実行する。さらに複数回の粗調処理、複数回の微調処理を行なう構成としてもよい。
【００３３】
粗調処理において、２画像間の大まかなずれを算出して、大まかなアフィン変換の補正係数を求め、この補正係数に基づいて一方の画像の補正、あるいは画像に基づいて抽出した特徴部分、すなわちパターンマッチングに適用する黒ランデータなどの連結領域画像に関する位置や倍率などの補正を実行し、補正された連結領域データに基づいて微調処理、すなわち、再度、連結領域に基づくパターンマッチング処理を実行して、再度、アフィン変換の補正係数を算出し、ずれの補正を行なうという処理を繰り返し実行する。
【００３４】
なお、粗調処理においては、比較対象画像、すなわち図１に示す画像ａ１０と画像ｂ２０とから抽出される特徴パターンが概ね同一とみなせる連結領域パターンを、広範囲の検索領域を設定して抽出する。例えば一方の画像において抽出した黒ランデータ等の連結領域の位置に対応する他方の画像の位置の±２０ｍｍの広領域を検索領域にして、対応パターンを検出する。この粗調処理では、対応連結領域の選択基準を厳しく設定するなどして、より一致度の高い対応連結領域を抽出する。この処理では、２つの画像において対応する連結領域が数個見つかればよい。
【００３５】
微調処理では、粗調処理において求めたアフィン変換の補正係数に基づいて補正された画像または、黒ランデータなどの連結領域画像に関する位置データの補正データに基づいて、再度、パターンマッチングを行なう。この微調処理においては、先の粗調処理において設定した検索領域より、狭い領域、例えば、一方の画像において抽出した黒ランデータ等の連結領域の位置に対応する他方の画像の位置の±１ｍｍの侠領域を検索領域にして、対応パターンを検出する。この微調処理では、対応連結領域の選択基準を緩やかに設定するなどして２つの画像において、対応する連結領域を出来るだけ多く抽出する。
【００３６】
前述したように、粗調処理と微調処理は、アフィン変換の補正係数を順次更新しながら夫々複数回行っても良い。その場合、連結領域の探索範囲は徐々に狭めていき、各画像において対応連結領域として抽出する条件である連結領域の特徴の一致度は徐々に緩めていくという条件変更を行なってパターンマッチング処理を行なう。
【００３７】
図１を参照して、本発明の画像処理について説明する。位置合わせの対象となる２つの画像、画像ａ１０、画像ｂは、それぞれ前処理手段１１１，１２１に入力されて前処理が施される。前処理手段１１１，１２１では、単色化処理および二値化処理が実行される。単色化処理は、カラー画像である場合、輝度情報のみの画素データとする処理である。二値化処理は、単色画像をさらに所定の閾値レベルで［１］黒または［０］白いずれかの値に設定する処理である。なお、入力画像が白黒画像である場合は、単色化処理は省略可能である。
【００３８】
次に、前処理の済んだ画像データは、連結領域抽出手段１１２，１２２において、各画像からの連結領域抽出処理が実行される。連結領域抽出処理は、例えば特開平１２−２９５４３８に説明の手法などを適用して実行する。連結領域は二値化画像における黒画素の連続領域（黒ラン）、あるいは黒画素ではない白画素データの連続した領域（白ラン）として抽出される。連結領域の抽出処理は、例えば、予め抽出条件として、所定の大きさ（面積あるいは画素数）の範囲（最小、最大）を設定し、その範囲にある連続する同一画素値領域など、予め定められた設定条件に基づいて実行される。
【００３９】
図２を参照して連結領域抽出処理において抽出される連結領域データの具体例ついて説明する。図２には、二値化処理のなされた画像ａ１０と、画像ｂ２０を示している。これの画像から、一定条件の下に黒画素の連続領域（黒ラン）を持つ画像データや白画素データの連続した領域（白ラン）を持つ画像データを連続領域として抽出する。図の例では、画像ａ１０から黒文字画像のＡ、Ｂ、Ｃと白抜き文字Ａが、連結領域データ１１〜１４として抽出され、画像ｂ２０から黒文字画像のＡ、Ｂ、Ｃと白抜き文字Ａが、連結領域データ２１〜２４として抽出された例を示している。なお、実際の処理において抽出される連結領域のデータ数は、設定条件にもよるが、数百〜数千個単位のデータの抽出が行なわれる。
【００４０】
各画像から連結領域が抽出されると、図１に示す重心算出手段１１３，１２３において、抽出された連結領域の重心が算出され、さらに、特徴量算出手段１１４、１２４において、各連結領域についての特徴量が算出される。なお、本例では、重心算出手段と特徴量算出手段とを区別して示してあるが、重心も連結領域の１つの特徴量として、特徴量算出手段において算出する構成としてもよい。
【００４１】
図３および図４を参照して、連結領域から求められる重心および特徴量情報について説明する。図３に示す文字［Ａ］が、例えば二値化画像ａ１０から抽出された１つの連結領域２００である。図４は、画像ａと画像ｂとから抽出された連結領域についての重心と特徴量情報からなるテーブルを示している。
【００４２】
図３を参照して、連結領域２００の重心、特徴量情報の詳細について説明する。
重心２０１は、連結領域としての文字［Ａ］２００の重心位置であり、例えば、画像ａ１０をｘｙ座標面とした場合の座標データ（ｘ，ｙ）として算出される（図４参照）。
外接矩形の幅・高さ・縦横比は、図に示す連結領域２００を外接するように囲む外接矩形２０２の幅（Ｌ）、高さ（Ｈ）、および縦横比（Ｈ／Ｌ）として求められる。
線長（細線化後の構成画素数）は、図３に示すように、連結領域［Ａ］２００を細線化して、幅が１画素の線として変換した連結領域細線化データ２０３における構成画素数［ｎ］として算出する。
線面積（連結領域の画素）は、連結領域［Ａ］２００自体の構成全画素数［Ｎａｌｌ］として算出する。
線幅は、図３に示すように、連結領域［Ａ］２００の線幅［Ｗ］２０３である。画素数、または長さとして算出する。
【００４３】
図１に示す重心算出手段１１３，１２３と、特徴量算出手段１１４、１２４は、比較対象となる画像ａ１０と、画像ｂ２０から、それぞれ抽出された連結領域各々について重心と、上述した特徴量情報、すなわち、外接矩形の幅・高さ・縦横比、線長、線面積、線幅などの特徴量情報を算出する。その結果が、例えば図４に示す連結領域情報テーブルである。図４に示すように、画像ａ１０と、画像ｂ２０の各々から抽出された連結領域について識別子（ＩＤ）が設定され、各連結領域についての重心と、特徴量情報、すなわち、外接矩形の幅・高さ・縦横比、線長、線面積、線幅が記録される。
【００４４】
次に、図１に示す対応連結領域選択手段１３１において、図４に示す２つの画像ａ１０と画像ｂ２０についての連結領域情報テーブルを入力して、両テーブルに記録された連結領域情報に基づくパターンマッチング処理を行なう。すなわち、一方の画像についての１つの連結領域に類似する連結領域を他方の画像から選択する処理を行なう。
【００４５】
パターンマッチング処理において比較する連結領域の特徴情報は、図４に示す連結領域の特徴量情報から選択される。すなわち、外接矩形の幅・高さ・縦横比、線長（細線化後の構成画素数）、線面積（連結領域の画素）、線幅の少なくともいずれかの情報を比較する。
【００４６】
図１に示す対応連結領域選択手段１３１は、連結領域選択基準設定手段１３２において設定された選択基準に基づいて、複数画像からの対応連結領域を選択する処理を実行する。図１に示す対応連結領域選択手段１３１の処理、補正係数算出手段１３３おける補正係数算出処理、データ変換手段１３４におけるデータ変換処理は、連結領域選択基準設定手段１３２において設定する選択基準を変更して繰り返し実行される。
【００４７】
すなわち、前述したように、粗調処理、微調処理の少なくとも２段階の処理を繰り返し実行する。前述したように、複数回の粗調処理、複数回の微調処理を実行してもよい。この場合には、処理回数ごとに対応連結領域選択記述を変更する。初期的に実行する粗調処理では、連結領域選択基準設定手段１３２において設定する選択基準を厳しくする。すなわち、対応連結領域選択手段１３１において、図４に示す２つの画像ａ１０と画像ｂ２０についての連結領域情報テーブルを入力して、両テーブルに記録された連結領域情報に基づくパターンマッチング処理を行なう場合、比較する特徴量情報の種類を多く設定したり、あるいは特徴量情報の一致度が極めて高いもののみをマッチングパターンとして抽出する。一方、後半で実行する微調処理においては、連結領域選択基準設定手段１３２において設定する選択基準を緩やかにする。すなわち、比較する特徴量情報の種類を少なく設定したり、あるいは特徴情報の一致度を緩くして判定する。
【００４８】
図５を参照して、連結領域選択基準設定手段１３２において設定する選択基準の変遷について説明する。図５に示す例は、対応連結領域選択手段１３１において１回目からｎ回目までのｎ回の対応連結領域選択処理（パターンマッチング処理）を行なう場合の設定基準の態様を説明する図である。ｎ回の処理中、前半の処理が粗調処理に対応し、後半の処理が微調処理に対応する。
【００４９】
連結領域選択基準設定手段１３２において設定する選択基準としては、
（ａ）対応連結領域検索範囲
（ｂ）比較対象の特徴量情報の種類数
（ｃ）比較対象の特徴量情報の一致度
の３つの選択基準カテゴリがある。
【００５０】
（ａ）対応連結領域検索範囲は、図５上段に示すように、画像ａ１０における１つの連結領域３０１の重心３０２の座標に対応する座標位置を画像ｂ２０から重心対応位置３２１として選択し、その周囲に連結領域３０１と同様の特徴量を検索する範囲を設定する場合の設定する検索範囲３２２である。
（ｂ）比較対象の特徴量情報の種類数とは、図４に示す外接矩形の幅・高さ・縦横比、線長（細線化後の構成画素数）、線面積（連結領域の画素）、線幅から、何種類の特徴量を比較対象として設定するかである。
（ｃ）比較対象の特徴量情報の一致度とは、適用した比較対象の特徴量を比較する場合、例えば画像ａから選択した１つの連結領域の１つの特徴量、例えば外接矩形の幅と、画像ｂに設定された検索範囲から選択された連結領域の外接矩形の幅とを比較した場合に、どの程度一致したかで、対応連結領域として選択するか否かを判定する度合いである。
【００５１】
連結領域選択基準設定手段１３２は、処理の前半（粗調処理）においては、
（ａ）対応連結領域検索範囲：広い
（ｂ）比較対象の特徴量情報の種類数：適宜
（ｃ）比較対象の特徴量情報の一致度：厳しい
という設定を実行し、処理の後半（微調処理）においては、
（ａ）対応連結領域検索範囲：狭い
（ｂ）比較対象の特徴量情報の種類数：適宜
（ｃ）比較対象の特徴量情報の一致度：緩い
という設定を実行する。
【００５２】
これは、初期的な粗調処理では、２つの画像間のずれが大きい場合でも、パターンマッチングのパターン検出領域を広く設定することで、マッチングする連結領域データを検出することを可能としているものである。ただし、検索範囲が広いため、多量の一致パターンが検出されてしまう可能性が高くなるので、比較対象の特徴量情報の一致度を厳しくして、より確からしい一致パターンのみを検出する構成としている。
【００５３】
一方、微調処理は、初期的な粗調処理において得られた２つの画像間の大まかなずれ情報に基づいて、補正処理が施され、ずれ量は比較的小さくなっている。従って、パターンマッチングにおける検出領域を狭く設定した処理を行なう。検出領域が狭いため、多くの連結領域が抽出される可能性は少なく、比較対象の特徴量情報の一致度を緩く、すなわち、マッチング条件を緩く設定して、確実に一致パターンを検出する。
【００５４】
また通常、粗調処理では比較対照の特徴量情報の種類を多くして、より確からしい一致パターンのみを検出し、微調処理では少なくして確実に一致パターンを検出する様に調整する。しかし一方で、２画像間の倍率ずれが大きい場合には、特徴量情報の種類を多くした上に一致度も厳しくすると、一致パターンが一つも見付からないケースもある。よって、比較対照の特徴量情報の種類は、想定される２画像のずれ量や比較対照の特徴量情報の一致度の厳しさに応じて、慎重に決定される。
【００５５】
なお、初期的に実行する粗調処理では、連結領域の特徴情報として、少なくとも外接矩形の縦横比を使うことが好ましい。この処理によって、例えば比較画像データ間で、倍率の差が大きい場合でも、類似する形状を持つ連結領域を検出することができる。また、比較対照の特徴量情報の一致度は総体的に見れば、粗調処理から微調処理に移行するに従い、厳しい設定から緩い設定へと変化させるが、これらは一律に変化させる必要は無い。場合によっては、粗調処理・微調処理ともに同じ値を採用することもできる。
【００５６】
図６に、連結領域選択基準設定手段１３２において設定する選択基準を変化させた場合に、連結領域選択手段１３１におけるパターンマッチングによって選択された連結領域の数の実験データを示す。Ｊ＝１〜３の３回のパターンマッチングを条件を変更して、行なった。
１回目のパターンマッチング処理は、
対応連結領域検索範囲＝重心位置±２０ｍｍ
比較対象の特徴量情報の一致度＝±１％
２回目のパターンマッチング処理は、
対応連結領域検索範囲＝重心位置±２ｍｍ
比較対象の特徴量情報の一致度＝±１０％
３回目のパターンマッチング処理は、
対応連結領域検索範囲＝重心位置±０．４ｍｍ
比較対象の特徴量情報の一致度＝±２０％
の連結領域選択基準を設定した処理を行なった。比較対象の特徴量情報の種類は変更しなかった。
【００５７】
上記の選択基準で連結領域選択手段１３１におけるパターンマッチングによって選択された連結領域の数は、
１回目＝１０〜２０個
２回目＝１００〜２００個
３回目＝２００〜３００個
このような数となる。なお、この数は、比較対象画像データ全体において抽出される対応連結領域である。
【００５８】
連結領域選択手段１３１における１回目の連結領域選択処理（パターンマッチング処理）では、１０〜２０個の対応連結領域が取得され、この対応情報に基づいて、画像ａと画像ｂとの大まかなずれ量が算出され、算出されたずれ量に基づいて補正係数が算出されて補正処理の後、連結領域選択基準設定手段１３２において選択基準を変更して、２回目のパターンマッチングを行なうと、１００〜２００個の対応連結領域が取得され、この対応情報に基づいて、さらに画像ａと画像ｂのずれ量が算出され、算出されたずれ量に基づいて補正係数が算出されて２回目の補正処理の後、さらに連結領域選択基準設定手段１３２において選択基準を変更して、３回目のパターンマッチングを行なうと、２００〜３００個の対応連結領域が取得され、この対応情報に基づいて、さらに画像ａと画像ｂのずれ量を算出して算出されたずれ量に基づいて補正係数を算出されて３回目の補正処理を行なうといった処理を繰り返すことになる。
【００５９】
図１に示す対応連結領域選択手段１３１は、連結領域選択基準設定手段１３２において設定された選択基準に基づいて、画像ａの連結領域の特徴量と画像ｂの連結領域の特徴量とを比較して、対応する連結領域を選択する。
【００６０】
この対応連結領域情報は、補正係数算出手段１３３に入力され、２画像データの位置ずれを直すための画像変換（アフィン変換）に適用する補正係数を算出する。画像変換（アフィン変換）に適用する補正係数は、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）である。補正係数は、一方の画像に対して補正係数に基づく変換を実行した場合に、２つの画像の対応連結領域の重心位置の誤差が最も小さくなる値として算出される。具体的には、例えば、最小二乗法を適用して、２つの画像の対応連結領域の重心位置の誤差の総和が最も小さくなる補正係数としての幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）の各値を求める。なお、最小二乗法を適用した補正係数算出処理については、例えば特開平９−９３４３１に記載されている。
【００６１】
データ変換手段１３４は、補正係数算出手段１３３の算出した補正係数に基づくデータ変換処理を実行する。データ変換は、図４に示す連結領域情報テーブルに記録された重心位置、特徴量情報の値を更新する処理として実行する。
【００６２】
すなわち、図４に示す連結領域情報テーブルから、補正処理を実行する画像に対応する一方のテーブルを選択し、選択したテーブルに記録された特徴量、重心位置の値を、補正係数算出手段１３３の算出した補正係数に基づくアフィン変換を実行した場合に変更される値に更新する。画像データ自体を、補正係数に基づいて変換（アフィン変換）を行なう構成としてもよいが、画像自体の変換処理は時間を要する処理となるので、データのみの変換を行なう構成としてある。
【００６３】
１回目の粗調処理に基づくデータ変換、すなわち、連結領域情報テーブルの更新が終了すると、連結領域選択基準設定手段１３２において、連結領域選択基準を変更して、２回目の対応連結領域選択処理（パターンマッチング処理）が対応連結領域選択手段１３１において実行される。この処理は、１回目の処理において更新された連結領域情報テーブルの値の比較によって実行されることになる。
【００６４】
この２回目の処理においても、１回目の処理と同様、更新された連結領域情報テーブルを適用して、画像ａの連結領域の特徴量と画像ｂの連結領域の特徴量とを比較して、対応する連結領域を選択する。対応連結領域情報は、補正係数算出手段１３３に入力され、画像変換（アフィン変換）に適用する補正係数、すなわち、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を算出する。
【００６５】
さらに、データ変換手段１３４が、補正係数算出手段１３３の算出した補正係数に基づくデータ変換処理、すなわち、図４に示す連結領域情報テーブルに記録された重心位置、特徴量情報の値を更新する。さらに、３回目の処理を実行する場合は、図４に示す連結領域情報テーブルに記録された重心位置、特徴量情報の値を更新し、更新したテーブルを適用し、選択基準を変更して、対応連結領域選択処理を実行する。この処理を繰り返し実行して、予め決められた設定回数、または、最小二乗法の誤差値が所定値以下になるまで処理が実行され、最終的な処理が終了した時点で得られた補正係数に基づいて図４に示す連結領域情報テーブルの更新が行なわれる。
【００６６】
例えば画像ａを補正対象画像とした場合は、画像ａに対応する連結領域情報テーブルの更新が複数回実行されることになる。最終的に得られた画像ａに対応する更新された連結領域情報テーブルの重心位置および特徴量情報は、比較対象画像ｂの連結領域情報テーブルに記録された対応する連結領域の重心位置および特徴量情報とほぼ一致する情報に更新されることになる。
【００６７】
なお補正対象画像、例えば画像ａの補正を実行する場合は、最終的に得られた画像ａに対応する更新された連結領域情報テーブルの記録情報と、更新前の画像ａに対応するオリジナルの連結領域情報テーブルの記録情報との差分に基づいて、アフィン変換に適用する補正係数、すなわち、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）の各値を算出し、算出した補正係数に基づくアフィン変換を実行すればよい。なお、複数回の処理（粗調処理〜微調処理）において算出された補正係数を積算して最終的な補正係数を算出し、積算によって算出した補正係数に基づいて補正対象画像のアフィン変換を実行する構成としてもよい。
【００６８】
上述したように、本発明の構成では、複数画像から選択された連結領域の重心および特徴量情報を記録した連結領域情報テーブルを生成し、テーブルの比較に基づいて、対応連結領域を選択する処理を実行する。さらに、対応連結領域選択処理を選択条件を変更して複数回実行する。
【００６９】
本発明の構成では、１回の処理で算出した補正係数に基づいて、補正対象画像の連結領域情報テーブルに記録された連結領域の重心および特徴量情報を更新して、更新したデータに基づいて、条件を変更して２回目の対応連結領域選択処理を実行して、さらに対応連結領域情報に基づく補正係数の算出、テーブルの更新という処理を繰り返し実行する。
【００７０】
対応連結領域の選択条件は、先に、図６を参照して説明したように、対応連結領域検索範囲は、広い設定から順次狭い設定に変更し、比較対象の特徴量情報の一致度は、厳しい設定から緩い設定に変更する構成として、粗調処理においては、広い範囲からより一致度の高い連結領域を選択することが可能であり、２つの画像のずれ量が大きくても対応連結領域を発見する可能性を高くすることが可能となる。また、微調処理では、狭い範囲で、かつ緩い一致条件の下で、対応連結領域選択処理を実行するので、対応関係のある連結領域を効率的に抽出することが可能となる。
【００７１】
次に、本発明の画像処理装置の実行する処理シーケンスについて、図７、図８に示すフローチャートを参照して説明する。図７は、図１に示す前処理手段１１１〜特徴量算出手段１１４に対応する処理であり、図８は、対応連結領域選択手段１３１〜データ変換手段１３４における処理を示している。
【００７２】
なお、図１に示す前処理手段１１１〜特徴量算出手段１１４と前処理手段１２１〜特徴量算出手段１２４は処理対象画像が異なるのみで、同様の処理であり、これらの処理は並列に実行される。図７のフローの各ステップの処理について説明する。なお、以下の説明においては、図１に示す画像ａ１０に対して、前処理手段１１１〜特徴量算出手段１１４の実行する処理として説明するが、画像ｂについても、前処理手段１２１〜特徴量算出手段１２４において同様の処理が実行される。
【００７３】
ステップＳ１０１において、画像ａの読み込みを行なう。ステップＳ１０２において、前処理手段１１１において前処理を実行する。この前処理は、前述したように輝度情報のみを取得する単色化処理と、二値化処理である。次に、ステップＳ１０３において、連結領域の抽出処理を実行する。連結領域抽出手段１１２において、二値化画像における黒画素の連続領域（黒ラン）、あるいは黒画素ではない白画素データの連続した領域（白ラン）であり、予め定めた条件を満足する領域を連続領域として抽出する。抽出された連続領域は、識別子（ＩＤ）を付与して図４に示す連結領域情報テーブルに登録する。
【００７４】
次に、ステップＳ１０４において、画像から取得した連結領域の重心位置を算出する。さらに、ステップＳ１０５〜Ｓ１１０において、連結領域に対応する特徴量情報、すなわち、図３を参照して説明した特徴量情報としての外接矩形の幅・高さ・縦横比、線長、線面積、線幅などの特徴量情報を算出し、ステップＳ１１１において、連結領域の重心および特徴量情報を連結領域情報テーブル（図４参照）に登録する。ステップＳ１１２において、全ての抽出連結領域に対応する重心および特徴量の算出、登録が完了したか否かを判定し、未終了の場合は、ステップＳ１０４以下の処理を各連結領域について繰り返し実行し、最終的に全ての抽出連結領域に対応する重心および特徴量の算出、登録が完了して処理を終了する。この処理によって、図４に示す連結領域情報テーブルが完成する。
【００７５】
次に、図８を参照して、対応連結領域選択手段１３１〜データ変換手段１３４における処理のシーケンスについて説明する。まず、ステップＳ２０１において、初期的な補正係数、すなわちアフィン変換補正係数を設定する。初期的な補正係数は、２つの画像に全くずれが無いと仮定し、幅方向移動量：Ｘ＝０、縦方向移動量：Ｙ＝０、回転角θ＝０、倍率＝１倍とする。
【００７６】
ステップＳ２０２において、処理回数を示す変数ｊを初期値ｊ＝１に設定する。なお、このフローは、処理回数を３回として設定した例を示している。ステップＳ２０３では、１回目の処理における連結領域選択基準を連結領域選択基準設定手段１３２から取得する。
【００７７】
ステップＳ２０４では、連結領域識別子（番号）に対応する変数ｉを初期値ｉ＝１に設定する。なお、本フローではＮ個の連結領域について、対応連結領域を選択する処理を実行するものとする。次に、ステップＳ２０５において、補正処理対象画像のｉ番目の連結領域の重心と、特徴量情報を取得する。図４に示す連結領域情報テーブルから取得する。
【００７８】
次に、ステップＳ２０６において、ステップＳ２０５で求めた１つの連結領域の重心位置に対応する原本画像の対応位置から所定範囲内にある連結領域を抽出する。この抽出処理は、図４に示す連結領域情報テーブルに基づいて実行される。なお、本処理フローでは、補正処理を実行する画像を補正処理対象画像とし、補正処理を実行しない画像を原本画像として説明している。すなわち、補正処理対象画像を原本画像に合わせるように補正を行なう。
【００７９】
また、ステップＳ２０６において説明している所定範囲は、先に、図５、図６を参照して説明したように連結領域選択基準設定手段１３２の設定条件によって決定される範囲である。ステップＳ２０７では、ステップＳ２０６において、原本画像に設定された所定の検索領域から選択された複数の連結領域から、選択基準を満足する特徴量を持つ連結領域データを対応連結領域として選択する。なお、選択基準を満足する特徴量を持つ連結領域が複数ある場合は、最も特徴量の一致度が高いデータを対応連結領域とする。選択基準を満足する特徴量を持つ連結領域がない場合は、該当なしとする。
【００８０】
ステップＳ２０８では、連結領域識別子（番号）に対応する変数ｉが、連結領域数（Ｎ）に等しいか否かを判定し、等しくない場合は、ステップＳ２２１に進み、変数ｉを更新し、次の連結領域について、ステップＳ２０５〜Ｓ２０７の対応連結領域選択処理を実行する。
【００８１】
補正対象画像から選択されたＮ個すべての連結領域に対応する対応連結領域選択処理が修了すると、ステップＳ２０９に進む。ステップＳ２０９では、補正対象画像と原本画像における対応連結領域の相対位置を比較し、概ね一致する相対位置情報を持つ組み合わせを抽出する。すなわち、この処理は、誤った対応連結領域の組み合わせを排除するための処理である。
【００８２】
次に、ステップＳ２１０において、ステップＳ２０９で選択された対応連結領域情報の位置情報に基づいて補正係数を算出する。すなわち、図１に示す補正係数算出手段１３３の処理であり、２つの画像データの位置ずれを直すための画像変換（アフィン変換）に適用する補正係数として、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）を算出する。
【００８３】
次に、ステップＳ２１１において、処理回数ｊが、設定処理回数（本例では３）に等しくなったか否かを判定し、等しくない場合は、ステップＳ２２２に進み、処理回数ｊを更新し、さらに、ステップＳ２２３において、算出した補正係数を適用したデータ変換を実行する。データ変換は、補正対象画像の連結領域情報テーブルの格納データの更新処理として実行する。さらに、ステップＳ２０３〜２１０の対応連結領域選択処理および補正係数算出処理を繰り返し実行する。なお、この回における対応連結領域の選択基準は、先に図５、図６を参照して説明したように前回の処理で適用した基準とは異なった基準として設定される。
【００８４】
ステップＳ２１１において、処理回数ｊが、設定処理回数（本例では３）に等しくなった場合は、処理を終了する。
【００８５】
この処理によって、補正対象画像の連結領域情報テーブルの更新が複数回実行され、最終的な補正対象画像の連結領域情報テーブルの更新された重心位置および特徴量情報は、原本画像の連結領域情報テーブルに記録された対応連結領域の重心位置および特徴量情報とほぼ一致する情報になる。なお補正対象画像の補正を実行する場合は、前述したように、最終的に得られた補正対象画像の更新連結領域情報テーブルの記録情報と、更新前のオリジナルの連結領域情報テーブルの記録情報との差分に基づいて、アフィン変換に適用する補正係数、すなわち、幅方向移動量（Ｘ）、縦方向移動量（Ｙ）、回転角（θ）、倍率（β）の各値を算出し、算出した補正係数に基づくアフィン変換を実行するか、複数回の処理（粗調処理〜微調処理）において算出された補正係数を積算して最終的な補正係数を算出し、積算によって算出した補正係数に基づいて補正対象画像のアフィン変換を実行する。
【００８６】
最後に、図９を参照して、画像処理装置のハードウェア構成例について説明する。図９に示す構成は、例えばＰＣなどの情報処理装置と、スキャナ等の画像データ読み取り部５３１と、プリンタなどの画像データ出力部５３２を備えたハード構成例を示している。
【００８７】
ＣＰＵ（Central Processing Unit）５０１は、上述の実施例において説明した各種のデータ処理、すなわち連結領域の抽出処理、連結領域の重心、特徴量の算出、連結領域情報テーブルの生成、対応連結領域の選択処理、補正係数の算出、補正係数に基づくデータ変換処理等の各処理の実行シーケンスを記述したコンピュータ・プログラムに従った処理を実行する制御部である。
【００８８】
ＲＯＭ（Read Only Memory）５０２は、ＣＰＵ５０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Random Access Memory）５０３は、ＣＰＵ５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス５０４により相互に接続されている。
【００８９】
ホストバス５０４は、ブリッジ５０５を介して、ＰＣＩ(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【００９０】
キーボード５０８、ポインティングデバイス５０９は、ユーザにより操作される入力デバイスである。ディスプレイ５１０は、液晶表示装置またはＣＲＴ（Cathode Ray Tube）などから成り、各種情報をテキストやイメージ情報として表示する。
【００９１】
ＨＤＤ（Hard Disk Drive）５１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ５０１によって実行するプログラムや情報を記録または再生させる。ハードディスクは、例えば前述した連結領域情報テーブルを格納する。さらに、各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。
【００９２】
ドライブ５１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体５２１に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インタフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているＲＡＭ５０３に供給する。リムーバブル記録媒体５２１も、ハードディスクと同様のデータ記録領域として利用可能である。
【００９３】
接続ポート５１４は、外部接続機器５２２を接続するポートであり、ＵＳＢ，ＩＥＥＥ１３９４等の接続部を持つ。接続ポート５１４は、インタフェース５０７、および外部バス５０６、ブリッジ５０５、ホストバス５０４等を介してＣＰＵ５０１等に接続されている。通信部５１５は、ネットワークに接続され、外部とのデータ通信処理を実行する。プリント処理部５３１は、画像データの出力を実行し、文書読み取り部５３２は、画像データの読み取り処理を実行する。
【００９４】
なお、図９に示す画像処理装置のハードウェア構成例は、１つの装置例を示すものであり、本発明の画像処理装置は、図９に示す構成に限らず、上述した実施例において説明した処理を実行可能な構成であればよい。
【００９５】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９６】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９７】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００９８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１００】
以上、説明したように、本発明の構成によれば、複数の画像間のずれを算出するために実行する対応連結領域選択処理を、選択条件を変更して複数回実行する構成とした。例えば検索範囲を、広い設定から順次狭い設定に変更し、比較対象の特徴量情報の一致度は、厳しい設定から緩い設定に変更する。この繰り返し処理によって、初期的に実行する粗調処理においては、広い範囲からより一致度の高い連結領域を選択することが可能であり、２つの画像のずれ量が大きくても対応連結領域を発見する可能性を高くすることができる。また、後半で実行する微調処理では、狭い範囲で、かつ緩い一致条件の下で、対応連結領域選択処理を実行するので、対応関係のある連結領域を効率的に抽出することが可能となる。
【０１０１】
また、本発明の構成では、複数画像から選択された連結領域の重心および特徴量情報を記録した連結領域情報テーブルを生成し、テーブルの比較に基づいて、対応連結領域を選択する処理を実行し、１回の処理で算出した補正係数に基づいて、補正対象画像の連結領域情報テーブルに記録された連結領域の重心および特徴量情報を更新して、更新したデータに基づいて、条件を変更して２回目の対応連結領域選択処理を実行して、さらに対応連結領域情報に基づく補正係数の算出、テーブルの更新という処理を繰り返し実行する構成としたので、正確でかつ効率的な画像間のずれ量調整処理が可能となる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の画像処理装置の構成について説明する図である。
【図２】連結領域について説明する図である。
【図３】連結領域の重心および特徴量について説明する図である。
【図４】連結領域の重心および特徴量のリストとしての連結領域情報テーブルについて説明する図である。
【図５】対応連結領域選択処理において適用する連結領域選択基準について説明する図である。
【図６】対応連結領域選択処理において適用する連結領域選択基準の適用処理例について説明する図である。
【図７】本発明の画像処理装置の前処理手段１１１〜特徴量算出手段１１４において実行する処理シーケンスを説明するフローチャートを示す図である。
【図８】本発明の画像処理装置の対応連結領域選択手段１３１〜データ変換手段１３４において実行する処理シーケンスを説明するフローチャートを示す図である。
【図９】本発明の画像処理装置のハードウェア構成例について説明する図である。
【符号の説明】
【０１０３】
１１１，１２１  前処理手段
１１２，１２２  連結領域抽出手段
１１３，１２３  重心算出手段
１１４，１２４  特徴量算出手段
１３１  対応連結領域選択手段
１３２  連結領域選択基準設定手段
１３３  補正係数算出手段
１３４  データ変換手段
２００  連結領域
２０１  重心
２０２  外接矩形
２０３  連結領域細線化データ
２０４  線幅
３０１  連結領域
３０２  重心
３２１  重心対応位置
３２２  検索範囲
５０１  ＣＰＵ(Central Processing Unit)
５０２  ＲＯＭ（Read-Only-Memory）
５０３  ＲＡＭ（Random Access Memory）
５０４  ホストバス
５０５  ブリッジ
５０６  外部バス
５０７  インタフェース
５０８  キーボード
５０９  ポインティングデバイス
５１０  ディスプレイ
５１１  ＨＤＤ（Hard Disk Drive）
５１２  ドライブ
５１４  接続ポート
５１５  通信部
５１６  カードリーダ
５２１  リムーバブル記録媒体
５２２  外部接続機器
５３１  画像データ読み取り部
５３２  画像データ出力部
【図１】
2006235785.tif 000003
【図２】
2006235785.tif 000004
【図３】
2006235785.tif 000005
【図４】
2006235785.tif 000006
【図５】
2006235785.tif 000007
【図６】
2006235785.tif 000008
【図７】
2006235785.tif 000009
【図８】
2006235785.tif 000010
【図９】
2006235785.tif 000011