(57)【要約】【課題】画像の照合や位置検出の精度を向上する。【解決手段】特定の画像パターンを含む第１の画像を撮像装置で撮像して得られる第１の画像データと、特定の画像パターンを含まない第２の画像を前記撮像装置で撮像して得られる第２の画像データと、に基づいて、両画像のそれぞれに共通して含まれるノイズの周波数成分と前記ノイズを含まない前記第１の画像の周波数成分と、を推定し、推定した各周波数成分に基づいて、第３の画像を前記撮像装置で撮像して得られる第３の画像データと前記第１の画像データとの相関を求める際の、周波数に関する重みを制御する。【選択図】図２
2011159156.tif 000002
【特許請求の範囲】
【請求項１】
特定の画像パターンを含む第１の画像を撮像装置で撮像して得られる第１の画像データと、特定の画像パターンを含まない第２の画像を前記撮像装置で撮像して得られる第２の画像データと、に基づいて、前記第１及び第２の画像のそれぞれに共通して含まれるノイズの周波数成分と前記ノイズを含まない前記第１の画像の周波数成分と、を推定する推定部と、
前記推定部で推定した各周波数成分に基づいて、第３の画像を前記撮像装置で撮像して得られる第３の画像データと前記第１の画像データとの相関を求める際の、周波数に関する重みを制御する制御部と、
を備えた、画像処理装置。
【請求項２】
前記推定部は、
前記第１の画像データの周波数成分を分析する第１の周波数成分分析部と、
前記第２の画像データの周波数成分を分析する第２の周波数成分分析部と、
前記第１の周波数成分分析部による分析結果から前記第２の周波数成分分析部による分析結果を減算する減算部と、を備え、かつ、
前記制御部は、
前記減算部による減算結果と前記第２の周波数成分分析部による分析結果とに基づいて、前記重みを制御する、
請求項１記載の画像処理装置。
【請求項３】
前記第１及び第２の周波数成分分析部のそれぞれは、
入力画像データをフーリエ変換するフーリエ変換部と、
前記フーリエ変換部によるフーリエ変換結果の二乗を演算する二乗演算部と、
を備えた、請求項２記載の画像処理装置。
【請求項４】
前記第１及び第２の周波数成分分析部のそれぞれは、
入力画像データに周波数可変の帯域制限処理を適用する帯域制限部と、
前記帯域制限部による帯域制限結果の二乗和を演算する二乗和演算部と、
を備えた、請求項２記載の画像処理装置。
【請求項５】
前記帯域制限部による前記帯域制限処理は、ウェーブレット変換処理である、請求項４記載の画像処理装置。
【請求項６】
前記制御部は、
前記ノイズを含まない前記第１の画像の周波数成分と前記ノイズの周波数成分との比が相対的に低い周波数についてより小さな重みを設定する、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御部は、
前記重みを正規化する、請求項１〜３及び６のいずれか１項に記載の画像処理装置。
【請求項８】
前記制御部による前記重みの制御は、
前記各二乗和演算部による二乗和演算結果の比が所定のしきい値を超える最大の周波数を、前記第１及び第３の画像データの周波数重み付き相関を求める過程で行なう前記帯域制限処理の基準周波数に選ぶことである、請求項４又は５に記載の画像処理装置。
【請求項９】
前記制御部によって制御された前記重みに基づいて、前記第１の画像データと前記第３の画像データとの相関を算出する周波数重み付き相関算出部と、
前記周波数重み付き相関算出部で得られた相関のピークを検出するピーク検出部と、
を更に備えた、請求項１〜８のいずれか１項に記載の画像処理装置。
【請求項１０】
特定の画像パターンを含む第１の画像を撮像装置で撮像して得られる第１の画像データと、特定の画像パターンを含まない第２の画像を前記撮像装置で撮像して得られる第２の画像データとに基づいて、前記第１及び第２の画像のそれぞれに共通して含まれるノイズの周波数成分と前記ノイズを含まない前記第１の画像の周波数成分と、を推定する処理と、
推定した前記各周波数成分に基づいて、第３の画像を前記撮像装置で撮像して得られる第３の画像データと前記第１の画像データとの相関を求める際の、周波数に関する重みを制御する処理と、
前記制御された重みに基づいて、前記第１の画像データと前記第３の画像データとの相関を算出する処理と、
算出された前記相関のピークを検出する処理と、
を有する、画像処理方法。
【請求項１１】
コンピュータに読み取られることによって所定の画像処理を前記コンピュータに実施させる、コンピュータ読み取り可能な画像処理プログラムであって、
特定の画像パターンを含む第１の画像を撮像装置で撮像して得られる第１の画像データと、特定の画像パターンを含まない第２の画像を前記撮像装置で撮像して得られる第２の画像データとに基づいて、前記第１及び第２の画像のそれぞれに共通して含まれるノイズの周波数成分と前記ノイズを含まない前記第１の画像の周波数成分と、を推定する処理と、
推定した前記各周波数成分に基づいて、第３の画像を前記撮像装置で撮像して得られる第３の画像データと前記第１の画像データとの相関を求める際の、周波数に関する重みを制御する処理と、
を前記コンピュータに実施させる、画像処理プログラム。
【請求項１２】
前記画像処理プログラムは、
前記制御された重みに基づいて、前記第１の画像データと前記第３の画像データとの相関を算出する処理と、
算出された前記相関のピークを検出する処理と、をさらに前記コンピュータに実施させる、請求項１１記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、画像の照合や位置検出を行なう画像処理技術に関する。
【背景技術】
【０００２】
半導体等の各種製造装置や製品の検査装置において、加工対象や検査対象が正しいものかどうかを確認するための照合装置や異物検出装置、位置決め制御のための位置検出装置が用いられることがある。
【０００３】
これらの装置には、画像（データ）の相関に基づいた手法が使われることがある。例えば、予め撮影してメモリ等に記憶、登録しておいた画像（以下、「登録画像」ともいう。）と、登録画像との照合対象として撮影した画像（以下、「照合画像」ともいう）との相関に基づいた手法である。
【０００４】
相関を用いた代表的な手法の一つに、正規化相関関数に基づく手法や、位相限定相関法と呼ばれる手法がある。位相限定相関法を用いたパターンの照合装置の一例が特許第３９３００６７号公報（特許文献１）に記載されている。位相限定相関法は、位置検出に用いられる場合もある。
【０００５】
位相限定相関法では、例えば、登録画像のパターンと照合画像のパターンの双方を離散フーリエ変換し、得られた各周波数成分のパターンの振幅を全て１にすることで位相成分を抽出する。そして、登録画像および照合画像のそれぞれについて抽出された位相成分のパターンを合成し、合成パターンを離散フーリエ逆変換することで相関パターンを得る。画像の照合や位置の検出は、このようにして得られた相関パターンに基づいて行なわれる。
【０００６】
位相限定相関法は、その名のとおり位相成分の情報に限定して相関パターンを得るため、光源等の撮影条件が多少変化しても強い相関が得られる。そのため、位相限定相関法は、正規化相関関数に基づく手法と比べて、照合における検出感度、位置検出の分解能が高い手法として知られている。
【０００７】
位相限定相関法を改良した方法として例えば特開２００７−７８５１１号公報（特許文献２）に記載された方法がある。この方法では、登録画像の空間周波数情報に基づいた周波数重みを用いることでノイズの影響を低減している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第３９３００６７号公報
【特許文献２】特開２００７−７８５１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１では、登録画像と照合画像とを同じ撮像装置で撮像した場合のように、固定パターンノイズと呼ばれるノイズが双方の画像に共通して含まれる結果、画像照合や位置検出の精度が劣化する場合があることに関して何ら言及も考慮もしていない。特許文献２は、ノイズが多少混入していても確実に照合することを目的としているが、固定パターンノイズの性質を十分に考慮したものではなく、固定パターンノイズが画像に含まれている場合の効果は限定的である。
【００１０】
本発明の目的の一つは、画像照合や位置検出の精度を向上できるようにすることにある。
【００１１】
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の一つとして位置付けることができる。
【課題を解決するための手段】
【００１２】
本発明の画像処理装置の一態様は、特定の画像パターンを含む第１の画像を撮像装置で撮像して得られる第１の画像データと、特定の画像パターンを含まない第２の画像を前記撮像装置で撮像して得られる第２の画像データと、に基づいて、前記第１及び第２の画像のそれぞれに共通して含まれるノイズの周波数成分と前記ノイズを含まない前記第１の画像の周波数成分と、を推定する推定部と、前記推定部で推定した各周波数成分に基づいて、第３の画像を前記撮像装置で撮像して得られる第３の画像データと前記第１の画像データとの相関を求める際の、周波数に関する重みを制御する制御部と、を備える。
【００１３】
ここで、前記推定部は、前記第１の画像データの周波数成分を分析する第１の周波数成分分析部と、前記第２の画像データの周波数成分を分析する第２の周波数成分分析部と、
前記第１の周波数成分分析部による分析結果から前記第２の周波数成分分析部による分析結果を減算する減算部と、を備え、かつ、前記制御部は、前記減算部による減算結果と前記第２の周波数成分分析部による分析結果とに基づいて、前記重みを制御する、こととしてもよい。
【００１４】
また、前記第１及び第２の周波数成分分析部のそれぞれは、入力画像データをフーリエ変換するフーリエ変換部と、前記フーリエ変換部によるフーリエ変換結果の二乗を演算する二乗演算部と、を備えてもよい。
【００１５】
さらに、前記第１及び第２の周波数成分分析部のそれぞれは、入力画像データに周波数可変の帯域制限処理を適用する帯域制限部と、前記帯域制限部による帯域制限結果の二乗和を演算する二乗和演算部と、を備えてもよい。
【００１６】
また、前記帯域制限部による前記帯域制限処理は、ウェーブレット変換処理としてもよい。
【００１７】
さらに、前記制御部は、前記ノイズを含まない前記第１の画像の周波数成分と前記ノイズの周波数成分との比が相対的に低い周波数についてより小さな重みを設定する、こととしてもよい。
【００１８】
また、前記制御部は、前記重みを正規化してもよい。
【００１９】
さらに、前記制御部による前記重みの制御は、前記各二乗和演算部による二乗和演算結果の比が所定のしきい値を超える最大の周波数を、前記第１及び第３の画像データの周波数重み付き相関を求める過程で行なう帯域制限処理の基準周波数に選ぶことであってもよい。
【００２０】
また、前記画像処理装置は、前記制御部によって制御された前記重みに基づいて、前記第１の画像データと前記第３の画像データとの相関を算出する周波数重み付き相関算出部と、前記周波数重み付き相関算出部で得られた相関のピークを検出するピーク検出部と、を更に備えてもよい。
【００２１】
さらに、本発明の画像処理方法の一態様は、特定の画像パターンを含む第１の画像を撮像装置で撮像して得られる第１の画像データと、特定の画像パターンを含まない第２の画像を前記撮像装置で撮像して得られる第２の画像データと、に基づいて、前記第１及び第２の画像のそれぞれに共通して含まれるノイズの周波数成分と前記ノイズを含まない前記第１の画像の周波数成分と、を推定する処理と、推定した前記各周波数成分に基づいて、第３の画像を前記撮像装置で撮像して得られる第３の画像データと前記第１の画像データとの相関を求める際の、周波数に関する重みを制御する処理と、前記制御された重みに基づいて、前記第１の画像データと前記第３の画像データとの相関を算出する処理と、算出された前記相関のピークを検出する処理と、を有する。
【００２２】
また、本発明の画像処理プログラムの一態様は、コンピュータに読み取られることによって所定の画像処理を前記コンピュータに実施させる、コンピュータ読み取り可能な画像処理プログラムであって、特定の画像パターンを含む第１の画像を撮像装置で撮像して得られる第１の画像データと、特定の画像パターンを含まない第２の画像を前記撮像装置で撮像して得られる第２の画像データと、に基づいて、前記第１及び第２の画像のそれぞれに共通して含まれるノイズの周波数成分と前記ノイズを含まない前記第１の画像の周波数成分と、を推定する処理と、推定した前記各周波数成分に基づいて、第３の画像を前記撮像装置で撮像して得られる第３の画像データと前記第１の画像データとの相関を求める際の、周波数に関する重みを制御する処理と、を前記コンピュータに実施させる。
【００２３】
ここで、前記画像処理プログラムは、前記制御された重みに基づいて、前記第１の画像データと前記第３の画像データとの相関を算出する処理と、算出された前記相関のピークを検出する処理と、をさらに前記コンピュータに実施させてもよい。
【発明の効果】
【００２４】
上述した本発明の一態様によれば、第１の画像と第３の画像のそれぞれに共通のノイズが含まれることに起因する誤検知の発生確率を低減することができる。したがって、画像の照合や位置検出の精度を向上することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態に係る画像処理システムの一例を示すブロック図である。
【図２】図１に例示する画像処理装置（画像登録／照合装置）の機能的な構成例を示すブロック図である。
【図３】図２に例示する画像登録装置の機能的な構成例を示すブロック図である。
【図４】図２に例示する画像登録装置の機能的な他の構成例を示すブロック図である。
【図５】図３に例示する画像登録装置の具体例１を示すブロック図である。
【図６】図２に例示する画像照合装置の具体例１を示すブロック図である。
【図７】図５に例示する画像登録装置で用いられる画像の一例を示す図であって、（Ａ）は登録画像、（Ｂ）は無地画像の一例をそれぞれ示す図である。
【図８】（Ａ）は図７（Ａ）に例示する登録画像についての周波数成分パワーの分布例、（Ｂ）は図７（Ｂ）に例示する無地画像についての周波数成分パワーの分布例をそれぞれ模式的に示す図である。
【図９】図５に例示する周波数重み決定部で用いるシグモイド関数の一例を示す図である。
【図１０】図５に例示する周波数重み決定部で決定した周波数重みの一例を模式的に示す図である。
【図１１】図６に例示する画像照合装置で用いられる画像の一例を示す図であって、（Ａ）は登録画像、（Ｂ）は照合画像の一例をそれぞれ示す図である。
【図１２】図６に例示する画像照合装置によって得られた相関パターンの一例を模式的に示す図である。
【図１３】図３に例示する画像登録装置の具体例２を示すブロック図である。
【図１４】図２に例示する画像照合装置の具体例２を示すブロック図である。
【図１５】図１３及び図１４に例示するウェーブレット変換で用いるスケールパラメータに対する、固定パターンノイズの寄与を含む登録画像のパワー、固定パターンノイズの寄与を含まない登録画像のパワー、および無地画像のパワーをそれぞれ示すグラフの一例である。
【図１６】図１３及び図１４に例示するウェーブレット変換で用いるスケールパラメータに対する、固定パターンノイズの寄与を含まない登録画像と無地画像とのパワー比の一例を示すグラフである。
【図１７】図１４に例示する画像照合装置おいてスケールパラメータａが適切な場合（ａ＝１０）に得られた正規化相互相関パターンの一例を模式的に示す図である。
【図１８】図１４に例示する画像照合装置おいてスケールパラメータａが不適切な場合（ａ＝１）に得られた正規化相互相関パターンの一例を模式的に示す図である。
【図１９】図１４に例示する画像照合装置おいてスケールパラメータａが不適切な場合（ａ＝７）に得られた正規化相互相関パターンの一例を模式的に示す図である。
【図２０】図１４に例示する画像照合装置おいてスケールパラメータａが適切な値よりも大き過ぎる場合（ａ＝３０）に得られた正規化相互相関パターンの一例を模式的に示す図である。
【図２１】図２に例示する画像照合装置の具体例３を示すブロック図である。
【図２２】図２１に例示する画像照合装置で用いる周波数重み（シグモイド関数）の一例を示す図である。
【図２３】図２１に例示する画像照合装置によって得られた相関パターンの一例を模式的に示す図である。
【図２４】（Ａ）は、正規化相関法による相関パターンの一例、（Ｂ）は、位相限定相関法による相関パターン一例を示す図である。
【図２５】登録画像と照合画像とに共通のノイズが含まれる場合に位相限定相関法によって得られる相関パターンの一例を示す図である。
【発明を実施するための形態】
【００２６】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形（各実施例を組み合わせる等）して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
【００２７】
（システム構成例）
図１は、本発明の一実施形態に係る画像処理システムの一例を示すブロック図である。図１に示す画像処理システムは、例示的に、画像センサやＣＣＤカメラ等の撮像装置１と、撮像装置１で撮像された画像のデータ（以下、「画像データ」という。）を処理する画像処理装置２と、を備える。
【００２８】
画像処理装置２は、撮像装置１で撮像された画像データを記憶（登録）する画像登録装置としての機能（画像登録機能）、および、記憶された画像データと撮像装置１で撮像された別の画像データとを照合する画像照合処理装置としての機能（画像照合機能）のいずれか一方又は双方を有する。
【００２９】
例示的に、画像処理装置２は、例えば、ＣＰＵ（Central Processing Unit）２１と、ＲＯＭ（Read Only Memory）２２と、ＲＡＭ（Random Access Memory）２３と、ハードディスクドライブ（ＨＤ）２４と、フレームメモリ（ＦＭ）２５と、インタフェース（Ｉ／Ｆ）２６とを備える。
【００３０】
ＣＰＵ２１は、コンピュータ（演算処理部）の一例であり、ＣＩＳＣ（Complex Instruction Set Computer、複合命令セットコンピュータ）方式やＲＩＳＣ（Reduced Instruction Set Computer、縮小命令セットコンピュータ）方式のＣＰＵ、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Processor、特定用途向けプロセッサー）等を用いて実現できる。
【００３１】
ＲＯＭ２２、ＲＡＭ２３、ＨＤ２４およびフレームメモリ２５は、いずれも記憶部の一例であり、いずれかの記憶領域（例示的に、ＲＯＭ２２）に、本実施形態に係る画像処理を実行する画像処理プログラムや、パラメータ等の各種データを記憶することができる。本実施形態に係る画像処理（プログラム）には、画像登録処理をコンピュータに実行させる画像登録プログラムおよび画像照合処理をコンピュータに実行させる画像照合プログラムのいずれか一方又は双方が含まれる。なお、記憶部は、内部又は外部記憶装置の別を問わない。記憶部には、他に、ＳＳＤ（Solid State Drive）、フラッシュメモリ、ＳＲＡＭ（Static Random Access Memory）等を用いられてもよく、高速な書き込み及び読み出し速度が要求されないなら、より低速な磁気テープ装置、光ディスク装置等が用いられても構わない。
【００３２】
画像処理プログラム（画像登録プログラムおよび画像照合プログラムのいずれか一方又は双方）は、コンピュータ読取可能な記録媒体に記録された形態で提供することもできる。記録媒体の一例としては、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ブルーレイディスク、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、ＳＳＤ等の、コンピュータ読取可能な種々の媒体が挙げられる。コンピュータは、当該記録媒体から画像処理プログラムを読み取ってハードディスク２４やＲＡＭ２３に適宜に転送し格納して用いる。
【００３３】
また、画像処理プログラムは、例えばＲＡＭ２３、ＨＤ２４等の内部又は外部記憶装置、あるいは記録媒体に記録しておき、その記憶装置又は記憶媒体からインターネット等の通信回線を介してコンピュータに提供することもできる。
【００３４】
ここで、コンピュータとは、例えば、ハードウェアとオペレーティングシステム（ＯＳ）とを含む概念であり、ＯＳの制御の下で動作するハードウェアを意味することがある。また、ＯＳが不要でプログラム単独でハードウェアを動作可能な場合には、そのハードウェアがコンピュータに相当するとみることができる。ハードウェアは、ＣＰＵ等の演算装置と、記録媒体に記録されたプログラムを読み取り可能な読み取り装置とを含むことができる。
【００３５】
画像処理プログラムは、上述のようなコンピュータに、既述の画像登録機能および画像照合機能のいずれか一方又は双方を実現させるプログラムコードを含んでいる。また、その機能の一部はプログラムではなくＯＳによって実現されてもよい。
【００３６】
ＲＯＭ２２は、不揮発性記憶媒体の一例である。ＣＰＵ２１は、ＲＯＭ２２に保持された画像処理プログラムやデータを読み出して、ＣＰＵ２１のマイクロコードの設定を行なったり、各部の初期化を行なったり、ＨＤ２４からＯＳ等を起動し、画像処理プログラムが実行されるような指示を行なったりする。
【００３７】
フレームメモリ２５は、撮像装置１で撮像された画像データを記憶する。ＣＰＵ２１は、フレームメモリ２５に記憶された画像データを前記画像登録プログラムに従って処理して例えばＨＤ２４に記憶する。記憶された画像データは、画像照合処理時に参照されるテンプレートとして用いることができる。また、ＣＰＵ２１は、ＦＭ２５に記憶された画像データと例えばＨＤ２４に記憶された画像データとを前記画像照合プログラムに従って照合する。
【００３８】
Ｉ／Ｆ２６は、例えば、表示装置や印刷装置等の周辺機器（ペリフェラル）を接続可能な外部接続Ｉ／Ｆや、ＬＡＮ（ローカル・エリア・ネットワーク）、ＷＡＮ（ワイド・エリア・ネットワーク）等のネットワークへの接続を可能にする通信Ｉ／Ｆである。外部接続Ｉ／Ｆは、例示的に、ＵＳＢ、ＩＥＥＥ１３９４、シリアル、パラレル、赤外線、無線等のインタフェースを提供する。通信Ｉ／Ｆとしては、例示的に、ＷｉＭＡＸ（登録商標）、ｃ．Ｌｉｎｋ（登録商標）、ＨＤＭＩ（登録商標）、有線／無線ＬＡＮ、電話線、携帯電話網、ＰＨＳ網、電灯線ネットワーク、ＩＥＥＥ１３９４等の接続方式に準拠したものを適用できる。
【００３９】
画像処理装置２は、外部接続Ｉ／Ｆを通じて表示装置や印刷装置に例えば画像照合結果を出力したり、通信Ｉ／Ｆを介して、他の画像処理装置２やサーバと通信したりすることができる。したがって、画像処理装置２は、通信可能に接続されている他の画像処理装置２へ画像処理プログラムや各種データの一部を提供することもできる。例えば、一方の画像処理装置２は画像登録装置として機能させる一方、他方の画像処理装置２は画像照合装置として機能させて、画像登録処理と画像照合処理とを異なる場所に設置された装置１で実施することも可能である。
【００４０】
（画像登録処理及び画像照合処理の概要）
画像照合や位置検出においては、パターン照合に用いる画像センサを使って登録画像を撮像する場合がある。一例を挙げると、製造装置や加工装置の一部として画像センサによる位置決め機構が組み込まれている場合、装置組み込みの画像センサで照合画像だけでなく登録画像も撮像することがある。コスト面等の理由から、画像登録用と画像照合用とで個別の撮像装置を用いずに登録画像を撮像した方が望ましい場合もあるからである。
【００４１】
登録画像と照合画像とを同じ画像センサで撮像した場合、撮像装置１（例えば撮像素子）の特性に起因して両画像に不可避的に固定パターンノイズと呼ばれるノイズ（パターン）が含まれることがある。この場合、撮像した全ての画像に、同じパターンがノイズとして含まれることになる。また、このノイズの振幅は比較的小さいものの、撮像範囲全体に分布する。
【００４２】
位相限定相関法を用いた場合、その感度、分解能の高さゆえに、固定パターンノイズに強く反応する。図２４（Ｂ）に位相限定相関法によって得られる相関パターンの一例を図２４（Ａ）に示す正規化相関法によって同じ画像について得られる相関パターン例との比較で示す。図２４（Ｂ）に示す相関パターンの方が図２４（Ａ）に示す相関パターンに比してピークが際立って現れることが分かる。
【００４３】
そのため、位相限定相関法において、登録画像と照合画像の双方で共通のノイズパターンが含まれていると、登録画像と照合画像との間の相関パターンよりも固定パターンノイズどうしの自己相関パターンの方がその強度において上回ることがある。
【００４４】
例えば図２５に、登録画像と照合画像とに共通の固定パターンノイズが含まれる場合の位相限定相関の一例を示す。図２５では、矢印６０１で示す位置の、照合したい画像のパターンによる相関よりも、矢印６０２で示す位置の、固定パターンノイズによる原点の相関の方が大きく上回っている。このような場合、固定パターンノイズの自己相関パターンを登録画像と照合画像との間の相関パターンとして誤って検知してしまい、本来行ないたい画像の照合や位置検出が困難になるおそれがある。近年、撮像素子の解像度が高くなっており、１画素あたりの素子面積が小さくなっているため、このような固定パターンノイズの影響は、従来よりも顕在化しやすくなっている。
【００４５】
撮像された画像から固定パターンノイズを除去あるいは低減できればよいが、撮像装置１で撮像した画像から固定パターンノイズを直接的に除去あるいは低減するのは容易なことではない。画像照合時には外光の強度や方向等の諸条件が画像登録時と同じでない場合も多い。そのため、固定パターンノイズは単純な減算では除去あるいは低減できず、照合の度に、撮像された画像に合わせた適応的なノイズ除去又は低減処理等が要求される。
【００４６】
一方、位相限定相関法を改良して耐ノイズ性を向上させた既述の特許文献２に記載の方法では、登録画像の空間周波数情報に基づいた周波数重みを用いることでノイズの影響を低減している。しかし、この方法では、固定パターンノイズの影響、具体的には、登録画像のパターンと固定パターンノイズとの相対的な大小関係（品質）を考慮していないため、登録画像と照合画像との比較において誤検知を生じる可能性があり、固定パターンノイズに対しては低減効果が十分とはいえない。
【００４７】
ノイズの除去あるいは低減において重要なのは、登録画像とノイズとの相対的な大小関係（例えばＳ／Ｎ比）である。仮にある周波数において登録画像の周波数成分の振幅（パワー）が小さかったとしても、その周波数におけるノイズがそれ以上に小さければ、両者のＳ／Ｎ比は良い（高い）ので、その周波数成分は相関算出に有用であると考えられる。一方、登録画像の周波数成分の振幅が大きかったとしても、それ以上にノイズの振幅も大きければ、両者のＳ／Ｎ比は悪い（低い）ので、その周波数は相関算出に利用しない方が望ましいといえる。特許文献２では、登録画像のみを用いて周波数重みを決定しているが、Ｓ／Ｎ比を考慮していないという点で改善の余地がある。
【００４８】
そこで、本願発明者は、特定の画像パターン（検出対象パターン）と固定パターンノイズとを含む画像（第１の画像の一例としての登録画像）と、固定パターンノイズを含むが登録画像の画像パターンは含まない画像（第２の画像の一例としての無地画像）とを基に、固定パターンノイズを含まない登録画像そのものの周波数成分と固定パターンノイズの周波数成分とを推定し、得られた推定結果に基づいて登録画像と照合画像（第３の画像の一例）との間の相関パターンを得る時の周波数重みを調整する手法を想到した。つまり、登録画像と固定パターンノイズの双方の周波数成分に基づいて周波数重みを設定することで、固定パターンノイズの影響を軽減した画像照合や位置ずれ検出が可能となる。なお、周波数重みを決定できればよいので、周波数成分の推定結果は実際の周波数成分と完全に一致している必要はない。
【００４９】
ここで、固定パターンノイズの周波数成分は、撮像装置１で無地画像を撮像すれば推定可能である。一方、固定パターンノイズを含まない登録画像そのものの周波数成分は、撮像装置１で登録画像を撮像する限り、直接得ることは難しいが、固定パターンノイズを含む登録画像の周波数成分と、無地画像の周波数成分とから、推定することは可能である。
【００５０】
よって、撮像装置１で無地画像と登録画像とを撮像し、それぞれの画像データの周波数成分を分析、推定すれば、登録画像と固定パターンノイズの双方の周波数成分を考慮して周波数重みを決定することができる。照合処理時には、決定した周波数重みを用いて、登録画像と照合画像との相関を求めれば、固定パターンノイズの影響を軽減した相関を得ることができる。画像照合や位置検出は、当該相関を用いて行なえばよい。なお、「登録画像」、「無地画像」および「照合画像」をそれぞれ撮像装置１で撮像して得られる画像データは、それぞれ第１、第２および第３の画像データの一例である。
【００５１】
例えば、撮像装置１の固定パターンノイズをＮ、固定パターンノイズを含まない登録画像そのもののパターンをＧとする。撮像装置１で得られる、固定パターンノイズを含む登録画像のパターンをＦとし、Ｆ＝Ｇ＋Ｎと仮定する。すなわち、固定パターンノイズを含まない登録画像そのもののパターンＧに固定パターンノイズＮを加算した結果が撮像装置１で撮像された登録画像のパターンＦである。
【００５２】
ここで、固定パターンノイズＮの周波数成分は、登録画像の画像パターンも含めて特定の画像パターンを含まない無地画像から推定できる。一方、固定パターンノイズＮを含まない登録画像そのもの（パターンＧ）の周波数成分は、固定パターンノイズを含むパターンＦと固定パターンノイズＮとから推定可能である。Ｆ，Ｇ，Ｎのパワースペクトル密度をそれぞれΦF，ΦG，ΦNで表し、パターンＧとパターンＮとのクロススペクトル密度をΦG,N及びΦN,Gで表す。すると、次式（１．１）が成り立つ。
【数１】
2011159156.tif 000003
【００５３】
Ｇは登録画像のパターンであり、Ｎは不規則なノイズパターンであるため、両者の相関は小さいのが通常である。よって、クロススペクトル密度ΦG,N及びΦN,Gは、スペクトル密度ΦG及びΦNに比べれば無視できる程度である。したがって、式（１）を近似して次式（１．２）が得られる。
【数２】
2011159156.tif 000004
【００５４】
よって、固定パターンノイズＮを含まない登録画像そのもの（パターンＧ）の周波数成分は、固定パターンノイズを含む登録画像（パターンＦ）と、無地画像（パターンＮ）とから推定できる。すなわち、撮像装置１で撮像された、固定パターンノイズを含む登録画像のパターンＦのパワースペクトル密度から固定パターンノイズＮのパワースペクトル密度を減算することで、登録画像そのもの（パターンＧ）の周波数成分を推定できる。
【００５５】
固定パターンノイズＮを含まない登録画像そのもの（パターンＧ）の周波数成分と、固定パターンノイズＮの周波数成分とが推定できれば、その推定値から登録画像（パターンＧ）と固定パターンノイズＮとのＳ／Ｎ比が推定できる。このＳ／Ｎ比が相対的に低い周波数で重みが小さくなるように周波数重みを定め、登録画像と照合画像との周波数重み付き相関を求めることで、固定パターンノイズの影響を低減した相関を得ることができる。結果として、固定パターンノイズに起因する誤検知の発生率を低減して、画像照合や位置検出の精度を向上することができる。
【００５６】
画像照合処理では、登録画像と照合画像との相関を算出する際に、登録処理において定めた周波数重みを用いて周波数重み付き相関を求めればよい。したがって、既存の相関法において周波数重みを乗じる処理を一つ加えるだけで済むので、照合処理が大きく複雑になることを回避できる。また、周波数重みの決定は１回で足り、照合を行なう度に調整しなくてもよい。例えば、照合画像に対してノイズ除去を行なう方法は、照合の度に照合画像に応じた適応的な処理が要求されるが、本実施形態ではそのような処理を行なわなくても、固定パターンノイズに起因する誤検知の抑制効果を得ることができる。
【００５７】
（画像処理装置２の機能的な構成）
上記のような手法を実現すべく、本実施形態の画像処理装置２は、機能的な構成に着目すると、例えば図２に示すように、画像登録装置（画像登録処理部）３０として機能する場合には、ＣＰＵ２１が画像登録プログラムに従って動作することにより、周波数成分推定部３１および周波数重み決定部３２としての機能を発揮し、画像照合装置（画像照合処理部）５０として機能する場合には、ＣＰＵ２１が画像照合プログラムに従って動作することにより、周波数重み付き相関算出部５１およびピーク検出部５２としての機能を発揮する。
（画像登録機能）
【００５８】
画像登録装置３０において、周波数成分推定部３１は、無地画像を撮像装置１で撮像して得られる、固定パターンノイズＮを含むが特定の画像パターン（登録画像のパターンＧも含む）は含まない画像データ（無地画像データ）と、照合処理時にテンプレートとして参照される画像（登録画像）を同じ撮像装置１で撮像して得られる、固定パターンノイズＮを含む画像データ（登録画像データ）とに基づいて、固定パターンノイズＮを含まない登録画像そのもの（パターンＧ）の周波数成分と、固定パターンノイズＮの周波数成分とを分析、推定する。
【００５９】
なお、無地画像を撮像する目的は、固定パターンノイズと、登録画像及び照合画像と、の相対的な大小関係を推測するためであるから、無地画像を撮像する際は、登録画像や照合画像を撮像する際に含まれるであろう固定パターンノイズが得られるようにすることが好ましい。したがって、無地画像の撮像条件は、登録画像及び照合画像を撮像する際の条件と同様にするのが望ましい。例えば、無地画像を撮像する撮像装置と、登録画像や照合画像を撮像する撮像装置と、で感度（利得）が大きく異なるのは、前述の相対的な大小関係に影響する可能性が高いので、避けた方がよい。また、撮像した無地画像データの値が最大値で飽和すると、固定パターンノイズが正しく得られない可能性があるので、これもまた避けることが望ましい。
【００６０】
これらの周波数成分の分析、推定は、例えば、離散フーリエ変換（ＤＦＴ）や高速フーリエ変換（ＦＦＴ）等のフーリエ変換処理やウェーブレット変換等の帯域制限（フィルタリング）処理を用いて実施することができる。また、固定パターンノイズＮを含まない登録画像データ（パターンＧ）の周波数成分の推定は、登録画像データの周波数成分の分析結果から無地画像データの周波数成分の分析結果を減算することで行なってもよいし（方法１）、登録画像データから無地画像データを減算した結果について周波数成分を分析することで行なってもよい（方法２）。ただし、方法１の方が方法２よりも推定精度は高いといえる。
【００６１】
図３に方法１の場合の周波数成分推定部３１の構成例を示し、図４に方法２の場合の周波数成分推定部３１の構成例を示す。図３に例示する周波数成分推定部３１では、登録画像データ及び無地画像データについて（第１及び第２の）周波数成分分析部３１１Ａ及び３１１Ｂにて周波数成分の分析が行なわれ、それぞれの分析結果が減算部３１１Ｃにて減算される。これにより、固定パターンノイズの周波数成分の推定値は周波数成分分析部３１１Ｂによって得られ、固定パターンノイズを含まない登録画像そのものの周波数成分の推定値は減算部３１１Ｃによって得られる。
【００６２】
一方、図４に例示する周波数成分推定部３１では、登録画像データから無地画像データが（周波数成分の分析前に）減算部３１１Ｄにて減算され、その減算結果について周波数成分が周波数成分分析部３１１Ｆにて分析される。これにより、固定パターンノイズを含まない登録画像のみの周波数成分の推定値が減算部３１１Ｄによって得られる。無地画像データの周波数成分の推定値は、周波数成分分析部３１１Ｅによって得られる。
【００６３】
次に、図２〜図４に示す周波数重み決定部３２は、照合処理に用いられる周波数重みを制御する制御部の一例であり、上述のごとく周波数成分推定部３１で得られた、無地画像データの周波数成分の推定値と、固定パターンノイズＮを含まない登録画像そのものの画像データ（パターンＧ）の周波数成分の推定値とに基づいて、固定パターンノイズを含まない登録画像データと、固定パターンノイズとのＳ／Ｎ比を推定し、当該Ｓ／Ｎ比が相対的に低い周波数で重みが小さくなるように周波数成分に関する重み（以下、「周波数重み」という。）を決定する。決定した周波数重みは、ＣＰＵ２１の制御によって記憶部（例えばＲＡＭ２３やＨＤ２４）に記憶することができ、また、Ｉ／Ｆ２６を通じて外部装置（例えば画像照合装置５０）へ送信することもできる（以降の説明においても同様）。
【００６４】
一方、図２に例示する画像照合装置５０において、周波数重み付き相関算出部５１は、周波数重み決定部３２で決定した周波数重みを用いて、登録画像と照合画像との周波数重み付き相関を求める。
【００６５】
ピーク検出部５２は、周波数重み付き相関算出部（以下、単に「相関算出部」ともいう。）５１で得られた相関のピークを検出する。画像照合であれば、検出したピークの値が所定のしきい値を超えているかどうか判定する。位置ずれ検出であれば、検出したピークの位置が画像間のずれに対応するので、その検出結果から位置ずれの推定値を得ることができる。
【００６６】
なお、既述のように、画像処理装置２は、画像登録処理部３０および画像照合処理部５０としての機能の双方を備えていてもよいし、いずれか一方のみを備えていてもよい。後者の場合は、画像登録処理部３０で決定した周波数重みを画像照合処理部５０へ提供できればよい。提供の形態は、通信による送信でもよいし、周波数重みを記録した記録媒体による提供でも構わない。
【００６７】
以下、画像登録処理部３０（周波数成分推定部３１）および画像照合処理部５０（周波数重み付き相関算出部５１）のより具体的な例（バリエーション）について説明する。なお、以下では、具体例１として周波数重み付き位相限定相関に基づく態様（図５〜図１２）、具体例２としてウェーブレット変換に基づく態様（図１３〜図２０）、具体例３として具体例１及び２を組み合わせた態様（図２１〜図２３）のそれぞれについて説明する。
【００６８】
（具体例１）
図５は、画像登録処理部３０（周波数成分推定部３１）の具体例１を示すブロック図である。図５に示す画像登録処理部３０は、図３に示した構成に対応し、登録画像データ及び無地画像データにそれぞれ対応した周波数成分分析部３１１Ａ及び３１１Ｂの一例として、それぞれフーリエ変換部３１２および二乗演算部３１３を備える。
【００６９】
フーリエ変換部３１２の一方は、無地画像データについてＤＦＴやＦＦＴ等のフーリエ変換処理を適用して、無地画像データのフーリエ変換パターンデータを生成し、他方は登録画像データについてＤＦＴやＦＦＴ等のフーリエ変換処理を適用して、登録画像データのフーリエ変換パターンデータを生成する。なお、得られるフーリエ変換パターンデータはいずれも複素数である。
【００７０】
二乗演算部３１３の一方は、無地画像データのフーリエ変換結果（フーリエ変換パターンデータ）の絶対値の二乗を求め、他方は、登録画像データのフーリエ変換結果（フーリエ変換パターンデータ）の絶対値の二乗を求める。フーリエ変換パターンの絶対値の二乗を求めることは、画像データの各周波数成分のパワーを求めることに相当する。これにより、登録画像および無地画像それぞれの周波数成分パワーのパターンが得られ、各周波数においてどの程度のパワーをもっているかがわかる。
【００７１】
例えば図７（Ａ）に示すような特定の画像パターンを含む登録画像は、図８（Ａ）に例示するように、低周波成分を多く含み、高周波成分は相対的に少ない。これに対し、図７（Ｂ）に示すような、特定の画像パターンを含まない固定パターンノイズからなる無地画像は、図８（Ｂ）に例示するように、周波数によらず同じようなパワーをもつことが多い。ただし、双方で最大値が大きく異なる（約８０倍）ため、図８（Ａ）及び図８（Ｂ）に示すように色の濃淡で単純比較はできない。なお、図８（Ａ）及び図８（Ｂ）において、横軸は水平方向の周波数を表わし、縦軸は垂直方向の周波数を表しており、両軸の交わる点が原点で周波数が最も低い点である。つまり、原点の周波数が最も低く、原点から離れるほど周波数の絶対値が高くなる（例えば図１０参照）。
【００７２】
図５に示す減算部３１１Ｃは、登録画像データの周波数成分パワーのパターンから無地画像の周波数成分パワーを減算する。登録画像および無地画像は、同じ撮像装置１で撮像されたものである以上、含まれる固定パターンノイズのパワーが同程度である可能性が高いから、この減算により、固定パターンノイズに起因するパワーを差し引いた（含まない）登録画像そのものの周波数成分パワーがパターン（推定値）として得られる。
【００７３】
周波数重み決定部３２は、以上の処理１〜３を経て得られた、登録画像の（固定パターンノイズを含まない）周波数成分パワーのパターンと、無地画像の周波数成分パワーのパターンとを基に、各周波数の重み（周波数重み）を決定する。周波数重みは、例示的に、両者の比に基づく重み関数パターンとして決定（生成）することができる。
【００７４】
まず、次式（１．３）により、登録画像の固定パターンノイズを含まない周波数成分パワーのパターンと、無地画像の周波数成分パワーのパターンとの比を求める。
【数３】
2011159156.tif 000005
【００７５】
ここで、ωxは水平方向の周波数を表わし、ωyは垂直方向の周波数を表す。また、Ｆ（ωx，ωy）は登録画像（固定パターンノイズを含む）のフーリエ変換、Ｎ（ωx，ωy）は無地画像のフーリエ変換をそれぞれ表わす。すなわち、分母は無地画像の周波数成分パワー、分子は上記の減算により求めた、固定パターンノイズを含まない登録画像の周波数成分パワー（推定値）をそれぞれ表わしている。つまり、Ｒ（ωx，ωy）は両者の比（Ｓ／Ｎ比）を表わしている。
【００７６】
Ｒ（ωx，ωy）から例えば以下の式（１．４）により仮の重みＷtmp（ωx，ωy）を決定する。
【数４】
2011159156.tif 000006
【００７７】
ここで、Ｒ（ωx，ωy）とＷtmp（ωx，ωy）との関係は、非限定的な一例として図９に示すようなシグモイド関数によって与えることができる。すなわち、ある周波数において、登録画像の周波数成分パワーが固定パターンノイズの周波数成分パワーに対して４倍以上（Ｓ／Ｎ比が４倍以上）あれば、最大（ほぼ１．０）の周波数重みを与え、２倍以下であれば最小（ほぼ０）の周波数重みを与える。Ｓ／Ｎ比が２倍から４倍の範囲では、シグモイド関数により、Ｓ／Ｎ比の変化に応じて連続的に（滑らかに）変化する周波数重みを与え、Ｓ／Ｎ比が３倍のときに最大と最小の中間の周波数重みを与える。
【００７８】
なお、この例では、Ｒ（ωx，ωy）とＷtmp（ωx，ωy）との関係が比に対して連続な関数となるように設定しているが、不連続な関数を用いても構わない。例えば、Ｓ／Ｎ比が３倍以下であれば重みを０とし、他は均等に重みをつけるといったルールを適用してもよい。Ｓ／Ｎ比が低く固定パターンノイズの影響が大きいと推定される周波数に関して重みを小さくするというルールの下で、適用する重み関数パターンは適宜に変更可能である。
【００７９】
また、重み関数パターンは、例えば下記の式（１．５）により、パターン全体の重みの和が１になるように正規化してもよい。
【数５】
2011159156.tif 000007
【００８０】
この正規化により、後述する照合処理において算出される相関パターン（相関値の絶対値）を０〜１の範囲に収めることができ、照合処理における相関の強さの評価を易化できるという利点が得られる。ただし、当該正規化は必須の処理ではない。
【００８１】
図１０に、得られた周波数重みの一例を示す。図１０に例示するように、低周波数成分（中心部）については重みが大きく、高周波数成分（周辺部）については重みが小さくなっている。このようにして得られた周波数重み（重み関数）が照合処理に用いられる。
【００８２】
（画像照合機能）
次に画像照合機能について説明する。
画像照合装置５０は、登録画像データと、登録画像を撮像した撮像装置１で照合すべき画像を撮像して得られる画像データ（照合画像データ）とを取得する。非限定的な一例として、図１１（Ａ）に示す登録画像のパターンを水平（ｘ軸）方向に２０ピクセル、かつ、垂直（ｙ軸）方向に４０ピクセル移動した画像〔図１１（Ｂ）〕を照合画像（参照）とする。つまり、図１１（Ａ）及び図１１（Ｂ）に例示する両画像間には、水平方向に２０ピクセル、かつ、垂直方向に４０ピクセルの位置ずれが存在している。照合処理の最終目標は、これらの画像の周波数重み付き位相限定相関を求めることである。
【００８３】
画像照合装置５０において、周波数重み付き相関算出部５１は、図６に示すように、例示的に、登録画像（データ）および照合画像（データ）にそれぞれ対応したフーリエ変換部５１１及び５１２、合成演算部５１３、振幅抑制演算部５１４、周波数重み乗算部５１５、および（逆）フーリエ変換部５１６を備える。
【００８４】
一方のフーリエ変換部５１１は、記憶部（例えばＨＤ２４）から読み出された登録画像データにＤＦＴやＦＦＴ等のフーリエ変換処理を適用して登録画像データのフーリエ変換パターンデータを生成する。
【００８５】
他方のフーリエ変換部５１２は、照合すべき画像を撮像装置１で撮像して得られる画像データ（照合画像データ）にＤＦＴやＦＦＴ等のフーリエ変換処理を適用して照合画像データのフーリエ変換パターンデータを生成する。
【００８６】
合成演算部５１３は、例えば下記の式（１．６）で表わされるように、フーリエ変換処理により得られた登録画像のフーリエ変換パターンデータと、照合画像のフーリエ変換パターンデータの複素共役とを乗算することで、両フーリエ変換パターンデータを合成し、合成フーリエ変換パターンデータを得る。
【数６】
2011159156.tif 000008
【００８７】
ただし、Ｆ（ωx，ωy）は登録画像のフーリエ変換、Ｈ（ωx，ωy）は照合画像のフーリエ変換、Ｈ*はＨの複素共役をそれぞれ表わす。なお、合成前に登録画像をフーリエ変換したパターンに対し複素共役を得る操作を行なってもよいが、その場合は最後に得られる相関パターンデータが上下左右共に反転するので、位置ずれ検出の場合には留意する。
【００８８】
振幅抑制演算部５１４は、合成演算部５１３により得られた合成フーリエ変換パターンデータの振幅成分を振幅抑制演算により１に抑制する。この演算により、合成フーリエ変換パターンデータの位相成分を抽出することができる。例えば下記の式（１．７）に示すように、合成フーリエ変換パターンデータをその絶対値で割ることで振幅を１に抑制することで位相成分を求める。
【数７】
2011159156.tif 000009
【００８９】
周波数重み乗算部５１５は、振幅抑制演算部５１４により振幅成分が抑制されたパターンデータＱ（ωx，ωy）に、画像登録処理時に周波数重み決定部３２にて決定した周波数重み（重み関数パターン）Ｗ（ωx，ωy）を乗算する。
【００９０】
フーリエ変換部５１６は、上述のごとく重み関数パターンＷ（ωx，ωy）が乗算された後のパターンデータをフーリエ変換することで相関パターンデータを得る。別言すれば、以上の処理の結果、周波数重み付きの位相限定相関関数が得られる。
【００９１】
なお、この演算は、フーリエ変換パターンから相関パターンデータを得るためのものなので、本来であれば逆フーリエ変換となるべきであるが、本具体例は、この部分をフーリエ変換（順変換）とした時に、目的とする相関パターンデータが得られるような構成となっている。これは、逆フーリエ変換とフーリエ変換との関係が、定数分の違いを除けば、数学的に虚数部の項の符号の正負が逆の関係にあるに過ぎないからであり、逆フーリエ変換の代わりにフーリエ変換を適用しても定量的にみて精度は変わらない（以降においても同様）。フーリエ変換部５１６を本来の逆フーリエ変換に置き換えることも可能だが、この場合、得られる相関パターンが上下左右共に反転すること、定数分の差異のために前述した正規化の効果が失われること、にそれぞれ留意する。
【００９２】
図１２に、得られた相関パターンデータの一例を示す。図１２に例示するように、位置ずれに対応した位置に強い相関が得られた。また、相関の最大値の位置は（２０，−４０）であり、図１１（Ａ）及び図１１（Ｂ）に示した登録画像と照合画像との間の位置ずれと一致している。
【００９３】
ピーク検出部５２は、得られた相関パターンデータのピークを検出する。画像照合であれば、ピークの値が所定のしきい値を超えているかどうか判定する。位置ずれ検出であればピーク位置を検出し、それをもって位置ずれの推定値とする。
【００９４】
（具体例２）
次に、画像登録処理部３０（周波数成分推定部３１）の具体例２としてウェーブレット変換に基づく態様（図１３〜図２０）について説明する。なお、登録画像、無地画像、および照合画像には、それぞれ具体例１で上述した画像と同じ画像を一例として用いる。
【００９５】
図１３は、画像登録処理部３０（周波数成分推定部３１）の具体例２を示すブロック図である。図１３に示す画像登録処理部３０は、図３に示した構成に対応し、登録画像データ及び無地画像データにそれぞれ対応した周波数成分分析部３１１Ａ及び３１１Ｂの一例として、それぞれ帯域制限部３１４および二乗和演算部３１５を備える。
【００９６】
帯域制限部３１４は、それぞれ、登録画像データ（固定パターンノイズを含む）及び無地画像データに帯域制限処理の一例として連続ウェーブレット変換を適用する。連続ウェーブレット変換のアナライジングウェーブレットには、非限定的な一例として下記の式（２．１）に示すガボール関数を用いることができる。
【数８】
2011159156.tif 000010
ただし、ω0＝ｐ、γ＝πとする。この式（２．１）を用いて以下の式（２．２）でウェーブレット変換を実施する。
【００９７】
【数９】
2011159156.tif 000011
ここで、Ｆ（ｘ，ｙ）は変換元の画像を表わし、ＷＦ（ａ，ｂx，ｂy）はその連続ウェーブレット変換を表わす。また、「ａ」はスケールパラメータと呼ばれ、周波数の逆数に対応する。ｂx及びｂyはシフトパラメータと呼ばれ、画像のどの位置を中心として変換したかを表す。アスタリスク（*）は複素共役を表す。なお、アナライジングウェーブレットとしては他にも様々な関数が知られており、それらを用いることも可能である。
【００９８】
連続ウェーブレット変換（以下、単に「ウェーブレット変換」ともいう。）は、対象画像パターンに対し、一種のバンドパスフィルタとして作用する。バンドパスフィルタの基準（中心）周波数はスケールパラメータと呼ばれるパラメータａで決まる。本例では、例示的に、ａ＝１，２，…，２０のように、１から２０まで１刻みにスケールパラメータを可変し、それぞれについて連続ウェーブレット変換を行なう。なお、スケールパラメータａは、周波数の逆数に相当するので、その値が大きいほど低い周波数に対応する。
【００９９】
二乗和演算部３１５は、それぞれ対応する帯域制限部３１４にてウェーブレット変換された画像データの二乗和を算出する。
【０１００】
例えば、登録画像Ｆ（ｘ，ｙ）および無地画像Ｎ（ｘ，ｙ）のウェーブレット変換をそれぞれＷＦ（ａ，ｂx，ｂy）およびＷＮ（ａ，ｂx，ｂy）とすると、二乗和演算部３１５で求めるのは以下の式（２．３）で表わされる二乗和である。
【数１０】
2011159156.tif 000012
ここで、ＰF（ａ）は登録画像のパワー及び固定パターンノイズのパワーの和を表わし、ＰN（ａ）は固定パターンノイズのパワーを表わす。なお、式（２．３）では積分により表現しているが、Ａ／Ｄ変換された画像パターンについては、ピクセル単位で絶対値の２乗を算出し、それらの和をとることで算出できる。
【０１０１】
ウェーブレット変換は、バンドパスフィルタの一種とみることができるので、ウェーブレット変換の結果について二乗和演算を施すということは、各画像の、バンドパスフィルタの通過帯域におけるある周波数成分のパワー（バンドパスフィルタは通過帯域にある程度の幅をもつので、より正確にいえば「ある周波数まわりのパワー」である）の強さを求めることに相当する。これら２つの処理により、登録画像および無地画像の周波数成分の強度を大まかではあるが把握することができる。なお、各帯域制限部３１４に適用するウェーブレット変換（バンドパスフィルタ）は、同じ特性のものを使う方が望ましいが、厳密に同じである必要はない。スケールパラメータａ（中心周波数）が少なくとも同じであれば、通過帯域幅等は互いに異なっていてもよい。
【０１０２】
減算部３１１Ｃは、下記の式（２．４）に示すように、登録画像のパワー（ウェーブレット変換結果の二乗和）から無地画像のパワー（ウェーブレット変換結果の二乗和）を減算する。この減算は、同じスケールパラメータａのウェーブレット変換結果の二乗和どうしで行なう。
【数１１】
2011159156.tif 000013
【０１０３】
当該減算により、固定パターンノイズの寄与を含まない、登録画像そのもののパワーＰG（ａ）を各スケールパラメータａについて推定できる。
【０１０４】
周波数パラメータ決定部（周波数重み決定部）３２ａは、固定パターンノイズの寄与を含まない登録画像のパワーＰG（ａ）及び無地画像のパワーＰN（ａ）を各スケールパラメータａにおいて（スケールパラメータａを変更して）比較する。
【０１０５】
図１５に、各スケールパラメータａにおける、固定パターンノイズの寄与を含む登録画像のパワーＰF（ａ）（細線）、固定パターンノイズの寄与を含まない登録画像のパワーＰG（ａ）（太線）、および無地画像のパワーＰN（ａ）（破線）をそれぞれプロットしたグラフの一例を示す。図１５に例示するように、登録画像のパワーＰG（ａ）は、スケールパラメータａの値が大きい場合、すなわち低周波でパワーが大きい傾向を示すのに対し、無地画像のパワーＰN（ａ）は、スケールパラメータａの値が小さい場合、すなわち高周波数でパワーが大きい傾向を示す。
【０１０６】
このような傾向を踏まえて、照合処理におけるスケールパラメータ（周波数パラメータ）ａを決定することを考える。固定パターンノイズの影響を抑えるためには、登録画像のパワーＰG（ａ）が無地画像のパワーＰN（ａ）を十分上回っている、別言すれば、両者のパワーの比ＰG（ａ）／ＰN（ａ）が相対的に高いスケールパラメータａを用いるのが望ましい。
【０１０７】
ただし、後述する照合処理においては、周波数パラメータ決定部３２ａで決定したスケールパラメータａを用いて連続ウェーブレット変換を行ない、その変換結果を基に正規化相互相関を算出する。そうすると、大きなスケールパラメータａを選ぶということは、照合処理において、中心周波数の低いバンドパスフィルタを適用してから相関を算出することを意味し、画像のパターンの細かい特徴を捨てるということでもある。これは照合性能の劣化につながる。したがって、固定パターンノイズに耐えうる範囲で、できるだけ小さいスケールパラメータａを経験的に選ぶのが望ましいといえる。
【０１０８】
非限定的な一例を示すと、まず、登録画像のパワーＰG（ａ）と無地画像のパワーＰN（ａ）との比についてしきい値（例示的に３）を定める。図１６に、両画像のパワー比を各スケールパラメータａについてプロットしたグラフの一例を示す。図１６に例示するように、スケールパラメータａを１から１つずつ大きくしていくと、スケールパラメータａ＝１０でパワー比がしきい値３を初めて超えることが分かる。よって、照合処理で用いるスケールパラメータａはしきい値を超える最も小さい（最も周波数の高い）スケールパラメータａ＝１０に決定できる。
【０１０９】
なお、本例ではａ＝１，２，…，２０の範囲でウェーブレット変換を最初にまとめて算出したが、固定パターンノイズに耐えうる範囲で、できるだけ小さいスケールパラメータａを決めるのであれば必ずしもそうする必要は無い。例えば、逐次的にスケールパラメータａの値を変えてパワーを算出し、しきい値を超えたところでその後の算出を打ち切るという方法を採ってもよい。
【０１１０】
（画像照合機能）
次に具体例２における画像照合機能について説明する。
画像照合装置５０において、周波数重み付き相関算出部５１は、図１４に示すように、例示的に、登録画像（データ）および照合画像（データ）にそれぞれ対応した帯域制限部５１７及び５１８と、相関演算部５１９とを備える。
【０１１１】
帯域制限部５１７及び５１８は、それぞれ登録画像データ及び照合画像データに帯域制限処理の一例として連続ウェーブレット変換を適用する。その際、スケールパラメータａには、周波数パラメータ決定部３２ａで決定した値を用いる（ａの値を変更して求めることはしなくてよい）。アナライジングウェーブレットには、例示的に、画像登録処理と同様に式（２．１）に示したガボール関数を用いればよい。
【０１１２】
相関演算部５１９は、ウェーブレット変換して得られた２つの画像のパターンデータ間で、正規化相互相関のパターン（関数）を演算する。当該相関演算は、例えば２つの画像の位置をずらしながら行なう。ウェーブレット変換は、バンドパスフィルタの適用と等価であるから、当該相関演算との組み合わせは、周波数重み付きの正規化相互相関関数を求めることに相当する。
【０１１３】
別言すれば、周波数重みは、バンドパスフィルタの通過特性によって決定される。そして、バンドパスフィルタの特性のうち、最も重要なのが中心周波数である。したがって、各帯域制限部５１７及び５１８に適用するウェーブレット変換（バンドパスフィルタ）は、画像登録時に用いたものと同一であることが望ましいが、厳密に同じである必要は無い。少なくともスケールパラメータａ（中心周波数）が同じであれば、通過帯域幅等、他の特性は帯域制限部５１７及び５１８の間で互いに異なっていてもよいし、登録時のものと同一でなくてもよい。要は、登録時と照合時、帯域制限部３１４相互、帯域制限部５１７と５１８とで、特性が厳密に同じである必要は無く、特性の多少の差異は許容される。
【０１１４】
ピーク検出部５２は、相関演算部５１９で得られた正規化相互相関のパターン（関数）を基に、相関のピークを検出する。画像照合であれば、ピーク値が所定のしきい値を超えているかどうか判定する。位置ずれ検出であれば、検出したピーク位置を位置ずれの推定値とする。
【０１１５】
図１７に、スケールパラメータａ＝１０で算出された相関パターンの一例を示す。図１７に例示するように、相関パターンが最大値を示す位置は（１９，−４０）で表わされる座標位置であり、実際の位置ずれとほぼ一致していることが分かる。
【０１１６】
なお、比較例として、スケールパラメータａが適切でなかった場合に得られる相関パターン（正規化相互相関）の一例を図１８、図１９及び図２０にそれぞれ示す。なお、いずれも濃淡の濃い部分ほど相関が高いことを表わしている。
【０１１７】
図１８は、適切なスケールパラメータａ（＝１０）よりもスケールパラメータａが小さすぎた（ａ＝１）場合に得られた相関の一例を示している。この場合、固定パターンノイズの影響が大きい高周波域での相関算出となるため、固定パターンノイズの自己相関によるピーク位置〔原点（０，０）〕を実際の位置ずれに対応する位置と誤って検出しやすくなり、位置ずれの検出精度がａ＝１０に比して低下する。
【０１１８】
図１９は、１＜ａ＜１０の例としてａ＝７とした場合に得られた相関パターンの一例を示している。この場合では、固定パターンノイズのパワーと登録画像のパワーとが拮抗するため、実際の位置ずれに対応する点と固定パターンノイズの自己相関による位置（原点）との双方に強い相関が現れる。結果として、固定パターンノイズの相関と画像パターンの相関の双方の区別がつきにくく、検出画像照合や位置検出の精度はａ＝１０の場合に比して低下する。
【０１１９】
図２０は、スケールパラメータが大きすぎた（ａ＝３０）場合に得られた相関パターンの一例を示している。図２０に例示するように、この場合の相関パターンは、図１７に比して緩やかでピーク位置が不鮮明になっている。そのため、位置ずれ検出の場合、検出の分解能が低下するおそれがある。
【０１２０】
以上のように、照合処理で用いるスケールパラメータａは小さ過ぎても、大き過ぎても、画像照合や位置ずれ検出の精度が低下し得る。よって、画像登録処理において説明したような方法で適切なスケールパラメータａを選択することが望ましい。
【０１２１】
なお、具体例１及び２は、共通の技術的思想に基づくものであるが、周波数成分の分析方法、及び重み関数の与え方が異なっている。具体例１及び２では、フーリエ変換処理を用いて２次元の周波数分析を行ない、周波数領域の各点で登録画像および無地画像のパワーを比較している。また、周波数重み関数も２次元のパターンとして細かく決定することができる（例えば図１０参照）。
【０１２２】
これに対し、具体例２では、周波数成分の分析を、１つのスケールパラメータａに縮約して１次元化して行なっている。周波数重みもこのスケールパラメータａを可変すれば変更することができる。そのため、具体例１に比べて周波数重みの調整（制御）を単純化することができる。１つのパラメータへの単純化に起因して、照合性能や位置ずれ検出精度が具体例１に比して低下する可能性はあるものの、制御の単純化により得られるメリットの方が大きい場合や、求められる性能や精度に関して許容範囲内であれば、有用な方法といえる。
【０１２３】
なお、具体例２においては、画像の周波数成分の分析にウェーブレット変換を用いたが、必ずしもウェーブレット変換に限るものではない。例えば、ウェーブレット変換の代わりに、通過帯域の中心周波数が可変のバンドパスフィルタを用いることでも、同等の周波数成分の分析が可能である。
【０１２４】
また、上述した具体例２においては、登録画像データと照合画像データとにそれぞれ帯域制限処理を適用した後に相関演算（例えば、正規化相互相関演算）を行なうことで周波数重み付き相関の算出を行なっているが、相関演算の後に帯域制限処理を行なうことで周波数重み付き相関の算出を行なってもよい。
【０１２５】
（具体例３）ウェーブレット相関と位相限定相関との組合せ
上述した具体例２では照合処理において周波数重み付きの正規化相互相関（関数）を用いたが、これを位相限定相関法（具体例１）に基づいた方法に置き換えることも可能である。したがって、本例での画像登録処理は具体例２（例えば図１３参照）と同じでよい。また、登録画像、無地画像、および照合画像も、それぞれ具体例１で用いた画像と同じとする。
【０１２６】
この場合、周波数重み付き相関算出部５１は、具体例１（図６）に示したものとそれぞれ同様の、フーリエ変換部５１１、５１２及び５１６と、合成演算部５１３及び振幅抑制演算部５１４と、を備えるほか、周波数重み乗算部５１５ａを備える。周波数重み乗算部５１５ａは、具体例２の画像登録処理で決定したスケールパラメータａに対応する周波数重みを振幅抑制演算部５１４の出力に乗算する。
【０１２７】
既述の具体例２では登録画像および無地画像のパワーを各スケールパラメータａで比較し、両者のパワー比が所定のしきい値を超える最小のスケールパラメータａを周波数パラメータ決定部３２ａにて選択（決定）した。このようにして選択されたスケールパラメータを以下ａ0で表すことにする。
【０１２８】
ウェーブレット変換は、既述のように一種のバンドパスフィルタとして考えることができる。アナライジングウェーブレットの中心周波数をω0とすると、スケールパラメータをａとした連続ウェーブレット変換は、中心周波数がω0／ａのバンドパスフィルタとして考えることができる〔例えば、田原鉄也（新 誠一・中野和司監修）、「ウェーブレット解析の産業応用」、朝倉書店、ｐ．９−１０（２００５）参照〕。
【０１２９】
具体例２で用いたアナライジングウェーブレット（ガボール関数）は、水平方向および垂直方向共に中心周波数をω0としているので、スケールパラメータがａ0の連続ウェーブレット変換は、水平および垂直の両方向共に中心周波数がω0／ａ0のバンドパスフィルタを適用することと等価である。
【０１３０】
すなわち、スケールパラメータａ0はω0／ａ0の周波数に対応する。よって、当該周波数ω0／ａ0よりも高い周波数は、固定パターンノイズの影響が強い周波数なので、周波数重み（関数）は抑えるべきといえる。一方、周波数ω0／ａ0よりも低い周波数は、登録画像のパワーが固定パターンノイズのパワーに対して十分に強い周波数であり、重み関数を大きくしてもよいといえる。別言すれば、カットオフ周波数ω0／ａ0のローパスフィルタ相当の周波数重みが適切であるといえる。
【０１３１】
このようなルールに基づく重み関数の非限定的な一例としては、下記の式（３．１）で表わされるような、水平および垂直のいずれかの周波数がω0／ａ0よりも高ければ重みを０にする関数が挙げられる。なお、ωx及びωyは、それぞれ水平及び垂直方向の周波数を表す。
【数１２】
2011159156.tif 000014
【０１３２】
また、他の一例としては、下記の式（３．２）で表わされるような、（ωx，ωy）＝（±ω0／ａ0，０）、および（ωx，ωy）＝（０，±ω0／ａ0）を通る円の外側（高周波）は重みを０にする関数が挙げられる。
【数１３】
2011159156.tif 000015
【０１３３】
さらに、上記の例では（ωx，ωy）＝（±ω0／ａ0，０）、および（ωx，ωy）＝（０，±ω0／ａ0）を通る円を境として重みを不連続に変えているが、具体例１で示したようなシグモイド関数（例えば図９参照）を用いて下記の式（３．３）で示すように連続的に重みを変えてもよい。
【数１４】
2011159156.tif 000016
【０１３４】
すなわち、例えば図２２に示すように、（ωx，ωy）＝（±ω0／ａ0，０）、および（ωx，ωy）＝（０，±ω0／ａ0）を通る円周上で値が１／２になるような、同心円状のシグモイド関数で周波数重み（ローパスフィルタ）を適用してもよい。具体例１で示した重み関数（図１０参照）と比較すると、低周波（中心付近）で重みが大きく、高周波（周辺部）で重みが小さいという大まかな傾向は共通していることがわかる。一方、本方法の重み関数は同心円状であり、具体例１の重み関数と比べると単純である。実際、可変パラメータは具体例２と同様に１つであるため、具体例２と同様、重みの調整（制御）を単純化できる。
【０１３５】
本例の周波数重み乗算部５１５ａは、例えば、上記の式（３．１）、（３．２）および（３．３）のいずれかで表わされる周波数重み（重み関数パターン）を更に具体例１と同様の方法（式（１．５）参照）で正規化し、正規化した周波数重みを振幅抑制演算部５１４にて振幅成分が抑制されたパターンデータＱ（ωx，ωy）に乗じることで、周波数重み付きの位相限定相関パターンデータを得る。
【０１３６】
ピーク検出部５２は、周波数重み乗算部５１５ａで得られた位相限定相関パターンデータを基に、相関のピークを検出する。画像照合であれば、ピーク値が所定のしきい値を超えているかどうか判定する。位置ずれ検出であれば、検出したピーク位置を位置ずれの推定値とする。
【０１３７】
図２３に、得られた周波数重み付きの位相限定相関パターンデータの一例を示す。相関のピーク位置は（２０，−４０）であり、実際の位置ずれに対応した結果が得られている。なお、図２３において、濃淡の濃い部分ほど相関が高いことを示している。
【符号の説明】
【０１３８】
１…撮像装置、２…画像処理装置、２１…ＣＰＵ、２２…ＲＯＭ、２３…ＲＡＭ、２４…ハードディスク（ＨＤ）、２５…フレームメモリ（ＦＭ）、２６…インタフェース（Ｉ／Ｆ）、３０…画像登録装置（画像登録処理部）、３１…周波数成分推定部、３２…周波数重み決定部、３２ａ…周波数パラメータ決定部、３１１Ａ，３１１Ｂ，３１１Ｅ，３１１Ｆ…周波数成分分析部、３１１Ｃ，３１１Ｄ…減算部、３１２…フーリエ変換部、３１３…二乗演算部、３１４…帯域制限部、３１５…二乗和演算部、５０…画像照合装置（画像照合処理部）、５１…周波数重み付き相関算出部、５２…ピーク検出部、５１１，５１２…フーリエ変換部、５１６…（逆）フーリエ変換部、５１３…合成演算部、５１４…振幅抑制演算部、５１５，５１５ａ…乗算部、５１７，５１８…帯域制限部、５１９…相関演算部
【図１】
2011159156.tif 000017
【図２】
2011159156.tif 000018
【図３】
2011159156.tif 000019
【図４】
2011159156.tif 000020
【図５】
2011159156.tif 000021
【図６】
2011159156.tif 000022
【図９】
2011159156.tif 000023
【図１３】
2011159156.tif 000024
【図１４】
2011159156.tif 000025
【図１５】
2011159156.tif 000026
【図１６】
2011159156.tif 000027
【図２１】
2011159156.tif 000028
【図７】
2011159156.tif 000029
【図８】
2011159156.tif 000030
【図１０】
2011159156.tif 000031
【図１１】
2011159156.tif 000032
【図１２】
2011159156.tif 000033
【図１７】
2011159156.tif 000034
【図１８】
2011159156.tif 000035
【図１９】
2011159156.tif 000036
【図２０】
2011159156.tif 000037
【図２２】
2011159156.tif 000038
【図２３】
2011159156.tif 000039
【図２４】
2011159156.tif 000040
【図２５】
2011159156.tif 000041