(57)【特許請求の範囲】
【請求項１】
共通の検出系固定バックグラウンド信号と正味の画像信号の和で表される２つの画像のフーリエ変換の積により画像間の相関関数を求めて画像間の位置ずれを検出する方法において、前記画像間の相関関数のフーリエ成分を実部と虚部に分け、各画像の検出系固定バックグラウンド信号間の自己相関関数の寄与分が含まれる前記実部に１より小さい正数を乗じて前記虚部との和によるフーリエ成分を生成し、生成したフーリエ成分をフーリエ逆変換することで、検出系固定バックグラウンド信号による相関のピークが、正味の画像の位置ずれを表すピークよりも小さくなるようにしたことを特徴とする画像間の位置ずれ検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はＴＶカメラ等で撮った画像間の位置ずれ検出方法に関する。
【０００２】
【従来の技術】
ＴＶカメラ等の画像検出器で得た複数画像の位置ずれの検出を行う方法として、画像間の相互相関関数を計算する方法が有用であることは良く知られている。２枚の画像を、それぞれＩｍｇ１（ｒ）、Ｉｍｇ２（ｒ）と表したとき、画像間の相互相関関数φ12（ｒ）は、以下のように計算できる。
0003950581.tif 000002
ここで、
ＩＭＧ１（ｋ）＝ＦＴ〔Ｉｍｇ１（ｒ）〕
ＩＭＧ２（ｋ）＝ＦＴ〔Ｉｍｇ２（ｒ）〕
として、ＦＴ、ＦＴ-1、* はそれぞれフーリエ変換、フーリエ逆変換、複素共役を表す。相互相関関数φ12（ｒ）は、コンボリューション（（ｉｍｇ１（−ｒ））* ＊ｉｍｇ２（ｒ））の形に直されてフーリエ変換の積（第１の画像のフーリエ変換の複素共役と第２の画像のフーリエ変換の積）の形にすることができ、フーリエ変換で相関を計算することにより、演算の高速化を図っている。（１）式は、画像間の一致度の分布強度を表し、ここに現れるピーク位置が２画像間の位置ずれの方向とずれ量を表している。図４はかかる方法で画像の位置ずれを求めたもので、図４（ａ）の画像と図４（ｂ）の画像の相互相関関数を求めたものが図４（ｃ）であり、右方で光っているピーク位置が図４（ａ）の画像に対する図４（ｂ）の画像の位置ずれ量と方向を示している。
【０００３】
【発明が解決しようとする課題】
この手法は、コンピュータを用いたリアルタイム検出画像のオンライン解析を行いつつ、ずれ量を（１）式の計算で求めてリアルタイムにフィードバックし、検出物体を常に一定の位置に固定するといった応用に有効である。しかし、ＴＶカメラ等で撮られる画像には、シェーディングや検出器の不感帯によるバックグラウンドが含まれることがあり、これらは各画像に共通に含まれるため、本来の画像成分がバックグラウンドに対して相対的に少なくなってくるとバックグラウンドの影響が相関関数に強く現れる。すなわち、検出物体自体は画像間で位置ずれを示していても、バックグラウンドは位置ずれがなく画像間の共通の位置にあるため、リアルタイムでピークサーチを行うと、バックグラウンドによるピークにより位置ずれが無いと誤って認識されることになる。
【０００４】
本発明は上記課題を解決するためのもので、各画像に共通に含まれる検出器の固定バックグラウンドに左右されることなく、画像間での移動成分のみの一致度の相関を求められるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
本発明は、共通の検出系固定バックグラウンド信号と正味の画像信号の和で表される２つの画像のフーリエ変換の積により画像間の相関関数を求めて画像間の位置ずれを検出する方法において、前記画像間の相関関数のフーリエ成分を実部と虚部に分け、各画像の検出系固定バックグラウンド信号間の自己相関関数の寄与分が含まれる前記実部に１より小さい正数を乗じて前記虚部との和によるフーリエ成分を生成し、生成したフーリエ成分をフーリエ逆変換することで、検出系固定バックグラウンド信号による相関のピークが、正味の画像の位置ずれを表すピークよりも小さくなるようにしたことを特徴とする。
【０００６】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
本発明は各画像に共通に含まれる検出器の固定バックグラウンドに左右されることなく、画像間での移動成分のみの一致度の相関を計算する手法に関するものであり、その検出原理について説明する。
前述の（１）式における画像Ｉｍｇ１（ｒ）、Ｉｍｇ２（ｒ）はそれぞれに共通な検出系の固定バックグラウンドＢ（ｒ）と、正味の画像信号の和となっており、次式のように表される。
Ｉｍｇ１（ｒ）＝Ｂ（ｒ）＋Ｉ１（ｒ）                        ……（２）
Ｉｍｇ２（ｒ）＝Ｂ（ｒ）＋Ｉ２（ｒ）                        ……（３）
また、画像の相関φ12（ｒ）のフーリエ成分である（ＩＭＧ１〔ｋ〕）* ＩＭＧ２〔ｋ〕は実部Ｒ（ｋ）と虚部Ｉ（ｋ）に分けられる。
（ＩＭＧ１〔ｋ〕）* ＩＭＧ２〔ｋ〕＝Ｒ（ｋ）＋Ｉ（ｋ）      ……（４）
Ｉｍｇ１（ｒ）とＩｍｇ２（ｒ）の相関のうち、正味の画像の位置ずれ量は、Ｉ１（ｒ）とＩ２（ｒ）の相関の寄与分であり、この寄与分は（４）式のＲ（ｋ）とＩ（ｋ）に分散して含まれる。一方、Ｉｍｇ１（ｒ）とＩｍｇ２（ｒ）の相関のうち、検出系の固定バックグラウンドの影響は主にＢ（ｒ）間の自己相関の寄与分であり、自己相関関数が偶関数で中心対称性を持つことにより、この寄与分は（４）式のＲ（ｋ）にのみ含まれる。Ｉｍｇ１（ｒ）とＩｍｇ２（ｒ）の相関の他の成分は、Ｉ１（ｒ）とＢ（ｒ）の相関、およびＢ（ｒ）とＩ２（ｒ）の相関であり、これらもＲ（ｋ）とＩ（ｋ）に分散して含まれるが、φ12（ｒ）への影響は小さい。
【０００７】
また、画像を実関数とすれば、Ｒ（ｋ）が偶関数、Ｉ（ｋ）が奇関数であることが保証されており、このため、φ12（ｒ）に現れる正味の画像の位置ずれ量を表すピーク位置の情報は、Ｒ（ｋ）に偶関数として、Ｉ（ｋ）に奇数関数として保持されている。この点を説明の便宜上１次元画像データを例にして図１により説明すると、図１において、Ｒ１、Ｉ１は（４）式において、正味の画像の位置ずれ量を表すピーク位置情報を示す偶関数と奇数関数、Ｒ２、Ｉ２は（４）式において固定バックグラウンドのピーク位置の情報を示す偶関数と奇数関数とすると、Ｒ１、Ｒ２が（４）式のＲ（ｋ）に寄与し、Ｉ１、Ｉ２が（４）式のＩ（ｋ）に寄与するが、前述したように固定バックグラウンドのＩ２は０であるので、Ｉ（ｋ）への寄与はＩ１のみである。そこで、
Ａ（ｋ）＝ＣＲ（ｋ）＋Ｉ（ｋ）                            ……（５）
０＜Ｃ＜１                                                ……（６）
として、
Φ12（ｒ）＝ＦＴ-1〔Ａ（ｋ）〕                              ……（７）
なるΦ12（ｒ）を計算すると、固定バックグラウンドはまるまる（１−Ｃ）だけ減少するのに対して、正味の画像の位置ずれ量の情報はＩ（ｋ）については影響がないので、固定バックグラウンドに対して減少の割合が少なく、Φ12（ｒ）には、画像間の移動成分による相関が強調されることになる。例えば、Ｃ＝０．１とすると、画像の固定バックグラウンド成分は１／１０になる。一方、正味の位置ずれを表す成分は１１／２０となる。この点を図２により１次元の事象として説明すると、図２のＩ、Ｒが正味の位置ずれを表す奇数関数成分と偶関数成分、各成分のピーク高さがｈとすると、両者を加え合わせたものは原点に対して一方の側はキャンセルされ、他方の側が強調されてピーク高さは２ｈとなる。従って（５）におけるＡ（ｋ）の減少する割合は、（０．１ｈ＋ｈ）／２ｈ＝１１／２０となる。なお、Ｃは、オンライン解析を行うソフトウェア上で（６）式を満足する可変な定数であるが、０＜Ｃ＜０．５とすることが好ましい。なお、Ｃを０にしない理由は、画像間で真に位置ずれが無いとき、図１のＩ１が０となってしまい位置ずれがないことの信号が得られなくなるためである。この場合、Ｃが一定の値をもっていれば、Ｒ１（自己相関）により位置ずれがないことの検出信号が得られる。
【０００８】
本発明による方法と、従来法による画像間位置ずれを図３により比較してみると、図３（ａ）の画像と図３（ｂ）の相関関数を計算したものが図３（ｃ）であり、センターに共通バックグラウンドのピークが現れて位置ずれが認識できない。一方、本発明の方法により求めたものが図３（ｄ）であり、センターピークは弱くなり、位置ずれを示すピークが現れていることが分かる。
【０００９】
【発明の効果】
以上のように本発明によれば、画像間の位置ずれを計算するにあたって、各画像に共通の検出系固定バックグラウンドが存在する場合、そのようなバックグラウンドによる相関のピークのみが正味の位置ずれを表すピークよりも小さくなるようにすることにより、コンピュータ等を用いた画像位置ずれの制御システム等において、検出の誤りをなくすことが可能となる。
【図面の簡単な説明】
【図１】  本発明の検出原理を説明するための図である。
【図２】  本発明による相関の強調を説明する図である。
【図３】  本発明と従来法を比較した図である。
【図４】  従来法による画像間位置ずれを求めた例を示す図である。
【図１】
0003950581.tif 000003
【図２】
0003950581.tif 000004
【図３】
0003950581.tif 000005
【図４】
0003950581.tif 000006