(57)【特許請求の範囲】
【請求項１】
入力された画像から複数のズレ量検出対象範囲を抽出するズレ量検出対象範囲抽出手段と、上記複数のズレ量検出対象範囲内の一方向毎に画素値を積算して、積算値を算出する画素値積算手段と、上記複数のズレ量検出対象範囲毎に、上記積算値を用いて、当該ズレ量検出対象範囲における上記一方向と異なる方向である別方向の変位特徴量を算出する変位特徴量算出手段と、上記画像より先に入力された画像内の所定のズレ量検出対象範囲であるマッチングブロックと上記複数のズレ量検出対象範囲との間の上記変位特徴量の相関を演算し相関指標値を算出する相関指標値算出手段と、複数の上記相関指標値の中で最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、上記ズレ量検出対象範囲と上記マッチングブロックとの上記別方向のズレ量を検出するズレ量検出手段とを備え、
上記画素値積算手段は、上記ズレ量検出対象範囲より上記一方向の範囲が狭い小ブロック内の上記一方向毎に画素値を積算し、その画素値の積算値をバッファに格納し、複数の小ブロックを任意に組み合わせ、上記積算値を加算することにより、上記複数のズレ量検出対象範囲内の上記一方向における画素値の積算値を算出することを特徴とする画像処理装置。
【請求項２】
上記変位特徴量算出手段は、上記画素値積算手段により算出された上記一方向の積算値の中から、所定の距離だけ上記別方向に離れている上記一方向の中から２つの積算値を特定し、上記別方向の変位特徴量として、上記一方向の中から２つの積算値の差分値を量子化することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記一方向は列方向であり、上記別方向は行方向であることを特徴とする請求項１記載の画像処理装置。
【請求項４】
上記一方向は行方向であり、上記別方向は列方向であることを特徴とする請求項１記載の画像処理装置。
【請求項５】
上記変位特徴量の値は、−１、０または１のいずれかの値であることを特徴とする請求項１または請求項２項記載の画像処理装置。
【請求項６】
入力された画像から複数のズレ量検出対象範囲を抽出するズレ量検出対象範囲抽出ステップと、上記複数のズレ量検出対象範囲内の一方向毎に画素値を積算して、積算値を算出する画素値積算ステップと、上記複数のズレ量検出対象範囲毎に、上記積算値を用いて、当該ズレ量検出対象範囲における上記一方向と異なる方向である別方向の変位特徴量を算出する変位特徴量算出ステップと、上記画像より先に入力された画像内の所定のズレ量検出対象範囲であるマッチングブロックと上記複数のズレ量検出対象範囲との間の上記変位特徴量の相関を演算し相関指標値を算出する相関指標値算出ステップと、複数の上記相関指標値の中で最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、上記ズレ量検出対象範囲と上記マッチングブロックとの上記別方向のズレ量を検出するズレ量検出ステップとを備え、
上記画素値積算ステップは、上記ズレ量検出対象範囲より上記一方向の範囲が狭い小ブロック内の上記一方向毎に画素値を積算し、その画素値の積算値をバッファに格納し、複数の小ブロックを任意に組み合わせ、上記積算値を加算することにより、上記複数のズレ量検出対象範囲内の上記一方向における画素値の積算値を算出することを特徴とする画像処理方法。
【請求項７】
上記一方向は列方向であり、上記別方向は行方向であることを特徴とする請求項６記載の画像処理方法。
【請求項８】
上記一方向は行方向であり、上記別方向は列方向であることを特徴とする請求項６記載の画像処理方法。
【請求項９】
上記変位特徴量の値は、−１、０または１のいずれかの値であることを特徴とする請求項６記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を順次入力しながら、２枚の画像間の移動量（ズレ量）を検出する画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
図１１は従来の画像処理装置を示す構成図である。
図１１の画像処理装置では、画像を順次入力しながら、２枚の画像間のズレ量を検出するが、ここでは説明の便宜上、時間的に先に入力された画像Ａと、時間的に後に入力された画像Ｂとの間のズレ量を検出するものとして、以下の説明を行う。
【０００３】
列方向積算値算出部１０１は、画像Ａを示す画像信号を入力すると、画像Ａに含まれている一定範囲のブロック（例えば、画像Ａの中心に位置するブロック）をズレ量検出対象範囲とし、画像Ａを構成している画素の画素値（例えば、輝度値）を参照して、そのズレ量検出対象範囲内の列毎に画素値を積算することで、そのズレ量検出対象範囲内の各列における画素値の積算値を算出する。
また、列方向積算値算出部１０１は、画像Ｂを示す画像信号を入力すると、画像Ｂを構成している画素の画素値（例えば、輝度値）を参照して、上記ズレ量検出対象範囲（画像Ａにおけるズレ量検出対象範囲と同じ）内の列毎に画素値を積算することで、そのズレ量検出対象範囲内の各列における画素値の積算値を算出する。
なお、画像Ａ，Ｂのズレ量検出対象範囲内の各列における画素値の積算値や、その積算値が最終的に算出されるまでの中間積算値は、列方向積算値バッファ１０２に格納される。
【０００４】
行方向積算値算出部１０７は、画像Ａを示す画像信号を入力すると、画像Ａを構成している画素の画素値（例えば、輝度値）を参照して、上記ズレ量検出対象範囲内の行毎に画素値を積算することで、そのズレ量検出対象範囲内の各行における画素値の積算値を算出する。
また、行方向積算値算出部１０７は、画像Ｂを示す画像信号を入力すると、画像Ｂを構成している画素の画素値（例えば、輝度値）を参照して、上記ズレ量検出対象範囲内の行毎に画素値を積算することで、そのズレ量検出対象範囲内の各行における画素値の積算値を算出する。
なお、画像Ａ，Ｂのズレ量検出対象範囲内の各行における画素値の積算値や、その積算値が最終的に算出されるまでの中間積算値は、行方向積算値バッファ１０８に格納される。
【０００５】
行方向変位特徴量算出部１０３は、列方向積算値算出部１０１が画像Ａのズレ量検出対象範囲内の各列における画素値の積算値を算出すると、列方向積算値バッファ１０２に格納されている画像Ａのズレ量検出対象範囲内の各行における画素値の積算値の中から、行方向に隣り合う２つの行の積算値を順次取り出して、２つの行の積算値の差分値を量子化する。
その差分値の量子化値は、画像Ａのズレ量検出対象範囲における行方向の変位特徴量として、行方向変位特徴量バッファ１０４に格納される。
また、行方向変位特徴量算出部１０３は、列方向積算値算出部１０１が画像Ｂのズレ量検出対象範囲内の各列における画素値の積算値を算出すると、列方向積算値バッファ１０２に格納されている画像Ｂのズレ量検出対象範囲内の各行における画素値の積算値の中から、行方向に隣り合う２つの行の積算値を順次取り出して、２つの行の積算値の差分値を量子化する。
その差分値の量子化値は、画像Ｂのズレ量検出対象範囲における行方向の変位特徴量として、行方向変位特徴量バッファ１０４に格納される。
【０００６】
列方向変位特徴量算出部１０９は、行方向積算値算出部１０７が画像Ａのズレ量検出対象範囲内の各行における画素値の積算値を算出すると、行方向積算値バッファ１０８に格納されている画像Ａのズレ量検出対象範囲内の各列における画素値の積算値の中から、列方向に隣り合う２つの列の積算値を順次取り出して、２つの列の積算値の差分値を量子化する。
その差分値の量子化値は、画像Ａのズレ量検出対象範囲における列方向の変位特徴量として、列方向変位特徴量バッファ１１０に格納される。
また、列方向変位特徴量算出部１０９は、行方向積算値算出部１０７が画像Ｂのズレ量検出対象範囲内の各行における画素値の積算値を算出すると、行方向積算値バッファ１０８に格納されている画像Ｂのズレ量検出対象範囲内の各列における画素値の積算値の中から、列方向に隣り合う２つの列の積算値を順次取り出して、２つの列の積算値の差分値を量子化する。
その差分値の量子化値は、画像Ｂのズレ量検出対象範囲における列方向の変位特徴量として、列方向変位特徴量バッファ１１０に格納される。
【０００７】
行方向相関指標値算出部１０５は、行方向変位特徴量算出部１０３により算出された画像Ａのズレ量検出対象範囲における行方向の変位特徴量と、画像Ｂのズレ量検出対象範囲における行方向の変位特徴量との相関演算を実施することで、画像Ａ，Ｂのズレ量検出対象範囲における行方向の変位特徴量がどれだけ似ているかを示す行方向相関指標値を算出する。
この際、画像Ａ，Ｂのズレ量検出対象範囲間で行方向のズレ量を変化させながら相関演算を繰り返すことで、それぞれの行方向のズレ量に係る行方向相関指標値を算出する。
【０００８】
列方向相関指標値算出部１１１は、列方向変位特徴量算出部１０９により算出された画像Ａのズレ量検出対象範囲における列方向の変位特徴量と、画像Ｂのズレ量検出対象範囲における列方向の変位特徴量との相関演算を実施することで、画像Ａ，Ｂのズレ量検出対象範囲における列方向の変位特徴量がどれだけ似ているかを示す列方向相関指標値を算出する。
この際、画像Ａ，Ｂのズレ量検出対象範囲間で列方向のズレ量を変化させながら相関演算を繰り返すことで、それぞれの列方向のズレ量に係る列方向相関指標値を算出する。
【０００９】
行方向ズレ量検出部１０６は、行方向相関指標値算出部１０５が画像Ａ，Ｂのズレ量検出対象範囲における行方向のズレ量が相互に異なる複数の行方向相関指標値を算出すると、複数の行方向相関指標値の中で、画像Ａ，Ｂのズレ量検出対象範囲における行方向の変位特徴量が最も似ている旨を示す行方向相関指標値を特定する。
そして、行方向ズレ量検出部１０６は、その特定した行方向相関指標値を算出する際の行方向のズレ量を、画像Ａと画像Ｂの行方向のズレ量として出力する。
【００１０】
列方向ズレ量検出部１１２は、列方向相関指標値算出部１１１が画像Ａ，Ｂのズレ量検出対象範囲における列方向のズレ量が相互に異なる複数の列方向相関指標値を算出すると、複数の列方向相関指標値の中で、画像Ａ，Ｂのズレ量検出対象範囲における列方向の変位特徴量が最も似ている旨を示す列方向相関指標値を特定する。
そして、列方向ズレ量検出部１１２は、その特定した列方向相関指標値を算出する際の列方向のズレ量を、画像Ａと画像Ｂの列方向のズレ量として出力する。
【００１１】
図１１の画像処理装置と同様に、画像Ａ，Ｂ間の相関値を算出して、その相関値から画像Ａ，Ｂ間のズレ量を検出している画像処理装置が以下の特許文献１に開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開２００８−７９００７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
従来の画像処理装置は以上のように構成されているので、画像Ａ，Ｂ間のズレ量を検出する際に有意な特徴点が画像Ａ，Ｂのズレ量検出対象範囲内に存在していれば、画像Ａ，Ｂ間のズレ量を高精度に検出することができる。しかし、ズレ量検出対象範囲が、画像の中心に位置する一定範囲のブロックであるため、大きな画像ズレが発生することで、画像Ａのズレ量検出対象範囲内に存在していた有意な特徴点が、画像Ｂのズレ量検出対象範囲の外に出てしまうことがある。このような場合、有意な特徴点が存在する位置を基準にして、画像Ａ，Ｂ間のズレ量を検出することができないため、画像Ａ，Ｂ間のズレ量の検出精度が大きく劣化してしまう課題があった。
【００１４】
この発明は上記のような課題を解決するためになされたもので、大きな画像ズレが発生しても、２枚の画像間のズレ量を高精度に検出することができる画像処理装置及び画像処理方法を得ることを目的とする。
【課題を解決するための手段】
【００１５】
この発明に係る画像処理装置は、入力された画像から複数のズレ量検出対象範囲を抽出するズレ量検出対象範囲抽出手段と、複数のズレ量検出対象範囲内の一方向毎に画素値を積算して、積算値を算出する画素値積算手段と、複数のズレ量検出対象範囲毎に、積算値を用いて、当該ズレ量検出対象範囲における一方向と異なる方向である別方向の変位特徴量を算出する変位特徴量算出手段と、画像より先に入力された画像内の所定のズレ量検出対象範囲であるマッチングブロックと複数のズレ量検出対象範囲との間の変位特徴量の相関を演算し相関指標値を算出する相関指標値算出手段とを設け、ズレ量検出手段が、複数の相関指標値の中で最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの別方向のズレ量を検出し、かつ、画素値積算手段は、ズレ量検出対象範囲より一方向の範囲が狭い小ブロック内の一方向毎に画素値を積算し、その画素値の積算値をバッファに格納し、複数の小ブロックを任意に組み合わせ、積算値を加算することにより、複数のズレ量検出対象範囲内の一方向における画素値の積算値を算出するようにしたものである。
【発明の効果】
【００１６】
この発明によれば、入力された画像から複数のズレ量検出対象範囲を抽出するズレ量検出対象範囲抽出手段と、複数のズレ量検出対象範囲内の一方向毎に画素値を積算して、積算値を算出する画素値積算手段と、複数のズレ量検出対象範囲毎に、積算値を用いて、当該ズレ量検出対象範囲における一方向と異なる方向である別方向の変位特徴量を算出する変位特徴量算出手段と、画像より先に入力された画像内の所定のズレ量検出対象範囲であるマッチングブロックと複数のズレ量検出対象範囲との間の変位特徴量の相関を演算し相関指標値を算出する相関指標値算出手段とを設け、ズレ量検出手段が、複数の相関指標値の中で最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの別方向のズレ量を検出し、かつ、画素値積算手段は、ズレ量検出対象範囲より一方向の範囲が狭い小ブロック内の一方向毎に画素値を積算し、その画素値の積算値をバッファに格納し、複数の小ブロックを任意に組み合わせ、積算値を加算することにより、複数のズレ量検出対象範囲内の一方向における画素値の積算値を算出するように構成したので、別方向に大きな画像ズレが発生しても、２枚の画像間のズレ量を高精度に検出することができる効果がある。
【図面の簡単な説明】
【００１７】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】この発明の実施の形態１による画像処理装置が行方向のズレ量を検出する際の処理内容を示すフローチャートである。
【図３】この発明の実施の形態１による画像処理装置が列方向のズレ量を検出する際の処理内容を示すフローチャートである。
【図４】複数のズレ量検出対象範囲内の各列における画素値の積算値の算出概念を示す説明図である。
【図５】行方向のズレ量を検出する際に用いるズレ量検出対象範囲及びマッチングブロックを示す説明図である。
【図６】行方向変位特徴量算出部４による行方向の変位特徴量の算出概念を示す説明図である。
【図７】行方向相関指標値算出部６による行方向の相関指標値の算出概念を示す説明図である。
【図８】画像Ａと画像Ｂ間の行方向のズレ量が検出される際、変位量がｙ０，ｙ１，ｙ２である例を示す説明図である。
【図９】複数のズレ量検出対象範囲内の各列における画素値の積算値の算出概念を示す説明図である。
【図１０】この発明の実施の形態２による画像処理装置を示す構成図である。
【図１１】従来の画像処理装置を示す構成図である。
【発明を実施するための形態】
【００１８】
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図である。
図１の画像処理装置では、画像を順次入力しながら、２枚の画像間のズレ量を検出するが、ここでは説明の便宜上、時間的に先に入力された画像Ａと、時間的に後に入力された画像Ｂとの間のズレ量を検出するものとして、以下の説明を行う。
図１において、列方向画像分割部１は画像Ａ（または画像Ｂ）を示す画像信号を入力すると、例えば、画像Ａ（または画像Ｂ）を列方向にＮ個に分割して、画像Ａ（または画像Ｂ）からＮ個の小ブロックを抽出し、Ｎ個の小ブロック内の列毎に画素値を積算して、その画素値の積算値を列方向分割積算値バッファ２に一時的に格納する処理を実施する。
列方向分割積算値バッファ２は複数の小ブロック内の各列における画素値の積算値を一時的に格納するメモリなどの記録媒体である。
【００１９】
列方向画素値積算部３は複数の小ブロックを任意に組み合わせて、列方向分割積算値バッファ２に格納されている組合せ対象の小ブロック内の各列における画素値の積算値を加算することで、複数のズレ量検出対象範囲内の各列における画素値の積算値を算出する処理を実施する。
なお、列方向画像分割部１はズレ量検出対象範囲抽出手段及び列方向画素値積算手段を構成しており、列方向画素値積算部３は列方向画素値積算手段を構成している。
【００２０】
図１の画像処理装置では、列方向画像分割部１が複数の小ブロックを抽出してから、各小ブロック内の列毎に画素値を積算し、列方向画素値積算部３が組合せ対象の小ブロック内の各列における画素値の積算値を加算することで、複数のズレ量検出対象範囲内の各列における画素値の積算値を算出する例を示したが、列方向画像分割部１では、画素値の積算処理を実施しないようにしてもよい。
即ち、列方向画像分割部１では、例えば、画像Ａ（または画像Ｂ）から列方向の一部が重なり合っている複数のズレ量検出対象範囲を抽出し、列方向画素値積算部３が列方向画像分割部１により抽出された複数のズレ量検出対象範囲内の列毎に画素値を積算して、複数のズレ量検出対象範囲内の各列における画素値の積算値を算出するようにしてもよい。
【００２１】
行方向変位特徴量算出部４は複数のズレ量検出対象範囲毎に、列方向画素値積算部３により算出された積算値を用いて、当該ズレ量検出対象範囲における行方向の変位特徴量を算出する処理を実施する。
即ち、行方向変位特徴量算出部４は列方向画素値積算部３により算出された各列の積算値の中から、所定の距離だけ行方向に離れている２つの列の積算値を特定し、行方向の変位特徴量として、２つの列の積算値の差分値を量子化する処理を実施する。なお、行方向変位特徴量算出部４は行方向変位特徴量算出手段を構成している。
行方向変位特徴量バッファ５は行方向変位特徴量算出部４により算出された行方向の変位特徴量を格納するメモリなどの記録媒体である。
【００２２】
行方向相関指標値算出部６は行方向変位特徴量算出部４により複数のズレ量検出対象範囲（画像Ｂから抽出された複数のズレ量検出対象範囲）における行方向の変位特徴量が算出されると、複数のズレ量検出対象範囲における行方向の変位特徴量と、画像Ａ内の所定のズレ量検出対象範囲であるマッチングブロック（例えば、画像Ａの中心に位置しているズレ量検出対象範囲）における行方向の変位特徴量（画像Ａは画像Ｂより時間的に先に入力されているので、マッチングブロックにおける行方向の変位特徴量は、行方向変位特徴量算出部４によって既に算出されて記憶されている）との間の相関指標値を算出する処理を実施する。なお、行方向相関指標値算出部６は行方向相関指標値算出手段を構成している。
【００２３】
行方向ズレ量検出部７は行方向相関指標値算出部６により算出された複数の相関指標値の中で、最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの行方向のズレ量を検出する処理を実施する。なお、行方向ズレ量検出部７は行方向ズレ量検出手段を構成している。
【００２４】
行方向画像分割部８は画像Ａ（または画像Ｂ）を示す画像信号を入力すると、例えば、画像Ａ（または画像Ｂ）を行方向にＮ個に分割して、画像Ａ（または画像Ｂ）からＮ個の小ブロックを抽出し、Ｎ個の小ブロック内の行毎に画素値を積算して、その画素値の積算値を行方向分割積算値バッファ９に一時的に格納する処理を実施する。
行方向分割積算値バッファ９は複数の小ブロック内の各行における画素値の積算値を一時的に格納するメモリなどの記録媒体である。
【００２５】
行方向画素値積算部１０は複数の小ブロックを任意に組み合わせて、行方向分割積算値バッファ９に格納されている組合せ対象の小ブロック内の各行における画素値の積算値を加算することで、複数のズレ量検出対象範囲内の各行における画素値の積算値を算出する処理を実施する。
なお、行方向画像分割部８はズレ量検出対象範囲抽出手段及び行方向画素値積算手段を構成しており、行方向画素値積算部１０は行方向画素値積算手段を構成している。
【００２６】
図１の画像処理装置では、行方向画像分割部８が複数の小ブロックを抽出してから、各小ブロック内の行毎に画素値を積算し、行方向画素値積算部１０が組合せ対象の小ブロック内の各行における画素値の積算値を加算することで、複数のズレ量検出対象範囲内の各行における画素値の積算値を算出する例を示したが、行方向画像分割部８では、画素値の積算処理を実施しないようにしてもよい。
即ち、行方向画像分割部８では、例えば、画像Ａ（または画像Ｂ）から行方向の一部が重なり合っている複数のズレ量検出対象範囲を抽出し、行方向画素値積算部１０が行方向画像分割部８により抽出された複数のズレ量検出対象範囲内の行毎に画素値を積算して、複数のズレ量検出対象範囲内の各行における画素値の積算値を算出するようにしてもよい。
【００２７】
列方向変位特徴量算出部１１は複数のズレ量検出対象範囲毎に、行方向画素値積算部１０により算出された積算値を用いて、当該ズレ量検出対象範囲における列方向の変位特徴量を算出する処理を実施する。
即ち、列方向変位特徴量算出部１１は行方向画素値積算部１０により算出された各行の積算値の中から、所定の距離だけ列方向に離れている２つの行の積算値を特定し、列方向の変位特徴量として、２つの行の積算値の差分値を量子化する処理を実施する。なお、列方向変位特徴量算出部１１は列方向変位特徴量算出手段を構成している。
列方向変位特徴量バッファ１２は列方向変位特徴量算出部１１により算出された列方向の変位特徴量を格納するメモリなどの記録媒体である。
【００２８】
列方向相関指標値算出部１３は列方向変位特徴量算出部１１により複数のズレ量検出対象範囲（画像Ｂから抽出された複数のズレ量検出対象範囲）における列方向の変位特徴量が算出されると、複数のズレ量検出対象範囲における列方向の変位特徴量と、画像Ａ内の所定のズレ量検出対象範囲であるマッチングブロック（例えば、画像Ａの中心に位置しているズレ量検出対象範囲）における列方向の変位特徴量（画像Ａは画像Ｂより時間的に先に入力されているので、マッチングブロックにおける列方向の変位特徴量は、列方向変位特徴量算出部１１によって既に算出されて記憶されている）との間の相関指標値を算出する処理を実施する。なお、列方向相関指標値算出部１３は列方向相関指標値算出手段を構成している。
【００２９】
列方向ズレ量検出部１４は列方向相関指標値算出部１３により算出された複数の相関指標値の中で、最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの列方向のズレ量を検出する処理を実施する。なお、列方向ズレ量検出部１４は列方向ズレ量検出手段を構成している。
【００３０】
図１では、画像処理装置の構成要素である列方向画像分割部１、列方向画素値積算部３、行方向変位特徴量算出部４、行方向相関指標値算出部６、行方向ズレ量検出部７、行方向画像分割部８、行方向画素値積算部１０、列方向変位特徴量算出部１１、列方向相関指標値算出部１３及び列方向ズレ量検出部１４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなど）で構成されているものを想定しているが、画像処理装置がコンピュータで構成される場合、列方向画像分割部１、列方向画素値積算部３、行方向変位特徴量算出部４、行方向相関指標値算出部６、行方向ズレ量検出部７、行方向画像分割部８、行方向画素値積算部１０、列方向変位特徴量算出部１１、列方向相関指標値算出部１３及び列方向ズレ量検出部１４の処理内容が記述されているプログラムを当該コンピュータのメモリに記憶し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による画像処理装置が行方向のズレ量を検出する際の処理内容を示すフローチャートである。
また、図３はこの発明の実施の形態１による画像処理装置が列方向のズレ量を検出する際の処理内容を示すフローチャートである。
【００３１】
次に動作について説明する。
この実施の形態１では、画像が順次入力され、新たに画像が入力される毎に、現在入力された画像と、１回前に入力された画像間のズレ量を検出するものとする。
ここでは、１回前に入力された画像が画像Ａ、現在入力された画像が画像Ｂであるとして、画像Ａと画像Ｂ間のズレ量を検出する。
以下、画像Ｂが入力された時点の処理を記述し、画像Ａについては、以下に示す画像Ｂに対する処理と同様の処理が既に施されている。
【００３２】
この実施の形態１では、図５に示すように、画像Ａ，画像Ｂの行方向のピクセルサイズがＷＳｈ、列方向のピクセルサイズがＷＳｖであるとする。
また、画像Ａにおける座標（ｉ，ｊ）の画素信号値がＤ’（ｉ，ｊ）、画像Ｂにおける座標（ｉ，ｊ）の画素信号値がＤ（ｉ，ｊ）であるとする。ただし、座標原点は、画像Ａ，画像Ｂの中心右下画素の座標である。
また、ズレ量検出対象範囲の行方向のピクセルサイズがＳＳｈ、列方向のピクセルサイズがＳＳｖであるとする。
【００３３】
図５では、行方向のズレ量を検出する際に用いるズレ量検出対象範囲として、行方向の範囲が画像上部である画像Ｂのズレ量検出対象範囲（ａ）と、行方向の範囲が画像中央部である画像Ｂのズレ量検出対象範囲（ｂ）と、行方向の範囲が画像下部である画像Ｂのズレ量検出対象範囲（ｃ）とを記載しているが、（ａ）（ｂ）（ｃ）のズレ量検出対象範囲と行方向の範囲が異なるズレ量検出対象範囲の記載を省略している。
例えば、画像Ａ，画像Ｂの行方向のピクセルサイズＷＳｈが１００、ズレ量検出対象範囲の行方向のピクセルサイズＳＳｈが５０であり、行方向に１画素ずれる毎にズレ量検出対象範囲が設けられる場合、列方向の範囲が同一のズレ量検出対象範囲として、５１個のズレ量検出対象範囲が設けられる。
図５では、列方向のズレ量を検出する際に用いるズレ量検出対象範囲を例示していないが、行方向のズレ量を検出する際に用いるズレ量検出対象範囲を９０度回転させたものと同じになる。
【００３４】
最初に、行方向のズレ量の検出処理について説明する。
列方向画像分割部１は、画像Ｂを示す画像信号を入力すると、画像Ｂを列方向にＮ個に分割して、画像ＢからＮ個の小ブロックを抽出し（図２のステップＳＴ１）、Ｎ個の小ブロック内の列毎に画素値を積算して、その画素値の積算値を列方向分割積算値バッファ２に一時的に格納する（ステップＳＴ２）。
例えば、図４に示すように、画像Ｂから、列方向の範囲が同一のズレ量検出対象範囲を複数個含んでいる３種類のズレ量検出対象範囲を抽出する場合（図中、太い黒枠は、列方向の範囲が同一のズレ量検出対象範囲を複数個含んでいるズレ量検出対象範囲群（１）〜（３）を示しており、ズレ量検出対象範囲群（１）〜（３）は、画像Ｂの中心からの変位量がｙ０，ｙ１，ｙ２であるズレ量検出対象範囲を含んでいる）、画像Ｂを列方向に４分割して、画像Ｂから４個の小ブロック（１）〜（４）を抽出する。
したがって、この場合、４個の小ブロック（１）〜（４）について、各小ブロック内の列毎に画素値を積算して、その画素値の積算値を列方向分割積算値バッファ２に一時的に格納する。
【００３５】
列方向画素値積算部３は複数の小ブロックを任意に組み合わせて、列方向分割積算値バッファ２に格納されている組合せ対象の小ブロック内の各列における画素値の積算値を加算することで、複数のズレ量検出対象範囲内の各列における画素値の積算値Ｓｈ（ｈ，ｙｎ）を算出する（ステップＳＴ３）。
図４に示すように、画像Ｂから４個の小ブロック（１）〜（４）が抽出されている場合、小ブロック（１）と小ブロック（２）を組み合わせて、小ブロック（１）内の各列における画素値の積算値と、小ブロック（２）内の各列における画素値の積算値とを、同一の列毎に加算することで、ズレ量検出対象範囲群（１）に含まれている複数のズレ量検出対象範囲内の各列における画素値の積算値を算出する。
【００３６】
また、小ブロック（２）と小ブロック（３）を組み合わせて、小ブロック（２）内の各列における画素値の積算値と、小ブロック（３）内の各列における画素値の積算値とを、同一の列毎に加算することで、ズレ量検出対象範囲群（２）に含まれている複数のズレ量検出対象範囲内の各列における画素値の積算値を算出する。
さらに、小ブロック（３）と小ブロック（４）を組み合わせて、小ブロック（３）内の各列における画素値の積算値と、小ブロック（４）内の各列における画素値の積算値とを、同一の列毎に加算することで、ズレ量検出対象範囲群（３）に含まれている複数のズレ量検出対象範囲内の各列における画素値の積算値を算出する。
【００３７】
ここで、画像Ｂから抽出される複数のズレ量検出対象範囲内の各列における画素値の積算値Ｓｈ（ｈ，ｙｎ）は、以下の式（１）で表わされる。
0005622501.tif 000002
【００３８】
また、画像Ａから抽出される複数のズレ量検出対象範囲のうち、例えば、画像Ａの中心に位置しているズレ量検出対象範囲であるマッチングブロック内の各列における画素値の積算値Ｓｈ’（ｈ’）は、以下の式（２）で表わされる。
0005622501.tif 000003
【００３９】
図４では、ｙｎ＝ｙ０，ｙ１，ｙ２である例を示しているが、ｙｎの個数を増やすことでズレ量の検出精度を高めることが可能である。
しかし、Ｎ個のｙｎを設定して、ｙｎ毎に独立して積算値を保持しようとすると、大容量の積算値バッファが必要になる。
そこで、この実施の形態１では、列方向分割積算値バッファ２をリング状に使用することで、列方向分割積算値バッファ２の容量の低減を図っている。
即ち、この実施の形態１では、ズレ量を検出する対象の画像が順次入力されるので、ｙｎ及びＳＳｖから決定される列方向の積算値の重なり部分を共通化して保持し、不要になった部分（前方）の保持領域を新たに必要な部分（後方）の保持領域として再利用するようにしている。
図４に示すように、ＳＳｖの１／２の間隔でｙｎが並んでいるような場合、画像の上方向から２つの積算値バッファＡ，Ｂをリング状に使いまわしていくだけで、所望の列方向の積算値を得ることが可能である。この場合、ｙｎの個数がいくつであっても、ｙｎ毎に独立して積算値を保持する場合と比べて、２倍以下のバッファ容量で列方向分割積算値バッファ２を構成することが可能である。
【００４０】
行方向変位特徴量算出部４は、画像Ｂから抽出された複数のズレ量検出対象範囲毎に、列方向画素値積算部３により算出された積算値Ｓｈ（ｈ，ｙｎ）を用いて、当該ズレ量検出対象範囲における行方向の変位特徴量Ｐ（ｈ，ｙｎ）を算出する（ステップＳＴ４）。
即ち、行方向変位特徴量算出部４は、列方向画素値積算部３により算出された積算値Ｓｈ（ｈ，ｙｎ）の中から、所定の距離だけ行方向に離れている２つの列（最も単純には、左右に隣り合う２つの列）の積算値を特定し、行方向の変位特徴量Ｐ（ｈ，ｙｎ）として、２つの列の積算値の差分値を量子化する。
【００４１】
ここで、図６は行方向変位特徴量算出部４による行方向の変位特徴量の算出概念を示す説明図である。
画像Ｂから抽出されるズレ量検出対象範囲における行方向の変位特徴量Ｐ（ｈ，ｙｎ）は、以下の式（３）で表わされる。
0005622501.tif 000004
【００４２】
また、画像Ａから抽出される複数のズレ量検出対象範囲のうち、例えば、画像Ａの中心に位置しているズレ量検出対象範囲であるマッチングブロックにおける行方向の変位特徴量Ｐ’（ｈ’）は、以下の式（４）で表わされる。
0005622501.tif 000005
【００４３】
式（３）（４）において、ｆｉｘ（Ａ）はＡの０方向への小数点以下切捨てを表すものである。
また、Ｔｈは行方向量子化のステップ幅であり、ｄｉｓｔｈは変位特徴量を算出する際の積算値間の行方向距離である。
量子化のステップ数や上下限は特記していないが、任意の数に設定することが可能である。
【００４４】
行方向の変位特徴量Ｐ（ｈ，ｙｎ），Ｐ’（ｈ’）を式（３）（４）で表わすと、図６に示すように、２つの列の積算値に応じて、行方向の変位特徴量Ｐ（ｈ，ｙｎ），Ｐ’（ｈ’）が、“−１”，“０”または“１”で表わされる。
行方向変位特徴量算出部４により算出された行方向の変位特徴量Ｐ（ｈ，ｙｎ），Ｐ’（ｈ’）は、後段の行方向相関指標値算出部６による相関演算を可能にするために、行方向変位特徴量バッファ５に格納される。
【００４５】
行方向相関指標値算出部６は、画像Ｂから抽出された複数のズレ量検出対象範囲における行方向の変位特徴量Ｐ（ｈ，ｙｎ）と、画像Ａから抽出されたマッチングブロックにおける行方向の変位特徴量Ｐ’（ｈ’）との間の相関指標値Ｉｈ（ｋ，ｙｎ）を算出する（ステップＳＴ５）。
即ち、行方向相関指標値算出部６は、画像Ｂから抽出された複数のズレ量検出対象範囲における行方向の変位特徴量Ｐ（ｈ，ｙｎ）と、画像Ａから抽出されたマッチングブロックにおける行方向の変位特徴量Ｐ’（ｈ’）との相関演算を実施することで、画像Ｂから抽出された複数のズレ量検出対象範囲における行方向の変位特徴量と、画像Ａから抽出されたマッチングブロックにおける行方向の変位特徴量とがどれだけ似ているかを示す行方向の相関指標値Ｉｈ（ｋ，ｙｎ）を算出する。
この際、画像Ａ，Ｂ間で、変位量ｙｎ及び行方向のズレ量ｋを変化させながら相関演算を繰り返すことで、それぞれの変位量ｙｎ及び行方向のズレ量ｋに係る行方向の相関指標値Ｉｈ（ｋ，ｙｎ）を算出する。
【００４６】
ここで、図７は行方向相関指標値算出部６による行方向の相関指標値の算出概念を示す説明図である。
図７では、行方向相関指標値算出部６による相関演算として、差分絶対値和演算を実施している例を示している。
差分絶対値和演算の場合、行方向の相関指標値Ｉｈ（ｋ，ｙｎ）は、以下の式（５）で表わされる。
0005622501.tif 000006
なお、行方向相関指標値算出部６による相関演算は差分絶対値和演算に限るものではなく、相関指標となる値を算出できるのであれば、どのような演算を用いてもよい。
【００４７】
行方向ズレ量検出部７は、行方向相関指標値算出部６が行方向の相関指標値Ｉｈ（ｋ，ｙｎ）を算出すると、行方向相関指標値算出部６から行方向の相関指標値Ｉｈ（ｋ，ｙｎ）と、その相関指標値Ｉｈ（ｋ，ｙｎ）に対応する行方向のズレ量ｋを受け取る。
そして、行方向ズレ量検出部７は、行方向相関指標値算出部６により算出された複数の相関指標値Ｉｈ（ｋ，ｙｎ）の中で、最も相関が高い旨を示している相関指標値（行方向相関指標値算出部６による相関演算が差分絶対値和演算であれば、最小の相関指標値）に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの行方向のズレ量ｋｍｉｎを検出する（ステップＳＴ６）。
即ち、行方向ズレ量検出部７は、行方向相関指標値算出部６による相関演算が差分絶対値和演算であれば、最小の行方向の相関指標値Ｉｈ（ｋ，ｙｎ）に対応する行方向のズレ量ｋｍｉｎを、画像Ａと画像Ｂ間の行方向のズレ量として出力する。
【００４８】
これにより、画像Ａと画像Ｂ間の行方向のズレ量が検出されるが、従来例と異なり、変位量ｙｎによって、有意な特徴点が列方向に移動している位置との比較が可能になっているため、行方向のズレ量の検出精度を、列方向のズレ量の検出精度に与えることなく、高めることが可能である。
【００４９】
ここで、図８は画像Ａと画像Ｂ間の行方向のズレ量が検出される際、変位量がｙ０，ｙ１，ｙ２である例を示す説明図である。
図８では、行方向のズレ量を検出するに際して、唯一の有意な特徴点（図中、“Ａ”の文字）が大きくずれてしまって、変位量ｙ１のズレ量検出対象範囲（ｂ）の外に出てしまっている。
このため、変位量ｙ１のズレ量検出対象範囲（ｂ）とマッチングブロック（ｄ）の間で、行方向の相関指標値Ｉｈ（ｋ，ｙ１）を算出しても、行方向のズレ量を検出することが不可能である。
しかし、変位量ｙ０のズレ量検出対象範囲（ａ）内には、唯一の有意な特徴点が存在しているため、変位量ｙ０のズレ量検出対象範囲（ａ）とマッチングブロック（ｄ）の間で、行方向の相関指標値Ｉｈ（ｋ，ｙ０）を算出すれば、行方向のズレ量を正確に検出することが可能である。
【００５０】
次に、行方向のズレ量の検出処理について説明する。
行方向画像分割部８は、画像Ｂを示す画像信号を入力すると、画像Ｂを行方向にＮ個に分割して、画像ＢからＮ個の小ブロックを抽出し（図３のステップＳＴ１１）、Ｎ個の小ブロック内の行毎に画素値を積算して、その画素値の積算値を行方向分割積算値バッファ９に一時的に格納する（ステップＳＴ１２）。
次に、行方向画像分割部８は、複数の小ブロックを任意に組み合わせて、行方向分割積算値バッファ９に格納されている組合せ対象の小ブロック内の各行における画素値の積算値を加算することで、複数のズレ量検出対象範囲内の各行における画素値の積算値Ｓｖ（ｘｎ，ｖ）を算出する（ステップＳＴ１３）。
行方向画像分割部８の処理内容は、画像Ｂを９０度回転させれば、列方向画像分割部１の処理内容と同じになるので詳細な説明を省略する。
【００５１】
ここで、画像Ｂから抽出される複数のズレ量検出対象範囲内の各行における画素値の積算値Ｓｖ（ｘｎ，ｖ）は、以下の式（６）で表わされる。
0005622501.tif 000007
【００５２】
また、画像Ａから抽出される複数のズレ量検出対象範囲のうち、例えば、画像Ａの中心に位置しているズレ量検出対象範囲であるマッチングブロック内の各列における画素値の積算値Ｓｖ’（ｖ’）は、以下の式（７）で表わされる。
0005622501.tif 000008
【００５３】
図４では、ｙｎ＝ｙ０，ｙ１，ｙ２である例を示しているが、画像Ｂを９０度回転させれば、ｘｎ＝ｘ０，ｘ１，ｘ２である例を示していることになる。
列方向のズレ量を検出する場合も、ｘｎの個数を増やすことでズレ量の検出精度を高めることが可能である。
図４の場合と同様に、ＳＳｈの１／２の間隔でｘｎが並んでいるような場合、画像の左方向から２つの積算値バッファＡ，Ｂをリング状に使いまわしていくだけで、所望の行方向の積算値を得ることが可能である。この場合、ｘｎの個数がいくつであっても、ｘｎ毎に独立して積算値を保持する場合と比べて、２倍以下のバッファ容量で行方向分割積算値バッファ９を構成することが可能である。
【００５４】
列方向変位特徴量算出部１１は、画像Ｂから抽出された複数のズレ量検出対象範囲毎に、行方向画素値積算部１０により算出された積算値Ｓｖ（ｘｎ，ｖ）を用いて、当該ズレ量検出対象範囲における列方向の変位特徴量Ｑ（ｘｎ，ｖ）を算出する（ステップＳＴ１４）。
即ち、列方向変位特徴量算出部１１は、行方向画素値積算部１０により算出された積算値Ｓｖ（ｘｎ，ｖ）の中から、所定の距離だけ列方向に離れている２つの行（最も単純には、上下に隣り合う２つの行）の積算値を特定し、列方向の変位特徴量Ｑ（ｘｎ，ｖ）として、２つの行の積算値の差分値を量子化する。
【００５５】
画像Ｂから抽出されるズレ量検出対象範囲における列方向の変位特徴量Ｑ（ｘｎ，ｖ）は、以下の式（８）で表わされる。
0005622501.tif 000009
【００５６】
また、画像Ａから抽出される複数のズレ量検出対象範囲のうち、例えば、画像Ａの中心に位置しているズレ量検出対象範囲であるマッチングブロックにおける列方向の変位特徴量Ｑ’（ｖ’）は、以下の式（９）で表わされる。
0005622501.tif 000010
【００５７】
式（８）（９）において、ｆｉｘ（Ａ）はＡの０方向への小数点以下切捨てを表すものである。
また、Ｔｖは列方向量子化のステップ幅であり、ｄｉｓｔｖは変位特徴量を算出する際の積算値間の列方向距離である。
量子化のステップ数や上下限は特記していないが、任意の数に設定することが可能である。
【００５８】
列方向の変位特徴量Ｑ（ｘｎ，ｖ），Ｑ’（ｖ’）を式（８）（９）で表わすと、２つの行の積算値に応じて、列方向の変位特徴量Ｑ（ｘｎ，ｖ），Ｑ’（ｖ’）が、行方向の変位特徴量Ｐ（ｈ，ｙｎ），Ｐ’（ｈ’）と同様に、“−１”，“０”または“１”で表わされる。
列方向変位特徴量算出部１１により算出された列方向の変位特徴量Ｑ（ｘｎ，ｖ），Ｑ’（ｖ’）は、後段の列方向相関指標値算出部１３による相関演算を可能にするために、列方向変位特徴量バッファ１２に格納される。
【００５９】
列方向相関指標値算出部１３は、画像Ｂから抽出された複数のズレ量検出対象範囲における列方向の変位特徴量Ｑ（ｘｎ，ｖ）と、画像Ａから抽出されたマッチングブロックにおける列方向の変位特徴量Ｑ’（ｖ’）との間の相関指標値Ｉｖ（ｘｎ，ｌ）を算出する（ステップＳＴ１５）。
即ち、列方向相関指標値算出部１３は、画像Ｂから抽出された複数のズレ量検出対象範囲における列方向の変位特徴量Ｑ（ｘｎ，ｖ）と、画像Ａから抽出されたマッチングブロックにおける列方向の変位特徴量Ｑ’（ｖ’）との相関演算を実施することで、画像Ｂから抽出された複数のズレ量検出対象範囲における列方向の変位特徴量と、画像Ａから抽出されたマッチングブロックにおける列方向の変位特徴量とがどれだけ似ているかを示す列方向の相関指標値Ｉｖ（ｘｎ，ｌ）を算出する。
この際、画像Ａ，Ｂ間で、変位量ｘｎ及び列方向のズレ量ｌを変化させながら相関演算を繰り返すことで、それぞれの変位量ｘｎ及び列方向のズレ量ｌに係る列方向の相関指標値Ｉｖ（ｘｎ，ｌ）を算出する。
【００６０】
例えば、列方向相関指標値算出部１３による相関演算が差分絶対値和演算である場合、列方向の相関指標値Ｉｖ（ｘｎ，ｌ）は、以下の式（１０）で表わされる。
0005622501.tif 000011
なお、列方向相関指標値算出部１３による相関演算は差分絶対値和演算に限るものではなく、相関指標となる値を算出できるのであれば、どのような演算を用いてもよい。
【００６１】
列方向ズレ量検出部１４は、列方向相関指標値算出部１３が列方向の相関指標値Ｉｖ（ｘｎ，ｌ）を算出すると、列方向相関指標値算出部１３から列方向の相関指標値Ｉｖ（ｘｎ，ｌ）と、その相関指標値Ｉｖ（ｘｎ，ｌ）に対応する列方向のズレ量ｌを受け取る。
そして、列方向ズレ量検出部１４は、列方向相関指標値算出部１３により算出された複数の相関指標値の中で、最も相関が高い旨を示している相関指標値（列方向相関指標値算出部１３による相関演算が差分絶対値和演算であれば、最小の相関指標値）に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの列方向のズレ量ｌｍｉｎを検出する（ステップＳＴ１６）。
即ち、列方向ズレ量検出部１４は、列方向ズレ量検出部１４による相関演算が差分絶対値和演算であれば、最小の列方向の相関指標値Ｉｖ（ｘｎ，ｌ）に対応する列方向のズレ量ｌｍｉｎを、画像Ａと画像Ｂ間の列方向のズレ量として出力する。
【００６２】
これにより、画像Ａと画像Ｂ間の列方向のズレ量が検出されるが、従来例と異なり、変位量ｘｎによって、有意な特徴点が行方向に移動している位置との比較が可能になっているため、列方向のズレ量の検出精度を、行方向のズレ量の検出精度に与えることなく、高めることが可能である。
【００６３】
以上で明らかなように、この実施の形態１によれば、画像Ｂから抽出された複数のズレ量検出対象範囲内の各列における画素値の積算値を算出する列方向画素値積算部３と、画像Ｂから抽出された複数のズレ量検出対象範囲毎に、列方向画素値積算部３により算出された積算値を用いて、当該ズレ量検出対象範囲における行方向の変位特徴量を算出する行方向変位特徴量算出部４と、行方向変位特徴量算出部４により算出された複数のズレ量検出対象範囲における行方向の変位特徴量と画像Ａ内のマッチングブロックにおける行方向の変位特徴量との間の相関指標値を算出する行方向相関指標値算出部６とを設け、行方向ズレ量検出部７が、行方向相関指標値算出部６により算出された複数の相関指標値の中で、最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの行方向のズレ量を検出するように構成したので、行方向に大きな画像ズレが発生しても、画像Ａと画像Ｂ間のズレ量を高精度に検出することができる効果を奏する。
【００６４】
また、この実施の形態１によれば、画像Ｂから抽出された複数のズレ量検出対象範囲内の各列における画素値の積算値を算出する行方向画素値積算部１０と、画像Ｂから抽出された複数のズレ量検出対象範囲毎に、行方向画素値積算部１０により算出された積算値を用いて、当該ズレ量検出対象範囲における列方向の変位特徴量を算出する列方向変位特徴量算出部１１と、列方向変位特徴量算出部１１により算出された複数のズレ量検出対象範囲における列方向の変位特徴量と画像Ａ内のマッチングブロックにおける列方向の変位特徴量との間の相関指標値を算出する列方向相関指標値算出部１３とを設け、列方向ズレ量検出部１４が、列方向相関指標値算出部１３により算出された複数の相関指標値の中で、最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの列方向のズレ量を検出するように構成したので、列方向に大きな画像ズレが発生しても、画像Ａと画像Ｂ間のズレ量を高精度に検出することができる効果を奏する。
【００６５】
なお、この実施の形態１では、ＳＳｖの１／２の間隔でｙｎが並んでいるような場合、画像の上方向から２つの積算値バッファＡ，Ｂをリング状に使いまわしている例を示したが（図４を参照）、図９に示すように、ＳＳｖの１／４の間隔でｙｎが並んでいるような場合、画像の上方向から４つの積算値バッファＡ，Ｂ，Ｃ，Ｄをリング状に使いまわすことで、列方向分割積算値バッファ２の容量の低減を図るようにしてもよい。
この場合、ｙｎの個数がいくつであっても、ｙｎ毎に独立して積算値を保持する場合と比べて、４倍以下のバッファ容量で列方向分割積算値バッファ２を構成することが可能である。
行方向分割積算値バッファ９についても、画像が９０度回転しているだけで、全く同じことが言える。
【００６６】
なお、ｙｎ（またはｘｎ）は、ＳＳｖ（またはＳＳｈ）の１／２の間隔や１／４の間隔で並んでいるものに限るものではなく、ＳＳｖ（またはＳＳｈ）の公約数となる間隔で並んでいれば、列方向分割積算値バッファ２（または行方向分割積算値バッファ９）の容量の低減を図ることができる。
【００６７】
実施の形態２．
図１０はこの発明の実施の形態２による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
行方向ズレ量検出前処理部１５は行方向相関指標値算出部６により算出された行方向の変位特徴量間の相関指標値を行方向ズレ量検出後処理部１６に出力するとともに、その行方向の変位特徴量間の相関指標値から列方向の変位特徴量間の相関指標値を算出して、その列方向の変位特徴量間の相関指標値を列方向ズレ量検出後処理部１８に出力する処理を実施する。
この実施の形態２では、行方向相関指標値算出部６及び行方向ズレ量検出前処理部１５から行方向相関指標値算出手段が構成されている。
【００６８】
行方向ズレ量検出後処理部１６は行方向ズレ量検出前処理部１５から出力された行方向の変位特徴量間の相関指標値と、列方向ズレ量検出前処理部１７から出力された行方向の変位特徴量間の相関指標値とを総合し（例えば、２つの相関指標値の加算、重み付け加算、乗算など）、複数の総合後の相関指標値の中で、最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの行方向のズレ量を検出する処理を実施する。なお、行方向ズレ量検出後処理部１６は行方向ズレ量検出手段を構成している。
【００６９】
列方向ズレ量検出前処理部１７は列方向相関指標値算出部１３により算出された列方向の変位特徴量間の相関指標値を列方向ズレ量検出後処理部１８に出力するとともに、その列方向の変位特徴量間の相関指標値から行方向の変位特徴量間の相関指標値を算出して、その行方向の変位特徴量間の相関指標値を行方向ズレ量検出後処理部１６に出力する処理を実施する。
この実施の形態２では、列方向相関指標値算出部１３及び列方向ズレ量検出前処理部１７から列方向相関指標値算出手段が構成されている。
【００７０】
列方向ズレ量検出後処理部１８は列方向ズレ量検出前処理部１７から出力された列方向の変位特徴量間の相関指標値と、行方向ズレ量検出前処理部１５から出力された列方向の変位特徴量間の相関指標値とを総合し（例えば、２つの相関指標値の加算、重み付け加算、乗算など）、複数の総合後の相関指標値の中で、最も相関が高い旨を示している相関指標値に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの列方向のズレ量を検出する処理を実施する。なお、列方向ズレ量検出後処理部１８は列方向ズレ量検出手段を構成している。
【００７１】
図１０では、画像処理装置の構成要素である列方向画像分割部１、列方向画素値積算部３、行方向変位特徴量算出部４、行方向相関指標値算出部６、行方向ズレ量検出前処理部１５、行方向ズレ量検出後処理部１６、行方向画像分割部８、行方向画素値積算部１０、列方向変位特徴量算出部１１、列方向相関指標値算出部１３、列方向ズレ量検出前処理部１７及び列方向ズレ量検出後処理部１８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコンなど）で構成されているものを想定しているが、画像処理装置がコンピュータで構成される場合、列方向画像分割部１、列方向画素値積算部３、行方向変位特徴量算出部４、行方向相関指標値算出部６、行方向ズレ量検出前処理部１５、行方向ズレ量検出後処理部１６、行方向画像分割部８、行方向画素値積算部１０、列方向変位特徴量算出部１１、列方向相関指標値算出部１３、列方向ズレ量検出前処理部１７及び列方向ズレ量検出後処理部１８の処理内容が記述されているプログラムを当該コンピュータのメモリに記憶し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００７２】
次に動作について説明する。
ただし、行方向ズレ量検出部７の代わりに、行方向ズレ量検出前処理部１５及び行方向ズレ量検出後処理部１６が設けられ、列方向ズレ量検出部１４の代わりに、列方向ズレ量検出前処理部１７及び列方向ズレ量検出後処理部１８が設けられている点以外は、上記実施の形態１と同様であるため、ここでは、行方向ズレ量検出前処理部１５、行方向ズレ量検出後処理部１６、列方向ズレ量検出前処理部１７及び列方向ズレ量検出後処理部１８の処理内容だけを説明する。
【００７３】
行方向ズレ量検出前処理部１５は、上記実施の形態１と同様にして、行方向相関指標値算出部６が行方向の相関指標値Ｉｈ（ｋ，ｙｎ）を算出すると、行方向相関指標値算出部６から行方向の相関指標値Ｉｈ（ｋ，ｙｎ）と、その相関指標値Ｉｈ（ｋ，ｙｎ）に対応する行方向のズレ量ｋを受け取る。
そして、行方向ズレ量検出前処理部１５は、変位量ｙｎ毎に、複数の相関指標値Ｉｈ（ｋ，ｙｎ）の中で、最も相関が高い旨を示している相関指標値（行方向相関指標値算出部６による相関演算が差分絶対値和演算であれば、最小の相関指標値）に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの行方向のズレ量ｋｙｍｉｎ（ｙｎ）を検出する。
即ち、行方向ズレ量検出前処理部１５は、行方向相関指標値算出部６による相関演算が差分絶対値和演算であれば、変位量ｙｎ毎に、最小の行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）を検出するとともに、その相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）に対応する行方向のズレ量ｋｙｍｉｎ（ｙｎ）を検出し、最小の行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）と行方向のズレ量ｋｙｍｉｎ（ｙｎ）を行方向ズレ量検出後処理部１６に出力する。
【００７４】
また、行方向ズレ量検出前処理部１５は、変位量ｙｎの行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）から新たに列方向の相関指標値Ｊｖ（ｙｎ）を算出し、列方向の相関指標値Ｊｖ（ｙｎ）を列方向ズレ量検出後処理部１８に出力する。
行方向ズレ量検出前処理部１５により新たに算出される列方向の相関指標値Ｊｖ（ｙｎ）は、変位量ｙｎを列方向の移動量と捉えることで、列方向の移動量に対する新たな相関指標値として使用することができる。
【００７５】
ここでは、行方向ズレ量検出前処理部１５が、変位量ｙｎ毎に、行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）から列方向の相関指標値Ｊｖ（ｙｎ）を算出しているが、行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）をそのまま列方向の相関指標値Ｊｖ（ｙｎ）として使用するようにしてもよい。
また、各変位量ｙｎの相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）の優劣を判定し（例えば、相関指標値が小さい程、優れている（似ている旨を示している）と判定する）、その相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）が優れている程、列方向の相関指標値Ｊｖ（ｙｎ）として、小さな値を与えるようにしてもよい。
ただし、これは一例に過ぎず、相関指標値Ｊｖ（ｙｎ）によって、変位量ｙｎ間の比較を実施することが可能な値が得られれば、どのような演算でも使用可能である。
【００７６】
列方向ズレ量検出前処理部１７は、上記実施の形態１と同様にして、列方向相関指標値算出部１３が列方向の相関指標値Ｉｖ（ｘｎ，ｌ）を算出すると、列方向相関指標値算出部１３から列方向の相関指標値Ｉｖ（ｘｎ，ｌ）と、その相関指標値Ｉｖ（ｘｎ，ｌ）に対応する行方向のズレ量ｌを受け取る。
そして、列方向ズレ量検出前処理部１７は、変位量ｘｎ毎に、複数の相関指標値Ｉｖ（ｘｎ，ｌ）の中で、最も相関が高い旨を示している相関指標値（列方向相関指標値算出部１３による相関演算が差分絶対値和演算であれば、最小の相関指標値）に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの列方向のズレ量ｌｘｍｉｎ（ｘｎ）を検出する。
即ち、列方向ズレ量検出前処理部１７は、列方向相関指標値算出部１３による相関演算が差分絶対値和演算であれば、変位量ｘｎ毎に、最小の列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）を検出するとともに、その相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）に対応する列方向のズレ量ｌｘｍｉｎ（ｘｎ）を検出し、最小の列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）と列方向のズレ量ｌｘｍｉｎ（ｘｎ）を列方向ズレ量検出後処理部１８に出力する。
【００７７】
また、列行方向ズレ量検出前処理部１７は、変位量ｘｎの列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）から新たに行方向の相関指標値Ｊｈ（ｘｎ）を算出し、行方向の相関指標値Ｊｈ（ｘｎ）を行方向ズレ量検出後処理部１６に出力する。
列方向ズレ量検出前処理部１７により新たに算出される行方向の相関指標値Ｊｈ（ｘｎ）は、変位量ｘｎを行方向の移動量と捉えることで、行方向の移動量に対する新たな相関指標値として使用することができる。
【００７８】
ここでは、列行方向ズレ量検出前処理部１７が、変位量ｘｎ毎に、列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）から行方向の相関指標値Ｊｈ（ｘｎ）を算出しているが、列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）をそのまま行方向の相関指標値Ｊｈ（ｘｎ）として使用するようにしてもよい。
また、各変位量ｘｎの相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）の優劣を判定し（例えば、相関指標値が小さい程、優れている（似ている旨を示している）と判定する）、その相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）が優れている程、列方向の相関指標値Ｊｈ（ｘｎ）として、小さな値を与えるようにしてもよい。
ただし、これは一例に過ぎず、相関指標値Ｊｈ（ｘｎ）によって、変位量ｘｎ間の比較を実施することが可能な値が得られれば、どのような演算でも使用可能である。
【００７９】
行方向ズレ量検出後処理部１６は、行方向ズレ量検出前処理部１５から、変位量ｙｎ毎に、行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）と行方向のズレ量ｋｙｍｉｎ（ｙｎ）を受け取り、列行方向ズレ量検出前処理部１７から、行方向の相関指標値Ｊｈ（ｘｎ）を受け取る。
そして、行方向ズレ量検出後処理部１６は、行方向のズレ量ｋｙｍｉｎ（ｙｎ）を、最も近い変位量ｘｎに丸めた値ｆｘｎ（ｋｙｍｉｎ（ｙｎ））を算出し、行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）とＪｈ（ｆｘｎ（ｋｙｍｉｎ（ｙｎ）））を加算する。
Ｉｈ＝Ｉｈｍｉｎ（ｋ，ｙｎ）＋Ｊｈ（ｆｘｎ（ｋｙｍｉｎ（ｙｎ）））
【００８０】
行方向ズレ量検出後処理部１６は、複数の加算後の相関指標値Ｉｈの中で、最も相関が高い旨を示している相関指標値（行方向相関指標値算出部６及び列方向相関指標値算出部１３による相関演算が差分絶対値和演算であれば、最小の相関指標値）に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの行方向のズレ量ｋｙｍｉｎ（ｙｎ）を検出する。
そして、行方向ズレ量検出後処理部１６は、その行方向のズレ量ｋｙｍｉｎ（ｙｎ）を、画像Ａと画像Ｂ間の行方向のズレ量として出力する。
【００８１】
ここでは、行方向ズレ量検出後処理部１６が、行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）とＪｈ（ｆｘｎ（ｋｙｍｉｎ（ｙｎ）））を加算しているが、これは一例に過ぎず、例えば、行方向の相関指標値Ｉｈｍｉｎ（ｋ，ｙｎ）とＪｈ（ｆｘｎ（ｋｙｍｉｎ（ｙｎ）））を重み付け加算してもよいし、乗算するようにしてもよい。
【００８２】
列方向ズレ量検出後処理部１８は、列方向ズレ量検出前処理部１７から、変位量ｘｎ毎に、列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）と列方向のズレ量ｌｘｍｉｎ（ｘｎ）を受け取り、行方向ズレ量検出前処理部１５から、列方向の相関指標値Ｊｖ（ｙｎ）を受け取る。
そして、列方向ズレ量検出後処理部１８は、列方向のズレ量ｌｘｍｉｎ（ｘｎ）を、最も近い変位量ｙｎに丸めた値ｆｙｎ（ｌｘｍｉｎ（ｘｎ））を算出し、列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）とＪｖ（ｆｙｎ（ｌｘｍｉｎ（ｘｎ）））を加算する。
Ｉｖ＝Ｉｖｍｉｎ（ｘｎ，ｌ）＋Ｊｖ（ｆｙｎ（ｌｘｍｉｎ（ｘｎ）））
【００８３】
列方向ズレ量検出後処理部１８は、複数の加算後の相関指標値Ｉｖの中で、最も相関が高い旨を示している相関指標値（行方向相関指標値算出部６及び列方向相関指標値算出部１３による相関演算が差分絶対値和演算であれば、最小の相関指標値）に対応するズレ量検出対象範囲を特定し、そのズレ量検出対象範囲とマッチングブロックとの列方向のズレ量ｌｘｍｉｎ（ｘｎ）を検出する。
そして、列方向ズレ量検出後処理部１８は、その列方向のズレ量ｌｘｍｉｎ（ｘｎ）を、画像Ａと画像Ｂ間の列方向のズレ量として出力する。
【００８４】
ここでは、列方向ズレ量検出後処理部１８が、列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）とＪｖ（ｆｙｎ（ｌｘｍｉｎ（ｘｎ）））を加算しているが、これは一例に過ぎず、例えば、列方向の相関指標値Ｉｖｍｉｎ（ｘｎ，ｌ）とＪｖ（ｆｙｎ（ｌｘｍｉｎ（ｘｎ）））を重み付け加算してもよいし、乗算するようにしてもよい。
【００８５】
以上で明らかなように、この実施の形態２によれば、行方向ズレ量検出後処理部１６が、画像Ａと画像Ｂ間の行方向のズレ量を検出する際、行方向相関指標値算出部６により算出された行方向の相関指標値だけでなく、列方向の相関指標値から新たに算出された行方向の相関指標値を用いて、行方向のズレ量を検出するように構成しているので、画像Ａと画像Ｂ間の行方向のズレ量の検出精度を更に高めることができる効果を奏する。
【００８６】
また、この実施の形態２によれば、列方向ズレ量検出後処理部１８が、画像Ａと画像Ｂ間の列方向のズレ量を検出する際、列方向相関指標値算出部１３により算出された列方向の相関指標値だけでなく、行方向の相関指標値から新たに算出された列方向の相関指標値を用いて、列方向のズレ量を検出するように構成しているので、画像Ａと画像Ｂ間の列方向のズレ量の検出精度を更に高めることができる効果を奏する。
なお、本願発明の範囲内において、実施の形態を適宜組合せ、変更、省略等することが可能である。
【符号の説明】
【００８７】
１  列方向画像分割部（ズレ量検出対象範囲抽出手段、列方向画素値積算手段）、２  列方向分割積算値バッファ、３  列方向画素値積算部（列方向画素値積算手段）、４  行方向変位特徴量算出部（行方向変位特徴量算出手段）、５  行方向変位特徴量バッファ、６  行方向相関指標値算出部（行方向相関指標値算出手段）、７  行方向ズレ量検出部（行方向ズレ量検出手段）、８  行方向画像分割部（ズレ量検出対象範囲抽出手段、行方向画素値積算手段）、９  行方向分割積算値バッファ、１０  行方向画素値積算部（行方向画素値積算手段）、１１  列方向変位特徴量算出部（列方向変位特徴量算出手段）、１２  列方向変位特徴量バッファ、１３  列方向相関指標値算出部（列方向相関指標値算出手段）、１４  列方向ズレ量検出部（列方向ズレ量検出手段）、１５  行方向ズレ量検出前処理部（行方向相関指標値算出手段）、１６  行方向ズレ量検出後処理部（行方向ズレ量検出手段）、１７  列方向ズレ量検出前処理部（列方向相関指標値算出手段）、１８  列方向ズレ量検出後処理部（列方向ズレ量検出手段）、１０１  列方向積算値算出部、１０２  列方向積算値バッファ、１０３  行方向変位特徴量算出部、１０４  行方向変位特徴量バッファ、１０５  行方向相関指標値算出部、１０６  行方向ズレ量検出部、１０７  行方向積算値算出部、１０８  行方向積算値バッファ、１０９  列方向変位特徴量算出部、１１０  列方向変位特徴量バッファ、１１１  列方向相関指標値算出部、１１２  列方向ズレ量検出部。
【図１】
0005622501.tif 000012
【図２】
0005622501.tif 000013
【図３】
0005622501.tif 000014
【図４】
0005622501.tif 000015
【図５】
0005622501.tif 000016
【図６】
0005622501.tif 000017
【図７】
0005622501.tif 000018
【図８】
0005622501.tif 000019
【図９】
0005622501.tif 000020
【図１０】
0005622501.tif 000021
【図１１】
0005622501.tif 000022