(57)【要約】【課題】低コントラストおよび繰り返し模様の箇所があっても、高精度に動きベクトルを検出して位置合わせの精度を向上させる。【解決手段】基準ブロック決定部１０２および参照ブロック決定部１０３はそれぞれ基準画像および参照画像を所定のサイズを有する複数のブロックに分割する。ブロック状態判定部１０４は基準ブロックが予め定められたコントラスト以下の低コントラストであると、当該ブロックのサイズを変更する。動きベクトル算出部１０５はブロックの各々について動きベクトルを検出する。【選択図】図１
2014052855.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像が入力され、当該画像の間で動きベクトルを検出する画像処理装置であって、
前記画像の各々を所定のサイズを有する複数の領域に分割する領域分割手段と、
前記領域が予め定められたコントラスト以下の低コントラストであると、当該領域のサイズを変更するサイズ変更手段と、
前記画像の間において前記領域の各々について前記動きベクトルを検出する動きベクトル検出手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記領域が前記低コントラストではないと、当該領域に所定の模様があるか否かを判定する第１の判定手段を有し、
前記第１の判定手段によって前記領域に前記所定の模様があると判定されると、前記サイズ変更手段は当該領域のサイズを変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記サイズ変更手段は前記領域のサイズを拡大することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像の各々についてその解像度が異なる複数の階層の階層画像を生成する解像度変更手段を備え、
前記領域分割手段は前記階層画像の各々を複数の領域に分割しており、
前記動きベクトル検出手段は前記階層の各々について前記階層画像の間において前記領域の各々における前記動きベクトルを検出することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記動きベクトル検出手段は前記階層の最下層に位置する最も解像度の低い階層画像から前記動きベクトルの検出を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記領域が予め定められたコントラスト以下の低コントラストであった際、動きベクトルの検出を行うべき現階層の下に位置する下階層が存在しないと、前記解像度変更手段は現階層よりも解像度が低い階層画像を有する前記下階層を生成し、
前記サイズ変更手段は、前記領域分割手段によって前記下階層の階層画像が複数の領域に分割された際、当該領域のサイズを前記現階層の階層画像における領域のサイズと同一として、前記下階層における前記領域のサイズを変更しており、
前記動きベクトル検出手段は、前記下階層においてその階層画像の間で前記領域の各々について動きベクトルの検出を行って、当該動きベクトルを前記現階層のサイズに変換することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記解像度変更手段は、前記領域分割手段による前記領域のサイズを変更することなく、前記下階層の階層画像における領域に被写体の境界部分が含まれるまで解像度を低くすることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記領域が前記低コントラストではないと、当該領域に所定の模様があるか否かを判定する第１の判定手段を有し、
前記第１の判定手段によって前記領域に前記所定の模様があると判定された際、動きベクトルの検出を行うべき現階層の下に位置する下階層が存在しないと、前記解像度変更手段は現階層よりも解像度が低い階層画像を有する前記下階層を生成し、
前記サイズ変更手段は、前記領域分割手段によって前記下階層の階層画像が複数の領域に分割された際、当該領域のサイズを前記現階層の階層画像における領域のサイズと同一として、前記下階層における前記領域のサイズを変更しており、
前記動きベクトル検出手段は、前記下階層においてその階層画像の間で前記領域の各々について動きベクトルの検出を行って、当該動きベクトルを前記現階層のサイズに変換することを特徴とする請求項５に記載の画像処理装置。
【請求項９】
前記領域が予め定められたコントラスト以下の低コントラストであった際、動きベクトルの検出を行うべき現階層の上に位置する上階層において前記領域に所定の模様が存在すると、前記動きベクトル検出手段は前記上階層において前記階層の各々について前記動きベクトルを検出して、当該動きベクトルを前記現階層のサイズに変換することを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記領域について、そのエッジを積分した積分値が予め設定された閾値より小さくかつそのヒストグラムにおける極大値が１つであると、当該領域は低コントラストであると判定する第２の判定手段を有することを特徴とする請求項１〜９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記第１の判定手段は、差分絶対和演算によって求められたＳＡＤ値の分布において、予め設定された閾値よりも小さい前記ＳＡＤ値が少なくとも２つ以上あると当該領域に模様が含まれると判定することを特徴とする請求項２又は８に記載の画像処理装置。
【請求項１２】
前記動きベクトル検出手段はサブピクセルの精度で前記動きベクトルを検出することを特徴とする請求項１〜１１のいずれか１項に記載の画像処理装置。
【請求項１３】
複数の画像が入力され、当該画像の間で動きベクトルを検出する画像処理装置の制御方法であって、
前記画像の各々を所定のサイズを有する複数の領域に分割する領域分割ステップと、
前記領域が予め定められたコントラスト以下の低コントラストであると、当該領域のサイズを変更するサイズ変更ステップと、
前記画像の間において前記領域の各々について前記動きベクトルを検出する動きベクトル検出ステップと、
を有することを特徴とする制御方法。
【請求項１４】
複数の画像が入力され、当該画像の間で動きベクトルを検出する画像処理装置で用いられる制御プログラムであって、
前記画像処理装置が備えるコンピュータに、
前記画像の各々を所定のサイズを有する複数の領域に分割する領域分割ステップと、
前記領域が予め定められたコントラスト以下の低コントラストであると、当該領域のサイズを変更するサイズ変更ステップと、
前記画像の間において前記領域の各々について前記動きベクトルを検出する動きベクトル検出ステップと、
を実行させることを特徴とする制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２枚の画像間の動きベクトルを検出して画像処理を行う画像処理装置、その制御方法、および制御プログラムに関する。
【背景技術】
【０００２】
一般に、２枚の画像間における動きベクトルを検出して、その動きベクトルを用いて種々の画像処理を行う画像処理装置が知られている。
【０００３】
例えば、動画像データを扱う際には、動画像データにおいて２画面間の動きベクトルを用いることによって、動画像データを高効率で圧縮することができる。さらに、動きベクトルを用いることによって、テレビジョンカメラのパン・チルト検出や被写体追尾などの処理を行うことができる。
【０００４】
加えて、近年、動きベクトルを用いて画像を重ね合わせて、２枚の画像を合成すること、そして、低照度撮影の際のノイズ除去など種々の面で画像処理の応用が進められている。
【０００５】
動きベクトルの検出手法として、例えば、ブロックマッチングおよび勾配法などが知られており、一般的にブロックマッチングが広く用いられている。
【０００６】
ブロックマッチングでは、注目画像である参照画像と基準画像との相関に応じて動きベクトルを検出する。この際、参照画像および基準画像の各々を所定の大きさの矩形状のブロック（領域）に分割して、当該ブロック毎に参照画像と基準画像との相関を算出する。
【０００７】
ここで、従来のブロックマッチングによる動きベクトルの検出ついて説明する。
【０００８】
図１６は、従来のブロックマッチングによる動きベクトルの検出を説明するための図である。そして、図１６（ａ）は基準画像を示す図であり、図１６（ｂ）は参照画像における探索を示す図である。
【０００９】
図１６において、ブロックマッチング対象である２枚の画像のうちの一方が基準画像（図１６（ａ））１７０１とされる。当該基準画像は所定の大きさの矩形状領域（以下基準ブロックと呼ぶ）１６０２に分割される。基準ブロック１６０２の各々は水平方向に複数の画素と垂直方向に複数のラインとを有している。なお、２枚の画像のうちの他方は参照画像とされる。
【００１０】
ブロックマッチングでは、基準ブロック１６０２と相関性の高いブロック（参照ブロックと呼ぶ）を参照画像（図１６（ｂ））１６０３から検索する。参照画像１６０３には参照ブロック１６０４が設定されており、参照ブロック１６０４の大きさは基準ブロック１６０２の大きさと同一である。
【００１１】
探索の際には、参照画像１６０３に設定された矩形領域である探索範囲１６０５（この探索範囲は参照ブロックよりも大きい）において、基準ブロック１６０２と最も近似する参照ブロック１６０４の位置を探索する。
【００１２】
ここで、基準ブロック１６０２と最も近似する参照ブロック１６０４の位置を探索する場合には、探索範囲１６０５における全画素についてＳＡＤ（差分絶対値和）演算が用いられる。ＳＡＤ値が最小となる位置が基準ブロック１６０２と最も近似する参照ブロック１６０４の位置とされる。そして、探索によって得られた参照ブロック１６０４の座標と基準ブロック１６０２の座標との差分が動きベクトル１６０７とされる。
【００１３】
図１７は、図１６に示す動きベクトル検出の際に算出されるＳＡＤ値について説明するための図である。
【００１４】
基準ブロック１６０２の位置（座標）で基準ブロック１６０２を参照画像１６０３に射影した射影イメージ１６０６を中心とする探索範囲１６０５の内側に基準ブロック１６０２と同一サイズの参照ブロック１６０４を設定する。
【００１５】
参照ブロック１６０４と基準ブロック１６０２とをそれぞれ切り出して、ＳＡＤ演算処理部１７０１に入力すると、ＳＡＤ演算処理部１７０１は処理結果としてＳＡＤ値を出力する。
【００１６】
探索範囲１６０５においてとり得る全ての参照ブロック１６０４についてＳＡＤ値を求める。そして、ＳＡＤ値が最小となる参照ブロック１６０４が基準ブロック１６０２に最も近似する参照ブロック１６０４とされ、当該参照ブロック１６０４の位置と基準ブロック１６０２の位置とに応じて動きベクトル１６０７が検出される。なお、ＳＡＤ値が最小となる参照ブロック１６０４の位置を結像位置の座標とすることを探索と呼ぶ。
【００１７】
ところで、図１６で説明したブロックマッチングにおいては、探索範囲１６０５に設定される複数の参照ブロック１６０４の各々と基準ブロック１６０２との相関を算出するので、不可避的にＳＡＤ値を算出するための演算処理量が多くなる。
【００１８】
演算処理量を削減するため、基準画像および参照画像の各々について、高解像度の画像と高解像度の画像を縮小して得た低解像度の画像とによって階層を構成して、階層毎に動きベクトルを検出する手法がある（特許文献参照）。
【００１９】
一方、ブロックマッチングを用いて階層的に動きベクトルを検出する際、画像が平坦（低コントラスト）である箇所および繰り返し模様の箇所では、動きベクトルが誤検出されることがある。つまり、低コントラストである箇所においては、参照ブロックと基準ブロックとの間の相関を測る模様が存在しないので、ＳＡＤ値が最小となる値が明確に定まらない。
【００２０】
また、繰り返し模様の箇所においては、繰り返し模様の周期に一致する箇所でＳＡＤ値が小さい値となるので、相関性の高い箇所が複数現れてしまう。その結果、たとえ、最小となるＳＡＤ値を選択したとしても、所望の動きベクトルではない可能性が高くなって、動きベクトルの誤検出に繋がってしまう。
【００２１】
特に、動きベクトルを用いて異なる２枚の画像を位置合わせして合成する際に、誤検出された動きベクトルを用いてしまうと、位置合わせの精度が低下して合成後の画像の画質が低下してしまう。
【００２２】
このような誤検出に対処するため、上記の特許文献１では、画像全体において１つの統合された動きベクトルを検出する際に、低コントラストおよび繰り返し縞模様の箇所について相関値を用いると動きベクトルの精度が低下するので、低コントラストおよび繰り返し縞模様の箇所を検出すると、当該箇所を動きベクトルの検出に当たって除外するようにしている。
【００２３】
一方、階層的に動きベクトルを検出する際、高解像度層における動きベクトルの算出をなるべく少なくして演算処理量を低減するようにしたものがある（特許文献２参照）。
【００２４】
ここでは、高解像度の基準ブロックに対応する位置にある低解像度の基準ブロックにおけるエッジ量を求めて、当該エッジ量が所定の閾値以上であると、高解像度層で動きベクトルを検出する。一方、エッジ量が閾値未満であると、低解像度層における動きベクトルをスケーリングして高解像度層の動きベクトルとして代用する。
【先行技術文献】
【特許文献】
【００２５】
【特許文献１】特開２００９−１５３０９３号公報
【特許文献２】特開２０１０−２８８１１０号公報
【非特許文献】
【００２６】
【非特許文献１】ＣＶＩＭチュートリアルシリーズ−コンピュータビジョン  最新ガイド１  アドコム・メディア株式会社  倉爪亮、石川博、加藤文和、佐藤淳、三田雄志（著）  第２章グラフカット  Ｐ６９−Ｐ７１
【発明の概要】
【発明が解決しようとする課題】
【００２７】
ところが、上述の特許文献１に記載の手法では、低コントラスト又は繰り返し縞模様の箇所を除外するので、当該箇所が画像に多く含まれていると、結果的に画像において検出される動きベクトルの数が少なくなる。このため、かえって統合後の動きベクトルの精度が低下してしまうことがある。
【００２８】
また、特許文献２に記載の手法では、エッジ量が閾値未満である低解像度層においては基準ブロックが低コントラストの箇所となってしまい、正確な動きベクトルを検出することが困難となってしまう。
【００２９】
従って、本発明の目的は、低コントラストおよび繰り返し模様の箇所があっても、高精度に動きベクトルを検出して位置合わせの精度を向上させることのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。
【課題を解決するための手段】
【００３０】
上記の目的を達成するため、本発明による画像処理装置は、複数の画像が入力され、当該画像の間で動きベクトルを検出する画像処理装置であって、前記画像の各々を所定のサイズを有する複数の領域に分割する領域分割手段と、前記領域が予め定められたコントラスト以下の低コントラストであると、当該領域のサイズを変更するサイズ変更手段と、前記画像の間において前記領域の各々について前記動きベクトルを検出する動きベクトル検出手段と、を有することを特徴とする。
【００３１】
本発明による制御方法は、複数の画像が入力され、当該画像の間で動きベクトルを検出する画像処理装置の制御方法であって、前記画像の各々を所定のサイズを有する複数の領域に分割する領域分割ステップと、前記領域が予め定められたコントラスト以下の低コントラストであると、当該領域のサイズを変更するサイズ変更ステップと、前記画像の間において前記領域の各々について前記動きベクトルを検出する動きベクトル検出ステップと、を有することを特徴とする。
【００３２】
本発明による制御プログラムは、複数の画像が入力され、当該画像の間で動きベクトルを検出する画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記画像の各々を所定のサイズを有する複数の領域に分割する領域分割ステップと、前記領域が予め定められたコントラスト以下の低コントラストであると、当該領域のサイズを変更するサイズ変更ステップと、前記画像の間において前記領域の各々について前記動きベクトルを検出する動きベクトル検出ステップと、を実行させることを特徴とする。
【発明の効果】
【００３３】
本発明によれば、低コントラストおよび繰り返し模様の領域（箇所）があっても、高精度に動きベクトルを検出して、複数の画像の位置合わせの精度を向上させることができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。
【図２】図１に示す画像処理装置における動きベクトル検出処理を説明するためのフローチャートである。
【図３】図１に示す画像処理装置に入力される画像の一例を示す図であり、（ａ）は基準画像を示す図、（ｂ）は参照画像を示す図である。
【図４】図１に示す基準ブロック決定部および参照ブロック決定部で行われる基準画像および参照画像の分割を説明するための図であり、（ａ）は基準画像の分割を示す図、（ｂ）は参照画像の分割を示す図である。
【図５】図４で説明したＳＡＤ値テーブルの一例を示す図である。
【図６】繰り返し模様が存在する画像におけるＳＡＤ値の分布の一例を示す図である。
【図７】図４に示す基準ブロックおよび参照ブロックの拡大処理を説明するための図であり、（ａ）は基準ブロックの拡大を示す図、（ｂ）は参照ブロックの拡大を示す図である。
【図８】図２に示す動きベクトル検出処理で検出された動きベクトルの一例を説明するための図であり、（ａ）は入力画像である基準画像の一例を複数のブロックに分割した状態を示す図、（ｂ）はブロック毎の動きベクトルを示す図である。
【図９】本発明の第２の実施形態による画像処理装置で行われる階層的な動きベクトルの検出を説明するための図である。
【図１０】本発明の第２の実施形態による画像処理装置についてその構成の一例を示すブロック図である。
【図１１】図１０に示す画像処理装置における動きベクトル検出処理を説明するためのフローチャートである。
【図１２】図１１に示す画像縮小部で生成される階層的な画像の一例を示す図であり、（ａ）は基準画像の階層構造を示す図、（ｂ）は参照画像の階層構造を示す図である。
【図１３】図１１に示す現階層よりも下階層の画像が存在しない場合の縮小処理によって生成された基準画像を説明するための図であり、（ａ）は第３階層の基準画像を示す図、（ｂ）は第３階層の基準画像を１／２倍した第４階層の基準画像を示す図である。
【図１４】本発明の第３の実施形態による画像処理装置で行われる動きベクトル検出処理を説明するためのフローチャートである。
【図１５】本発明の第３の実施形態による画像処理装置で生成される階層的な画像の一例を示す図であり、（ａ）は基準画像の階層構造を示す図、（ｂ）は参照画像の階層構造を示す図である。
【図１６】従来のブロックマッチングによる動きベクトルの検出を説明するための図であり、（ａ）は基準画像を示す図、（ｂ）は参照画像における探索を示す図である。
【図１７】図１６に示す動きベクトル検出の際に算出されるＳＡＤ値について説明するための図である。
【発明を実施するための形態】
【００３５】
以下に、本発明の実施の形態による画像処理装置の一例について図面を参照した説明する。
【００３６】
［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置の一例についてその構成を示すブロック図である。
【００３７】
図１において、画像処理装置１００は、メモリ部１０１、基準ブロック決定部１０２、参照ブロック決定部１０３、ブロック状態判定部１０４、および動きベクトル算出部１０５を備えている。
【００３８】
図２は、図１に示す画像処理装置１００における動きベクトル検出処理を説明するためのフローチャートである。また、図３は図１に示す画像処理装置１００に入力される画像の一例を示す図である。そして、図３（ａ）は基準画像を示す図であり、図３（ｂ）は参照画像を示す図である。
【００３９】
動きベクトル検出処理を開始すると、画像処理装置１００は基準画像３０１および基準画像３０２を入力して、それぞれメモリ部１０１に記憶する（ステップＳ２００）。これら基準画像および参照画像は、例えば、図３に示すように、繰り返し模様を有する被写体３０３が撮影されているものとする。
【００４０】
なお、ここでは、メモリ部１０１には基準画像３０１および参照画像３０２の２枚の画像が記憶されるが、メモリ部１０１に記憶する画像の枚数は少なくとも２枚であればよく、複数の画像を用いるようにしてもよい。また、基準画像３０１および参照画像３０２には繰り返し模様を有する被写体３０３が撮影されているが、繰り返し模様を有する被写体３０３に限定されるものではない。そして、事前に縮小処理された画像を入力画像とするようにしてもよい。
【００４１】
続いて、基準ブロック決定部１０２および参照ブロック決定部１０３はメモリ部１０１からそれぞれ基準画像３０１および参照画像３０２を読み出す。そして、基準ブロック決定部１０２および参照ブロック決定部１０３は基準画像３０１および参照画像３０２を所定のサイズのブロックに分割する（ステップＳ２０１）。
【００４２】
図４は、図１に示す基準ブロック決定部１０２および参照ブロック決定部１０３で行われる基準画像３０１および参照画像３０２の分割を説明するための図である。そして、図４（ａ）は基準画像３０１の分割を示す図であり、図４（ｂ）は参照画像３０２の分割を示す図である。
【００４３】
図４において、基準画像３０１および参照画像３０２は水平方向に７分割、垂直方向に１０分割されて、それぞれ複数の基準ブロック４０１および参照ブロック４０２に分割される。ここでは、基準ブロック４０１および参照ブロック４０２の各々のサイズは、例えば、２５６×２５６画素であるとする。
【００４４】
なお、ここでは、７０個の基準ブロック４０１に左上から順に、参照符号ｂｌｋ［０］〜ｂｌｋ［６９］を付し、７０個の参照ブロック４０２に左上から順に参照符号ｂｌｋ＿ｒ［０］〜ｂｌｋ＿ｒ［６９］を付す。そして、基準ブロック４０１はｂｌｋ［０］から順番に処理される。
【００４５】
ブロック状態判定部１０４は基準ブロックについて当該基準ブロックのコントラストが予め設定されたコントラスト以下の低コントラストであるか否かを判定する（ステップＳ２０２）。
【００４６】
この判定に当たっては、ブロック状態判定部１０４は基準ブロックについて高周波帯域のみを通過させるハイパスフィルタ処理を行ってそのエッジを抽出する。続いて、ブロック状態判定部１０４は当該エッジについてその画素値を合計してエッジ積分値を算出する。
【００４７】
そして、ブロック状態判定部１０４はエッジ積分値と予め定められた閾値とを比較して、エッジ積分値がこの閾値よりも小さいと、ハイパスフィルタ処理を行う前の画素値を用いてヒストグラムを生成する。当該ヒストグラムにおいて極大値が１つであると、ブロック状態判定部１０４は基準ブロックを低コントラストの基準ブロックであると判定する。
【００４８】
基準ブロックが低コントラストの基準ブロックではないと判定すると（ステップＳ２０２において、ＮＯ）、ブロック状態判定部１０４は基準ブロックおよび参照ブロックを用いて、前述の図１６で説明したようにして、ＳＡＤ（差分絶対和演算）値を求める（ステップＳ２０３）。ここでは、探索範囲における複数の参照ブロックについて算出されたＳＡＤ値の配列をＳＡＤ値テーブルと呼ぶ。
【００４９】
図５は、図４で説明したＳＡＤ値テーブルの一例を示す図である。
【００５０】
図５に示す例では、基準ブロックに対してそれぞれ水平方向に±３、垂直方向に±３として探索範囲を設定してＳＡＤ値を求めた。続いて、ブロック状態判定部１０４はＳＡＤ値テーブルを参照して、基準ブロックが繰り返し模様のブロックであるか否かを判定する（ステップＳ２０４）。
【００５１】
ここでは、ブロック状態判定部１０４は、例えば、特開２０１１−３５８１４号公報に記載の手法を用いて繰り返し模様のブロックであるか否かを判定する。
【００５２】
図６は、繰り返し模様が存在する画像におけるＳＡＤ値の分布の一例を示す図である。
【００５３】
図６に示すように、繰り返し模様が存在する画像においては、ＳＡＤ値の分布に複数の極小値（ここでは、極小値１および２）が存在する。そこで、ブロック状態判定部１０４は、図５に示すＳＡＤ値テーブルに応じてＳＡＤ値の分布を描く。そして、ブロック状態判定部１０４は当該分布に予め設定した閾値よりも小さい極小値が２つ以上存在すると、この基準ブロックを繰り返し模様が存在する基準ブロックであると判定する。
【００５４】
基準ブロックが繰り返し模様の基準ブロックであると判定すると（ステップＳ２０４において、ＹＥＳ）、ブロック状態判定部１０４は当該基準ブロックおよびこの基準ブロックに対応する参照ブロックのサイズを拡大する（ステップＳ２０５）。図４（ａ）に示す例では、例えば、基準ブロックｂｌｋ［５５］が繰り返し模様の基準ブロックと判定されることになる。
【００５５】
図７は、図４に示す基準ブロックおよび参照ブロックの拡大処理を説明するための図である。そして、図７（ａ）は基準ブロックの拡大を示す図であり、図７（ｂ）は参照ブロックの拡大を示す図である。
【００５６】
図７に示す例では、基準ブロックが繰り返し模様の基準ブロックであると判定すると、ブロック状態判定部１０４は当該基準ブロック４０１とこの基準ブロック４０１に対応する参照ブロック４０２のサイズを２５６×２５６画素から５１２×５１２画素に拡大する。ここでは、基準ブロック４０１および参照ブロック４０２に最も近い被写体３０３の境界（境界部分ともいう）が拡大後の基準ブロック７０１および参照ブロック７０２に含まれるように拡大率が決定される。
【００５７】
なお、拡大率を算出する際には、上記の非特許文献１に記載されたグラフカットアルゴリズムを用いて被写体を抽出して、現在の基準ブロック（又は参照ブロック）の中心座標から最近傍の被写体の境界までの距離を求める。そして、当該距離に応じて拡大率が算出される。
【００５８】
図７に示すように、拡大後の基準ブロック７０１および参照ブロック７０２については繰り返し模様の部分のみではなく、被写体の境界の一部分が含まれている。
【００５９】
このため、拡大前の基準ブロック４０１および参照ブロック４０２においては繰り返し模様によって相関性の高い部分が複数現れているが、拡大後の基準ブロック７０１および参照ブロック７０２では被写体の境界の一部分と一致する箇所で相関性が最も高くなる。よって、上述のように、基準ブロックおよび参照ブロックを拡大すれば、相関性の高い部分が複数出現することがなくなる。
【００６０】
なお、基準ブロックが低コントラストであると（ステップＳ２０２において、ＹＥＳ）、ブロック状態判定部１０４は、ステップＳ２０５の処理に進んで当該基準ブロックとこの基準ブロックに対応する参照ブロックを拡大処理する。
【００６１】
続いて、ブロック状態判定部１０４は拡大処理後の基準ブロックおよび参照ブロックを用いて、ステップＳ２０３の処理と同様にしてＳＡＤ値テーブルを生成する（ステップＳ２０６）。
【００６２】
次に、動きベクトル算出部１０５は、ステップＳ２０６で算出されたＳＡＤ値テーブルを用いて動きベクトルを算出する（ステップＳ２０７）。この場合、ＳＡＤ値テーブルにおいて最小を示すずらし量が動きベクトルとなる。例えば、図５に示すＳＡＤ値テーブルにおいては、最小値が”８”であるので、基準ブロックの中心を移動前の原点（ＳＡＤ値が”４５”の位置）とすると、動きベクトルは（＋２，＋２）となる。
【００６３】
上述のように、基準ブロックおよび参照ブロックを拡大処理して、ＳＡＤ値テーブルを求めて、当該ＳＡＤテーブルに応じて動きベクトルを算出すれば、繰り返し模様の基準ブロックであっても、高精度に動きベクトルを算出することができる。そして、基準ブロックが低コントラストであっても同様に高精度に動きベクトルを算出することができる。
【００６４】
次に、動きベクトル算出部１０５は、全ての基準ブロックについて動きベクトルが算出されたか否かを判定する（ステップＳ２０８）。全ての基準ブロックで動きベクトルが算出されていないと（ステップＳ２０８において、ＮＯ）、処理はステップＳ２０２に戻って、次の基準ブロックについて同様の処理が行われる。一方、全ての基準ブロックで動きベクトルが算出されると（ステップＳ２０８において、ＹＥＳ）、画像処理装置１００は動きベクトル検出処理を終了する。
【００６５】
図８は、図２に示す動きベクトル検出処理で検出された動きベクトルの一例を説明するための図である。そして、図８（ａ）は入力画像である基準画像の一例を複数のブロックに分割した状態を示す図であり、図８（ｂ）はブロック毎の動きベクトルを示す図である。
【００６６】
上述のようにして、図２に示す動きベクトル検出処理を行うと、図８（ａ）に示す入力画像（基準画像）の複数のブロック８０１毎に動きベクトル８０２が求められて、図８（ｂ）に示すように、ブロック毎に異なる動きベクトル８０２が決定される。
【００６７】
このように、本発明の第１の実施形態では、低コントラストの基準ブロックおよび繰り返し模様を有する基準ブロックがあると、当該基準ブロックおよびこの基準ブロックに対応する参照ブロックを拡大処理する。その後、基準ブロックおよび参照ブロックに応じてＳＡＤ値テーブルを生成して、当該ＳＡＤブロックテーブルに応じて動きベクトルを検出するようにしたので、高精度に動きベクトルを検出して、画像の位置合わせの精度を向上させることができる。
【００６８】
［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置について説明する。
【００６９】
第２の実施形態による画像処理装置では、階層的に動きベクトルを検出する。ここでは、基準ブロックが低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックと判定された場合に、低解像度画像において動きベクトルを検出する処理について説明する。
【００７０】
まず、階層的に動きベクトルを検出する手法について説明する。
【００７１】
階層的に動きベクトルを検出する際には、元画像（基準画像および参照画像）について、水平方向および垂直方向のそれぞれを１／ｎ（ｎは１を超える正の数）に縮小してそれぞれ縮小画像を生成する。そして、当該縮小画像を用いてブロックマッチングを行って、縮小画像において動きベクトルの検出を行う。その後、縮小画像で得られた動きベクトルの検出結果に基づいて、元画像を用いてブロックマッチングを行う。なお、縮小するとその画像の解像度は低くなる。
【００７２】
図９は、本発明の第２の実施形態による画像処理装置で行われる階層的な動きベクトルの検出を説明するための図である。なお、ここでは、ｎ＝２である。
【００７３】
図９において、入力画像（基準画像および参照画像）を第１階層、入力画像を１／２倍に縮小した画像を第２階層、第２階層の画像をさらに１／２倍（つまり、入力画像を１／４倍）した画像を第３階層と呼ぶことにする。ここで、元画像とは第（Ｎ＋１）階層の画像に対して第Ｎ階層の画像のことをいう。また、第Ｎ階層を現階層とし、第（Ｎ＋１）階層を下階層、第（Ｎ−１）階層を上階層と呼ぶことにする。
【００７４】
階層的に動きベクトルを検出する際には、最下層から動きベクトルを算出する。図９において、第２階層の基準画像９０２には第２階層の基準ブロック９０３に対応する第３階層の基準ブロック９０４が設定され、第３階層の基準画像９０１上に、第２階層の基準画像９０２に設定される第２階層の基準ブロック９０３に対応する第３階層の基準ブロック９０４が設定される。そして、この第３階層の基準ブロック９０４について第３階層の参照画像９０５とのブロックマッチングを行って第３階層の動きベクトルＶ１を求める。
【００７５】
次に、第２階層の基準画像９０２において、第３階層の動きベクトルＶ１を２倍した動きベクトル（２×Ｖ１）が示す位置を原点として第２階層の参照画像９０６に探索範囲を定める。そして、当該探索範囲内に複数の第２階層の参照ブロックを設定する。続いて、設定した複数の第２階層の参照ブロックと、第２階層の基準ブロック９０３との間においてブロックマッチングを行って、第２階層の動きベクトルＶ２を求める。
【００７６】
次に、下記の式（１）によって、第３階層の動きベクトルＶ１を２倍した動きベクトル（２×Ｖ１）と、第２階層の動きベクトルＶ２とを合成して合成ベクトルとして、最終的な第２階層の動きベクトルＶ３を算出する。
【００７７】
Ｖ３＝２×Ｖ１＋Ｖ２      （１）
以降同様にして、第２階層が第（Ｎ＋１）階層に相当し、第１階層が第Ｎ階層に相当するものとして動きベクトルを求めると、第１階層の動きベクトルを求めることができる。つまり、第２階層の動きベクトルＶ３に応じて、前述のようにして、第１階層の基準画像９０７および参照画像９０８についてブロックマッチングを行えば、第１階層の基準ブロック９０９における動きベクトルを求めることができる。
【００７８】
ここで、第１階層以外の動きベクトルにつてサブピクセル精度で算出するものとする。ブロックマッチングにおいてサブピクセル精度での推定手法については、例えば、特開２００９−３０１１８１号公報に記載の等角直線フィッティング又はパラボラフィッティングを用いる。
【００７９】
ピクセル精度での動きベクトルの検出においては、例えば、第３階層において算出した動きベクトルが（２、４）であるとすると、第２階層での動きベクトルは（４、８）となる。
【００８０】
一方、サブピクセル精度で動きベクトルを算出すると、例えば、第３階層において算出した動きベクトルが（２．３、４．４）であると、第２階層の動きベクトルは（４．６、８．８）となる。そして、小数点１位以下の数字を四捨五入して、第２階層の動きベクトルは１画素単位の（５．０、９．０）と近似することができる。
【００８１】
このように、サブピクセル精度で動きベクトルを検出すれば、上階層における動きベクトルを１画素単位で検出することができる。
【００８２】
図１０は、本発明の第２の実施形態による画像処理装置についてその構成の一例を示すブロック図である。なお、図１０に示す画像処理装置１２００において、図１に示す画像処理装置１００と同一の構成要素については同一の参照番号を付す。
【００８３】
図１０に示す画像処理装置１２００は画像縮小部１２０１を有しており、この画像縮小部１２０１で基準画像および参照画像を前述したようにして縮小処理した後、メモリ部１０１に記憶する。つまり、メモリ部１０１には階層的に基準画像および参照画像が記憶されることになる（つまり、メモリ部１０１には基準画像および参照画像がそれぞれ複数の階層画像として記憶される）。
【００８４】
図１１は、図１０に示す画像処理装置１２００における動きベクトル検出処理を説明するためのフローチャートである。
【００８５】
動きベクトル検出処理を開始すると、画像処理装置１２００は、図３に示す基準画像３０１および基準画像３０２を入力する（ステップＳ１１０）。そして、画像縮小部１２０１は、基準画像３０１および参照画像３０２を縮小処理して、階層的な画像を生成し、当該階層的な画像をメモリ部１０１に記憶する（ステップＳ１１０１）。
【００８６】
図１２は、図１１に示す画像縮小部１２０１で生成される階層的な画像の一例を示す図である。そして、図１２（ａ）は基準画像の階層構造を示す図であり、図１２（ｂ）は参照画像の階層構造を示す図である。
【００８７】
画像縮小部１２０１は、階層的な画像として第３階層の画像まで生成するものとする。ここでは、入力画像（基準画像および参照画像）を第１階層の画像１２０１および１２０４とし、第１階層の画像１２０１および１２０４を１／２倍に縮小した画像を第２階層の画像１２０２および１２０５とする。そして、第２階層の画像１２０２および１２０５をさらに１／２倍した画像を第３階層の画像１２０３および１２０６とする。
【００８８】
ステップＳ１１０１に続く処理では、第３階層、第２階層、および第１階層の順に動きベクトルが検出される。以下の説明では、メモリ部１０１から第３階層の画像が読み出された場合の処理について説明する。
【００８９】
基準ブロック決定部１０２および参照ブロック決定部１０３はメモリ部１０１からそれぞれ第３階層の基準画像および第３階層の参照画像を読み出す。そして、基準ブロック決定部１０２および参照ブロック決定部１０３は第３階層の基準画像および第３階層の参照画像を所定のサイズのブロック（基準ブロックおよび参照ブロック）に分割する（ステップＳ１１０２）。
【００９０】
ここでは、図４と同様に、第３階層の基準画像１２０３および第３階層の参照画像１２０６を水平方向に７分割、垂直方向に１０分割して複数のブロックに分割する。但し、一つのブロックは１６×１６画素となる。そして、ここでも、第３階層の基準画像１２０３における基準ブロックをｂｌｋ［０］〜ｂｌｋ［６９］とし、第３階層の参照画像１２０６における参照ブロックをｂｌｋ＿ｒ［０］〜ｂｌｋ＿ｒ［６９］とする。
【００９１】
続いて、ブロック状態判定部１０４は第３階層の基準ブロックが低コントラストのブロックであるか否かを判定する（ステップＳ１１０３）。第３階層の基準ブロックが低コントラストの基準ブロックではないと判定すると（ステップＳ１１０３において、ＮＯ）、ブロック状態判定部１０４は第３階層の基準ブロックおよび参照ブロックを用いてＳＡＤ値テーブルを求める（ステップＳ１１０４）。
【００９２】
続いて、ブロック状態判定部１０４はＳＡＤ値テーブルを参照して、第３階層の基準ブロックが繰り返し模様のブロックであるか否かを判定する（ステップＳ１１０５）。
【００９３】
ブロック状態判定部１０４によって第３階層の基準ブロックが繰り返し模様の基準ブロックであると判定されると（ステップＳ１１０５において、ＹＥＳ）、画像縮小部１２０１は、現階層よりも下階層の画像が存在しない場合には、現階層の基準画像および参照画像をさらに縮小した画像を作成する（ステップＳ１１０６）。そして、画像縮小部１２０１は当該縮小した画像をメモリ部１０１に記憶する。
【００９４】
図４に示す例では、第３階層の基準画像の基準ブロックｂｌｋ［５５］は繰り返し模様のブロックと判定される。そして、第３階層よりも下階層の画像は存在しないので、画像縮小部１２０１はステップＳ１１０６の処理を行うことになる。
【００９５】
図１３は、図１１に示す現階層よりも下階層の画像が存在しない場合の縮小処理によって生成された基準画像を説明するための図である。そして、図１３（ａ）は第３階層の基準画像を示す図であり、図１３（ｂ）は第３階層の基準画像を１／２倍した第４階層の基準画像を示す図である。
【００９６】
図１３に示すように、画像縮小部１２０１は第３階層の基準画像１２０３を１／２倍に縮小した第４階層の基準画像１３０１を生成する。同様にして、図示はしないが、画像縮小部１２０１は第３階層の参照画像を１／２倍に縮小した第４階層の参照画像１３０１を生成する。
【００９７】
基準ブロック決定部１０２および参照ブロック決定部１０３はメモリ部１０１からそれぞれ第４階層の基準画像および第４階層の参照画像を読み出す。そして、基準ブロック決定部１０２および参照ブロック決定部１０３は第４階層の基準画像および第３階層の参照画像を所定のサイズのブロックに分割する。
【００９８】
但し、第４階層の基準ブロック１３０３のサイズは第３階層の基準ブロック１３０１と同一の６４×６４画素とする。なお、第４階層の参照ブロックのサイズは第４の基準ブロックのサイズと同一である。
【００９９】
通常の階層的な動きベクトルの検出においては、基準ブロックのサイズは、階層の変化に伴ってそのサイズが変化する。一方、低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックと判定された際の作成される現階層よりも下側の下階層の画像についてはそのブロックサイズは現階層と同一のサイズとされる。
【０１００】
これによって、下階層では画像が縮小されている結果、ブロックサイズは実質的に拡大されたことになって、広い範囲で探索を行うことができる。さらに、現階層においてブロックサイズを拡大して動きベクトルを検出するよりも、動きベクトルの検出に必要な演算処理量を削減することができる。
【０１０１】
ブロック状態判定部１０４は、下階層（ここでは、第４階層）において現階層（ここでは、第３階層）の基準ブロック１３０１に対応する基準ブロック１３０３には被写体１３０４の境界が含まれるか否かを判定する（ステップＳ１１０７）。ステップＳ１１０７における処理は、図２で説明した処理と同様である。
【０１０２】
なお、第３階層の基準ブロックが低コントラストであると（ステップＳ１１０３において、ＹＥＳ）、ブロック状態判定部１０４はステップＳ１１０６の処理に進む。
【０１０３】
第４階層の基準ブロック１３０３に被写体１３０４の境界が含まれないと（ステップＳ１１０７において、ＮＯ）、ブロック状態判定部１０４は下階層（第４階層）の基準ブロック１３０３を現階層の基準ブロックに設定して、ステップＳ１１０６の処理に戻る。
【０１０４】
一方、第４階層の基準ブロック１３０３に被写体１３０４の境界が含まれていると（ステップＳ１１０７において、ＹＥＳ）、ブロック状態判定部１０４は被写体１３０４の境界を含む下階層の基準ブロック１３０３および参照ブロックを用いてＳＡＤ値テーブルを算出する。そして、動きベクトル算出部１０５は当該ＳＡＤ値テーブルを参照して動きベクトルを算出する（ステップＳ１１０８）。
【０１０５】
なお、図１３（ｂ）に示す例では、第４階層の基準ブロック１３０３には被写体１３０４の境界が含まれているので、ブロック状態判定部１０４はステップＳ１１０８の処理に進むことになる。
【０１０６】
このように、第４階層の基準ブロック１３０３には被写体１３０４の境界が含まれているので、相関性の高い部分が複数現れることがなく、高精度に動きベクトルを検出することができる。
【０１０７】
続いて、動きベクトル算出部１０５はステップＳ１１０８で求めた下階層の動きベクトルを現階層の動きベクトルのサイズに換算（つまり、変換）する（ステップＳ１１０９）。ここでは、第４階層における動きベクトルを第３階層における動きベクトルに換算することになる。第４階層の画像は第３階層の画像を１／２倍に縮小したので、第４階層における動きベクトルを２倍した動きベクトルが第３階層における動きベクトルとなる。
【０１０８】
続いて、動きベクトル算出部１０５は全ての第４階層の基準ブロックについて動きベクトルを検出したか否かを判定する（ステップＳ１１１０）。全ての第４階層の基準ブロックについて動きベクトルを検出すると（ステップＳ１１１０において、ＹＥＳ）、動きベクトル算出部１０５は全ての階層で動きベクトルを検出したか否かを判定する（ステップＳ１１１１）。そして、動きベクトル算出部１０５によって全ての階層で動きベクトルを検出したと判定されると（ステップＳ１１１１において、ＹＥＳ）、画像処理装置１２００は動きベクトル検出処理を終了する。
【０１０９】
一方、動きベクトル算出部１０５によって全ての階層で動きベクトルを検出していないと判定されると（ステップＳ１１１１において、ＹＥＳ）、画像処理装置１２００は動きベクトルを検出すべき階層を現階層から上階層に移動して（ステップＳ１１１２）、ステップＳ１１０２の処理に戻る。
【０１１０】
ステップＳ１１１０において、全ての第４階層の基準ブロックについて動きベクトルを検出していないと（ステップＳ１１１０において、ＮＯ）、処理はステップＳ１１０３の処理に戻って、次の第４階層の基準ブロックについて低コントラストであるか否かが判定される。
【０１１１】
ステップＳ１１０５において、第３階層の基準ブロックが繰り返し模様の基準ブロックでないと判定すると（ステップＳ１１０５において、ＮＯ）、ブロック状態判定部１０４は現階層（第３階層）の基準画像における基準ブロックおよび現階層の参照画像における参照ブロックを用いてＳＡＤ値テーブルを求める。そして、動きベクトル算出部１０５は当該ＳＡＤ値テーブルを参照して動きベクトルを算出して（ステップＳ１１１３）、ステップＳ１１１０の処理に進む。
【０１１２】
このように、本発明の第２の実施形態では、現階層において低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックであると、現階層に続く下階層の画像を生成する。この際、当該下階層における基準ブロックおよび参照ブロックのサイズは現階層のサイズと同一とする。
【０１１３】
これによって、低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックに被写体の境界を含まれる結果、相関性の高くなる部分を限定することができる。この結果、高精度に動きベクトルを検出して、位置合わせの精度を向上させることができる。
【０１１４】
［第３の実施形態］
次に、本発明の第３の実施形態による画像処理装置について説明する。なお、第３の実施形態による画像処理装置の構成は、図１０に示す画造形性装置と同様である。
【０１１５】
第２の実施形態では、現階層において低コントラストの基準ブロック又は繰り返し模様を有する基準ブロックであると、現階層に続く下階層の画像を生成して、下階層において動きベクトルの検出を行うようにした。第３の実施形態では、現階層において基準ブロックが低コントラストの基準ブロックで繰り返し模様を有する基準ブロックであると、上階層において動きベクトルを検出する。
【０１１６】
図１４は、本発明の第３の実施形態による画像処理装置で行われる動きベクトル検出処理を説明するためのフローチャートである。なお、図１４において、図１１に示すフローチャートと同一の処理を行うステップについては同一の参照符号を付して説明を省略する。
【０１１７】
図１１で説明したように、ステップＳ１１０１において、画像縮小部１２０１は基準画像および参照画像を縮小処理して、階層的な画像を生成し、当該階層的な画像をメモリ部１０１に記憶する。
【０１１８】
図１５は、本発明の第３の実施形態による画像処理装置で生成される階層的な画像の一例を示す図である。そして、図１５（ａ）は基準画像の階層構造を示す図であり、図１５（ｂ）は参照画像の階層構造を示す図である。
【０１１９】
いま、ステップＳ１１０１において、図１５に示す階層的に画像が得られたものとする。ここでは、入力画像（基準画像および参照画像）を第１階層の画像１５０１および１５０４とし、第１階層の画像１５０１および１５０４を１／２倍に縮小した画像を第２階層の画像１５０２および１５０５とする。そして、第２階層の画像１５０２および１５０５をさらに１／２倍した画像を第３階層の画像１５０３および１２０５とする。
【０１２０】
図１５に示すように、第３階層においては、被写体１５０７に描かれた絵柄１５０８が縮小処理によって消失してしまっている。このため、ステップＳ１１０３において第３階層の基準ブロックが低コントラストの基準ブロックであるか否かを判定する際、例えば、基準ブロックｂｌｋ［５５］（図４参照）では、低コントラストの基準ブロックと判定されることになる。
【０１２１】
低コントラストの基準ブロックであると判定すると、ブロック状態判定部１０４は現階層（ここでは、第３階層）の上階層（つまり、第２階層）において、該当基準ブロック対応する基準ブロックに動きベクトルの算出に適した模様が存在するか否かを判定する（ステップＳ１４０１）。
【０１２２】
ここで、動きベクトル算出に適した模様が存在するか否かを判定する際には、ブロック状態判定部１０４は上階層において対応する基準ブロックのエッジ積分を行う。そして、当該エッジ積分値が予め設定された閾値以上であり、かつヒストグラムを作成した際に極大値が複数存在すると、ブロック状態判定部１０４は動きベクトル算出に適した模様が存在すると判定する。
【０１２３】
なお、ここでは、現階層および上階層のブロックサイズの比率は一定である。例えば、縮小率が１／２倍の場合には、第３階層のブロックサイズが６４×６４（ｐｉｘｅｌ）であると、第２階層の分割ブロックサイズは１２８×１２８（ｐｉｘｅｌ）となる。
【０１２４】
例えば、第３階層において低コントラストと判定された基準ブロック（ｂｌｋ［５５］）に対応する第２階層の基準ブロックで動きベクトル算出に適した模様は存在するか否かを判定したとする。
【０１２５】
この場合には、図１５に示すように、第２階層の基準ブロックｂｌｋ［５５］の位置には、絵柄１５０８の一部が存在するので、ブロック状態判定部１０４は第２階層において動きベクトル算出に適した模様が存在すると判定することになる。
【０１２６】
上階層において基準ブロックに動きベクトルの算出に適した模様が存在しないと判定すると（ステップＳ１４０１において、ＮＯ）、ブロック状態判定部１０４はステップＳ１１０４の処理に進む。
【０１２７】
一方、上階層において基準ブロックに動きベクトルの算出に適した模様が存在すると判定すると（ステップＳ１４０１において、ＹＥＳ）、ブロック状態判定部１０４は第３階層の基準画像における基準ブロックに対応する第２階層の基準ブロックと、第３階層の参照画像における参照ブロックに対応する第２階層の参照ブロックとを用いてＳＡＤ値テーブルを求める。そして、動きベクトル算出部１０５は当該ＳＡＤ値テーブルを参照して動きベクトルを算出する（ステップＳ１４０２）。
【０１２８】
続いて、動きベクトル算出部１０５はステップＳ１１０９の処理に進むが、ステップＳ１４０２では第２階層における動きベクトルを検出したので、ここでは、動きベクトル算出部１０５は第２階層における動きベクトルを第３階層における動きベクトルに換算することになる。
【０１２９】
第３階層は第２階層を１／２倍に縮小したので、第２階層における動きベクトルを１／２倍した動きベクトルが第３階層における動きベクトルとなる。
【０１３０】
なお、図１４に示すフローチャートでは、ステップＳ１１０５において、基準ブロックが繰り返し模様の基準ブロックであると判定されると、ステップＳ１１０６〜Ｓ１１０８で下階層において動きベクトルを算出して、ステップＳ１１０９で現階層の動きベクトルに換算するようにしている。この代わりに、第１の実施形態で説明したように、現階層において基準ブロックのサイズを拡大して動きベクトルを検出するようにしてもよい。
【０１３１】
このように、本発明の第３の実施形態では、階層的に動きベクトルを算出する際、縮小の処理によって絵柄が消失して低コントラストとなると、上階層において対応する基準ブロックに動きベクトル算出に適した模様が存在するか否かを判定する。これによって、低コントラストと判定されて動きベクトルが算出されなくなる事態を防止することができる。
【０１３２】
この結果、第３の実施形態では、高精度に動きベクトルを検出して、位置合わせの精度を向上させることができる。
【０１３３】
上述の説明から明らかなように、図１および図１０に示す例においては、基準ブロック決定部１０２および参照ブロック決定部１０３が領域分割手段として機能する。
【０１３４】
また、ブロック状態判定部１０４および画像縮小部１２０１はサイズ変更手段として機能し、動きベクトル算出部１０５は動きベクトル検出手段として機能する。
【０１３５】
さらに、ブロック状態判定部１０４は第１の判定手段および第２の判定手段として機能し、画像縮小部１２０１は解像度変更手段として機能する。
【０１３６】
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
【０１３７】
例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
【０１３８】
上記の制御方法および制御プログラムの各々は、少なくとも領域分割ステップ、サイズ変更ステップ、および動きベクトル検出ステップを有している。
【０１３９】
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１４０】
１００，１２００  画像処理装置
１０１  メモリ部
１０２  基準ブロック決定部
１０３  参照ブロック決定部
１０４  ブロック状態判定部
１０５  動きベクトル算出部
３０１  基準画像
３０２  参照画像
３０３  被写体
１２０１  画像縮小部
【図１】
2014052855.tif 000003
【図２】
2014052855.tif 000004
【図３】
2014052855.tif 000005
【図４】
2014052855.tif 000006
【図５】
2014052855.tif 000007
【図６】
2014052855.tif 000008
【図７】
2014052855.tif 000009
【図８】
2014052855.tif 000010
【図９】
2014052855.tif 000011
【図１０】
2014052855.tif 000012
【図１１】
2014052855.tif 000013
【図１２】
2014052855.tif 000014
【図１３】
2014052855.tif 000015
【図１４】
2014052855.tif 000016
【図１５】
2014052855.tif 000017
【図１６】
2014052855.tif 000018
【図１７】
2014052855.tif 000019