(57)【要約】【課題】勾配法による動きベクトルの検出精度を更に向上することができるようにする。【解決手段】重み算出部４２１−１乃至重み算出部４２１−４により、演算ブロックから選択された選択画素とＸ軸及びＹ軸の正又は負方向にそれぞれ４画素分離れている画素までの範囲の選択参照画素それぞれが参照されるとともに、対応画素とＸ軸及びＹ軸の正又は負方向にそれぞれ４画素分離れている画素までの範囲の対応参照画素が参照され、選択画素と選択参照画素それぞれとの勾配情報、及び対応画素と対応参照画素それぞれとの勾配情報に基づいて、選択画素の動きベクトルの検出における有効性を表す重みが算出される。そして演算ブロックの各画素の重みの総和に基づいて、前記演算ブロックを対象とする勾配法演算が実行される。本発明は、２４Ｐ信号から６０Ｐ信号へのフレーム周波数変換処理を行う画像処理装置に適用できる。【選択図】図９
2009100017.tif 000002
【特許請求の範囲】
【請求項１】
勾配法を用いて画像間の動きベクトルを検出する画像処理装置において、
動きベクトルを検出するための勾配法演算の対象となる第１の画像の演算ブロック内であってその演算ブロックから選択された選択画素と所定の位置関係にある範囲内の選択参照画素それぞれを参照するとともに、前記第１の画像から時間的に後の第２の画像の演算ブロック内であって前記第１の画像の選択画素と同位相の対応画素と前記所定の位置関係にある範囲内の対応参照画素を参照して、
前記選択画素と前記選択参照画素それぞれとの勾配情報、及び前記対応画素と前記対応参照画素それぞれとの勾配情報に基づいて、前記選択画素の前記動きベクトルの検出における有効性を表す重みを算出する重み算出手段と、
前記重み算出手段により算出された前記第１の画像の演算ブロック内の各画素についての重みに基づいて、前記演算ブロックを対象とする勾配法演算を実行するか否かを判定する判定手段と
を備え、
前記重み算出手段は、
前記選択画素から第１の方向に所定の距離だけ離れている選択参照画像を参照して、前記選択画素とその選択参照画素との勾配情報を取得し、
前記対応画素から前記第１の方向とは反対の第２の方向に前記所定の距離だけ離れている対応参照画素を参照して、前記対応画素とその対応参照画素との勾配情報を取得し、
取得したそれらの勾配情報に基づいて、前記選択画素の動きベクトルの検出における有効性を示す重みを算出する
画像処理装置。
【請求項２】
勾配法を用いて画像間の動きベクトルを検出する画像処理装置の画像処理方法において、
動きベクトルを検出するための勾配法演算の対象となる第１の画像の演算ブロック内であってその演算ブロックから選択された選択画素と所定の位置関係にある範囲内の選択参照画素それぞれを参照するとともに、前記第１の画像から時間的に後の第２の画像の演算ブロック内であって前記第１の画像の選択画素と同位相の対応画素と前記所定の位置関係にある範囲内の対応参照画素を参照して、
前記選択画素と前記選択参照画素それぞれとの勾配情報、及び前記対応画素と前記対応参照画素それぞれとの勾配情報に基づいて、前記選択画素の前記動きベクトルの検出における有効性を表す重みを算出する重み算出ステップと、
前記重み算出ステップの処理で算出された前記第１の画像の演算ブロック内の各画素についての重みに基づいて、前記演算ブロックを対象とする勾配法演算を実行するか否かを判定する判定ステップと
を含み、
前記重み算出ステップは、
前記選択画素から第１の方向に所定の距離だけ離れている選択参照画像を参照して、前記選択画素とその選択参照画素との勾配情報を取得し、
前記対応画素から前記第１の方向とは反対の第２の方向に前記所定の距離だけ離れている対応参照画素を参照して、前記対応画素とその対応参照画素との勾配情報を取得し、
取得したそれらの勾配情報に基づいて、前記選択画素の動きベクトルの検出における有効性を示す重みを算出する
画像処理方法。
【請求項３】
勾配法を用いて画像間の動きベクトルを検出する画像処理をコンピュータに実行させるプログラムにおいて、
動きベクトルを検出するための勾配法演算の対象となる第１の画像の演算ブロック内であってその演算ブロックから選択された選択画素と所定の位置関係にある範囲内の選択参照画素それぞれを参照するとともに、前記第１の画像から時間的に後の第２の画像の演算ブロック内であって前記第１の画像の選択画素と同位相の対応画素と前記所定の位置関係にある範囲内の対応参照画素を参照して、
前記選択画素と前記選択参照画素それぞれとの勾配情報、及び前記対応画素と前記対応参照画素それぞれとの勾配情報に基づいて、前記選択画素の前記動きベクトルの検出における有効性を表す重みを算出する重み算出ステップと、
前記重み算出ステップの処理で算出された前記第１の画像の演算ブロック内の各画素についての重みに基づいて、前記演算ブロックを対象とする勾配法演算を実行するか否かを判定する判定ステップと
を含み、
前記重み算出ステップは、
前記選択画素から第１の方向に所定の距離だけ離れている選択参照画像を参照して、前記選択画素とその選択参照画素との勾配情報を取得し、
前記対応画素から前記第１の方向とは反対の第２の方向に前記所定の距離だけ離れている対応参照画素を参照して、前記対応画素とその対応参照画素との勾配情報を取得し、
取得したそれらの勾配情報に基づいて、前記選択画素の動きベクトルの検出における有効性を示す重みを算出する
画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【背景技術】
【０００１】
動画像のフレーム周波数変換処理や動画像圧縮処理は、動画像上で動き検出処理を行い、検出した動きベクトルを用いて行われることが多い。この動き検出処理の一般的な方法として、反復勾配法がある。
【０００２】
ここで反復勾配法の原理について説明する。
【０００３】
動画像中において、水平、垂直、時間軸を用いた座標（ｘ、ｙ、ｔ）で表される画素の輝度値をｇ（ｘ、ｙ、ｔ）とする。ここで、着目画素（ｘ0、ｙ0、ｔ0）が、微小時間中に、（ｄｘ、ｄｙ、ｄｔ）だけ変位したとき、水平、垂直、時間軸の勾配（差分差）を、それぞれｇｘ（ｘ0、ｙ0、ｔ0）、ｇｙ（ｘ0、ｙ0、ｔ0）、ｇｔ（ｘ0、ｙ0、ｔ0）と表すと、変位後の画素の輝度値は、Taylor展開近似を用いて、次の式（１）で表される。
【０００４】
【数１】
2009100017.tif 000003
【０００５】
ここで、動画像中のある着目画素が１フレーム後に水平ｖｘ、垂直ｖｙだけ移動した場合（以降、（ｖｘ、ｖｙ）と表す）、その画素の輝度値は、次の式（２）で表される。
【０００６】
【数２】
2009100017.tif 000004
【０００７】
式（１）を式（２）に代入すると、次の式（３）で表される。
【０００８】
【数３】
2009100017.tif 000005
【０００９】
式（３）は、ｖｘ、ｖｙの２変数の式であるので、着目１画素に対する単独の式では、その解を求めることができない。そこで、次に説明するように、着目画素の周辺領域であるブロックを１つの処理単位として考え、ブロック（周辺領域）内の全画素が同じ動き（ｖｘ、ｖｙ）をすると仮定し、各画素について同様の式を立てる。仮定が前提となるが、２変数に対して周辺画素の個数の式が得られる。従って、それらの式を連立させ、ブロック内全画素の動き補償フレーム差分の自乗和が最小になるような（ｖｘ、ｖｙ）を求める。
【００１０】
画素（ｘ、ｙ、ｔ）が１フレーム間に（ｖｘ、ｖｙ）だけ移動したとき、その動き補償フレーム間差分dは、次の式（４）で表される。
【００１１】
【数４】
2009100017.tif 000006
【００１２】
式（４）において、Δｘ=ｇｘ（ｘ、ｙ、ｔ）であり、水平方向の勾配を表し、Δｙ＝ｇｙ（ｘ、ｙ、ｔ）であり、垂直方向の勾配を表し、Δｔ＝ｇｔ（ｘ、ｙ、ｔ）であり、時間方向の勾配を表す。これらを用いて、動き補償フレーム間差分の自乗和をＥとすると、式（５）で表される。
【００１３】
【数５】
2009100017.tif 000007
【００１４】
ここで、Ｅが最小となる（ｖｘ、ｖｙ）は、各変数における偏微分値が０になるとき、即ち、δＥ／δｖｘ＝δＥ／δｖｙ＝０の条件が成立するときなので、式（５）から、次の式（６）及び式（７）となる。
【００１５】
【数６】
2009100017.tif 000008
【００１６】
【数７】
2009100017.tif 000009
【００１７】
これらの式（６）及び式（７）から、求めたい動きである（ｖｘ、ｖｙ）は、次の式（８）を演算することにより求めることができる。
【００１８】
【数８】
2009100017.tif 000010
【００１９】
ここで、図１を参照して、更に具体的に説明する。図１の例において、矢印Ｘは、画像上のＸ軸方向（水平方向）を示しており、矢印Ｙは、Ｙ軸方向（垂直方向）を示している。また、矢印Ｔは、図中、右奥の時刻ｔのフレーム（以下、フレームｔと称する）から、左手前の１つ後の時刻ｔ＋１のフレーム（以下、フレームｔ＋１と称する）への時間の経過方向を示している。なお、図１の例においては、各フレームは、着目画素ｐの周辺領域（ブロック）として、勾配法演算に用いられる８画素×８画素の領域のみ示されている。
【００２０】
フレームｔにおいて、左上の画素から下に５番目、右に５番目の画素である着目画素ｐの動きベクトルＶ（ｖｘ、ｖｙ）を、上述した勾配法を用いて求める場合、動きベクトルＶ（ｖｘ、ｖｙ）は、着目画素ｐのｘ、ｙ方向のそれぞれについて求められる隣接画素ｐｘ及びｐｙとの輝度の差分差（即ち、勾配）ΔｘとΔｙ、及びフレームｔ＋１において求められる着目画素ｐの同位相に位置する画素ｑとの時間方向の輝度の差分差（勾配）Δｔを、着目画素ｐの周辺領域（８画素×８画素）の全ての画素について求め、それらの差分差を、式（８）を用いて演算することにより、求めることができる。
【００２１】
即ち、勾配法とは、２フレーム間において、勾配Δｘ、Δｙ、及びΔｔを求め、求められたΔｘ、Δｙ、及びΔｔから、差分自乗和を用いて、統計的に、動きベクトルＶ（ｖｘ、ｖｙ）を算出するものである。
【００２２】
ところで一般的に、このような勾配法を用いた動きベクトル検出方法においては、微小動きに対して精度の高い結果が得られる。ただし、実際の動画像の中で動きを求めようとする場合、この勾配法は、その動き量が大きすぎるため実用的とはいえない。これに対応して、この勾配法を複数回反復する方法が考えられている。これが反復勾配法である。この反復勾配法によれば、勾配法を反復して実行することにより、各演算で求められる動き量が収束するので、徐々に正しい動きを求めることができる。
【００２３】
なおただ、勾配法を反復するだけでは、リアルタイム処理を行おうとした場合、演算時間の面から実用的ではない。そこで、過去フレームと現在フレームでの周辺画素の動きに基づいて求められる初期ベクトルを、初期値として用いることで、勾配法の繰り返し回数を軽減することができる。即ち、動きの起点となる着目画素から、初期ベクトルが指す先へオフセットを予め加えることで大まかな動きを算出し、オフセットが加えられたその位置から勾配法を用いた演算を行うようにすれば、画素以下動きを含めた微調整を行うことができる。これにより、演算時間を増大させることなく、精度のよい動きベクトルを検出することができる。
【００２４】
図２は、初期ベクトルを用いて実行される反復勾配法について具体的に説明する図である。図２の例においては、矢印Ｔは、図中、左手前の時刻ｔのフレームｔから、右奥の時刻ｔ＋１のフレームｔ＋１への時間の経過を示している。なお、各画素ｐ、ｑ０、ｑ１、ｑ２、及びｑ３を中心としたブロックは、その画素の、勾配法演算に用いられる周辺領域（ブロック）を表している。
【００２５】
図２の例の場合、フレームｔにおける着目画素ｐに対して、フレームｔ＋１においては、着目画素ｐの同位相に位置する画素ｑ０ではなく、予め求めておいた初期ベクトルｖ０をオフセット（移動）して計算した位置（画素）ｑ１を開始点として１回目の勾配法演算が行われ、その結果、動きベクトルｖ１が得られる。
【００２６】
次に、画素ｑ０からｖ０＋ｖ１をオフセットして計算した位置（画素）ｑ２を開始点として、２回目の勾配法演算が行われ、その結果、動きベクトルｖ２が得られる。これにより、最終的に動きベクトルＶは、式（９）として求められる。
【００２７】
【数９】
2009100017.tif 000011
【００２８】
以上のようにして、初期ベクトルを用いて、反復勾配法の演算を実行することにより、演算時間を短縮させつつ、精度の高い動きベクトルを求めることができる。
【００２９】
以上のような原理から反復勾配法により動きを検出することができるが、勾配法を利用した画像信号内の動き検出する手法では、以下に挙げる２つの仮定が想定されている。
【００３０】
一つ目は、「画像波形の勾配は動き範囲内で一定（以下、適宜、勾配一定仮定と称する）」ということである。この仮定は時空間勾配情報を用いて動き量を算出するという勾配法の根幹である。一般の自然画像における波形の勾配が一定である領域は比較的狭い範囲であると考えられるので、勾配法によって得られる動き量は比較的小さい値となる傾向がある。
【００３１】
二つ目は、「着目画素近傍の領域は同様の動き」ということである。この仮定に基づいて、着目近傍に設定した演算領域内の画素を基準とした複数の勾配情報を収集し、それらを利用して最小自乗法を解くことで動き量を得ることができる。そのため、近傍領域に複数物体が存在する場合など、この仮定が成立しない場合には、適切な動きベクトルを検出することができない。
【００３２】
そこで、このような特性を鑑み、収集する勾配情報に対して閾値判定処理などを施し、利用する演算要素を取捨選択する方式が提案されている（特許文献１参照）。
【００３３】
ここで、演算要素の有効性を判定しその取捨選択を行う方法を、図３を参照して説明する。
【００３４】
図３の例においては、矢印Ｔは、図中、左手前の時刻ｔのフレームｔから、右奥の時刻ｔ＋１のフレームｔ＋１への時間の経過方向を示している。
【００３５】
フレームｔ上においては、動きベクトルの検出の対象となる４画素×４画素からなる検出対象ブロックＫｔ（図中黒丸）と、検出対象ブロックＫｔを中心とした（検出対象ブロックの周囲の）８画素×８画素からなる演算ブロックＥｔが示されている。一方、フレームｔ＋１上においては、検出対象ブロックＫｔに対応する４画素×４画素からなる検出対象ブロックＫｔ＋１（図中黒丸）と、演算ブロックＥｔに対応する８画素×８画素からなる演算ブロックＥｔ＋１が示されている。なお、フレームｔ＋１上の点線のブロックは、演算ブロックＥｔと同位相のブロックを表しており、フレームｔ＋１上において、動きベクトルＶ（Ｖｘ、Ｖｙ）が初期ベクトルとして与えられた分だけ、点線のブロックからシフト（移動）された位置の演算ブロックＥｔ＋１が勾配法の演算の対象として用いられる。
【００３６】
ここで、フレームｔ上の演算ブロックＥｔの画素ｐ１とフレームｔ＋１上の演算ブロックＥｔ＋１間の同位置の画素ｐ２における時間方向の画素差分（フレーム差分）をΔｔとし、このときの画枠をｗとすると、演算ブロックＥｔの画素ｐ１の水平方向の画素差分Δｘ１、垂直方向の画素差分Δｙ１、及び時間方向の画素差分Δｔは、式（１０）乃至式（１２）で求められる。
【００３７】
【数１０】
2009100017.tif 000012
【数１１】
2009100017.tif 000013
【数１２】
2009100017.tif 000014
【００３８】
なお、Ｙｔ＋１は、時刻ｔ＋１における画素値を表し、Ｙｔは、時刻ｔにおける画素値を表し、ｋ＋１及びｋは、アドレス（位置）を表す。また、画素ｐ１に対応する演算ブロックＥｔ＋１の画素ｐ２の水平方向の画素差分Δｘ２、及び垂直方向の画素差分Δｙ２も同様に求められる。
【００３９】
これらの値を用いて、論理演算が行われ、その結果に基づいて、有効画素判定が行われる。即ち、演算ブロックＥｔの画素のうち、次の３つの条件式（１３）乃至（１５）のいずれかを満たす（即ち、式（１６）を満たす）か否かを求めることにより、その画素が動きベクトル検出に有効な画素であるか否かが判定される。
【００４０】
【数１３】
2009100017.tif 000015
【数１４】
2009100017.tif 000016
【数１５】
2009100017.tif 000017
【００４１】
【数１６】
2009100017.tif 000018
【００４２】
ここで、‖は、論理和、＆＆は、論理積、・は、乗算、ｔｈ１及びｔｈ２は、それぞれ所定のしきい値を表している。なお、ｔｈ１は、例えば、１、１．５、または２とされ、ｔｈ２は、例えば、４とされる。
【００４３】
従って、式（１３）において、Δｘ１≠０  ＆＆  Δｘ２≠０は、画素ｐ１及び画素ｐ２の水平勾配が平坦ではない（水平方向に勾配を有する）ことを表す。｜Δｘ１｜＞ｔｈ１・｜Δｙ１｜は、水平勾配が垂直勾配よりもある程度大きく、より支配的であることを表す。｜Δｔ／Δｘ１−Δｔ／Δｘ２｜＜ｔｈ２は、勾配法による（正規化した場合の）水平方向の動きが、所定のしきい値ｔｈ２より小さい、即ち、水平方向の動きに、類似性があることを表す。以上により、式（１３）は、水平方向に着目した条件を表しており、これら全てを満たした画素は、水平方向の動きに類似性があると判定され、勾配法に用いて有効であると判定される。
【００４４】
また、式（１４）において、Δｙ１≠０  ＆＆  Δｙ２≠０は、垂直勾配が平坦ではない（垂直方向に勾配を有する）ことを表す。｜Δｙ１｜＞ｔｈ１・｜Δｘ１｜は、垂直勾配が水平勾配よりもある程度大きく、より支配的であることを表す。｜Δｔ／Δｙ１−Δｔ／Δｙ２｜＜ｔｈ２は、勾配法による（正規化した場合の）垂直方向の動きに類似性があることを表す。以上により、式（１４）は、垂直方向に着目した条件を表しており、これら全てを満たした画素は、垂直方向の動きに類似性があると判定され、後段の勾配法に用いて有効であると判定される。
【００４５】
同様に、式（１５）において、Δｘ１≠０  ＆＆  Δｘ２≠０  ＆＆  Δｙ１≠０  ＆＆  Δｙ２≠０は、垂直及び水平勾配が平坦ではない（垂直及び水平方向に勾配を有する）ことを表す。｜Δｔ／Δｘ１−Δｔ／Δｘ２｜＜ｔｈ２  ＆＆  ｜Δｔ／Δｙ１−Δｔ／Δｙ２｜＜ｔｈ２は、勾配法による（正規化した場合の）垂直方向及び水平方向の動きに類似性があることを表す。以上により、式（１５）は、式（１３）及び（１４）を満たしていないものに対しての水平及び垂直の両方向に着目した条件を表しており、これら全てを満たした画素は、水平及び垂直方向の動きに類似性があると判定され、勾配法に用いて有効であると判定される。
【００４６】
【特許文献１】特開2007-74587号公報
【発明の開示】
【発明が解決しようとする課題】
【００４７】
しかしながらこの従来の方法では、勾配情報の算出方法が１つの参照画素との差分値に基づいて行われており（例えば、水平方向の画素差分Δｘでは、１アドレス分隣の画素との差分値（式（１０））、複数の参照画素を用いて、より有意な勾配情報を取得することはなされていなかった。
【００４８】
また演算要素が閾値に依存して取捨選択されるので（例えば、式（１６）に応じて勾配演算に使用される画素が取捨選択されるので）、採用されなかった画素を考慮して勾配法を演算することができなかった。
【００４９】
本発明は、このような状況に鑑みてなされたものであり、例えば、複数の参照画素を用いて勾配情報を取得するとともに、画一的に取捨選択して演算要素を決定せずに、勾配法演算に用いることができるようにするものである。
【課題を解決するための手段】
【００５０】
本発明の一側面の画像処理装置は、勾配法を用いて画像間の動きベクトルを検出する画像処理装置において、動きベクトルを検出するための勾配法演算の対象となる第１の画像の演算ブロック内であってその演算ブロックから選択された選択画素と所定の位置関係にある範囲内の選択参照画素それぞれを参照するとともに、前記第１の画像から時間的に後の第２の画像の演算ブロック内であって前記第１の画像の選択画素と同位相の対応画素と前記所定の位置関係にある範囲内の対応参照画素を参照して、前記選択画素と前記選択参照画素それぞれとの勾配情報、及び前記対応画素と前記対応参照画素それぞれとの勾配情報に基づいて、前記選択画素の前記動きベクトルの検出における有効性を表す重みを算出する重み算出手段と、前記重み算出手段により算出された前記第１の画像の演算ブロック内の各画素についての重みに基づいて、前記演算ブロックを対象とする勾配法演算を実行するか否かを判定する判定手段とを備え、前記重み算出手段は、前記選択画素から第１の方向に所定の距離だけ離れている選択参照画像を参照して、前記選択画素とその選択参照画素との勾配情報を取得し、前記対応画素から前記第１の方向とは反対の第２の方向に前記所定の距離だけ離れている対応参照画素を参照して、前記対応画素とその対応参照画素との勾配情報を取得し、取得したそれらの勾配情報に基づいて、前記選択画素の動きベクトルの検出における有効性を示す重みを算出する。
【００５１】
本発明の一側面の画像処理方法又はプログラムは、勾配法を用いて画像間の動きベクトルを検出する画像処理装置の画像処理方法において、又は勾配法を用いて画像間の動きベクトルを検出する画像処理をコンピュータに実行させるプログラムにおいて、動きベクトルを検出するための勾配法演算の対象となる第１の画像の演算ブロック内であってその演算ブロックから選択された選択画素と所定の位置関係にある範囲内の選択参照画素それぞれを参照するとともに、前記第１の画像から時間的に後の第２の画像の演算ブロック内であって前記第１の画像の選択画素と同位相の対応画素と前記所定の位置関係にある範囲内の対応参照画素を参照して、前記選択画素と前記選択参照画素それぞれとの勾配情報、及び前記対応画素と前記対応参照画素それぞれとの勾配情報に基づいて、前記選択画素の前記動きベクトルの検出における有効性を表す重みを算出する重み算出ステップと、前記重み算出ステップの処理で算出された前記第１の画像の演算ブロック内の各画素についての重みに基づいて、前記演算ブロックを対象とする勾配法演算を実行するか否かを判定する判定ステップとを含み、前記重み算出ステップは、前記選択画素から第１の方向に所定の距離だけ離れている選択参照画像を参照して、前記選択画素とその選択参照画素との勾配情報を取得し、前記対応画素から前記第１の方向とは反対の第２の方向に前記所定の距離だけ離れている対応参照画素を参照して、前記対応画素とその対応参照画素との勾配情報を取得し、取得したそれらの勾配情報に基づいて、前記選択画素の動きベクトルの検出における有効性を示す重みを算出する。
【００５２】
本発明の一側面の画像処理装置、画像処理方法又はプログラムにおいては、動きベクトルを検出するための勾配法演算の対象となる第１の画像の演算ブロック内であってその演算ブロックから選択された選択画素と所定の位置関係にある範囲内の選択参照画素それぞれが参照されるとともに、前記第１の画像から時間的に後の第２の画像の演算ブロック内であって前記第１の画像の選択画素と同位相の対応画素と前記所定の位置関係にある範囲内の対応参照画素が参照されて、前記選択画素と前記選択参照画素それぞれとの勾配情報、及び前記対応画素と前記対応参照画素それぞれとの勾配情報に基づいて、前記選択画素の前記動きベクトルの検出における有効性を表す重みが算出され、算出された前記第１の画像の演算ブロック内の各画素についての重みに基づいて、前記演算ブロックを対象とする勾配法演算を実行するか否かが判定され、重みを算出する際、前記選択画素から第１の方向に所定の距離だけ離れている選択参照画像が参照されて、前記選択画素とその選択参照画素との勾配情報が取得され、前記対応画素から前記第１の方向とは反対の第２の方向に前記所定の距離だけ離れている対応参照画素が参照されて、前記対応画素とその対応参照画素との勾配情報が取得され、取得したそれらの勾配情報に基づいて、前記選択画素の動きベクトルの検出における有効性を示す重みが算出される。
【発明の効果】
【００５３】
本発明の一側面によれば、特に、勾配法による動きベクトルの検出精度を更に向上させることができる。
【発明を実施するための最良の形態】
【００５４】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００５５】
本発明の一側面の画像処理装置は、勾配法を用いて画像間の動きベクトルを検出する画像処理装置において、
動きベクトルを検出するための勾配法演算の対象となる第１の画像の演算ブロック内であってその演算ブロックから選択された選択画素と所定の位置関係にある範囲内の選択参照画素それぞれを参照するとともに、前記第１の画像から時間的に後の第２の画像の演算ブロック内であって前記第１の画像の選択画素と同位相の対応画素と前記所定の位置関係にある範囲内の対応参照画素を参照して、
前記選択画素と前記選択参照画素それぞれとの勾配情報、及び前記対応画素と前記対応参照画素それぞれとの勾配情報に基づいて、前記選択画素の前記動きベクトルの検出における有効性を表す重みを算出する重み算出手段（例えば、図９の重み算出部４２１−１乃至４２１−４）と、
前記重み算出手段により算出された前記第１の画像の演算ブロック内の各画素についての重みに基づいて、前記演算ブロックを対象とする勾配法演算を実行するか否かを判定する判定手段（例えば、図９の勾配足し込み部４２２と演算実行判定部４２３）と
を備え、
前記重み算出手段は、
前記選択画素から第１の方向に所定の距離だけ離れている選択参照画像を参照して、前記選択画素とその選択参照画素との勾配情報を取得し（例えば、図１７）、
前記対応画素から前記第１の方向とは反対の第２の方向に前記所定の距離だけ離れている対応参照画素を参照して、前記対応画素とその対応参照画素との勾配情報を取得し（例えば、図１７）、
取得したそれらの勾配情報に基づいて、前記選択画素の動きベクトルの検出における有効性を示す重みを算出する（例えば、図１８）。
【００５６】
本発明の一側面の画像処理方法又はプログラムは、勾配法を用いて画像間の動きベクトルを検出する画像処理装置の画像処理方法において、又は勾配法を用いて画像間の動きベクトルを検出する画像処理をコンピュータに実行させるプログラムにおいて、
動きベクトルを検出するための勾配法演算の対象となる第１の画像の演算ブロック内であってその演算ブロックから選択された選択画素と所定の位置関係にある範囲内の選択参照画素それぞれを参照するとともに、前記第１の画像から時間的に後の第２の画像の演算ブロック内であって前記第１の画像の選択画素と同位相の対応画素と前記所定の位置関係にある範囲内の対応参照画素を参照して、
前記選択画素と前記選択参照画素それぞれとの勾配情報、及び前記対応画素と前記対応参照画素それぞれとの勾配情報に基づいて、前記選択画素の前記動きベクトルの検出における有効性を表す重みを算出する重み算出ステップ（例えば、図２２のステップＳ４２乃至ステップＳ４４）と、
前記重み算出ステップの処理で算出された前記第１の画像の演算ブロック内の各画素についての重みに基づいて、前記演算ブロックを対象とする勾配法演算を実行するか否かを判定する判定ステップ（例えば、図２１のステップＳ２４）と
を含み、
前記重み算出ステップは、
前記選択画素から第１の方向に所定の距離だけ離れている選択参照画像を参照して、前記選択画素とその選択参照画素との勾配情報を取得し（例えば、図２２のステップＳ４２）、
前記対応画素から前記第１の方向とは反対の第２の方向に前記所定の距離だけ離れている対応参照画素を参照して、前記対応画素とその対応参照画素との勾配情報を取得し（例えば、図２２のステップＳ４２）、
取得したそれらの勾配情報に基づいて、前記選択画素の動きベクトルの検出における有効性を示す重みを算出する（例えば、図２２のステップＳ４３）。
【００５７】
以下、図を参照して本発明の実施の形態について説明する。
【００５８】
図４は、本発明を適用した画像処理装置１の構成例を表している。画像処理装置１は、例えば、パーソナルコンピュータなどで構成される。図４において、ＣＰＵ（Central Processing Unit）１１は、ＲＯＭ（Read Only Memory）１２、または記憶部１８に記憶されているプログラムに従って各種の処理を実行する。ＲＡＭ（Random Access Memory）１３には、ＣＰＵ１１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４により相互に接続されている。
【００５９】
ＣＰＵ１１にはまた、バス１４を介して入出力インタフェース１５が接続されている。入出力インタフェース１５には、キーボード、マウス、マイクロフォンなどよりなる入力部１６、ディスプレイ、スピーカなどよりなる出力部１７が接続されている。ＣＰＵ１１は、入力部１６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ１１は、処理の結果、得られた画像や音声等を出力部１７に出力する。
【００６０】
入出力インタフェース１５に接続されている記憶部１８は、例えばハードディスクなどで構成され、ＣＰＵ１１が実行するプログラムや各種のデータを記憶する。通信部１９は、インターネット、その他のネットワークを介して外部の装置と通信する。また、通信部１９を介してプログラムを取得し、記憶部１８に記憶してもよい。
【００６１】
入出力インタフェース１５に接続されているドライブ２０は、磁気ディスク３１、光ディスク３２、光磁気ディスク３３、或いは半導体メモリ３４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部１８に転送され、記憶される。
【００６２】
なお、画像処理装置１は、例えば、テレビジョン受像機、光ディスクプレーヤなど、または、それらの信号処理部とすることもできる。
【００６３】
図５は、画像処理装置１を示すブロック図である。
【００６４】
なお、画像処理装置１の各機能をハードウェアで実現するか、ソフトウェアで実現するかは問わない。つまり、本明細書の各ブロック図は、ハードウェアのブロック図と考えても、ソフトウェアによる機能ブロック図と考えてもよい。
【００６５】
図５に構成を示す画像処理装置１においては、例えば、フレーム周波数２４Ｈｚのプログレッシブ画像信号（以下、２４Ｐ信号と称する）の画像が入力され、入力された画像（入力画像）が、フレーム周波数６０Ｈｚのプログレッシブ画像信号（以下、６０Ｐ信号と称する）の画像に変換されて、出力される。
【００６６】
画像処理装置１に入力された２４Ｐ信号の入力画像は、フレームメモリ５１、ベクトル検出部５２、ベクトル割付部５４、及び画像補間部５６に供給される。
【００６７】
フレームメモリ５１は、入力画像をフレーム単位で記憶する。フレームメモリ５１は、時刻ｔ＋１の入力画像の１つ前の時刻ｔのフレームｔを記憶する。フレームメモリ５１に記憶される時刻ｔのフレームｔは、ベクトル検出部５２、ベクトル割付部５４、及び画像補間部５６に供給される。
【００６８】
ベクトル検出部５２は、フレームメモリ５１上のフレームｔの着目ブロックと、入力画像のフレームｔ＋１の対象ブロックの間で動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この２フレーム間の動きベクトルの検出方法には、反復勾配法が用いられ、その詳細については後述する。
【００６９】
検出ベクトルメモリ５３は、フレームｔにおいて、ベクトル検出部５２により検出された動きベクトルを記憶する。
【００７０】
ベクトル割付部５４は、２４Ｐ信号のフレームｔ上において求められた動きベクトルを、割付ベクトルメモリ５５上の、補間する６０Ｐ信号のフレーム（以下、６０Ｐ信号のフレームは、２４Ｐ信号のフレームと区別するため、内挿フレームとも称する）上の画素に割り付ける。
【００７１】
画像補間部５６は、割付ベクトルメモリ５５の内挿フレームに割り付けられた動きベクトルと、フレームｔ及び次のフレームｔ＋１の画素値を用いて、内挿フレームの画素値を補間生成する。そして、画像補間部５６は、生成された内挿フレームを出力し、その次に、必要に応じて、フレームｔ＋１を出力することにより、６０Ｐ信号の画像を、図示せぬ後段に出力する。
【００７２】
なお、以下においては、画素値を、適宜、輝度値とも称する。
【００７３】
次に、ベクトル検出部５２の構成について説明する。
【００７４】
図６は、ベクトル検出部５２の構成例を示すブロック図である。図６に構成を示すベクトル検出部５２は、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、フレームｔ上の動きベクトルを検出し、検出した動きベクトルを、検出ベクトルメモリ５３に記憶する。この動きベクトルを検出する処理は、例えば複数の画素からなる所定のブロック毎に実行される。
【００７５】
初期ベクトル選択部１０１は、所定のブロック毎に、過去の動きベクトルの検出結果から求められる信頼度が高い動きベクトルを、勾配法に用いられる初期値となる初期ベクトルＶ０として、反復勾配法演算部１０３に出力する。
【００７６】
具体的には、初期ベクトル選択部１０１は、検出ベクトルメモリ５３に記憶される過去に求められた周辺のブロックの動きベクトルや、シフト初期ベクトルメモリ１０７に記憶されるシフト初期ベクトルを、初期ベクトルの候補ベクトルとして選択する。
【００７７】
そして、初期ベクトル選択部１０１は、図示せぬ評価値演算部を有しており、その評価値演算部に、フレームｔとフレームｔ＋１を用いて、候補ベクトルの評価値を求めさせ、候補ベクトルの中から、評価値演算部により求められた評価値に基づく、最も信頼度が高いものを選択し、初期ベクトルＶ０として出力する。
【００７８】
ここで、図７を参照して、このベクトルの評価値について説明する。
【００７９】
動きベクトルに対する評価値として、例えば、２つのフレームの注目するベクトル量分ずらしたブロック間の相関値を表す差分絶対値和（ＤＦＤ(Displaced Frame Difference)）が評価値演算部により演算されて、用いられる。
【００８０】
図７の例においては、時刻ｔのフレームｔ上の画素位置ｐを中心としたｍ×ｎのブロック、及び、時刻ｔ＋１のフレームｔ＋１上の画素位置ｐから注目する動きベクトルｖのベクトル量分ずらした画素位置ｐ＋ｖを中心としたｍ×ｎのブロックの２つのブロックが示されている。これら２つのブロック間において求められる差分絶対値和ＤＦＤt（ｐ）は、次の式（１７）で表される。
【００８１】
【数１７】
2009100017.tif 000019
【００８２】
ここで、Ｆt（ｐ）は、時刻ｔにおける画素位置ｐの輝度値を表しており、ｍ×ｎは、差分絶対値和を求めるためのＤＦＤ演算範囲（ブロック）を表している。この差分絶対値和は、２つのフレームにおけるＤＦＤ演算範囲（ブロック）間の相関値を表しているため、一般的には、この差分絶対値和が小さいほどフレーム間のブロックの波形が一致しており、差分絶対値和が小さいほど、動きベクトルｖの信頼度が高いと判定される。
【００８３】
このように、例えば差分絶対値和が、評価値として、複数の候補の中から、最も確からしい動きベクトルを選ぶ場合に用いられる。
【００８４】
図６に戻りプリフィルタ１０２−１及び１０２−２は、ローパスフィルタやガウシアンフィルタにより構成され、それぞれ、入力される画像のフレームｔ及びフレームｔ＋１のノイズ成分を除去し、反復勾配法演算部１０３に出力する。
【００８５】
反復勾配法演算部１０３は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０と、プリフィルタ１０２−１及び１０２−２を介して入力されるフレームｔ及びフレームｔ＋１を用いて、所定のブロック毎に、勾配法により、動きベクトルＶｎを算出する。反復勾配法演算部１０３は、初期ベクトルＶ０と、算出された動きベクトルＶｎをベクトル評価部１０４に出力する。また、反復勾配法演算部１０３は、ベクトル評価部１０４による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトルＶｎを算出する。
【００８６】
ベクトル評価部１０４も、初期ベクトル選択部１０１が有する評価値演算部と同様の評価値演算部を有しており、その評価値演算部に、反復勾配法演算部１０３からの動きベクトルＶｎ−１（または初期ベクトルＶ０）と、動きベクトルＶｎの評価値を求めさせ、その評価値演算部により求められた評価値に基づいて、反復勾配法演算部１０３を制御し、勾配法の演算を繰り返し実行させ、最終的に、評価値に基づく、信頼性の高いものを選択し、選択した動きベクトルＶを、検出ベクトルメモリ５３に記憶させる。
【００８７】
このとき、ベクトル評価部１０４は、動きベクトルＶとともに、その動きベクトルＶに対して求められた評価値を、シフト初期ベクトル割付部１０５に供給する。
【００８８】
シフト初期ベクトル割付部１０５は、ベクトル評価部１０４より動きベクトルＶ及びその評価値が供給されると、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。換言すると、シフト初期ベクトル割付部１０５は、動きベクトルＶの終点のブロックと同じ位置の次のフレーム上の着目ブロックを始点とした、動きベクトルＶと同じ大きさで同じ向きの動きベクトルを、シフト初期ベクトルとして設定する。そして、シフト初期ベクトル割付部１０５は、設定したシフト初期ベクトルを、着目ブロックに対応させて、シフト初期ベクトルメモリ１０７に割り付ける。
【００８９】
次に、ベクトル検出部５２の反復勾配法演算部１０３の構成について説明する。
【００９０】
図８は、反復勾配法演算部１０３の構成を示すブロック図である。この反復勾配法演算部１０３は、入力される時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１を用いて、各ブロック毎に、勾配法を用いた演算を繰り返し実行することにより、動きベクトルを検出し、ベクトル評価部１０４に出力する。即ち、動きベクトルは、動きベクトルの検出対象となる検出対象ブロック毎に求められるが、その検出対象ブロックの動きベクトルを求める際の勾配法演算は、勾配法演算の対象となる演算ブロックを対象として実行される。
【００９１】
反復勾配法演算部１０３は、セレクタ４０１、メモリ制御信号生成部４０２、メモリ４０３、評価値算出部４０４、勾配法演算部４０５、及び遅延部４０６により構成される。
【００９２】
セレクタ４０１には、初期ベクトル選択部１０１からの初期ベクトルＶ０が入力される。セレクタ４０１は、初期ベクトル選択部１０１からの初期ベクトルＶ０を、勾配法演算の初期値として用いる動きベクトル（以下、オフセットベクトルと称する）Ｖｎ−１として選択し、メモリ制御信号生成部４０２、勾配法演算部４０５、及びベクトル評価部１０４に出力する。
【００９３】
また、セレクタ４０１は、遅延部４０６から、勾配法演算部４０５により勾配法演算が実行された結果の動きベクトルＶが入力された場合、勾配法演算部４０５により演算された動きベクトルＶを、オフセットベクトルＶｎ−１として選択し、メモリ制御信号生成部４０２、勾配法演算部４０５、及びベクトル評価部１０４に出力する。
【００９４】
メモリ制御信号生成部４０２には、画像処理装置１の図示せぬ制御部から、処理の開始タイミングと位置情報を制御する制御信号が入力される。メモリ制御信号生成部４０２は、制御信号及びセレクタ４０１からのオフセットベクトルＶｎ−１に応じて、メモリ４０３に記憶されている時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１から、処理の対象となる演算ブロックを構成する画素の画素値（輝度値）（以下、対象画素値と称する）を読み出させ、読み出した対象画素値を、評価値算出部４０４及び勾配法演算部４０５に供給させる。メモリ制御信号生成部４０２はまた、後述する評価値算出に利用するその演算ブロックの周辺の画素の画素値（輝度値）を更に読み出させ、読み出したその画素値を、評価値算出部４０４に供給させる。
【００９５】
メモリ４０３には、プリフィルタ１０２−１及び１０２−２を介して、時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１が入力され、記憶されている。
【００９６】
評価値算出部４０４は、メモリ４０３から供給される対象画素値等を用いて、例えば、フレームｔとフレームｔ＋１の演算ブロックについて、動きベクトルを演算するブロックとしての有効性を表す評価値を算出する。評価値算出部４０４は、算出したその評価値に基づいて勾配法演算の実行を判定し、その判定結果を、勾配法演算部４０５に通知する。
【００９７】
勾配法演算部４０５は、評価値算出部４０４から通知される評価値の判定結果に基づいて勾配法演算を実行する。即ち勾配法演算部４０５は、メモリ４０３から供給される対象画素値を用いて、勾配法演算を実行し、セレクタ４０１からのオフセットベクトルＶｎ−１を用いて、動きベクトルＶｎを算出し、算出された動きベクトルＶｎを、ベクトル評価部１０４に出力する。なお、このとき、勾配法演算部４０５においては、用いられる勾配法演算（式）が、上述した式（８）の最小自乗和を用いた勾配法演算処理が実行される。
【００９８】
遅延部４０６には、ベクトル評価部１０４から、勾配法演算部４０５により算出され、ベクトル評価部１０４により評価された結果の動きベクトルＶが入力される。遅延部４０６は、ベクトル評価部１０４から入力される動きベクトルＶを、評価値算出部４０４及び勾配法演算部４０５の次の処理のサイクルまで保持し、次の処理のサイクルで、動きベクトルＶをセレクタ４０１に出力する。
【００９９】
次に、反復勾配法演算部１０３の評価値算出部４０４の構成について説明する。
【０１００】
図９は、評価値算出部４０４の構成例を示すブロック図である。この評価値算出部４０４は、４個の重み算出部４２１−１乃至重み算出部４２１−４、勾配足し込み部４２２、及び演算実行判定部４２３により構成される。
【０１０１】
重み算出部４２１−１は、第１空間勾配取得部４３１−１、第２空間勾配取得部４３２−１、及び重み算出部４３３−１から構成されている。
【０１０２】
第１空間勾配取得部４３１−１は、フレームｔの演算ブロックから選択された１個の画素（以下、選択画素と称する）とその選択画素から１画素分Ｘ軸及びＹ軸の正又は負方向に離れている画素（以下、選択参照画素と称する）の勾配情報を取得し（詳細は後述する）、重み算出部４３３−１に供給する。
【０１０３】
第２空間勾配取得部４３２−１は、選択画素と同位相のフレームｔ＋１の画素（以下、対応画素と称する）と、その対応画素から、選択画素に対して選択参照画素がある方向とは反対方向に１画素分離れている画素（以下、対応参照画像と称する）の勾配情報を取得し（詳細は後述する）、重み算出部４３３−１に供給する。
【０１０４】
重み算出部４３３−１は、第１空間勾配取得部４３１−１から供給された選択画素とその選択画素から所定の方向に１画素分離れた選択参照画素の勾配情報、及び第２空間勾配取得部４３２−１から供給された対応画素とその対応画素から所定の方向に１画素分離れた対応参照画素の勾配情報に基づいて、選択画素についての動きベクトルを演算する要素としての有効性を表す重みを算出し（詳細は後述する）、勾配足し込み部４２２に供給する。
【０１０５】
重み算出部４２１−２は、第１空間勾配取得部４３１−２、第２空間勾配取得部４３２−２、及び重み算出部４３３−２から構成されている。
【０１０６】
第１空間勾配取得部４３１−２は、フレームｔの選択画素とその選択画素から２画素分Ｘ軸及びＹ軸の正又は負方向に離れている選択参照画素の勾配情報を取得し、重み算出部４３３−２に供給する。
【０１０７】
第２空間勾配取得部４３２−２は、フレームｔ＋１の対応画素と、その対応画素から、選択参照画素がある方向とは反対方向に２画素分離れている対応参照画像の勾配情報を取得し、重み算出部４３３−２に供給する。
【０１０８】
重み算出部４３３−２は、第１空間勾配取得部４３１−２から供給された選択画素とその選択画素から所定の方向に２画素分離れた選択参照画素の勾配情報、及び第２空間勾配取得部４３２−２から供給された対応画素とその対応画素から所定の方向に２画素分離れた対応参照画素の勾配情報に基づいて、選択画素についての動きベクトルを演算する要素としての有効性を表す重みを算出し、勾配足し込み部４２２に供給する。
【０１０９】
重み算出部４２１−３は、重み算出部４２１−１等と同様に、図示せぬ第１空間勾配取得部４３１−３、第２空間勾配取得部４３２−３、及び重み算出部４３３−３から構成されている。
【０１１０】
重み算出部４２１−３は、選択画素とその選択画素から所定の方向に３画素分離れた選択参照画素の勾配情報、及び対応画素とその対応画素から所定の方向に３画素分離れた対応参照画素の勾配情報に基づいて、選択画素についての動きベクトルを演算する要素としての有効性を表す重みを算出し、勾配足し込み部４２２に供給する。
【０１１１】
重み算出部４２１−４は、重み算出部４２１−１等と同様に、図示せぬ第１空間勾配取得部４３１−４、第２空間勾配取得部４３２−４、及び重み算出部４３３−４から構成されている。
【０１１２】
重み算出部４２１−４は、選択画素とその選択画素から所定の方向に４画素分離れた選択参照画素の勾配情報、及び対応画素とその対応画素から所定の方向に４画素分離れた対応参照画素の勾配情報に基づいて、選択画素についての動きベクトルを演算する要素としての有効性を表す重みを算出し、勾配足し込み部４２２に供給する。
【０１１３】
即ち重み算出部４２１−１乃至重み算出部４２１−４（以下、個々に区別する必要がない場合、単に、重み算出部４２１と称する。他の場合においても同様である）により、演算ブロックから選択された選択画素とＸ軸及びＹ軸の正又は負方向にそれぞれ４画素分離れている画素までの範囲の選択参照画素それぞれが参照されるとともに、対応画素とＸ軸及びＹ軸の正又は負方向にそれぞれ４画素分離れている画素までの範囲の対応参照画素が参照され、選択画素と選択参照画素それぞれとの勾配情報、及び対応画素と対応参照画素それぞれとの勾配情報に基づいて、選択画素の動きベクトルの検出における有効性を表す重みが算出される。
【０１１４】
勾配足し込み部４２２は、重み算出部４２１−１乃至重み算出部４２１−４からの選択画素についての動きベクトルを演算する要素としての有効性を表す重みを、演算ブロック単位で加算し、演算ブロックについての動きベクトルを演算するブロックとしての有効性を表す評価値を算出する。
【０１１５】
演算実行判定部４２３は、勾配足し込み部４２２から供給された評価値に基づいて、その演算ブロックに基づく勾配法演算を実行するか否かを判定し、その判定結果を、勾配法演算部４０５に通知する。例えば、評価値が所定のしきい値αより大きいか否かが判定される。
【０１１６】
ここで重み算出部４２１での重み算出方法を、図１０を参照して具体的に説明する。図１０の例において、矢印Ｘは、画像上のＸ軸の正方向を示しており、矢印Ｙは、Ｙ軸の正方向を示している。また、矢印Ｔは、図中、右奥の時刻ｔのフレームｔから、左手前の時刻ｔ＋１のフレームｔ＋１への時間の経過方向を示している。なお、図１０の例においては、各フレームは、左上の画素から下に５番目、右に５番目の画素である着目画素p55の周辺領域（ブロック）として、勾配法演算に用いられる８画素×８画素の演算ブロックの領域のみ示されている。
【０１１７】
フレームｔにおいて、着目画素ｐ55が選択画素として選択された場合の重み算出部４２１−１乃至重み算出部４２１−４の動作を説明する。
【０１１８】
重み算出部４２１−１の第１空間勾配取得部４３１−１は、選択画素p55とその選択画素p55から１画素分Ｘ軸の正方向に離れている選択参照画素p65との勾配情報として、式（１８）に示す選択画素とその選択画素からＸ軸方向に距離を有する選択参照画素の勾配ベクトルＧx(t)を生成し、重み算出部４３３−１に供給する。
【数１８】
2009100017.tif 000020
【０１１９】
勾配ベクトルの第１番目の成分は、選択画素と選択参照画素のＸ軸方向の距離を表し、第２番目の成分は、選択画素と選択参照画素のＹ軸方向の距離を表し、第３番目の成分は、選択画素と選択参照画素の画素値（例えば、輝度値）の差分値を表す。
【０１２０】
この勾配ベクトルＧx(t)では、選択画素p55と選択参照画素p65のＸ軸上の距離が正方向に１なので、勾配ベクトルＧx(t)の第１番目の成分は１となり、Ｙ軸上の位置が同じなので、第２番目の成分は０となる。差分値は、選択画素p55と選択参照画素p65の輝度値の差分値ｄx(t)となる。
【０１２１】
第１空間勾配取得部４３１−１はまた、選択画素p55とその選択画素p55から１画素分Ｙ軸の正方向に離れている選択参照画素p56との勾配情報として、式（１９）に示す選択画素とその選択画素からＹ軸方向に距離を有する選択参照画素の勾配ベクトルＧy(t)を生成し、重み算出部４３３−１に供給する。
【数１９】
2009100017.tif 000021
【０１２２】
第１番目の成分は、選択画素と選択参照画素のＸ軸方向の距離を表し、第２番目の成分は、選択画素と選択参照画素のＹ軸方向の距離を表し、第３番目の成分は、選択画素とその選択画素からＹ軸方向に距離を有する選択参照画素の画素値の差分値ｄy(t)を表す。
【０１２３】
この勾配ベクトルＧy(t)では、選択画素p55と選択参照画素p56のＸ軸上の位置が同じなので、第１番目の成分は０となり、Ｙ軸上の距離が正方向に１なので、第２番目の成分は１となる。差分値は、選択画素p55と選択参照画素p56の輝度値の差分値ｄy(t)となる。
【０１２４】
第２空間勾配取得部４３２−１は、選択画素p55に対応するフレームｔ＋１の対応画素q55と、その対応画素q55から１画素分Ｘ軸の負方向に離れている対応参照画像q45との勾配情報として、式（２０）に示す対応画素とその対応画素からＸ軸方向に距離を有する対応参照画素の勾配ベクトルＧx(t+1)を生成し、重み算出部４３３−１に供給する。
【数２０】
2009100017.tif 000022
【０１２５】
この勾配ベクトルＧx(t+1)では、対応画素q55と対応参照画素q45のＸ軸上の距離が負方向に１なので、第１番目の成分は−１となり、Ｙ軸上の位置が同じなので、第２番目の成分は０となる。差分値は、対応画素q55と対応参照画素q45の画素値の差分値ｄx(t+1)となる。
【０１２６】
第２空間勾配取得部４３２−１はまた、対応画素q55とその対応画素q55から１画素分Ｙ軸の負方向に離れている対応参照画像q54との勾配情報として、式（２１）に示す対応画素とその対応画素からＹ軸方向に距離を有する対応参照画素の勾配ベクトルＧy(t+1)を生成し、重み算出部４３３−１に供給する。
【数２１】
2009100017.tif 000023
【０１２７】
この勾配ベクトルＧy(t+1)では、対応画素q55と対応参照画素q54のＸ軸上の位置が同じなので、第１番目の成分は０となり、Ｙ軸上の距離が負方向に１なので、第２番目の成分は−１となる。差分値は、対応画素q55と対応参照画素q54の画素値の差分値ｄy(t+1)となる。
【０１２８】
重み算出部４３３−１は、第１空間勾配取得部４３１−１から供給された式（１８）及び式（１９）に示す勾配ベクトルＧx(t)，Ｇy(t)から、図１１に示すように、その両方の勾配ベクトルを含む平面を式（２２）で算出するとともに、その法線を示す単位ベクトルe(t)を式（２３）で算出する。
【数２２】
2009100017.tif 000024
【数２３】
2009100017.tif 000025
【０１２９】
重み算出部４３３−１はまた、第２空間勾配取得部４３２−１から供給された式（２０）及び式（２１）に示す勾配ベクトルＧx(t+1)，Ｇy(t+1)から、その両方の勾配ベクトルを含む平面を、式（２４）で算出するとともに、その法線を示す単位ベクトルe(t+1)を式（２５）で算出する。
【数２４】
2009100017.tif 000026
【数２５】
2009100017.tif 000027
【０１３０】
そして重み算出部４３３−１は、算出した式（２３）及び式（２５）に示す単位ベクトルe(t)とｅ(t+1)の内積を、式（２６）により演算し、式（２７）で表されるその絶対値を、選択画素p55についての動きベクトルを演算する要素としての有効性を表す重みとして算出し、勾配足し込み部４２２に供給する。
【数２６】
2009100017.tif 000028
【数２７】
2009100017.tif 000029
【０１３１】
第１空間勾配取得部４３１−１は更に、選択画素p55とその選択画素p55から１画素分Ｘ軸の負方向に離れている選択参照画素p45との勾配情報として、式（２８）に示す勾配ベクトルＧx(t)を生成し、重み算出部４３３−１に供給する。
【数２８】
2009100017.tif 000030
【０１３２】
いまの場合、選択画素p55と選択参照画素p45のＸ軸上の距離が負方向に１なので、第１番目の成分は−１となり、Ｙ軸上の位置が同じなので、第２番目の成分は０となる。差分値は、選択画素p55と選択参照画素p45の輝度値の差分値ｄx(t)となる。
【０１３３】
第１空間勾配取得部４３１−１はまた、選択画素p55とその選択画素p55から１画素分Ｙ軸の負方向に離れている選択参照画素p54との勾配情報として、式（２９）に示す勾配ベクトルＧy(t)を生成し、重み算出部４３３−１に供給する。
【数２９】
2009100017.tif 000031
【０１３４】
いまの場合、選択画素p55と選択参照画素p54のＸ軸上の位置が同じなので、第１番目の成分は０となり、Ｙ軸上の距離が負方向に１なので、第２番目の成分は−１となる。差分値は、選択画素p55と選択参照画素p54の輝度値の差分値ｄy(t)となる。
【０１３５】
第２空間勾配取得部４３２−１は更に、対応画素q55とその対応画素q55から１画素分Ｘ軸の正方向に離れている対応参照画像q65との勾配情報として、式（３０）に示す勾配ベクトルＧx(t+1)を生成し、重み算出部４３３−１に供給する。
【数３０】
2009100017.tif 000032
【０１３６】
いまの場合、対応画素q55と対応参照画素q65のＸ軸上の距離が正方向に１なので、第１番目の成分は１となり、Ｙ軸上の位置が同じなので、第２番目の成分は０となる。差分値は、対応画素q55と対応参照画素q65の画素値の差分値ｄx(t+1)となる。
【０１３７】
第２空間勾配取得部４３２−１はまた、対応画素q55とその対応画素q55から１画素分Ｙ軸の正方向に離れている対応参照画像q56との勾配情報として、式（３１）に示す勾配ベクトルＧy(t+1)を生成し、重み算出部４３３−１に供給する。
【数３１】
2009100017.tif 000033
【０１３８】
いまの場合、対応画素q55と対応参照画像q56のＸ軸上の位置が同じなので、第１番目の成分は０となり、Ｙ軸上の距離が正方向に１なので、第２番目の成分は１となる。差分値は、対応画素q55と対応参照画像q56の画素値の差分値ｄy(t+1)となる。
【０１３９】
重み算出部４３３−１は、第１空間勾配取得部４３１−１から供給された式（２８）及び式（２９）に示す勾配ベクトルＧx(t)，Ｇy(t)から、その両方の勾配ベクトルを含む平面を、式（３２）で算出するとともに、その法線を示す単位ベクトルe(t)を式（３３）で算出する。
【数３２】
2009100017.tif 000034
【数３３】
2009100017.tif 000035
【０１４０】
重み算出部４３３−１はまた、第２空間勾配取得部４３２−１から供給された式（３０）及び式（３１）に示す勾配ベクトルＧx(t+1)，Ｇy(t+1)から、その両方の勾配ベクトルを含む平面を、式（３４）で算出するとともに、その法線を示す単位ベクトルe(t+1)を式（３５）で算出する。
【数３４】
2009100017.tif 000036
【数３５】
2009100017.tif 000037
【０１４１】
そして重み算出部４３３−１は、算出した式（３３）及び式（３５）に示す単位ベクトルe(t)とｅ(t+1)の内積を、式（２６）により演算し、式（２７）で表されるその絶対値を、選択画素p55についての動きベクトルを演算する要素としての有効性を表す重みとして算出し、勾配足し込み部４２２に供給する。
【０１４２】
このように重み算出部４２１−１においては、演算ブロックから選択された選択画素とＸ軸の正方向に１画素分離れている選択参照画素との勾配情報（式（１８））、及び選択画素とＹ軸の正方向に１画素分離れている選択参照画素との勾配情報（式（１９））から得られた単位ベクトルe(t) （式（２３））、並びに対応画素とＸ軸の負方向（選択画素に対する選択参照画素の方向とは逆方向）に１画素分離れている対応参照画素との勾配情報（式（２０））、及び対応画素とＹ軸の負方向（選択画素に対する選択参照画素の方向とは逆方向）に１画素分離れている対応参照画素との勾配情報（式（２１））から得られた単位ベクトルe(t+1) （式（２５））とに基づいて、選択画素の動きベクトルの検出における有効性を表す重み（式（２７））が算出される。
【０１４３】
また選択画素とＸ軸の負方向に１画素分離れている選択参照画素との勾配情報（式（２８））、及び選択画素とＹ軸の負方向に１画素分離れている選択参照画素との勾配情報（式（２９））から得られた単位ベクトルe(t) （式（３３））、並びに対応画素とＸ軸の正方向（選択画素に対する選択参照画素の方向とは逆方向）に１画素分離れている対応参照画素との勾配情報（式（３０））、及び対応画素とＹ軸の正方向（選択画素に対する選択参照画素の方向とは逆方向）に１画素分離れている対応参照画素との勾配情報（式（３１））から得られた単位ベクトルe(t+1) （式（３５））とに基づいて、選択画素の動きベクトルの検出における有効性を表す重み（式（２７））が算出される。
【０１４４】
重み算出部４２１−２の第１空間勾配取得部４３１−２は、選択画素p55とその選択画素p55から２画素分Ｘ軸の正方向に離れている選択参照画素p75との勾配情報として、式（３６）に示す勾配ベクトルＧx(t)を算出し、重み算出部４３３−２に供給する。
【数３６】
2009100017.tif 000038
【０１４５】
いまの場合、選択画素p55と選択参照画素p75のＸ軸上の距離が正方向に２なので、第１番目の成分は２となり、Ｙ軸上の位置が同じなので、第２番目の成分は０となる。差分値は、選択画素p55と選択参照画素p75の輝度値の差分値ｄx(t)となる。
【０１４６】
第１空間勾配取得部４３１−２はまた、選択画素p55とその選択画素p55から２画素分Ｙ軸の正方向に離れている選択参照画素p57との勾配情報として、式（３７）に示す勾配ベクトルＧy(t)を生成し、重み算出部４３３−２に供給する。
【数３７】
2009100017.tif 000039
【０１４７】
いまの場合、選択画素p55と選択参照画素p57のＸ軸上の位置が同じなので、第１番目の成分は０となり、Ｙ軸上の距離が正方向に２なので、第２番目の成分は２となる。差分値は、選択画素p55と選択参照画素p57の輝度値の差分値ｄy(t)となる。
【０１４８】
第２空間勾配取得部４３２−２は、対応画素q55とその対応画素q55から２画素分Ｘ軸の負方向に離れている対応参照画像q35との勾配情報として、式（３８）に示す勾配ベクトルＧx(t+1)を生成し、重み算出部４３３−２に供給する。
【数３８】
2009100017.tif 000040
【０１４９】
いまの場合、対応画素q55と対応参照画素q35のＸ軸上の距離が負方向に２なので、第１番目の成分は−２となり、Ｙ軸上の位置が同じなので、第２番目の成分は０となる。差分値は、対応画素q55と対応参照画素q35の画素値の差分値ｄx(t+1)となる。
【０１５０】
第２空間勾配取得部４３２−２はまた、対応画素q55とその対応画素q55から２画素分Ｙ軸の負方向に離れている対応参照画像q53との勾配情報として、式（３９）に示す勾配ベクトルを生成し、重み算出部４３３−２に供給する。
【数３９】
2009100017.tif 000041
【０１５１】
いまの場合、対応画素q55と対応参照画像q53のＸ軸上の位置が同じなので、第１番目の成分は０となり、Ｙ軸上の距離が負方向に２なので、第２番目の成分は−２となる。差分値は、対応画素q55と対応参照画像q53の画素値の差分値ｄy(t+1)となる。
【０１５２】
重み算出部４３３−２は、第１空間勾配取得部４３１−２から供給された式（３６）及び式（３７）に示す勾配ベクトルＧx(t)，Ｇy(t)から、その両方の勾配ベクトルを含む平面を、式（４０）で算出するとともに、その法線を示す単位ベクトルe(t)を式（４１）で算出する。
【数４０】
2009100017.tif 000042
【数４１】
2009100017.tif 000043
【０１５３】
重み算出部４３３−２はまた、第２空間勾配取得部４３２−２から供給された式（３８）及び式（３９）に示す勾配ベクトルＧx(t+1)，Ｇy(t+1)から、その両方の勾配ベクトルを含む平面を、式（４２）で算出するとともに、その法線を示す単位ベクトルe(t+1)を式（４３）で算出する。
【数４２】
2009100017.tif 000044
【数４３】
2009100017.tif 000045
【０１５４】
そして重み算出部４３３−２は、算出した式（４１）及び式（４３）に示す単位ベクトルe(t)とｅ(t+1)の内積を、式（２６）により演算し、式（２７）で表されるその絶対値を、選択画素p55についての動きベクトルを演算する要素としての有効性を表す重みとして算出し、勾配足し込み部４２２に供給する。
【０１５５】
第１空間勾配取得部４３１−２は更に、選択画素p55とその選択画素p55から２画素分Ｘ軸の負方向に離れている選択参照画素p35との勾配情報として、式（４４）に示す勾配ベクトルを生成し、重み算出部４３３−２に供給する。
【数４４】
2009100017.tif 000046
【０１５６】
いまの場合、選択画素p55と選択参照画素p35のＸ軸上の距離が負方向に２なので、第１番目の成分は−２となり、Ｙ軸上の位置が同じなので、第２番目の成分は０となる。差分値は、選択画素p55と選択参照画素p35の輝度値の差分値ｄx(t)となる。
【０１５７】
第１空間勾配取得部４３１−２はまた、選択画素p55とその選択画素p55から２画素分Ｙ軸の負方向に離れている選択参照画素p53との勾配情報として、式（４５）に示す勾配ベクトルＧy(t)を算出し、重み算出部４３３−２に供給する。
【数４５】
2009100017.tif 000047
【０１５８】
いまの場合、選択画素p55と選択参照画素p53のＸ軸上の位置が同じなので、第１番目の成分は０となり、Ｙ軸上の距離が負方向に２なので、第２番目の成分は−２となる。差分値は、選択画素p55と選択参照画素p53の輝度値の差分値ｄy(t)となる。
【０１５９】
第２空間勾配取得部４３２−２は更に、対応画素q55とその対応画素q55から２画素分Ｘ軸の正方向に離れている対応参照画像q75との勾配情報として、式（４６）に示す勾配ベクトルＧx(t+1)を生成し、重み算出部４３３−２に供給する。
【数４６】
2009100017.tif 000048
【０１６０】
いまの場合、対応画素q55と対応参照画素q75のＸ軸上の距離が正方向に２なので、第１番目の成分は２となり、Ｙ軸上の位置が同じなので、第２番目の成分は０となる。差分値は、対応画素q55と対応参照画素q75の輝度値の差分値ｄx(t+1)となる。
【０１６１】
第２空間勾配取得部４３２−２はまた、対応画素q55とその対応画素q55から２画素分Ｙ軸の正方向に離れている対応参照画像q57との勾配情報として、式（４７）に示す勾配ベクトルＧy(t+1)を生成し、重み算出部４３３−２に供給する。
【数４７】
2009100017.tif 000049
【０１６２】
いまの場合、対応画素q55と対応参照画像q57のＸ軸上の位置が同じなので、第１番目の成分は０となり、Ｙ軸上の距離が正方向に２なので、第２番目の成分は２となる。差分値は、対応画素q55と対応参照画像q57の画素値の差分値ｄy(t+1)となる。
【０１６３】
重み算出部４３３−２は、第１空間勾配取得部４３１−２から供給された式（４４）及び式（４５）に示す勾配ベクトルＧx(t)，Ｇy(t)から、その両方の勾配ベクトルを含む平面を、式（４８）で算出するとともに、その法線を示す単位ベクトルe(t)を式（４９）で算出する。
【数４８】
2009100017.tif 000050
【数４９】
2009100017.tif 000051
【０１６４】
重み算出部４３３−２はまた、第２空間勾配取得部４３２−２から供給された式（４６）及び式（４７）に示す勾配ベクトルＧx(t+1)，Ｇy(t+1)から、その両方の勾配ベクトルを含む平面を、式（５０）で算出するとともに、その法線を示す単位ベクトルe(t+1)を式（５１）で算出する。
【数５０】
2009100017.tif 000052
【数５１】
2009100017.tif 000053
【０１６５】
そして重み算出部４３３−２は、算出した式（４９）及び式（５１）に示す単位ベクトルe(t)とｅ(t+1)の内積を、式（２６）により演算し、式（２７）で表されるその絶対値を、選択画素p55についての動きベクトルを演算する要素としての有効性を表す重みとして算出し、勾配足し込み部４２２に供給する。
【０１６６】
このように重み算出部４２１−２においては、演算ブロックから選択された選択画素とＸ軸の正方向に２画素分離れている選択参照画素との勾配情報（式（３６））、及び選択画素とＹ軸の正方向に２画素分離れている選択参照画素との勾配情報（式（３７））から得られた単位ベクトルe(t) （式（４１））、並びに対応画素とＸ軸の負方向（選択画素に対する選択参照画素の方向とは逆方向）に２画素分離れている対応参照画素との勾配情報（式（３８））、及び対応画素とＹ軸の負方向（選択画素に対する選択参照画素の方向とは逆方向）に２画素分離れている対応参照画素との勾配情報（式（３９））から得られた単位ベクトルe(t+1) （式（４３））とに基づいて、選択画素の動きベクトルの検出における有効性を表す重み（式（２７））が算出される。
【０１６７】
また選択画素とＸ軸の負方向に２画素分離れている選択参照画素との勾配情報（式（４４））、及び選択画素とＹ軸の負方向に２画素分離れている選択参照画素との勾配情報（式（４５））から得られた単位ベクトルe(t) （式（４９））、並びに対応画素とＸ軸の正方向（選択画素に対する選択参照画素の方向とは逆方向）に２画素分離れている対応参照画素との勾配情報（式（４６））、及び対応画素とＹ軸の正方向（選択画素に対する選択参照画素の方向とは逆方向）に２画素分離れている対応参照画素との勾配情報（式（４７））から得られた単位ベクトルe(t+1) （式（５１））とに基づいて、選択画素の動きベクトルの検出における有効性を表す重み（式（２７））が算出される。
【０１６８】
重み算出部４２１−３では、選択画素とＸ軸の正方向に３画素分離れている選択参照画素との勾配情報、及び選択画素とＹ軸の正方向に３画素分離れている選択参照画素との勾配情報から得られた単位ベクトルe(t)、並びに対応画素とＸ軸の負方向（選択画素に対する選択参照画素の方向とは逆方向）に３画素分離れている対応参照画素との勾配情報、及び対応画素とＹ軸の負方向（選択画素に対する選択参照画素の方向とは逆方向）に３画素分離れている対応参照画素との勾配情報から得られた単位ベクトルe(t+1)に基づいて、選択画素p55の動きベクトルの検出における有効性を表す重みが算出される。
【０１６９】
また選択画素とＸ軸の負方向に３画素分離れている選択参照画素との勾配情報、及び選択画素とＹ軸の負方向に３画素分離れている選択参照画素との勾配情報から得られた単位ベクトルe(t)、並びに対応画素とＸ軸の正方向（選択画素に対する選択参照画素の方向とは逆方向）に３画素分離れている対応参照画素との勾配情報、及び対応画素とＹ軸の正方向（選択画素に対する選択参照画素の方向とは逆方向）に３画素分離れている対応参照画素との勾配情報から得られた単位ベクトルe(t+1)に基づいて、選択画素p55の動きベクトルの検出における有効性を表す重みが算出される。
【０１７０】
このように算出された重みが勾配足し込み部４２２に供給される。
【０１７１】
重み算出部４２１−４では、選択画素とＸ軸の正方向に４画素分離れている選択参照画素との勾配情報、及び選択画素とＹ軸の正方向に４画素分離れている選択参照画素との勾配情報から得られた単位ベクトルe(t)、並びに対応画素とＸ軸の負方向（選択画素に対する選択参照画素の方向とは逆方向）に４画素分離れている対応参照画素との勾配情報、及び対応画素とＹ軸の負方向（選択画素に対する選択参照画素の方向とは逆方向）に４画素分離れている対応参照画素との勾配情報から得られた単位ベクトルe(t+1)に基づいて、選択画素p55の動きベクトルの検出における有効性を表す重みが算出される。
【０１７２】
また選択画素とＸ軸の負方向に４画素分離れている選択参照画素との勾配情報、及び選択画素とＹ軸の負方向に４画素分離れている選択参照画素との勾配情報から得られた単位ベクトルe(t)、並びに対応画素とＸ軸の正方向（選択画素に対する選択参照画素の方向とは逆方向）に４画素分離れている対応参照画素との勾配情報、及び対応画素とＹ軸の正方向（選択画素に対する選択参照画素の方向とは逆方向）に４画素分離れている対応参照画素との勾配情報から得られた単位ベクトルe(t+1)に基づいて、選択画素p55の動きベクトルの検出における有効性を表す重みが算出される。
【０１７３】
このように算出された重みが勾配足し込み部４２２に供給され、演算ブロック単位で足し込まれる。
【０１７４】
以上のようにして、選択画素の動きベクトルの検出における有効性を表す重み算出が行われる。なおこの例の場合、単位ベクトルe(t)とｅ(t+1)の内積を重みとしたが、図１２に示すように他の関数を重みとすることもできる。
【０１７５】
またこの例の場合、選択画素及び対応画素の周りの上下左右のそれぞれ４個の画素が選択参照画素及び対応参照画素となるので、演算ブロックの端の画素が選択画素や対応画素となる場合、演算ブロックの周りのその画素から４画素分離れている画素までの画素値が必要となる。そこで評価値算出部４０４には、メモリ４０３から、図１３に示すように、演算ブロックを構成する画素（図中点線で囲まれている範囲の画素）の対象画素値とともに、演算ブロックの周りの４画素の画素値が供給される。
【０１７６】
次に上述した重みによる評価値算出部４０４における評価値算出処理の意味について説明する。
【０１７７】
図１を参照して上述した勾配法を利用した動き検出では、以下の２つの仮定が想定されている。
画像波形の勾配は動き範囲内で一定
着目画素近傍の領域は同様の動き
【０１７８】
即ち動きの始点と終点に挟まれた部分である動きの範囲内で波形勾配が一定であれば、時間勾配と空間勾配を利用して動きを検出することができる。
【０１７９】
図１４の上に示すように、動きの範囲としてのフレームｔ上の画素pi，pi-1，pi-2，pi-3，pi-4の輝度値からなる波形Ｙ(t)がＸ軸の正方向に動いた結果、フレームｔ＋１上において、画素qi，qi+1，qi+2，qi+3，qi+4の輝度値からなる波形Ｙ(t+1)が得られたものとする。なお図１４において横軸は、Ｘ軸方向を示し、縦軸は輝度値を示している。図１５乃至図１８においても同様である。
【０１８０】
この場合、図１４の左下に示すＹ(t)波形における着目画素piの位置から動き方向と反対の方向（Ｘ軸上の負方向）の領域（左側領域）と、Ｙ(t+1)波形における着目画素piと同位相の対応画素qiの位置から動き方向と同じ方向（Ｘ軸上の正方向）の領域（右側領域）においては、図１４の右下に示すように、勾配が一定となる。このように動きの範囲内で波形勾配が一定であれば、時間勾配と空間勾配を利用して動きを検出することができる。
【０１８１】
また図１５の上に示すように、動き範囲としてのフレームｔ上の画素pi，pi+1，pi+2，pi+3，pi+4の輝度値からなる波形Ｙ(t)がＸ軸の負方向に動いた結果、フレームｔ＋１上において、画素qi，qi-1，qi-2，qi-3，qi-4の輝度値からなる波形Ｙ(t+1)が得られたものとする。
【０１８２】
この場合、図１５の左下に示すＹ(t)波形における着目画素piの位置から動き方向と反対の方向（Ｘ軸上の正方向）の領域（右側領域）と、Ｙ(t+1)波形における対応画素qiの位置から動き方向と同じ方向（Ｘ軸上の負方向）の領域（左側領域）において、図１５の右下に示すように、それらの勾配が一定となる。このように動きの範囲内で波形勾配が一定であれば、時間勾配と空間勾配を利用して動きを検出することができる。
【０１８３】
即ち、選択画素についての動きベクトルを演算する要素としての有効性を判定する際には、選択画素と選択参照画素の勾配情報と、既知である対応画素と、対応画素に対して、選択画素に対して選択参照画素がある方向とは逆方向の対応参照画素との勾配情報を比較することが重要となる。これらの勾配情報に基づく勾配が一定である場合、このときの選択画素は、動きベクトルを演算する要素として有効であるといえる。
【０１８４】
従ってこのような観点から、本発明にかかる評価算出処理においては、選択画素と選択参照画素の勾配情報と、対応画素と、対応画素に対して、選択画素に対して選択参照画素がある方向とは逆方向の対応参照画素との勾配情報が比較されている。
【０１８５】
例えば図１０の例では、上述したように、選択画素p55とその選択画素p55から１画素分Ｘ軸の正方向に離れている選択参照画素p65との勾配情報として、式（１８）に示す勾配ベクトルＧx(t)が生成される。
【０１８６】
また、選択画素p55とその選択画素p55から１画素分Ｙ軸の正方向に離れている選択参照画素p56との勾配情報として、式（１９）に示す勾配ベクトルＧy(t)が生成される。
【０１８７】
また、選択画素p55に対応するフレームｔ＋１の対応画素q55と、その対応画素q55から１画素分Ｘ軸の負方向に離れている対応参照画像q45との勾配情報として、式（２０）に示す勾配ベクトルＧx(t+1)が生成される。
【０１８８】
また、対応画素q55とその対応画素q55から１画素分Ｙ軸の負方向に離れている対応参照画像q54との勾配情報として、式（２１）に示す勾配ベクトルＧy(t+1)が生成される。
【０１８９】
そして式（１８）及び式（１９）に示す勾配ベクトルＧx(t)，Ｇy(t)から、その両方の勾配ベクトルを含む平面が式（２２）で算出されるとともに、その法線を示す単位ベクトルe(t)が式（２３）で算出される。
【０１９０】
更に式（２０）及び式（２１）に示す勾配ベクトルＧx(t+1)，Ｇy(t+1)から、その両方の勾配ベクトルを含む平面が式（２４）で算出されるとともに、その法線を示す単位ベクトルe(t+1)が式（２５）で算出される。
【０１９１】
そして算出された式（２３）及び式（２５）に示す単位ベクトルe(t)とｅ(t+1)の内積が、式（２６）により演算され、式（２７）で表されるその絶対値が、選択画素p55についての動きベクトルを演算する要素としての有効性を表す重みとして算出される。
【０１９２】
このように画像波形の勾配が動き範囲内で一定であるという仮定を適切に確認できる波形Ｙ(t)と波形Ｙ(t+1)とで反対方向の領域における勾配を比較するようにしたので、演算要素としての有効性を適切に把握することができる。
【０１９３】
なお従来の方法では、図３、並びに式（１１）及び式（１２）に示すように、選択画素及び対応画素において同じ方向にある画素が参照されて勾配情報が取得されている。
【０１９４】
また動きの範囲は動きの始点と終点に挟まれた部分であるが、動きの範囲を決定する動き量は未知であるため、動きの始点を着目画素としても、その勾配０ａと類似する勾配ｏｂを有する動きの終点（図１６の上）を定めることができない。
【０１９５】
しかしながら図１４及び図１５の例の場合のように、少なくも、波形Ｙ(t)において、着目画素ｐから、波形ｔ＋１において対応画素ｑと同等の画素値を有する画素までの範囲は、動きの範囲とすることができる。
【０１９６】
そこで、本発明にかかる評価算出処理においては、図１６の下に示すように、対応画素からの勾配情報を、動きの終点からの勾配情報として代用し、選択画素の勾配情報と、対応画素の選択情報が比較されている。
【０１９７】
また、実際の波形では動き範囲内で勾配が完全に一定となることは非常に稀である。
【０１９８】
そこで、本発明にかかる評価算出処理においては、参照位置を隣接画素に固定せず、例えば選択画素及び対応画素からＸ軸及びＹ軸上において４画素分離れた画素までの画素が参照されている。この概念をＸ軸方向について示すと図１７に示すようになる。
【０１９９】
即ち図１７の左上に示すように、選択画素piと画素pi+1の勾配情報が取得され、その勾配情報と、終点画素pi+4と画素pi+3の勾配情報に代替する対応画素qiと画素qi-1の勾配情報とが比較されて、画素piの有効性が判定される。
【０２００】
また図１７の右上に示すように、選択画素piと画素pi+2の勾配情報が取得され、その勾配情報と、終点画素pi+4と画素pi+2の勾配情報に代替する対応画素qiと画素qi-2の勾配情報とが比較されて、画素piの有効性が判定される。
【０２０１】
また図１７の左下に示すように、選択画素piと画素pi+3の勾配情報が取得され、その勾配情報と、終点画素pi+4と画素pi+1の勾配情報に代替する対応画素qiと対応画素qi-3の勾配情報とが比較されて、画素piの有効性が判定される。
【０２０２】
そして図１７の右下に示すように、選択画素piと画素pi+4の勾配情報が取得され、その勾配情報と、終点画素pi+4と画素piの勾配情報に代替する対応画素qiと対応画素qi-4の勾配情報とが比較されて、画素piの有効性が判定される。
【０２０３】
このように複数の画素を参照することにより、参照する画素が1個である場合に比べより有意な勾配情報を取得することができる。
【０２０４】
なお従来の手法では、図３、並びに式（１１）及び式（１２）に示すように、勾配算出時の参照位置は例えば隣接画素に固定されていたたため、有効な勾配情報を得られず動きを算出できない場合が少なくなかった。
【０２０５】
更に勾配法では、近傍領域は同様の動きであるとする仮定に基づき、複数の近傍画素から勾配情報を得るが、勾配情報の有意性に関してはばらつきが存在する。従って、全ての情報を均一に扱うのではなく、各々に対して有意性を反映した重みをつけて利用することが重要となる。
【０２０６】
そこで、本発明にかかる評価算出処理においては、動きの範囲は動きの始点からの勾配０aと、終点からの勾配０bが類似することから、選択画素と選択参照画素の勾配と、応答画素と応答参照画素の勾配の類似度を、勾配のなす角をcosの値で表し、その値を、選択画素についての動きベクトルを演算する要素としての有効性を表す重みとしている。これを概念的に示すと図１８に示すようになる。
【０２０７】
即ち図１８の左上に示すように、選択画素piと画素pi+1の勾配情報から得られるベクトルと、終点画素pi+4と画素pi+3の勾配情報に代替する対応画素qiと対応画素qi-1の勾配情報から得られるベクトルの内積（図中、陰が付されている部分）が、画素piの動きベクトルを演算する要素としての有効性を表す重みとして算出される。
【０２０８】
また図１８の右上に示すように、選択画素piと画素pi+2の勾配情報から得られるベクトルと、終点画素pi+4と画素pi+2の勾配情報に代替する対応画素qiと対応画素qi-2の勾配情報から得られるベクトルの内積が、重みとして算出される。
【０２０９】
また図１８の左下に示すように、選択画素piと画素pi+3の勾配情報から得られるベクトルと、終点画素pi+4と画素pi+1の勾配情報に代替する対応画素qiと対応画素qi-3の勾配情報から得られるベクトルの内積が、重みとして算出される。
【０２１０】
また図１８の右下に示すように、選択画素piと画素pi+4の勾配情報から得られるベクトルと、終点画素pi+4と画素piの勾配情報に代替する対応画素qiと対応画素qi-4の勾配情報から得られるベクトルの内積が、重みとして算出される。
【０２１１】
そしてそれぞれ算出された重みの総和に基づいて、最終的な、画素piの動きベクトルを演算する要素としての有効性が判定される。
【０２１２】
以上のように単に取捨選択するのではなく、全ての画素の演算要素としての有効性を重みとして利用するようにしたので、有意性を柔軟に表現することができる。
【０２１３】
なお重みを単位ベクトルの内積とした場合、画素piの動きベクトルを演算する要素としての有効性が高ければ高いほど大きな値となるので、演算実行判定部４２３では、演算ブロック毎の重みの総和が所定のしきい値αより大きいか否かが判定され、大きいと判定された場合、勾配法演算が実行される。
【０２１４】
なお従来においては、式（１６）を満たす画素のみが動きベクトル検出に有効な画素として用いられる。
【０２１５】
以上のように、本発明にかかる評価算出処理によれば、対応画素からの勾配情報を、動きの終点からの勾配情報として代用し、画像波形の勾配が動き範囲内で一定であるという仮定を適切に確認できる波形Ｙ(t)と波形Ｙ(t+1)とで反対方向の領域における勾配を比較し、複数の参照画素を参照し、それらによる勾配情報から選択画素の動きベクトルを演算する要素としての有効性を表す重みを算出するようにしたので、様々な波形の状態から有意な勾配情報を安定して得続けることができ、個々の勾配情報に対する有意性を柔軟に表現することができる。その結果、特に、勾配法による動きベクトルの検出精度を更に向上させることができる。
【０２１６】
次に、反復勾配法演算部１０３の勾配法演算部４０５の構成について説明する。
【０２１７】
図１９は、勾配法演算部４０５の構成例を示すブロック図である。図１９の例において、勾配法演算部４０５は、画素差分算出部４６１、勾配法演算部４６２、及びベクトル算出部４６３により構成される。
【０２１８】
画素差分算出部４６１は、空間勾配画素差分算出部４７１、及び時間方向画素差分算出部４７２により構成され、対象となる画素差分を算出する。
【０２１９】
空間勾配画素差分算出部４７１は、メモリ４０３から供給される対象画素値のうち、フレームｔにおける演算ブロック内の画素の画素値を用いて、フレームｔにおける演算ブロック内の画素の水平方向の画素差分Δｘ及び垂直方向の画素差分Δｙを算出し、算出されたフレームｔにおける演算ブロック内の画素の水平方向の画素差分Δｘ及び垂直方向の画素差分Δｙを、勾配法演算部４６２に出力する。
【０２２０】
時間方向画素差分算出部４７２は、メモリ４０３から供給される対象画素値（即ち、フレームｔ及びフレームｔ＋１における演算ブロック内の画素の画素値）を用いて、フレームｔにおける演算ブロック内の画素の時間方向の画素差分Δｔを算出し、算出されたフレームｔにおける演算ブロック内の画素の時間方向の画素差分Δｔを、勾配法演算部４６２に出力する。
【０２２１】
勾配法演算部４６２は、勾配法演算処理を実行する。即ち、勾配法演算部４６２は、画素差分算出部４６１により供給された画素の勾配（時間方向の画素差分Δｔ、水平方向の画素差分Δｘ、及び、垂直方向の画素差分Δｙ）を積算し、上述した式（８）の最小自乗和を用いて、動きベクトルｖｎを求め、求めた動きベクトルｖｎをベクトル算出部４６３に出力する。
【０２２２】
ベクトル算出部４６３は、セレクタ４０１からのオフセットベクトルＶｎ−１を、勾配法演算部４６２からの動きベクトルｖｎに加算して、動きベクトルＶｎを算出し、算出した動きベクトルＶｎをベクトル評価部１０４に出力する。
【０２２３】
次に、図２０のフローチャートを参照して、ベクトル検出部５２（図６）全体の動作を説明する。
【０２２４】
ベクトル検出部５２の初期ベクトル選択部１０１は、ステップＳ１１において、フレームｔ上の処理の対象となるブロックを、着目ブロックとして選択する。なお、フレーム上においては、左上のブロックからラスタスキャン順に処理が実行される。
【０２２５】
ステップＳ１２において、初期ベクトル選択部１０１は、初期ベクトル選択処理を実行する。初期ベクトル選択部１０１は、ステップＳ１２において、所定のブロック毎に、過去の動きベクトルの検出結果から、信頼度が高い動きベクトルを選択し、選択した動きベクトルを、勾配法に用いられる初期値となる初期ベクトルＶ０として、反復勾配法演算部１０３に出力する。
【０２２６】
ステップＳ１３において、反復勾配法演算部１０３及びベクトル評価部１０４は、反復勾配法演算評価処理（なお、反復勾配法演算処理とも称する）を実行する。具体的には、ステップＳ１３において、反復勾配法演算部１０３は、初期ベクトル選択部１０１から入力された初期ベクトルＶ０と、プリフィルタ１０２−１及び１０２−２を介して入力されるフレームｔ及びフレームｔ＋１を用いて、ベクトル評価部１０４による動きベクトルの評価結果に基づいて、勾配法の演算を繰り返し行い、動きベクトルＶｎを算出する。
【０２２７】
また、ベクトル評価部１０４は、内蔵する評価値演算部に、反復勾配法演算部１０３からの動きベクトルＶｎ−１と動きベクトルＶｎとの評価値を求めさせ、評価値演算部により求められた評価値に基づく、最も信頼性の高いものを選択し、動きベクトルＶとして、検出ベクトルメモリ５３に記憶させる。このとき、ベクトル評価部１０４は、動きベクトルＶとともに、その動きベクトルＶに対して求められた評価値を、シフト初期ベクトル割付部１０５に供給する。なお、ステップＳ１３における、反復勾配法演算処理は、図２１を参照して後述する。
【０２２８】
ステップＳ１４において、シフト初期ベクトル割付部１０５は、シフト初期ベクトル割付処理を実行する。シフト初期ベクトル割付部１０５は、ベクトル評価部１０４より動きベクトルＶ及びその評価値が供給されると、ステップＳ１４において、次のフレーム上の着目ブロックを通過する動きベクトルを、その着目ブロックにシフトさせた、シフト初期ベクトルとして設定する。
【０２２９】
ステップＳ１５において、初期ベクトル選択部１０１は、フレームｔにおいて、全てのブロックの処理が終了したか否かを判定する。ステップＳ１５において、全てのブロックの処理が終了していないと判定された場合、処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。また、ステップＳ１５において、フレームｔにおいて、全てのブロックの処理が終了したと判定された場合、即ち、フレームｔ上の全てのブロックにおいて、動きベクトルＶが検出されたと判定され、動きベクトル検出処理は、終了される。
【０２３０】
次に、図２１のフローチャートを参照して、ステップＳ１３の反復勾配法演算部１０３（図８）による反復勾配法演算処理を説明する。前段より反復勾配法演算部１０３のセレクタ４０１に初期ベクトルＶ０が入力される。
【０２３１】
セレクタ４０１は、ステップＳ２１において、オフセットベクトルＶｎ−１を選択し、選択したオフセットベクトルＶｎ−１を、メモリ制御信号生成部４０２、勾配法演算部４０５、及びベクトル評価部１０４に出力する。
【０２３２】
なお、セレクタ４０１は、初期ベクトル選択部１０１からの初期ベクトルＶ０が入力された場合、入力された初期ベクトルＶ０を、オフセットベクトルＶｎ−１として選択し、遅延部４０６から、勾配法演算部４０５により演算され、評価判定部により評価された結果の動きベクトルＶが入力された場合、動きベクトルＶを、オフセットベクトルＶｎ−１として選択する。
【０２３３】
メモリ制御信号生成部４０２には、画像処理装置１の図示せぬ制御部から、処理の開始タイミングと位置情報を制御する制御信号と、セレクタ４０１からのオフセットベクトルが入力される。メモリ制御信号生成部４０２は、ステップＳ２２において、制御信号及びセレクタ４０１からのオフセットベクトルＶｎ−１に応じて、メモリ４０３に記憶されている時刻ｔの画像のフレームｔと、時刻ｔ＋１の画像のフレームｔ＋１から、処理の対象となる演算ブロックの対象画素値を読み出させ、読み出した対象画素値を、評価値算出部４０４及び勾配法演算部４０５に供給させる。メモリ制御信号生成部４０２はまた、後述する評価値算出処理に利用するその演算ブロックの周辺の画素（図１３）の画素値（輝度値）を更に読み出させ、読み出したその画素値を、評価値算出部４０４に供給させる。
【０２３４】
評価値算出部４０４は、メモリ４０３から供給される対象画素値等を入力すると、ステップＳ２３において、評価値算出処理を実行する。この評価値算出処理は、図２２を参照して後述する。
【０２３５】
評価値算出部４０４は、ステップＳ２４において、ステップＳ２３で算出した評価値に基づいて、勾配法を実行するか否かを判定する。
【０２３６】
この例の場合、図１０及び図１８を参照して説明したように、選択画素と選択参照画素の勾配情報から得られる単位ベクトル、及び対応画素と対応参照画素の勾配情報から得られる単位ベクトルの内積を重みとしているので、演算ブロック毎の重みの総和が所定のしきい値αより大きいか否かが判定される。
【０２３７】
ステップＳ２４で、勾配法を実行すると判定された場合（即ち、大きいと判定された場合）、その旨が勾配法演算部４０５に通知され、勾配法演算部４０５は、演算ブロックを用いて勾配法演算処理を実行して、動きベクトルＶｎを求め、動きベクトルＶｎをベクトル評価部１０４に出力する。
【０２３８】
ベクトル評価部１０４は、ステップＳ２６において、ベクトル評価処理を実行する。
【０２３９】
ステップＳ２６のベクトル評価処理により、勾配法演算部４０５から動きベクトルＶｎ、オフセットベクトルＶｎ−１、及び０ベクトルの評価値が求められ、動きベクトルＶｎと、オフセットベクトルＶｎ−１または０ベクトルの評価値が比較され、比較結果に応じて動きベクトルＶが求められる。例えば、動きベクトルＶｎとオフセットベクトルＶｎ−１の評価値が比較され、動きベクトルＶｎの評価値の信頼度が高いとされた場合、動きベクトルＶｎは、動きベクトルＶとされて、勾配法演算の反復回数は１カウントされる。
【０２４０】
ベクトル評価部１０４は、また、ステップＳ２７において、勾配法演算の反復回数に基づいて、勾配法演算を反復するか否かを判定する。
【０２４１】
即ち、ベクトル評価部１０４は、勾配法演算の反復回数が設定された最大反復回数（例えば、２回）になっていない場合、ステップＳ２７において、勾配法演算を反復すると判定し、求められた動きベクトルＶを、遅延部４０６に出力する。
【０２４２】
遅延部４０６は、ベクトル評価部１０４から入力される動きベクトルＶを、評価値算出部４０４及び勾配法演算部４０５の次の処理のサイクルまで保持し、次の処理のサイクルで、動きベクトルＶをセレクタ４０１に出力する。これにより、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【０２４３】
また、ベクトル評価部１０４は、勾配法演算の反復回数が設定された最大反復回数（例えば、２回）になった場合、ステップＳ２７において、勾配法演算を反復しない、即ち、勾配法演算を終了すると判定する。ベクトル評価部１０４は、ステップＳ２９において、求められた動きベクトルＶを、検出対象ブロックに対応させて、検出ベクトルメモリ５３に記憶させ、反復勾配法処理を終了する。なお、このとき、動きベクトルＶ及びその評価値は、シフト初期ベクトル割付部１０５にも出力される。
【０２４４】
一方、ステップＳ２４において、評価値がしきい値αより少ないと判定された場合、演算実行判定部４２３により、その旨が勾配法演算部４０５に通知される。その結果勾配法演算が打ち切られる。その後処理は、ステップＳ２８に進む。
【０２４５】
ステップＳ２８において、ベクトル評価部１０４は、０ベクトルを、動きベクトルＶとして、ステップＳ２９において、動きベクトルＶを、検出対象ブロックに対応させて、検出ベクトルメモリ５３に記憶させる。なお、このときも、０ベクトルである動きベクトルＶ及びその評価値は、シフト初期ベクトル割付部１０５にも出力される。
【０２４６】
以上により、反復勾配法演算処理が終了され、その後、処理は、図２０のステップＳ１４に進む。
【０２４７】
次に、図２２のフローチャートを参照して、図２１のステップＳ２３の評価値算出部４０４（図９）における評価値算出処理を説明する。
【０２４８】
評価値算出部４０４は、ステップＳ４１において、演算ブロック内の画素を１つ選択し、ステップＳ４２において、その選択画素に対して、図１０を参照して説明した評価値算出処理を実行する。
【０２４９】
即ちステップＳ４２において、評価値算出部４０４の重み算出部４２１−１乃至重み算出部４２１−４は、フレームｔ及びフレームｔ＋１から、選択画素と、１画素、２画素、３画素、４画素分Ｘ軸及びＹ軸方向に離れたそれぞれの選択参照画素に対する勾配情報を取得する。
【０２５０】
次にステップＳ４３において、重み算出部４２１−１乃至重み算出部４２１−４は、ステップＳ４２で取得した勾配情報に基づいて、選択画素についての動きベクトルを演算する要素としての有効性を表す重みを算出する（例えば、式（２７））。
【０２５１】
ステップＳ４４において、勾配足し込み部４２２は、重み算出部４２１−１乃至重み算出部４２１−４からの重みを、足し込む。
【０２５２】
ステップＳ４５において、評価値算出部４０４は、演算ブロック内の全ての画素の処理が終了したか否かを判定する。ステップＳ４５において、演算ブロック内の全ての画素の処理が終了したと判定された場合、即ち演算ブロック内の全ての画素について算出された重みの総和が取られた場合、評価値算出処理は終了され、その結果得られた演算ブロック内の全ての画素について算出された重みの総和、即ち演算ブロックについての動きベクトルを演算するブロックとしての有効性を表す評価値が演算実行判定部４２３に供給される。その後、処理は、図２１のステップＳ２４に進む。
【０２５３】
ステップＳ４５において、演算ブロック内の全ての画素の処理がまだ終了していないと判定された場合、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返される。
【０２５４】
次に、図２３のフローチャートを参照して、図２１のステップＳ２５の勾配法演算部４０５における勾配法演算処理について説明する。
【０２５５】
勾配法演算部４０５の画素差分算出部４６１には、メモリ４０３から供給される演算ブロックの対象画素値が入力されている。画素差分算出部４６１は、ステップＳ５１において、演算ブロック内の画素を１つ選択する。
【０２５６】
ステップＳ５２において、画素差分算出部４６１（空間勾配画素差分算出部４７１、及び時間方向画素差分算出部４７２）は、フレームｔ上の水平方向の画素差分Δｘ及び垂直方向の画素差分Δｙ、並びに、フレームｔ＋１及びフレームｔ間の時間方向の画素差分Δｔを求め、勾配法演算部４６２に供給する。
【０２５７】
ステップＳ５３において、勾配法演算部４６２は、画素差分算出部４６１から供給された勾配（画素差分）を積算する。
【０２５８】
画素差分算出部４６１は、ステップＳ５４において、演算ブロック内の全ての画素の処理が終了したか否かを判定する。ステップＳ５４において、演算ブロック内の全ての画素の処理がまだ終了していないと判定された場合、処理は、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【０２５９】
ステップＳ５４において、演算ブロック内の全ての画素の処理が終了したと判定された場合、ステップＳ５５において、勾配法演算部４６２は、積算された勾配を用いて、動きベクトルｖｎを算出する。
【０２６０】
即ち、勾配法演算部４６２は、ステップＳ５３での積算された勾配と式（８）の最小自乗和を用いて、動きベクトルｖｎを求め、求めた動きベクトルｖｎを、ベクトル算出部４６３に出力する。
【０２６１】
ステップＳ５６において、ベクトル算出部４６３は、セレクタ４０１からのオフセットベクトルＶｎ−１を、勾配法演算部４６２からの動きベクトルｖｎに加算して、動きベクトルＶｎを算出し、算出した動きベクトルＶｎをベクトル評価部１０４に出力する。その後、処理は、図２１のステップＳ２６に進む。
【０２６２】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム格納媒体からインストールされる。
【０２６３】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図４に示されるように、磁気ディスク３１（フレキシブルディスクを含む）、光ディスク３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク３３（MD(Mini-Disc)（商標）を含む）、もしくは半導体メモリ３４などよりなるリムーバブル記録媒体（パッケージメディア）、または、プログラムが一時的もしくは永続的に格納されるＲＯＭ１２などにより構成される。
【０２６４】
なお、本明細書において、フローチャートに示されるステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０２６５】
【図１】ベクトル検出で用いられる勾配法を説明する図である。
【図２】初期ベクトルを用いた反復勾配法を説明する図である。
【図３】有効画素判定方法を説明する図である。
【図４】本発明を適用した画像処理装置の構成例を示すブロック図である。
【図５】本発明を適用した画像処理装置の機能的構成例を示すブロック図である。
【図６】図５のベクトル検出部の構成例を示すブロック図である。
【図７】画像処理装置において用いられる動きベクトルの評価値を説明する図である。
【図８】図６の反復勾配法演算部の構成例を示すブロック図である。
【図９】図８の評価値算出部の構成例を示すブロック図である。
【図１０】本発明の評価値算出の具体例を説明する図である。
【図１１】重み演算を説明する図である。
【図１２】重み関数の例を示す図である。
【図１３】評価値算出に用いられる画素を示す図である。
【図１４】本発明の評価値算出の意義を説明する図である。
【図１５】本発明の評価値算出の意義を説明する他の図である。
【図１６】本発明の評価値算出の意義を説明する他の図である。
【図１７】本発明の評価値算出の意義を説明する他の図である。
【図１８】本発明の評価値算出の意義を説明する他の図である。
【図１９】図８の勾配法演算部の構成例を示すブロック図である。
【図２０】動きベクトル検出処理を説明するフローチャートである。
【図２１】図２０のステップＳ１３の反復勾配法演算処理を説明するフローチャートである。
【図２２】図２１のステップＳ２３の評価値算出処理を説明するフローチャートである。
【図２３】図２１のステップＳ２５の勾配法演算処理を説明するフローチャートである。
【符号の説明】
【０２６６】
１  画像処理装置,  ５１  フレームメモリ，  ５２  ベクトル検出部，  ５３  検出ベクトルメモリ，  ５４  ベクトル割付部，  ５５  割付ベクトルメモリ，  ５６  画像補間部，  １０１  初期ベクトル選択部，  １０３  反復勾配法演算部，  １０４  ベクトル評価部，  １０５  シフト初期ベクトル割付部，  １０６  評価値メモリ，  １０７  シフト初期ベクトルメモリ，  ４０４  評価値算出部，  ４０５  勾配法演算部，  ４２１  重み算出部，  ４２２  勾配足し込み部，  ４２３  演算実行判定部，  ４３１  第１空間勾配取得部，  ４３２  第２空間勾配取得部，  ４３３  重み算出部，  ４６１  画素差分算出部，  ４７１  空間勾配画素差分算出部，  ４７２  時間方向画素差分算出部，  ４６２  勾配演算部，  ４６３  ベクトル算出部
【図１】
2009100017.tif 000054
【図２】
2009100017.tif 000055
【図３】
2009100017.tif 000056
【図４】
2009100017.tif 000057
【図５】
2009100017.tif 000058
【図６】
2009100017.tif 000059
【図７】
2009100017.tif 000060
【図８】
2009100017.tif 000061
【図９】
2009100017.tif 000062
【図１０】
2009100017.tif 000063
【図１１】
2009100017.tif 000064
【図１２】
2009100017.tif 000065
【図１３】
2009100017.tif 000066
【図１４】
2009100017.tif 000067
【図１５】
2009100017.tif 000068
【図１６】
2009100017.tif 000069
【図１７】
2009100017.tif 000070
【図１８】
2009100017.tif 000071
【図１９】
2009100017.tif 000072
【図２０】
2009100017.tif 000073
【図２１】
2009100017.tif 000074
【図２２】
2009100017.tif 000075
【図２３】
2009100017.tif 000076