(57)【要約】【課題】階層型動きベクトル算出方法において、絵柄が単調な部分においても不必要に高い精度で動き補償をおこない、無駄に処理負荷が大きくなることを防止する。【解決手段】分割した領域内において、高周波成分の強度を算出し、得られた高周波成分の強度を基にその領域を更に複数のエリアに分割するか否かを判別する。細かく分割した領域においては高い精度で動きベクトルを算出し、大きく分割した領域においては必要最低限の精度で動きベクトルを算出する。【選択図】  図１
2008160189.tif 000002
【特許請求の範囲】
【請求項１】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、
前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出装置。
【請求項２】
前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項１に記載の動きベクトル算出装置。
【請求項３】
時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、
前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動画像圧縮記録装置。
【請求項４】
前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項３に記載の動画像圧縮記録装置。
【請求項５】
被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、
前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする撮像装置。
【請求項６】
前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項５に記載の撮像装置。
【請求項７】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出ステップと、
前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法。
【請求項８】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出ステップと、
前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法をコンピュータに実行させるプログラム。
【請求項９】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、
前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出装置。
【請求項１０】
前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項９に記載の動きベクトル算出装置。
【請求項１１】
時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、
前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動画像圧縮記録装置。
【請求項１２】
前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項１１に記載の動画像圧縮記録装置。
【請求項１３】
被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、
前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする撮像装置。
【請求項１４】
前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出ステップと、
前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法。
【請求項１６】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出ステップと、
前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法をコンピュータに実行させるプログラム。
【請求項１７】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、
前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出装置。
【請求項１８】
前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項１７に記載の動きベクトル算出装置。
【請求項１９】
時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、
前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動画像圧縮記録装置。
【請求項２０】
前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項１９に記載の動画像圧縮記録装置。
【請求項２１】
被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、
前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする撮像装置。
【請求項２２】
前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることを特徴とする請求項２１に記載の撮像装置。
【請求項２３】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出ステップと、
前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法。
【請求項２４】
動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、
前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出ステップと、
前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、
前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする動きベクトル算出方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画圧縮における動きベクトルの算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置に関し、特に、階層型動きベクトル算出方法を用いた動きベクトル算出装置、方法およびプログラム、動画像圧縮記録装置ならびに撮像装置に関する。
【背景技術】
【０００２】
一般的に、動画像は近接するフレーム同士では画像としての類似性が高く、両者の差分はごく小さい。そこで動画像の圧縮においては、近接フレームの差分をとり、その差分情報のみを保存することでファイルサイズを軽減している。
【０００３】
図１２においては、近接フレームで異なるのは飛行機の位置のみで背景の差は皆無である。従って、「飛行機が右下に移動した」という情報のみを保存する。
【０００４】
このように、動体が移動する方向と大きさを「動きベクトル」といい、それを用いて次のフレームを復元することを「動き補償」という。
【０００５】
図１３を用いて、基本的な動きベクトル算出方法（ブロックマッチング方式）を説明する。
【０００６】
ここでは、ブロックサイズが１６画素×１６画素、１画素精度で動きベクトルを求める場合を例にする。
【０００７】
図１３のように、参照フレーム（ｎフレーム目）内に参照ブロック１６１（基準座標（１６ｉ、１６ｊ））が、被符号化フレーム（ｎ＋１フレーム目）内に、参照ブロック１６１から（ｄｘ、ｄｙ）だけずれた位置にある対象ブロック１６２（基準座標（１６ｉ＋ｄｘ、１６ｊ＋ｄｙ））が設定されている。
【０００８】
ｉ、ｊはそれぞれブロック水平位置、垂直位置を示し、フレームサイズを７２０画素×４８０画素とすると、ｉ＝０〜４４、ｊ＝０〜２９の値をとる。
【０００９】
またｄｘ、ｄｙは、それぞれ動きベクトルの水平成分、垂直成分であり、ここではｄｘ＝−１５〜１５、ｄｙ＝−１５〜１５の範囲とし、これは図１３（ｂ）に示す単位ブロックサーチレンジ１６３に該当する。
【００１０】
ここで、動きベクトルを求めるために、参照ブロック内の点の輝度値と、対応する対象ブロック内の点の輝度値の差分をとる。
【００１１】
即ち、参照ブロック内の点（１６ｉ＋ｘ、１６ｊ＋ｙ）と対応する対象ブロック内の点（１６ｉ＋ｘ＋ｄｘ、１６ｊ＋ｙ＋ｄｙ）の輝度値の差分を（０、０）≦（ｘ、ｙ）≦（１５、１５）の座標全てに対して求め、その絶対値誤差ＡＥを求める。
【００１２】
ｎフレーム目の座標（１６ｉ＋ｘ、１６ｊ＋ｙ）の点における輝度を
Ｐｎ（１６ｉ＋ｘ、１６ｊ＋ｙ）とすると、ＡＥは次式で表される。
【００１３】
【数１】
2008160189.tif 000003
【００１４】
このＡＥに最小値を与える（ｄｘ，ｄｙ）が参照ブロック１６１の動きベクトルとなる。
【００１５】
このように動きベクトルが求められるが、この処理を全てのブロックで行うと、膨大な処理負荷がかかる。
【００１６】
例えば、フレームサイズ７２０画素×４８０画素の動画においては、ブロック数は水平４５個、垂直３０個、計１３５０個となる。
【００１７】
そこで、一般的には、階層型動きベクトル算出という方法を用いて動きベクトルを算出する。
【００１８】
図１４を用いて、階層型動きベクトル算出について説明する。
【００１９】
階層型動きベクトル算出方法においては、まずブロック内の画素数をサブサンプリングによって縦、横とも１／２に縮小した画像を作成し、さらに縦、横とも１／２に縮小した画像を作成する。これは元画像に対して縦、横とも１／４に縮小した画像となる。
【００２０】
まず初めに縦横を１／４に縮小した画像で、即ち４画素単位で、前述したブロックマッチングを行い、動きベクトルの算出を行う。
【００２１】
元画像に対して縦、横を１／４に縮小した画像であるので、ブロックマッチングをおこなうブロックサイズを８×８とすると、３２画素×３２画素のブロックサイズに分割して行っていることになる。
【００２２】
このようにサブサンプリングされた画像で求めた、４画素精度での動きベクトル１８１は、精度も落ちている。
【００２３】
したがって、精度を上げて再探索を行う必要がある。
【００２４】
そこで次に、縦、横とも１／２に縮小した画像、即ち２画素単位に精度を上げ、４画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、２画素精度での動きベクトル１８２を求める。
【００２５】
最後に、元画像、即ち１画素単位で同様の方法を用いて１画素精度での動きベクトル１８３を求め、これら３つの動きベクトルの和を最終的な動きベクトル１８４とする。
【００２６】
これらは、「１段階精度の低い動きベクトルの近傍に最適な動きベクトルが存在する」という仮定に基づいた方法である。
【００２７】
この方法の場合、まず４画素単位での動きベクトル探索の演算量が、縦横とも１／４の縮小画像であるので、基本型と比べて１／１６の負荷で済む。また２画素単位以降の探索では、算出済み動きベクトルの近傍８画素のみを探索の対象としており、８×８のブロックサイズ全体で行った場合での６４画素対象と比べて１／８の処理負荷となる。
【００２８】
以上により、図１４で示した３段階階層の例では、１／１６×（１＋１／８＋１／８）となり、計５／６４の処理負荷で済む。
【００２９】
特許文献１には、動きベクトル誤算出の可能性を回避するようにした階層型動きベクトル算出方法が記載されており、特許文献２には、メモリアクセス量の増大を抑えた階層型動きベクトル算出方法及びその装置が記載されている。
【特許文献１】特開平７−１５４８０１号公報
【特許文献２】特開平８−２６５７７３号公報
【発明の開示】
【発明が解決しようとする課題】
【００３０】
しかしながら、従来の階層型動きベクトル算出方法では、全画面で一様な精度で動きベクトル算出を行っており、絵柄が単調もしくは動きの小さな部分においても不必要に高い精度で動き補償を行う可能性があり、無駄に処理負荷が大きくなることがあった。
【００３１】
特にＨ．２６４のように高圧縮率と高画質を両立させた規格では、１／４画素単位までの精度が要求されており上述の階層数が多くなるため、効率よく動き補償を行う必要がある。
【００３２】
そこで、高精度を要する部分とそうでない部分とを区別し、演算量を必要最低限にする事が必要になってくる。
【００３３】
本発明はこのような事情を鑑みて、低処理負荷で、なおかつ高画質な圧縮動画を得る為の装置およびその方法を提供する。
【課題を解決するための手段】
【００３４】
前記目的を達成するために本発明に係る動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００３５】
このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。
【００３６】
前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００３７】
このように、求めた高周波成分の強度が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。
【００３８】
また、高周波成分の強度が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００３９】
前記目的を達成するために本発明に係る動画像圧縮記録装置は、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００４０】
このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。
【００４１】
前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００４２】
このように、求めた高周波成分の強度が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。
【００４３】
また、高周波成分の強度が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００４４】
前記目的を達成するために本発明に係る撮像装置は、被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出手段と、前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００４５】
このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。
【００４６】
前記判定手段は、前記算出手段で得た高周波成分の強度が所定値より小さい場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００４７】
このように、求めた高周波成分の強度が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。
【００４８】
また、高周波成分の強度が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００４９】
前記目的を達成するために本発明に係る動きベクトル算出方法は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出ステップと、前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００５０】
このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法を提供することができる。
【００５１】
前記目的を達成するために本発明に係る動きベクトル算出方法をコンピュータに実行させるプログラムは、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の高周波成分の強度を算出する算出ステップと、前記算出手段で得た高周波成分の強度を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００５２】
このように、分割した領域内における高周波成分の強度を求めて、求めた高周波成分の強度からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法をコンピュータに実行させるプログラムを提供することができる。
【００５３】
前記目的を達成するために本発明に係る動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００５４】
このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。
【００５５】
前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００５６】
このように、求めた色数が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。
【００５７】
また、色数が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００５８】
前記目的を達成するために本発明に係る動画像圧縮記録装置は、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００５９】
このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。
【００６０】
前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００６１】
このように、求めた色数が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。
【００６２】
また、色数が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００６３】
前記目的を達成するために本発明に係る撮像装置は、被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出手段と、前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００６４】
このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。
【００６５】
前記判定手段は、前記算出手段で得た色の数が所定値より少ない場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００６６】
このように、求めた色数が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。
【００６７】
また、色数が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００６８】
前記目的を達成するために本発明に係る動きベクトル算出方法は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出ステップと、前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００６９】
このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法を提供することができる。
【００７０】
前記目的を達成するために本発明に係る動きベクトル算出方法をコンピュータに実行させるプログラムは、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色の数を算出する算出ステップと、前記算出手段で得た色の数を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００７１】
このように、分割した領域内における色の数を求めて、求めた色数からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法をコンピュータに実行させるプログラムを提供することができる。
【００７２】
前記目的を達成するために本発明に係る動きベクトル算出装置は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００７３】
このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。
【００７４】
前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００７５】
このように、求めた色分布が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。
【００７６】
また、色分布が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００７７】
前記目的を達成するために本発明に係る動画像圧縮記録装置は、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた動画像圧縮記録装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００７８】
このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。
【００７９】
前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００８０】
このように、求めた色分布が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動画像圧縮記録装置を提供することができる。
【００８１】
また、色分布が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００８２】
前記目的を達成するために本発明に係る撮像装置は、被写体像を時間軸に沿った動画像として撮像する撮像手段と、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて算出された動きベクトルを用いて、前記撮像手段により撮像された動画像のデータサイズを圧縮する動画像圧縮手段と、前記動画像圧縮手段により圧縮された動画像データを記録媒体に記録する記録手段と、を備えた撮像装置において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出手段と、前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定手段と、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定手段の判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００８３】
このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。
【００８４】
前記判定手段は、前記算出手段で得た色分布が所定値より狭い場合に、さらに複数の領域に分割しない判定をすることが好ましい。
【００８５】
このように、求めた色分布が所定値未満の場合は、それ以上分割してさらに探索領域内の探索精度を上げることを行わないことにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする撮像装置を提供することができる。
【００８６】
また、色分布が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【００８７】
前記目的を達成するために本発明に係る動きベクトル算出方法は、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法において、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出ステップと、前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００８８】
このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法を提供することができる。
【００８９】
前記目的を達成するために本発明に係る動きベクトル算出方法をコンピュータに実行させるプログラムは、動画像における、時間的に異なる２つのフレームである参照フレームと被符号化フレームとの間の動きベクトルを算出するにあたって、段階的に動きベクトルの探索領域を狭めるとともに前記探索領域内における探索精度を上げて動きベクトルを算出する動きベクトル算出方法をコンピュータに実行させるプログラムにおいて、前記被符号化フレームをある単位ごとに複数の領域に分割し、分割した領域ごとに、領域内の画素の色分布を算出する算出ステップと、前記算出手段で得た色分布を基に、その領域をさらにある単位ごとの複数の領域に分割することで前記探索領域内における動きベクトルの探索精度を上げるか否かを判定する判定ステップと、を備え、前記探索領域内における前記分割した領域の大きさに応じた探索精度で前記参照フレームと前記被符号化フレームとの間の動きベクトルを算出し、求めたベクトルの近傍でさらに前記判定ステップの判定に応じた領域の精度に応じて動きベクトルを算出し、前記算出されたベクトルの総和を前記参照フレームと前記被符号化フレームとの間の動きベクトルとすることを特徴とする。
【００９０】
このように、分割した領域内における色分布を求めて、求めた色分布からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、不必要な精度での探索を行わずに済み、演算量を必要最低限にする動きベクトル算出方法をコンピュータに実行させるプログラムを提供することができる。
【発明の効果】
【００９１】
本発明によれば、階層型動きベクトル算出方法において、絵柄が緻密であるかどうかを判定するために、分割した領域内における高周波成分の強度、または色の数、または色分布を求めて、求めた結果からさらに分割して探索領域内の探索精度を上げるかどうかを判断することにより、緻密でない絵柄では２段階目以降のベクトル算出を行わずに済み、演算量を必要最低限にする動きベクトル算出装置を提供することができる。
【００９２】
また、求めた結果が所定値以上の場合は、その領域をさらに分割して探索領域内の探索精度を上げるので、緻密な絵柄に対しては２段階目以降を繰り返すことでベクトル算出精度を高く保つことができる。
【発明を実施するための最良の形態】
【００９３】
以下、添付図面に従って本発明に係る動きベクトル算出装置の好ましい実施の形態について説明する。
【００９４】
＜第１の実施の形態＞
図１は本発明に係る動きベクトル算出装置の第１の実施の形態のブロック図である。
【００９５】
この動きベクトル算出装置は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。
【００９６】
ＣＰＵ１２は、所定のプログラムに従ってカメラ１０を制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。
【００９７】
バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ１７には、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。
【００９８】
また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。
【００９９】
切り替えスイッチ２２及びメニュー／ＯＫキー２６により動画撮影モードが設定され撮影ボタン２４が操作されると、動画の撮影が開始される。
【０１００】
ＡＦ検出回路６２及びＡＥ／ＡＷＢ検出回路６４の検出結果から、ＣＰＵ１２に制御されるレンズ駆動部４６及び絞り駆動部４８が、レンズユニット４０のフォーカスレンズ４２及び絞り４４を適正に駆動し、焦点と絞りが調整される。
【０１０１】
レンズユニット４０を介してＣＣＤ３８に結像された被写体像は、各フォトダイオードによって入射光量に応じた量のＲ、Ｇ、Ｂの信号電荷に変換される。
【０１０２】
各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいてＣＤＳ／ＡＭＰ５２回路に送られ、ここで相関二重サンプリング処理された後増幅され、Ａ／Ｄ変換器５４に加えられる。
【０１０３】
Ａ／Ｄ変換器５４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５６を介してメモリ１８に記憶される。
【０１０４】
画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１２の指令に従って処理し、輝度信号（Ｙ信号）及び色差信号（Ｃｒ，Ｃｂ 信号）に変換するとともに、ガンマ補正等の所定の処理も行い、再びメモリ１８に格納する。
【０１０５】
画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。
【０１０６】
ビデオエンコーダ６０は、ＶＲＡＭ２０からバス１４を介して入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。
【０１０７】
撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。
【０１０８】
またメモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介してメディアソケット３０に挿入された記録メディア３２に記録される。例えば、ＭＰＥＧ形式で記録される。
【０１０９】
このデータ圧縮では、動き補償予測符号化後に離散コサイン変換（ＤＣＴ）がおこなわれ、その後、ＤＣＴ係数の量子化、符号化がおこなわれる。
【０１１０】
次に、本発明の第１の実施の形態に係る、階層型動きベクトル算出方法における階層の決定方法について、図２〜図６を用いて説明する。
【０１１１】
本発明の第１の実施の形態に係るカメラ１０は、動き補償予測を階層型動きベクトル算出方法を用いて行うが、高周波成分の強度が大きい部分は絵柄が緻密であり、動き補償予測を行うにあたって高精度を要する部分であると判断し、深い階層まで動きベクトルの算出を行う。
【０１１２】
逆に、高周波成分の強度が小さい部分は、動き補償予測を行うにあたって精度を要しない部分であると判断し、深い階層まで動きベクトルの算出をおこなわない。
【０１１３】
図２は被符号化フレームのブロック分割を示した図であり、図３〜図５はブロック分割の流れを示すフローチャートである。
【０１１４】
図２（ａ）に示すように、まず被符号化フレームを３２画素×３２画素のブロックに分割する（ステップＳ３１）。本実施の形態では、６４０画素×４８０画素の動画であるので、横ｉ＝２０、縦ｊ＝１５、計２０×１５＝３００のブロックに分割される。
【０１１５】
次に、左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の高周波成分の強度の算出をおこなうが、ここではＣＰＵにてバンドパスフィルタ処理をソフトウェアで行い、所定の空間周波数領域の応答積算値Σ（ｉ＿４、ｊ＿４）を算出する方法を用いる（ステップＳ３２）。なお、所定の閾値を設けたハイパスフィルタ処理を行って、応答積算値を求めてもよい。
【０１１６】
ＣＰＵ１２は、算出されたブロック内のＢＰＦ応答積算値Σ（ｉ＿４、ｊ＿４）と、あらかじめ設定されているブロック分割閾値ａ（４）の比較を行う。（ステップＳ３３）
ＢＰＦ応答積算値Σ（ｉ＿４、ｊ＿４）がａ（４）より小さい場合、即ちブロック内の高周波成分の強度が小さいと判断された場合は、（ｉ＿４、ｊ＿４）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ３５）、次のブロックの処理へ移行する。逆に、ＢＰＦ応答積算値Σ（ｉ＿４、ｊ＿４）がａ（４）より大きい場合、即ちブロック内の高周波成分の強度が大きいと判断された場合は、サブルーチンＡへ移行する（ステップＳ３４）。
【０１１７】
図４はサブルーチンＡの処理を示すフローチャートである。
【０１１８】
ここではまず、該当する（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図２（ｂ）に示すように、１６画素×１６画素のブロック４個に分割する（ステップＳ４１）。
【０１１９】
３２画素×３２画素のブロックのときと同様に、各ブロックにおけるブロック内のＢＰＦ応答積算値Σ（ｉ＿２、ｊ＿２）を算出する（ステップＳ４２）。
【０１２０】
ＣＰＵ１２は、ここで求められたブロック内のＢＰＦ応答積算値Σ（ｉ＿２、ｊ＿２）と、あらかじめ設定されているブロック分割閾値ａ（２）の比較を行う（ステップＳ４３）。
【０１２１】
ＢＰＦ応答積算値Σ（ｉ＿２、ｊ＿２）がａ（２）より小さい場合、即ちブロック内の高周波成分の強度が小さいと判断された場合は、（ｉ＿２、ｊ＿２）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ４５）、次のブロックの処理へ移行する。逆に、ＢＰＦ応答積算値Σ（ｉ＿２、ｊ＿２）がａ（２）より大きい場合、即ちブロック内の高周波成分の強度大きいと判断された場合は、サブルーチンＢへ移行する（ステップＳ４４）。
【０１２２】
図５はサブルーチンＢの処理を示すフローチャートである。
【０１２３】
ここではまず、該当する（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図２（ｃ）に示すように、８画素×８画素のブロック４個に分割する（ステップＳ５１）。
【０１２４】
３２画素×３２画素のブロックのときと同様に、各ブロックにおけるブロック内のＢＰＦ応答積算値Σ（ｉ＿１、ｊ＿１）を算出する（ステップＳ５２）。
【０１２５】
ＣＰＵ１２は、ブロック内のＢＰＦ応答積算値Σ（ｉ＿１、ｊ＿１）と、あらかじめ設定されているブロック分割閾値ａ（１）の比較を行う（ステップＳ５３）。
【０１２６】
ＢＰＦ応答積算値Σ（ｉ＿１、ｊ＿１）がａ（１）より小さい場合、即ちブロック内の高周波成分の強度が小さいと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを１６画素×１６画素周辺動き推定の対象とし（ステップＳ５５）、次のブロックの処理へ移行する。逆に、ブロック内のＢＰＦ応答積算値Σ（ｉ＿１、ｊ＿１）がａ（１）より大きい場合、即ちブロック内の高周波成分の強度が大きいと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを８画素×８画素周辺動き推定の対象とし（ステップＳ５４）、次のブロックの処理へ移行する。
【０１２７】
このように、全てのブロックについてＢＰＦ応答積算値Σを求め、さらにブロック分割を行い、探索領域内の探索精度を上げるかどうかの判定を行う。
【０１２８】
ここで、ブロック分割閾値については、ａ（４）＜ａ（２）＜ａ（１）の関係であることが好ましい。またここでは、ＣＰＵにてバンドパスフィルタ処理をソフトウェアで行いＢＰＦ応答積算値Σを求めたが、ＡＦ検出回路６２内の高周波検出回路を用いて算出してもよい。
【０１２９】
全てのブロックについて終了後（ステップＳ３６）、ＣＰＵ１２はこれらのブロック分割データに基づいて、階層型動きベクトル算出方法を用いて動きベクトルの算出を行う。
【０１３０】
まず初めに、４画素単位でブロックマッチングを行い、動きベクトルの算出を行う。
【０１３１】
ここで求めた動きベクトルの位置が、３２画素×３２画素動き推定の対象の場合は、これ以上の動きベクトルの算出を行わないが、１６画素×１６画素周辺動き推定の対象となっている場合は、２画素単位に精度を上げ、４画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、動きベクトルを求める。
【０１３２】
ここで求めた動きベクトルの位置が１６画素×１６画素動き推定の対象の場合は、これ以上の動きベクトルの算出を行わないが、さらに８画素×８画素周辺動き推定の対象となっている場合は、１画素単位に精度を上げ、２画素単位で得た動きベクトルの最小値の位置に原点を移動し、近傍８画素に対してのみブロックマッチングを行い、動きベクトルを求める。
【０１３３】
このように、高精度を要する部分は深い階層で動きベクトル算出を行い、そうでない部分は必要最低限な階層で動きベクトル算出を行うことにより、低処理負荷で、なおかつ高画質な圧縮動画を得ることができる。
【０１３４】
＜第２の実施の形態＞
本発明の第２の実施の形態に係るカメラ１０は、動き補償予測を階層型動きベクトル算出方法を用いて行うが、色数が多い部分は絵柄が緻密であり、動き補償予測を行うにあたって高精度を要する部分であると判断し、深い階層まで動きベクトルの算出を行う。
【０１３５】
逆に、色数が少ない部分は、動き補償予測を行うにあたって精度を要しない部分であると判断し、深い階層まで動きベクトルの算出をおこなわない。
【０１３６】
図６〜図８を用いて、本発明の第２の実施の形態について説明する。図６〜図８はブロック分割の流れを示すフローチャートであり、図３〜５のフローチャートとは、ブロック内の色数を算出してブロック分割閾値と比較するところが異なっている。
【０１３７】
第１の実施の形態と同様に、図２（ａ）に示すように、被符号化フレームを３２画素×３２画素のブロックに分割し（ステップＳ６１）、左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の色数の算出をおこなう（ステップＳ６２）。
【０１３８】
算出されたブロック内の色数Ｎ（ｉ＿４、ｊ＿４）と、あらかじめ設定されているブロック分割閾値ｂ（４）の比較を行う（ステップＳ６３）。
【０１３９】
色数Ｎ（ｉ＿４、ｊ＿４）がｂ（４）より小さい場合、即ちブロック内の色数が少ないと判断された場合は、（ｉ＿４、ｊ＿４）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ６５）、次のブロックの処理へ移行する。逆に、色数Ｎ（ｉ＿４、ｊ＿４）がｂ（４）より大きい場合、即ちブロック内の色数が多いと判断された場合は、サブルーチンＣへ移行する（ステップＳ６４）。
【０１４０】
図７はサブルーチンＣの処理を示すフローチャートである。
【０１４１】
まず、該当する（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図２（ｂ）に示すように、１６画素×１６画素のブロック４個に分割し（ステップＳ７１）、３２画素×３２画素のブロックのときと同様に、各ブロックにおける色数Ｎ（ｉ＿２、ｊ＿２）を算出する（ステップＳ７２）。
【０１４２】
求められたブロック内の色数Ｎ（ｉ＿２、ｊ＿２）と、あらかじめ設定されているブロック分割閾値ｂ（２）の比較を行う（ステップＳ７３）。
【０１４３】
色数Ｎ（ｉ＿２、ｊ＿２）がｂ（２）より小さい場合、即ちブロック内の色数が少ないと判断された場合は、（ｉ＿２、ｊ＿２）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ７５）、次のブロックの処理へ移行する。逆に、色数Ｎ（ｉ＿２、ｊ＿２）がｂ（２）より大きい場合、即ちブロック内の色数が多いと判断された場合は、サブルーチンＤへ移行する（ステップＳ７４）。
【０１４４】
図８はサブルーチンＤの処理を示すフローチャートである。
【０１４５】
これまでと同様に、該当する（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図２（ｃ）に示すように、８画素×８画素のブロック４個に分割し（ステップＳ８１）、各ブロックにおけるブロック内の色数Ｎ（ｉ＿１、ｊ＿１）を算出し（ステップＳ８２）、求められたブロック内の色数Ｎ（ｉ＿１、ｊ＿１）と、あらかじめ設定されているブロック分割閾値ｂ（１）の比較を行う（ステップＳ８３）。
【０１４６】
色数Ｎ（ｉ＿１、ｊ＿１）がｂ（１）より小さい場合、即ちブロック内の色数が少ないと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを１６画素×１６画素周辺動き推定の対象とし（ステップＳ８５）、次のブロックの処理へ移行する。逆に、ブロック内の色数Ｎ（ｉ＿１、ｊ＿１）がｂ（１）より大きい場合、即ちブロック内の色数が多いと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを８画素×８画素周辺動き推定の対象とし（ステップＳ８４）、次のブロックの処理へ移行する。
【０１４７】
このように、全てのブロックについて色数Ｎを求め、さらにブロック分割を行い、探索領域内の探索精度を上げるかどうかの判定を行う。
【０１４８】
ここで、ブロック分割閾値については、ｂ（４）＜ｂ（２）＜ｂ（１）の関係であることが好ましい。
【０１４９】
全てのブロックについて終了後（ステップＳ６６）、ＣＰＵ１２はこれらのブロック分割データに基づいて、階層型動きベクトル算出方法を用いて動きベクトルの算出を行う。
【０１５０】
＜第３の実施の形態＞
本発明の第３の実施の形態に係るカメラ１０は、色分布が広い部分は絵柄が緻密であり、動き補償予測を行うにあたって高精度を要する部分であると判断し、深い階層まで動きベクトルの算出を行う。
【０１５１】
逆に、色分布が狭い部分は、動き補償予測を行うにあたって精度を要しない部分であると判断し、深い階層まで動きベクトルの算出をおこなわない。
【０１５２】
図９〜図１１を用いて、本発明の第３の実施の形態について説明する。図９〜図１１はブロック分割の流れを示すフローチャートであり、図３〜図５のフローチャートとは、ブロック内の色の分散を算出してブロック分割閾値と比較するところが異なっている。
【０１５３】
第１の実施の形態と同様に、図２（ａ）に示すように、被符号化フレームを３２画素×３２画素のブロックに分割し（ステップＳ９１）、左上（ｉ＝１、ｊ＝１）のブロックから、ブロック内の色の分散の算出をおこなう（ステップＳ９２）。
【０１５４】
算出されたブロック内の色の分散σ２（ｉ＿４、ｊ＿４）と、あらかじめ設定されているブロック分割閾値ｃ（４）の比較を行う（ステップＳ９３）。
【０１５５】
色の分散σ２（ｉ＿４、ｊ＿４）がｃ（４）より小さい場合、即ちブロック内の色分布が狭いと判断された場合は、（ｉ＿４、ｊ＿４）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ９５）、次のブロックの処理へ移行する。逆に、色の分散σ２（ｉ＿４、ｊ＿４）がｃ（４）より大きい場合、即ちブロック内の色分布が広いと判断された場合は、サブルーチンＥへ移行する（ステップＳ９４）。
【０１５６】
図１０はサブルーチンＥの処理を示すフローチャートである。
【０１５７】
まず、該当する（ｉ＿４、ｊ＿４）の３２画素×３２画素のブロックを、図２（ｂ）に示すように、１６画素×１６画素のブロック４個に分割し（ステップＳ１０１）、３２画素×３２画素のブロックのときと同様に、各ブロックにおける色の分散σ２（ｉ＿２、ｊ＿２）を算出する（ステップＳ１０２）。
【０１５８】
求められたブロック内の色の分散σ２（ｉ＿２、ｊ＿２）と、あらかじめ設定されているブロック分割閾値ｃ（２）の比較を行う（ステップＳ１０３）。
【０１５９】
色の分散σ２（ｉ＿２、ｊ＿２）がｃ（２）より小さい場合、即ちブロック内の色の分布が狭いと判断された場合は、（ｉ＿２、ｊ＿２）のブロックをこれ以上の分割を行わない、即ち３２画素×３２画素動き推定の対象とし（ステップＳ１０５）、次のブロックの処理へ移行する。逆に、色の分散σ２（ｉ＿２、ｊ＿２）がｃ（２）より大きい場合、即ちブロック内の色の分布が広いと判断された場合は、サブルーチンＦへ移行する（ステップＳ１０４）。
【０１６０】
図１１はサブルーチンＦの処理を示すフローチャートである。
【０１６１】
これまでと同様に、該当する（ｉ＿２、ｊ＿２）の１６画素×１６画素のブロックを、図２（ｃ）に示すように、８画素×８画素のブロック４個に分割し（ステップＳ１１１）、各ブロックにおけるブロック内の色の分散σ２（ｉ＿１、ｊ＿１）を算出し（ステップＳ１１２）、求められたブロック内の色の分散σ２（ｉ＿１、ｊ＿１）と、あらかじめ設定されているブロック分割閾値ｃ（１）の比較を行う（ステップＳ１１３）。
【０１６２】
色の分散σ２（ｉ＿１、ｊ＿１）がｂ（１）より小さい場合、即ちブロック内の色分布が狭いと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを１６画素×１６画素周辺動き推定の対象とし（ステップＳ１１５）、次のブロックの処理へ移行する。逆に、ブロック内の色の分散σ２（ｉ＿１、ｊ＿１）がｂ（１）より大きい場合、即ちブロック内の色分布が広いと判断された場合は、（ｉ＿１、ｊ＿１）のブロックを８画素×８画素周辺動き推定の対象とし（ステップＳ１１４）、次のブロックの処理へ移行する。
【０１６３】
このように、全てのブロックについて色の分散σ２を求め、さらにブロック分割を行い、探索領域内の探索精度を上げるかどうかの判定を行う。
【０１６４】
ここで、ブロック分割閾値については、ｃ（４）＜ｃ（２）＜ｃ（１）の関係であることが好ましい。またここでは、色の分布を算出するために色の分散を用いたが、色の標準偏差を用いてもよい。
【０１６５】
全てのブロックについて終了後（ステップＳ９６）、ＣＰＵ１２はこれらのブロック分割データに基づいて、階層型動きベクトル算出方法を用いて動きベクトルの算出を行う。
【図面の簡単な説明】
【０１６６】
【図１】図１は本発明に係る動きベクトル算出装置（デジタルカメラ）の内部構成の一例を示すブロック図である。
【図２】図２は本発明に係る第１の実施の形態の参照フレームの画面分割を示した図である。
【図３】図３は本発明に係る第１の実施の形態の動作を示すフローチャートである。
【図４】図４は本発明に係る第１の実施の形態の動作を示すフローチャートである。
【図５】図５は本発明に係る第１の実施の形態の動作を示すフローチャートである。
【図６】図６は本発明に係る第２の実施の形態の動作を示すフローチャートである。
【図７】図７は本発明に係る第２の実施の形態の動作を示すフローチャートである。
【図８】図８は本発明に係る第２の実施の形態の動作を示すフローチャートである。
【図９】図９は本発明に係る第３の実施の形態の動作を示すフローチャートである。
【図１０】図１０は本発明に係る第３の実施の形態の動作を示すフローチャートである。
【図１１】図１１は本発明に係る第３の実施の形態の動作を示すフローチャートである。
【図１２】図１２は動きベクトルを説明するための図である。
【図１３】図１３は従来のブロックマッチング方式を説明するための図である。
【図１４】図１４は従来の階層型動きベクトル算出方法を説明するための図である。
【符号の説明】
【０１６７】
１２…ＣＰＵ、１６…ＲＯＭ、１８…メモリ、２０…ＶＲＡＭ、３２…記録メディア、３８…ＣＣＤ、６４…ＣＣＤ、５８…画像信号処理回路、６６…圧縮伸張回路
【図１】
2008160189.tif 000004
【図２】
2008160189.tif 000005
【図３】
2008160189.tif 000006
【図４】
2008160189.tif 000007
【図５】
2008160189.tif 000008
【図６】
2008160189.tif 000009
【図７】
2008160189.tif 000010
【図８】
2008160189.tif 000011
【図９】
2008160189.tif 000012
【図１０】
2008160189.tif 000013
【図１１】
2008160189.tif 000014
【図１２】
2008160189.tif 000015
【図１３】
2008160189.tif 000016
【図１４】
2008160189.tif 000017