(57)【要約】【課題】動画像を構成する各画像フレームにおける手ぶれ補正処理の終了までの時間を短縮して、動画像のフレームレートの高速化に対して適正に対応する。【解決手段】撮像装置１００であって、被写体の動画像を構成する複数の画像フレームのうち、先行する参照画像フレームの特徴量に係る特徴量画像ブロックを選択するブロック選択部３と、複数の画像フレームのうちの現画像フレームにて、特徴量画像ブロックに対応する対応画像ブロックの動きベクトルを算出する動き量算出部５と、算出された動きベクトルに基づいて、現画像フレームのぶれ量を算出するぶれ量算出部と、算出されたぶれ量に基づいて、動画像の手ぶれ補正処理を行うぶれ量補正部６とを備える。【選択図】図１
2007134788.tif 000002
【特許請求の範囲】
【請求項１】
被写体の動画像を構成する複数の画像フレームのうち、一の画像フレームの特徴量を検出する特徴量検出処理を行う特徴量検出手段と、
前記一の画像フレームを構成する複数の画像ブロックのうち、前記特徴量検出手段により検出された前記特徴量に係る特徴量画像ブロックを選択する特徴量画像ブロック選択手段と、
複数の画像フレームのうち、前記一の画像フレームの次の画像フレームにて、前記特徴量画像ブロック選択手段により選択された前記特徴量画像ブロックに対応する対応画像ブロックの動き量を算出する動き量算出処理を行う動き量算出手段と、
前記動き量算出手段により算出された前記動き量に基づいて、前記次の画像フレームの全体動きベクトルを算出する全体動きベクトル算出手段と、
前記全体動きベクトル算出手段により算出された前記全体動きベクトルに基づいて、前記動画像の手ぶれ補正処理を行う手ぶれ補正手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特徴量検出手段による前記特徴量検出処理及び前記動き量算出手段による前記動き量算出処理の少なくとも何れか一方は、各々の処理対象となる画像データの入力量を当該画像データの処理量が超えないようにして行われることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
画像処理装置に、
被写体の動画像を構成する複数の画像フレームのうち、一の画像フレームの特徴量を検出する特徴量検出処理を行う機能と、
前記一の画像フレームを構成する複数の画像ブロックのうち、検出された前記特徴量に係る特徴量画像ブロックを選択する機能と、
複数の画像フレームのうち、前記一の画像フレームの次の画像フレームにて、選択された前記特徴量画像ブロックに対応する対応画像ブロックの動き量を算出する機能と、
算出された前記動き量に基づいて、前記次の画像フレームの全体動きベクトルを算出する機能と、
算出された前記全体動きベクトルに基づいて、前記動画像の手ぶれ補正処理を行う機能と、
を実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の手ぶれ補正を行う画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ＣＣＤやＣＭＯＳ等のイメージセンサを用いて像ぶれを検出する像ぶれ防止装置が知られている（例えば、特許文献１参照）。
この像ぶれ防止装置によれば、各エリアの動きベクトルの平均値と標準偏差によって定まる範囲内のもののみを選択し、さらに、各エリアのコントラスト係数を求め、それをもとに重み付け係数を求めたのち重み付け平均を求め、これを全体の動きベクトルとしている。これにより、信頼性の高低を評価して全体の動きベクトルを適正に求めることができるようになっている。
【特許文献１】特開２００４−１５３７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１等の場合、動きベクトルの算出後に当該動きベクトルが全体の動きベクトルを算出するのに適正かどうかを判断していることから、全体の動きベクトルの算出に不適切な被写体に対する動きベクトル計算も行われてしまうので効率が悪いといった問題がある。
【０００４】
また、一の画像フレームにて、被写体の特質を解析して適正があると推定されるマクロブロックに対して動きベクトルを求め、当該動きベクトルより全体の動きベクトルを算出する方法を採った場合、無駄な動きベクトルを計算しなくても良いという点では改善が図られているものの、前処理として被写体の解析、即ち、マクロブロック毎の適正の判断が入ることから、一連の処理時間という点では大幅な改善は困難である。
即ち、例えば、図７及び図８に示すように、従来の撮像装置２００にあっては、動画像の撮像を行う撮像部２０１と、撮像により光電変換された画像データに基づいて画像の特徴量の検出を行う特徴量検出部２０２と、画像フレームのぶれ量の検出に適した画像ブロックを選択するブロック選択部２０３と、選択された画像ブロックから動きベクトルを検出する動き量算出部２０４と、検出された動きベクトルに基づいて、画像フレームのぶれ量を補正するぶれ量補正部２０５と、補正後の画像データをエンコードするエンコード部２０６と、撮像された動画像を表示する表示部２０７等を備えている。
そして、上記従来の撮像装置２００にあっては、動画像の撮像の際に所定のフレームレートを確保するためには、特徴量の検出、ブロックの選択、動きベクトルの検出及びぶれ量補正といった露光からエンコード及び表示までの一連の処理（ステップＡ１〜Ａ６）を所定時間内に収めなければならない（図８参照）。しかしながら、かかる処理を順次行うようにすると、一の画像フレームにおける補正量を決定して所定の画像データを切り出すまでにかなりの処理時間を要することとなるため、駆動周波数を高めたり、作業用メモリが必要となってくるといった問題がある。
【０００５】
そこで、本発明の課題は、動画像を構成する各画像フレームにおける手ぶれ補正処理の終了までの時間を短縮することができ、これにより、動画像のフレームレートの高速化に対して適正に対応することができる画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明の画像処理装置（例えば、図１の撮像装置１００等）は、
被写体の動画像を構成する複数の画像フレーム（例えば、図２の画像フレームＦ等）のうち、一の画像フレーム（例えば、図２の参照画像フレームＦ１等）の特徴量を検出する特徴量検出処理を行う特徴量検出手段（例えば、図１の特徴量検出部２等）と、
前記一の画像フレームを構成する複数の画像ブロックのうち、前記特徴量検出手段により検出された前記特徴量に係る特徴量画像ブロック（例えば、図２の特徴量画像ブロックＢ１等）を選択する特徴量画像ブロック選択手段（例えば、図１のブロック選択部３等）と、
複数の画像フレームのうち、前記一の画像フレームの次の画像フレーム（例えば、図３の現画像フレームＦ２等）にて、前記特徴量画像ブロック選択手段により選択された前記特徴量画像ブロックに対応する対応画像ブロック（例えば、図３の対応画像ブロックＢ２等）の動き量を算出する動き量算出処理を行う動き量算出手段（例えば、図１の動き量算出部５等）と、
前記動き量算出手段により算出された前記動き量に基づいて、前記次の画像フレームの全体動きベクトルを算出する全体動きベクトル算出手段（例えば、図５のぶれ量算出部６１等）と、
前記全体動きベクトル算出手段により算出された前記全体動きベクトルに基づいて、前記動画像の手ぶれ補正処理を行う手ぶれ補正手段（例えば、図１のぶれ量補正部６等）と、
を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記特徴量検出手段による前記特徴量検出処理及び前記動き量算出手段による前記動き量算出処理の少なくとも何れか一方は、各々の処理対象となる画像データの入力量を当該画像データの処理量が超えないようにして行われることを特徴としている。
【０００８】
請求項３に記載の発明のプログラムは、
画像処理装置（例えば、図１の撮像装置１００等）に、
被写体の動画像を構成する複数の画像フレーム（例えば、図２の画像フレームＦ等）のうち、一の画像フレーム（例えば、図２の参照画像フレームＦ１等）の特徴量を検出する特徴量検出処理を行う機能と、
前記一の画像フレームを構成する複数の画像ブロックのうち、検出された前記特徴量に係る特徴量画像ブロック（例えば、図２の特徴量画像ブロックＢ１等）を選択する機能と、
複数の画像フレームのうち、前記一の画像フレームの次の画像フレーム（例えば、図２の現画像フレームＦ２等）にて、選択された前記特徴量画像ブロックに対応する対応画像ブロック（例えば、図３の対応画像ブロックＢ２等）の動き量を算出する機能と、
算出された前記動き量に基づいて、前記次の画像フレームの全体動きベクトルを算出する機能と、
算出された前記全体動きベクトルに基づいて、前記動画像の手ぶれ補正処理を行う機能と、
を実現させることを特徴としている。
【発明の効果】
【０００９】
請求項１に記載の発明によれば、被写体の動画像を構成する複数の画像フレームのうち、一の画像フレームの次の画像フレームにて、一の画像フレームの特徴量に係る特徴量画像ブロックに対応する対応画像ブロックの動き量を算出して、当該次の画像フレームの全体動きベクトルを算出することができる。即ち、一の画像フレームの特徴量の検出結果に基づいて、当該一の画像フレームの次の画像フレームの全体動きベクトルを算出することができるので、次の画像フレームにおいて、画像データの入力から手ぶれ補正処理の終了までの時間を短縮することができることとなる。
また、複数の画像フレームの各々において、動き量算出処理と特徴量検出処理とを並列して行うことができることとなるので、これらの各処理を複数の画像フレームについて順次行うことにより、動画像を構成する各画像フレームにおける手ぶれ補正処理の終了までの時間を短縮することができる。従って、動画像のフレームレートの高速化に対しても適正に対応することができることとなる。
【００１０】
請求項２に記載の発明によれば、請求項１に記載の発明と同様の効果が得られるのは無論のこと、特に、特徴量検出手段による特徴量検出処理及び動き量算出手段による動き量算出処理は、各々の処理以前に行われる前処理の開始後にその完了を待たずとも、各々の処理を開始することができることとなって、画像データの入力から手ぶれ補正処理の終了までの時間をより好適に短縮することができることとなる。
【００１１】
請求項３に記載の発明によれば、被写体の動画像を構成する複数の画像フレームのうち、一の画像フレームの次の画像フレームにて、一の画像フレームの特徴量に係る特徴量画像ブロックに対応する対応画像ブロックの動き量を算出して、当該次の画像フレームの全体動きベクトルを算出することができる。即ち、一の画像フレームの特徴量の検出結果に基づいて、当該一の画像フレームの次の画像フレームの全体動きベクトルを算出することができるので、次の画像フレームにおいて、画像データの入力から手ぶれ補正処理の終了までの時間を短縮することができることとなる。
また、複数の画像フレームの各々において、動き量算出処理と特徴量検出処理とを並列して行うことができることとなるので、これらの各処理を複数の画像フレームについて順次行うことにより、動画像を構成する各画像フレームにおける手ぶれ補正処理の終了までの時間を短縮することができる。従って、動画像のフレームレートの高速化に対しても適正に対応することができることとなる。
【発明を実施するための最良の形態】
【００１２】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
ここで、図１は、本発明を適用した画像処理装置の一実施形態として例示する撮像装置１００の要部構成を示すブロック図である。
【００１３】
撮像装置１００は、例えば、デジタルカメラ等が適用され、撮像された動画像を記録するための符号化標準であるＭＰＥＧ（Moving Picture Experts Group）４等の情報圧縮方式により符号化して記録するものである。
具体的には、撮像装置１００は、例えば、図１に示すように、被写体の静止画像や動画像の撮像を行う撮像部１と、撮像部１による撮像により光電変換された画像データに対する特徴量の検出を行う特徴量検出部２と、画像フレームＦのぶれ量の検出に適した特徴量画像ブロックＢ１（図２参照）を選択するブロック選択部３と、ブロック選択部３により選択された特徴量画像ブロックＢ１に係る情報を記憶する記憶部４と、ブロック選択部３により選択された特徴量画像ブロックＢ１から動きベクトルを検出する動き量算出部５と、動き量算出部５により検出された動きベクトルに基づいて、画像フレームＦのぶれ量を算出して補正するぶれ量補正部６と、ぶれ量補正部６による手ぶれ補正後の画像データを所定の情報圧縮方式により符号化（エンコード）するエンコード部７、撮像された動画像を表示する表示部８等を備えている。
【００１４】
撮像部１は、例えば、切換スイッチ（図示略）等の所定操作に基づいて静止画像及び動画像の撮像を切り替えて実行することができるように構成されている。具体的には、撮像部１は、図示は省略するが、フォーカス機能やズーム機能を有する撮像レンズ群と、露光により撮像レンズ群を通過した被写体像を二次元の画像データに変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部と、電子撮像部から出力される画像データに対して所定の画像処理を施す信号処理部と、電子撮像部及び信号処理部等を制御する撮像制御部等を備えている。
そして、撮像制御部の制御下にて、信号処理部から画像データが特徴量検出部２及び動き量算出部５に対して出力されるようになっている。
【００１５】
特徴量検出部（特徴量検出手段）２は、例えば、撮像部１から出力され入力された動画像を構成する各画像フレームＦに基づいて、所定の演算を行うことにより当該画像フレームＦの特徴量を検出する特徴量検出処理を行うものである。具体的には、特徴量検出部２は、例えば、撮像後に画像メモリなどの記憶部４に記憶された後、当該記憶部４から読み出されて入力された複数の画像フレームＦのうち、一の画像フレームＦ（先行する参照画像フレームＦ１）について特徴量検出処理を行うようになっている。
ここで、特徴量は、例えば、線が交差する部分、模様を含む部分や物体の頂点などの画像として特徴を有する特徴点の所定領域における量（多さ）を言うものとする。
【００１６】
ブロック選択部（特徴量画像ブロック選択手段）３は、例えば、一の画像フレームＦが所定の大きさに分割されてなる複数の画像ブロックのうち、特徴量検出部２により検出された特徴量に係る特徴量画像ブロックＢ１（図２参照）を選択するものである。即ち、図２に示すように、ブロック選択部３により選択された特徴量画像ブロックＢ１は、所定画像の先端部等の特徴的な部分であることから、動き量算出部５による動きベクトルの算出に適している一方で、背景等ののっぺりとした特徴量の少ない画像ブロックＢ０は、誤った動きベクトルが算出される虞もあり、当該動きベクトルの算出に適していない。
そして、ブロック選択部３は、例えば、選択した特徴量画像ブロックＢ１の座標等に係るブロック情報をデータ切出部９（図５参照）に対して出力するようになっている。
【００１７】
データ切出部９は、例えば、メモリコントローラ等を備えて構成され、記憶部４に記憶される画像フレームＦに係る画像データの動き量算出部５、エンコード部７及び表示部８等に対する出力を制御するものである。
具体的には、データ切出部９は、ブロック選択部３から出力されて入力された参照画像フレームＦ１のブロック情報に基づいて、複数の画像フレームＦのうちの参照画像フレームＦ１（一の画像フレームＦ）の次の現画像フレームＦ２にて、ブロック選択部３により選択された特徴量画像ブロックＢ１に対応する対応画像ブロックＢ２が含まれる対応画像領域を算出するようになっている（図５参照）。
なお、算出された対応画像領域に係る情報は、記憶部４に対して出力されるようになっている。
【００１８】
記憶部４は、例えば、画像メモリ等から構成され、撮像部１による所定の画像処理後に当該撮像部１から出力された画像データ等を記憶するものである。また、記憶部４は、例えば、データ切出部９から出力された対応画像領域に係る情報を記憶するようになっている。
さらに、記憶部４は、後述するぶれ量補正部６による手ぶれ補正後の現画像フレームＦ２に係る画像データを一時的に記憶するようになっている。
【００１９】
動き量算出部５は、動き量算出手段として、現画像フレームＦ２にて先行する参照画像フレームＦ１における各特徴量画像ブロックＢ１に対応する対応画像ブロックＢ２の動きベクトル（動き量）を算出する動き量算出処理を行うものである。
即ち、所定の画像フレームＦの全体動きベクトル（ぶれ量）の算出に適した画像ブロックは一フレームの間では大きく変化しないと仮定して、現画像フレームＦ２に係る動きベクトルの算出において、先行する参照画像フレームＦ１から検出された特徴量に係る特徴量画像ブロックＢ１を用いるようになっている。
具体的には、動き量算出部５は、例えば、記憶部４から読み出され入力された先行する参照画像フレームＦ１の特徴量画像ブロックＢ１に係る画像データ及び現画像フレームＦ２の対応画像領域に係る画像データに基づいて、当該対応画像領域にて特徴量画像ブロックＢ１との誤差が最小となる対応画像ブロックＢ２を検出して、検出した対応画像ブロックＢ２の水平方向及び垂直方向の移動量を表すベクトルを動きベクトルとして算出するようになっている（図３参照）。
【００２０】
ぶれ量補正部６は、例えば、動き量算出部５により検出された現画像フレームＦ２における複数の対応画像ブロックＢ２の動きベクトルに基づいて、これら動きベクトルを平均化することにより当該現画像フレームＦ２の全体動きベクトルである「ぶれ量」を算出するぶれ量算出部（全体動きベクトル算出手段）６１と、ぶれ量算出部６１により算出された現画像フレームＦ２のぶれ量に基づいて、当該現画像フレームＦ２のぶれ補正量を算出するぶれ補正量算出部６２等を備えている。
そして、ぶれ補正量算出部６２にて算出された現画像フレームＦ２のぶれ補正量は、データ切出部９に対して出力され、当該データ切出部９にて先行する参照画像フレームＦ１に対してぶれ補正量の分だけ現画像フレームＦ２が移動（手ぶれ補正）される。その後、データ切出部９にて、表示部８における表示領域にあわせて現画像フレームＦ２の画像領域が切り出されることとなる。
ここで、ぶれ量補正部６は、データ切出部９とともに、動き量算出部５により算出された各特徴点画像ブロックＢ１の動きベクトルに基づいて、動画像の手ぶれ補正処理を行う手ぶれ補正手段を構成している。
【００２１】
なお、データ切出部９は、手ぶれ補正後の現画像フレームＦ２に係る画像データを記憶部４に出力して当該記憶部４に一時的に記憶させ、その後、所定のタイミングで記憶部４からエンコード部７や表示部８に対して出力させるようになっている。
【００２２】
エンコード部７は、例えば、ＭＰＥＧ４等の動き補償を行う情報圧縮方式により動画像データを符号化するものであり、具体的には、ぶれ量補正部６から出力され入力された動画像データに対して、動画像を構成する画像フレームＦ間の時間的な相関関係を利用して符号量を削減するＭＣ（Motion Compensation；動き補償）や、各画像フレームＦの空間的な相関関係を利用して符号量を削減するＤＣＴ（Discrete Cosine Transform；離散コサイン変換）等の情報圧縮符号化処理を実行するようになっている。
また、エンコード部７は、例えば、ＤＣＴにより算出されるＤＣＴ変換係数を視覚特性を考慮した所定のＱ値で除算する量子化を行うようにしても良い。
【００２３】
表示部８は、例えば、液晶表示装置等により構成され、ぶれ量補正部６から出力され入力された手ぶれ補正処理後の動画像データに基づいて、所定の動画像を表示するようになっている。
なお、表示部８は、例えば、手ぶれ補正処理前の動画像データも入力可能に構成され、当該動画像データに基づいて、手ぶれ補正処理前の動画像を表示することができるようにしても良い。
【００２４】
次に、図４及び図５を参照して手ぶれ補正処理について説明する。
図４は、手ぶれ補正処理に係る動作の一例を模式的に示した図であり、図５は、図４の手ぶれ補正処理に係る動作を説明するための図である。
なお、以下の説明にあっては、参照画像フレームＦ１に係る動きベクトルの算出処理、ぶれ量補正処理、エンコード処理及び表示処理は、現画像フレームＦ２に係るそれらの処理とほぼ同様であるので、その説明を省略するものとする。また、図４にあっては、横軸を時間軸（ｔ）として、区切られた区間が画像フレームＦ毎の処理期間を表している。
【００２５】
図４及び図５に示すように、先ず、参照画像フレームＦ１に対して特徴量検出処理を行う（ステップＳ１）。即ち、撮像部１による被写体の動画像の撮像後、記憶部４に記憶された当該動画像を構成する一の画像フレームＦ（参照画像フレームＦ１）が読み出されて特徴量検出部２に入力されると、特徴量検出部２は、参照画像フレームＦ１について特徴量を検出する処理を行う。
次に、ブロック選択部３は、特徴量検出部２により検出された所定の特徴量に基づいて、参照画像フレームＦ１を構成する複数の画像ブロックのうちで特徴量に係る特徴量画像ブロックＢ１を所定数選択する処理を行う（ステップＳ２）。
【００２６】
そして、特徴量画像ブロックＢ１の選択後に、ブロック選択部３から出力された特徴量画像ブロックＢ１の座標等に係るブロック情報が入力されると、データ切出部９は、参照画像フレームＦ１の次の現画像フレームＦ２にて、特徴量画像ブロックＢ１に対応する対応画像ブロックＢ２が含まれる対応画像領域を算出する処理を行う（ステップＳ３）。
対応画像領域が算出されると、当該対応画像領域に係る情報は、データ切出部９によって記憶部４に対して出力され、記憶部４に一時的に記憶される（ステップＳ４）。
【００２７】
次に、現画像フレームＦ２に対して動き量算出処理を行う（ステップＳ５）。即ち、記憶部４から読み出された先行する参照画像フレームＦ１の特徴量画像ブロックＢ１に係る画像データ及び現画像フレームＦ２の対応画像領域に係る画像データに基づいて、各特徴量画像ブロックＢ１に対応する対応画像ブロックＢ２の動きベクトルを算出する処理を行う。
そして、各対応画像ブロックＢ２の動きベクトルが算出されると、ぶれ量補正部６のぶれ量算出部６１は、所定数の対応画像ブロックＢ２の動きベクトルを平均化することにより現画像フレームＦ２のぶれ量を算出する処理を行う（ステップＳ６）。
続けて、ぶれ補正量算出部６２は、ぶれ量算出部６１により算出された現画像フレームＦ２のぶれ量に基づいて、当該現画像フレームＦ２のぶれ補正量を算出する処理を行う（ステップＳ７）。
【００２８】
そして、ぶれ補正量の算出後に、ぶれ補正量算出部６２から出力されたぶれ補正量が入力されると、データ切出部９は、先行する参照画像フレームＦ１に対してぶれ補正量の分だけ現画像フレームＦ２を移動（手ぶれ補正）して、当該現画像フレームＦ２の画像領域を表示部８における表示領域にあわせて算出する（切り出す）処理を行う（ステップＳ８）。
【００２９】
その後、所定のタイミングで手ぶれ補正された現画像フレームＦ２がエンコード部７や表示部８等に出力されて、当該エンコード部７にてエンコード処理や表示部８にて表示処理等が行われる（ステップＳ９）。
上記の各処理を動画像を構成する複数の画像フレームＦに対して、順次行うことにより手ぶれ補正がされた動画像を取得することができることとなる。
【００３０】
以上のように、本実施形態の撮像装置１００によれば、被写体の動画像を構成する複数の画像フレームＦのうち、参照画像フレームＦ１と現画像フレームＦ２にて、参照画像フレームＦ１の特徴量に係る特徴量画像ブロックＢ１に対応する対応画像ブロックＢ２の動きベクトルを算出して、当該現画像フレームＦ２の全体動きベクトルを算出することができる。即ち、参照画像フレームＦ１の特徴量の検出結果に基づいて、当該参照画像フレームＦ１の現画像フレームＦ２の全体動きベクトルを算出することができるので、従来の画像処理装置のように露光からエンコードまでの各処理を順次行う場合に比べて、現画像フレームＦ２においての画像データの入力から手ぶれ補正処理の終了までの時間を短縮することができることとなる。
また、複数の画像フレームＦの各々において、動き量算出処理と特徴量検出処理とを並列して行うことができることとなるので、これらの各処理を複数の画像フレームＦについて順次行うことにより、動画像を構成する各画像フレームＦにおける手ぶれ補正処理の終了までの時間を短縮することができる。従って、当該撮像装置１００の駆動周波数を低減することができ、省電力化を図ることができるとともに、動画像のフレームレートの高速化に対しても適正に対応することができることとなる。
【００３１】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、露光処理の完了後、即ち、現画像フレームＦ２の全ての画像データの取得後、続けて、動き量算出部５により当該現画像フレームＦ２の動きベクトルの算出を行うような構成としたが、これに限られるものではなく、例えば、図６に示すように、動き量算出部５による動き量算出処理と露光処理とを並列して行うようにしても良い。
具体的には、動き量算出部５は、例えば、動き量算出処理の処理対象となる画像ブロックの画像データの入力量（例えば、入力される画像データのカウンタ値）を当該動き量算出部５による画像データの処理量（例えば、画像処理に係る画像データのカウンタ値）が超えないようにして行うようになっている。これにより、露光処理によって、現画像フレームＦ２を構成する所定量の画像ブロックの画像データを取得する毎に、当該画像データに対して動き量算出処理を行うことができることとなる。即ち、露光処理の完了を待たずとも、当該露光処理の開始後わずかに遅れて動き量算出処理を開始することができることとなって、動き量算出以降の各処理の終了時間を破れ矢印Ｇの分だけ早くすることができ、結果として、露光処理から現画像フレームＦ２のエンコード処理や表示処理の終了までの時間を短縮することができる。
【００３２】
なお、図６に示す手ぶれ補正処理にあっては、動き量算出処理と露光処理とを並列させて行うようにしたが、これに限られるものではなく、例えば、露光処理と特徴量検出処理とを並列させて行っても良いし、これら特徴量検出処理及び動き量算出処理の両方を露光処理と並列させて行っても良い。
また、動き量算出処理や特徴量検出処理を並列させる処理は、露光処理に限られるものではなく、これら動き量算出処理や特徴量検出処理以前に行われる処理であれば如何なる処理であっても良い。
さらに、例えば、手ぶれ補正処理を行わずに記憶部４に記憶された符号化動画ファイルを復号して表示再生する場合等にあっては、画像データの復号処理と並列させて動き量算出処理や特徴量検出処理を行うことにより、符号化動画ファイルの復号から手ぶれ補正された動画像の再生処理までの時間を短縮することができることとなる。
【００３３】
加えて、上記実施形態では、本発明に係る画像処理装置として、画像の撮像及び撮像された静止画像や動画像を表示（再生）する撮像装置１００を例示したが、これに限られるものではなく、少なくとも動画像の撮像後の所定の画像処理を行うことができる装置であれば如何なるものであっても良い。例えば、画像処理装置としてのパーソナルコンピュータ（ＰＣ；図示略）等に動画ファイルを取り込み、当該ＰＣによる所定のプログラムの実行に基づいて、特徴量検出処理、特徴量画像ブロックの選択、対応画像ブロックの動きベクトルの算出、全体動きベクトルの算出及び動画像の手ぶれ補正処理等を実施することにより、本発明を実現するようにしても良い。
【図面の簡単な説明】
【００３４】
【図１】本発明を適用した画像処理装置の一実施形態として例示する撮像装置の要部構成を示すブロック図である。
【図２】図１の撮像装置による手ぶれ補正処理に係る画像フレームを模式的に示した図である。
【図３】図２の手ぶれ補正処理に係る画像フレームを模式的に示した図である。
【図４】図２の手ぶれ補正処理に係る動作の一例を模式的に示した図である。
【図５】図４の手ぶれ補正処理に係る動作を説明するための図である。
【図６】図１の撮像装置による手ぶれ補正処理の変形例を説明するための図である。
【図７】従来の撮像装置の要部構成を示すブロック図である。
【図８】図７の従来の撮像装置による手ぶれ補正処理に係る動作の一例を模式的に示した図である。
【符号の説明】
【００３５】
１００    撮像装置（画像処理装置）
１        撮像部
２        特徴量検出部（特徴量検出手段）
３        ブロック選択部（特徴量画像ブロック選択手段）
５        動き量算出部（動き量算出手段）
６        ぶれ量補正部（手ぶれ補正手段）
６１      ぶれ量算出部（全体動きベクトル算出手段）
７        エンコード部
８        表示部
９        データ切出部（手ぶれ補正手段）
Ｂ１      特徴量画像ブロック
Ｂ２      対応画像ブロック
Ｆ        画像フレーム
【図１】
2007134788.tif 000003
【図２】
2007134788.tif 000004
【図３】
2007134788.tif 000005
【図４】
2007134788.tif 000006
【図５】
2007134788.tif 000007
【図６】
2007134788.tif 000008
【図７】
2007134788.tif 000009
【図８】
2007134788.tif 000010