(57)【要約】【課題】画面内の画像が規則的なパターンで構成される場合でも、動画像ブレ補正に用いる、各探索領域での画像ブレを示す動きベクトルの誤検出を防止することができる動画像ブレ検出装置を得る。【解決手段】フレーム毎に順次入力される動画像データに基づいて、画像のブレ量を示す画面全体の動きベクトルを検出する動画像ブレ検出装置において、各探索領域に対する水平方向動きベクトルの信頼性を、画素値相関の上位３番目までの水平方向偏移量の連続性に基づいて判定する水平方向信頼性判定部１１５と、各探索領域に対する垂直方向動きベクトルの信頼性を、画素値相関の上位３番目までの垂直方向偏移量の連続性に基づいて判定する水平方向信頼性判定部１２５とを備え、これらの判定部で信頼性ありと判定した探索領域に対する動きベクトルを、画面全体の動きベクトルとするようにした。【選択図】図１
2008294589.tif 000002
【特許請求の範囲】
【請求項１】
フレーム毎に順次入力される動画像データに基づいて、画像のブレ量を示す画面全体の動きベクトルを検出する動画像ブレ検出装置であって、
該画面内に設定された複数の探索領域の各々に対して、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を求める相関値算出部と、
該前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からのずれ量である偏移量を、該画素値相関の上位所定番目のものまで、該各探索領域毎に求める偏移量算出部と、
該画素値相関が上位所定番目までの偏移量から、該各探索領域に対する個別動きベクトルを検出する動きベクトル検出部と、
該各探索領域に対する個別動きベクトルの信頼性を、該偏移量算出部により求めた画素値相関の上位所定番目までの偏移量に基づいて判定する信頼性判定部と、
該信頼性判定部により判定した各個別動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別動きベクトルから該画面全体の動きベクトルを決定する動きベクトル決定部と
を備えた、動画像ブレ検出装置。
【請求項２】
前記信頼性判定部は、
前記画素値相関が上位所定番目までの複数の偏移量における、最上位の画素値相関に対する偏移量からの差分が小さいものほど、より大きな画素値相関を与えるときのみ、該探索領域に対する個別動きベクトルを信頼性ありと判定する、
請求項１記載の動画像ブレ検出装置。
【請求項３】
前記信頼性判定部は、
前記画素値相関が上位所定番目までの複数の偏移量における、最上位の画素値相関に対する偏移量からの差分が小さいものほど、より大きな画素値相関を与え、かつ最上位の画素値相関と最下位の画素値相関との差が所定の値以上であるときのみ、該探索領域に対する個別動きベクトルを信頼性ありと判定する、
請求項１記載の動画像ブレ検出装置。
【請求項４】
前記各探索領域の各列における画素の画素値の積算値に相当する垂直方向濃度投影値を、各列毎に算出し、かつ該各探索領域の各行における画素の画素値の積算値に相当する水平方向濃度投影値を、各行毎に算出する濃度投影値算出部をさらに備えており、
前記相関値算出部は、前記現フレームの探索領域と、前記前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該垂直方向濃度投影値と該水平方向濃度投影値とを用いて、該各探索領域毎に求める、
請求項２または３記載の動画像ブレ検出装置。
【請求項５】
前記偏移量算出部は、
前記前フレームの対象領域の、前記現フレームの探索領域に対する基準重ね合わせ位置からの水平方向のずれ量である水平方向偏移量を、前記画素値相関の上位所定番目のものまで、該各探索領域毎に求め、かつ該前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からの垂直方向のずれ量である垂直方向偏移量を、該画素値相関の上位所定番目のものまで、該各探索領域毎に求め、
前記動きベクトル検出部は、
該画素値相関が上位所定番目までの水平方向偏移量から該各探索領域に対する個別水平方向動きベクトルを検出し、かつ該画素値相関が上位所定番目までの垂直方向偏移量から該各探索領域に対する個別垂直方向動きベクトルを検出し、
前記信頼性判定部は、
該各探索領域に対する個別水平方向動きベクトルの信頼性を、該偏移量算出部により求めた画素値相関の上位所定番目までの水平方向偏移量に基づいて判定し、かつ該各探索領域に対する個別垂直方向動きベクトルの信頼性を、該偏移量算出部により求めた画素値相関の上位所定番目までの垂直方向偏移量に基づいて判定し、
前記動きベクトル決定部は、
該信頼性判定部により判定した各個別水平方向動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別水平方向動きベクトルから該画面全体の水平方向動きベクトルを決定し、かつ該信頼性判定部により判定した各個別垂直方向動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別垂直方向動きベクトルから該画面全体の垂直方向動きベクトルを決定する、
請求項４記載の動画像ブレ検出装置。
【請求項６】
前記相関値算出部は、前記現フレームの探索領域と、前記前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該現フレームの探索領域と該前フレームの対象領域との対応する位置の画素同士間で求めた画素値差分を該対象領域全体にわたって積算して得られる積算値を用いて該各探索領域毎に求める、
請求項２または３記載の動画像ブレ検出装置。
【請求項７】
前記動きベクトル決定部は、
前記信頼性判定部により判定した各個別動きベクトルの信頼性と、該各個別動きベクトルの類似性とに基づいて、前記複数の探索領域に対応する個別動きベクトルから前記画面全体の動きベクトルを決定する、
請求項１記載の動画像ブレ検出装置。
【請求項８】
前記動きベクトル決定部は、
前記動きベクトル検出部により検出された複数の個別動きベクトルのうち、前記信頼性判定部により信頼性有りと判定された個別動きベクトルが２つ以上ある場合、該２以上の個別動きベクトルの類似性に基づいて該画面全体の動きベクトルを決定し、該信頼性判定部により信頼性有りと判定された個別動きベクトルが１つ以下である場合、該画面全体の動きベクトルを０ベクトルに決定する、
請求項７記載の動画像ブレ検出装置。
【請求項９】
前記動きベクトル決定部は、
前記動きベクトル検出部により検出された複数の個別動きベクトルのうち、前記信頼性判定部により信頼性ありと判定された個別動きベクトルが２つ以上ある場合、該信頼性ありと判定された個別動きベクトルが所定誤差範囲内にあれば、これらの個別動きベクトルの平均値を該画面全体の動きベクトルに決定し、該信頼性ありと判定された個別動きベクトルの少なくとも１つが該所定誤差範囲内になければ、前記画面全体の動きベクトルを０ベクトルに決定する、請求項８記載の動画像ブレ検出装置。
【請求項１０】
フレーム毎に順次入力される動画像データに基づいて表示画像のブレ量を補正する動画像ブレ補正装置であって、
前記フレーム毎に順次入力される動画像データを受け、少なくとも１フレーム以上の撮像画像を記憶する画像信号記憶部と、
請求項１ないし９のいずれかに記載の動画像ブレ検出装置にて検出される動きベクトルが示すブレ量に応じて、該画像信号記憶部に記憶された撮像画像から該表示画像を切り出す際の画像切り出し位置を制御する切り出し部とを有する、
動画像ブレ補正装置。
【請求項１１】
フレーム毎に順次入力される動画像データに基づいて、画像のブレ量を示す画面全体の動きベクトルを検出する動画像ブレ検出方法であって、
該画面内に設定された複数の探索領域の各々に対して、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を求める相関値算出ステップと、
該前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からのずれ量である偏移量を、該画素値相関の上位所定番目のものまで、該各探索領域毎に求める偏移量算出ステップと、
該画素値相関が上位所定番目までの偏移量から、該各探索領域に対する個別動きベクトルを検出する動きベクトル検出ステップと、
該各探索領域に対する個別動きベクトルの信頼性を、該偏移量算出部により求めた画素値相関の上位所定番目までの偏移量に基づいて判定する信頼性判定ステップと、
該信頼性判定ステップで判定した各個別動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別動きベクトルから該画面全体の動きベクトルを決定する動きベクトル決定ステップと
を含む、動画像ブレ検出方法。
【請求項１２】
前記信頼性判定ステップでは、
前記画素値相関が上位所定番目までの複数の偏移量における、最上位の画素値相関に対する偏移量からの差分が小さいものほど、より大きな画素値相関を与えるときのみ、該探索領域に対する個別動きベクトルを信頼性ありと判定する、
請求項１１記載の動画像ブレ検出方法。
【請求項１３】
前記信頼性判定ステップでは、
前記画素値相関が上位所定番目までの複数の偏移量における、最上位の画素値相関に対する偏移量からの差分が小さいものほど、より大きな画素値相関を与え、かつ最上位の画素値相関と最下位の画素値相関との差が所定の値以上であるときのみ、該探索領域に対する個別動きベクトルを信頼性ありと判定する、
請求項１１記載の動画像ブレ検出方法。
【請求項１４】
前記各探索領域の列行における画素の画素値の積算値に相当する垂直方向濃度投影値を、各列毎に算出し、かつ該各探索領域の各行における画素の画素値の積算値に相当する水平方向濃度投影値を、各行毎に算出する濃度投影値算出ステップをさらに含んでおり、
前記相関値算出ステップでは、前記現フレームの探索領域と、前記前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該垂直方向濃度投影値と該水平方向濃度投影値とを用いて、該各探索領域毎に求める、
請求項１２または１３記載の動画像ブレ検出方法。
【請求項１５】
前記偏移量算出ステップでは、
前記前フレームの対象領域の、前記現フレームの探索領域に対する基準重ね合わせ位置からの水平方向のずれ量である水平方向偏移量を、前記画素値相関の上位所定番目のものまで、該各探索領域毎に求め、かつ該前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からの垂直方向のずれ量である垂直方向偏移量を、該画素値相関の上位所定番目のものまで、該各探索領域毎に求め、
前記動きベクトル検出ステップでは、
該画素値相関が上位所定番目までの水平方向偏移量から該各探索領域に対する個別水平方向動きベクトルを検出し、かつ該画素値相関が上位所定番目までの垂直方向偏移量から該各探索領域に対する個別垂直方向動きベクトルを検出し、
前記信頼性判定ステップでは、
該各探索領域に対する個別水平方向動きベクトルの信頼性を、該偏移量算出ステップで求めた画素値相関の上位所定番目までの水平方向偏移量に基づいて判定し、かつ該各探索領域に対する個別垂直方向動きベクトルの信頼性を、該偏移量算出ステップで求めた画素値相関の上位所定番目までの垂直方向偏移量に基づいて判定し、
前記動きベクトル決定ステップでは、
該信頼性判定ステップで判定した各個別水平方向動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別水平方向動きベクトルから該画面全体の水平方向動きベクトルを決定し、かつ該信頼性判定ステップで判定した各個別垂直方向動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別垂直方向動きベクトルから該画面全体の垂直方向動きベクトルを決定する、
請求項１４記載の動画像ブレ検出方法。
【請求項１６】
前記相関値算出ステップでは、前記現フレームの探索領域と、前記前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該現フレームの探索領域と該前フレームの対象領域との対応する位置の画素同士間で求めた画素値差分を該対象領域全体にわたって積算して得られる積算値を用いて該各探索領域毎に求める、
請求項１２または１３記載の動画像ブレ検出方法。
【請求項１７】
前記動きベクトル決定ステップでは、
前記信頼性判定ステップで判定した各個別動きベクトルの信頼性と、該各個別動きベクトルの類似性とに基づいて、前記複数の探索領域に対応する個別動きベクトルから前記画面全体の動きベクトルを決定する、
請求項１１記載の動画像ブレ検出方法。
【請求項１８】
前記動きベクトル決定ステップでは、
前記動きベクトル検出ステップで検出された複数の個別動きベクトルのうち、前記信頼性判定ステップで信頼性有りと判定された個別動きベクトルが２つ以上ある場合、該２以上の個別動きベクトルの類似性に基づいて、該画面全体の動きベクトルを決定し、該信頼性判定ステップで信頼性有りと判定された個別動きベクトルが１つ以下である場合、該画面全体の動きベクトルを０ベクトルに決定する、
請求項１７記載の動画像ブレ検出方法。
【請求項１９】
前記動きベクトル決定ステップでは、
前記動きベクトル検出ステップで検出された複数の個別動きベクトルのうち、前記信頼性判定ステップで信頼性ありと判定された個別動きベクトルが２つ以上ある場合、該信頼性ありと判定された個別動きベクトルが所定誤差範囲内にあれば、これらの個別動きベクトルの平均値を該画面全体の動きベクトルに決定し、該信頼性ありと判定された個別動きベクトルの少なくとも１つが該所定誤差範囲内になければ、前記画面全体の動きベクトルを０ベクトルに決定する、請求項１８記載の動画像ブレ検出方法。
【請求項２０】
フレーム毎に順次入力される動画像データに基づいて表示画像のブレ量を補正する動画像ブレ補正方法であって、
前記フレーム毎に順次入力される動画像データに基づいて、少なくとも１フレーム以上の撮像画像を画像信号記憶部に記憶する画像信号記憶ステップと、
請求項１１ないし１９のいずれかに記載の動画像ブレ検出方法にて検出される動きベクトルが示すブレ量に応じて、該画像信号記憶部に記憶された撮像画像から該表示画像を切り出す際の画像切り出し位置を制御する切り出しステップとを含む、
動画像ブレ補正方法。
【請求項２１】
被写体を撮像する電子式撮像装置であって、
該被写体を撮影して動画像データを出力する撮像部と、
該撮像部からの動画像データを信号処理する信号処理部と、
該信号処理部で処理された動画像データを表示する表示部と、
該信号処理部で処理された動画像データを記録する記録部とを有し、
該信号処理部は、該撮像部からフレーム毎に順次入力される動画像データに基づいて、画像のブレ量を示す画面全体の動きベクトルを検出するブレ補正部を有し、該ブレ補正部を請求項１０記載の動画像ブレ補正装置により構成したものである、
電子式撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラの振動や揺れによる画面全体のブレ量を画像信号より検出する動画像ブレ検出装置、該動画像ブレ検出装置により検出された画面全体のブレ量に基づいて画面全体のブレを補正する動画像ブレ補正装置、ビデオカメラの振動や揺れによる画面全体のブレ量を画像信号より検出する動画像ブレ検出方法、該動画像ブレ検出方法により検出された画面全体のブレ量に基づいて画面全体のブレを補正する動画像ブレ補正方法、および該動画像ブレ補正装置を用いた電子式撮像装置に関するものである。
【背景技術】
【０００２】
近年、被写体を撮影してデジタル映像データを記録媒体に記録するデジタルビデオカメラなどの電子式撮像装置が普及し、一般家庭でも、このような電子式撮像装置を扱う機会が増えてきた。
【０００３】
ところで、このようなビデオカメラなどを一般のユーザが扱う場合、手ブレなどの振動によりうまく撮影できないといった問題があり、従来から手ブレなどの振動による画像の揺れを、連続する２フレーム間の画像の動きベクトルを検出する装置を応用して補正するものがあった。
【０００４】
例えば、図１４（ａ）に示すように、手ブレにより、被写体Ｏｂに対して撮像画面Ｆが上下に変動する場合、撮像画面Ｆ内での被写体Ｏｂの偏移量（図１４（ｂ）参照）に応じて、隣接フレーム間では、被写体画像のブレ量（偏移量）を示す動きベクトルが検出される。この検出された動きベクトルの向き（図１４（ｃ）参照）と大きさ（図１４（ｄ）参照）とに基づいて、撮像画像Ｆから表示画像を切り出す位置を調整することにより、手ブレ補正を行うことができる。
【０００５】
ところが、このような動きベクトル検出装置を応用する動画像のブレ補正装置では、移動物が画面内に入り込んだ場合に正しいブレ検出やブレ補正ができないという課題があった。
【０００６】
このような課題を解決したものとして、例えば特許文献１に開示の動画像ブレ検出装置、および該動画像ブレ検出装置を用いた動画像ブレ補正装置がある。
【０００７】
図９は、この特許文献１に開示の動画像ブレ補正装置に用いられている動画像ブレ検出装置、つまり動きベクトル検出装置を示すブロック図を示すものである。
【０００８】
この動きベクトル検出装置９０は、画像信号が入力される画像信号入力端子９１と、画面内に設定された４つの探索領域のそれぞれにおける動きベクトルを検出する動きベクトル検出手段９２と、該検出された動きベクトルの信頼性を判定する信頼性判定手段９３と、各領域の信頼性の判定結果と各領域の動きベクトルとにより画面全体の動きベクトルを決定する動きベクトル決定手段９４とを有している。
【０００９】
次に動作について説明する。
【００１０】
以上のように構成された動画像ブレ検出装置においては、まず入力端子９１に少なくとも３フレーム以上の時間的に連続する画像信号が入力される。各探索領域の動きベクトル検出手段９２では、各探索領域での動きベクトルを求める。
【００１１】
つまり、図１０に示すように、画面１０内には、あらかじめ４つのベクトル探索領域１１、１２、１３、１４が定められている。各探索領域に対応する動きベクトル検出手段９２では、２フレーム間の各探索領域について、所定の範囲の量（ｉ，ｊ）だけ位置をずらしたときの、フレーム間での画像信号（画素値）の差の総和Σ｜ΔＬ（ｉ，ｊ）｜を相関値としてそれぞれ求め、その値の最小値を与える偏移、つまり２フレーム間での対応する探索領域のずれ量（ｉ’，ｊ’）を検出し、これを各探索領域の動きベクトルとする。ここで、ｉは水平方向のずれ量を画素数で表す、所定の範囲（ｉｍｉｎ＜ｉ＜ｉｍａｘ）内の値であり、ｊは垂直方向のずれ量を画素数で表す、所定の範囲（ｊｍｉｎ＜ｊ＜ｊｍａｘ）内の値である。また、その相関値の最小値、平均値、最大値を求め、これらの相関値を与える動きベクトルの値とともに、これらの相関値を動きベクトルの信頼性判定手段９３に出力する。
【００１２】
動きベクトルの信頼性判定手段９３では、各探索領域の動きベクトル検出手段９２から入力されたそれぞれの値と、動きベクトル決定手段９４からフィードバックされる、前フレームの画面全体の動きベクトルの値とにより、各探索領域の動きベクトルの信頼性を判定し、その判定結果と各探索領域の動きベクトルを動きベクトル決定手段９４に出力する。
【００１３】
動きベクトル決定手段９４は、各探索領域で得られた動きベクトルの信頼性の判定結果と各探索領域に対応する動きベクトルとから、現フレームの画面全体の動きベクトルを決定する。
【００１４】
図１１は、動画像の動きベクトル検出装置の動きベクトルの信頼性判定手段９３および動きベクトル決定手段９４の動作を説明する図であり、時間的に連続して入力される画像信号について、各検出領域の動きベクトル検出手段９２から得られるその時点までの動きベクトルの値と相関値の状態より、その時点の画面全体の動きベクトルを決定するフローチャートを示している。
【００１５】
図１１を用いて動作を説明する。  
【００１６】
まず、動きベクトル検出手段９２にて、各探索領域の相関値と、相関の最も大きい偏移量に相当する各探索領域の動きベクトルとを算出した（ステップＳ１）後、各探索領域の動きベクトルの信頼性判定手段９３において、最初に相関値の状態（最小値、平均値、最大値）により、各探索領域の動きベクトルについての第１の信頼性の判定が行われる（ステップＳ２）。
【００１７】
次に、第２の判定では、現フレームの第１の判定結果と前フレームの第３の判定結果（第３の判定は後で説明する）の論理積をとり、２つの判定結果がともに信頼性ありとなったもののみ、第２の判定で、動きベクトルの信頼性ありと判定する（ステップＳ３）。ただし、最初のフレームでは前フレームの第３の判定結果が得られていないので、第２の判定は第１の判定と同じとする。
【００１８】
そして、動きベクトル決定手段９４では、第２の判定で信頼性ありと判定された各探索領域の動きベクトルの中間値を画面全体の動きベクトルと決定し出力する（ステップＳ４）。ここで、中間値は、上記動きベクトルを大小順に並べたときの中間に位置する値である。ただし、動きベクトルの個数が偶数個である場合は、該中間値は、中間に近い位置の２つの動きベクトルの値の平均値とする。
【００１９】
また、動きベクトル決定手段９４は、画面全体の動きベクトルを、第３の判定で用いられるように、各探索領域の動きベクトルの信頼性判定手段９３にフィードバックする。第３の判定では、フィードバックされた現フレームの画面全体の動きベクトルと現フレームの各探索領域の動きベクトルとの差分が所定の範囲にあり、かつ第１の判定結果が信頼性ありとなる現フレームの探索領域の動きベクトルを信頼性ありと判定し（ステップＳ５）、この結果は次のフレームでの第２の判定に用いる。
【特許文献１】特開平２−１５７９８０号公報
【発明の開示】
【発明が解決しようとする課題】
【００２０】
このような従来の動画像ブレ検出装置では、各探索領域の動きベクトルの信頼性を判定する際、各探索領域の現フレームでの相関値の状態と動きベクトルの値だけでなく、該各探索領域の前のフレームでの動きベクトルの信頼性判定結果と動きベクトルの値とを用いているので、探索領域と同程度の移動物が画面内の特定の探索領域内に入り込んだ場合でも、その他の探索領域からビデオカメラの揺れによる動きベクトルが検出されておれば、このビデオカメラの揺れによる動きベクトルのみを検出可能である。つまり、連続するフレームにわたって、信頼性ありとされている探索領域の動きベクトルのみを検出可能である。従って、移動物が画面内に入り込んだ場合でも正しいブレ検出やブレ補正が可能である。
【００２１】
しかしながら、上述した従来の動きベクトル検出装置では以下のような問題点がある。
【００２２】
まず、探索領域の画像が規則的なパターンで構成される場合、相関値は周期的に極小となる。このため、相関値が最小の（つまり最も相関の高い）偏移量が必ずしも本来のブレ量を表すことにはならず、正しくブレ量を求めることは困難となり、動きベクトルが誤検出される可能性が高いが、第１の判定で信頼性ありと判定される。このように誤検出された各探索領域の動きベクトルから決定される画面全体の動きベクトルでブレ補正を行うと、想定外の不自然な補正を行うことになる。また、このように決定された画面全体の動きベクトルが、以降の各探索領域の動きベクトルの信頼性の判定、画面全体の動きベクトルの決定に影響するため、想定外の不自然なブレ補正が継続されることになる。
【００２３】
また、前フレームの画面全体の動きベクトルと各探索領域の信頼性を少なくとも１フレーム期間保持しておく必要があるため、これらの情報を記憶する記憶部も必要となり、回路規模が大きくなる。
【００２４】
本発明は、上記従来の問題を解決するためになされたもので、前フレームの画面全体の動きベクトルと、各探索領域での動きベクトルの信頼性とを保持しなくても、従来のものと同程度の信頼性を持つ動きベクトルを検出でき、しかも、探索領域の画像が規則的なパターンで構成される場合でも、動きベクトルの誤検出を防止することができる動画像ブレ検出装置および動画像ブレ検出方法、該動画像ブレ検出装置を用いた動画像ブレ補正装置、該動画像ブレ検出方法を用いた動画像ブレ補正方法、並びに、該動画像ブレ補正装置を用いた電子式撮像装置を得ることを目的とする。
【課題を解決するための手段】
【００２５】
本発明にかかる動画像ブレ検出装置は、フレーム毎に順次入力される動画像データに基づいて、画像のブレ量を示す画面全体の動きベクトルを検出する動画像ブレ検出装置であって、該画面内に設定された複数の探索領域の各々に対して、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を求める相関値算出部と、該前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からのずれ量である偏移量を、該画素値相関の上位所定番目のものまで、該各探索領域毎に求める偏移量算出部と、該画素値相関が上位所定番目までの偏移量から、該各探索領域に対する個別動きベクトルを検出する動きベクトル検出部と、該各探索領域に対する個別動きベクトルの信頼性を、該偏移量算出部により求めた画素値相関の上位所定番目までの偏移量に基づいて判定する信頼性判定部と、該信頼性判定部により判定した各個別動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別動きベクトルから該画面全体の動きベクトルを決定する動きベクトル決定部とを備えたものであり、そのことにより上記目的が達成される。
【００２６】
本発明において、前記信頼性判定部は、前記画素値相関が上位所定番目までの複数の偏移量における、最上位の画素値相関に対する偏移量からの差分が小さいものほど、より大きな画素値相関を与えるときのみ、画素値相関が上位である偏移量が連続しているとして、該探索領域に対する個別動きベクトルを信頼性ありと判定することが好ましい。
【００２７】
本発明において、前記信頼性判定部は、前記画素値相関が上位所定番目までの複数の偏移量における、最上位の画素値相関に対する偏移量からの差分が小さいものほど、より大きな画素値相関を与え、かつ最上位の画素値相関と最下位の画素値相関との差が所定の値以上であるときのみ、該探索領域に対する個別動きベクトルを信頼性ありと判定することが好ましい。
【００２８】
本発明において、前記各探索領域の各列における画素の画素値の積算値に相当する垂直方向濃度投影値を、各列毎に算出し、かつ該各探索領域の各行における画素の画素値の積算値に相当する水平方向濃度投影値を、各行毎に算出する濃度投影値算出部をさらに備えており、前記相関値算出部は、前記現フレームの探索領域と、前記前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該垂直方向濃度投影値と該水平方向濃度投影値とを用いて、該各探索領域毎に求めることが好ましい。
【００２９】
本発明において、前記偏移量算出部は、前記前フレームの対象領域の、前記現フレームの探索領域に対する基準重ね合わせ位置からの水平方向のずれ量である水平方向偏移量を、前記画素値相関の上位所定番目のものまで、該各探索領域毎に求め、かつ該前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からの垂直方向のずれ量である垂直方向偏移量を、該画素値相関の上位所定番目のものまで、該各探索領域毎に求め、前記動きベクトル検出部は、該画素値相関が上位所定番目までの水平方向偏移量から該各探索領域に対する個別水平方向動きベクトルを検出し、かつ該画素値相関が上位所定番目までの垂直方向偏移量から該各探索領域に対する個別垂直方向動きベクトルを検出し、前記信頼性判定部は、該各探索領域に対する個別水平方向動きベクトルの信頼性を、該偏移量算出部により求めた画素値相関の上位所定番目までの水平方向偏移量に基づいて判定し、かつ該各探索領域に対する個別垂直方向動きベクトルの信頼性を、該偏移量算出部により求めた画素値相関の上位所定番目までの垂直方向偏移量に基づいて判定し、前記動きベクトル決定部は、該信頼性判定部により判定した各個別水平方向動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別水平方向動きベクトルから該画面全体の水平方向動きベクトルを決定し、かつ該信頼性判定部により判定した各個別垂直方向動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別垂直方向動きベクトルから該画面全体の垂直方向動きベクトルを決定することが好ましい。
【００３０】
本発明において、前記相関値算出部は、前記現フレームの探索領域と、前記前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該現フレームの探索領域と該前フレームの対象領域との対応する位置の画素同士間で求めた画素値差分を該対象領域全体にわたって積算して得られる積算値を用いて該各探索領域毎に求めることが好ましい。
【００３１】
本発明において、前記動きベクトル決定部は、前記信頼性判定部により判定した各個別動きベクトルの信頼性と、該各個別動きベクトルの類似性とに基づいて、前記複数の探索領域に対応する個別動きベクトルから前記画面全体の動きベクトルを決定することが好ましい。
【００３２】
本発明において、前記動きベクトル決定部は、前記動きベクトル検出部により検出された複数の個別動きベクトルのうち、前記信頼性判定部により信頼性有りと判定された個別動きベクトルが２つ以上ある場合、該２以上の個別動きベクトルの類似性に基づいて該画面全体の動きベクトルを決定し、該信頼性判定部により信頼性有りと判定された個別動きベクトルが１つ以下である場合、該画面全体の動きベクトルを０ベクトルに決定することが好ましい。
【００３３】
本発明において、前記動きベクトル決定部は、前記動きベクトル検出部により検出された複数の個別動きベクトルのうち、前記信頼性判定部により信頼性ありと判定された個別動きベクトルが２つ以上ある場合、該信頼性ありと判定された個別動きベクトルが所定誤差範囲内にあれば、これらの個別動きベクトルの平均値を該画面全体の動きベクトルに決定し、該信頼性ありと判定された個別動きベクトルの少なくとも１つが該所定誤差範囲内になければ、前記画面全体の動きベクトルを０ベクトルに決定することが好ましい。
【００３４】
本発明にかかる動画像ブレ補正装置は、フレーム毎に順次入力される動画像データに基づいて表示画像のブレ量を補正する動画像ブレ補正装置であって、前記フレーム毎に順次入力される動画像データを受け、少なくとも１フレーム以上の撮像画像を記憶する画像信号記憶部と、上記動画像ブレ検出装置にて検出される動きベクトルが示すブレ量に応じて、該画像信号記憶部に記憶された撮像画像から該表示画像を切り出す際の画像切り出し位置を制御する切り出し部とを有するものであり、そのことにより上記目的が達成される。
【００３５】
本発明にかかる動画像ブレ検出方法は、フレーム毎に順次入力される動画像データに基づいて、画像のブレ量を示す画面全体の動きベクトルを検出する動画像ブレ検出方法であって、該画面内に設定された複数の探索領域の各々に対して、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を求める相関値算出ステップと、該前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からのずれ量である偏移量を、該画素値相関の上位所定番目のものまで、該各探索領域毎に求める偏移量算出ステップと、該画素値相関が上位所定番目までの偏移量から、該各探索領域に対する個別動きベクトルを検出する動きベクトル検出ステップと、該各探索領域に対する個別動きベクトルの信頼性を、該偏移量算出部により求めた画素値相関の上位所定番目までの偏移量に基づいて判定する信頼性判定ステップと、該信頼性判定ステップで判定した各個別動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別動きベクトルから該画面全体の動きベクトルを決定する動きベクトル決定ステップとを含むものであり、そのことにより上記目的が達成される。
【００３６】
本発明において、前記信頼性判定ステップでは、前記画素値相関が上位所定番目までの複数の偏移量における、最上位の画素値相関に対する偏移量からの差分が小さいものほど、より大きな画素値相関を与えるときのみ、該探索領域に対する個別動きベクトルを信頼性ありと判定することが好ましい。
【００３７】
本発明において、前記信頼性判定ステップでは、前記画素値相関が上位所定番目までの複数の偏移量における、最上位の画素値相関に対する偏移量からの差分が小さいものほど、より大きな画素値相関を与え、かつ最上位の画素値相関と最下位の画素値相関との差が所定の値以上であるときのみ、該探索領域に対する個別動きベクトルを信頼性ありと判定することが好ましい。
【００３８】
本発明において、前記各探索領域の列行における画素の画素値の積算値に相当する垂直方向濃度投影値を、各列毎に算出し、かつ該各探索領域の各行における画素の画素値の積算値に相当する水平方向濃度投影値を、各行毎に算出する濃度投影値算出ステップをさらに含んでおり、前記相関値算出ステップでは、前記現フレームの探索領域と、前記前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該垂直方向濃度投影値と該水平方向濃度投影値とを用いて、該各探索領域毎に求めることが好ましい。
【００３９】
本発明において、前記偏移量算出ステップでは、前記前フレームの対象領域の、前記現フレームの探索領域に対する基準重ね合わせ位置からの水平方向のずれ量である水平方向偏移量を、前記画素値相関の上位所定番目のものまで、該各探索領域毎に求め、かつ該前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からの垂直方向のずれ量である垂直方向偏移量を、該画素値相関の上位所定番目のものまで、該各探索領域毎に求め、前記動きベクトル検出ステップでは、該画素値相関が上位所定番目までの水平方向偏移量から該各探索領域に対する個別水平方向動きベクトルを検出し、かつ該画素値相関が上位所定番目までの垂直方向偏移量から該各探索領域に対する個別垂直方向動きベクトルを検出し、前記信頼性判定ステップでは、該各探索領域に対する個別水平方向動きベクトルの信頼性を、該偏移量算出ステップで求めた画素値相関の上位所定番目までの水平方向偏移量に基づいて判定し、かつ該各探索領域に対する個別垂直方向動きベクトルの信頼性を、該偏移量算出ステップで求めた画素値相関の上位所定番目までの垂直方向偏移量に基づいて判定し、前記動きベクトル決定ステップでは、該信頼性判定ステップで判定した各個別水平方向動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別水平方向動きベクトルから該画面全体の水平方向動きベクトルを決定し、かつ該信頼性判定ステップで判定した各個別垂直方向動きベクトルの信頼性に基づいて、該複数の探索領域に対応する個別垂直方向動きベクトルから該画面全体の垂直方向動きベクトルを決定することが好ましい。
【００４０】
本発明において、前記相関値算出ステップでは、前記現フレームの探索領域と、前記前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該現フレームの探索領域と該前フレームの対象領域との対応する位置の画素同士間で求めた画素値差分を該対象領域全体にわたって積算して得られる積算値を用いて該各探索領域毎に求めることが好ましい。
【００４１】
本発明において、前記動きベクトル決定ステップでは、前記信頼性判定ステップで判定した各個別動きベクトルの信頼性と、該各個別動きベクトルの類似性とに基づいて、前記複数の探索領域に対応する個別動きベクトルから前記画面全体の動きベクトルを決定することが好ましい。
【００４２】
本発明において、前記動きベクトル決定ステップでは、前記動きベクトル検出ステップで検出された複数の個別動きベクトルのうち、前記信頼性判定ステップで信頼性有りと判定された個別動きベクトルが２つ以上ある場合、該２以上の個別動きベクトルの類似性に基づいて、該画面全体の動きベクトルを決定し、該信頼性判定ステップで信頼性有りと判定された個別動きベクトルが１つ以下である場合、該画面全体の動きベクトルを０ベクトルに決定することが好ましい。
【００４３】
本発明において、前記動きベクトル決定ステップでは、前記動きベクトル検出ステップで検出された複数の個別動きベクトルのうち、前記信頼性判定ステップで信頼性ありと判定された個別動きベクトルが２つ以上ある場合、該信頼性ありと判定された個別動きベクトルが所定誤差範囲内にあれば、これらの個別動きベクトルの平均値を該画面全体の動きベクトルに決定し、該信頼性ありと判定された個別動きベクトルの少なくとも１つが該所定誤差範囲内になければ、前記画面全体の動きベクトルを０ベクトルに決定することが好ましい。
【００４４】
本発明にかかる動画像ブレ補正方法は、フレーム毎に順次入力される動画像データに基づいて表示画像のブレ量を補正する動画像ブレ補正方法であって、前記フレーム毎に順次入力される動画像データに基づいて、少なくとも１フレーム以上の撮像画像を画像信号記憶部に記憶する画像信号記憶ステップと、上記動画像ブレ検出方法にて検出される動きベクトルが示すブレ量に応じて、該画像信号記憶部に記憶された撮像画像から該表示画像を切り出す際の画像切り出し位置を制御する切り出しステップとを含むものであり、そのことにより上記目的が達成される。
【００４５】
本発明にかかる電子式撮像装置は、被写体を撮像する電子式撮像装置であって、該被写体を撮影して動画像データを出力する撮像部と、該撮像部からの動画像データを信号処理する信号処理部と、該信号処理部で処理された動画像データを表示する表示部と、該信号処理部で処理された動画像データを記録する記録部とを有し、該信号処理部は、該撮像部からフレーム毎に順次入力される動画像データに基づいて、画像のブレ量を示す画面全体の動きベクトルを検出するブレ補正部を有し、該ブレ補正部を上記動画像ブレ補正装置により構成したものであり、そのことにより上記目的が達成される。
【００４６】
上記構成により、以下、本発明の作用を説明する。
【００４７】
本発明においては、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関の上位所定番目までの偏移量に基づいて、各探索領域に対する個別動きベクトルの信頼性を判定するので、探索領域の画像が規則的なパターンで構成されており、画素相関値が周期的に極小となる状態でも、画素値相関の上位所定番目までの偏移量の配列、つまり画素値相関の大きさ順に従って該画素値相関に対応する偏移量が連続しているかを考慮することにより、信頼性のない個別動きベクトルを信頼性ありと判定するのを防止することが可能となる。
【００４８】
また、各探索領域に対する個別動きベクトルの信頼性の判定は、現フレームにおける探索領域に対して求められた偏移量に基づいて行うので、個別動きベクトルの信頼性判定のために、従来のものと同程度の信頼性の動きベクトルを求めることができ、しかも、前フレームの画面全体の動きベクトルと前フレームの各探索領域の動きベクトルの信頼性を保持する必要がない。
【００４９】
また、本発明においては、各探索領域の列行における画素の画素値の積算値に相当する垂直方向濃度投影値を、各列毎に算出し、かつ該各探索領域の各行における画素の画素値の積算値に相当する水平方向濃度投影値を、各行毎に算出する濃度投影値算出部をさらに備え、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該垂直方向濃度投影値と該水平方向濃度投影値とを用いて求めるので、画素値相関を簡単な処理により求めることができる。
【００５０】
また、本発明においては、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、現フレームの探索領域と前フレームの対象領域との対応する位置の画素同士間で求めた画素値差分を該対象領域全体にわたって積算して得られる積算値を用いて求めているので、現フレームの探索領域と、前フレームの対応する対象領域との画素値相関をより精度よく求めることができる。
【００５１】
また、本発明においては、動きベクトル決定部では、各個別動きベクトルの信頼性と、該各個別動きベクトルの類似性とに基づいて、複数の探索領域に対応する個別動きベクトルから画面全体の動きベクトルを決定するので、画面全体の動きベクトルとして、より信頼性の高いものとできる。
【発明の効果】
【００５２】
以上により、本発明によれば、各探索領域の動きベクトルの候補となる、前フレームの対象領域の、該現フレームの探索領域に対する基準重ね合わせ位置からのずれ量である偏移量を、これらの領域の重ね合わせの位置に応じて変化する画素値相関に基づいて求め、しかも、該各探索領域に対する個別動きベクトルの信頼性を、画素値相関の上位所定番目までの偏移量に基づいて判定しているので、前フレームの画面全体の動きベクトルと各探索領域での動きベクトルの信頼性を保持しなくても、従来のものと同程度の信頼性の動きベクトルを求め、動画像のブレを補正することができる。
【００５３】
また、探索領域の画像が規則的なパターンで構成される場合でも、画素値相関の上位所定番目までの偏移量の配列、つまり画素値相関の大きさ順に従って該画素値相関に対応する偏移量が連続しているかを考慮することにより、信頼性のない個別動きベクトルを信頼性ありと判定するのを回避して、動きベクトルの誤検出を防止することができる。
【発明を実施するための最良の形態】
【００５４】
以下、本発明の実施形態について説明する。
（実施形態１）
図１は、本発明の実施形態１による動画像ブレ補正装置を説明するブロック図であり、図１（ａ）は、該動画像ブレ補正装置を含むデジタルビデオカメラの全体構成を示し、図１（ｂ）は、該動画像ブレ補正装置の構成を示している。
【００５５】
図１（ａ）に示すデジタルビデオカメラ１００ａは、被写体を撮影して画像データを出力する撮像部１０１と、撮像部１０１からの画像データを信号処理する信号処理部１０２と、該信号処理部１０２で処理された画像データを表示する表示部１０３と、該信号処理部１０２で処理された画像データを記録する記録部１０４とを有している。
【００５６】
また、上記信号処理部１０２は、動画像のブレ補正を行う動画像ブレ補正装置１００を有し、また、該動画像ブレ補正装置１００の前段側あるいは後段側に設けられた、輝度を補正する輝度補正回路、色を補正する色補正回路などの信号処理回路（図示せず）を有している。
【００５７】
該動画像ブレ補正装置１００は、その前段側からの画像データに基づいて、画面間での画像の動きを示す動きベクトルを検出する動きベクトル検出装置１１０（図１（ｂ）参照）と、該画像データを記憶する画像記憶部１２０と、該画像記憶部１２０に記憶した画像データを受け、該動きベクトル検出装置１１０からの動きベクトルに基づいて、画像の切り出しを行う切り出し部１３０とを有している。
【００５８】
そして、図１（ｂ）に示す動きベクトル検出装置１１０は、画面間での水平方向の画像の動きを示す画面全体の動きベクトル（以下、水平動きベクトルともいう。）を検出する水平動きベクトル検出部１１０ａと、画面間での垂直方向の画像の動きを示す画面全体の動きベクトル（以下、垂直動きベクトルともいう。）を検出する垂直動きベクトル検出部１２０ａとを有している。
【００５９】
上記水平動きベクトル検出部１１０ａは、画面内に設定された４つの探索領域Ｓｒ１〜Ｓｒ４（図２参照）のそれぞれについて、各列における画素の画素値の積算値に相当する垂直方向濃度投影値を、各列毎に算出する垂直方向濃度投影値算出部１１１と、現フレームの探索領域Ｓｒ１〜Ｓｒ４と、前フレームの対応する探索領域に含まれる対象領域Ｔｒ１〜Ｔｒ４（図２参照）との、これらの重ね合わせの位置に応じて変化する水平方向画素値相関を、該垂直方向濃度投影値を用いて該各探索領域毎に求める水平方向相関値算出部１１２とを有している。
【００６０】
また、水平動きベクトル検出部１１０ａは、前フレームの対象領域の、現フレームの探索領域に対する基準重ね合わせ位置からの水平方向のずれ量である水平方向偏移量を、水平方向画素値相関の上位所定番目（ここでは３番目）のものまで、該各探索領域毎に求める水平方向偏移量算出部１１３と、水平方向画素値相関が上位３番目までの水平方向偏移量から該各探索領域に対する個別水平方向動きベクトルを検出する水平方向動きベクトル検出部１１４とを有している。
【００６１】
さらに、水平動きベクトル検出部１１０ａは、各探索領域に対する個別水平方向動きベクトルの信頼性を、上記求めた水平方向画素値相関の上位３番目までの水平方向偏移量に基づいて判定する水平方向信頼性判定部１１５と、該判定した各個別水平方向動きベクトルの信頼性に基づいて、複数の探索領域に対応する個別水平方向動きベクトルから画面全体の水平方向動きベクトルを決定する水平方向動きベクトル決定部１１６とを有している。
【００６２】
上記垂直動きベクトル検出部１２０ａは、画面内に設定された４つの探索領域Ｓｒ１〜Ｓｒ４（図２参照）のそれぞれについて、各行における画素の画素値の積算値に相当する水平方向濃度投影値を、各行毎に算出する水平方向濃度投影値算出部１２１と、現フレームの探索領域Ｓｒ１〜Ｓｒ４と、前フレームの対応する探索領域に含まれる対象領域Ｔｒ１〜Ｔｒ４（図２参照）との、これらの重ね合わせの位置に応じて変化する垂直方向画素値相関を、水平方向濃度投影値を用いて該各探索領域毎に求める垂直方向相関値算出部１２２とを有している。
【００６３】
また、垂直動きベクトル検出部１２０ａは、前フレームの対象領域の、現フレームの探索領域に対する基準重ね合わせ位置からの垂直方向のずれ量である垂直方向偏移量を、垂直方向画素値相関の上位所定番目（ここでは３番目）のものまで、該各探索領域毎に求める垂直方向偏移量算出部１２３と、垂直方向画素値相関が上位３番目までの垂直方向偏移量から該各探索領域に対する個別垂直方向動きベクトルを検出する垂直方向動きベクトル検出部１２４とを有している。
【００６４】
さらに、水平動きベクトル検出部１２０ａは、各探索領域に対する個別垂直方向動きベクトルの信頼性を、上記求めた垂直方向画素値相関の上位３番目までの垂直方向偏移量に基づいて判定する垂直方向信頼性判定部１２５と、該判定した各個別垂直方向動きベクトルの信頼性に基づいて、複数の探索領域に対応する個別垂直方向動きベクトルから画面全体の垂直方向動きベクトルを決定する垂直方向動きベクトル決定部１２６とを有している。
【００６５】
次に動作について説明する。
【００６６】
デジタルビデオカメラ１００ａでは、被写体の撮影時には、撮像部１０１からは被写体の撮影により得られた画像データが出力され、撮像部１０１からの画像データが信号処理部１０２で信号処理されて、表示部１０３および記録部１０４に出力される。
【００６７】
すると、表示部１０３では、信号処理部１０２で処理された画像データに基づいて画像表示が行われ、また、記録部１０４では、該信号処理部１０２で処理された画像データが記録媒体に記録される。
【００６８】
このとき、信号処理部１０２では、撮像部１０１からの画像データに対して、輝度補正や色補正といった補正処理が信号処理回路（図示せず）により行われるとともに、ブレ補正が動画像ブレ補正装置１００により行われる。
【００６９】
つまり、この動画像ブレ補正装置１００では、その前段側からの画像データが入力されると、動きベクトル検出装置１１０（図１（ｂ）参照）にて、この画像データに基づいて、画面間での水平方向のブレを示す画面全体の水平方向動きベクトルＨｖｅと、画面間での垂直方向のブレを示す画面全体の垂直方向動きベクトルＶｖｅとが検出される。また、上記入力された画素データは画像記憶部１２０に記憶される。そして、画像トリミング部１３０では、該画像記憶部１２０から読み出された画像データに対して、動きベクトル検出装置１１０で検出された画面全体の水平方向動きベクトルおよび垂直方向の動きベクトルに基づいて、撮像された画像（撮像画像）から表示すべき画像（表示画像）を切り出すトリミング処理が行われ、これにより画像のブレが補正される。
【００７０】
以下、上記動きベクトル検出装置１１０の動作について具体的に説明する。
【００７１】
動きベクトル検出装置１１０においては、図２に示すように、１画面内に設定した４つの矩形の対象領域Ｔｒ１〜Ｔｒ４と、該対象領域Ｔｒ１〜Ｔｒ４を包含する４つの矩形の探索領域Ｓｒ１〜Ｓｒ４とを用いて、水平方向個別動きベクトルと垂直方向個別動きベクトルの探索が行われる。
【００７２】
図２では、ｔａｒｓｉｚｅ＿ｖおよびｔａｒｓｉｚｅ＿ｈはそれぞれ、探索領域の縦サイズおよび横サイズを示す画素数であり、ｒｅｆｓｉｚｅ＿ｖおよびｒｅｆｓｉｚｅ＿ｈはそれぞれ、対象領域の縦サイズおよび横サイズを示す画素数である。また、探索領域の全画素数はｔａｒｓｉｚｅ＿ｖ×ｔａｒｓｉｚｅ＿ｈ、対象領域の全画素数はｒｅｆｓｉｚｅ＿ｖ×ｒｅｆｓｉｚｅ＿ｈである。
【００７３】
垂直方向濃度投影値算出部１１１では、順次入力される画像データ内の４つの探索領域Ｓｒ１〜Ｓｒ４について各列の濃度投影値が算出される。
【００７４】
例えば、入力画像の画素値を、ｘｙ座標を用いてｆ（ｘ、ｙ）として表すと、図３に示すｘｉ列目の垂直方向濃度投影値Ｆｘ（ｘｉ）は、（式１ａ）、および（式１ｂ）に示すようになる。
【００７５】
【数１】
2008294589.tif 000003
図３は、ｘｙ座標上で、探索領域Ｓｒと対象領域Ｔｒとの位置関係を示している。なお図３では、探索領域Ｓｒは、上記４つの探索領域Ｓｒ１〜Ｓｒ４を代表して示すもの、対象領域Ｔｒは、上記４つの対象領域Ｔｒ１〜Ｔｒ４を代表して示すものとする。
【００７６】
図３に示すように、探索領域Ｓｒと対象領域Ｔｒとはその中心が一致するよう配置されており、該ｘｙ座標の原点（０，０）に探索領域Ｓｒの左上隅が一致し、対象領域Ｔｒの左上隅のｘ座標がｘ０である。そして、該ｘｙ座標のｙ軸方向には、式（１ｂ）のように、係数Ｃｙが定義されている。
【００７７】
ここで、ｙａは、探索領域Ｓｒの上辺と対象領域Ｔｒの上辺との間の、所定のｙ座標位置を示し、ｙｂは、探索領域Ｓｒの下辺と対象領域Ｔｒの下辺との間の、所定のｙ座標位置を示している。Ａは、原点とｙ座標（ｙａ）との間での係数Ｃｙの傾きで、１／ｙａである。Ｂは、ｙ座標（ｙｂ）とｙ座標（ｔａｒｓｉｚｅ＿ｖ）との間での係数Ｃｙの傾きで、１／（ｔａｒｓｉｚｅ＿ｖ−ｙｂ）である。
【００７８】
また、水平方向濃度投影値算出部１２１では、順次入力される画像データ内の４つの探索領域Ｓｒ１〜Ｓｒ４について各行の濃度投影値が算出される。
【００７９】
上記と同様に、入力画像の画素値をｆ（ｘ、ｙ）とすると、図４に示すｙｉ行目の濃度投影値Ｆｙ（ｙｉ）は、（式２ａ）および（式２ｂ）に示すようになる。
【００８０】
【数２】
2008294589.tif 000004
図４は、図３同様に、ｘｙ座標上で、探索領域Ｓｒ（探索領域Ｓｒ１〜Ｓｒ４の代表）と対象領域Ｔｒ（探索領域Ｔｒ１〜Ｔｒ４の代表）との位置関係を示している。
【００８１】
探索領域Ｓｒと対象領域Ｔｒとはその中心が一致するよう配置されており、該ｘｙ座標の原点（０，０）に探索領域Ｓｒの左上隅が一致し、対象領域Ｔｒの左上隅のｙ座標はｙ０である。そして、該ｘｙ座標のｘ軸方向には、式（２ｂ）のように、係数Ｃｘが定義されている。
【００８２】
ここで、ｘａは、探索領域Ｓｒの左辺と対象領域Ｔｒの左辺との間の、所定のｘ座標位置を示し、ｘｂは、探索領域Ｓｒの右辺と対象領域Ｔｒの右辺との間の、所定のｘ座標位置を示している。Ｃは、原点とｘ座標（ｘａ）との間での係数Ｃｘの傾きで、１／ｘａである。Ｄは、ｘ座標（ｘｂ）とｘ座標（ｔａｒｓｉｚｅ＿ｈ）との間での係数Ｃｘの傾きで、１／（ｔａｒｓｉｚｅ＿ｈ−ｘｂ）である。
【００８３】
水平方向相関値算出部１１２では、垂直方向濃度投影値算出部１１１により算出された前フレームおよび現フレームの濃度投影値から、４つの探索領域における前フレームと現フレームの相関値が算出され、相関が上位の所定数の偏移量が求められる。なお、ここでは、所定数を３としている。
【００８４】
この際、図５に示すように、前フレームの濃度投影値は、探索領域Ｓｒの濃度投影値から対象領域Ｔｒの濃度投影値を切り出したものとし、現フレームの探索領域Ｓｒの濃度投影値に対し重ね合わせて、対応する濃度投影値の差分の絶対値を積算していく。この処理を、重ね合わせを１列ずつずらして繰り返し行なう。
【００８５】
図５では、説明を簡単にするため、探索領域Ｓｒの縦画素数を１０、探索領域Ｓｒの横画素数を１１とし、対象領域Ｔｒの縦画素数を６、対象領域Ｓｒの横画素数を７として、探索領域Ｓｒの水平方向濃度投影値ＳＦｙ（ｙｉ）および垂直方向濃度投影値ＳＦｘ（ｘｉ）、対象領域Ｔｒの水平方向濃度投影値ＴＦｙ（ｙｉ）および垂直方向濃度投影値ＴＦｘ（ｘｉ）を示している。
【００８６】
例えば、Ｒｖ（０）は、対象領域Ｔｒを探索領域Ｓｒに対してずらさずに、つまり、これらの領域の中心同士を一致させて、対象領域の水平方向濃度投影値ＴＦｙ（ｙｉ）と、探索領域Ｓｒの、該対象領域に対応する位置の水平方向濃度投影値ＳＦｙ（ｙｉ）との濃度投影値差分の絶対値を積算して得られる相関値である。
【００８７】
また、Ｒｖ（１）は、対象領域Ｔｒを、探索領域Ｓｒに対して１行分下側にずらして、対象領域の水平方向濃度投影値ＴＦｙ（ｙｉ）と、探索領域Ｓｒの、該対象領域に対応する位置の水平方向濃度投影値ＳＦｙ（ｙｉ）との濃度投影値差分の絶対値を積算して得られる相関値である。Ｒｖ（２）は、対象領域Ｔｒを探索領域Ｓｒに対して２行分下側にずらした場合の相関値である。Ｒｖ（−１）は、対象領域Ｔｒを探索領域Ｓｒに対して１行分上側にずらした場合の相関値、Ｒｖ（−２）は、対象領域Ｔｒを探索領域Ｓｒに対して２行分上側にずらした場合の相関値である。ここで、相関値が最も小さい箇所が最も画素値相関が高くなる。
【００８８】
そして、水平方向偏移量算出部１１３では、対象領域Ｔｒと探索領域Ｓｒの中心同士を重ねたところからのずれ量を水平方向の偏移量とし、画素値相関が上位３位までの偏移量を求める。
【００８９】
また、垂直方向の相関値算出部１２２では、水平方向濃度投影値算出部１２１により算出された前フレームおよび現フレームの濃度投影値から、４つの探索領域における前フレームと現フレームの相関値を算出し、相関が上位の所定数の偏移量を求める。なお、ここでは、所定数を３としている。
【００９０】
この際、図５に示すように、前フレームの濃度投影値は、探索領域Ｓｒの濃度投影値から対象領域の濃度投影値を切り出したものとし、現フレームの探索領域Ｓｒの濃度投影値に対し重ね合わせて、対応する濃度投影値の差分の絶対値を積算していく。この処理を、重ね合わせを１行ずつずらして繰り返し行なう。
【００９１】
具体的には、図５に示すとおりであり、Ｒｈ（０）は、対象領域Ｔｒを探索領域Ｓｒに対してずらさずに、つまり、これらの領域の中心同士を重ねて、対象領域の垂直方向濃度投影値ＴＦｘ（ｘｉ）と、探索領域Ｓｒの、該対象領域に対応する位置の垂直方向濃度投影値ＳＦｘ（ｘｉ）との濃度投影値差分の絶対値を積算して得られる相関値である。また、Ｒｈ（１）は、対象領域Ｔｒを、探索領域Ｓｒに対して１列分右側にずらして、対象領域の垂直方向濃度投影値ＴＦｘ（ｘｉ）と、探索領域Ｓｒの、該対象領域に対応する位置の垂直方向濃度投影値ＳＦｘ（ｘｉ）との濃度投影値差分の絶対値を積算して得られる相関値である。Ｒｈ（２）は、対象領域Ｔｒを探索領域Ｓｒに対して２列分右側にずらした場合の相関値である。Ｒｈ（−１）は、対象領域Ｔｒを探索領域Ｓｒに対して１列分左側にずらした場合の相関値、Ｒｈ（−２）は、対象領域Ｔｒを探索領域Ｓｒに対して２列分左側にずらした場合の相関値である。ここで、相関値が最も小さい箇所が最も画素値相関が高くなる。
【００９２】
そして、偏移量算出部１２３では、対象領域Ｔｒと探索領域Ｓｒの中心同士を重ねたところからのずれ量を垂直方向偏移量とし、相関が上位３位までの偏移量を求める。
【００９３】
その後、水平方向動きベクトル検出部１１４では、４つの探索領域Ｓｒ１〜Ｓｒ４について、水平方向相関値算出部１１２により求められた相関値が上位３位までの偏移量から、相関値が１位の偏移量を各探索領域Ｓｒ１〜Ｓｒ４の水平方向動きベクトルとする。
【００９４】
同様に、垂直方向の動きベクトル検出部１２４では、４つの探索領域Ｓｒ１〜Ｓｒ４について、垂直方向相関値算出部１２２により求められた相関値が上位３位までの偏移量から、相関値が１位の偏移量を各探索領域Ｓｒ１〜Ｓｒ４の垂直方向動きベクトルとする。
【００９５】
水平方向信頼性判定部１１５では、４つの探索領域Ｓｒ１〜Ｓｒ４について、水平方向相関値算出部１１２により求められた相関値が上位３位までである偏移量が、図６（ａ）のように連続している場合、つまり最上位の画素値相関に対する偏移量からの差分が小さい偏移量ほど、より大きな画素値相関を与えるという条件を満たす場合、信頼性あり判断し、図６（ｂ）のように、相関値が上位３位までである偏移量が連続していない場合、つまり該条件を満たしていない場合は、信頼性なしと判定する。図６中、ｎは、最上位の画素値相関に対する偏移量であり、ｎ−１およびｎ＋１は、偏移量ｎに隣接する偏移量である。
【００９６】
垂直方向信頼性判定部１２５では、４つの探索領域Ｓｒ１〜Ｓｒ４について、垂直方向相関値算出部１２２により求められた相関が上位３位までの偏移量が、図６（ａ）のように連続している場合信頼性あり、図６（ｂ）のように連続していない場合信頼性なしと判定する。
【００９７】
ここで、探索領域Ｓｒの画像が規則的なパターンで構成される場合、相関値は、図７のように周期的に極小となり、相関が上位３位までの偏移量は連続とならないため、信頼性なしと判定される。
【００９８】
そして、水平方向動きベクトル決定部１１６では、各探索領域の水平方向動きベクトルの信頼性判定結果と、水平方向動きベクトル間の類似性とから画面全体の水平方向動きベクトル（ブレ量）を決定する。
【００９９】
例えば、図１３に示すように、水平方向動きベクトル決定部１１３では、水平方向動きベクトル検出部により検出された４つの探索領域に対する動きベクトル（個別動きベクトル）のうち、信頼性判定部により信頼性有りと判定された個別動きベクトルが２つ以上あるか否かを判定する（ステップＳ２１）。この判定の結果、信頼性有りと判定された個別動きベクトルが２つ以上ない場合は、画面全体の動きベクトルを０にする（ステップＳ２４）。一方、信頼性有りと判定された個別動きベクトルが２つ以上ある場合、さらに、該２以上の個別動きベクトルが所定誤差範囲内にあるか否かの判定を行う（ステップＳ２２）。そして、該２以上の個別動きベクトルが所定誤差範囲内にある場合、これらの個別動きベクトルの平均を画面全体の動きベクトルを決定する（ステップＳ２３）。なお、所定誤差範囲内にある２以上の個別動きベクトルの個数が奇数個である場合、これらの個別動きベクトルの中間値を画面全体の動きベクトルとして決定してもよい。一方、該信頼性判定部により信頼性有りと判定された個別動きベクトルが１つ以下である場合、該画面全体の動きベクトルを０ベクトルに決定する（ステップＳ２４）。
【０１００】
また、垂直方向動きベクトル決定部１２６では、上記水平方向動きベクトル決定部１１６と同様にして、各探索領域の垂直方向動きベクトルの信頼性判定結果と、各探索領域の垂直方向動きベクトル（個別動きベクトル）間の類似性とから画面全体の垂直方向動きベクトル（ブレ量）を決定する。
【０１０１】
上述した濃度投影値算出から動きベクトル決定までの処理と並行して、入力された画像データは画像記憶部１２０に格納される。画面全体の動きベクトルが決定されると、切り出し（トリミング）部１３０は、現フレームの画像データを画像記憶部１２０から読み出し、画面全体の水平方向動きベクトルＨｖｅおよび垂直方向動きベクトルＶｖｅに従って切り出し位置を変えることでブレを補正した画像データを出力する。
【０１０２】
このように本実施形態１では、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関の上位３番目までの偏移量の連続性に基づいて、各探索領域に対する個別動きベクトルの信頼性を判定するので、探索領域の画像が規則的なパターンで構成されている場合は、画素相関値が周期的に極小となり、偏移量の連続性が満たされないことから、信頼性のない個別動きベクトルを信頼性ありと判定するのを防止することが可能となる。
【０１０３】
また、各探索領域に対する個別動きベクトルの信頼性の判定は、現フレームにおける探索領域に対して求められた偏移量に基づいて行うので、個別動きベクトルの信頼性判定のために、従来のものと同程度の信頼性の動きベクトルを求めることができ、しかも、前フレームの画面全体の動きベクトルと前フレームの各探索領域の動きベクトルの信頼性を保持する必要がない。
【０１０４】
また、各探索領域の列行における画素の画素値の積算値に相当する垂直方向濃度投影値を各列毎に算出する垂直方向濃度投影値算出部１１１と、該各探索領域の各行における画素の画素値の積算値に相当する水平方向濃度投影値を、各行毎に算出する水平方向濃度投影値算出部１２１とをさらに備え、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との、これらの重ね合わせの位置に応じて変化する画素値相関を、該垂直方向濃度投影値と該水平方向濃度投影値とを用いて求めるので、画素値相関を簡単な処理により求めることができる。
【０１０５】
また、水平方向動きベクトル決定部１１６および垂直方向動きベクトル決定部１２６では、各個別動きベクトルの信頼性と、該各個別動きベクトルの類似性とに基づいて、複数の探索領域に対応する個別動きベクトルから画面全体の水平方向動きベクトルおよび垂直方向動きベクトルを決定するので、これらの画面全体の動きベクトルを、より信頼性の高いものとできる。
【０１０６】
なお、上記実施形態１では、現フレームの探索領域と、前フレームの対応する探索領域に含まれる対象領域との画素値相関を、垂直方向濃度投影値と水平方向濃度投影値とを用いて求めるものを示したが、画素値相関を求める方法はこれに限るものではない。
【０１０７】
例えば、現フレームの探索領域と、前フレームの対応する対象領域との画素値相関は、現フレームの探索領域と前フレームの対象領域との対応する位置の画素同士間で求めた画素値差分を、対象領域全体にわたって積算して得られる積算値を用いて求めてもよい。
【０１０８】
この場合、現フレームの探索領域と、前フレームの対応する対象領域との画素値相関をより精度よく求めることができる。
（実施形態２）
図１２は、本発明の実施形態２による動画像ブレ補正装置を説明する図であり、各探索領域に対応する動きベクトルの信頼性の判定処理を示している。
【０１０９】
この実施形態２は、実施形態１における、個別動きベクトルの信頼性判定の条件である各探索領域での偏移量の連続性に、相関値の最大値と最小値との差が所定の値以上であるという条件を加えたものであり、その他の構成は、実施形態１のものと同一である。
【０１１０】
すなわち、この実施形態２の動画像ブレ補正装置では、水平方向信頼性判定部１１５では、４つの探索領域Ｓｒ１〜Ｓｒ４について、水平方向相関値算出部１１２により求められた相関の上位３位までの偏移量が、図６（ａ）のように連続している場合信頼性あり、図６（ｂ）のように連続していない場合信頼性なしと判定した後（ステップＳ１１）、各探索領域での相関値の最大値と最小値の差が所定の値以上であるか否か判定を行う（ステップＳ１２）。そして、図８（ａ）に示すように、相関値の最大値と最小値の差が所定の値以上である場合に信頼性ありと判定し（ステップＳ１３）、図８（ｂ）に示すように、相関値の最大値と最小値の差が所定の値未満である場合に信頼性なしと判定する（ステップＳ１４）。
【０１１１】
また、垂直方向信頼性判定部１２５では、同様に、４つの探索領域Ｓｒ１〜Ｓｒ４について、垂直方向相関値算出部１２２により求められた相関の上位３位までの偏移量が、図６（ａ）のように連続している場合信頼性あり、図６（ｂ）のように連続していない場合信頼性なしと判定した後（ステップＳ１１）、各探索領域での相関値の最大値と最小値の差が所定の値以上であるか否か判定を行う（ステップＳ１２）。そして、図８（ａ）に示すように、相関値の最大値と最小値の差が所定の値以上である場合に信頼性ありと判定し（ステップＳ１３）、図８（ｂ）に示すように、相関値の最大値と最小値の差が所定の値未満である場合に信頼性なしと判定する（ステップＳ１４）。
【０１１２】
このような各探索領域での相関値の最大値と最小値の差が所定の値以上であるか否かを判定する条件を、個別動きベクトルの信頼性判定の条件に加えることにより、探索領域の画像のコントラストが低い場合の信頼性を向上させることができる。
【０１１３】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。
【産業上の利用可能性】
【０１１４】
本発明は、デジタルビデオカメラなど電子式撮像装置の分野において、ビデオカメラの振動や揺れによる画面全体のブレ量を画像信号より検出する動画像ブレ検出装置、さらに、該動画像ブレ検出装置により検出された画面全体のブレ量に基づいて画面全体のブレを補正する動画像ブレ補正装置を提供することができるものであり、特に、近年一般家庭用として普及しているデジタルビデオカメラなどにおいて有用である。
【図面の簡単な説明】
【０１１５】
【図１】図１は、本発明の実施形態１による動画像ブレ補正装置を説明するブロック図であり、図（ａ）は、該動画像ブレ補正装置を含むデジタルビデオカメラの全体構成を示し、図（ｂ）は、該動画像ブレ補正装置の構成を示している。
【図２】図２は、上記実施形態１の動画像ブレ補正装置における動きベクトル検出装置の動作を説明する図であり、１画面内に設定した４つの矩形の対象領域と、該対象領域を包含する４つの矩形の探索領域を示している。
【図３】図３は、上記実施形態１の動きベクトル検出装置にて垂直方向濃度投影値を算出する方法を示す図である。
【図４】図４は、上記実施形態１の動きベクトル検出装置にて水平方向濃度投影値を算出する方法を示す図である。
【図５】図５は、上記実施形態１の動きベクトル検出装置にて濃度投影値から相関値を算出する方法を示す図である。
【図６】図６は、上記実施形態１の動きベクトル検出装置にて相関値による信頼性判定を行う方法を示す図である。
【図７】図７は、上記実施形態１の動きベクトル検出装置にて得られる、探索領域の画像が規則的なパターンで構成される場合の相関値を示す図である。
【図８】図８は、本発明の実施形態２による動きベクトル検出装置を説明する図であり、相関値の最大値と最小値の差による信頼性判定を示している。
【図９】図９は、従来の動画像ブレ検出装置を説明するブロック図である。
【図１０】図１０は、従来の動画像ブレ検出装置で用いるベクトル検出領域を示す図である。
【図１１】図１１は、従来の動画像ブレ検出装置の動作を説明する図であり、動きベクトル検出から動きベクトル決定までのフローチャートを示している。
【図１２】図１２は、本発明の実施形態２による動画像ブレ検出装置の動作を説明する図であり、信頼性判定フローを示している。
【図１３】図１３は、本発明の実施形態１による動画像ブレ検出装置の動作を説明する図であり、動きベクトル決定フローを示している。
【図１４】従来の手ブレ補正を説明する図であり、手ブレによる被写体に対する撮像画面のずれ（図（ａ））、撮像画面内での被写体の偏移量（図（ｂ））、ブレ量を示す動きベクトルの向き（図（ｃ））と大きさ（図（ｄ））を示している。
【符号の説明】
【０１１６】
１００  動画像ブレ補正装置
１００ａ  デジタルビデオカメラ
１０１  撮像部
１０２  信号処理部
１０３  表示部
１０４  記録部
１１０  動きベクトル検出装置
１１０ａ  水平動きベクトル検出部
１２０ａ  垂直動きベクトル検出部
１１１  垂直方向濃度投影値算出部
１１２  水平方向濃度投影値算出部
１１３  水平方向偏移量算出部
１１４  水平方向動きベクトル検出部
１１５  水平方向信頼性判定部
１１６  水平方向動きベクトル決定部
１２１  水平方向濃度投影値算出部
１２２  垂直方向濃度投影値算出部
１２３  垂直方向偏移量算出部
１２４  垂直方向動きベクトル検出部
１２５  垂直方向信頼性判定部
１２６  垂直方向動きベクトル決定部
１３０  画像記憶部
１３１  切り出し（トリミング）部
【図１】
2008294589.tif 000005
【図２】
2008294589.tif 000006
【図３】
2008294589.tif 000007
【図４】
2008294589.tif 000008
【図５】
2008294589.tif 000009
【図６】
2008294589.tif 000010
【図７】
2008294589.tif 000011
【図８】
2008294589.tif 000012
【図９】
2008294589.tif 000013
【図１０】
2008294589.tif 000014
【図１１】
2008294589.tif 000015
【図１２】
2008294589.tif 000016
【図１３】
2008294589.tif 000017
【図１４】
2008294589.tif 000018