(57)【要約】【課題】ＣＭＯＳのように撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置を用い、フレーム間の動きベクトル検出により画像のブレを増幅させた見苦しい画像とすることなく、ブレを抑えた動画像を得ることが可能な撮像方法と装置を提供することが課題である。【解決手段】現フレームにおける動きベクトルを、１つ前のフレームで求めた画面全体の動きベクトルに対応する動きベクトルを有する特定ブロックを含む、周辺ブロックの動きベクトルを参照して決定するようにした。【選択図】図１
2009182657.tif 000002
【特許請求の範囲】
【請求項１】
マトリクス状に配された撮像素子を備えて該撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置を用い、該撮像装置から得られる撮像データを複数のブロックに分割すると共に、連続した前フレームと現フレームとにおけるブロックの画像の移動量と方向とから動きベクトルを求め、該動きベクトルに基づいて撮像装置のブレを検出する、撮像装置における動画撮像データのブレ検出方法において、
現フレームにおける画像全体の代表動きベクトルを、予め定めた特定領域から求めることを特徴とする撮像装置における動画撮像データのブレ検出方法。
【請求項２】
前記撮像装置における撮像画像の前記特定領域を、前記分割した各ブロック毎に求めた動きベクトルの平均値、中心値、もしくは統計的に最適となる値のうちのいずれかにより求めた代表動きベクトルを有する特定ブロック、または前記代表動きベクトルに最も近い動きベクトルを有する特定ブロックと、その周辺ブロックとしたことを特徴とする請求項１に記載した撮像装置における動画撮像データのブレ検出方法。
【請求項３】
前記撮像装置における撮像画像の前記特定領域を、顔認識または合焦位置に対応する特定ブロック、もしくは画面中央または最近距離にある被写体のある特定ブロックとその周辺ブロックとしたことを特徴とする請求項１に記載した撮像装置における動画撮像データのブレ検出方法。
【請求項４】
前記周辺ブロックは、前記特定ブロックに隣接する上下左右斜めのブロック、もしくは該隣接するブロックに隣接するブロックまでを更に含むブロックであることを特徴とする、請求項２または３に記載した撮像装置における動画撮像データのブレ検出方法。
【請求項５】
現フレームの撮像データ全体の各ブロックから求めた代表動きベクトルと、前記特定ブロックを含む周辺ブロックからなる特定領域を構成する各ブロックの現フレームにおける動きベクトルとを比較し、前記特定領域内で前記代表ベクトルに最も近い動きベクトルを現フレームにおける画像全体の代表動きベクトルとすることを特徴とする、請求項１乃至４のいずれかに記載した撮像装置における動画撮像データのブレ検出方法。
【請求項６】
マトリクス状に配された撮像素子を備えて各撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置と、該撮像装置で撮像した複数フレームの撮像データを記憶する撮像データ記憶装置と、該記憶装置に記憶された各フレームの撮像データを複数ブロックに分割し、撮像装置のブレによってブロックが移動した量を動きベクトルとして算出して前記撮像データ記憶装置からの撮像データ読み出し位置を、前記動きベクトル分だけ移動させて読み出す動きベクトル検出及びブレ補正部と、を有する撮像装置における動画撮像データのブレ補正装置において、
予め定めた特定ブロックとその周辺ブロックを含む特定領域を記憶する特定ブロック記憶装置を備え、前記動きベクトル検出及びブレ補正部は、現フレームにおける動きベクトルを、前記特定ブロック記憶装置に記憶された特定領域のブロックにおける現フレームの動きベクトルを参照して決定するよう構成されていることを特徴とする撮像装置における動画撮像データのブレ補正装置。
【請求項７】
前記特定ブロック記憶装置に記憶する特定ブロックの周辺ブロックは、前記特定ブロックに隣接する上下左右斜めのブロック、もしくは該隣接するブロックに隣接するブロックまでを更に含むブロックであり、前記動きベクトル検出及びブレ補正部は、前記撮像装置の前記特定ブロックを、前記分割した複数ブロックのそれぞれにおける動きベクトルの平均値、中心値、もしくは統計的に最適となる値のうちのいずれかを画像全体の代表動きベクトルと定める機能を有していることを特徴とする請求項６に記載した撮像装置における動画撮像データのブレ補正装置。
【請求項８】
前記特定ブロック記憶装置に記憶する特定ブロックの周辺ブロックは、前記特定ブロックに隣接する上下左右斜めのブロック、もしくは該隣接するブロックに隣接するブロックまでを更に含むブロックであり、前記動きベクトル検出及びブレ補正部は、前記撮像装置における撮像画像の前記特定ブロックを、顔認識または合焦位置に対応するブロック、もしくは画面中央または最近距離にある被写体のあるブロックから定める機能を有していることを特徴とする請求項６に記載した撮像装置における動画撮像データのブレ補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置における動画撮像データのブレ検出方法とブレ補正装置に係わり、特に、個々の撮像素子における撮像データとしての電荷の蓄積と読み出しを、素子行単位の走査で行う撮像素子を備えた撮像装置による動画像撮像時、または静止画撮像までに表示装置に表示されている画像におけるブレを、適正に補正できるようにした撮像装置における動画撮像データのブレ検出方法とブレ補正装置に関するものである。
【背景技術】
【０００２】
ビデオカメラやデジタルカメラにおける撮像装置を構成する撮像素子には、従来からＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）が用いられている。このうちＣＭＯＳを用いた撮像素子は、ＣＣＤを用いた撮像素子に較べてＬＳＩと同様の製造プロセスが使用でき、量産性に優れて増幅器を始め様々な機能を撮像素子毎に設けることも可能である。また、回路全体のサイズを小さくできるためにコスト的にも有利となり、電源が低電圧の単一電源で済むことや、ＣＣＤでは問題となるスミアが無視できるほど小さい上に、データの読み出しが高速に行える等の利点がある。
【０００３】
しかしながらＣＭＯＳを用いた撮像素子は、ノイズが多いということと、マトリクス状に配列された各画素を構成する撮像素子からの撮像データの取り出しを、ＣＣＤとは異なって素子行単位の走査で行うため、ビデオカメラのように機械的なシャッタを持たずに電荷の蓄積時間だけに基づいた露光を行うと、撮像に際して電荷露光を行うタイミングがライン毎に異なると共に撮像データの読み出しが時系列となり、走査線ごとの走査に要する時間だけ蓄積時間がずれ、撮像装置が動くと一般的にフォーカルプレーン現象と呼ばれる画像歪みが生じるという欠点がある。
【０００４】
このうちノイズについては、例えば一眼レフ型のデジタルカメラなどにおいてはセンサのサイズを大きくできるため、感度やノイズの改善が容易である。さらにＣＭＯＳを用いた撮像素子は、その高速性によって一眼レフ型のデジタルカメラ等に要求される連写機能を容易に実現することができ、前記したＣＭＯＳを用いた撮像素子の利点と相俟って、最近の一眼レフ型デジタルカメラではこのＣＭＯＳを用いた撮像素子を備えたものが多くなっている。
【０００５】
一方、フォーカルプレーン現象は、図８（ａ）にＡ、Ｂ、Ｃ、……、Ｆで示した撮像画像における各走査線の露光と読み出しのタイミングが、図８（ｂ）に示したように各走査線Ａ、Ｂ、Ｃ、……、Ｆ毎に異なるために生じる現象であり、撮像装置や被写体が動くと図７に示した概念図のように画像に歪みが生じる。
【０００６】
すなわちこの図７において、（ａ）は撮像装置または被写体がブレずに撮像された場合であり、（ｂ）は撮像装置が図上、下側に動いた場合、（ｃ）は同じく図上、上側に動いた場合のそれぞれにおける撮像画像を示している。撮像装置が動かずに撮像した（ａ）の撮像画像における人物の顔をほぼ円とすると、撮像装置が下側に動いた（ｂ）では先頭の撮像素子と最後の撮像素子の読み出し時間のずれにより、人物の顔が上下に押しつぶされた楕円形状となり、上側に動いた（ｃ）では上下に延びた楕円形状となって、撮像中に撮像装置が動いた方向に歪みが生じ、これは撮像装置が動いた場合であるが、被写体が動いても同様な現象が生じる。
【０００７】
このうち撮像装置のブレに対しては、近年、ブレ補正を行うことが一般化している。これは、撮像装置としてのカメラの小型化が進み、写真撮影におけるホールド性が低下すると共に、携帯電話搭載のカメラなどの撮影方法として片手による撮影など、従来の撮影形態とくらべて自由度が広がったため、撮影にあたって種々の方法や安定性の無い状態で撮影する機会が多くなり、シャッターボタンを押した際にカメラがブレて手ブレが発生し易くなっているためである。
【０００８】
この手ブレ補正の方法としては、手ブレに合わせてレンズを傾斜させて手ブレを補正する光学式手ブレ補正装置が製品化され、物理的に手ブレ補正する装置が一眼レフや最近ではコンパクトカメラなどにも搭載されているが、近年のカメラや撮像装置の小型化や携帯電話への搭載を考慮した場合、スペース的にも機械的な補正装置を組み込むことが困難であり、画像処理によってブレのない画像を得ることができる撮像装置などが種々提案されている。この画像処理は、一般的に複数の撮像画像における同一被写体が撮像装置のブレで移動して撮像される移動量を検出し、その移動量を動きベクトルとして画像出力の際に読み出す領域をその動きベクトル相当分だけ変え、それによってブレのない画像を生成するものである。
【０００９】
このような手ブレ補正に関する先行技術としては、例えば特許文献１に、処理量を少なくして高精度に手ブレ量（動きベクトル）検出を実施するため、撮影の際に露光時間を短くして解像度は高いがノイズが多い基準画像と、露光時間を長くして解像度が低いがノイズの少ない参照画像を撮影し、これらの画像から間引き画像を作成して探索ブロックとテンプレートブロックとを求め、手ブレ量算出部が残差の最小となるテンプレートブロックＴの位置を求めて全位置の中央値を算出して手ブレ量とし、各ブロックの輝度値の最大値と最小値との差をとり、閾値より小さい場合には残差を取得する対象から除外することで高速化を図った手ブレ量検出装置、手ブレ補正装置、撮像装置及び手ブレ量検出方法が示されている。
【００１０】
【特許文献１】特開２００７−２８１８３１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながらＣＭＯＳを用いた撮像装置を用い、動画を撮像したり静止画撮像までの間に表示装置に表示されている動画像を画像処理によって手ブレ補正する場合、１画面の撮像中に撮像装置のブレのスピードが異なったりブレ方向が変化すると、前記したフォーカルプレーン現象によって各画面中の動きベクトルが一定せず、動きベクトルの捉え方によっては非常に見苦しい動画像になってしまう場合がある。
【００１２】
図６は、ＣＭＯＳのような撮像データの読み出しを素子行単位の走査で行う撮像素子を備え、撮像装置のブレ状態により、１画面中の動きベクトルの方向が異なってしまう場合があることを説明するための図である。図６（ａ）は横軸が時間で縦軸が撮像装置のブレ量（画像ズレ量）であり、３１の番号を付した実線は時間と共に変化するブレ量と方向とを一例としてｓｉｎカーブとして示した線、ｔ０、ｔ１、ｔ２、ｔ３として記した図上の網掛けした部分は連続撮影した場合の各フレームであり、各網掛け部分の先頭から最後の部分までがＣＭＯＳを用いた撮像素子の１フレームとなる。（ｂ）、（ｃ）、（ｄ）、（ｅ）は、それぞれ時間ｔ０、ｔ１、ｔ２、ｔ３の各フレームにおける撮像画像上のブレ方向とブレ量を、矢印の方向と長さでベクトル量として示した図で、また、それぞれのフレームにおけるエリア［１］から［５］は、時間と共に変化するブレ量と方向とを検出するためのエリアである。
【００１３】
なお、この図６（ａ）に３１の番号を付けたブレ量と方向を表す線の周波数は、前記したｓｉｎカーブのような振動だけでなく、一方向のみの振れや地震などのように高速に上下する場合など、種々のブレがあるが、説明をわかりやすくするため軌跡をｓｉｎカーブのように滑らかに振動する場合を示し、また、通常の手ぶれよりは大きな周波数で示してある。また、この図６に示した例は、説明を分かり易くするため図上、上下方向のブレについてのみ示している。通常のブレは様々な方向のブレ成分を複合的に含んでいるが、その中で上下（縦）方向の成分を抽出すれば同様となる。
【００１４】
まず図６（ａ）における時間ｔ０の網掛けした部分は、手ブレが一方向から逆の方向に変化する部分を１フレームとした場合で、この場合は図６（ｂ）に示したように、エリア［１］では図上、上向きの手ブレ（動きベクトル）が発生し、それがエリア［２］では同じ方向だがエリア［１］より小さくなり、エリア［３］ではほぼ０となっている。そしてエリア［４］ではエリア［２］とは逆向きでほぼ同じ量の手ブレとなり、エリア［５］では同様にエリア［１］とは逆向きでほぼ同じ量の手ブレとなっている。
【００１５】
次の時間ｔ１では、図６（ｃ）に示したようにブレの方向は図上全て下向きとなり、エリア［１］から［４］まではその量が余り変わらず、エリア［５］で小さくなっている。時間ｔ２では図６（ｄ）に示したように、時間ｔ１とはブレの方向が逆になって図上全て上向きとなり、エリア［５］から［２］までその量が余り変わらずにエリア［１］で小さくなっている。時間ｔ３では図６（ｅ）に示したように、時間ｔ０と同様、手ブレが一方向から逆の方向に変化する部分を１フレームとしていて、エリア［１］では図上、上向きの小さな手ブレがエリア［２］ではほぼ０となり、エリア［３］では逆方向となって大きさがエリア［１］程度となり、エリア［４］、［５］と少しずつ大きくなっている。
【００１６】
このようにＣＭＯＳのような撮像素子を用い、撮像装置のブレ状態によってエリア毎に動きベクトルが異なってしまう場合、例えば人の顔がエリア［２］の位置にあり、（ｂ）のフレームでエリア［１］の動きベクトルを採用したとすると、人の顔はエリア［１］と［２］の差の動きベクトル分のブレが生じる。
【００１７】
そのため本発明においては、ＣＭＯＳのように撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置を用いても、フレーム間の動きベクトル検出により画像のブレを増幅させた見苦しい画像とすることなく、ブレを抑えた動画像を得ることが可能な撮像方法と装置を提供することが課題である。
【課題を解決するための手段】
【００１８】
上記課題を解決するため本発明になる撮像装置における動画撮像データのブレ検出方法は、
マトリクス状に配された撮像素子を備えて該撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置を用い、該撮像装置から得られる撮像データを複数のブロックに分割すると共に、連続した前フレームと現フレームとにおけるブロックの画像の移動量と方向とから動きベクトルを求め、該動きベクトルに基づいて撮像装置のブレを検出する、撮像装置における動画撮像データのブレ検出方法において、
現フレームにおける画像全体の代表動きベクトルを、予め定めた特定領域から求めることを特徴とする。
【００１９】
また、このブレ検出方法を実施するブレ補正装置は、
マトリクス状に配された撮像素子を備えて各撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置と、該撮像装置で撮像した複数フレームの撮像データを記憶する撮像データ記憶装置と、該記憶装置に記憶された各フレームの撮像データを複数ブロックに分割し、撮像装置のブレによってブロックが移動した量を動きベクトルとして算出して前記撮像データ記憶装置からの撮像データ読み出し位置を、前記動きベクトル分だけ移動させて読み出す動きベクトル検出及びブレ補正部と、を有する撮像装置における動画撮像データのブレ補正装置において、
予め定めた特定ブロックとその周辺ブロックを含む特定領域を記憶する特定ブロック記憶装置を備え、前記動きベクトル検出及びブレ補正部は、現フレームにおける動きベクトルを、前記特定ブロック記憶装置に記憶された特定領域のブロックにおける現フレームの動きベクトルを参照して決定するよう構成されていることを特徴とする。
【００２０】
このように現フレームにおけるブレの補正を行うための動きベクトルを、予め定めた特定領域で求めることで、例え動きベクトルが異なっても同一部分がブレ補正されるため、フレーム間の動きベクトル検出により画像のブレを増幅させることがなく、ブレを抑えた動画像を得ることが可能な撮像方法と装置を提供することができる。
【００２１】
そして、前記撮像装置における撮像画像の前記特定領域を、前記分割した各ブロック毎に求めた動きベクトルの平均値、中心値、もしくは統計的に最適となる値のうちのいずれかにより求めた代表動きベクトルを有する特定ブロック、または前記代表動きベクトルに最も近い動きベクトルを有する特定ブロックと、その周辺ブロックとすることで、画面の平均的な動きベクトルでブレ補正をすることができ、また、前記撮像装置における撮像画像の前記特定領域を、顔認識または合焦位置に対応する特定ブロック、もしくは画面中央または最近距離にある被写体のある特定ブロックとその周辺ブロックとすることで、一番好ましい被写体がブレ補正された動画像を得ることが可能となる。
【００２２】
また、前記周辺ブロックは、前記特定ブロックに隣接する上下左右斜めのブロック、もしくは該隣接するブロックに隣接するブロックまでを更に含むブロックとすることが、本発明の好適な実施形態である。
【００２３】
さらに、現フレームの撮像データ全体の各ブロックから求めた代表動きベクトルと、前記特定ブロックを含む周辺ブロックからなる特定領域を構成する各ブロックの現フレームにおける動きベクトルとを比較し、前記特定領域内で前記代表ベクトルに最も近い動きベクトルを現フレームにおける画像全体の代表動きベクトルとすることことで、前記したようにフレーム間の動きベクトル検出により画像のブレを増幅させることがなく、さらにブレを抑えた動画像を得ることが可能な撮像方法と装置を提供することができる。
【発明の効果】
【００２４】
以上記載のごとく本発明になる撮像装置における動画撮像データのブレ検出方法とブレ補正装置は、フレーム間のブレによる動きベクトルを画像のブレを増幅させた見苦しい画像とすることがないよう検出でき、ブレを抑えたきれいな動画像を得ることが可能なブレ検出方法とブレ補正装置とすることができる。
【発明を実施するための最良の形態】
【００２５】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
【実施例１】
【００２６】
最初に本発明の概略を簡単に説明すると、本発明においては、ＣＭＯＳのように電荷蓄積及び読み出しを素子行単位の走査で行う撮像素子を備えた撮像装置を用い、動画や静止画撮像までの間、表示装置に表示されている動画像（以下単に動画または動画撮像データと略称する）におけるブレを補正するにあたり、例えば図５（ａ）に示したように１フレームの画像データを一定の大きさの小領域（ブロック）に分割し、各ブロックが前のフレーム画像のどの部分に対応するかの相関評価値を求めてフレーム間の動きベクトルを求め、撮像装置のブレを補正するようにした撮像装置において、ブレ補正のための現フレームにおける代表動きベクトルを、例えば１つ前のフレームにおいて求めた、各ブロック毎の動きベクトルの平均値、中心値、もしくは統計的に最適となる値のうちのいずれかに対応する特定ブロック、あるいは顔認識または合焦位置に対応する特定ブロック、もしくは画面中央または最近距離にある被写体のある特定ブロック、を含む、周辺ブロックからなる特定領域の動きベクトルを参照して決定するようにしたものである。
【００２７】
すなわち前記図６で説明したように、撮像素子のラインごとの露光タイミングの違いにより、ブレの上下方向成分で画像の上下方向に被写体が伸びたり縮んだりした画像が得られ、撮像装置のブレ状態によってエリア毎に動きベクトルが異なってしまう場合がある。そのため、例えば図３に示したフレームにおけるａ（０，３）のブロックの相関評価値が良かった場合でも、前のフレームで動きベクトルを求めたブロックがこの図３にｂ（０，５）で示したブロックであれば、本願においてはｂ（０，５）のブロックと、図４に示したように、例えばｂ（０，５）のブロックと隣接する周辺の８つのブロックとを含む領域ｃを特定領域とし、この特定領域ｃから動きベクトルを採用するようにしたものである。なお、特定領域ｃは、隣接する８つのブロックだけでなく、さらにその周囲の１６のブロックを含ませても良い。
【００２８】
このようにすることにより、ＣＭＯＳセンサのようなラインごとの露光タイミングの違いから生じる画像の歪みがある場合、採用される動きベクトルのあるブロックがフレーム毎に異なると、同一被写体のブレ補正方向が異なったりし、画像が大きく動いて非常に見苦しい画像となってしまうが、予め定めた各ブロック毎の動きベクトルの平均値、中心値、もしくは統計的に最適となる値のうちのいずれかに対応する特定ブロック、あるいは顔認識または合焦位置に対応する特定ブロック、もしくは画面中央または最近距離にある被写体のある特定ブロックを含む、周辺ブロックの動きベクトルを参照して決定することで、フレーム間の動きベクトル検出により画像のブレを増幅させることがなく、さらにブレを抑えた動画像を得ることが可能となる。
【００２９】
このように、例えば図５（ａ）に示した分割ブロック毎に求めた動きベクトルの平均値、中心値、もしくは統計的に最適となる値のうちのいずれかから求めたり、図５（ｂ）に示したように顔認識によって顔が有る位置３６を検出した場合はその顔のあるブロック、図５（ｃ）に示したようにオートフォーカスウィンドウ３５の有るブロック、または合焦位置に対応するブロック、もしくは最近距離にある被写体のあるブロックとすることで、一番好ましい被写体がブレ補正された動画像とすることができる。すなわち現在、デジタルカメラやビデオカメラの顔認識技術は一般化されているが、それによって特定ブロックを決定したり、オートフォーカスウィンドウ３５の有るブロック、合焦位置に対応するブロック、もしくは最近距離にある被写体のあるブロックを特定ブロックとすることで、例え動きベクトルがフォーカルプレーン現象によってブロックによって異なっても、同一部分を中心にブレ補正されるため、フレーム間の動きベクトル検出により画像のブレを増幅させることがなく、ブレを抑えた動画像を得ることが可能な撮像方法と装置を提供することができる。
【００３０】
以上が本発明の概略であるが、続いて本発明を図面に従って詳細に説明すると、まず図１は本発明に係る撮像装置における動画撮像データのブレ検出方法を実施するブレ補正装置１０の一実施形態を示すブロック図である。図中、１１は撮像レンズを含む光学系、１２は撮影制御部で、この撮影制御部１２はシャッターボタンや手ブレ補正撮影のＯＮ／ＯＦＦのモード切り換え手段などを有した操作部１３より撮影指示を受け、それらの指示に応じて被写体の明るさから最適なシャッタースピード、絞り、ゲインの値を算出し、露出制御を行うと共に、光学系１１や撮像部１４等を制御し、システム全体の動作を決定してシステム全体の調停制御を司る。
【００３１】
また撮像部１４は、マトリクス状に配されたＣＭＯＳなどの撮像素子を用いた撮像装置を備え、光学系１１を通った被写体の光学像を受けて撮像データに変換し、その撮像データたる電荷の蓄積及び読み出しを素子行単位の走査で行う。そしてその撮像データは、画像処理部１５によりアナログ信号が増幅されると共にデジタル信号に変換され、例えば輝度信号（Ｙ）、輝度信号と青色成分の差（Ｕ）、輝度信号と赤色成分の差（Ｖ）の３つの情報で色を表すＹＵＶ形式の撮像データとされて、メモリ１７に送られ記憶される。
【００３２】
このメモリ１７には複数フレームの撮像データを記憶することができ、例えば画面全体の動きベクトルから代表動きベクトルを算出して手ブレ補正撮影をする場合は、動きベクトル検出及びブレ補正部１６でこのメモリ１７に記憶された撮像データを用い、現フレームと前フレームの画像間の位置ズレ量が動きベクトルとして検出される。この処理は１フレーム分の画像を前記図５（ａ）に示したように一定の大きさの小領域（ブロック）に分割し、各ブロックが前のフレーム画像のどの部分に対応するかの相関評価値を求めておこなう。こういった手ブレ補正における相関評価値を求める手法としては、一般的に前記特許文献１に記載された手法やブロックマッチング法、勾配法などが用いられ、対応する部分とブロック間の位置差が動きベクトルとされて算出される。
【００３３】
そして１画面分の各ブロックの動きベクトルが求められたら、その動きベクトルの例えば平均値、中心値、または統計的に最適となる値などによってそのフレームの動きベクトルが求められ、先にメモリ１７に記憶されたフレームが、撮像装置の撮像した最初のフレームの場合、その動きベクトルに応じてメモリ１７中の画像の切り出し位置を変えて画像が読み出され、ブレの補正された画像が生成されて記録部１８において記録媒体に記録される。
【００３４】
なお、最初に前記図５（ｂ）に示したように顔認識によって動きベクトルを決定する場合は、顔が有る位置３６のブロックが前のフレーム画像のどの部分に対応するかの相関評価値を求め、また、図５（ｃ）に示したようにオートフォーカスウィンドウ３５の有るブロックで動きベクトルを決定する場合や、さらに合焦位置に対応するブロック、もしくは最近距離にある被写体のあるブロックの場合は、それぞれオートフォーカスウィンドウ３５の有るブロック、合焦位置に対応するブロック、もしくは最近距離にある被写体のあるブロックが、前のフレーム画像のどの部分に対応するかの相関評価値を求めて動きベクトルを決定する。
【００３５】
こうしてブレ補正のされた画像が生成されるわけであるが、この過程で算出された動きベクトルが平均値の場合は最も値の近い動きベクトルのブロックが、また、動きベクトルが中心値の場合と統計的に最適となる値の場合は、その動きベクトルと同じ動きベクトルを有するブロックが、さらに顔認識、オートフォーカスウィンドウ３５、合焦位置に対応するブロック、もしくは最近距離にある被写体のあるブロックの場合はそれぞれが特定ブロックとされ、その周辺の隣接するブロックもしくはさらに隣接するブロックに隣接するブロックが周辺ブロックとして、特定ブロックと共に特定領域として特定ブロック記憶部１９に記憶される。
【００３６】
そして次のフレーム、即ちこの場合、３番目以後のフレームの画像がメモリ１７に記憶されると、上記したのと全く同様にして動きベクトル検出及びブレ補正部１６がこのメモリ１７に記憶された撮像データから動きベクトルを算出するわけであるが、３番目以後のフレームの場合、特定ブロック記憶部１９に記憶された特定ブロックとその周辺の隣接するブロック、もしくはさらに隣接するブロックが読み出され、読み出されたブロックについて算出された動きベクトルが、フレーム全体のブロックにおける代表ブロックとされて、その動きベクトルがフレームの代表動きベクトルとして採用される。
【００３７】
そのため動きベクトル検出及びブレ補正部１６は、この採用したブロックの動きベクトルに応じてメモリ１７中の画像の切り出し位置を変えて画像を読み出し、ブレを補正した画像を生成して記録部１８において記録媒体に記録する。このようにすることで、例えフォーカルプレーン現象によって動きベクトルが１フレーム内で異なっても、前後のフレームで特定ブロックまたはその周辺のブロックにおける動きベクトルが採用されてブレが補正されるから、フレーム間の動きベクトル検出によって画像のブレを増幅させることがなく、ブレを抑えた動画像を得ることが可能なブレ検出方法とブレ補正装置とすることができる。
【００３８】
図２は、以上説明してきた本発明になる撮像装置における動画撮像データのブレ検出方法と、検出したブレに基づいてブレを補正する方法のフロー図であり、以下、この図２のフロー図と図１のブロック図を用いて、本発明になる撮像装置における動画撮像データのブレ検出方法とブレの補正を更に詳細に説明する。
【００３９】
ステップＳ１０で図１の操作部１３から、撮像開始と合わせて手ブレ補正撮影ＯＮのモード指示が来ると、撮影制御部１２はそれらの指示に応じ、被写体の明るさから最適なシャッタースピード、絞り、ゲインの値を算出し、露出制御を行うと共に、光学系１１や撮像部１４等を制御して撮像を開始する。そして撮像部１４からの撮像データは、前記したように画像処理部１５で例えば輝度信号（Ｙ）、輝度信号と青色成分の差（Ｕ）、輝度信号と赤色成分の差（Ｖ）の３つの情報で色を表すＹＵＶ形式の撮像データとされ、ステップＳ１１でメモリ１７に送られて記憶される。
【００４０】
動きベクトル検出及びブレ補正部１６は、このメモリ１７に記憶された撮像データが最初のフレームかどうかをステップＳ１２で判断し、最初のフレームでない場合はステップＳ１７に進み、最初のフレームの場合はステップＳ１３に進んで２番目のフレームの撮像データをメモリ１７に記憶する。そして次のステップＳ１４で動きベクトル検出及びブレ補正部１６が、フレームデータを複数ブロックに分割して各ブロックにおける動きベクトルを算出する。
【００４１】
この処理は前記したように、各ブロックが前のフレームの画像のどの部分に対応するかの相関評価値を求めて行い、１フレーム分の各ブロックの動きベクトルが求められたら、ステップＳ１５でその動きベクトルの例えば平均値、中心値、または統計的に最適となる値などによってそのフレームの代表動きベクトルが決定される。そして代表動きベクトルが決定されたらステップＳ１９に進み、その動きベクトルに応じ、メモリ１７中の画像の切り出し位置が変えられて画像が読み出され、ブレの補正された画像が生成されて記録部１８において記録媒体に記録される。
【００４２】
こうしてブレ補正のされた画像が生成されるとステップＳ２０で、以上の過程でフレーム代表ブロックとされた特定ブロックとその周辺ブロックが特定領域として特定ブロック記憶部１９に記憶される。そして、ステップＳ２１で撮像が終了かどうかが判断されるが、まだ続く場合はステップＳ１１に戻って同じ処理が繰り返され、終了の場合はステップＳ２２に進んで処理が終了する。
【００４３】
一方、ステップＳ１２で最初のフレームでないと判断された場合は処理がステップＳ１７に進み、特定ブロック記憶部１９に記憶された特定領域たる特定ブロックとその周辺ブロックが読み出される。そして、この特定ブロックとその周辺ブロックにおける現フレームの動きベクトルが前記した方法で算出されて、特定領域が複数のブロックからなる場合はそれらの動きベクトルの例えば平均値、中心値、または統計的に最適となる値などから代表動きベクトルが決定される。
【００４４】
そして次のステップＳ１９で、前記したように決定された代表動きベクトルに基づき、メモリ１７中の画像の切り出し位置が変えられて画像が読み出され、ブレの補正された画像が生成されて記録部１８において記録媒体に記録される。また、ステップＳ２０で代表動きベクトルに対応する動きベクトルを有する特定ブロックとその周辺ブロックが特定領域として特定ブロック記憶部１９に記憶され、ステップＳ２１で撮像が終了どうかが判断されて、まだ続く場合はステップＳ１１に戻って同じ処理が繰り返され、終了の場合はステップＳ２２に進んで処理が終了する。
【００４５】
このようにすることで、前記したように例えフォーカルプレーン現象によって動きベクトルが１フレーム内で異なることがあっても、前後のフレームで特定ブロックまたはその周辺のブロックにおける動きベクトルが採用されてブレが補正されるから、フレーム間の動きベクトル検出によって画像のブレを増幅させることがなく、ブレを抑えた動画像を得ることが可能な撮像方法と装置とすることができる。
【００４６】
なお、以上の説明では、現フレームの特定領域を構成する特定ブロックとその周辺ブロックにおける動きベクトルから、画像全体の代表動きベクトルを求めると説明してきたが、現フレームにおける画像全体の代表動きベクトルをまず求め、その代表動きベクトルが、特定ブロックと周辺ブロックにおける現フレームの動きベクトルのどれに最も近いか判断し、その動きベクトルを有するブロックの動きベクトルを代表動きベクトルとしてもよい。
【００４７】
また、最初のフレームで求める代表動きベクトルのブロックを、以上説明してきた方法だけでなく、例えば顔認識によって認識した顔に対応するブロックや、オートフォーカス装置が合焦した位置に対応するブロック、さらに画面中央または最近距離にある被写体のあるブロック等の動きベクトル用いても良い。この場合、特定領域はこのようにして求めたブロックとその周辺ブロックで構成されることになり、そのため、撮像に当たって一番好ましい被写体がブレ補正された動画像となるから、撮影者にとっては好ましい画像を得ることができる。なお、顔認識やオートフォーカス技術は前記したように、デジタルカメラやビデオカメラの世界では一般的な技術となっており、その方法については特に言及しない。
【産業上の利用可能性】
【００４８】
本発明によれば、ＣＭＯＳのように撮像素子への電荷蓄積及び読み出しを素子行単位の走査で行う撮像装置を用いても、画像のブレを増幅させた見苦しい画像を生成せず、ブレを抑えたきれいな動画像を得ることが可能な撮像方法と装置を安価に提供することができる。
【図面の簡単な説明】
【００４９】
【図１】本発明になる撮像装置における動画撮像データのブレ補正装置のブロック図である。
【図２】本発明になる撮像装置における動画撮像データのブレ補正方法のフロー図である。
【図３】本発明になる撮像装置における動画撮像データのブレ補正方法において前フレームで採用した動きベクトルを有する特定ブロックを、現フレームで採用することを説明するための図である。
【図４】特定ブロックの隣接ブロックを特定ブロックとして採用する場合を説明するための図である。
【図５】（ａ）は、本発明における動きベクトル検出のために画像データを複数ブロックに分割することを説明する図であり、（ｂ）、（ｃ）は、それぞれ顔認識、オートフォーカスウィンドウを、画像データ全体の代表動きベクトルを検出するブロックとする場合を説明するための図である。
【図６】撮像データの読み出しを素子行単位の走査で行う撮像素子を備えた撮像装置で撮像装置がブレた場合、そのブレ状態によってエリア毎に動きベクトルの方向が異なってくることを説明するための図である。
【図７】撮像データの読み出しを素子行単位の走査で行う撮像素子を備えた撮像装置における、（ａ）は撮像装置がブレなかった場合、（ｂ）は撮像装置が下側に動いた場合、（ｃ）は同じく上側に動いた場合の出力画像である。
【図８】ＣＭＯＳを用いた撮像素子による撮像画像における、各走査線毎の露光と読み出しのタイミングがずれることを説明するための図である。
【符号の説明】
【００５０】
１０  動画撮像データのブレ補正装置
１１  光学系
１２  撮影制御部
１３  操作部
１４  撮像部
１５  画像処理部
１６  動きベクトル検出及びブレ補正部
１７  メモリ
１８  記録部
１９  特定ブロック記憶部
【図１】
2009182657.tif 000003
【図２】
2009182657.tif 000004
【図３】
2009182657.tif 000005
【図４】
2009182657.tif 000006
【図５】
2009182657.tif 000007
【図６】
2009182657.tif 000008
【図７】
2009182657.tif 000009
【図８】
2009182657.tif 000010