(57)【要約】【課題】電子的手振れ補正を行う場合等に必要となる移動ベクトルの算出を光学ズーム倍率に変更があった場合にも高精度に行う。【解決手段】基準画像（ｎフレーム画像）と比較画像（ｎ＋１フレーム画像）を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出するとき、前記基準画像に対する前記比較画像の光学ズーム倍率が変動した場合には該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および／または前記比較画像を電子ズーム補正して前記移動ベクトルを算出する。【選択図】図４
2008160274.tif 000002
【特許請求の範囲】
【請求項１】
基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出方法において、前記基準画像に対する前記比較画像の光学ズーム倍率が変動した場合には該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および／または前記比較画像を電子ズーム補正して前記移動ベクトルを算出することを特徴とする移動ベクトル検出方法。
【請求項２】
基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出装置において、前記基準画像に対する前記比較画像の光学ズーム倍率が変動した場合には該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および／または前記比較画像を電子ズーム補正する電子ズーム処理手段を備えることを特徴とする移動ベクトル検出装置。
【請求項３】
基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出プログラムにおいて、前記基準画像に対する前記比較画像の光学ズーム倍率の変動を検出するステップと、該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および／または前記比較画像を電子ズーム補正して前記移動ベクトルを算出するステップとを備えることを特徴とする移動ベクトル検出プログラム。
【請求項４】
固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正方法において、前記移動ベクトルを請求項１に記載の移動ベクトル検出方法で検出することを特徴とする電子的手振れ補正方法。
【請求項５】
固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正装置において、前記移動ベクトルを請求項２に記載の移動ベクトル検出装置で検出することを特徴とする電子的手振れ補正装置。
【請求項６】
固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正プログラムにおいて、前記移動ベクトルを請求項３に記載の移動ベクトル検出プログラムで検出することを特徴とする電子的手振れ補正プログラム。
【請求項７】
固体撮像素子と、該固体撮像素子の前部に設けられた光学ズームレンズ系と、請求項５に記載の電子的手振れ補正装置とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデジタルカメラ等の撮像装置及びこの撮像装置に搭載される電子的手振れ補正装置等に係り、特に、光学ズームレンズを搭載した撮像装置、移動ベクトル検出方法及びその装置並びにそのプログラム、電子的手振れ補正方法及びその装置並びにそのプログラムに関する。
【背景技術】
【０００２】
例えば、動画撮影機能を有するデジタルスチルカメラやビデオカメラ等を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレームの画像に対して次フレームの画像の移動ベクトルを検出し、画像が揺れない様に手振れ補正を行うことが行われている。
【０００３】
図６は、手振れ補正を行うときの移動ベクトルを検出する原理を示す説明図である。図６（ａ）に示すＮフレーム目の画像１中の所定アドレスで示されるブロック２内の画像を基準画像とすると、（Ｎ＋１）フレーム目の画像３中の同一所定アドレスで示されるブロック４によって切り出された画像が基準画像と同一であれば、画像１に対して画像３は振れていないことになる。
【０００４】
しかし、手振れが発生していれば、ブロック２内の基準画像とブロック４で切り出された画像は一致しない。そこで、画像３中のブロック４を、４ａ，４ｂ，４ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）に１画素づつずらしながら、各ブロック４ａ，４ｂ，４ｃ，…内の夫々の画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。
【０００５】
図６（ｂ）に示す例で、ブロック２の基準画像に対し最も相関性の高い比較画像がブロック４ｃで切り出されたとすると、画像１に対する画像３の差はベクトル「ｋ」となる。このベクトルｋが２画面間の移動ベクトルであり、画像１を表示した次に、画像３を移動ベクトルｋと逆方向に移動させて表示すれば、手振れの無い画像を表示することができる。
【０００６】
基準画像と比較画像の相関性を求める演算は、基準画像と比較画像の１画素１画素を比較し各差分のブロック内総画素の総和の最小値を求めることで行うため、演算負荷が高く、演算に要する時間も長くなり、次フレームの表示までに移動ベクトル算出が間に合わなくなってしまう。そこで通常は、ブロック４ａ，４ｂ，４ｃ，…を１画素づつずらすのではなく、例えば８画素づつずらし（８画素を１画素に間引いた縮小画像で比較演算を行うのと等価）、演算処理の負荷軽減を図ると共に、演算時間の短縮を図るようにしている。
【０００７】
尚、移動ベクトルの検出技術に関連する従来技術として、下記特許文献１等がある。
【０００８】
【特許文献１】特開昭６１―２０１５８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
デジタルカメラ等には光学ズームレンズが搭載されるのが普通になっており、被写体画像を撮影している最中に撮影者はズームインしたりズームアウトしたりする。この光学ズーム操作が行われると、図６（ａ）の画像１と、図６（ｂ）の画像３とで、同一被写体の撮像画像の大きさが異なることになる。
【００１０】
このため、光学ズーム操作中に基準画像と比較画像とを比較して移動ベクトルを算出しても、移動ベクトルの検出精度は悪くなる。精度の悪い移動ベクトルで手振れ補正を行うと、却って見づらい画面になってしまうため、従来は、光学ズーム操作が行われている間は、手振れ補正処理を停止するのが普通である。
【００１１】
本発明の目的は、光学ズーム操作を行っても精度良く移動ベクトルを検出することができる移動ベクトル検出方法及びその装置並びにそのプログラム、電子的手振れ補正方法及びその装置並びにそのプログラム、撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の移動ベクトル検出方法は、基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出方法において、前記基準画像に対する前記比較画像の光学ズーム倍率が変動した場合には該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および／または前記比較画像を電子ズーム補正して前記移動ベクトルを算出することを特徴とする。
【００１３】
本発明の移動ベクトル検出装置は、基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出装置において、前記基準画像に対する前記比較画像の光学ズーム倍率が変動した場合には該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および／または前記比較画像を電子ズーム補正する電子ズーム処理手段を備えることを特徴とする。
【００１４】
本発明の移動ベクトル検出プログラムは、基準画像と比較画像を比較演算処理し該基準画像に対して相関性の高い比較画像の切り出し位置を求め該位置により前記比較画像の前記基準画像に対する移動ベクトルを算出する移動ベクトル検出プログラムにおいて、前記基準画像に対する前記比較画像の光学ズーム倍率の変動を検出するステップと、該光学ズーム倍率の情報に基づき前記基準画像と前記比較画像とが同一倍率となるように前記基準画像および／または前記比較画像を電子ズーム補正して前記移動ベクトルを算出するステップとを備えることを特徴とする。
【００１５】
本発明の電子的手振れ補正方法は、固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正方法において、前記移動ベクトルを上記記載の移動ベクトル検出方法で検出することを特徴とする。
【００１６】
本発明の電子的手振れ補正装置は、固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正装置において、前記移動ベクトルを上記記載の移動ベクトル検出装置で検出することを特徴とする。
【００１７】
本発明の電子的手振れ補正プログラムは、固体撮像素子から出力される撮像画像データの切り出し範囲を手振れ量に応じて検出される移動ベクトルに基づき移動させる電子的手振れ補正プログラムにおいて、前記移動ベクトルを上記記載の移動ベクトル検出プログラムで検出することを特徴とする。
【００１８】
本発明の撮像装置は、固体撮像素子と、該固体撮像素子の前部に設けられた光学ズームレンズ系と、上記記載の電子的手振れ補正装置とを備えることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、基準画像を切り出す画像データに対して比較画像を切り出す画像データの光学ズーム倍率が変動した場合には、基準画像と比較画像とが同一倍率となるように電子ズーム補正するため、光学ズーム倍率が変動しても精度良く移動ベクトルを算出することができ、電子的手振れ補正を行う場合にはこの補正を精度良く行うことが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２１】
図１は、本発明の一実施形態に係るデジタルカメラの構成図である。このデジタルカメラは、撮像部２１と、撮像部２１から出力されるアナログの画像データを自動利得調整（ＡＧＣ）や相関二重サンプリング処理等のアナログ処理するアナログ信号処理部２２と、アナログ信号処理部２２から出力されるアナログ画像データをデジタル画像データに変換するアナログデジタル変換部（Ａ／Ｄ）２３と、後述のシステム制御部（ＣＰＵ）２９からの指示によってＡ／Ｄ２３，アナログ信号処理部２２，撮像部２１の駆動制御を行う駆動制御部（タイミングジェネレータを含む）２４と、ＣＰＵ２９からの指示によって発光するフラッシュ２５とを備える。
【００２２】
撮像部２１は、被写界からの光を集光すると共に被写体をズームインしたりズームアウトすることができる光学ズームレンズ系２１ａと、光学ズームレンズ系２１ａの光学倍率を駆動制御部２４からの指示により制御するズーム駆動部２１ｂと、光学ズームレンズ系２１ａによって集光され絞りによって絞られた光を受光し撮像画像データ（アナログ画像データ）を出力する固体撮像素子１００とを備える。
【００２３】
固体撮像素子１００は、ＣＣＤ型でもＣＭＯＳ型でも、また、他の型の固体撮像素子でも良く、電子的手振れ補正処理を行うために、有効画素領域が撮像範囲より広くなっている。
【００２４】
本実施形態のデジタルカメラは更に、Ａ／Ｄ２３から出力されるデジタル画像データを取り込み補間処理やホワイトバランス補正，ＲＧＢ／ＹＣ変換処理等を行うデジタル信号処理部２６と、画像データをＪＰＥＧ形式などの画像データに圧縮したり逆に伸長したりする圧縮／伸長処理部２７と、メニューなどを表示したりスルー画像や撮像画像を表示する表示部２８と、デジタルカメラ全体を統括制御するシステム制御部（ＣＰＵ）２９と、フレームメモリ等の内部メモリ３０と、ＪＰＥＧ画像データ等を格納する記録メディア３２との間のインタフェース処理を行うメディアインタフェース（Ｉ／Ｆ）部３１と、これらを相互に接続するバス４０とを備え、また、システム制御部２９には、ユーザからの指示入力を行う操作部３３が接続されている。
【００２５】
図２は、図１に示したデジタルカメラで電子的手振れ補正処理を行う場合に構成される電子的手振れ補正処理装置５０の機能構成図である。この電子的手振れ補正処理装置５０は、ユーザが図１に示す操作部３３から電子的手振れ補正処理を行う旨の指示入力があったとき、システム制御部２９が移動ベクトル検出プログラムを含む電子的手振れ補正処理プログラムを起動することで、システム制御部２９が配下のデジタル信号処理部２６，内部メモリ３０等を用いて構成する。
【００２６】
この電子的手振れ補正処理装置５０は、固体撮像素子１００から出力される画像データを間引き処理して縮小画像を生成する間引き処理部５１と、ｎフレーム目（偶数フレーム目）の間引き縮小画像データを格納する第１メモリ５２と、ｎ＋１フレーム目（奇数フレーム目）の間引き縮小画像データを格納する第２メモリ５３と、第１メモリ５２から読み出された縮小画像データに対して電子ズーム処理を施す第１電子ズーム処理部５４と、第２メモリ５３から読み出された縮小画像データに対して電子ズーム処理を施す第２電子ズーム処理部５５とを備える。
【００２７】
本実施形態では、移動ベクトル算出処理の高速化を図るために間引き処理部５１で基準画像，比較画像の夫々の縮小画像を生成している。演算処理装置として高性能なものが使用できメモリ容量に余裕があれば、間引き処理せずに、元画像データを用いて移動ベクトルを算出することも可能である。
【００２８】
電子的手振れ補正処理装置５０は更に、図１に示すズーム駆動部２１ｂに指示された光学ズーム倍率情報を取得し該光学ズーム倍率に基づき第１，第２電子ズーム処理部５４，５５の夫々に対して電子ズーム倍率を指示する電子ズーム倍率制御部５６と、第１，第２電子ズーム処理部５４，５５の夫々から取り込んだ２つの縮小画像データを相互に比較し移動ベクトルを算出する移動ベクトル検出処理部５７と、検出された移動ベクトルに基づき内部メモリ３０の撮像画像データの読み出し範囲（切り出し範囲）を決める読出制御処理部５８とを備える。
【００２９】
斯かる電子的手振れ補正処理装置５０で、動画の手振れ補正を行うときの動作について説明する。固体撮像素子１００からは、偶数フレームの撮像画像データと奇数フレームの撮像画像データとが交互に出力され、各撮像画像データは、内部メモリ３０に格納される。
【００３０】
固体撮像素子１００から出力される撮像画像データは、内部メモリ３０への格納と並行して、間引き処理部５１を通って縮小画像データとなり、メモリ５２，５３に格納される。
【００３１】
今、ｎフレーム目の画像データに対してｎ＋１フレーム目の画像データの移動ベクトルを検出するとする。つまり、ｎフレーム目の画像データ（縮小画像データ）から基準画像を切り出し、ｎフレーム目の画像データ（縮小画像データ）から比較画像を切り出し、両者の相関性を求める。
【００３２】
この場合、電子ズーム倍率制御部５６は、ｎフレーム目の画像データの撮像倍率を“１”としたときの、ｎ＋１フレーム目の画像データの撮像倍率Ｍを光学ズーム倍率情報から求める。そして、電子ズーム処理部５４に対して、電子ズーム倍率“１”を指示し、電子ズーム処理部５５に対しては、電子ズーム倍率“１／Ｍ”を指示する。
【００３３】
撮影者が光学ズーム操作を行っておらず、ｎフレーム目の画像データの撮像倍率に対してｎ＋１フレーム目の画像データの撮像倍率が同じであれば、電子ズーム処理部５４，５５には、共に、電子ズーム倍率“１”が指示されることになる。
【００３４】
移動ベクトル検出処理部５７は、ｎフレーム目の縮小画像から基準画像を切り出し、ｎ＋１フレーム目の縮小画像から比較画像を切り出し、両者の相関性を求めることで、移動ベクトルを算出する。この移動ベクトルの求め方は、図６で説明した場合と同じである。
【００３５】
この移動ベクトルの検出処理時には、本実施形態では、図３（ａ）に示す様に、１画面を４行４列の計１６個の分割画面に分割し、各分割画面♯１〜♯１６毎に移動ベクトルの算出を行う。即ち、基準画像の♯１分割画面では中央の矩形枠５で基準画像を切り出し、比較画像の♯１分割画面では、矩形枠５と同一枠を♯１分割画面内で移動させながら相関性の高い比較画像の切出位置を求める。
【００３６】
この様に各分割画面毎に移動ベクトルを求めると、図３（ｂ）に示す様に、計１６個の部分移動ベクトルＫ１〜Ｋ１６が算出される。そして、１６個の部分移動ベクトルの平均値を算出し、この平均値を２画面間の移動ベクトルとする。
【００３７】
図３（ｂ）に示す部分移動ベクトルは、全て所定閾値範囲内で同一方向を向いているため、１６個の部分移動ベクトルの平均値を２画面間の移動ベクトルとしている。しかし、例えば、♯１６分割画面内に動き回る小動物が居たとすると、部分移動ベクトルＫ１６は、他の部分移動ベクトルと比較して所定閾値範囲外となる異常値を示すことになる。この様な異常値を示す部分移動ベクトルが存在した場合には、異常値を示す部分移動ベクトルは除外し、所定閾値範囲内の部分移動ベクトルの平均値を２画面間の移動ベクトルとする。
【００３８】
２画面間の移動ベクトルＫが算出された後は、読出制御処理部５８が内部メモリ３０に対して切り出し範囲を指示する。これにより、ｎフレーム目の画像がある切り出し範囲で切り出され出力された後、ｎ＋１フレーム目の画像が移動ベクトルに基づく切り出し範囲で切り出され出力されるため、手振れ補正がされた動画像が出力されることになる。
【００３９】
次フレーム（ｎ＋２フレーム目）の画像データが固体撮像素子１００から出力されると、この画像データは内部メモリ３０に格納される共に、間引き処理部５１で間引きされ、縮小画像データがメモリ５２に上書きされる。そして、今度は、ｎ＋１フレーム目の縮小画像が基準画像となり、ｎ＋２フレーム目の縮小画像から比較画像が切り出され、ｎ＋１フレーム目の撮像画像に対するｎ＋２フレーム目の撮像画層の移動ベクトルが上述と同様に算出され、この移動ベクトルに基づき、ｎ＋２フレーム目の撮像画像データが切り出され出力される。
【００４０】
この様な電子的手振れ補正処理を次々と繰り返している最中に、光学ズーム倍率が変更され、例えば、図４に示すｎフレーム目の画像データに対して、ｎ＋１フレーム目の画像が倍率Ｍで拡大された画像になったとする。
【００４１】
この場合には、電子ズーム倍率制御部５６は、電子ズーム処理部５５に対して、電子ズーム倍率“１／Ｍ”を指示する（電子ズーム処理部５４に対する指示倍率は“１”）。これにより、Ｍ倍の拡大画像が１／Ｍに縮小されるため、基準画像と比較画像とは同一倍率となり、比較演算が可能となる。
【００４２】
そこで、移動ベクトル検出処理部５７は、上述した基準画像（ｎフレーム画像）と比較画像（ｎ＋１フレーム画像の電子ズーム処理後の画像）との比較演算により、２画面間の移動ベクトルの算出を行う。この移動ベクトルの算出時には、図４に図示する例では、♯１〜♯４，♯５，♯８，♯９，♯１２，♯１３〜♯１６の分割画面には画像データが無い状態となっている。このため、移動ベクトル検出処理部５７は、♯６，♯７，♯１０，♯１１の分割画面での各部分移動ベクトルだけを求め、２画面間の移動ベクトルを算出する。
【００４３】
ｎ＋１フレーム目の画像に対して、次に固体撮像素子１００から取り込まれたｎ＋２フレーム目の画像が、図５に示す様に、１／Ｍに縮小された画像になった場合には、電子ズーム倍率制御部５６は、電子ズーム処理部５４に電子ズーム倍率１／（１／Ｍ）＝Ｍを指示する（電子ズーム処理部５５に対する指示倍率は“１”）。これにより、１／Ｍ倍の縮小画像がＭ倍に拡大されるため、基準画像と比較画像とが同一倍率となり、比較演算が可能となる。
【００４４】
そこで、移動ベクトル検出処理部５７は、上述した比較演算により、２画面間の移動ベクトルを算出する。この場合には、♯１〜♯１６の全分割画面に画像データが存在するため、部分移動ベクトルＫ１〜Ｋ１６を求め、２画面間の移動ベクトルを算出する。
【００４５】
以上述べた様に、光学ズーム倍率の変更操作が行われた場合でも、本実施形態では精度良く移動ベクトルの算出ができるため、光学ズーム倍率の変更中でも電子的手振れ補正を行うことが可能となり、見易い動画像を得ることができる。
【００４６】
尚、上述した実施形態では、基準画像の電子ズーム倍率を常時“１”とし、比較画像の電子ズーム倍率を光学ズーム倍率の逆倍率としたが、基準画像と比較画像とが同一倍率になれば比較演算が可能となるため、基準画像の電子ズーム倍率を常時“１”にする必要はない。例えば図４で、ｎフレーム画像を拡大電子ズームしてｎ＋１フレーム画像と比較演算処理する構成とすることでも良い。また、基準画像と比較画像の両方ともに電子ズーム処理して同一倍率に補正することでも良いことはいうまでもない。
【００４７】
また、上述した実施形態では、電子的手振れ補正について述べたが、画面中の動体検出に用いる移動ベクトルの算出にも上記実施形態を同様に適用することができる。また、上述した実施形態では、デジタルカメラ内部での処理として説明したが、固体撮像素子１００から出力される画像データを全て記録しておき、これを外部のパーソナルコンピュータ等に取り込み、パーソナルコンピュータが移動ベクトル検出プログラムや電子的手振れ補正プログラムを実行することでも同様に処理が可能である。
【産業上の利用可能性】
【００４８】
本発明に係る撮像装置やプログラムは、光学ズーム中でも精度良く移動ベクトルを算出できるため、デジタルカメラや画像処理プログラムとして適用すると有用である。
【図面の簡単な説明】
【００４９】
【図１】本発明の一実施形態に係るデジタルカメラブロック構成図である。
【図２】図１のデジタルカメラ中にプログラムによって構成される電子的手振れ補正処理装置の機能構成図である。
【図３】手振れ補正処理に用いる部分移動ベクトルの説明図である。
【図４】基準画像と拡大比較画像との比較処理を行うときの説明図である。
【図５】基準画像と縮小比較画像との比較処理を行うときの説明図である。
【図６】移動ベクトル算出処理の説明図である。
【符号の説明】
【００５０】
２１  撮像部
２１ａ  光学ズームレンズ系
２１ｂ  ズーム駆動部
２９  システム制御部
３０  内部メモリ
５０  電子的手振れ補正処理部
５１  間引き処理部
５２，５３  メモリ
５４，５５  電子ズーム処理部
５６  電子ズーム倍率制御部
５７  移動ベクトル検出処理部
５８  読出制御処理部
１００  固体撮像素子
【図１】
2008160274.tif 000003
【図２】
2008160274.tif 000004
【図３】
2008160274.tif 000005
【図４】
2008160274.tif 000006
【図５】
2008160274.tif 000007
【図６】
2008160274.tif 000008