(57)【特許請求の範囲】
【請求項１】
固体撮像素子を用いて動画を撮影する時のＮフレーム目の画像データを第１メモリに格納する共にＮ＋１フレーム目の画像データを第２メモリに格納し、該第１メモリ，第２メモリの格納画像データ間の移動ベクトルを相関性演算処理により算出し、算出された移動ベクトルに基づき前記動画の手振れ補正を行う電子的手振れ補正方法において、前記動画の出力解像度（Ｌ）と手振れ感知限度（ｐ）とに基づき前記動画の揺れ許容限度（ｍ）を定め、前記固体撮像素子から出力された撮像画像データを前記移動ベクトルの検出分解能（ｎ）と前記揺れ許容限度（ｍ）との比（ｎ／ｍ）で拡大縮小し前記第１メモリ，第２メモリの格納画像データを生成することを特徴とする電子的手振れ補正方法。
【請求項２】
前記固体撮像素子の最大解像度と前記比（ｎ／ｍ）とで定まる容量の作業領域を主メモリ上に確保して前記第１メモリ，第２メモリとすることを特徴とする請求項１に記載の電子的手振れ補正方法。
【請求項３】
固体撮像素子を用いて動画を撮影する時のＮフレーム目の画像データを格納する第１メモリと、Ｎ＋１フレーム目の画像データを格納する第２メモリと、該第１メモリ，第２メモリの格納画像データ間の移動ベクトルを相関性演算処理により算出する手段とを備え、算出された移動ベクトルに基づき前記動画の手振れ補正を行う電子的手振れ補正装置において、前記動画の出力解像度（Ｌ）と手振れ感知限度（ｐ）とに基づき前記動画の揺れ許容限度（ｍ）を定め前記固体撮像素子から出力された撮像画像データを前記移動ベクトルの検出分解能（ｎ）と前記揺れ許容限度（ｍ）との比（ｎ／ｍ）で拡大縮小して前記第１メモリ，第２メモリの格納画像データを生成する処理手段を備えることを特徴とする電子的手振れ補正装置。
【請求項４】
前記固体撮像素子の最大解像度と前記比（ｎ／ｍ）とで定まる容量の作業領域を主メモリ上に確保して前記第１メモリ，第２メモリとすることを特徴とする請求項３に記載の電子的手振れ補正装置。
【請求項５】
固体撮像素子と、請求項３または請求項４に記載の電子的手振れ補正装置とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手振れ等の移動ベクトル（移動量及び移動方向）を電子的に検出し手振れ補正を行う電子的手振れ補正方法及びその装置並びに撮像装置に関する。
【背景技術】
【０００２】
動画撮影機能を有するデジタルスチルカメラやデジタルビデオカメラ等を手に持ち動画を撮影する場合、カメラを持つ手が振れると、あるフレームの画像中に映っている静止物画像の位置が次フレームの画面では移動してしまい、見づらい動画になってしまう。そこで、あるフレームの画像に対して次フレームの画像の移動ベクトルを検出し、画像が揺れない様に電子的手ぶれ補正を行うことが行われている。
【０００３】
図２は、電子的手振れ補正を行うときの移動ベクトル検出原理を示す説明図である。図２（ａ）に示すＮフレーム目の画像１中の所定アドレスで示されるブロック２内の画像を基準画像とすると、図２（ｂ）に示す（Ｎ＋１）フレーム目の画像３中の同一所定アドレスで示されるブロック４によって切り出された画像が基準画像と同一であれば、画像１に対して画像３は振れていないことになる。
【０００４】
しかし、手振れが発生していれば、ブロック２内の基準画像とブロック４で切り出された画像は一致しない。そこで、画像３中のブロック４を、４ａ，４ｂ，４ｃ，…と、Ｘ方向（水平方向），Ｙ方向（垂直方向）にずらしながら、各ブロック４ａ，４ｂ，４ｃ，…内の夫々の画像を基準画像と比較し、基準画像と最も相関性が高い比較画像を切り出したブロック位置を求める。
【０００５】
基準画像と比較画像の相関性を求める演算は、基準画像と比較画像の１画素１画素を比較することで行う。即ち、各画素データの各差分絶対値をブロック内総画素で積算し、その積算値が最小値を示す比較画像が基準画像に対して相関性が最も高い（＝不一致量が最も少ない）と判断する。
【０００６】
図２（ｂ）に示す例で、ブロック２の基準画像に対し最も相関性が高い比較画像がブロック４ｃで切り出されたとすると、画像１に対する画像３の差は「Ｋ」となる。この「Ｋ」が２画面間の移動ベクトルであり、画像１を表示した次に、画像３を移動ベクトルＫだけ同方向に移動させて表示すれば、手振れの無い画像を表示することができる。
【０００７】
尚、手振れ補正に関連する従来技術として、下記特許文献１，２等がある。
【０００８】
【特許文献１】特開２００３―３３１２９２号公報
【特許文献２】特開２００４―１４６９９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
移動ベクトルを検出する場合、基準画像を切り出すＮフレーム目の画像データを格納する第１メモリと、比較画像を切り出すＮ＋１フレーム目の画像データを格納する第２メモリとが必要となる。これら第１メモリ，第２メモリは、デジタルカメラに搭載されている主メモリの中に作業領域として設定される。
【００１０】
近年の固体撮像素子は、数百万画素以上を搭載するのが普通になっており、固体撮像素子から出力される１フレーム分の画像データのデータ量は膨大である。このため、移動ベクトル検出用に主メモリ内に設定される第１メモリ，第２メモリの必要容量も膨大になり、電子的手振れ補正機能を搭載するデジタルカメラの製造コストを増大させる要因になっている。
【００１１】
本発明の目的は、少ない容量のメモリで電子的手振れ補正機能を実現した手振れ補正方法及びその装置並びに撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の電子的手振れ補正方法及びその装置は、固体撮像素子を用いて動画を撮影する時のＮフレーム目の画像データを第１メモリに格納する共にＮ＋１フレーム目の画像データを第２メモリに格納し、該第１メモリ，第２メモリの格納画像データ間の移動ベクトルを相関性演算処理により算出し、算出された移動ベクトルに基づき前記動画の手振れ補正を行う電子的手振れ補正において、前記動画の出力解像度（Ｌ）と手振れ感知限度（ｐ）とに基づき前記動画の揺れ許容限度（ｍ）を定め、前記固体撮像素子から出力された撮像画像データを前記移動ベクトルの検出分解能（ｎ）と前記揺れ許容限度（ｍ）との比（ｎ／ｍ）で拡大縮小し前記第１メモリ，第２メモリの格納画像データを生成することを特徴とする。
【００１３】
本発明の電子的手振れ補正方法及びその装置は、前記固体撮像素子の最大解像度と前記比（ｎ／ｍ）とで定まる容量の作業領域を主メモリ上に確保して前記第１メモリ，第２メモリとすることを特徴とする。
【００１４】
本発明の撮像装置は、固体撮像素子と、上記のいずれかに記載の電子的手振れ補正装置とを備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、少ないメモリ容量で電子的手振れ補正を実現することが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１７】
図１は、本発明の一実施形態に係る撮像装置、例えば動画撮影機能付デジタルスチルカメラの要部構成図である。この撮像装置は、撮像部本体１０と、電子的手振れ補正部２０とでなる。
【００１８】
撮像部本体１０は、被写体画像を撮像する固体撮像素子１１と、固体撮像素子１１から出力される画像データを格納するフレームメモリ１２と、フレームメモリ１２から読み出された所要範囲の画像データに対してホワイトバランス補正処理やガンマ補正処理，ＲＧＢ／ＹＣ変換処理等の各種信号処理を施す画像処理部１３と、信号処理後の画像データたとえばＪＰＥＧ圧縮された画像データやＭＰＥＧ圧縮された画像データを記録メディアに格納したりモニタ表示する画像出力部１４とを備えてなる。
【００１９】
手振れ補正部２０は、フレームメモリ１２の格納画像データを取り込み拡大／縮小処理する前処理部２１と、前処理部２１で生成された画像データを保存する２つのメモリ２２，２３と、２つのメモリ２２，２３の一方を前処理部２１に切替接続するスイッチ２４とを備える。
【００２０】
この電子的手振れ補正部２０は更に、基準画像切出回路２６と、比較画像切出回路２７と、基準画像切出回路２６及び比較画像切出回路２７とメモリ２２，２３との間に設けられメモリ２２，２３の一方を基準画像切出回路２６に接続したときメモリ２２，２３の他方を比較画像切出回路２７に接続する接続切替回路２８と、両切出回路２６，２７の出力画像データを比較して相関性の演算処理等を行い手振れ補正の移動ベクトルを求め画像処理部１３に出力する比較演算処理部２９とを備える。
【００２１】
図示は省略しているが、撮像部本体１０には撮像装置全体を統括制御するＣＰＵが設けられ、このＣＰＵが撮像素子１１を駆動制御すると共に、スイッチ２４及び接続切換回路２８にフレーム切替信号を出力する。
【００２２】
この撮像装置で動画を撮像する場合、その動画出力解像度が例えばＶＧＡ解像度（６４０×４８０）と予め固定で決められている場合には、この動画出力解像度に合わせた後述する拡大縮小倍率（ｎ／ｍ）が統括制御用ＣＰＵから前処理部２１に指示され、また、主メモリ内に作業領域として設けられるメモリ２２，２３の容量が上記の拡大縮小倍率（ｎ／ｍ）に合わせて設定される。
【００２３】
動画出力解像度が予め複数（例えば、８００×６００、６４０×４８０、３２０×２４０の３種類）用意されており、ユーザが選択できる様になっている撮像装置では、ユーザが統括制御用ＣＰＵに指示した動画出力解像度に合わせた拡大縮小倍率（ｎ／ｍ）が用いられる。
【００２４】
斯かる撮像装置では、Ｎフレーム目の画像データ，Ｎ＋１フレーム目の画像データ，Ｎ＋２フレーム目の画像データ，……が次々と入力してくる。前処理部２１は、指示された（ｎ／ｍ）に基づき各フレームの画像データを次々と拡大縮小して出力し、スイッチ２４はフレーム切替信号によって切り替え制御される。
【００２５】
これにより、Ｎフレーム目の拡大縮小画像データがメモリ２２に格納され、Ｎ＋１フレーム目の拡大縮小画像データがメモリ２３に格納されると、メモリ２２の格納画像データ（今回の基準画像データ）に対するメモリ２３の格納画像データ（今回の比較画像データ）の移動ベクトルが算出される。
【００２６】
次にＮ＋２フレーム目の拡大縮小画像データがメモリ２２に上書きされると、メモリ２３の格納画像データ（Ｎ＋１フレーム目の拡大縮小画像データ：次回の基準画像データ）に対するメモリ２２の格納画像データ（次回の比較画像データ）の移動ベクトルが算出され、以後、同様の処理が繰り返される。
【００２７】
接続切換回路２８は、フレーム切替信号により、基準画像とする方の拡大縮小画像データを格納したメモリ２２，２３の一方を選択して基準画像切出回路２６に接続し、メモリ２２，２３の他方を比較画像切出回路２７に接続する。
【００２８】
基準画像切出回路２６は、基準画像側とするＮフレームの拡大縮小画像データの中からブロック２（図５参照）によって基準画像を切り出し、比較演算処理部２９に出力する。同様に、比較画像切出回路２７は、比較画像側とするＮ＋１フレームの拡大縮小画像データの中からブロック２と同一大きさの比較画像切出ブロックによって比較画像を切り出し、比較演算処理部２９に出力する。
【００２９】
比較演算処理部２９は、切出回路２６，２７から取り込んだ両画像を１画素単位に比較して各画素毎の差分（輝度の差分，色差の差分，原色系フィルタの場合はＲＧＢ色毎の差分，補色系フィルタの場合は補色毎の差分等）を求め、各差分の絶対値のブロック内総画素の積算値（この値が大きいほど、不一致量が大きいことを意味する。）を算出し、自身内の内部メモリ（図示せず）に保存しておく。
【００３０】
積算値が算出された後、比較演算処理部２９は比較画像切出回路２７に移動指令を出力する。これにより、比較画像切出ブロックが次位置に移動し、次の比較画像が切り出され、比較演算処理部２９はこの比較画像と基準画像との比較演算を行い、各画素の差分の上記積算値を同様にして求める。
【００３１】
以下同様にして、次々と探索範囲内の比較画像を切り出し、各比較画像毎の積算値を求め、各積算値のうちの最小値（相関性の最高値）を求める。そして、最小値を示す比較画像を切り出したブロック位置と基準画像を切り出したブロック位置との差を探索範囲の移動ベクトルとする。
【００３２】
比較演算処理部２９は、移動ベクトルが算出された後、この移動ベクトルを画像処理部１３に出力する。これにより、画像処理部１３は、Ｎフレームメモリ１２から切り出した画像データを信号処理して出力した後、次に出力する画像データをＮ＋１フレームメモリ１２から切り出し信号処理するが、このとき、移動ベクトルと同方向にずらした位置から画像データをＮ＋１フレームメモリ１２から切り出すことで、手振れ補正された画像を出力することが可能となる。出力画像をモニタ表示する場合、手振れの無い画像が表示されることになる。
【００３３】
比較画像切出回路２７が比較画像を切り出すブロックを、１画素単位に移動させることで、移動ベクトルの分解能はメモリ２２，２３の格納画像上での１画素単位となり、任意のｎ画素単位に移動させることで、移動ベクトルの分解能はメモリ２２，２３の格納画像上でのｎ画素単位となる。
【００３４】
前処理部２１は、動画出力解像度に合わせて元画像データを拡大縮小処理し、メモリ２２，２３は動画出力解像度に合わせた容量だけ主メモリ内に設定される。このとき、例えば動画出力解像度がＳＶＧＡ解像度（８００×６００）の場合、８００×６００の画像データを格納できる容量がメモリ２２，２３として確保されれば良いというものではなく、撮像装置固有の値となる固体撮像素子１１から出力される画像データの最大解像度と、上記の移動ベクトルの分解能とを考慮して、以下の様に定める。
【００３５】
固体撮像素子１１から出力される画像データの最大解像度を横Ａ画素、縦Ｂ画素とし、移動ベクトルの分解能をｎ画素とする。そして、動画出力解像度を横Ｌ画素、縦Ｍ画素とする。
【００３６】
Ｌ×Ｍの画面で動画を鑑賞している人が手振れで画面が揺れていると感じる限度をｐ（例えば０．３％）であるとする。８００×６００の画面で動画を見ている人は、８００×０．３／１００＝２．４画素の揺れで手振れを感じることになるため画面上での揺れを２画素に抑えれば良く、６４０×４８０の画面で動画を見ている人は、６４０×０．３／１００＝１．９２画素の揺れで手振れを感じることになるため画面上での揺れを１画素に抑える必要がある。
【００３７】
画面の長手方向の上記揺れの許容限度をｍ画素とすると、ｍ＝Ｌ×０．３／１００となる。前処理部２１は、入力してくる元画像データを（ｎ／ｍ）倍して元画像データを拡大縮小する。このため、必要となるメモリ２２，２３の容量は、横ａ画素×縦ｂ画素分とすると、
ａ＝Ａ×（ｎ／ｍ）＝（１００／０．３）×ｎ×（Ａ／Ｌ）
ｂ＝Ｂ×（ｎ／ｍ）＝（１００／０．３）×ｎ×（Ｂ／Ｌ）
となる。
【００３８】
ここで、分解能ｎは移動ベクトル検出装置（図１の切出回路２６，２７及び比較演算処理部２９）の固有の値であり、動画出力解像度が決まればＡ／Ｌも撮像装置固有の値となるため、メモリ容量ａ×ｂも撮像装置固有の値となる。
【００３９】
７００万画素，８００万画素クラスの固体撮像素子の最大解像度は３２００×２４００程度であるため、この固体撮像素子を用いて８００×６００のＳＶＧＡ解像度の動画を撮像するとき、画面上での揺れを感じさせないためには、ｎ＝１とすると、
ａ＝３３３．３３３３×（３２００／８００）≒１３３３
ｂ＝３３３．３３３３×（２４００／８００）≒１０００
となる。
【００４０】
同様に、６４０×４８０のＶＧＡ解像度の動画を撮像するときは、
ａ＝３３３．３３３３×（３２００／６４０）≒１６６６
ｂ＝３３３．３３３３×（２４００／６４０）≒１２５０
となる。
【００４１】
以上説明した様に、ａ×ｂの容量を持つメモリ２２，２３を確保し、前処理部２１が拡大縮小画像を元画像データから生成してメモリ２２，２３に格納する構成とすることで、目的とする性能を得ることが可能となる。
【００４２】
撮像装置は、光学ズーム機能，電子ズーム機能を持つが、許容される揺れは動画表示画面に対する比率で決まるため、移動ベクトルの検出分解能が確定している場合には、ズーム倍率によらずに必要となるメモリ２２，２３の容量が定まる。従って、動画出力解像度が決まれば電子的手振れ補正に必要となるメモリ容量が定まる。
【００４３】
尚、上述した揺れを感じる限界として説明した「０．３％」は単なる例示にすぎない。
【産業上の利用可能性】
【００４４】
本発明に係る手振れ補正方法等は、少ないメモリ容量で手振れの無い動画を撮像できるため、デジタルカメラ等に適用すると有用である。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施形態に係る撮像装置の機能ブロック図である。
【図２】移動ベクトルの検出原理説明図である。
【符号の説明】
【００４６】
１０  撮像部本体
１１  撮像素子
１２  フレームメモリ
１３  画像処理部
１４  画像出力部
２０  手振れ補正部
２１  前処理部
２２，２３  縮小画像格納用のメモリ
２６  基準画像切出回路
２７  比較画像切出回路
２８  接続切換回路
２９  比較演算処理部
【図１】
0004543000.tif 000002
【図２】
0004543000.tif 000003