(57)【特許請求の範囲】
【請求項１】
撮像素子により撮像された前回の画像及び今回の画像から、各々の輝度分布を示す第１のヒストグラムデータ及び第２のヒストグラムデータを取得するヒストグラム取得手段と、
このヒストグラム取得手段により取得された第１及び第２のヒストグラムデータから、双方間の差分を演算する差分演算手段と、
この差分演算手段により演算された差分において、同一輝度の画素数の差が所定以上大きな特定輝度レベルを判定する輝度レベル判定手段と、
前記前回の画像及び今回の画像から、前記輝度レベル判定手段により判定された特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を生成する生成手段と、
この生成手段により生成された第１及び第２の特定輝度画像に基づき装置本体の動きに応じた手振れ補正量を演算する演算手段と
を備えたことを特徴とする手振れ補正装置。
【請求項２】
前記輝度レベル判定手段は、全輝度区間を複数に分割した輝度区間毎に前記特定輝度レベルを複数判定し、
前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により複数の輝度区間毎に判定された複数の特定輝度レベル毎に前記第１及び第２の特定輝度画像を生成し、
前記演算手段は、前記生成手段により複数の特定輝度レベル毎に生成された第１及び第２の特定輝度画像に基づき、装置本体の動きに応じた手振れ補正量を複数の特定輝度レベル毎に演算する第１の演算手段と、その第１の演算手段により複数の特定輝度レベル毎に演算された手振れ補正量に基づき最終的な手振れ補正量を演算する第２の演算手段とを含む
ことを特徴とする請求項１記載の手振れ補正装置。
【請求項３】
前記輝度レベル判定手段は、全輝度区間を複数に分割した輝度区間毎に前記特定輝度レベルを複数判定し、
前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により複数の輝度区間毎に判定された複数の特定輝度レベル毎に前記第１及び第２の特定輝度画像を生成し、
前記演算手段は、前記生成手段により複数の特定輝度レベル毎に生成された第１及び第２の特定輝度画像に基づき、装置本体の動きに応じた手振れ補正量を複数の特定輝度レベル毎に所定の順に演算するとともに、前記複数の特定輝度レベルのいずれかについて手振れ補正成分の取得に成功した後には、他の特定輝度レベルについての手振れ補正成分の取得を中止する
ことを特徴とする請求項１記載の手振れ補正装置。
【請求項４】
前記ヒストグラム取得手段は、前記第１及び第２のヒストグラムデータを、前回の画像及び前記今回の画像における同一の分割領域毎に取得し、
前記輝度レベル判定手段は、前記ヒストグラム取得手段により分割領域毎に取得された第１及び第２のヒストグラムデータについて前記特定輝度レベルを前記分割領域毎にそれぞれ判定し、
前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により判定された分割領域毎に前記第１及び第２の特定輝度画像を生成し、
前記演算手段は、前記生成手段により分割領域毎に生成された第１及び第２の特定輝度画像に基づき、装置本体の動きに応じた手振れ補正量を分割領域毎に演算する第１の演算手段と、その第１の演算手段により分割領域毎に演算された手振れ補正量に基づき最終的な手振れ補正量を演算する第２の演算手段とを含む
ことを特徴とする請求項１記載の手振れ補正装置。
【請求項５】
前記ヒストグラム取得手段は、前記輝度レベル判定手段により特定輝度レベルが判定されるまで、前記前回の画像及び今回の画像における前記第１及び第２のヒストグラムデータの取得対象領域を、より面積の大きな領域に段階的に切り替えて前記第１及び第２のヒストグラムデータを取得し、
前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により最初に判定された特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を生成する
ことを特徴とする請求項１記載の手振れ補正装置。
【請求項６】
前記ヒストグラム取得手段は、前記輝度レベル判定手段により特定輝度レベルが判定されるまで、前記前回の画像及び今回の画像における前記第１及び第２のヒストグラムデータの取得対象領域を、より面積の小さい領域に段階的に切り替えて前記第１及び第２のヒストグラムデータを取得し、
前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により最後に判定された特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を生成する
ことを特徴とする請求項１記載の手振れ補正装置。
【請求項７】
前記ヒストグラム取得手段が段階的に切り替える取得対象領域の各々は、互いに独立した領域であることを特徴とする請求項５又は６記載の手振れ補正装置。
【請求項８】
前記ヒストグラム取得手段は、前記輝度レベル判定手段により特定輝度レベルが判定されるまで、前記前回の画像及び今回の画像における前記第１及び第２のヒストグラムデータの取得対象領域を、所定の順に切り替えて前記第１及び第２のヒストグラムデータを取得し、
前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により最初に判定された特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像をそれぞれ生成する
ことを特徴とする請求項１記載の手振れ補正装置。
【請求項９】
撮像素子により撮像された前回の画像及び今回の画像から、各々の輝度分布を示す第１のヒストグラムデータ及び第２のヒストグラムデータを取得する工程と、
取得した第１及び第２のヒストグラムデータから、双方間の差分を演算する工程と、
演算した差分において、同一輝度の画素数の差が所定以上大きな特定輝度レベルを判定する工程と、
判定した特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を、前記前回の画像及び今回の画像から生成する工程と、
生成した第１及び第２の特定輝度画像に基づき装置本体の動きに応じた手振れ補正量を演算する工程と
を含むことを特徴とする手振れ補正方法。
【請求項１０】
手振れ補正装置が有するコンピュータに、
撮像素子により撮像された前回の画像及び今回の画像から、各々の輝度分布を示す第１のヒストグラムデータ及び第２のヒストグラムデータを取得する処理と、
取得した第１及び第２のヒストグラムデータから、双方間の差分を演算する処理と、
演算した差分において、同一輝度の画素数の差が所定以上大きな特定輝度レベルを判定する処理と、
判定した特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を、前記前回の画像及び今回の画像から生成する処理と、
生成した第１及び第２の特定輝度画像に基づき装置本体の動きに応じた手振れ補正量を演算する処理と
を実行させるためのプログラム。
【請求項１１】
前記演算手段により演算された手振れ補正量に応じ、今回の画像から切り出す所定サイズの有効画素領域の切り出し位置を設定する設定手段をさらに備える
ことを特徴とする請求項１乃至８いずれか記載の手振れ補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手振れ補正機能を有するデジタルカメラやデジタルビデオカメラ等の撮像装置に用いて好適な手振れ補正装置、及び手振れ補正方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラ等の撮像装置においては、動画撮影中やスルー画像の表示中における手振れを補正する方法として、例えば動画像のサイズを撮像素子により撮像する画像のサイズよりも小さくし、撮像した画像から必要サイズの部分画像を切り出し、その部分画像をフレーム画像として取得する一方、撮影中には、カメラ本体の動きベクトルを検出し、検出した動きベクトルに応じて前記部分画像（フレーム画像）の切り出し位置、すなわち有効画素領域を制御する方法がある。
【０００３】
そして、前述した動きベクトルを検出する方法については、前回撮像した画像と今回撮像した画像とを比較することによって検出するものが公知である（例えば下記特許文献１参照）。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のように相前後して撮像した双方の画像を比較して動きベクトルを検出する場合には、前後のフレーム画像の全域を比較範囲（サーチ範囲）としたのでは計算量が膨大となるため、上記サーチ範囲を画像内の一部（例えば画像内の四隅）に限定せざるを得ない。つまり動き補正量の検出精度をある程度下げざるを得ないという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、高速かつ高精度の手振れ補正を行うことが可能となる手振れ補正装置、及び手振れ補正方法と、それらの実現に使用されるプログラムとを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記課題を解決するため請求項１の発明にあっては、撮像素子により撮像された前回の画像及び今回の画像から、各々の輝度分布を示す第１のヒストグラムデータ及び第２のヒストグラムデータを取得するヒストグラム取得手段と、このヒストグラム取得手段により取得された第１及び第２のヒストグラムデータから、双方間の差分を演算する差分演算手段と、この差分演算手段により演算された差分において、同一輝度の画素数の差が所定以上大きな特定輝度レベルを判定する輝度レベル判定手段と、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により判定された特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を生成する生成手段と、この生成手段により生成された第１及び第２の特定輝度画像に基づき装置本体の動きに応じた手振れ補正量を演算する演算手段とを備えたものとした。
【０００８】
また、請求項２の発明にあっては、前記輝度レベル判定手段は、全輝度区間を複数に分割した輝度区間毎に前記特定輝度レベルを複数判定し、前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により複数の輝度区間毎に判定された複数の特定輝度レベル毎に前記第１及び第２の特定輝度画像を生成し、前記演算手段は、前記生成手段により複数の特定輝度レベル毎に生成された第１及び第２の特定輝度画像に基づき、装置本体の動きに応じた手振れ補正量を複数の特定輝度レベル毎に演算する第１の演算手段と、その第１の演算手段により複数の特定輝度レベル毎に演算された手振れ補正量に基づき最終的な手振れ補正量を演算する第２の演算手段とを含むものとした。
【０００９】
また、請求項３の発明にあっては、前記輝度レベル判定手段は、全輝度区間を複数に分割した輝度区間毎に前記特定輝度レベルを複数判定し、前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により複数の輝度区間毎に判定された複数の特定輝度レベル毎に前記第１及び第２の特定輝度画像を生成し、前記演算手段は、前記生成手段により複数の特定輝度レベル毎に生成された第１及び第２の特定輝度画像に基づき、装置本体の動きに応じた手振れ補正量を複数の特定輝度レベル毎に所定の順に演算するとともに、前記複数の特定輝度レベルのいずれかについて手振れ補正成分の取得に成功した後には、他の特定輝度レベルについての手振れ補正成分の取得を中止するものとした。
【００１０】
また、請求項４の発明にあっては、前記ヒストグラム取得手段は、前記第１及び第２のヒストグラムデータを、前回の画像及び前記今回の画像における同一の分割領域毎に取得し、前記輝度レベル判定手段は、前記ヒストグラム取得手段により分割領域毎に取得された第１及び第２のヒストグラムデータについて前記特定輝度レベルを前記分割領域毎にそれぞれ判定し、前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により判定された分割領域毎に前記第１及び第２の特定輝度画像を生成し、前記演算手段は、前記生成手段により分割領域毎に生成された第１及び第２の特定輝度画像に基づき、装置本体の動きに応じた手振れ補正量を分割領域毎に演算する第１の演算手段と、その第１の演算手段により分割領域毎に演算された手振れ補正量に基づき最終的な手振れ補正量を演算する第２の演算手段とを含むものとした。
【００１１】
また、請求項５の発明にあっては、前記ヒストグラム取得手段は、前記輝度レベル判定手段により特定輝度レベルが判定されるまで、前記前回の画像及び今回の画像における前記第１及び第２のヒストグラムデータの取得対象領域を、より面積の大きな領域に段階的に切り替えて前記第１及び第２のヒストグラムデータを取得し、前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により最初に判定された特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を生成するものとした。
【００１２】
また、請求項６の発明にあっては、前記ヒストグラム取得手段は、前記輝度レベル判定手段により特定輝度レベルが判定されるまで、前記前回の画像及び今回の画像における前記第１及び第２のヒストグラムデータの取得対象領域を、より面積の小さい領域に段階的に切り替えて前記第１及び第２のヒストグラムデータを取得し、前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により最後に判定された特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を生成するものとした。
【００１３】
また、請求項７の発明にあっては、前記ヒストグラム取得手段が段階的に切り替える取得対象領域の各々は、互いに独立した領域であるものとした。
【００１４】
また、請求項８の発明にあっては、前記ヒストグラム取得手段は、前記輝度レベル判定手段により特定輝度レベルが判定されるまで、前記前回の画像及び今回の画像における前記第１及び第２のヒストグラムデータの取得対象領域を、所定の順に切り替えて前記第１及び第２のヒストグラムデータを取得し、前記生成手段は、前記前回の画像及び今回の画像から、前記輝度レベル判定手段により最初に判定された特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像をそれぞれ生成するものとした。
【００１５】
また、請求項９の発明にあっては、撮像素子により撮像された前回の画像及び今回の画像から、各々の輝度分布を示す第１のヒストグラムデータ及び第２のヒストグラムデータを取得する工程と、取得した第１及び第２のヒストグラムデータから、双方間の差分を演算する工程と、演算した差分において、同一輝度の画素数の差が所定以上大きな特定輝度レベルを判定する工程と、判定した特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を、前記前回の画像及び今回の画像から生成する工程と、生成した第１及び第２の特定輝度画像に基づき装置本体の動きに応じた手振れ補正量を演算する工程とを含む方法とした。
【００１７】
また、請求項１０の発明にあっては、手振れ補正装置が有するコンピュータに、撮像素子により撮像された前回の画像及び今回の画像から、各々の輝度分布を示す第１のヒストグラムデータ及び第２のヒストグラムデータを取得する処理と、取得した第１及び第２のヒストグラムデータから、双方間の差分を演算する処理と、演算した差分において、同一輝度の画素数の差が所定以上大きな特定輝度レベルを判定する処理と、判定した特定輝度レベルの輝度を有する画素からなる第１及び第２の特定輝度画像を、前記前回の画像及び今回の画像から生成する処理と、生成した第１及び第２の特定輝度画像に基づき装置本体の動きに応じた手振れ補正量を演算する処理とを実行させるためのプログラムとした。
また、請求項１１の発明にあっては、前記演算手段により演算された手振れ補正量に応じ、今回の画像から切り出す所定サイズの有効画素領域の切り出し位置を設定する設定手段をさらに備えるものとした。
【発明の効果】
【００１８】
以上のように本発明においては、前回の画像と今回の画像との双方の画像における、他方側との違いが顕著である部分のみを構成するごく一部、必要最小限の画素情報に基づき効率的に装置本体の動きを検出することができるようにしたことから、高速かつ高精度の手振れ補正を行うことが可能となる。
【００１９】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、動画撮影が可能であるとともに本発明の手振れ補正装置を含むデジタルカメラやデジタルビデオカメラ等の撮像装置の要部を示すブロック図である。
【００２０】
この撮像装置は、レンズ１により結像された被写体の光学像を撮像するＣＣＤ２を備えている。ＣＣＤ２は垂直ドライバ３により駆動され、各画素の蓄積電荷レベルに応じた信号を出力する。この信号はＣＣＤ２の駆動タイミングに同期した信号に基づきＣＤＳ（Correlated Double Sampling）回路４でサンプリングされ、ＡＧＣ（Auto Gain Control）アンプ５に入力され所定のゲインが乗じられた後、Ａ／Ｄコンバータ６で例えば１０ビットでデジタル化されて画像データとして、ＣＣＤ２へ駆動タイミングを供給する画像処理部７のＣＣＤインターフェース部８に入力される。なお、ＣＣＤ２はＣＭＯＳセンサ等の撮像素子であっても構わない。
【００２１】
ＣＣＤインターフェース部８を介して入力された画像データは、第１のデータ演算器９によりデータの補正等の処理が行われた後、ＤＭＡ制御部１０を介して外部記憶部（ここでは、ＳＤＲＡＭ）１１にベイヤーデータとして順次格納される。
【００２２】
外部記憶部１１に格納された画像データ（ベイヤーデータ）は、ＤＭＡ制御部１０を介して第２のデータ演算器１２により読み出され、そこで後述する動画圧縮器１５に対応する所定のデータフォーマットへの変換や、画像データの補正等が行われた後、縮小器１３へ送られる。縮小器１３へ送られた上記画像データは、動画像の記録サイズ（画素サイズ）よりも縮小された後、ＤＭＡ制御部１０を介して外部記憶部１１に記憶される。なお、外部記憶部１１には、ＣＣＤ２から前回取り込まれた（撮像された）データに基づく前回のフレーム画像のデータが保持される構成であり、新たなフレーム画像のデータが記憶される時点で、ＤＭＡ制御部１０により前回のフレーム画像のデータが更新される。
【００２３】
その後、外部記憶部１１に記憶された前回及び今回の双方のフレーム画像のデータは電子手振れ補正器１４によって読み出され、そこで装置本体の動きに応じた今回のフレーム画像に対する切り出し位置が演算され（詳細については後述する）、そのデータが動画圧縮器１５に出力される。
【００２４】
また、外部記憶部１１に記憶された今回のフレーム画像は、動画圧縮器１５により読み出されるとともに、そこで電子手振れ補正器１４から入力した切り出し位置データにより示される位置における、記録サイズに応じたサイズの領域（有効画素領域）の画像が切り出された後、切り出された画像のデータが最終的にはＭＰＥＧ等の所定の動画フォーマットのデータに圧縮され、動画データとして外部記憶部１１に記憶される。
【００２５】
図２は、前記電子手振れ補正器１４の詳細を示したブロック図である。電子手振れ補正器１４は、先に述べたように今回のフレーム画像から切り出すべき領域の位置を示す切り出し位置データを前記動画圧縮器１５へ出力するものであり、ＤＭＡインターフェース部２０、ヒストグラム演算部２１、第１及び第２のヒストグラムデータ記憶部２２，２３、ヒストグラムデータ差分演算部２４、画像変換部２５、第１及び第２の変換画像記憶部２６，２７、差分データ演算部２８、動き補正量演算部２９、切り出し位置設定部３０の各部から構成されている。
【００２６】
ＤＭＡインターフェース部２０は、外部記憶部１１に新たなフレーム画像が記憶されたタイミングで、ＤＭＡ制御部１０に対し、前回のフレーム画像及び今回のフレーム画像の双方における分割領域であって、各々を上下左右等に４等分したうちの１／４の分割領域のデータを要求し、各々の分割領域データをヒストグラム演算部２１及び画像変換部２５に転送する。
【００２７】
ヒストグラム演算部２１は本発明のヒストグラム取得手段であり、転送された前回及び今回のフレーム画像の双方の分割領域データから、輝度を０〜２５５のレベルに区分して各輝度レベルの画素数を計算し、双方のフレーム画像の分割領域における輝度分布をそれぞれ示すヒストグラムデータを生成する。そして、前回のフレーム画像側の第１のヒストグラムデータを第１のヒストグラムデータ記憶部２２に記憶し、今回のフレーム画像側の第２のヒストグラムデータを第２のヒストグラムデータ記憶部２３に記憶する。なお、ヒストグラムの分解能は上記の半分（０〜１２７）等であっても構わない。
【００２８】
ヒストグラムデータ差分演算部２４は本発明の差分演算手段、輝度レベル判定手段であり、第１及び第２のヒストグラムデータ記憶部２２，２３に記憶された双方のヒストグラムデータから双方間の差分を演算するとともに、同一輝度の画素数の差が所定以上大きな特定輝度レベルを判定し、判定した特定輝度レベルを示すデータを前記画像変換部２５に出力する。図３（ａ）は、上記双方のヒストグラムデータの差分のうち、同一輝度の画素数の差が所定以上大きな特定輝度レベルに相当する部分を便宜的に示した図である。
【００２９】
画像変換部２５は本発明の生成手段であり、ＤＭＡインターフェース部２０から転送された双方のフレーム画像の分割領域データを、前記特定輝度レベルの輝度を有する画素のみからなる特定輝度画像にそれぞれ変換する。そして、前回のフレーム画像側の変換後の画像データを第１の変換画像記憶部２６に記憶し、今回のフレーム画像側の変換後の画像データを第２の変換画像記憶部２７に記憶する。図３（ｂ）は、前記特定輝度画像１００の一例を示した図である。
【００３０】
差分データ演算部２８は、動き補正量演算部２９と共に本発明の演算手段を構成しており、上記の第１及び第２の変換画像記憶部２６，２７の双方に記憶された双方の特定輝度画像の相対的な位置関係を決められた量毎に縦横方向にシフトさせながら、その都度に双方間の差分データを演算する。すなわち双方間の不一致領域における各画素の差分の絶対値を積分する演算を行う。そして、その演算結果（差分データ）を動き補正量演算部２９へ出力する。
【００３１】
動き補正量演算部２９は、差分データ演算部２８からの差分データが最も少ないときの前記双方の画像の相対的な位置関係に基づいて動き補正量を演算し、内部のレジスタ２９ａに記憶する。
【００３２】
また、前述したヒストグラム演算部２１及び画像変換部２５は、前回及び今回のフレーム画像における、２番目以降の他の１／４の分割領域のデータがＤＭＡインターフェース部２０から順に転送される毎に前述した動作を繰り返し行い、同様にヒストグラムデータ差分演算部２４、差分データ演算部２８、動き補正量演算部２９も前述した動作を繰り返し行う。
【００３３】
その間、動き補正量演算部２９は、分割領域毎の動き補正量を演算し、演算した動き補正量を随時レジスタ２９ａに記憶しておき、全ての分割領域毎の動き補正量を演算した段階でそれらの平均値を算出し、その平均値を画像全体の動き補正量（装置本体の動きに応じた手振れ補正量）として切り出し位置設定部３０へ出力する。
【００３４】
切り出し位置設定部３０は本発明の設定手段であり、動き補正量演算部２９からの動き補正量に基づき、今回のフレーム画像から切り出すべき領域の位置を演算し、その切り出し位置データを前記動画圧縮器１５へ出力する。
【００３５】
そして、係る切り出し位置データに基づき、前記動画圧縮器１５が今回のフレーム画像における記録用の画像部分の切り出し位置をシフトすることにより、各フレーム間の手振れが補正される。
【００３６】
以上のように本実施の形態においては、前回のフレーム画像のヒストグラムデータと、今回のフレーム画像のヒストグラムデータの差分を演算し、そのうちで同一輝度の画素数の差が所定以上大きな特定輝度レベルを判定し、双方のフレーム画像における特定輝度レベルの輝度を有する画素のみを対象として動き補正量（手振れ補正量）が演算される。
【００３７】
そのため、双方のフレーム画像をそのまま対象として動き補正量を演算する場合に比べると、極めて少ない必要最小限の画素情報に基づき効率的に動き補正量を演算することができる。つまり、動き補正量を短時間で演算することができる。しかも、双方のフレーム画像の特定部分（例えばフレーム画像の四隅）のみを対象として動き補正量を演算する場合に比べ、高精度の動き補正量を得ることができる。したがって、高速かつ高精度で手振れ補正を行うことができる。
【００３８】
なお、本実施の形態においては、電子手振れ補正器１４が、第２のデータ演算器１２によって動画圧縮器１５に対応する所定のデータフォーマットに変換された後の画像データを処理対象として動き補正量を演算するものとしたが、上記変換を行う前の画像データ（ベイヤーデータ）を処理対象として動き補正量を演算するものとしてもよい。
【００３９】
また、前回及び今回のフレーム画像を１／４の分割領域に分け、分割領域毎の動き補正量を演算し、それらを平均化したものを最終的な動き補正量としたが、以下のようにしてもよい。
【００４０】
すなわち前回及び今回のフレーム画像を４分割ではなく、例えば２分割や８分割した上で分割領域毎に動き補正量を演算するようにしてもよく、また、各分割領域の形状や面積は必ずしも同一でなくとも構わない。さらには、双方のフレーム画像を分割することなく全領域を対象として前述した処理を行って動き補正量を演算するようにしてもよい。
【００４１】
また、分割領域別の動き補正量を平均化して最終的な動き補正量を演算するとき、各動き補正量に領域別の重み付けを行うようにしてもよい。
【００４２】
また、前回及び今回のフレーム画像を分割する場合には、分割領域毎に動き補正量を演算して各動き補正量を平均化せずとも、いずれか１つの分割領域の動き補正量を最終的な動き補正量として採用するようにしてもよい。
【００４３】
その場合、例えば図４に示したように、前回及び今回のフレーム画像２００を中心部から外側に向けて順に面積が増大する第１の分割領域２００ａ〜第４の分割領域２００ｄに分割し、第１の分割領域２００ａから順に、つまり図４（ａ）〜同図（ｄ）の順に処理対象領域（図で斜線を施した領域）を切り替えながら動き補正量を演算していき、最初に有効な動き補正量の演算に成功した時点で、そのときの動き補正量を最終的な動き補正量として決定し、それ以後は、他の分割領域についての動き補正量の演算を中止させるようにしてもよい。
【００４４】
また、上記とは逆に、第４の分割領域２００ｄから順に、つまり図４（ｄ）〜同図（ａ）の順に処理対象領域を切り替えながら動き補正量を演算していき、その際、最初に有効な動き補正量の演算に成功した時点での動き補正量を最終的な動き補正量として決定し、それ以後は、他の分割領域についての動き補正量の演算を中止させるようにしてもよい。
【００４６】
また、前記ヒストグラムデータ差分演算部２４に、第１及び第２のヒストグラムデータ記憶部２２，２３に記憶された双方のヒストグラムデータから双方間の差分を演算させるとともに、全輝度区間を複数に分割した輝度区間毎に同一輝度の画素数の差が所定以上大きな特定輝度レベルを複数判定させ、そして、画像変換部２５に、前回及び今回のフレーム画像から上記複数の特定輝度レベル毎に前記特定輝度画像をそれぞれ生成させることにより、複数の特定輝度レベル毎に動き補正量を演算させ、それらを平均化したものを最終的な動き補正するようにしてもよい。
【００４７】
また、上記のように動き補正量を平均化せずに、動き補正量を複数の特定輝度レベル毎に所定の順に演算させ、いずれかの特定輝度レベルについて最初に有効な動き補正量の演算に成功した時点で、そのときの動き補正量を最終的な動き補正量として決定し、それ以後は、他の特定輝度レベルについての動き補正量の演算を中止させるようにしてもよい。
【００４８】
また、以上の説明においては、本発明を撮像装置において記録される動画像の手振れを補正することを目的として使用する場合について述べたが、これに限らず、本発明は、デジタルカメラにおける静止画の撮影待機状態でモニタに表示するスルー画像の手振れ補正にも使用することができる。
【００４９】
また、図２に示した前記電子手振れ補正器１４の各部における前述したデータ処理については、その一部や全てを、例えば撮像装置の全体を制御するＣＰＵ（図示せず）等に行わせるようにしてもよい。
【図面の簡単な説明】
【００５０】
【図１】本発明に係る撮像装置の要部を示すブロック図である。
【図２】電子手振れ補正器の詳細を示すブロック図である。
【図３】（ａ）は、ヒストグラムデータの差分のうちで同一輝度の画素数の差が所定以上大きな特定輝度レベルに相当する部分を示した図、（ｂ）は、特定輝度画像の一例を示す図である。
【図４】動き補正量の演算対象となる分割領域の他の例を示す図である。
【符号の説明】
【００５１】
２    ＣＣＤ
７    画像処理部
１１    外部記憶部
１４    電子手振れ補正器
１５    動画圧縮器
２０    ＤＭＡインターフェース部
２１    ヒストグラム演算部
２４    ヒストグラムデータ差分演算部
２５    画像変換部
２８    差分データ演算部
２９    動き補正量演算部
３０    切り出し位置設定部
【図１】
0004760484.tif 000002
【図２】
0004760484.tif 000003
【図３】
0004760484.tif 000004
【図４】
0004760484.tif 000005