(57)【要約】      （修正有）【課題】記録ボタンが半押し状態のときに、明るさ、ホワイトバランス、焦点距離等のパラメータを設定し、深押し状態のときに撮像する機能を備えた撮像装置において、半押し状態のときに設定したパラメータを忠実に再現させるようにする手振れ補正機能を備えた撮像装置を提供する。【解決手段】画像を第１、第２フレームメモリに蓄積し、前記第１及び第２フレームメモリの何れかの出力側にゲインコントローラを有し、夫々のフレーム画像の輝度レベルが等しくなるように制御するゲイン制御手段と、前記ゲイン制御手段により輝度レベルを等しくした前記第１及び第２フレームメモリ画像の一部分の画素を抽出するコントローラを有し、抽出した夫々の一部分の画素から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により得られた動きベクトルの移動量に応じて補正量を算出して、撮像画像を補正する補正制御手段と、を備える。【選択図】    図１
2004229084.tif 000002
【特許請求の範囲】
【請求項１】
第１及び第２フレームメモリと該第１及び第２フレームメモリを制御するメモリコントローラとを有し、前記第１フレームメモリと第２フレームメモリに対して異なる時刻でフレーム画像を書き込むメモリ制御手段と、
前記第１及び第２フレームメモリの何れかの出力側にゲインコントローラを有し、前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の輝度レベルが等しくなるように制御するゲイン制御手段と、
前記ゲイン制御手段により輝度レベルを等しくした前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の一部分の画素を抽出するコントローラを有し、抽出した夫々の一部分の画素から動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により得られた動きベクトルの移動量に応じて補正量を算出して、前記記録ボタンが深押し状態のときに得られる撮像画像を補正する補正制御手段と、
を備えたことを特徴とする手振れ補正装置。
【請求項２】
前記メモリ制御手段は、記録ボタンが半押し状態のときの少なくとも、明るさ、ホワイトバランス、焦点距離を設定するときに、前記第１フレームメモリにフレーム画像を書き込み、記録ボタンが深押し状態のときに前記第２フレームメモリにフレーム画像を書き込むことを特徴とする請求項１に記載の手振れ補正装置。
【請求項３】
動きベクトル検出手段は、代表点マッチング手法により動きベクトルを検出することを特徴とする請求項１に記載の手振れ補正装置。
【請求項４】
記録ボタンが半押し状態のときのフレーム画像を第１フレームメモリに蓄積して画像の明るさを設定し、記録ボタンが深押し状態のときのフレーム画像を第２フレームメモリに蓄積して画像の明るさを設定し、前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の輝度レベルを等しくすると共に、前記第１フレームメモリに蓄積されているフレーム画像の一部分の画素と前記第２フレームメモリに蓄積されているフレーム画像の一部分の画素と比較して動きベクトルを検出し、前記動きベクトルで検出した情報を基に、前記記録ボタンが深押し状態のときに得られる撮像画像を補正することを特徴とする手振れ補正方法。
【請求項５】
記録ボタンが半押し状態のときに、少なくとも、明るさ、ホワイトバランス、焦点距離のパラメータを設定し、記録ボタンが深押し状態のときに撮像するように機能する撮像装置であって、
記録ボタンが半押し状態のときのフレーム画像を第１フレームメモリに蓄積して画像の明るさを設定し、記録ボタンが深押し状態のときのフレーム画像を第２フレームメモリに蓄積して画像の明るさを設定するメモリ制御手段と、
前記第１及び第２フレームメモリの何れかの出力側にゲインコントローラを有し、前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の輝度レベルが等しくなるように制御するゲイン制御手段と、
前記ゲイン制御手段により輝度レベルを等しくした前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の一部分の画素を抽出するコントローラを有し、抽出した夫々の一部分の画素から動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出手段により得られた動きベクトルの移動量に応じて補正量を算出して、前記記録ボタンが深押し状態のときに得られる撮像画像を補正する補正制御手段と、
を備えたことを特徴とする撮像装置。
【請求項６】
前記動きベクトル検出手段は、代表点マッチング手法により動きベクトルを検出することを特徴とする請求項５に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、手振れ補正装置、手振れ補正方法及び撮像装置に関するものであり、詳しくは半押しと深押しとの機能を有する記録ボタンを備えた撮像装置において、深押ししたときの手振れを防止する手振れ補正装置、手振れ補正方法及び撮像装置に関する。
【０００２】
【従来の技術】
従来のデジタルカメラである撮像装置の記録ボタン（シャッターリリースボタンともいう）には２つのストローク状態が存在している。
一つ目は半押し状態で、明るさやホワイトバランスや焦点距離などのパラメータを決定するのみで、記録媒体に記録することは行われない。２つ目は、深押し状態で決定されたパラメータを維持した状態で、撮像した画像を記録媒体に記録することを行う。
【０００３】
【特許文献１】
特開２００２−１３１７９９号公報  （第５頁  第３図）
【０００４】
【発明が解決しようとする課題】
しかしながら、従来技術で説明した撮像装置において、記録ボタンを半押しから深押し状態へ遷移する途中で、手振れなどにより撮影者の所望の画枠に対してずれる場合がある。そのため、明るさやホワイトバランスや焦点距離は撮影者の期待通りに処理できても、実際に撮影したときの記録データは異なった、所謂、画揺を生じることになる。そのため、画揺れに対しては三脚などの固定装置を用いなければ期待通りに撮影できないという問題がある。
【０００５】
従って、半押しと深押しの機能を備えた記録ボタンを有する撮像装置において、深押ししたときに画揺れが生じないようにして記録できる手振れ補正装置、手振れ補正方法及び撮像装置に解決しなければならない課題を有する。
【０００６】
【課題を解決するための手段】
上記課題を達成するために、本発明に係る手振れ補正装置、手振れ補正方法及び撮像装置は、次に示す構成にすることである。
【０００７】
（１）手振れ補正装置は、第１及び第２フレームメモリと該第１及び第２フレームメモリを制御するメモリコントローラとを有し、前記第１フレームメモリと第２フレームメモリに対して異なる時刻でフレーム画像を書き込むメモリ制御手段と、前記第１及び第２フレームメモリの何れかの出力側にゲインコントローラを有し、前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の輝度レベルが等しくなるように制御するゲイン制御手段と、前記ゲイン制御手段により輝度レベルを等しくした前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の一部分の画素を抽出するコントローラを有し、抽出した夫々の一部分の画素から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により得られた動きベクトルの移動量に応じて補正量を算出して、前記記録ボタンが深押し状態のときに得られる撮像画像を補正する補正制御手段と、を備えたことである。
（２）前記メモリ制御手段は、記録ボタンが半押し状態のときの少なくとも、明るさ、ホワイトバランス、焦点距離を設定するときに、前記第１フレームメモリにフレーム画像を書き込み、記録ボタンが深押し状態のときに前記第２フレームメモリにフレーム画像を書き込むことを特徴とする（１）に記載の手振れ補正装置。
（３）動きベクトル検出手段は、代表点マッチング手法により動きベクトルを検出することを特徴とする（１）に記載の手振れ補正装置。
【０００８】
（４）手振れ補正方法は、記録ボタンが半押し状態のときのフレーム画像を第１フレームメモリに蓄積して画像の明るさを設定し、記録ボタンが深押し状態のときのフレーム画像を第２フレームメモリに蓄積して画像の明るさを設定し、前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の輝度レベルを等しくすると共に、前記第１フレームメモリに蓄積されているフレーム画像の一部分の画素と前記第２フレームメモリに蓄積されているフレーム画像の一部分の画素と比較して動きベクトルを検出し、前記動きベクトルで検出した情報を基に、前記記録ボタンが深押し状態のときに得られる撮像画像を補正することである。
【０００９】
（５）撮像装置は、記録ボタンが半押し状態のときに、少なくとも、明るさ、ホワイトバランス、焦点距離のパラメータを設定し、記録ボタンが深押し状態のときに撮像するように機能する撮像装置であって、記録ボタンが半押し状態のときのフレーム画像を第１フレームメモリに蓄積して画像の明るさを設定し、記録ボタンが深押し状態のときのフレーム画像を第２フレームメモリに蓄積して画像の明るさを設定するメモリ制御手段と、前記第１及び第２フレームメモリの何れかの出力側にゲインコントローラを有し、前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の輝度レベルが等しくなるように制御するゲイン制御手段と、前記ゲイン制御手段により輝度レベルを等しくした前記第１及び第２フレームメモリに蓄積されている夫々のフレーム画像の一部分の画素を抽出するコントローラを有し、抽出した夫々の一部分の画素から動きベクトルを検出する動きベクトル検出手段と、前記動きベクトル検出手段により得られた動きベクトルの移動量に応じて補正量を算出して、前記記録ボタンが深押し状態のときに得られる撮像画像を補正する補正制御手段と、を備えたことである。
（６）前記動きベクトル検出手段は、代表点マッチング手法により動きベクトルを検出することを特徴とする（５）に記載の撮像装置。
【００１０】
このように、時刻が異なる時期、即ち、記録ボタンが半押し状態のときのフレーム画像を第１フレームメモリに蓄積し、記録ボタンが深押し状態のときのフレーム画像を第２フレームメモリに蓄積するようにし、深押し状態に遷移したときに、第１及び第２フレームメモリに蓄積されているフレーム画像の輝度レベルが等しくなるようにゲイン制御を行うと共に、夫々のフレーム画像の一部分の画素を比較することで、半押しから深押し状態に遷移する際のフレーム画像の動きベクトルを検出し、この動きベクトルに基づいて、深押し状態のときに得られた撮像画像を補正することで、半押し状態で設定された様々なパラメータに充実に基づいた撮像画像を得ることが可能になる。
【００１１】
【発明の実施の形態】
次に、本願発明に係る手振れ補正装置、手振れ補正方法及び撮像装置の実施形態について、図面を参照して、以下説明する。
【００１２】
本願発明の手振れ補正装置、手振れ補正方法を具現化できる撮像装置は、図１に示すように、被写体を撮像する撮像デバイス１１と、撮像デバイス１１で得られた撮像信号であるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器１２と、Ａ／Ｄ変換器１２で得られたデジタル信号を輝度検出器１５から得た情報を基にマイコン２０にて最適な明るさになるようなゲインを算出し、このゲインにより調整を行う第１ゲインコントローラ１３と、輝度調整されたデジタル信号をマイコン２０からの制御により第１フレームメモリ１８の書き込みと第２フレームメモリ１９の読み書きを制御するメモリコントローラ１４と、マイコン２０の制御により撮像デバイス１１を駆動させるタイミングジェネレータ（ＴＧ）１７と、記録ボタン２３の半押し時のフレーム画像を蓄積する第１フレームメモリ１８と、記録ボタン２３の深押し時のフレーム画像を蓄積する第２フレームメモリ１９と、第２フレームメモリ１９に蓄積されているフレーム画像に基づいて動きベクトルを検出する際に比較画像の輝度レベルが同じになるように調整する第２ゲインコントローラ２１と、第１フレームメモリ１８と第２フレームメモリ１９との２つのフレーム画像から動きベクトルを検出し、マイコン２０に検出情報を出力する動きベクトル検出部２２と、メモリコントローラ１４から出力される画像の輝度情報をマイコン２０に出力する輝度検出器１５と、動きベクトル検出部２２で得られた動きベクトルを基にマイコン２０が算出した補正情報により補正を行う補正器１６と、撮像した映像データを補正器１６で補正した補正画像を記録する記録媒体２４とから大略構成されている。
【００１３】
動きベクトル検出部２２は、図２に示すように、第１フレームメモリ１８（図１参照）の画像を入力する第１入力部２５と、第２フレームメモリ１９（図１参照）の画像を入力する第２入力部２６と、第１入力部２５で入力した画像データに対して動きベクトルを検出するのに不要な周波数成分を除去するための第１フィルタ処理回路部３１と、第２入力部２６で入力した画像データに対して動きベクトルを検出するのに不要な周波数成分を除去するための第２フィルタ処理回路部３３と、第１フィルタ処理回路部３１で処理された第１フレームメモリ１８の画像から代表点を抽出し、その輝度レベルを記憶する処理をする代表点抽出回路部３２と、代表点抽出回路部３２で抽出した第１フレームメモリ１８（図１参照）の画像の代表点の輝度レベルと第２フィルタ処理回路部３３で得られた第２フレームメモリ１９（図１参照）の画像のサーチ範囲における画素の輝度レベルとの差を絶対値化する絶対値変換回路部３４と、絶対値変換回路部３４で求めた各サーチ範囲で求めた残差の絶対値を、図５に示すように、各座標毎に累積加算する累積加算回路部３５と、累積加算回路部３５で累積された結果に基づき、図６に示すように、最も相関が高い点を検索して動きベクトルとして発生させる動きベクトル発生回路部３６とから構成されている。
【００１４】
このような構成からなる撮像装置において、マイコン２０により制御されているタイミングジェネレータ（ＴＧ）により撮像デバイス１１が駆動される。この撮像デバイス１１から出力されるアナログ信号は、Ａ／Ｄ変換器１２によりアナログ信号からデジタル信号に変換される。このデジタル信号は輝度検出器１５から得た情報を基にマイコン２０にて最適な明るさになるようなゲインを算出し、第１ゲインコントローラ１３において調整を行う。
メモリコントローラ１４はマイコン２０により制御され、第１フレームメモリ１８の書き込みと第２フレームメモリ１９の読み書きを行う。
輝度検出器１５では、メモリコントローラ１４から出力された画像の輝度情報をマイコン２０に出力する。補正器１６では動きベクトル検出部２２で得られた動きベクトルを基にマイコン２０が算出した補正情報により補正を行う。
第１フレームメモリ１８は、記録ボタン２３が半押し時の画像を蓄積する。第２フレームメモリ１９は、記録ボタン２３が深押し時の画像を蓄積する。第２ゲインコントローラ２１は動きベクトルを検出する際に、比較画像の輝度レベルが同じになるように調整するためのものであり、半押しと深押し状態における画像の輝度情報を基に、マイコン２０により制御される。動きベクトル検出部２２は、第１及び第２フレームメモリ１８、１９の夫々のフレーム画像から抽出した画素を比較して動きベクトルを検出し、マイコン２０にその検出情報を出力する。
【００１５】
さて、上記構成からなる動きベクトル検出部２２は、代表点マッチング法を用いて手振れ補正をするもので、この代表点マッチング法は、過去と現在の２つの異なる時刻における画像から動きベクトルを検出する場合、過去の画像のある１画素（代表点）の輝度レベルが現在の画像のどの座標の画素に最も近いかを検出する手法である。
【００１６】
図３は、代表点マッチング法による動きベクトルの検出方法を示したものであり、代表点抽出回路部３２で処理する。
番号６は第ｍフレーム（第１フレームメモリ１８に蓄積されているフレーム画像）を示し、番号７は第ｎフレーム（第２フレームメモリ１９に蓄積されているフレーム画像）を示す。ここでｍ＜ｎである必要がある。番号３は１つの画素を示している。番号１はサーチ範囲であり、この範囲内において動きベクトルの検出を行う。番号２は第ｍフレームで設定された代表点を示し、番号５は第ｎフレームでサーチ範囲内の各画素の輝度レベルと第ｍフレームの代表点２の輝度レベルと比較し、サーチ範囲内の画素の中で代表点２の輝度レベルに最も近い画素である。この第ｍフレームの代表点２と画素５の位置関係から動きベクトル４を検出する。
【００１７】
図４は、検出領域１と、１つの検出領域１に含まれる複数のサーチ範囲２を示すものである。番号１はサーチ範囲の集合体を示し、複数のサーチ範囲より１つの動きベクトルの検出を行う。番号２は１つのサーチ範囲を示し、１つの代表点３と比較用の画素を持つ。
【００１８】
図５は、第２フレームメモリ１９（図１参照）のフレーム画像のサーチ範囲における画素の輝度レベルとの差を絶対値化する絶対値変換回路部３４で求めた各サーチ範囲の残差の絶対値を、各座標毎に累積加算する累積加算回路部３５の動作を説明したものであり、各サーチ範囲における残差の絶対値とその積分について示したものである。
番号１は１つのサーチ範囲における第ｍフレームにおける代表点と第ｎフレームにおける各画素との差分の絶対値を示すものである。このサーチ範囲における代表点は、サーチ範囲が配置された座標毎に異なっている。
番号２は各サーチ範囲における残差の絶対値化されたデータを、サーチ範囲の同一座標毎に積分したものを示す。これは、複数のサーチ範囲を持たせることで検出精度を向上させるためである。
【００１９】
図６は、動きベクトル発生回路部３６の動作を説明したもので、上記した図５に示す累積加算回路部３５で累積された結果に基づき、最も相関が高い点を検索して動きベクトルとして発生させる様子を示したものである。
即ち、偏移と残差の絶対値の関係を示したものであり、最も相関が高い（残差の絶対値がもっとも小さい）点ａと代表点の位置から動きベクトルを検出する。
【００２０】
次に、上記説明した構成からなる撮像装置における記録ボタンが押されたときの制御フローについて、図１及び図２に示すブロック図を参照して、図７及び図８に示すフローチャートに基づいて以下説明する。
【００２１】
先ず、この制御フローは毎フレーム呼出され、記録ボタン２３が押されているかを判別する。押されている場合は、半押し又は深押しの状態を判別する処理に移り、押されていない場合には通常の処理を行う（ステップＳＴ１１、ＳＴ１２、ＳＴ１３、ＳＴ１４、ＳＴ１５）。
【００２２】
ステップＳＴ１２において、記録ボタン２３が半押し状態のときは、図８（Ａ）に示すように、半押し状態時のフレーム画像を第１フレームメモリ１８に書き込む（ステップＳＴ３１）。
そして、この第１フレームメモリ１８に書き込まれたフレーム画像は後の動きベクトル検出における比較用画像として扱われる。
次に、メモリコントローラ１４から第１フレームメモリ１８に書き込まれたものと同一のフレーム画像が輝度検出器１３に入力され、ここでの検出値を変数ｂｒｉｇｈｔＡに設定する（ステップＳＴ３２）。
【００２３】
図７に示すステップＳＴ１２において、記録ボタン２３が半押し状態ではなく、深押し状態のときには、深押し処理が行われる（ステップＳＴ１４）。
【００２４】
深押し処理は、図８（Ｂ）に示すように、先ず、深押し状態時のフレーム画像を第２フレームメモリ１９に書き込む（ステップＳＴ２１）。ここに書き込まれたフレーム画像は後の補正用画像として扱われる。次に、メモリコントローラ１４から第２フレームメモリ１９に書き込まれたものと同一のフレーム画像が輝度検出器１５に入力されるが、ここでの検出チェックを変数ｂｒｉｇｈｔＢに設定する（ステップＳＴ２２）。
次に、第２フレームメモリ１９の画像の輝度レベルが第１フレームメモリ１８の画像の輝度レベルと同一になるようなゲインを求める（ステップＳＴ２３）。
ｇａｉｎ＝ｂｒｉｇｈｔＢ／ｂｒｉｇｈｔＡ
次に、上記で求めた変数ｇａｉｎを第２ゲインコントローラ２１に設定する（ステップＳＴ２４）。この処理は、代表点マッチングでは輝度レベルの比較を行うための両画像のレベルを等しくするために必要なものである。
次に、第２ゲインコントローラ２１と第２フレームメモリ１９より出力されたフレーム画像より、動きベクトル検出部２２において検出した情報を基にマイコン２０にて補正量を算出する（ステップＳＴ２５）。
次に、第２フレームメモリ１９のフレーム画像をメモリコントローラ１４より読出しを行い、マイコン２０にて算出した補正情報を基に補正器１６にて補正（部分抽出）を行う（ステップＳＴ２６）。
【００２５】
図９は、第１及び第２フレームメモリ１８，１９に書き込むタイミングと記録媒体２４に書き込むタイミングを経時的に示したものであり、時刻５で記録ボタン２３が半押し状態に変化すると、撮像デバイス１１のフレーム画像は第１フレームメモリ１８に書き込まれる。又、半押し状態では明るさやホワイトバランスや焦点距離などのパラメータを決定する処理が同時に行われる。
時刻１５で記録ボタン２３が深押し状態に変化すると、撮像デバイス１１のフレーム画像は第２フレームメモリ１９に書き込まれる。時刻１６では第１フレームメモリ１８から読み出されたフレーム画像は第２ゲインコントローラ２１で調整された後、動きベクトル検出部２２に入力される。同時に第２フレームメモリ１９から読み出されたフレーム画像は動きベクトル検出部２２に入力される。時刻１７では、第２フレームメモリ１９から読み出されたフレーム画像は補正器１６に入力される。
そして、時刻１６で検出された動きベクトル情報を基にマイコン２０が補正器１６で入力画像に対して補正を行い、補正画像を記録媒体２４に対して記録を行う。
【００２６】
【発明の効果】
上記説明したように、本発明に係る手振れ補正装置、手振れ補正方法及び撮像装置は、記録ボタンが半押し状態のときのフレーム画像を第１フレームメモリに蓄積し、記録ボタンが深押し状態のときの画像を第２フレームメモリに蓄積するようにし、深押し状態に遷移したときに、第１フレームメモリに蓄積されているフレーム画像の輝度レベルが等しくなるようにゲイン制御を行い、次に、半押しから深押し状態に遷移する際のフレーム画像から動きベクトルを検出して深押し状態のときに得られた撮像画像を補正することで、深押し状態のときの画像の手振れを補正することができ、撮影者の期待通りの映像を得ることができるという効果がある。
【図面の簡単な説明】
【図１】本発明に係る手振れ補正機能を備えた撮像装置のブロック図である。
【図２】同、動きベクトル検出部のブロック図である。
【図３】同、代表点マッチング法による動きベクトルの検出方法を示した説明図である。
【図４】同、検出領域と、１つの検出領域に含まれる複数のサーチ範囲を示した説明図である。
【図５】同、各サーチ範囲における残差の絶対値とその積分について示した説明図である。
【図６】同、偏移と残差の絶対値の関係を示し、最も相関が高い点ａと代表点の位置から動きベクトルを検出する様子を示した説明図である。
【図７】同、制御フローを示すフローチャートである。
【図８】同、半押しの状態と深押しの状態の処理を示すフローチャートである。
【図９】同、第１及び第２フレームメモリへの書き込みを示すタイミングチャートである。
【符号の説明】
１１；撮像デバイス、１２；Ａ／Ｄ変換器、１３；第１ゲインコントローラ、１４；メモリコントローラ、１５；輝度検出器、１６；補正器、１７；タイミングジェネレータ、１８；第１フレームメモリ、１９；第２フレームメモリ、２０；マイコン、２１；第２ゲインコントローラ、２２；動きベクトル検出部、２３；記録ボタン、２４；記録媒体、２５；第１入力部、２６；第２入力部、３１；第１フィルタ処理回路部、３２；代表点抽出回路部、３３；第２フィルタ処理回路部、３４；絶対値変換回路部、３５；累積加算回路部、３６；動きベクトル発生回路部。
【図１】
2004229084.tif 000003
【図２】
2004229084.tif 000004
【図３】
2004229084.tif 000005
【図４】
2004229084.tif 000006
【図５】
2004229084.tif 000007
【図６】
2004229084.tif 000008
【図７】
2004229084.tif 000009
【図８】
2004229084.tif 000010
【図９】
2004229084.tif 000011