(57)【要約】【課題】  シャッタ速度の遅い撮影を行った場合に生じる、手ぶれによる画像ぼけを削減するシステムにおける手ぶれの有無を検出する方法を提供する。【解決手段】  本発明の画像ぼけ削減撮像システムにおける手ぶれ検出方法は、静止画像撮影に先立って、所定の手ぶれ検出を行い、手ぶれが検出されなかった場合には、通常シャッタ速度での撮影を行い、獲得された画像データに対して通常の画像処理を行い、処理された画像データを記憶デバイスに書き込み、手ぶれが検出された場合には、通常シャッタ速度よりも速い高シャッタ速度での撮影を行い、獲得された画像データに対してゲイン増強を含む所定の画像処理を行い、処理された画像データを記憶デバイスに書き込む、ことからなる画像ぼけ削減撮像システムにおいて、合焦点後のＡＦ（自動焦点）出力信号の変化から手ぶれの有無を検出する方法である。【選択図】      図１
2008268736.tif 000002
【特許請求の範囲】
【請求項１】
静止画像撮影システムにおける自動焦点（ＡＦ）手段によってレンズの位置が合焦点に位置制御された後の当該自動焦点（ＡＦ）手段の出力信号の変化を検出することにより、手ぶれの有無を検出する手ぶれ検出方法。
【請求項２】
前記自動焦点（ＡＦ）手段は、山登り制御を用いて前記レンズの位置制御を行うＡＦ手段である、ことを特徴とする請求項１の手ぶれ検出方法。
【請求項３】
前記手ぶれの有無の検出は、前記ＡＦ手段からの合焦点時のＡＦ出力信号の値と合焦点時から所定時間後のＡＦ出力信号の値との差が所定値以下であれば手ぶれ無しと判断し、所定値以上であれば手ぶれ有りと判断することによって行われる、
ことを特徴とする請求項１の手ぶれ検出方法。
【請求項４】
被写体の画像を撮像する撮像手段と、
被写体に対して合焦点となるようにレンズの位置を自動的に制御する自動焦点（ＡＦ）手段と、
前記撮像手段によって撮像される画像を表す画像データに画像処理を行う画像処理手段と、
前記画像処理手段によって画像処理が行われた画像データを記憶する画像記憶手段と
を有し、
合焦点後における前記ＡＦ手段の出力信号の変化を検出することによって手ぶれの有無を検出し、
手ぶれが検出されなかった場合には、前記撮像手段のシャッタ速度を第１シャッタ速度に設定して撮像し、撮像により得られる画像データに対して前記画像処理手段で通常の画像処理を行い、画像処理された画像データを前記画像記憶手段に記憶させ、
手ぶれが検出された場合には、前記撮像手段で第２シャッタ速度に設定して撮像し、撮像により得られる画像データに対し前記画像処理手段でゲイン増倍を含む所定の画像処理を行い、処理された画像データを前記画像記憶手段に書き込む、
画像ぼけ防止システム。
【請求項５】
前記自動焦点（ＡＦ）手段は、山登り制御を用いて前記レンズの位置制御を行うＡＦ手段である、ことを特徴とする請求項４の画像ぼけ防止システム。
【請求項６】
前記手ぶれの有無の検出は、前記ＡＦ手段からの合焦点時のＡＦ出力信号の値と合焦点時から所定時間後のＡＦ出力信号の値との差が所定値以下であれば手ぶれ無しと判断し、所定値以上であれば手ぶれ有りと判断することによって行われる、ことを特徴とする請求項４の画像ぼけ防止システム。
【請求項７】
前記第２シャッタ速度は、前記第１シャッタ速度よりも速いシャッタ速度である、ことを特徴とする請求項４の画像ぼけ防止システム。
【請求項８】
前記ゲイン増倍を含む所定の画像処理は、通常シャッタ速度期間を高シャッタ速度期間で除した値にほぼ等しい倍増率を有するゲイン増倍処理を含むことを特徴とする請求項４の画像ぼけ防止システム。
【請求項９】
前記ゲイン増倍処理は、ピクセルクラスタリングであることを特徴とする請求項４の画像ぼけ防止システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置を用いて静止画像の撮影を行うカメラの撮像及び記録に関し、特に、その制御を行う際に、シャッタ速度の遅い撮影を行った場合に生じる手ぶれによる画像ぼけを防止するシステムにおける手ぶれの有無を検出する手ぶれ検出方法及び画像ぼけ防止システムに関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラなどの撮像装置では、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像デバイスが一般に用いられる。そこでは、固体撮像デバイスからの出力画像信号をＡ／Ｄコンバータでデジタル画像データに変換し、この画像データをデジタル信号処理して、画像データ記録装置に記録する。しかし、シャッタ速度が遅い場合には手ぶれが生じやすく、手ぶれが生じると画像がぼけるという問題があった。
【０００３】
そこで、この問題を解決するために、本願発明者らは既に、特願２００６−１０５００４、特願２００６−２９１５９４において、画像ぼけを防止した新規な撮像システムを提案している。このシステムは、カメラに手ぶれがあるかどうかを検出し、手ぶれがあった場合には、シャッタスピードを高速に切り替えると同時にゲインを増倍させることで、実質的に手ぶれによる画像ぼけを防止するシステムである。このときの手ぶれ検出方法として、プレビュー画像の所定フレームの所定位置での画像データと次のフレームの所定位置での画像データから「動きベクトル」を算出して、手ぶれを検出する方法を用いた。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、この「動きベクトル」を算出して手ぶれを検出する方法は、多くのハードウェアと／又はソフトウェアリソースを必要とする上、雑音耐性も十分でなかった。一方、前記画像ぼけ防止システムでは、手ぶれによる動きの方向や大きさまでも検出する必要はなく、手ぶれの有無だけを検出すればよい。本発明はこの観点に立ってなされたもので、その目的は前記画像ぼけ防止システムに最適化された簡易な手ぶれ検出方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の画像ぼけ防止システムにおける手ぶれ検出方法は、デジタルカメラに必須に備えられた自動焦点（ＡＦ）システムを利用するものであって、ＡＦシステムで焦点を合致（合焦点）させた後で、手ぶれがあるとＡＦ出力が低減するという現象を利用するものである。このＡＦシステムを利用した手ぶれ検出方法は、デジタルカメラに内蔵されているＡＦシステムをそのまま利用可能であり、新規なハードウェアやソフトウェアを全く必要としないという利点を有する。しかも、雑音に対する耐性が強く、手ぶれの有無を確実に検出できる。
【０００６】
また、本発明の画像ぼけ防止システムは、撮像手段と、ＡＦ（自動焦点）手段と、制御手段と、画像処理手段と、画像記憶手段とを有し、合焦点後の前記ＡＦ手段からの出力信号の変化から手ぶれの有無を検出し、手ぶれが検出されなかった場合には、前記撮像手段で通常シャッタ速度での撮影を行い、前記画像処理手段で獲得された画像データに対して通常の画像処理を行い、前記画像記憶手段に処理された画像データを書き込み、手ぶれが検出された場合には、前記撮像手段で通常シャッタ速度よりも速い高シャッタ速度での撮影を行い、前記画像処理手段で獲得された画像データに対してゲイン増強を含む所定の画像処理を行い、前記画像記憶手段に処理された画像データを書き込むものである。
【発明の効果】
【０００７】
本発明による画像ぼけ削減撮像システムの手ぶれ検出方法によれば、従来の「動きベクトル」を算出して手ぶれを検出する方法に比べ、ハードウェアと／又はソフトウェアリソースを大幅に削減でき、しかも雑音に対して非常に強い耐性を有するという優れた利点を有する。また、この手ぶれ検出方法を用いた画像ぼけ防止システムによれば手ぶれによって生じる画像ぼけを確実に防止でき、鮮明な静止画像を得ることができる。
【発明を実施するための最良の形態】
【０００８】
以下図面に従い、本発明の実施の形態について説明する。
【０００９】
図１は、本発明の手ぶれ検出方法を含む画像ぼけ防止システム１００の全体システムブロック図である。このシステムの動作は以下のようにして行われる。まず、被写体１０１からの光学画像が、レンズ１０２とシャッタ１０３を介してＣＣＤやＣＭＯＳセンサのような固体撮像デバイス１０４上に結像される。固体撮像デバイス１０４は、前記光学画像を電気信号に変換する。この電気信号は、ＡＤコンバータ１０５でデジタル画像データに変換される。このデジタル画像データは、画像データ処理ブロック１０６、に入力されるとともに、ＡＦ（自動焦点）ブロック１０７、ＡＥ（自動露出）ブロック１０８にも入力される。画像データ処理ブロック１０６は、得られたデジタル画像データに所定の信号処理を行って、ＪＰＥＧのような記録用の静止画像データを生成するための回路で、このブロック１０６からの出力が記録用の静止画像データとして画像データ記録ブロック１０９に入力され記録される。一方、ＡＦブロック１０７は、被写体に対して合焦点となるようにレンズ１０２の位置を自動的に調整するとともに、合焦点後にもそのＡＦ信号を出力し続け、その変化に応じて手振れがあるかどうかを検知する役目も果たす。ＡＥ（自動露出）ブロック１０８は、被写体１０１からの光学画像信号の露出条件を自動的に決定するもので、得られたデジタル画像データから自動的に生成された制御信号でシャッタ１０３の露出時間を制御する。シャッタ１０３は機械式シャッタでも電子式シャッタでもよい。コントローラ１１０は、ＡＥ１０８、ＡＦ１０７を含めたカメラ全体の動作を制御するもので、ＣＰＵやＤＳＰ又は専用のコントローラが用いられる。
【００１０】
図２は、画像ぼけ防止システム１００の動作を示すフローチャートである。図２を用いて、本発明の画像ぼけ防止システム１００の動作を説明する。ステップ２０１で、カメラの２段式のシャッタボタンが半押しされると（第１段目まで押されると）、ステップ２０２でＡＦ（自動焦点）動作が開始され、合焦点後もＡＦ出力が出力され続ける。この合焦点後のＡＦ出力を用いて、ステップ２０３で、後述する手ぶれ検出が行われる。もし、手ぶれが検出されなければ、さらに第２段目までシャッタボタンが押されることにより、ステップ２０４で通常シャッタ速度での撮像が行われ、ステップ２０５で通常の画像処理が行われ、ステップ２０６でその画像処理された画像データが記録メディアに記録される。もし、手ぶれが検出されれば、さらに第２段目までシャッタボタンが押されることにより、ステップ２０７で高シャッタ速度での撮像が行われ、ステップ２０８で後述するゲイン増倍処理を含む画像処理が行われ、ステップ２０９でその画像処理された画像データが記録メディアに記録される。なお、シャッタボタンは、上述のように２段式のものに限られるものではない。
【００１１】
図３は、通常シャッタ速度での撮像の場合と高シャッタ速度での撮像の場合の累積光量を比較したものである。この図から明らかなように、高シャッタ速度での撮像の場合の累積光量Ｉ２は、通常シャッタ速度での撮像の場合の累積光量Ｉ１に比べて、Ｔ２／Ｔ１だけ減少する。ここで、Ｔ１とＴ２は、各々、通常シャッタ速度での露出期間と高シャッタ速度での露出期間である。この結果、高シャッタ速度で撮影された画像データは、光量が不足するので、後述のゲイン増倍処理を含む所定の信号処理が行われる。このゲイン増倍処理におけるゲイン増倍率は、好ましくは、ほぼＴ１／Ｔ２である。
【００１２】
図４は、通常シャッタ速度での撮影の場合と高シャッタ速度での撮影の場合の画像ブレ量を比較したものである。高シャッタ速度での撮影の場合のズレ量Ｘ２は、通常シャッタ速度での撮影の場合のブレ量Ｘ１に比べて、Ｔ２／Ｔ１だけ減少する。この結果、通常シャッタ速度で撮影すると画像にブレが生じる場合でも、高シャッタ速度での撮影に切り替えることにより、画像のブレをシャッタ速度の切替前に比べて無視できるくらい小さくできる。
【００１３】
図５は、自動焦点（ＡＦ）動作を用いた手ぶれ検出を説明するための図で、（ａ）はレンズ位置とＡＦ出力の関係を示す図、（ｂ）はＡＦ出力の時間変化を示す。図５（ａ）を参照して、本実施例のＡＦ制御は、いわゆる「山登り制御」を用いる。即ち、レンズの位置制御は、ＡＦ出力が最大となるように行われ、最大となった合焦点位置にレンズが固定される。図５（ｂ）を参照して、ＡＦ動作を行って合焦点位置にレンズが固定された後、もし手ぶれがなければＡＦ出力は一定のままであるが、もし手ぶれがあれば合焦点時から所定時間後のＡＦ出力は減少する。従って、ＡＦ出力ＶＡＦＯの合焦点時からの変化量を測定することによって手ぶれの有無を精度良くかつ簡易に検出できる。即ち、もし、ＶＡＦＭＡＸ−ＶＡＦＯ≦Ｖｔｈであれば、手ぶれ無しと判断し、もし、ＶＡＦＭＡＸ−ＶＡＦＯ≧Ｖｔｈであれば、手ぶれ有りと判断する。ここで、Ｖｔｈは実験的に求められる定数で、雑音レベルより大きい値である。
【００１４】
図６は、ゲイン増倍処理を説明するための図で、（ａ）は緑（Ｇ）画素配置例、（ｂ）は赤（Ｒ）画素配置例、（ｃ）は青（Ｂ）画素配置例、を示す。ゲイン増倍処理はピクセルクラスタリングという方法を用いて行われる。即ち、目標画素とその隣接画素の画像データを加算処理して新しい画像データを生成し、この新しい画像データを目標画素の画像データと置き換えることによってゲイン増倍処理が行われる。このゲイン増倍処理は図示された緑（Ｇ）画素、赤（Ｒ）画素、青（Ｂ）画素について各々、独立に行われる。このピクセルクラスタリングによれば、ゲイン増倍だけでなく、空間フィルタリングによるノイズの除去も合わせて行われるので、単純なデジタルゲイン増倍法に比べて好ましい方法である。
【００１５】
以上詳述したように本発明の画像ぼけ防止システムにおける手ぶれ検出方法は、既存のＡＦ用のハードウェアとソフトウェアをそのまま利用できる上、雑音に対しても強い耐性を有する。また、この手ぶれ検出方法を用いた画像ぼけ防止システムによれば手ぶれによって生じる画像ぼけを確実に防止でき、鮮明な静止画像を得ることができる。
【００１６】
なお、本発明の趣旨を逸脱しない範囲で種々の変形例が本発明に含まれることは勿論である。
【００１７】
例えば、本発明の実施例では、ゲイン増倍処理として、ピクセルクラスタリング法を用いたが、単純なデジタルゲイン増倍法を用いてもよいことは勿論である。
【図面の簡単な説明】
【００１８】
【図１】本発明の画像ぼけ削減撮像システムの全体システムブロック図を示す。
【図２】本発明の画像ぼけ削減撮像システムシステムの動作を示すフローチャートを示す
【図３】通常シャッタ速度での撮影の場合と高シャッタ速度での撮影の場合の累積光量の比較である。
【図４】通常シャッタ速度での撮影の場合と高シャッタ速度での撮影の場合の画像のブレ量の比較である。
【図５】ＡＦ動作を用いた手ぶれ検出を説明するための図で、（ａ）は山登り制御、（ｂ）はＡＦ出力の時間変化である。
【図６】ピクセルクラスタリングによるゲイン増増倍理を説明するための図で、（ａ）は緑画素の配置例、（ｂ）は赤画素の配置例、（ｃ）は青画素の配置例を示す。
【符号の説明】
【００１９】
１００  画像ぼけ防止システム
１０１  被写体
１０２  レンズ
１０３  シャッタ
１０４  固体撮像デバイス
１０５  ＡＤコンバータ
１０６  画像データ処理ブロック
１０７  ＡＦ（自動焦点）ブロック
１０８  ＡＥ（自動露出）ブロック
１０９  画像データ記録ブロック
１１０  コントローラ
【図１】
2008268736.tif 000003
【図２】
2008268736.tif 000004
【図３】
2008268736.tif 000005
【図４】
2008268736.tif 000006
【図５】
2008268736.tif 000007
【図６】
2008268736.tif 000008