(57)【要約】【課題】光量が不足する場所でストロボ装置を使わずに静止画を撮影する際、手ぶれを抑えた高画質の静止画を撮影することができるカメラ装置を提供するものである。【解決手段】被写体における光量が少ない時、信号処理部４は周波数逓倍部５に対して撮像素子２の露光時間を短くするよう制御するとともに、撮像素子２から出力される電気信号に基づいて複数枚の画像を生成し、画像合成部７は、信号処理部４から出力される複数枚の画像を合成して、１枚の画像を生成するものである。【選択図】図１
2007110636.tif 000002
【特許請求の範囲】
【請求項１】
レンズを介して入射される光学画像を電気信号に変換する撮像素子と、
前記撮像素子から出力される電気信号に基づいて映像信号を生成するとともに、前記撮像素子の動作クロックを出力する信号処理部と、
前記信号処理部から出力される映像信号を表示可能な表示部と、
前記信号処理部から出力される映像信号を記録または再生可能な情報媒体とを備え、
シャッターボタンを操作することにより、少なくとも静止画を撮影可能なカメラ装置であって、
前記信号処理部から出力され前記撮像素子に入力される動作クロックの周波数を逓倍可能な周波数逓倍部と、
カメラ装置の手ぶれを検出可能な手ぶれ検出部と、
前記手ぶれ検出部で検出される手ぶれに基づいて、前記信号処理部から出力される静止画のフレームをシフトさせ、画像の動き補償を行う動き補償部と、
前記動き補償部から出力される複数枚の画像を合成して、一枚の静止画を生成可能な画像合成部とを備え、
被写体における光量が少ない時、
前記周波数逓倍部は、前記撮像素子の露光時間が短くなるように前記動作クロックの周波数を逓倍し、
逓倍された動作クロックで前記撮像素子を動作させ、
前記撮像素子から出力される電気信号に基づいて、前記信号処理部で複数枚の画像を生成し、
前記複数枚の画像を前記画像合成部で合成して、１枚の画像を生成することを特徴とするカメラ装置。
【請求項２】
前記手ぶれ検出部は、角速度センサーで構成されている請求項１記載のカメラ装置。
【請求項３】
前記信号処理部は、生成した映像信号のフレーム相関に基づき、手ぶれを検出する請求項１記載のカメラ装置。
【請求項４】
前記動き補償部は、前記信号処理部から出力される画像を複数のブロックに分割し、分割された各々のブロックに対してそれぞれ動き補償処理を行うよう制御する請求項１及び３記載のカメラ装置。
【請求項５】
前記画像合成部は、前記動き補償部において分割された各々のブロックに対して、画像の合成または非合成の処理を選択的に行う請求項４記載のカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ぶれ補正機能を有するカメラ装置に関するものである。
【背景技術】
【０００２】
静止画の撮影に際して画質に大きな影響を与える要素として、カメラを構えた手が手ぶれを起こすことによる画質劣化が広く知られている。最近、主流となってきているデジタルカメラは、一般的に、レンズ、ＣＣＤ（光電変換素子）やＣＭＯＳセンサーといった撮像素子、信号処理回路、情報媒体、等から構成されており、レンズによって被写体の光学情報を撮像素子の撮像面に結像して撮影する構成となっている。この際、撮像素子で光学情報を電気的情報に変換するためには、一定期間光信号を撮像素子の撮像面上に結像させるよう制御する電子シャッター機能が必要になる。この電子シャッターのシャッター時間（撮像素子において露光されている時間）の間に手ぶれが発生すると、撮像素子上の結像位置がずれてしまい、暈けた画像が撮影されてしまう。
【０００３】
昨今では、動画を撮影可能なビデオカメラを中心に、手ぶれ補正機能を備えたカメラ装置が多数製品化されている。この手ぶれ補正機能を利用することによって、手ぶれによる画質劣化を低減させている。
【０００４】
手ぶれ補正の方式は、「光学式手ぶれ補正」と「電子式手ぶれ補正」の２つの方式が広く知られている。まず、光学式手ぶれ補正は、レンズあるいは撮像素子を、光軸に対して直交する方向へ物理的に動かし、手ぶれによる光軸のぶれをキャンセルさせる方式である。光学式手ぶれ補正は、精度の高い補正が可能である反面、レンズや撮像素子を動かすための可動部材を必要とするため、小型化、低価格化には適していない。
【０００５】
また、電子式手ぶれ補正は、撮像素子の出力信号に対してデジタル信号処理を施すことにより、手ぶれを補正するものである。電子式手ぶれ補正は、全てデジタル信号処理で実現できるため、小型化、低価格化に適している。
【０００６】
以下、電子式手ぶれ補正機能を搭載した従来のカメラ装置について説明する。
【０００７】
図９は従来のカメラ装置の構成を示すブロック図である。図において、カメラ部３は、レンズ１とイメージセンサー２とを備えている。イメージセンサー２は、ＣＣＤやＣＭＯＳセンサーなどから構成されている。レンズ１を介してイメージセンサー２に入射される光信号は、イメージセンサー２において光電変換されて、電気信号が出力される。イメージセンサー２から出力される電気信号は、アナログデジタル変換部（以下ＡＤＣと記す）１４に入力されてデジタル信号に変換された後、信号処理回路４（以下ＤＳＰと記す）に入力される。ＤＳＰ４では、入力される信号に対してノイズ除去や画質調整などの一般的な信号処理が施されるとともに、動き補償（手ぶれ補正）処理が施され、画像信号が出力される。ＤＳＰ４から出力される画像信号は、例えば液晶ディスプレイから構成される表示部１３において表示されるとともに、静止画信号処理回路９に出力される。なお、静止画信号処理回路９へ出力されるのは、撮影者がシャッターボタン（図示せず）などを操作して撮影命令が入力された時のみである。静止画信号処理回路９に入力される画像信号は、圧縮処理などが施され、情報媒体１０に記録される。
【０００８】
次に、カメラ装置における手ぶれの発生原理について説明する。
【０００９】
図１０Ａ（ａ）は、静止画の手ぶれの発生メカニズムを示す模式図である。図１０Ｂ（ａ）は被写体が十分に明るい場合のシャッター速度を示すタイミング図である。図１０Ｃ（ａ）は被写体が暗い場合のシャッター速度を示すタイミング図である。各図（ｂ）は、撮像素子１０３によって撮像された画像を示す模式図である。
【００１０】
図１０Ａに示すように、入射される被写体１０１の光学情報は、レンズ１０２によっ撮像素子１０３の撮像面上に結像されることによって、静止画を撮影することができる。撮影時、カメラ装置において手ぶれが発生していない場合は、光軸１０４ａに示すようにレンズ１０２の中心を通り、撮像素子１０３の撮像面のほぼ中心に位置する。しかし、カメラ装置において手ぶれが生じた場合、光軸１０４ｂに示すように歪んでしまい、撮像素子１０３の撮像面の中心から大きくずれてしまう。これにより、撮像素子１０３から得られる画像信号は、（ｂ）に示すように暈けた画像１０５となってしまう。
【００１１】
また、被写体の光量が十分に明るい場合には、図１０Ｂ（ａ）に示すようにシャッター速度は短くなるように制御されるので、たとえ撮影中に手ぶれが発生したとしても、（ｂ）に示すように画像に対する影響は小さく、暈けが目立たない画像１０５ａとなる。
【００１２】
しかし、被写体が暗く光量が不足している場合、図１０Ｃ（ａ）に示すようにシャッター速度は遅くなるよう制御される。シャッター速度が遅くなりシャッター時間が長くなると、撮像開始時点の結像タイミング（図中Ｔａ）と撮像終了時点の結像タイミング（図中Ｔｂ）とで、時間的に大きな隔たりが生じる。すると、タイミングＴａにおいて（ｂ）の画像１０５ｂが撮像されているのに対して、タイミングＴｂでは手ぶれによって結像位置がずれた画像１０５ｃが撮像される。これらの画像１０５ｂ及び１０５ｃを加算して撮像素子１０３から得られる画像１０５ｄは、暈けてしまい画質劣化してしまう。このような場合、一般的には手ぶれを回避するために、ストロボを発光させて被写体の光量を多くし、シャッター時間を短くする手法が使われることが多い。
【００１３】
一方、動画撮影時は手ぶれによる影響が少ない。すなわち、図１１（ａ）に示すように、動画撮影時はフレーム周期（１／３０秒）で静止画を撮影している。よって、動画撮影時に発生する手ぶれは、（ｂ）に示すように、残像効果によってそれぞれの静止画を重ね合わせたように見える。このような手ぶれに対して、（ｃ）に示すように、各フレームの被写体の位置を一致させるように、各フレームの位置をずらす処理を行うことにより、手ぶれを補正することができる（例えば、特許文献１参照）。
【特許文献１】特開平１０−２００８０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら上記従来の構成では、夜景や花火の撮影など、光量が不足する場所でストロボ装置を使わずに静止画撮影を行うと、シャッター速度が遅くなるよう制御されてしまうため、図１０Ｃに示すように、手ぶれが原因で画質が劣化してしまうという問題があった。
【００１５】
本発明は、上記問題に鑑み、光量が不足する場所でストロボ装置を使わずに静止画を撮影する際、手ぶれを抑えた高画質の静止画を撮影することができるカメラ装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記課題を解決するために本発明のカメラ装置は、レンズを介して入射される光信号を電気信号に変換する撮像素子と、前記撮像素子から出力される電気信号に基づいて映像信号を生成するとともに、前記撮像素子の動作クロックを出力する信号処理部と、前記信号処理部から出力される映像信号を表示可能な表示部と、前記信号処理部から出力される映像信号を記録または再生可能な情報媒体とを有し、シャッターボタンを操作することにより、少なくとも静止画を撮影可能なカメラ装置であって、前記信号処理部から出力され前記撮像素子に入力される動作クロックの周波数を逓倍可能な周波数逓倍部と、カメラ装置の手ぶれを検出可能な手ぶれ検出部と、前記手ぶれ検出部で検出される手ぶれに基づいて、前記信号処理部から出力される静止画のフレームをシフトさせ、画像の動き補償を行う動き補償部と、前記動き補償部から出力される複数枚の画像を重ね合わせて、一枚の静止画を生成可能な画像合成部とを備え、被写体における光量が少ない時、前記周波数逓倍部は、前記撮像素子の露光時間が短くなるように前記動作クロックの周波数を逓倍するとともに、前記撮像素子から出力される電気信号に基づいて複数枚の画像を生成し、前記画像合成部は、前記信号処理部から出力される複数枚の画像を合成して、１枚の画像を生成するものである。
【発明の効果】
【００１７】
本発明によれば、被写体が暗くて光量が不足している場合でも、手ぶれの影響を抑えた高画質の静止画を撮影することができる。
【発明を実施するための最良の形態】
【００１８】
本発明のカメラ装置は、本カメラ装置の手ぶれを検出可能な手ぶれ検出部をさらに備え、前記動き補償部は、前記手ぶれ検出部で検出された手ぶれ情報に基づいて、画像の動き補償を行う構成としてもよい。
【００１９】
また、前記手ぶれ検出部は、角速度センサーで構成してもよい。
【００２０】
また、前記信号処理部は、生成した映像信号のフレーム相関に基づき、手ぶれを検出する構成としてもよい。
【００２１】
また、前記動き補償部は、前記信号処理部から出力される画像を複数のブロックに分割し、分割された各々のブロックに対してそれぞれ動き補償処理を行うよう制御する構成としてもよい。
【００２２】
また、前記画像合成部は、前記動き補償部において分割された各々のブロックに対して、画像の合成または非合成の処理を選択的に行う構成としてもよい。
【００２３】
（実施の形態１）
図１は、実施の形態１におけるカメラ装置の構成を示すブロック図である。
【００２４】
図１において、カメラ部３は、ズームレンズやフォーカスレンズなどから構成されるレンズ１と、入射される光信号を電気信号へ光電変換するイメージセンサー（撮像素子）２とから構成されている。イメージセンサー２は、例えばＣＣＤやＣＭＯＳセンサーなどから構成され、以下ＣＣＤを一例に挙げて説明する。信号処理回路（以下、ＤＳＰと記す）４は、ＡＤＣ１４でデジタル信号に変換された画像信号に対して、ノイズ除去や画質調整などの一般的な信号処理を施す。周波数逓倍器５は、ＤＳＰ４から出力されるクロックを逓倍し、イメージセンサー２の動作周波数を変更する。
【００２５】
手ぶれ検出部１８は、カメラ装置本体の手ぶれを検出するものであり、例えば角速度センサーで構成されている。検出された手ぶれの情報は、手ぶれ補正回路８へ出力される。
【００２６】
手ぶれ補正回路８は、手ぶれ検出部１８から出力される手ぶれ情報に基づいて、ＤＳＰ４から出力される画像信号に対して動き補償処理を行う動き補償回路６と、動き補償された複数フレームの画像信号を合成させる画像合成回路７とから構成される。
【００２７】
静止画信号処理回路９は、手ぶれ補正回路８から出力される画像信号に対して画像圧縮などの信号処理を施す。
【００２８】
情報媒体１０は、静止画信号処理回路９から出力される画像信号が記録されるものである。情報媒体１０は、例えば半導体メモリを搭載したメモリーカードで構成されるものがあるが、これに限定されるものではなく、ディスク状媒体やテープ状媒体であっても構わない。
【００２９】
フレーム間引き部１１は、ＤＳＰ４から出力される画像信号を、所定量間引くものである。表示部１２は、間引き部１１から出力される表示用の画像信号を表示可能であり、例えば２〜４インチ程度の液晶ディスプレイで構成される。
【００３０】
以上のように構成された本実施の形態について、以下その動作を説明する。
【００３１】
図１において、レンズ１を介してイメージセンサー２に入射される光信号は、イメージセンサー２において光電変換されて、電気信号が出力される。イメージセンサー２から出力される電気信号は、ＡＤＣ１４に入力されてデジタル信号に変換された後、ＤＳＰ４に入力される。ＤＳＰ４では、入力される信号に対してノイズ除去や画質調整などの信号処理が施される。ＤＳＰ４から出力される画像信号は、間引き部１１で間引き処理が施されて（間引き処理ついては後で説明する）、表示部１３において表示される。また、ＤＳＰ４から出力される画像信号は、手ぶれ補正回路８にも入力される。
【００３２】
一方、手ぶれ検出部１８では、カメラ装置本体で発生した手ぶれを検出し、その手ぶれ情報を手ぶれ補正回路８へ出力している。手ぶれ検出部１８から出力される手ぶれ情報は、手ぶれによって生じたカメラ装置の動き方向と動き量を含んだ情報である。
【００３３】
手ぶれ補正回路８の動き補償回路６においては、手ぶれ検出部１８から出力される手ぶれ情報に基づいて、手ぶれをキャンセルするような画像信号の動き補償処理（具体的な処理方法は後述する）を行う。動き補償された画像信号は画像合成回路７に出力され、複数フレームの画像信号を合成して１枚の静止画が生成される。
【００３４】
手ぶれ補正回路８から出力される画像信号は、静止画信号処理回路９に入力される。静止画信号処理回路９では、画像信号に対して圧縮処理等が施される。静止画信号処理回路９から出力される画像信号は、情報媒体１０に記録される。
【００３５】
次に、図２を参照して、撮影時の画像取り込み動作について説明する。図２は、シャッターボタンが操作されてから画像信号が出力されるまでの動作を示すタイミングチャートであり、（ａ）は従来のシャッター動作を示し、（ｂ）は（ａ）に示すシャッター動作によって撮像された画像信号を示し、（ｃ）は従来の動作においてシャッター時間が長い場合の動作を示し、（ｄ）は（ｃ）に示すシャッター動作によって撮像された画像信号を示し、（ｅ）は本実施の形態のシャッター動作を示し、（ｆ）は（ｅ）に示すシャッター動作によって撮像された画像信号を示す。図２において、Ａ１〜Ａ４はそれぞれ静止画（フレーム）を示している。
【００３６】
図１に示すように、被写体の光学情報はレンズ１を介してイメージセンサー２の上に結像し、光電変換処理によって電気信号に変換され、画像信号（静止画）として出力される。従来のカメラ装置では、図２（ａ）に示すようにシャッターボタンが１回操作されると、イメージセンサー２においてＳ１１に示す期間撮像され、図２（ｂ）に示すように１枚の静止画Ａ１が撮像素子から出力される構成となっている。また、被写体の光量が不足している場合は、図２（ｃ）のシャッター時間Ｓ１２に示すように、シャッター時間を長くして撮影することで、光量を増やしている。しかし、前述したように、シャッター時間が長くなると手ぶれの影響を受けやすくなるため、図２（ｄ）の静止画Ａ１は暈けた画像となっている可能性が高い。
【００３７】
本実施の形態では、図２（ｅ）に示すように、１回のシャッターボタン操作で複数枚の静止画が撮像素子から出力されるように制御する。即ち、被写体の光量が不足している場合に長くなってしまうシャッター時間を、短いシャッター時間に分割して複数の静止画を連続して撮影するように制御する。図２（ｅ）に示すシャッター動作では、シャッター時間をＳ１〜Ｓ４に示すように４分割させている。図２（ｅ）における各シャッター時間は、図２（ａ）に示すシャッター時間Ｓ１１と同等の時間に設定されており、手ぶれの影響を受けにくいシャッター速度に設定されている。
【００３８】
図２（ｅ）に示すシャッター時間で撮影されることにより、被写体の光量が不足していても、速いシャッター時間で撮影ができるため、手ぶれが抑えられた４枚の静止画Ａ１〜Ａ４を得ることができる。また、シャッター時間Ｓ１〜Ｓ４の撮影に要する時間は、図２（ｃ）に示すシャッター時間Ｓ１２と同等の時間を確保しているので、静止画Ａ１〜Ａ４に基づき１枚の静止画を生成することで、明るい静止画を得ることができる。
【００３９】
次に、静止画の動き補償について図３を参照しながら説明する。
【００４０】
図３は、図２（ｄ）及び（ｅ）に示す制御にて撮像された画像信号を示す模式図で、図中の顔が被写体に相当する。図３（ａ）は前述の複数枚撮影された静止画のうちの最初の１枚で、図２（ｅ）のタイミングＳ１で撮影された静止画に相当する。図３（ａ）に示すように、被写体は画角の略右下に位置している。図３（ｂ）は２枚目の静止画で、図２（ｅ）のタイミングＳ２で撮影された静止画に相当する。図３（ｂ）に示すように、被写体は画角の略中央に位置している。図３（ａ）及び（ｂ）に示すように、同じ被写体を連続的に撮影したにも関わらず、カメラ装置の手ぶれによって、フレーム内における被写体の位置が異なってしまう。
【００４１】
図３（ａ）及び（ｂ）のそれぞれの静止画を単純に重ね合わせると、図３（ｃ）に示すように被写体がずれた状態で重ねられてしまい、結果としてシャッター速度が遅くなったのと同じように、画質劣化を引き起こしてしまう。
【００４２】
しかし、重ね合わせる前に図３（ｂ）に示す静止画に対して、図３（ｄ）に示すように手ぶれによる被写体の動きを補償するようにフレームを矢印Ａ方向へずらす処理を施すと、図３（ｅ）に示すように静止画を重ね合わせても手ぶれの影響を受けることなく、画像の合成をすることができる。これが動き補償の処理である。動き補償による画像データを算出する方法は、「nearest neighber法」、「bilinear法」、「bicubic法」などが知られている。
【００４３】
次に、一連の処理の流れを図４を参照して説明する。
【００４４】
図４（ａ）のタイミングでシャッターボタンが操作された場合、従来は図４（ｂ）に示すシャッター時間の期間、被写体からの光を露光して電荷蓄積を行った後、図４（ｃ）のタイミングで画像信号（１フレーム）として出力するのであるが、本実施の形態では、図４（ｄ）に示すようにシャッター時間（露光時間）を複数（例えば４つ）に分割し、各々の電荷蓄積の結果を画像信号として複数回静止画を図４（ｅ）のタイミングで出力する。なお図示のように、シャッター時間の期間蓄積された画像信号が出力されるので、画像信号の出力タイミングは図４（ｄ）に示すシャッター期間に較べて、遅延されている。図４（ｄ）に示すように出力された画像信号は、ＤＳＰ４で信号処理なされた後、図４（ｆ）に示すように一旦メモリー１５に格納される。メモリー１５に格納された画像データは、図４（ｇ）のタイミングで動き補償処理と画像合成処理が行われる。
【００４５】
なお、図４（ｆ）において、１枚目の静止画（frame 1）は基準となる静止画なので、動き補償処理及び画像合成処理は、図４（ｇ）に示すように２枚目以降の画像データ（frame2〜4）に対して施されることになる。そして、４枚目の画像の合成が完了した時点で静止画の合成処理が完了し、１枚の静止画が得られることになる。
【００４６】
次に、カメラ装置の手ぶれ検出について、図５を参照して簡単に説明する。
【００４７】
図５Ａはカメラ装置における鏡筒を示す模式図である。図５Ａにおいて、手前側の円筒面が被写体側を向いているものとする。また、Ｚ軸は、鏡筒内に配されたレンズの光軸に相当する。
【００４８】
手ぶれは、図５Ａにおけるカメラ（鏡筒）に対して、Ｘ軸またはＹ軸を中心に回転する方向に対して発生する。Ｘ軸に対して発生した手ぶれは、撮影画像に対して縦方向のぶれになり、Ｙ軸方向に対して発生した手ぶれは、撮影画像に対して横方向のぶれになる。
【００４９】
手ぶれを検出する方法は、角速度センサーを用いるものがある。角速度センサーを鏡筒内あるいは鏡筒近傍のＸ軸上とＹ軸上とに２つ設置することによって、撮影画像の縦方向のぶれと横方向のぶれを検出することができる。
【００５０】
本実施の形態では、図５Ｂに示すように、カメラ部３（鏡筒内）にＸ軸方向のぶれを検出する角速度センサー１６と、Ｙ軸方向のぶれを検出する角速度センサー１７とを設置することで、カメラ部３の縦方向と横方向の手ぶれを検出することができる。この手ぶれ検出結果に基づいて、動き補償回路６で手ぶれに対する動き補償を施すことができる。なお、図５Ｂにおいて、角速度センサー１６及び１７以外の構成は、図１に示す構成と同様であるため、詳細説明は省略する。
【００５１】
また、図６に示すように、画像データの信号処理によって手ぶれを検出する方法も知られている。図６において、（ａ）に示す一枚目の画像６１（基準画像）は、ＶＧＡの解像度であれば、水平画素数×垂直画素数が６４０×４８０画素で構成される。図６では説明を簡便化するために３２×２４画素で表記する。（ｂ）に示す動き検出の対象となる２枚目の画像６２は、画素を複数のサブブロック６２ａ（ここでは一例として４×３のサブブロック）に分割されている。
【００５２】
この状態で、（ｂ）の各サブブロック６２ａと、各サブブロック６２ａに対応する（ａ）の領域との相関を求める。具体的には、（ｂ）に示す各サブブロック６２ａ毎に、（ａ）に対する相関係数を求め、最も相関係数（＝Σ(m,n)[B(m,n)-C(m',n')]）の値が小さくなる画素を求める。これによって求められた画素における相関係数(m',n')に基づき、その画素が属するサブブロックの動きベクトルｍｖとして、
mv＝(m'-m , n'-n)
が与えられる。これをまとめたものが（ｃ）の画像６３である。（ｃ）に示すように、４×３の各サブブロックについて各々動きベクトルｍｖが求められる。この結果を統計処理することによって、１枚の画像全体の最終的な動きベクトルＭＶを求める。統計処理の一例として、最大値と最小値を除去した後に平均化する方法がある。このようにして求められた動きベクトルＭＶ（ｘ，ｙ）が、手ぶれを表わしている。なお、ＭＶ（ｘ，ｙ）において、ｘ成分が横方向の手ぶれ、ｙ成分が縦方向の手ぶれを夫々表わしている。
【００５３】
次に、図１における画像合成部７の動作について説明する。
【００５４】
図７は画像合成処理を説明するための模式図である。図７において、（ａ）は基準となる１枚目の画像７１である。（ｂ）は２枚目以降の画像７２である。（ｃ）は画像７２に対して動き補償を施した画像であり、画像７２に対して画像を切り出す範囲を領域７３に示すようにずらし、画像７１と画像７２の相関を高めることで、動き補償を行っている。（ｃ）において，領域７３ａは画像７２に対する切り出しエリアで、領域７３ｂはデータが存在しない領域であり、領域７３は領域７３ａと領域７３ｂとから構成されている。
【００５５】
画像合成処理は、（ａ）に示す画像７１をａとし、（ｂ）に示す２枚目以降の画像７２をｂとした時、以下の数式に基づいて加算させることで、合成後の画像Outを得ることができる。
【００５６】
Out(x,y) ＝ a(x,y)+c(x,y)
但し、（ｃ）において領域７３ｂは、対応するc(x,y)が存在しない領域であり、この領域７３ｂには、２枚目以降の画像７２で加算処理をする代わりに、画像７１のデータを充当して加算処理を行う。このようにして、動き補償された画像を画像合成処理することによって、手ぶれ補正された静止画を得ることができる。なお、３枚目以降の画像を合成する処理は、上記と同様であるため説明は省略する。
【００５７】
次に、合成する２枚目以降の画像を、複数のサブブロックに分割して画像合成を行う実施形態について説明する。
【００５８】
図８において、（ａ）は基準となる１枚目の画像であり、画像には被写体８１と背景８２とが撮影されている。（ｂ）は合成する２枚目以降の画像であり。被写体８１及び背景８２の両方が、（ａ）の１枚目の画像に対して位置が変わっている。（ｃ）は（ｂ）から被写体８１を抽出して動き補正を施した画像である。（ｄ）は（ｂ）から背景８２を抽出して動き補償を施した画像である。（ｅ）は（ｃ）の画像と（ｄ）の画像とを合成した画像である。
【００５９】
図８（ａ）に示す画像において、被写体８１及びその周辺画像を含むサブブロックと、背景８２及びその周辺画像を含むサブブロックとに分割し、各々のサブブロックに対して動き補償を行って、画像合成処理を行う。静止画撮影時、背景８２は、本来自らは動かないものなので、（ｂ）に示すように動きが生じた場合は手ぶれのみが原因である。一方、被写体８１は、それ自体が動いている場合が多いため、（ｂ）に示すように動きが生じた場合は、手ぶれによる動きと被写体自体の動きとを合成した動きベクトルで、動き補償する必要がある。
【００６０】
被写体８１は、手ぶれによる動きと被写体自体の動きとを合成して算出された動きベクトルに基づいて、（ｃ）に示すように切り出しエリアを領域８３ａから領域８３ｂへ変えることによって、被写体８１の動き補償を行っている。また、背景８２は、手ぶれによる動きによって算出された動きベクトルに基づいて、（ｄ）に示すように切り出しエリアを領域８３ｃから領域８３ｄへ変えることによって、背景８２の動き補償を行っている。次に、（ｃ）に示すように動き補償された被写体８１の画像と、（ｄ）に示すように動き補償された背景８２の画像とを、（ｅ）に示すように合成する。
このように、画像を例えば背景８２と被写体８１のように、複数のブロックに分割して動き補償を行うことよって、より精度の高い動き補償を行うことができる。ここでは画像を２つのブロックに分割する実施例で説明したが、３つ以上のブロックに分割することも想定している。
【００６１】
次に、図１における間引き部１１の動作について簡単に説明する。
【００６２】
図１において、通常、カメラ装置の表示部１３には、シャッターを押す前は、被写体の動きを観察できるように動画（所謂スルー画像）が表示されている。シャッターが押されてから情報媒体へ静止画の記録が完了するまでは、カメラ装置が信号処理を実行していることをユーザーに対して示すために、表示部１３にシャッターが押される直前の静止画を表示する。静止画が表示されている間に、撮影された静止画を情報媒体へ記録し、静止画の記録が完了した時点で、記録された静止画を再生し表示部１３に一定期間表示させる。一定期間表示が完了した後、次の静止画撮影が可能な状態になり、表示部１３には再びスルー画像が表示する。
【００６３】
しかし、本実施の形態では、前述したようにカメラ部３から出力される画像データのフレーム数が多く、表示部１３に全ての画像を表示させる必要はない。従来のように静止画記録処理をしている間は、シャッターが押される直前の画像を表示させる構成も可能であるし、静止画記録処理中に動画を表示させることも可能である。この場合、通常よりもフレーム数が多いため、間引き部１１によってフレーム数を削減（例えば、毎秒３０フレームに削減）させることで、動画を正常に表示させることができる。フレームを間引かず、フレーム数が多いまま表示させると、表示部１３の処理能力を超えてしまい、不具合が発生する可能性があるため、間引き部１１によってフレームを間引くことで前述ような不具合を回避することができる。なお、間引き部１１は不可欠なものではなく、上述のように静止画記録処理中に動画を表示しない場合、不要である。
【００６４】
以上のように本実施の形態によれば、静止画の撮影を複数枚の静止画に分割撮影することによって、分割された各々の静止画に対してはシャッター速度をより速く設定して撮影することができる。シャッター速度を速く設定することができると、被写体が暗くて光量が不足している場合でも手ぶれの影響を少なくすることができ画質劣化を防ぐことができる。また、手ぶれの影響を少なくすることができるということは、レンズをより小型化したり、あるいはストロボによる補助光を不要とするようにできる効果が期待できる。
【産業上の利用可能性】
【００６５】
本発明は、静止画を撮影可能なカメラ装置に関するものであり、ビデオカメラ、デジタルスチルカメラ、カメラ付き携帯電話機などに有用である。
【図面の簡単な説明】
【００６６】
【図１】本発明の実施の形態１におけるカメラ装置の構成を示すブロック図
【図２】実施の形態１における電子シャッターの動作を示すタイミング図
【図３】実施の形態１における動き補償の原理を示す模式図
【図４】実施の形態１における動作を示すタイミング図
【図５Ａ】実施の形態１における手ぶれ補正の原理を説明するための模式図
【図５Ｂ】実施の形態１における手ぶれ補正の原理を説明するためのブロック図
【図６】実施の形態１における動き補償部の動作を説明するための模式図
【図７】実施の形態１における画像合成部の動作を説明するための模式図
【図８】実施の形態１における領域分割して画像合成を行う際の動作を説明するための模式図
【図９】従来のカメラ装置の構成を示すブロック図
【図１０Ａ】従来のカメラ装置における手ぶれ発生原理を説明するための模式図
【図１０Ｂ】従来のカメラ装置において光量が足りている場合における、手ぶれ発生原理を説明するための模式図
【図１０Ｃ】従来のカメラ装置において光量が不足している場合における、手ぶれ発生原理を説明するための模式図
【図１１】動画撮影時の手ぶれ補正動作を説明するための模式図
【符号の説明】
【００６７】
１  レンズ
２  撮像素子(イメージセンサー)
３  カメラ部
４  信号処理部
５  周波数逓倍器
６  動き補償部
７  画像合成部
８  手ぶれ補正部
９  静止画信号処理宇
１０  情報媒体
１１  間引き部
１２  フレーム間引き部
１３  表示部
【図１】
2007110636.tif 000003
【図２】
2007110636.tif 000004
【図３】
2007110636.tif 000005
【図４】
2007110636.tif 000006
【図５Ａ】
2007110636.tif 000007
【図５Ｂ】
2007110636.tif 000008
【図６】
2007110636.tif 000009
【図７】
2007110636.tif 000010
【図８】
2007110636.tif 000011
【図９】
2007110636.tif 000012
【図１０Ａ】
2007110636.tif 000013
【図１０Ｂ】
2007110636.tif 000014
【図１０Ｃ】
2007110636.tif 000015
【図１１】
2007110636.tif 000016