(57)【要約】【課題】画像合成に係るノイズを抑制して良好な合成画像を取得する。【解決手段】デジタルカメラ１００であって、ＣＭＯＳセンサ２による被写体の撮像の際に、手ぶれを検出する信号処理部７と、手ぶれを検出する毎にＣＭＯＳセンサの露光を停止させるとともに、手ぶれが検出されなくなる毎にＣＭＯＳセンサの露光を再開させるＣＭＯＳ制御部３を備え、信号処理部は、ＣＭＯＳセンサの露光を停止させる毎に当該ＣＭＯＳセンサに蓄積された画像信号に基づいて被写体画像を生成する処理と、生成された複数の被写体画像を合成する処理を実行する。【選択図】図１
2008092059.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を有し、当該撮像素子を露光させることにより被写体の撮像を行う撮像手段と、
前記撮像手段による前記被写体の撮像の際に、手ぶれを検出する手ぶれ検出手段と、
前記手ぶれ検出手段により前記手ぶれが検出される毎に前記撮像素子の露光を停止させるとともに、前記手ぶれ検出手段により前記手ぶれが検出されなくなる毎に、前記撮像素子の露光を再開する手ぶれ中露光制御手段と、
前記手ぶれ中露光制御手段により前記撮像素子の露光を停止させる毎に、当該撮像素子に蓄積された画像信号に基づいて被写体画像を生成する画像生成手段と、
前記画像生成手段により生成された前記複数の被写体画像を合成する画像合成手段とを備えることを特徴とする撮像装置。
【請求項２】
前記撮像手段による撮像時間の基準となる基準撮像時間を記憶する基準撮像時間記憶手段と、
前記撮像手段による前記被写体の撮像の際に、前記撮像素子が露光されている露光時間を計測する露光時間計測手段と、
前記露光時間計測手段により計測された前記露光時間が前記基準撮像時間記憶手段に記憶されている前記基準撮像時間に達したか否かを判定する露光時間判定手段と、
前記露光時間判定手段により前記露光時間が前記基準撮像時間に達したと判定された場合に、前記撮像素子の露光を終了させる露光終了手段とを備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮像手段による撮像時間の基準となる基準撮像時間を記憶する基準撮像時間記憶手段と、
前記撮像手段による前記被写体の撮像の際に、前記撮像素子が露光されている露光時間を計測する露光時間計測手段と、
前記撮像手段による前記被写体の撮像終了後に、前記露光時間計測手段により計測された前記露光時間が前記基準撮像時間記憶手段に記憶されている前記基準撮像時間に達したか否かを判定する露光時間判定手段と、
前記露光時間判定手段により前記露光時間が前記基準撮像時間に達していないと判定された場合に、前記画像合成手段により合成された合成画像の輝度を調整する輝度調整手段とを備えることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮像手段による撮像時間の基準となる基準撮像時間を記憶する基準撮像時間記憶手段と、
前記撮像手段による前記被写体の撮像の際に、前記手ぶれ中露光制御手段により前記撮像素子の露光が停止されている露光停止時間を計測する露光停止時間計測手段と、
前記露光停止時間計測手段により計測された前記露光停止時間を前記基準撮像時間記憶手段に記憶されている前記基準撮像時間に加算して、前記撮像手段による撮像時間を延長する撮像時間延長手段とを備えることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像素子は、当該撮像素子に蓄積された前記画像信号の非破壊読出し可能に構成され、
前記手ぶれ検出手段は、前記撮像素子に蓄積された前記画像信号を解析して前記手ぶれを検出する画像信号解析手段を備えることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
【請求項６】
前記撮像素子は、複数の光電変換部を有するＣＭＯＳ型イメージセンサであり、
前記画像信号解析手段は、前記ＣＭＯＳ型イメージセンサに蓄積された前記画像信号の一部を解析して手ぶれを検出する一部画像信号解析手段を備えることを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記手ぶれ検出手段は、手ぶれを検知するジャイロセンサを備えることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
【請求項８】
前記撮像素子は、複数の光電変換部を有するＣＣＤ型イメージセンサであり、
前記手ぶれ検出手段は、前記ＣＣＤ型イメージセンサの前記画像信号の転送方向に沿った一部の領域に蓄積された画像信号を解析して手ぶれを検出する一部画像信号解析手段を備えることを特徴とする請求項１〜４の何れか一項に記載の撮像装置。
【請求項９】
撮像素子を有し、当該撮像素子を露光させることにより被写体の撮像を行う撮像手段を備える撮像装置を用いた撮像方法であって、
前記撮像手段による前記被写体の撮像の際に、手ぶれを検出する処理と、
前記手ぶれが検出される毎に前記撮像素子の露光を停止させるとともに、前記手ぶれが検出されなくなる毎に、前記撮像素子の露光を再開する処理と、
前記撮像素子の露光を停止させる毎に、当該撮像素子に蓄積された画像信号に基づいて被写体画像を生成する処理と、
生成された前記複数の被写体画像を合成する処理とを行うことを特徴とする撮像方法。
【請求項１０】
撮像素子を有し、当該撮像素子を露光させることにより被写体の撮像を行う撮像手段を備える撮像装置に、
前記撮像手段による前記被写体の撮像の際に、手ぶれを検出する機能と、
前記手ぶれが検出される毎に前記撮像素子の露光を停止させるとともに、前記手ぶれが検出されなくなる毎に、前記撮像素子の露光を再開する機能と、
前記撮像素子の露光を停止させる毎に、当該撮像素子に蓄積された画像信号に基づいて被写体画像を生成する機能と、
生成された前記複数の被写体画像を合成する機能とを実現させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を合成する撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置は、複数回の撮像にて取得した画像を合成することにより、鮮明な画像の取得を行うことができるようになっている。
また、画像合成にあたって、画像がずれるのを防止するために、高速で連写をして取得した画像について手ぶれ量を判定し、検出した手ぶれ量に応じて、読み出した微少時間画像データを本画像データとして使用しないで、残りの画像を合成することにより手ぶれの生じていない撮像画像を得る技術が知られている（例えば、特許文献１参照）。
【特許文献１】特開２００５−２７７８１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献１等の場合、多くの画像を合成すると、画像合成の数に応じたノイズが発生してしまうという問題がある。
【０００４】
そこで、本発明の課題は、画像合成に係るノイズを抑制して良好な合成画像を取得することができる撮像装置、撮像方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明の撮像装置（例えば、図１のデジタルカメラ１００等）は、
撮像素子（例えば、図１のＣＭＯＳ型イメージセンサ２等）を有し、当該撮像素子を露光させることにより被写体の撮像を行う撮像手段と、
前記撮像手段による前記被写体の撮像の際に、手ぶれを検出する手ぶれ検出手段（例えば、図１の信号処理部７等）と、
前記手ぶれ検出手段により前記手ぶれが検出される毎に前記撮像素子の露光を停止させるとともに、前記手ぶれ検出手段により前記手ぶれが検出されなくなる毎に、前記撮像素子の露光を再開する手ぶれ中露光制御手段（例えば、図１のＣＭＯＳ制御部３等）と、
前記手ぶれ中露光制御手段により前記撮像素子の露光を停止させる毎に、当該撮像素子に蓄積された画像信号に基づいて被写体画像を生成する画像生成手段（例えば、図１の信号処理部７等）と、
前記画像生成手段により生成された前記複数の被写体画像を合成する画像合成手段（例えば、図１の信号処理部７等）とを備えることを特徴としている。
【０００６】
請求項２に記載の発明は、請求項１に記載の撮像装置において、
前記撮像手段による撮像時間の基準となる基準撮像時間を記憶する基準撮像時間記憶手段（例えば、図１の記憶部１５等）と、
前記撮像手段による前記被写体の撮像の際に、前記撮像素子が露光されている露光時間を計測する露光時間計測手段（例えば、図１の計時部１４等）と、
前記露光時間計測手段により計測された前記露光時間が前記基準撮像時間記憶手段に記憶されている前記基準撮像時間に達したか否かを判定する露光時間判定手段（例えば、図１のＣＰＵ１６等）と、
前記露光時間判定手段により前記露光時間が前記基準撮像時間に達したと判定された場合に、前記撮像素子の露光を終了させる露光終了手段（例えば、図１のＣＭＯＳ制御部３等）とを備えることを特徴としている。
【０００７】
請求項３に記載の発明は、請求項１に記載の撮像装置において、
前記撮像手段による撮像時間の基準となる基準撮像時間を記憶する基準撮像時間記憶手段（例えば、図１の記憶部１５等）と、
前記撮像手段による前記被写体の撮像の際に、前記撮像素子が露光されている露光時間を計測する露光時間計測手段（例えば、図１の計時部１４等）と、
前記撮像手段による前記被写体の撮像終了後に、前記露光時間計測手段により計測された前記露光時間が前記基準撮像時間記憶手段に記憶されている前記基準撮像時間に達したか否かを判定する露光時間判定手段（例えば、図１のＣＰＵ１６等）と、
前記露光時間判定手段により前記露光時間が前記基準撮像時間に達していないと判定された場合に、前記画像合成手段により合成された合成画像の輝度を調整する輝度調整手段（例えば、図１の信号処理部７等）とを備えることを特徴としている。
【０００８】
請求項４に記載の発明は、請求項１に記載の撮像装置において、
前記撮像手段による撮像時間の基準となる基準撮像時間を記憶する基準撮像時間記憶手段（例えば、図１の記憶部１５等）と、
前記撮像手段による前記被写体の撮像の際に、前記手ぶれ中露光制御手段により前記撮像素子の露光が停止されている露光停止時間を計測する露光停止時間計測手段（例えば、図１の計時部１４等）と、
前記露光停止時間計測手段により計測された前記露光停止時間を前記基準撮像時間記憶手段に記憶されている前記基準撮像時間に加算して、前記撮像手段による撮像時間を延長する撮像時間延長手段（例えば、図１のＣＰＵ１６等）とを備えることを特徴としている。
【０００９】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記撮像素子は、当該撮像素子に蓄積された前記画像信号の非破壊読出し可能に構成され、
前記手ぶれ検出手段は、前記撮像素子に蓄積された前記画像信号を解析して前記手ぶれを検出する画像信号解析手段（例えば、図１の信号処理部７等）を備えることを特徴としている。
【００１０】
請求項６に記載の発明は、請求項５に記載の撮像装置において、
前記撮像素子は、複数の光電変換部を有するＣＭＯＳ型イメージセンサ（例えば、図１のＣＭＯＳ型イメージセンサ２等）であり、
前記画像信号解析手段は、前記ＣＭＯＳ型イメージセンサに蓄積された前記画像信号の一部を解析して手ぶれを検出する一部画像信号解析手段（例えば、図１の信号処理部７等）を備えることを特徴としている。
【００１１】
請求項７に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記手ぶれ検出手段は、手ぶれを検知するジャイロセンサ（例えば、図６のジャイロセンサ２１７等）を備えることを特徴としている。
【００１２】
請求項８に記載の発明は、請求項１〜４の何れか一項に記載の撮像装置において、
前記撮像素子は、複数の光電変換部を有するＣＣＤ型イメージセンサ（例えば、図８のＣＣＤ型イメージセンサ３０２等）であり、
前記手ぶれ検出手段は、前記ＣＣＤ型イメージセンサの前記画像信号の転送方向に沿った一部の領域に蓄積された画像信号を解析して手ぶれを検出する一部画像信号解析手段（例えば、図１の信号処理部７等）を備えることを特徴としている。
【００１３】
請求項１０に記載の発明は、
撮像素子（例えば、図１のＣＭＯＳ型イメージセンサ２等）を有し、当該撮像素子を露光させることにより被写体の撮像を行う撮像手段を備える撮像装置（例えば、図１のデジタルカメラ１００等）を用いた撮像方法であって、
前記撮像手段による前記被写体の撮像の際に、手ぶれを検出する処理と、
前記手ぶれが検出される毎に前記撮像素子の露光を停止させるとともに、前記手ぶれが検出されなくなる毎に、前記撮像素子の露光を再開する処理と、
前記撮像素子の露光を停止させる毎に、当該撮像素子に蓄積された画像信号に基づいて被写体画像を生成する処理と、
生成された前記複数の被写体画像を合成する処理とを行うことを特徴としている。
【００１４】
請求項１１に記載の発明のプログラムは、
撮像素子（例えば、図１のＣＭＯＳ型イメージセンサ２等）を有し、当該撮像素子を露光させることにより被写体の撮像を行う撮像手段を備える撮像装置（例えば、図１のデジタルカメラ１００等）に、
前記撮像手段による前記被写体の撮像の際に、手ぶれを検出する機能と、
前記手ぶれが検出される毎に前記撮像素子の露光を停止させるとともに、前記手ぶれが検出されなくなる毎に、前記撮像素子の露光を再開する機能と、
前記撮像素子の露光を停止させる毎に、当該撮像素子に蓄積された画像信号に基づいて被写体画像を生成する機能と、
生成された前記複数の被写体画像を合成する機能とを実現させることを特徴としている。
【発明の効果】
【００１５】
本発明によれば、画像合成に係るノイズを抑制して良好な合成画像を取得することができる。
【発明を実施するための最良の形態】
【００１６】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１７】
［実施形態１］
実施形態１のデジタルカメラ（撮像装置、又は撮像部付き電子機器）１００は、高感度撮像モードにて手ぶれを検出する毎にＣＭＯＳ型イメージセンサ２の露光を停止させて、当該センサ２に蓄積された画像信号に基づいて被写体画像を生成して、生成された複数の被写体画像を合成する撮像処理を行うようになっている。
【００１８】
図１は、本発明を適用した撮像装置の好適な実施形態１のデジタルカメラ１００の概略構成を示すブロック図である。
図１に示すように、デジタルカメラ１００は、レンズ部１、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）型イメージセンサ（以下、「ＣＭＯＳセンサ」と言う）２、ＣＭＯＳ制御部３、Ａ／Ｄ変換器４、画像フレームバッファ５、位置ずれ検知用バッファ６、信号処理部７、液晶表示制御部８、液晶表示画面９、レンズ制御部１０、フォーカス用フィルタ部１１、シャッターボタン１２、モードボタン１３、計時部１４、記憶部１５、ＣＰＵ１６等が設けられている。
【００１９】
レンズ部１は、例えば、被写体像を結像するものであり、筐体１Ａの正面側から露出されるように配設されている。
【００２０】
ＣＭＯＳセンサ２は、例えば、レンズ部１を通過した光を光量に応じて光電変換して蓄積する複数の光電変換部が二次元マトリックス状に配列されたものである。
また、ＣＭＯＳセンサ２は、例えば、複数の光電変換部の各々に蓄積された電荷を非破壊読出し可能に構成されている。即ち、複数の光電変換部のうち、特定の光電変換部の電荷のみを読み出すことができ、当該読出し後も電荷が保持されるようになっている。
また、複数の光電変換部は、例えば、手ぶれ等による位置ずれを検知するための画像を取得するための位置ずれ検知部２ａと、位置ずれ検知部２ａ以外の領域であり、信号処理部７による画像生成用の主画像を取得するための主画像取得部２ｂ等を備えて構成されている。
位置ずれ検知部２ａとしては、例えば、図２（ａ）に示すように、ＣＭＯＳセンサ２の４つの隅部に設けられていたり、図２（ｂ）に示すように、主画像取得部２ｂを囲むように略矩形枠状に設けられていたり、図２（ｃ）に示すように、主画像取得部２ｂの上下（Ｙ方向）の両縁部に沿って設けられたものが挙げられる。
なお、非破壊読み出しを行う場合には、位置ずれ検知は上記位置に限られたものではなく、適当な位置から読み出しを行うように構成しても良い。
【００２１】
なお、位置ずれ検知部２ａは、例えば、手ぶれ検出処理を行う場合には、ゲイン調整され感度が高められていることが好ましい。
【００２２】
ＣＭＯＳ制御部３は、例えば、ＣＰＵ１６の制御下にて、ＣＭＯＳセンサ２に蓄積された電荷を順次読み出してＡ／Ｄ変換器４に出力させるものである。
また、ＣＭＯＳ制御部３は、例えば、位置ずれ検知部２ａに蓄積された電荷を手ぶれが発生しない程度に十分に短い一定時間間隔で出力（転送）させるようになっている。
【００２３】
上記のレンズ部１、ＣＭＯＳセンサ２、ＣＭＯＳ制御部３等により本実施形態の撮像手段が構成されている。
【００２４】
Ａ／Ｄ変換器４は、例えば、入力されたアナログ信号をデジタル画像データに変換して、画像フレームバッファ５、位置ずれ検知用バッファ６及びフォーカス用フィルタ部１１に出力するものである。
【００２５】
画像フレームバッファ５は、例えば、入力された画像データを一時的に記憶するものであり、ＣＰＵ１６から出力され入力される制御信号に基づいて画像データを読み出して、信号処理部７に出力するようになっている。
【００２６】
位置ずれ検知用バッファ６は、例えば、入力された位置ずれ検知用の画像データを一時的に記憶するものであり、ＣＰＵ１６から出力され入力される制御信号に基づいて画像データを読み出して、信号処理部７に出力するようになっている。
【００２７】
信号処理部７は、例えば、ＣＰＵ１６の制御下にて駆動し、入力された画像データに対して所定の画像処理を施すものであり、画像処理後の画像データを液晶表示制御部８に出力するようになっている。
【００２８】
液晶表示制御部８は、例えば、ＣＰＵ１６から出力され入力される表示制御信号に従って液晶表示画面９を制御して、信号処理部７から出力され入力される画像データに応じた撮像画像を液晶表示画面９に表示させるようになっている。
【００２９】
液晶表示画面９は、例えば、筐体１Ａの背面側から露出されるように配設されている。
【００３０】
レンズ制御部１０は、例えば、ＣＰＵ１６の制御下にて駆動して、レンズ部１のフォーカスレンズやズームレンズ（何れも図示略）の光軸方向の移動を制御するものである。
【００３１】
フォーカス用フィルタ部１１は、例えば、Ａ／Ｄ変換器４から出力され入力された画像データのうち、レンズ制御部１０によるフォーカス調整に係る領域の画像データを抽出するためのものである。
【００３２】
シャッターボタン１２は、例えば、撮像動作を指示するものであり、ユーザによる所定操作に応じて操作信号をＣＰＵ１６に出力するようになっている。
モードボタン１３は、例えば、通常撮像モードや高感度撮像モード等の撮像モードを切り替えるためのものであり、ユーザによる所定操作に応じて操作信号をＣＰＵ１６に出力するようになっている。
【００３３】
計時部１４は、例えば、例えば、タイマーや計時回路等を備えて構成され、ＣＰＵ１６の制御下にて、被写体の撮像の際にＣＭＯＳセンサ２が露光されている露光時間を計測する露光時間計測手段を構成している。
ここで、露光時間とは、ＣＭＯＳセンサ２の光電変換部に電荷を蓄積する時間のことであり、スルー画像のように光電変換部により光電変換されたものの蓄積されずに電荷がそのまま出力される時間は含まないものとする。
【００３４】
ＣＰＵ（Central Processing Unit）１６は、例えば、記憶部１５に記憶されている各種プログラムを読み出し、記憶部１５内に形成された作業領域に展開し、当該プログラムに従って各部を統括的に制御するものである。
【００３５】
記憶部１５は、例えば、各種プログラムやデータ等を記憶するメモリや、ＣＰＵ１６の作業領域を構成するメモリ等を備えている。
具体的には、記憶部１５には、例えば、図３に示すように、手ぶれ検出プログラム１５ａ、手ぶれ中露光制御プログラム１５ｂ、画像生成プログラム１５ｃ、露光時間判定プログラム１５ｄ、露光終了プログラム１５ｅ、画像合成プログラム１５ｆ等のプログラムや、基準撮像時間情報ｄ１等が記憶されている。
【００３６】
手ぶれ検出プログラム１５ａは、ＣＰＵ１６の制御下にて、信号処理部７を手ぶれ検出手段として機能させるものである。即ち、手ぶれ検出プログラム１５ａは、被写体の撮像処理の際に手ぶれを検出する手ぶれ検出処理に係る機能を信号処理部７に実現させるためのプログラムである。
具体的には、ＣＰＵ１６による手ぶれ検出プログラム１５ａの実行に基づいて、信号処理部７が、手ぶれ検出手段として、ＣＭＯＳセンサ２の位置ずれ検知部２ａに蓄積された画像信号を所定タイミングで連続して取得し、当該画像信号どうしが所定の距離（例えば、２画素）以上ずれているか否かに従って手ぶれの発生を検出する処理を行うようになっている。
ここで、信号処理部７は、ＣＭＯＳセンサ２に蓄積された画像信号の一部を解析して手ぶれを検出する一部画像信号解析手段（画像信号解析手段）を構成している。なお、ここでは所定の距離以上のずれか否かという閾値を設けて手ぶれを判定しているが、このようでなくとも構わず、必ずしも所定の閾値を設けなくても良い。
【００３７】
手ぶれ中露光制御プログラム１５ｂは、ＣＰＵ１６の制御下にて、ＣＭＯＳ制御部３を手ぶれ中露光制御手段として機能させるものである。即ち、ＣＰＵ１６による手ぶれ中露光制御プログラム１５ｂの実行に基づいて、手ぶれ検出処理にて手ぶれを検出する毎にＣＭＯＳセンサ２の露光（光電変換部に対する電荷の蓄積）を停止させるとともに、手ぶれが検出されなくなる毎に、ＣＭＯＳセンサ２の露光（光電変換部に対する電荷の蓄積）を再開する手ぶれ中露光制御処理に係る機能をＣＭＯＳ制御部３に実現させるためのプログラムである。
具体的には、ＣＰＵ１６は、手ぶれ検出処理にて手ぶれを検出すると、ＣＭＯＳセンサ２の露光状態を変更させるための状態変更通知をＣＭＯＳ制御部３に出力して、ＣＭＯＳ制御部３によりＣＭＯＳセンサ２の露光を停止させ、また、手ぶれが停止したと判定すると、状態変更通知をＣＭＯＳ制御部３に出力して、ＣＭＯＳ制御部３によりＣＭＯＳセンサ２の露光を再開させる処理を行うようになっている。
【００３８】
画像生成プログラム１５ｃは、ＣＰＵ１６の制御下にて、信号処理部７を画像生成手段として機能させるものである。即ち、画像生成プログラム１５ｃは、手ぶれ中露光制御処理にてＣＭＯＳセンサ２の露光を停止させる毎に、当該センサの光電変換部に蓄積された画像信号に基づいて被写体画像を生成する画像生成処理に係る機能を信号処理部７に実現させるためのプログラムである。
具体的には、ＣＰＵ１６による画像生成プログラム１５ｃの実行に基づいて、手ぶれ中露光制御処理にてＣＭＯＳセンサ２の露光を停止させる毎に、ＣＭＯＳセンサ２の主画像取得部２ｂ及び位置ずれ検知部２ａから出力される画像信号をＡ／Ｄ変換器４及び画像フレームバッファ５を介して信号処理部７に転送させて、当該画像信号に基づいて信号処理部７が被写体画像を生成するようになっている。
ここで、信号処理部７は、例えば、ＣＭＯＳセンサ２の位置ずれ検知部２ａから出力される画像信号については、主画像取得部２ｂの露光時間と略等しくなるように正規化して合成するようにしても良い。
【００３９】
露光時間判定プログラム１５ｄは、ＣＰＵ１６を露光時間判定手段として機能させるものである。即ち、露光時間判定プログラム１５ｄは、計時部１４により計測されたＣＭＯＳセンサ２の露光時間、具体的には、手ぶれ中露光制御処理にて露光の停止・再開を行うことにより積算された露光時間が記憶部１５に記憶されている基準撮像時間に達したか否かに応じて所定の露光量が得られたか否かを判定する露光時間判定処理に係る機能をＣＰＵ１６に実現させるためのプログラムである。
【００４０】
露光終了プログラム１５ｅは、ＣＰＵ１６の制御下にて、ＣＭＯＳ制御部３を露光終了手段として機能させるものである。即ち、露光終了プログラム１５ｅは、露光時間判定処理にて露光時間が基準撮像時間に達したと判定された場合に、ＣＭＯＳセンサ２の露光を終了させる露光終了処理に係る機能をＣＭＯＳ制御部３に実現させるためのプログラムである。
【００４１】
画像合成プログラム１５ｆは、ＣＰＵ１６の制御下にて、信号処理部７を画像合成手段として機能させるものである。即ち、画像合成プログラム１５ｆは、画像生成処理にて生成された複数の被写体画像を合成する画像合成処理に係る機能を実現させるためのプログラムである。
具体的には、ＣＰＵ１６による画像合成プログラム１５ｆの実行に基づいて、信号処理部７は、画像生成処理にて生成された複数の被写体画像どうしのずれ量を取得して、当該ずれ量に基づいて複数の被写体画像どうしが重なり合うように画像合成するようになっている。
【００４２】
基準撮像時間情報ｄ１は、当該デジタルカメラ１００による通常撮像モードや高感度撮像モードにおける撮像時間の基準となるものである。
ここで、撮像時間の決定方法としては、例えば、ユーザによるシャッターボタン１２の半押し操作に基づいて実行されるＡＥ処理にて被写体像の反射率を取得して、当該反射率及び基準撮像時間情報ｄ１に基づいて撮像画像が所定の露光量となるように撮像時間を決定する方法が挙げられる。
ここで、記憶部１５は、基準撮像時間を記憶する基準撮像時間記憶手段を構成している。
【００４３】
次に、デジタルカメラ１００による撮像処理について図４及び図５を参照して説明する。
ここで、図４は、撮像処理に係る動作の一例を示すフローチャートであり、図５は、撮像処理に係る動作の一例を示すタイミングチャートである。
【００４４】
先ず、ユーザによるモードボタン１３の所定操作に基づいて、撮像モードを高感度撮像モードに設定した後、所望のタイミング（時刻ｔ１；図５参照）でシャッターボタン１２の押下操作が行われると（ステップＳ１）、ＣＰＵ１６の制御下にて、レンズ制御部１０はレンズ部１の光軸方向の位置を調整するとともに、ＣＭＯＳ制御部３はＣＭＯＳセンサ２に露光を開始させる（ステップＳ２）。
【００４５】
そして、ＣＰＵ１６の制御下にて、ＣＭＯＳ制御部３は、位置ずれ検知部２ａに蓄積された電荷（画像信号）を手ぶれが発生しない程度に十分に短い一定時間間隔で読み出して出力する（ステップＳ３）。
位置ずれ検知部２ａから出力された画像信号がＡ／Ｄ変換器４及び位置ずれ検知用バッファ６を介して信号処理部７に入力されると、ＣＰＵ１６は、手ぶれ検出プログラム１５ａを実行して、信号処理部７に当該画像信号の変動量に従って手ぶれが発生しているか否かを判定する手ぶれ検出処理を実行させる（ステップＳ４）。
ここで、手ぶれが発生していると判定されると（ステップＳ４；ＹＥＳ）、ＣＰＵ１６は、手ぶれ中露光制御プログラム１５ｂを実行して、状態変更通知をＣＭＯＳ制御部３に出力して（時刻ｔ２；図５参照）、ＣＭＯＳ制御部３によりＣＭＯＳセンサ２の露光を停止させるとともに（時刻ｔ３；図５参照）、当該ＣＭＯＳセンサ２の主画像取得部２ｂ及び位置ずれ検知部２ａに蓄積された電荷を読み出してＡ／Ｄ変換器４に出力させる。
続けて、ＣＰＵ１６は、画像生成プログラム１５ｃを実行して、ＣＭＯＳセンサ２の主画像取得部２ｂ及び位置ずれ検知部２ａから出力された画像信号を画像フレームバッファ５を介して信号処理部７に画像信号を転送させて、当該画像信号に基づいて信号処理部７が被写体画像を生成する画像生成処理を実行する（ステップＳ５）。
【００４６】
その後、ＣＰＵ１６の制御下にて、ＣＭＯＳ制御部３は、位置ずれ検知部２ａに蓄積された電荷（画像信号）を手ぶれが発生しない程度に十分に短い一定時間間隔で読み出して出力する（ステップＳ６）。
位置ずれ検知部２ａから出力された画像信号が信号処理部７に入力されると、ＣＰＵ１６は、手ぶれ検出プログラム１５ａを実行して、信号処理部７に当該画像信号の変動量に従って手ぶれが収まったか否かを判定する（ステップＳ７）。
ここで、位置ずれ検知部２ａの画像信号の変動がなくなって手ぶれが収まったと判定されると（ステップＳ７；ＮＯ）、ＣＰＵ１６は、手ぶれ中露光制御プログラム１５ｂを実行して、ステップＳ２に移行して、状態変更通知をＣＭＯＳ制御部３に出力して（時刻ｔ４；図５参照）、ＣＭＯＳ制御部３によりＣＭＯＳセンサ２の露光を再開させる（時刻ｔ５；図５参照）。
【００４７】
一方、ステップＳ４にて、手ぶれが発生していないと判定されると（ステップＳ４；ＮＯ）、ＣＰＵ１６は、露光時間判定プログラム１５ｄを実行して、計時部１４により計測されたＣＭＯＳセンサ２の露光時間が基準撮像時間に達したか否かに応じて所定の露光量が得られたか否かを判定する（ステップＳ８）。
ここで、ＣＭＯＳセンサ２の露光時間が基準撮像時間に達していないと判定されると（ステップＳ８；ＮＯ）、ＣＰＵ１６は、ステップＳ２に移行して、それ以降の処理の実行を制御する。
【００４８】
また、ステップＳ８にて、ＣＭＯＳセンサ２の露光時間が基準撮像時間に達したと判定されると（ステップＳ８；ＹＥＳ）、即ち、図５に示すように、手ぶれの有無に基づいてＣＭＯＳセンサ２の露光、露光停止及び露光再開を所定時刻ｔ２〜ｔ９にて所定回数行うことによりＣＭＯＳセンサ２の露光時間が基準撮像時間に達したと判定されると、ＣＰＵ１６は、露光終了処理を実行する（時刻ｔ１０；図５参照）。
即ち、ＣＰＵ１６は、露光終了プログラム１５ｅを実行して、ＣＭＯＳ制御部３を制御して、ＣＭＯＳセンサ２の露光を終了させるとともに、当該ＣＭＯＳセンサ２の主画像取得部２ｂ及び位置ずれ検知部２ａに蓄積された電荷を読み出してＡ／Ｄ変換器４に出力させる。
続けて、ＣＰＵ１６は、画像生成プログラム１５ｃを実行して、ＣＭＯＳセンサ２の主画像取得部２ｂ及び位置ずれ検知部２ａから出力される画像信号を信号処理部７に転送させて、当該画像信号に基づいて信号処理部７に被写体画像を生成させる画像生成処理を実行する（ステップＳ９）。
【００４９】
次に、ＣＰＵ１６は、画像合成プログラム１５ｆを実行して、複数回（例えば、３回）の画像生成処理にて生成された複数の被写体画像を合成する画像合成処理（フレーム画像演算）を信号処理部７に実行させる（ステップＳ１０）。この際、露光と露光の間の手ぶれにより、合成する画像の位置がずれていたら、その位置ずれを調整した上で画像を合成するように構成しても良い。
続けて、ＣＰＵ１６は、信号処理部７を制御して、合成画像に対してＪＰＥＧ圧縮処理等の所定の画像処理を施し、液晶表示制御部８を制御して液晶表示画面９に合成画像を表示させるとともに、合成画像データを図示しない記録媒体に保存させる（ステップＳ１１）。
【００５０】
以上のように、実施形態１のデジタルカメラ１００によれば、撮像処理にて、手ぶれを検出する毎にＣＭＯＳセンサ２の露光を停止させるとともに、手ぶれの停止後にＣＭＯＳセンサ２の露光を再開し、ＣＭＯＳセンサ２の露光を停止させる毎に、当該ＣＭＯＳセンサ２に蓄積された画像信号に基づいて被写体画像を生成して、生成された複数の被写体画像を合成することができるので、従来に比べて合成される画像の枚数を減少させることができ、この結果、画像合成処理にかかる時間を減少することができるとともに、ノイズを抑制した合成画像を取得することができる。
【００５１】
また、ＣＭＯＳセンサ２が露光される露光時間が基準撮像時間に達したと判定されると、ＣＭＯＳセンサ２の露光を終了させるので、十分に露光された合成画像を取得することができる。即ち、手ぶれを検出する毎にＣＭＯＳセンサ２の露光を停止させても、計時部１４により露光時間を計時しておくことによりＣＭＯＳセンサ２が実際に露光された時間を取得することができ、合成画像が露光不足となることを防止することができる。
【００５２】
さらに、撮像素子として、ＣＭＯＳセンサ２を用いることにより、複数の光電変換部のうちの位置ずれ検知部２ａに蓄積された電荷の非破壊読出しが可能となって、手ぶれの検出に位置ずれ検知部２ａに蓄積された電荷を用いても、被写体像の画像信号の取得を適正に行うことができる。
【００５３】
なお、上記実施形態１では、撮像素子としてＣＭＯＳセンサ２を例示したが、これに限られるものではなく、光電変換部に蓄積された画像信号の非破壊読出し可能な撮像素子であれば如何なるものであっても良い。
【００５４】
［実施形態２］
以下に、実施形態２のデジタルカメラ２００について、図６及び図７を参照して説明する。
ここで、図６は、本発明を適用した撮像装置の好適な実施形態２のデジタルカメラ２００の概略構成を示すブロック図である。また、図７は、撮像処理に係る動作の一例を示すフローチャートである。
なお、実施形態２のデジタルカメラ２００は、手ぶれ検出に係る撮像素子及びジャイロセンサ２１７の構成以外の点では上記実施形態１と略同様であるので、同様の構成には同一の符号を付してその説明を省略する。
【００５５】
実施形態２のデジタルカメラ２００は、例えば、図６に示すように、撮像素子としてＣＣＤ（Charge Coupled Device）型イメージセンサ２０２を備えるものであり、手ぶれ検出用にジャイロセンサ２１７とセンサ制御部２１８を備えている。
【００５６】
ＣＣＤ型イメージセンサ（以下、「ＣＣＤセンサ」と言う）２０２は、例えば、複数の光電変換部が二次元マトリックス状に配列され、ＣＣＤ制御部２０３の制御下にて、光電変換部に蓄積された電荷が順次所定方向（例えば、垂直方向（Ｙ方向））に転送して読み出されるようになっている。
【００５７】
ジャイロセンサ２１７は、例えば、撮像処理にて、当該デジタルカメラ２００の移動の際に生ずる加速度を検出して、加速度検出信号をＣＰＵ１６に出力するものである。
そして、ＣＰＵ１６は、手ぶれ検出手段として、当該ジャイロセンサ２１７から出力された加速度検出信号が入力されると、手ぶれ検出プログラム１５ａを実行して、検出された加速度から移動量を演算して、当該移動量が所定値（例えば、０．１ｍｍ）以上ずれているか否かに応じて手ぶれの発生を判定する手ぶれ検出処理を実行する（ステップＳ２０４及びＳ２０７；図７参照）。なお、検出された加速度から直接手振れを検地するなどしても良い。また、ここでは移動量が所定値以上であるかの閾値を設けて手ぶれの発生を判定しているが、このようでなくとも構わず、必ずしも所定の閾値を設けなくても良い。
なお、図７に例示する撮像処理は、上記実施形態１の撮像処理と手ぶれ検出処理の方法（ステップＳ２０４及びＳ２０７）が異なるものであり、それ以外の処理はほぼ同様であるため、それらの説明は省略するものとする。
【００５８】
以上のように、実施形態２のデジタルカメラ２００によれば、撮像素子として、複数の光電変換部に蓄積された電荷の非破壊読出しが不可能なＣＣＤセンサ２０２を用いても、ジャイロセンサ２１７を搭載することで当該ジャイロセンサ２１７から出力される加速度検出信号に基づいて手ぶれを検出するこができる。
従って、ＣＣＤセンサ２０２により被写体像の画像信号の取得を適正に行うことができる。
【００５９】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
以下に、デジタルカメラの変形例について説明する。
【００６０】
＜変形例１＞
変形例１のデジタルカメラは実施例２の変形例であり、例えば、図８に示すように、ＣＣＤセンサ３０２の複数の光電変換部のうち、電荷の転送方向（例えば、Ｙ方向）に沿った両縁部分（一部の領域）３０２ａに蓄積された電荷を読み出して解析することにより、手ぶれを検出するようになっている。
即ち、ＣＣＤ制御部２０３は、ＣＰＵ１６の制御下にて、ＣＣＤセンサ３０２の両縁部分３０２ａに蓄積された電荷を手ぶれが発生しない程度に十分に短い一定時間間隔で読み出し、当該画像信号が信号処理部７に入力されると、ＣＰＵ１６は、手ぶれ検出プログラム１５ａの実行に基づいて、信号処理部７に当該画像信号の変動量に従って手ぶれが発生しているか否かを判定する手ぶれ検出処理を実行させるようになっている。
ここで、信号処理部７は、ＣＣＤセンサ３０２の画像信号の転送方向に沿った一部の領域に蓄積された画像信号を解析して手ぶれを検出する一部画像信号解析手段を構成している。
【００６１】
なお、変形例１のデジタルカメラの場合、ＣＣＤセンサ３０２の両縁部分３０２ａに蓄積された電荷は手ぶれ検出の際に読み出されるため、画像生成処理及び画像合成処理には、ＣＣＤセンサ３０２の複数の光電変換部のうち、両縁部分３０２ａ以外の領域３０２ｂの光電変換部に蓄積された電荷が用いられるようになっている。
【００６２】
従って、変形例１のデジタルカメラによれば、ＣＣＤセンサ３０２を搭載したカメラであっても、ジャイロセンサ２１７を備えることなく、手ぶれの検出と被写体像の画像信号の取得を行うことができる。
即ち、手ぶれの検出にＣＣＤセンサ３０２の両縁部分３０２ａに蓄積された電荷を用いることにより、被写体像の撮像範囲はわずかに狭くなるものの、その他の領域３０２ｂの光電変換部により主となる被写体像の画像信号は少なくとも取得することができる。
【００６３】
＜変形例２＞
変形例２のデジタルカメラは実施例１と２の変形例であり、計時部（露光停止時間計測手段）１４により、被写体の撮像の際に、手ぶれ中露光制御処理にて撮像素子（ＣＭＯＳセンサやＣＣＤセンサ等）の露光が停止されている露光停止時間を計測して、ＣＰＵ１６は、露光停止時間を基準撮像時間に加算して、当該カメラの撮像時間を延長する撮像時間延長処理を実行するようになっている。
即ち、ＣＰＵ１６は、撮像時間延長手段として、撮像素子の露光が停止する毎に、記憶部４１５から撮像時間延長プログラム４１５ｇ（図９参照）を読み出して実行して、計時部１４により計時される露光停止時間を基準撮像時間に加算して、カメラの撮像時間を延長させるようになっている。
【００６４】
従って、変形例２のデジタルカメラによれば、撮像素子の露光が停止されている露光停止時間を基準撮像時間に加算して撮像時間を延長することができるので、十分に露光された合成画像を取得することができる。即ち、手ぶれを検出する毎に撮像素子の露光を停止させても、計時部１４により露光停止時間を計時して基準撮像時間に加算して撮像素子が露光される時間を延長することができ、合成画像が露光不足となることを防止することができる。
【００６５】
＜変形例３＞
変形例３のデジタルカメラは実施例１と２の変形例であり、計時部１４により計測された露光時間が基準撮像時間に達したか否かを判定して、露光時間が基準撮像時間に達していないと判定された場合に、信号処理部７は、合成画像の輝度を調整する輝度調整処理を実行するようになっている。
【００６６】
即ち、ＣＰＵ１６は、露光時間判定手段として、記憶部５１５から撮像時間判定プログラム５１５ｈ（図１０参照）を読み出して、被写体の撮像終了後に、即ち、被写体の撮像処理にて基準撮像時間の経過後に、当該被写体の撮像の際に計時部１４により計測された露光時間が基準撮像時間に達したか否かを判定する露光時間判定処理を実行するようになっている。
また、露光時間が基準撮像時間に達していない場合に、ＣＰＵ１６による輝度調整プログラム５１５ｉ（図１０参照）の実行に基づいて、信号処理部７が輝度調整手段として、輝度が所定値となるように合成画像の輝度を調整するようになっている。
【００６７】
従って、変形例３のデジタルカメラによれば、露光時間が基準撮像時間に達していない場合、即ち、手ぶれを検出する毎に撮像素子の露光を停止させることにより合成画像が露光不足となった場合でも、合成画像の輝度を調整することで鮮明な画像を取得することができる。
【００６８】
なお、上記変形例３にあっては、露光時間が基準撮像時間に達していないと判定された場合に、手ぶれ中露光制御処理の際に計測された露光停止時間のうちの所定時間（例えば、半分の時間）を基準撮像時間に加算して、当該カメラの撮像時間を延長するようにしても良い。これにより、合成画像の露光時間をより長くすることができるとともに、輝度調整された鮮明な画像を取得することができる。
【００６９】
加えて、上記実施形態では、手ぶれ検出手段、画像信号解析手段、一部画像信号解析手段、画像生成手段、画像合成手段、輝度調整手段、露光時間判定手段、撮像時間延長手段としての機能を、ＣＰＵ１６によって、所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
【図面の簡単な説明】
【００７０】
【図１】本発明を適用した撮像装置の好適な実施形態１のデジタルカメラの概略構成を示すブロック図である。
【図２】図１のデジタルカメラに備わるＣＭＯＳ型イメージセンサを模式的に示す図である。
【図３】図１のデジタルカメラに備わる記憶部の記憶内容を示す図である。
【図４】図１のデジタルカメラによる撮像処理に係る動作の一例を示すフローチャートである。
【図５】図４の撮像処理に係る動作の一例を示すタイミングチャートである。
【図６】本発明を適用した撮像装置の好適な実施形態２のデジタルカメラの概略構成を示すブロック図である。
【図７】図６のデジタルカメラによる撮像処理に係る動作の一例を示すフローチャートである。
【図８】変形例１のデジタルカメラに備わるＣＣＤ型イメージセンサを模式的に示す図である。
【図９】変形例２のデジタルカメラに備わる記憶部の記憶内容を示す図である。
【図１０】変形例３のデジタルカメラに備わる記憶部の記憶内容を示す図である。
【符号の説明】
【００７１】
１００、２００  デジタルカメラ（撮像装置）
２        ＣＭＯＳ型イメージセンサ（撮像素子、撮像手段）
２ａ      位置ずれ検知部
２ｂ      主画像取得部
３        ＣＭＯＳ制御部（撮像手段、手ぶれ中露光制御手段、露光終了手段）
７        信号処理部（手ぶれ検出手段、画像信号解析手段、一部画像信号解析手段、画像生成手段、画像合成手段、輝度調整手段）
１４      計時部（露光時間計測手段、露光停止時間計測手段、撮像時間計測手段）
１５      記憶部（基準撮像時間記憶手段）
１６      ＣＰＵ（露光時間判定手段、撮像時間延長手段）
２０２    ＣＣＤ型イメージセンサ（撮像素子、撮像手段）
２０３    ＣＣＤ制御部（撮像手段、手ぶれ中露光制御手段、露光終了手段）
２１７    ジャイロセンサ
【図１】
2008092059.tif 000003
【図２】
2008092059.tif 000004
【図３】
2008092059.tif 000005
【図４】
2008092059.tif 000006
【図５】
2008092059.tif 000007
【図６】
2008092059.tif 000008
【図７】
2008092059.tif 000009
【図８】
2008092059.tif 000010
【図９】
2008092059.tif 000011
【図１０】
2008092059.tif 000012