(57)【要約】【課題】電子的にぶれを補正するとともにぶれ補正によって画像のＳ／Ｎ比が低下するのを防止することが可能な撮像装置及びこのような撮像方法を提供すること。【解決手段】最新の時分割撮影における画像信号のレベル（露光量）の目安を与えるものである（Ｔｍ−Ｔｍ０）／Ｔｅｘｐが、所定量ｋ１よりも小さいときは、Ｔｍ≧Ｔｅｘｐとなるまで画像信号の読み出しを行わない。一方、（Ｔｍ−Ｔｍ０）／Ｔｅｘｐが、所定量ｋ１以上のときには、画像のぶれ量が許容量以下となるように露光時間を制御して画像信号の読み出しを行い、読み出した画像信号に基づく画像のぶれを補正した後で合成する。【選択図】図３
2009273058.tif 000002
【特許請求の範囲】
【請求項１】
時分割撮影を行って得られた複数の画像の相互のぶれを補正した後に合成して、ぶれが低減された画像を生成する撮像装置において、
上記時分割撮影における画像のぶれ量を検出するぶれ量検出部と、
上記時分割撮影における露光時間と標準露光時間との比である露光量比を所定値と比較する判定部と、
上記判定部により上記露光量比が上記所定値より小さいと判定されたときは、上記ぶれ量の大きさに係わらず上記露光量比が上記所定値以上になるように露光時間を制御し、上記判定部により上記露光量比が上記所定値以上と判定されたときは、上記時分割撮影における画像のぶれ量が許容量以下になるように上記露光時間を制御する露光時間制御部と、
上記露光時間に従って被写体を時分割撮影して画像信号を生成する撮像部と、
上記時分割撮影を複数回行って得られた複数の画像信号のそれぞれによって表される複数の画像の相互のぶれが補正されるように、上記複数の画像信号に対してぶれ補正を行った後に合成処理を行う画像処理部と、
を具備することを特徴とする撮像装置。
【請求項２】
上記時分割撮影における画像のぶれ量と上記許容量との比が所定値以上のとき警告表示を行う表示部をさらに具備することを特徴とする請求項１に記載の撮像装置。
【請求項３】
時分割撮影を行って得られた複数の画像の相互のぶれを補正した後に合成してぶれが低減された画像を生成する撮像方法において、
時分割撮影における露光時間と標準露光時間との比である露光量比を判定し、上記露光量比が所定値より小さいと判定されたときは、上記ぶれ量の大きさに係わらず上記露光量比が上記所定値以上になるように上記露光時間を制御し、上記露光量比が上記所定値以上と判定されたときは、上記時分割撮影のそれぞれにおける画像のぶれ量が許容量以下になるように露光時間を制御して時分割撮影を複数回行い、該複数回の時分割撮影で得られた複数の画像の相互のぶれを補正した後に合成することを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ぶれが補正された画像を得ることが可能な撮像装置及びこのような撮像方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置において、特に長時間の撮影を行う場合に、撮影の間の撮影者の手ぶれや被写体の動きによって、撮像素子上に結像する被写体像にぶれを生じることが広く知られている。
【０００３】
ぶれを補正する手法の１つとして、複数回の連続した露光時間で時分割的に撮影を行い、それぞれの時分割撮影の結果として得られる複数の画像の相互のぶれを補正してから合成することにより、１枚のぶれが補正された画像を生成する手法が特許文献１や特許文献２等において提案されている。特許文献１では、露光開始からのぶれ量がぶれを許容可能な所定のぶれ量に達するまで露光を行って、撮像素子から画像信号を読み出して合成するという動作を繰り返し行い、これによってぶれの補正された画像を生成するようにしている。また、特許文献２では、ぶれを許容可能な所定の限界露光時間ＴＬｉｍｉｔよりも高速で、かつ露光時間Ｔｅｘｐのｍ（ｍは整数）分の１の時分割露光時間ΔＴｅｘｐを演算し、時分割露光時間でｍ回の時分割撮影を行い、時分割撮像部で撮影された画像をｍ倍に増幅し、ｍ倍に増幅された複数枚の時分割画像の相互のぶれを補正し、相互のぶれが補正された複数枚の時分割画像を合成するようにしている。
【特許文献１】特開２００３−３２５４０号公報
【特許文献２】特開２００７−２４３７７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
撮影画角が同じ条件のもとで３５ｍｍフィルムの撮影レンズの焦点距離に換算したときの撮影レンズの焦点距離ｆ[ｍｍ]の逆数の露光時間１／ｆ[ｓ]で撮影を行うと、ぶれが目立たないとされる。露光時間を短くすると画像信号のＳ／Ｎ比が低下するので、複数回の時分割撮影を行い相互のぶれを補正して加算するとＳ／Ｎ比が改善される。上記の特許文献１、２はこの原理を応用したものである。
【０００５】
しかしながら、ぶれが目立たないかどうかは、撮影した画像をプリント紙に引き伸ばして観察する場合のプリントサイズ、観察距離、人の視覚の分解能によって定まる許容錯乱円の大きさなどに依存するものである。このため、上記一般的にいわれている露光時間で撮影を行ったとしても十分とはいえない場合がある。
【０００６】
ぶれ補正の性能を高める目的で露光時間を短くし過ぎると、時分割撮影の回数が多くなり消費電力の増大を招く。また、複数画像を加算すると画像信号のＳ／Ｎ比は改善するが、露光時間を短くし過ぎると、信号処理に伴う誤差が積算され最終的にＳ／Ｎ比の改善効果は期待したほど得られないことになる。この問題は、特許文献１、２等のように、撮像素子から画像信号を読み出してから増幅やＡ／Ｄ変換などの処理を行ってぶれを補正するシステムの場合に特に大きい。
【０００７】
本発明は、上記の事情に鑑みてなされたものであり、電子的にぶれを補正するとともにぶれ補正によって画像のＳ／Ｎ比が低下するのを防止することが可能な撮像装置及びこのような撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の第１の態様の撮像装置は、時分割撮影を行って得られた複数の画像の相互のぶれを補正した後に合成して、ぶれが低減された画像を生成する撮像装置において、上記時分割撮影における画像のぶれ量を検出するぶれ量検出部と、上記時分割撮影における露光時間と標準露光時間との比である露光量比を所定値と比較する判定部と、上記判定部により上記露光量比が上記所定値より小さいと判定されたときは、上記ぶれ量の大きさに係わらず上記露光量比が上記所定値以上になるように露光時間を制御し、上記判定部により上記露光量比が上記所定値以上と判定されたときは、上記時分割撮影における画像のぶれ量が許容量以下になるように上記露光時間を制御する露光時間制御部と、上記露光時間に従って被写体を時分割撮影して画像信号を生成する撮像部と、上記時分割撮影を複数回行って得られた複数の画像信号のそれぞれによって表される複数の画像の相互のぶれが補正されるように、上記複数の画像信号に対してぶれ補正を行った後に合成処理を行う画像処理部とを具備することを特徴とする。
【０００９】
上記の目的を達成するために、本発明の第２の態様の撮像方法は、時分割撮影を行って得られた複数の画像の相互のぶれを補正した後に合成してぶれが低減された画像を生成する撮像方法において、時分割撮影における露光時間と標準露光時間との比である露光量比を判定し、上記露光量比が所定値より小さいと判定されたときは、上記ぶれ量の大きさに係わらず上記露光量比が上記所定値以上になるように上記露光時間を制御し、上記露光量比が上記所定値以上と判定されたときは、上記時分割撮影のそれぞれにおける画像のぶれ量が許容量以下になるように露光時間を制御して時分割撮影を複数回行い、該複数回の時分割撮影で得られた複数の画像の相互のぶれを補正した後に合成することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、電子的にぶれを補正するとともに、ぶれ補正によって画像のＳ／Ｎ比が低下するのを防止することが可能な撮像装置及びこのような撮像方法を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明の実施形態について説明する。  
図１は、本発明の一実施形態に係わる撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。図１に示すデジタルカメラは、撮影レンズ１と、レンズ駆動系２と、絞り３と、絞り駆動系４と、撮像素子５と、撮像素子ドライバ６と、タイミングジェネレータ（ＴＧ）回路７と、相関二重サンプリング（ＣＤＳ）回路８と、増幅回路９と、アナログ／デジタル（Ａ／Ｄ）変換部１０と、データバス１１と、内蔵メモリ１２と、画像処理部１３と、ＡＥ処理部１４と、ＡＦ処理部１５と、圧縮／伸張部１６と、着脱メモリ１７と、表示部１８と、不揮発性メモリ１９と、メインＣＰＵ２０と、入力部２１と、電源部２２と、サブＣＰＵ２３と、Ａ／Ｄ変換部２４と、角速度センサ２５、２６とを有している。
【００１２】
撮影レンズ１は、被写体の光学像（被写体像）を撮像素子５の撮像面上に結像させるための光学系である。レンズ駆動系２は、撮影レンズ１に含まれるフォーカス調整用のレンズ等を駆動させるための駆動系である。レンズ駆動系２を介してフォーカス調整用のレンズを駆動することによって撮影レンズ１のフォーカス調整を行うことが可能である。また、撮影レンズ１がズームレンズである場合には、レンズ駆動系２によって撮影レンズ１を駆動することによってズーミングを行うことが可能である。
【００１３】
絞り３は、撮影レンズ１を介して撮像素子５に入射する光の量を調整するために設けられている。絞り駆動系４は、絞り３を駆動させるための駆動系である。絞り駆動系４を介して絞り３を開閉することによって、撮像素子５への光の入射量が調整される。これにより、撮像素子５の露光量を制御することが可能である。
【００１４】
撮像素子５は、複数の画素が二次元状に配列されて構成される撮像面の前面に、異なる複数色の色フィルタセグメントが所定の周期配列（例えば、ベイヤー配列）をなして配置されて構成されている。この撮像素子５は、撮像面上に結像された被写体像を電気信号（画像信号）に変換する。撮像素子ドライバ６は、撮像素子５による撮像動作と撮像素子５の画素からの信号の読み出し動作とを実行させる。ＴＧ回路７は、撮像素子５、ＣＤＳ回路８、Ａ／Ｄ変換部１０の動作タイミングを決定するためのタイミング信号を撮像素子ドライバ６、ＣＤＳ回路８及びＡ／Ｄ変換部１０に供給する。
【００１５】
ＣＤＳ回路８は、ＴＧ回路７からのタイミング信号に従って、撮像素子５から出力される画像信号のＣＤＳ処理を行うことで、画像信号におけるノイズを除去する。増幅回路９は、ＣＤＳ回路８から出力される画像信号をメインＣＰＵ２０から指定される所定の増幅率で増幅する。Ａ／Ｄ変換部１０は、増幅回路９からアナログ信号として出力される画像信号をデジタル信号（画像データ）に変換する。
【００１６】
データバス１１は、デジタルカメラ内部で発生した各種データをデジタルカメラ内の各部に転送するための転送路である。内蔵メモリ１２は、Ａ／Ｄ変換部１０において得られた画像データや、画像処理部１３、圧縮／伸張部１６において処理された画像データ等の各種データが一時的に記憶される記憶部である。
【００１７】
画像処理部１３は、同時化処理、ホワイトバランス補正処理、ＹＣ分離処理、色変換処理、階調変換処理等の画像処理を施す。また、画像処理部１３は、画像合成部１３ａを有している。画像合成部１３ａは、後述する時分割撮影時によって得られる複数の画像データの相互のぶれを補正するとともに、ぶれを補正したそれぞれの画像を合成して１枚のぶれのない画像を生成する。
【００１８】
ＡＥ処理部１４は、被写体の輝度を測定するための測光処理を行う。なお、被写体の輝度は専用のセンサを用いて検出するようにしても良いし、画像データから検出するようにしても良い。ＡＦ処理部１５は、デジタルカメラから被写体までの距離を測定する。被写体距離は、専用のセンサの出力に基づいて検出するようにしても良いし、フォーカス調整時の撮影レンズ１の繰り出し量から算出するようにしても良い。
【００１９】
圧縮／伸張部１６は、画像データの記録時には、画像処理部１３で処理された画像データをＪＰＥＧ圧縮方式等の所定の圧縮方式に従って圧縮する。また、画像データの再生時には、圧縮／伸張部１６は、着脱メモリ１７に記録された圧縮画像データを読み出して伸張する。
【００２０】
着脱メモリ１７は、デジタルカメラ本体に着脱可能なメモリからなる記録媒体であり、圧縮／伸張部１６で圧縮された画像データ等が記録される。図１では、着脱メモリ１７を圧縮画像データの記録用の記録媒体としているが、必ずしも着脱可能なメモリを記録媒体として用いなくとも良い。
【００２１】
表示部１８は、例えば液晶ディスプレイ（ＬＣＤ）であり、画像処理部１３で処理された画像データ等に基づき、各種の画像を表示する。
【００２２】
不揮発性メモリ１９は、図１のデジタルカメラの動作に必要な各種パラメータやメインＣＰＵ２０及びサブＣＰＵ２３にて実行する各種プログラムを記憶している。メインＣＰＵ２０は、デジタルカメラ本体の各種シーケンスを統括的に制御する。このメインＣＰＵ２０は、不揮発性メモリ１９に記憶されているプログラムに従い、また不揮発性メモリ１９から各種シーケンスに必要なパラメータを読み込み、各処理を実行する。さらに、メインＣＰＵ２０は、露光時間等を計時するためのタイマカウンタ２０ａを有している。
【００２３】
入力部２１は、レリーズボタン２１ａ及び画質入力ボタン２１ｂ等を含む操作部材である。ユーザによって入力部２１の何れかの操作部材が操作されることにより、メインＣＰＵ２０は、ユーザの操作に応じた各種シーケンスを実行する。レリーズボタン２１ａは、第１レリーズスイッチと第２レリーズスイッチの２段スイッチを有して構成されている。レリーズボタン２１ａが半押しされて第１レリーズスイッチが閉じた場合に、メインＣＰＵ２０は、ＡＥ処理やＡＦ処理等の撮影準備シーケンスを行う。また、レリーズボタン２１ａが全押しされて第２レリーズスイッチが閉じた場合に、メインＣＰＵ２０は撮影シーケンスを実行して撮影を行う。画質入力ボタン２１ｂは、例えば十字キー等の操作部材である。この画質入力ボタン２１ｂによって、着脱メモリ１７に記録される圧縮画像データの画質（画像サイズ、圧縮率）を設定することが可能である。
【００２４】
電源部２２は、図１に示すデジタルカメラの電源である。メインＣＰＵ２０は、電源部２２より供給される電源を図１に示す各ブロックに供給する。
【００２５】
サブＣＰＵ２３は、ぶれ補正に関するシーケンスを統括的に制御する。Ａ／Ｄ変換部２４は、角速度センサ２５、２６からアナログ信号として出力されるぶれ信号（角速度信号）をデジタル信号に変換してサブＣＰＵ２３に出力する。角速度センサ２５は、図１に示すデジタルカメラのＸ軸回りの回転角θｘの単位時間当たりの変化量である角速度を検出するための角速度センサである。角速度センサ２６は、図１に示すデジタルカメラのＹ軸回りの回転角θｙの単位時間当たりの変化量である角速度を検出するためのものである。
【００２６】
ここで、図２を参照して角速度センサ２５、２６についてさらに説明する。図２は、デジタルカメラに設定した座標軸と２つの角速度センサ２５、２６の配置との関係を示す図である。
【００２７】
図２において、ある時刻における、撮影レンズ１の光軸Ｏに沿った方向にＺ軸を設定する。また、Ｚ軸に垂直な平面上で且つ被写体側からデジタルカメラ１００を見たときの左右方向にＸ軸を設定する。さらに、Ｚ軸とＸ軸との交点を通り且つ被写体側からデジタルカメラ１００を見たときの上下方向にＹ軸を設定する。なお、Ｚ軸の正方向は被写体側とする。また、Ｘ軸の正方向は被写体側からデジタルカメラ１００を見たときの右方向とする。さらに、Ｙ軸の正方向は上方向とする。なお、ある時刻においては、図２に示すように、撮影レンズ１の光軸ＯとＺ軸とは一致しているが、別の時刻においてぶれが発生した場合には、撮影レンズ１の光軸Ｏは一般にＺ軸とは一致しない。
【００２８】
以上のように設定したＸ軸、Ｙ軸、Ｚ軸周りの回転角を、それぞれθｘ、θｙ、θｚとする。図２に示すように、２つの角速度センサ２５、２６は、Ｘ軸、Ｙ軸、Ｚ軸に関連した配置となるように設けられている。
【００２９】
以下、図１に示すデジタルカメラの動作について説明する。図３は本実施形態の撮像方法を含むデジタルカメラの撮影動作の流れを示すフローチャートである。
【００３０】
まず、メインＣＰＵ２０は、レリーズボタン２１ａが半押しされて第１レリーズスイッチが閉じたか否かを判定する（ステップＳ１０１）。ステップＳ１０１の判定において、第１レリーズスイッチが閉じるまでメインＣＰＵ２０は、ステップＳ１０１の判定を継続する。一方、ステップＳ１０１の判定において、第１レリーズスイッチが閉じていれば、メインＣＰＵ２０は、ＡＥ処理部１４による測光処理（被写体輝度の測定）を実行する（ステップＳ１０２）。その後、メインＣＰＵ２０は、ＡＥ処理部１４における測光結果に基づいて、アペックス演算により露光時間（Ｔｅｘｐ）を演算する（ステップＳ１０３）。ここで、露光時間Ｔｅｘｐは、通常撮影における露光時間（以下「標準露光時間」とよぶ）である。この標準露光時間Ｔｅｘｐは、後述する複数の時分割撮影の合成露光時間とほぼ等しい。次に、メインＣＰＵ２０は、ＡＦ処理部１５の出力に基づいて、撮影レンズ１のフォーカスを調整する（ステップＳ１０４）。なお、このときにメインＣＰＵ２０は、ＡＦ処理部１５で演算される被写体距離を保持しておく。
【００３１】
次に、メインＣＰＵ２０は、レリーズボタン２１ａが全押しされて第２レリーズスイッチが閉じたか否かを判定する（ステップＳ１０５）。ステップＳ１０５の判定において、第２レリーズスイッチが閉じていなければ処理がステップＳ１０２に戻る。この場合に、メインＣＰＵ２０はＡＥ処理部１４による測光を再び実行する。一方、ステップＳ１０５の判定において、第２レリーズスイッチが閉じていれば、メインＣＰＵ２０は、ＴＧ回路７を介して撮像素子５の露光を開始させる（ステップＳ１０６）。これにより、撮像素子５の各画素において被写体像に応じた電荷の蓄積が開始される。
【００３２】
また、第２レリーズスイッチが閉じた後は、図３の処理とは独立にぶれ量の演算が行われる。ステップＳ１０６以降の処理においては、ぶれ量演算の処理が大きく係わってくるので、ここでぶれ量の演算について説明する。
【００３３】
第２レリーズスイッチが閉じた後、サブＣＰＵ２３は、角速度センサ２５、２６から各出力される検出信号を、それぞれＡ／Ｄ変換部２４によりデジタルデータとして取り込む。また、サブＣＰＵ２３は、メインＣＰＵ２０を介して撮影レンズ１の焦点距離ｆに関する情報を取得する（例えば、撮影レンズ１がズームレンズである場合には、メインＣＰＵ２０がレンズ駆動系２を介して情報の取得を行い、あるいは、撮影レンズ１が交換式のレンズ鏡筒である場合には通信接点等を介して情報の取得を行う）。さらに、サブＣＰＵ２３は、被写体距離情報をメインＣＰＵ２０から取得する。これら、焦点距離ｆの情報と被写体距離情報とは、後述するＸ方向のぶれ量の演算及びＹ方向のぶれ量の演算に用いられる。
【００３４】
次に、図４を参照して、ぶれ量とぶれ補正量との関係について説明する。  
図４は、デジタルカメラ１００が回転角θｘだけぶれた場合の、撮像面上における被写体６３の像の移動状態を示す図である。
【００３５】
デジタルカメラ１００がぶれ等によって回転角θｘだけ回転したとすると、これに伴って撮影レンズ１が参照符号１’に示す位置まで回転して移動するとともに、撮像素子５の撮像面６１も角度θｘだけ傾いたＣ−Ｄ面の位置に移動する。また、ぶれが発生していないときには参照符号６２に示す位置にあった被写体６３の像が、回転角θｘのぶれが発生した後には、撮像面Ｃ−Ｄ上の参照符号６２’に示す位置に移動する。
【００３６】
ここで、撮影レンズ１の焦点距離をｆ、ぶれが発生していないときの撮影レンズ１の物空間焦点から被写体６３までの距離をＬ、ぶれが発生していないときの撮影レンズ１の像空間焦点から像位置までの距離をＬ’、ぶれによる像位置の移動量をΔＹ、とそれぞれすると、図４に示すような幾何学的位置関係と、次の（式１）に示すニュートン（Newton）の結像公式  
【数１】
2009273058.tif 000003
【００３７】
とを用いることにより、移動量ΔＹは、次の（式２）に示すように算出される。  
【数２】
2009273058.tif 000004
【００３８】
ここで、（式２）におけるβは撮影倍率を示し、β＝ｆ／Ｌである。また、（式２）を算出するに当たっては、θｘが微小量であるとして、θｘの１次のオーダーまでの近似を行っている。また、（式２）における焦点距離ｆは、上述したように、メインＣＰＵ２０を介して取得され、撮影レンズ１のレンズ情報としてサブＣＰＵ２３に入力される。さらに、βを算出するために必要な被写体距離Ｌは、ＡＦ処理部１５から取得することができる。さらに、回転角θｘは、角速度センサ２５からの出力に基づいて算出することができる。
【００３９】
（式２）に基づいて得られる移動量ΔＹに係る実質的な補正を行うことにより、デジタルカメラにぶれが発生したとしても、撮像素子５を介して出力される画像信号に係る画像にはぶれの影響が生じないようにすることができる。
【００４０】
なお、上述したように、角度θｘは微小量であるために、図４に示すように撮像面Ｃ−ＤがＸ軸周りにＹ軸に対して角度θｘだけ傾いても、撮像面の傾きにより生じる像への影響は、上述した移動量ΔＹ以外には問題になることはない。
【００４１】
また、デジタルカメラ１００がＹ軸回りに回転角θｙだけ回転したときの像位置の移動量ΔＸも、（式２）と同様に、次の（式３）に示すように求められる。  
【数３】
2009273058.tif 000005
【００４２】
ここで、（式２）の両辺を時間で微分することにより、次の（式４）が得られる。  
【数４】
2009273058.tif 000006
【００４３】
（式４）の右辺ｄ（θｘ）／ｄｔは、Ｘ軸周りの角速度そのものであるために、角速度センサ２５の出力をそのまま用いることが可能である。また、（式４）の左辺ｄ（ΔＹ）／ｄｔは、ｄ（θｘ）／ｄｔの角速度が生じた場合のＹ軸方向の像移動速度Ｖｙとなる。
【００４４】
同様に、Ｙ軸回りに回転角θｙだけぶれが発生したときのＸ軸方向の像位置の移動量ΔＸに関しても、（式３）の両辺を時間で微分することにより、次の（式５）が得られる。
【数５】
2009273058.tif 000007
【００４５】
（式５）の右辺ｄ（θｙ）／ｄｔは、Ｙ軸周りの角速度そのものであるために、角速度センサ２６の出力をそのまま用いることが可能である。また、（式５）の左辺ｄ（ΔＸ）／ｄｔは、ｄ（θｙ）／ｄｔの角速度が生じた場合のＸ軸方向の像移動速度Ｖｘとなる。
【００４６】
今、所定時間ΔＴ（ΔＴは、Ａ／Ｄ変換部２４の出力をデジタル信号に変換するサンプリング間隔である。このΔＴは、ぶれ限界露光時間ＴＬｉｍｉｔと同じか、またはそれよりも短い時間であることが望ましい）周期で検出した角速度センサ２５の出力ｄ（θｘ）／ｄｔが、ωｘ1、ωｘ2、ωｘ3、…、ωｘ(n-1)、ωｘnであったとすると、ｎ×ΔＴの時間が経過した後のＹ軸方向の像位置の移動量ΔＹは、次の（式６）に示すように与えられる。  
【数６】
2009273058.tif 000008
【００４７】
同様に、所定時間ΔＴ毎に（所定時間ΔＴ周期で）検出した角速度センサ２６の出力ｄ（θｙ）／ｄｔが、ωｙ1、ωｙ2、ωｙ3、…、ωｙ(n-1)、ωｙnであったとすると、ｎ×ΔＴの時間が経過した後のＸ軸方向の像位置の移動量ΔＸは、次の（式７）に示すように与えられる。  
【数７】
2009273058.tif 000009
【００４８】
以上のように、撮像素子５によって、ｎ×ΔＴの時間間隔で露光された複数の画像における像の移動量（即ちぶれ量）は、（式６）及び（式７）により計算することができる。したがって、これらの式により算出されたぶれ量ΔＸ、ΔＹに基づいて、それぞれの画像のぶれを補正するような画素電荷の移動を行ってから加算することにより、ぶれの補正された１つの画像を生成することが可能となる。
【００４９】
図５は、サブＣＰＵ２３により移動量ΔＸ、ΔＹ等を算出する処理の流れを示すフローチャートである。上述したように、図５の処理は、レリーズボタン２１ａの半押しによって第２レリーズスイッチが閉じたときから露光が終了するまでの間、図３に示した処理とは独立な処理として実行されるようになっている。
【００５０】
図５の処理において、サブＣＰＵ２３は、第２レリーズスイッチが閉じたか否かを判定している（ステップＳ４０１）。そして、第２レリーズスイッチが閉じるまではステップＳ４０１の判定を繰り返し行う。
【００５１】
ステップＳ４０１の判定において、第２レリーズスイッチが閉じた場合に、サブＣＰＵ２３は、撮影レンズ１の焦点距離ｆと被写体距離Ｌとを取得する（ステップＳ４０２）。これらの焦点距離ｆと被写体距離Ｌとは、例えば図５に示す処理の中において演算すれば良い。また、より高速なサイクルでぶれ量を演算するために、別途のプロセッサ等を用いて焦点距離ｆと被写体距離Ｌとを演算しておき、サブＣＰＵ２３はこの演算されたデータをステップＳ４０２において取得するようにすると良い。これにより、処理の高速化を図るとともに、実際のぶれに対してリアルタイムに追従することが可能となる。
【００５２】
次に、サブＣＰＵ２３は、Ａ／Ｄ変換部２４を介して角速度センサ２５、２６の出力を読み込むことにより、角速度ωｘ、ωｙを取得する（ステップＳ４０３）。その後、サブＣＰＵ２３は、取得した角速度ωｘ、ωｙを、前回取得した値までの角速度の累積加算値に加算することにより、今回検出した値までの角速度の累積加算値を演算する（ステップＳ４０４）。
【００５３】
その後、サブＣＰＵ２３は、ステップＳ４０４で演算した累積加算値を、（式６）、（式７）にそれぞれ代入することにより、複数の時分割画像の内の最初の時分割画像の撮影終了時点からの像位置の移動量ΔＹ、ΔＸをそれぞれ算出する（ステップＳ４０５）。
【００５４】
次に、サブＣＰＵ２３は、Ｐｘ＝「ΔＸ／Ｌｘ」と、Ｐｙ＝「ΔＹ／Ｌｙ」と、を演算する（ステップＳ４０６）。ここで、Ｌｘ、Ｌｙは画素のＸ方向、Ｙ方向のサイズをそれぞれ表し、「」は小数以下を四捨五入した整数値を意味するものとする。したがって、Ｐｘ、Ｐｙは、最初の時分割画像の撮影終了時点からの像位置の移動量ΔＸ、ΔＹを画素単位で表したものとなる。
【００５５】
続いて、サブＣＰＵ２３は、Ｐｘ、Ｐｙを、各対応するメモリ〔Ｐｘ〕、〔Ｐｙ〕にそれぞれ記憶させる（ステップＳ４０７）。その後、サブＣＰＵ２３は、標準露光時間Ｔｅｘｐの露光が終了しているか否かを判定する（ステップＳ４０８）。ステップＳ４０８の判定において、露光が終了していない場合には処理がステップ４０３に戻る。この場合に、サブＣＰＵ２３は、角速度ωｘ、ωｙの取得以後の処理を繰り返す。一方、ステップＳ４０８において、露光が終了した場合に、サブＣＰＵ２３は、図５に示す処理を終了させる。
【００５６】
ここで、図３の説明に戻る。ステップＳ１０６において、撮像素子５の露光を開始させた後、メインＣＰＵ２０は、露光時間を計時するためのタイマカウンタ２０ａのカウントを開始させる（ステップＳ１０７）。次に、メインＣＰＵ２０は、変数の初期設定を行う。ここでは、後述する演算に必要な変数Ｐｘ０、Ｐｙ０を記憶するためのメモリ〔Ｐｘ０〕、〔Ｐｙ０〕にそれぞれ０を記憶させる。本実施形態においては、最初の時分割撮影の露光開始からの累積ぶれ量を求め、この累積ぶれ量から前回の時分割撮影による画像信号を読み出すまでの累積ぶれ量を減算することにより、それぞれの時分割撮影の露光時間内のぶれ量を求めている。変数Ｐｘ０、Ｐｙ０は、前回の時分割撮影による画像信号を読み出すまでのＸ方向、Ｙ方向の累積ぶれ量である。また、時分割撮影において、前回撮影した画像信号を撮像素子５から読み出すまでの露光時間Ｔｍ０を記憶するためのメモリ〔Ｔｍ０〕に０を記憶させる。また、時分割撮影の回数ｎを記憶するためのメモリ〔ｎ〕に０を記憶させる。さらに、増幅回路９の増幅率Ａを記憶するためのメモリ〔Ａ〕に１を記憶させる。
【００５７】
次に、メインＣＰＵ２０は、Ｐｘ−Ｐｘ０、Ｐｙ−Ｐｙ０を演算し、その演算結果をそれぞれメモリ〔Ｓｘ〕、〔Ｓｙ〕に記憶させる（ステップＳ１０９）。
【００５８】
その後、メインＣＰＵ２０は、タイマカウンタ２０ａのカウント値Ｔｍ（Ｔｍは、最初の時分割撮影開始時刻（ステップＳ１０７の時刻とほぼ同じ）から最新の時分割画像信号の累積露光時間に等しい）から、増幅率設定処理（詳細は後述する）の中で設定した前回の画像信号読み出し前のタイマカウンタ２０ａの値Ｔｍ０（Ｔｍ０は最初の時分割撮影開始時刻から前回の時分割画像信号読み出しの時刻までの累積露光時間に等しい）を減算した時間Ｔｍ−Ｔｍ０（最新の時分割撮影における露光時間に等しい）を、ステップＳ１０３で演算した通常撮影における標準露光時間Ｔｅｘｐで除算した値（Ｔｍ−Ｔｍ０）／Ｔｅｘｐ（以下「露光量比」とよぶ）が、予め不揮発性メモリ１９に記憶された定数ｋ１より小さいか否かを判定する（ステップＳ１１０）。ここで、露光量比は撮像素子５の光電変換素子に光電荷が標準レベルに対してどれくらい蓄積されたかを示すものであり、この値が小さいほど画像信号のＳ／Ｎ比が低くなる。露光量比がｋ１よりも小さいときは画像信号のＳ／Ｎ比が許容できないレベルであることを意味する。この場合には、画像信号の読み出しが行われずに、ステップＳ１１１に分岐する。そして、メインＣＰＵ２０は、ＴｍがＴｅｘｐ以上か否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、ＴｍがＴｅｘｐ以上のときは、ステップＳ１１６以降の画像信号の読み出し（後述する）を行う。後述することから明らかになるが、ステップＳ１１３以降の処理では、ぶれ量が所定量以上にならないと画像信号の読み出しが行われない。しかしながらぶれが発生していない場合にも画像信号の読み出しを行う必要がある。このため、ステップＳ１１１の判定を設けておき、ぶれが発生しなくとも、露光時間ＴｍがＴｅｘｐ以上となったら、画像信号を読み出すようにしている。したがって、本実施形態においては、標準露光時間内のぶれ量が許容量以下の場合は通常撮影と同じように撮影が行われることになる。また、ステップＳ１１１の判定において、Ｔｍ≧Ｔｅｘｐでないときには露光量が不足しているのでステップＳ１０９に戻って処理が繰り返される。
【００５９】
また、ステップＳ１１０の判定において、露光量比がｋ１よりも小さくないときは、露光量が画像信号のＳ／Ｎが許容レベルにある。この場合に、メインＣＰＵ２０は、Ｓｘが許容ぶれ量Ｓｘ０より大きいか、又はＳｙが許容ぶれ量Ｓｙ０よりも大きいかを判定する（ステップＳ１１２）。
【００６０】
ここで、ステップＳ１１２の許容ぶれ量について説明する。まず、撮像面での長さで表したＸ方向およびＹ方向の許容ぶれ量をそれぞれＬｘ０、Ｌｙ０とする。そして例えば、２４×３６［ｍｍ］のサイズの撮像素子によって得られた画像を１８×２４［ｃｍ］（所謂６切判）のプリント紙に６倍の倍率で引き伸ばして４０［ｃｍ］の距離から観察したとする。視力１．０の人の視覚の２点識別分解能はおよそ１［分］とされているので、プリント紙に引き伸ばされた画像の許容錯乱円は、４０［ｃｍ］×１［分］×２π／（３６０×６０［分］）＝１１６［μｍ］となる。したがって、撮像素子の撮像面における許容錯乱円は１１６［μｍ］／６＝１９［μｍ］となる。本実施形態では、このような許容錯乱円の大きさに基づいて許容ぶれ量Ｓｘ０、Ｓｙ０を設定する。
【００６１】
なお、本実施形態におけるデジタルカメラの画質モードは、図６に一例として示すように、画像サイズ（ピクセルサイズに対応する）と圧縮率とを選択して選べるようになっている。許容ぶれ量は、画像サイズ、圧縮率、画像の引き伸ばし倍率、及び観察距離等に依存するものである。本実施形態では、例えば、画像サイズ１６００画素×１２００画素、且つ圧縮率がノーマルのときの許容ぶれ量を上述した許容錯乱円の大きさに等しい１９［μｍ］に設定する。画像サイズ１６００画素×１２００画素は、許容ぶれ量１９［μｍ］のぶれが発生しても、本来の撮像素子の解像度を損なわないレベルの画像サイズである。他の画像サイズに対してどのような許容ぶれ量を設定するかは、画像の引き伸ばし倍率や観察距離にも依存するが、本実施形態においては、画像サイズに反比例した許容ぶれ量を設定する。これは、画像を画像サイズに比例した引き伸ばし倍率で拡大して観察距離を同じくして観察したとき、画像サイズに拠らず同じレベルのぶれ量を許容することを意味する。また、同じ画像サイズでも圧縮率が高いと画質は低下する。したがって、圧縮率が高いほど、許容ぶれ量を大きくするように設定する。
【００６２】
以上説明した許容ぶれ量を単位画素の水平方向の長さ（Ｌｘ）と垂直方向の長さ（Ｌｙ）で除算することによって、画素単位で表したＸ方向、Ｙ方向の許容ぶれ量Ｓｘ０、Ｓｙ０を計算する。そして、この許容ぶれ量Ｓｘ０、Ｓｙ０を画像サイズや圧縮率毎に予め不揮発性メモリ１９に記憶しておく。
【００６３】
ステップＳ１１２の判定において、Ｓｘが許容ぶれ量Ｓｘ０より大きいか、Ｓｙが許容ぶれ量Ｓｙ０よりも大きい場合に、メインＣＰＵ２０は、Ｓｘ／Ｓｘ０が不揮発性メモリ１９に記憶されている定数ｋ２より大きいか、又はＳｙ／Ｓｙ０がｋ２より大きいか否かを判定する（ステップＳ１１３）。ステップＳ１１３の判定において、Ｓｘ／Ｓｘ０がｋ２より大きいか、又はＳｙ／Ｓｙ０がｋ２より大きい場合には、ぶれが許容レベルより大きいとして、メインＣＰＵ２０は表示部１８に警告表示を行う（ステップＳ１１４）。なお、警告表示の代わりに警告音であっても構わない。ステップＳ１１３の判定処理を設けたのは次の理由による。ぶれを補正可能な限界は、時分割撮影において撮像素子から複数の画像信号を読み出す周期に依存する。読み出し周期が長いと時分割撮影におけるぶれ量が許容量に比べて大きくなりやすい。ぶれ量が許容量に対してどれくらい大きくなったときに警告表示をするかは設計的な問題であるが、たとえばｋ２＝２にするとよい。ｋ２＝１では頻繁に警告表示がされて煩わしいし、ｋ２が大きすぎると商品の信頼性が問われるからである。
【００６４】
また、ステップＳ１１３の判定において、Ｓｘ／Ｓｘ０及びＳｙ／Ｓｙ０が何れもｋ２以下のときに、メインＣＰＵ２０は、増幅回路９の増幅率設定のサブルーチンを実行する（ステップＳ１１５）。時分割撮影における露光量は通常撮影における露光量に比べて少ないので、時分割撮影における画像信号を増幅回路９によって増幅する。これにより、時分割撮影時におけるＡ／Ｄ変換部１０への入力信号レベルを通常撮影時の入力信号レベルとほぼ等しくし、結果として、Ａ／Ｄ変換部１０のＡ／Ｄ変換に伴う量子化誤差を小さくすることができる。
【００６５】
ここで、増幅率設定のサブルーチンについてさらに説明する。図７は、増幅率設定のサブルーチンを示すフローチャートである。メインＣＰＵ２０は、最初の時分割撮影における露光開始からの累積露光時間Ｔｍから、前回の時分割撮影における画像信号を読み出すまでの露光時間Ｔｍ０を減算し、この値（この値は、上述したように、最新の時分割撮影における露光時間を示すものとなる）を、変数ΔＴｅｘｐを記憶するためのメモリ〔ΔＴｅｘｐ〕に記憶させる（ステップＳ５０１）。次に、メインＣＰＵ２０は、Ｔｍを新たな変数Ｔｍ０の値としてメモリ〔Ｔｍ０〕に記憶させる（ステップＳ５０２）。次に、メインＣＰＵ２０は、Ｔｅｘｐ／ΔＴｅｘｐを、増幅率Ａを記憶するためのメモリ〔Ａ〕に記憶させる（ステップＳ５０２）。その後、メインＣＰＵ２０は、増幅回路９の増幅率をＡに設定する（ステップＳ５０４）。このように増幅率を設定しておくことにより、画像信号の読み出し時には、撮像素子５からの画像信号がＴｅｘｐ／ΔＴｅｘｐ倍される。これによりＡ／Ｄ変換部１０に入力される画像信号のレベルが通常撮影時のレベルとほぼ等しくなる。
【００６６】
再び図３に戻って説明を続ける。ステップＳ１１５の増幅率設定の後、メインＣＰＵ２０は、前回画像信号を読み出すまでの累積ぶれ量Ｐｘ０、Ｐｙ０を記憶するメモリ〔Ｐｘ０〕、〔Ｐｙ０〕に露光開始からのぶれ量Ｐｘ、Ｐｙを記憶させることにより、Ｐｘ０、Ｐｙ０を更新する（ステップＳ１１６）。次に、メインＣＰＵ２０は、ＴＧ回路７を制御して撮像素子５からの画像信号の読み出しを開始させる（ステップＳ１１７）。次に、メインＣＰＵ２０は、今回読み出された画像信号と、既にぶれが補正されて合成されている画像信号との画像合成を行う（ステップＳ１１８）。
【００６７】
画像合成のサブルーチンについて図８を参照してさらに説明する。図８は、画像合成のサブルーチンを示すフローチャートである。まず、メインＣＰＵ２０は、時分割撮影の回数を示す変数ｎが０か否かを判定する（ステップＳ６０１）。ステップＳ６０１の判定において、ｎ＝０のときは、初回の時分割撮影による画像信号が読み出された場合である。このとき、メインＣＰＵ２０は、撮像素子５を介して読み出され、Ａ／Ｄ変換部１０で得られた画像データを内蔵メモリ１２に記憶させる（ステップＳ６０２）。一方、ステップＳ６０１の判定において、ｎ＝０でないときは、２回目以降の時分割撮影による画像信号が読み出された場合である。この場合に、メインＣＰＵ２０は、撮像素子５から新たに読み出された画像信号をデジタル化して得られた画像データのシフトを行う。このシフトは、図３のステップＳ１０９にてメモリ〔Ｓｘ〕、〔Ｓｙ〕に記憶されたＸ方向、Ｙ方向のぶれ量をそれぞれＳｘ、Ｓｙとしたときに、Ｘ方向に−Ｓｘ、Ｙ方向に−Ｓｙだけシフトさせる。画像データのシフト後、メインＣＰＵ２０は、ぶれを補正した画像データを、既に内蔵メモリ１２に記憶されている画像データと合成して、再び内蔵メモリ１２に記憶させる（ステップＳ６０３）。次に、メインＣＰＵ２０は、変数ｎを記憶するためのメモリ〔ｎ〕にｎ＋１を記憶させ、図８の処理からリターンする。
【００６８】
なお、ステップＳ６０３の処理は、１画素分の整数倍のずれを補正して２つの画像を合成する処理である。しかしながら、単板式のカラー撮像素子、つまり撮像面の前面にモザイク状のカラーフィルタを配置した撮像素子の場合には、さらに、色信号の混合が発生しないように工夫しなければならない。例えば、ベイヤー配列のカラーフィルタでは、２画素×２画素のカラーフィルタを単位とするモザイク状フィルタが繰り返し配列されているために、奇数画素分のぶれを補正して加算すると異なる色の信号が加算されてしまう。このため、正常な色を再現することができなくなる。したがって、このような課題を解決するためには、カラーフィルタの水平方向の最小繰り返し周期および垂直方向の最小繰り返し周期（ベイヤー配列の場合はそれぞれ２画素）を最小単位として画像をシフトすることにより、ぶれを補正すれば良い。ベイヤー配列を例にとると、垂直方向のシフト量を２・「Ｓｙ／２」、水平方向のぶれ補正量を２・「Ｓｘ／２」、とそれぞれすれば良い。ここに、Ｓｘ、Ｓｙは、上述したステップＳ６０３の値である。
【００６９】
再び図３に戻って説明を続ける。ステップＳ１１８において画像合成が終了すると、メインＣＰＵ２０は、タイマカウンタ２０ａの値Ｔｍが標準露光時間Ｔｅｘｐ以上か否かを判定する（ステップＳ１１９）。ステップＳ１１９の判定において、Ｔｍ＜Ｔｅｘｐのときは、処理がステップＳ１０９に戻る。そして、メインＣＰＵ２０は、ステップＳ１０９以後の処理を繰り返す。一方、ステップＳ１１９の判定において、Ｔｍ≧Ｔｅｘｐのときに、メインＣＰＵ２０は図３の処理を終了させて撮影を終了する。
【００７０】
以上説明したように、本実施形態によれば、ステップＳ１１０の判定によって画像信号のＳ／Ｎ比が許容できるか否かの判定を行うようにし、画像信号のＳ／Ｎ比が許容できないレベルの場合には画像信号の読み出しを行わないようにしている。これによって、ぶれ補正によって画像のＳ／Ｎ比が低下するのを防止することが可能である。
【００７１】
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００７２】
例えば、上述した実施形態では、時分割撮影によって得られるそれぞれの画像におけるぶれの補正を撮像素子５から画像信号を読み出した後で行っているが、撮像素子５内でぶれの補正を行ってから画像信号を読み出すようにしても良い。また、上述した実施形態においては、画像信号を読み出す毎に逐次ぶれを補正して合成を行っているが、すべての時分割画像信号を読み出して内蔵メモリ１２に記憶させた後に、各時分割画像の相互のぶれを補正して合成してもよい。
【００７３】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００７４】
【図１】本発明の一実施形態に係わる撮像装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】デジタルカメラに設定した座標軸と２つの角速度センサ２５、２６の配置との関係を示す図である。
【図３】本発明の一実施形態の撮像方法を含むデジタルカメラの撮影動作の流れを示すフローチャートである。
【図４】デジタルカメラが回転角θｘだけぶれた場合の、撮像面上における被写体の像の移動状態を示す図である。
【図５】サブＣＰＵにより移動量ΔＸ、ΔＹ等を算出する処理の流れを示すフローチャートである。
【図６】デジタルカメラの画質モードを示す図である。
【図７】増幅率設定のサブルーチンを示すフローチャートである。
【図８】画像合成のサブルーチンを示すフローチャートである。
【符号の説明】
【００７５】
１…撮影レンズ、２…レンズ駆動系、３…絞り、４…絞り駆動系、５…撮像素子、６…撮像素子ドライバ、７…タイミングジェネレータ（ＴＧ）回路、８…相関二重サンプリング（ＣＤＳ）回路、９…増幅回路、１０，２４…アナログ／デジタル（Ａ／Ｄ）変換部、１１…データバス、１２…内蔵メモリ、１３…画像処理部、１４…ＡＥ処理部、１５…ＡＦ処理部、１６…圧縮／伸張部、１７…着脱メモリ、１８…表示部、１９…不揮発性メモリ、２０…メインＣＰＵ、２０ａ…タイマカウンタ、２１…入力部、２１ａ…レリーズボタン、２２ｂ…画質入力ボタン、２３…サブＣＰＵ、２５，２６…角速度センサ
【図１】
2009273058.tif 000010
【図２】
2009273058.tif 000011
【図３】
2009273058.tif 000012
【図４】
2009273058.tif 000013
【図５】
2009273058.tif 000014
【図６】
2009273058.tif 000015
【図７】
2009273058.tif 000016
【図８】
2009273058.tif 000017