(57)【要約】【課題】  適切に手ブレを抑制する撮像装置を提供する。【解決手段】  露光の開始により撮影光像を信号に変換して読み取り、撮影画像を生成する撮像装置であって、前記露光の開始に先だって、適正露光時間を設定する適正値設定手段と、前記露光の間の当該撮像装置に生じたブレを検出し、該ブレが所定以上であるとき、手ブレの発生として検出するブレ検出手段と、前記手ブレの発生によってずれた撮像の位置変化を移動量として算出する移動量算出手段と、前記手ブレの発生を契機として前記適正露光時間を複数の区間に分け、該一の区間中に蓄積された撮影光像に基づく画像信号を当該区間毎に抽出する画像抽出手段と、前記抽出した複数の画像信号間において前記手ブレにより生じた位置のずれを、前記移動量を用いて修正する修正手段と、前記修正された複数の画像信号を合成し、該合成した画像信号に基づいて前記撮影画像を生成する合成出力手段とを備える。【選択図】        図２
2006262220.tif 000002
【特許請求の範囲】
【請求項１】
露光の開始により撮影光像を信号に変換して読み取り、撮影画像を生成する撮像装置であって、
前記露光の開始に先だって、適正露光時間を設定する適正値設定手段と、
前記露光の間の当該撮像装置に生じたブレを検出し、該ブレが所定以上であるとき、手ブレの発生として検出するブレ検出手段と、
前記手ブレの発生によってずれた撮像の位置変化を移動量として算出する移動量算出手段と、
前記手ブレの発生を契機として前記適正露光時間を複数の区間に分け、該一の区間中に蓄積された撮影光像に基づく画像信号を当該区間毎に抽出する画像抽出手段と、
前記抽出した複数の画像信号間において前記手ブレにより生じた位置のずれを、前記移動量を用いて修正する修正手段と、
前記修正された複数の画像信号を合成し、該合成した画像信号に基づいて前記撮影画像を生成する合成出力手段と
を備えた撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記適正値設定手段は、前記適正露光時間と共に、該適正露光時間内に蓄積された撮影光像としての電気信号から、前記画像信号を抽出するための増幅率である適正ゲイン量を設定し、
前記画像抽出手段は、前記区間毎に前記適正ゲイン量に基づく区間ゲイン量を設定し、当該区間ゲイン量を用いて該区間毎の前記画像信号を抽出する
撮像装置。
【請求項３】
請求項２に記載の撮像装置であって、
前記画像抽出手段は、前記適正露光時間に対する前記区間の露光時間の比率の逆数を前記適正ゲイン量に乗じて算出した値を、前記区間ゲイン量として設定する撮像装置。
【請求項４】
請求項１ないし３のいずれかに記載の撮像装置であって、
前記ブレ検出手段は、前記手ブレを前記移動量として検出するセンサであり、該移動量に基づいて前記手ブレの発生を検出する撮像装置。
【請求項５】
請求項４に記載の撮像装置であって、
前記ブレ検出手段は、予め設定した許容値と前記センサにより検出された前記移動量の累積値とを比較して前記手ブレの発生を検出する撮像装置。
【請求項６】
請求項１ないし５のいずれかに記載の撮像装置であって、
前記合成出力手段は、前記複数の画像信号の加算平均または加重平均を取ることで該画像信号の合成を行なう撮像装置。
【請求項７】
請求項６に記載の撮像装置であって、
前記加重平均における重み付けは、前記適正露光時間に対する前記区間の露光時間の比率を当該区間の画像信号に乗じることで行なう撮像装置。
【請求項８】
請求項６に記載の撮像装置であって、
前記加重平均における重み付けは、前記区間毎の前記移動量に基づいて行なわれ、前記複数の画像信号のうち該移動量が少ない該区間の画像信号に高い重みを付ける撮像装置。
【請求項９】
露光の開始により撮影光像を信号に変換して読み取り、撮影画像を生成する撮像装置の撮像方法であって、
前記露光の開始に先だって、適正露光時間を設定し、
前記露光の間の当該撮像装置に生じたブレを検出し、該ブレが所定以上であるとき、手ブレの発生として検出し、
前記手ブレの発生によってずれた撮像の位置変化を移動量として算出し、
前記手ブレの発生を契機として前記適正露光時間を複数の区間に分け、該一の区間中に蓄積された撮影光像に基づく画像信号を当該区間毎に抽出し、
前記抽出した複数の画像信号間において前記手ブレにより生じた位置のずれを、前記移動量を用いて修正し、
前記修正された複数の画像信号を合成し、該合成した画像信号に基づいて前記撮影画像を生成する
撮像方法。
【請求項１０】
露光の開始により撮影光像を信号に変換して読み取り、撮影画像を生成する撮像装置に実行させるプログラムであって、
前記露光の開始に先だって、適正露光時間を設定する機能と、
前記露光の間の当該撮像装置に生じたブレを検出し、該ブレが所定以上であるとき、手ブレの発生として検出する機能と、
前記手ブレの発生によってずれた撮像の位置変化を移動量として算出する機能と、
前記手ブレの発生を契機として前記適正露光時間を複数の区間に分け、該一の区間中に蓄積された撮影光像に基づく画像信号を当該区間毎に抽出する機能と、
前記抽出した複数の画像信号間において前記手ブレにより生じた位置のずれを、前記移動量を用いて修正する機能と、
前記修正された複数の画像信号を合成し、該合成した画像信号に基づいて前記撮影画像を生成する機能と
を前記撮像装置に実行させるプログラム。
【請求項１１】
請求項１０記載のプログラムを撮像装置に読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露光開始により蓄積された撮影光像を画像信号に変換して撮影画像を生成する撮像装置に関し、詳しくは手ブレの補正に関する。
【背景技術】
【０００２】
従来から、デジタルスチルカメラなどの撮像装置において、撮影時の手ブレを補正する種々の技術がある。例えば、ジャイロセンサによる手ブレの検出機構を設け、この検出値に基づき、レンズなどの光学系を移動して手ブレ補正を行なう技術や、被写体からの光像を電荷として蓄える撮像センサ自体を移動して手ブレ補正を行なう技術などが周知である。こうした技術では、適切な手ブレ補正を行ない手ブレの発生を抑制することができるが、光学系やセンサを移動する機能が必要となる。そのため、デジタルスチルカメラとしての部品点数が増加し、高価なものとなる。
【０００３】
こうした手ブレ補正に対して、撮影時の露光時間に着目して手ブレを補正する技術が提案されている。例えば、下記特許文献１では、測光の結果をもとに適正露光時間とそれより短い許容露光時間とを設定し、露光開始から許容露光時間の経過後に、ブレ量が許容値を超える場合には、許容露光時間の際の電荷を画像信号とする技術が開示されている。かかる技術によれば、許容値を超えるようなブレが発生する前の信号に基づく画像を出力画像とするため、ブレの少ない画像を生成できるとされている。
【０００４】
【特許文献１】特開２００２−１１６４７７号公報
【０００５】
しかしながら、この手法により得られるのは、短い露光時間である許容露光時間に基づく画像であるため、ノイズが大きくなるという問題があった。すなわち、露光時間が短い撮像信号を増幅して用いるが、その際にノイズ成分も同じように増幅されてしまう。したがって、単にブレが生じる前の信号を用いるのみでは、出力画像にザラツキ感が生じ、適正な露光時間での出力画像の代替には不十分であった。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、手ブレ発生時に得られる画像の露光が不足するといった問題を踏まえて、特別な手ブレ補正機構を用いることなく、適切に手ブレを抑制する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、上記課題を鑑み、以下の手法を採った。すなわち、露光の開始により撮影光像を信号に変換して読み取り、撮影画像を生成する撮像装置であって、前記露光の開始に先だって、適正露光時間を設定する適正値設定手段と、前記露光の間の当該撮像装置に生じたブレを検出し、該ブレが所定以上であるとき、手ブレの発生として検出するブレ検出手段と、前記手ブレの発生によってずれた撮像の位置変化を移動量として算出する移動量算出手段と、前記手ブレの発生を契機として前記適正露光時間を複数の区間に分け、該一の区間中に蓄積された撮影光像に基づく画像信号を当該区間毎に抽出する画像抽出手段と、前記抽出した複数の画像信号間において前記手ブレにより生じた位置のずれを、前記移動量を用いて修正する修正手段と、前記修正された複数の画像信号を合成し、該合成した画像信号に基づいて前記撮影画像を生成する合成出力手段とを備えたことを要旨としている。
【０００８】
また、本発明の撮像方法は、露光の開始により撮影光像を信号に変換して読み取り、撮影画像を生成する撮像装置の撮像方法であって、前記露光の開始に先だって、適正露光時間を設定し、前記露光の間の当該撮像装置に生じたブレを検出し、該ブレが所定以上であるとき、手ブレの発生として検出し、前記手ブレの発生によってずれた撮像の位置変化を移動量として算出し、前記手ブレの発生を契機として前記適正露光時間を複数の区間に分け、該一の区間中に蓄積された撮影光像に基づく画像信号を当該区間毎に抽出し、前記抽出した複数の画像信号間において前記手ブレにより生じた位置のずれを、前記移動量を用いて修正し、前記修正された複数の画像信号を合成し、該合成した画像信号に基づいて前記撮影画像を生成することを要旨としている。
【０００９】
本発明の撮像装置および撮像方法によれば、露光中の手ブレの発生を契機に適正露光時間を区間に分け、区間毎に画像信号を抽出してずれを修正し、これらを合成する。すなわち、ソフト的に、撮影における手ブレを補正する。したがって、ハード的な手ブレを補正する構成を備える必要がなく、適切に手ブレを抑制することができる。また、複数の画像信号を合成して撮像画像を生成するため、手ブレを発生することなく撮影された撮影画像とほぼ同等の画質を得ることができる。
【００１０】
上記の構成を有する撮像装置の適正値設定手段は、前記適正露光時間と共に、該適正露光時間内に蓄積された撮影光像としての電気信号から、前記画像信号を抽出するための増幅率である適正ゲイン量を設定し、前記画像抽出手段は、前記区間毎に前記適正ゲイン量に基づく区間ゲイン量を設定し、当該区間ゲイン量を用いて該区間毎の前記画像信号を抽出するものとしても良い。
【００１１】
かかる撮像装置によれば、適正露光時間に応じて区間毎に区間ゲイン量を設定する。したがって、区間の電気信号から、容易に画像信号を抽出することができる。
【００１２】
上記の構成を有する撮像装置の画像抽出手段は、前記適正露光時間に対する前記区間の露光時間の比率の逆数を前記適正ゲイン量に乗じて算出した値を、前記区間ゲイン量として設定するものとしても良い。
【００１３】
かかる撮像装置によれば、適正露光時間に対する区間の露光時間の割合を適正ゲイン量に反映して区間ゲイン量を算出する。したがって、区間毎に適切なゲイン量を設定することができる。
【００１４】
上記の構成を有する撮像装置のブレ検出手段は、前記手ブレを前記移動量として検出するセンサであり、該移動量に基づいて前記手ブレの発生を検出するものとしても良い。こうしたセンサを用いることで、移動量と共に手ブレの発生を容易に検出することができる。
【００１５】
上記の構成を有する撮像装置のブレ検出手段は、予め設定した許容値と前記センサにより検出された前記移動量の累積値とを比較して前記手ブレの発生を検出するものとしても良い。
【００１６】
かかる撮像装置によれば、手ブレの発生の検出を累積値を用いて行なう。例えば、露光中に一定の閾値以下の移動量を検出し続けた場合には、その閾値を超えなくても累積値が閾値を超える場合には、手ブレの発生を検出する。したがって、手ブレの発生の検出を的確に行なうことができる。
【００１７】
上記の構成を有する撮像装置の合成出力手段は、前記複数の画像信号の加算平均または加重平均を取ることで該画像信号の合成を行なうものとしても良い。
【００１８】
かかる撮像装置によれば、区間毎の区間ゲイン量を用いて抽出した画像信号を修正して、加算平均、加重平均により合成する。複数の画像信号の加算平均、加重平均を取るため、画像信号に含まれるノイズの影響を低減することができる。
【００１９】
上記の構成を有する撮像装置の合成出力手段による加重平均における重み付けは、前記適正露光時間に対する前記区間の露光時間の比率を当該区間の画像信号に乗じることで行なうものとしても良い。
【００２０】
かかる撮像装置によれば、複数の画像信号を合成して生成される撮像画像に、区間毎の露光時間の影響を反映させることができる。
【００２１】
上記の構成を有する撮像装置の合成出力手段による加重平均における重み付けは、前記区間毎の前記移動量に基づいて行なわれ、前記複数の画像信号のうち該移動量が少ない該区間の画像信号に高い重みを付けるものとしても良い。
【００２２】
かかる撮像装置によれば、複数の画像信号を合成して生成される撮像画像に、区間毎の手ブレに基づく移動量の影響を反映させることができる。
【００２３】
本発明は、撮像装置用のプログラムおよびプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ，光磁気ディスク，メモリカードなど撮像装置が読み取り可能な種々の媒体を利用することができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．撮像装置の構成：
Ｂ．ブレ補正の概念：
Ｃ．ブレ補正処理：
Ｄ．変形例：
【００２５】
Ａ．撮像装置の構成：
図１は、本発明の撮像装置であるデジタルスチルカメラの概略構成を示すブロック図である。図示するように、本実施例のデジタルスチルカメラ１０は、被写体の撮影光像を結像するレンズ１５、レンズ１５を介して入射する光量を調整する絞り２０、入射する光を必要に応じて遮蔽するシャッター２５、ローパスフィルタや赤外線カットフィルタなどからなるフィルタ３０、入射した光を電気信号に変換する撮像センサ３５、相関二重サンプリングを行なうＣＤＳ回路４０、電気信号を増幅して画像信号とするＡＧＣアンプ４５、アナログの画像信号をデジタルの画像信号に変換するＡ／Ｄ変換回路５０、ＡＤ変換された画像信号に対してホワイトバランス，階調再現，色再現，輪郭強調や、圧縮などの画像処理を行ない画像データを生成する画像処理部６０、画像データを記憶するメモリ７０、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えた制御ユニット８０などから構成されている。
【００２６】
撮像センサ３５，ＣＤＳ回路４０，ＡＧＣアンプ４５，Ａ／Ｄ変換回路５０，画像処理部６０，メモリ７０は、この順に電気的に接続され、レンズ１５等を介して入射した撮影光像は、最終的にデジタル信号である画像データとしてメモリ７０に記憶される。
【００２７】
撮像センサ３５には、ＣＣＤを用いており、レンズ１５等を介して入射した光は、光電変換によって、電荷として一時的にＣＣＤの受光素子に蓄積される。蓄えられた電荷は、ＣＣＤ内の電荷転送用の電極の作用により順次転送されて、ＣＤＳ回路４０に電気信号として出力される。なお、ＣＣＤに代えて、ＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）センサを用いるものとしても良い。
【００２８】
ＣＤＳ回路４０は、相関二重サンプリングの処理によって、入力した電気信号のノイズを低減し、これをＡＧＣアンプ４５に出力する。ＡＧＣアンプ４５は、入力した電気信号に所定の増幅率（ゲイン量）を与えて増幅し、画像信号を生成する。すなわち、ＡＧＣアンプ４５は、感度の調整を行なう。生成された画像信号はＡ／Ｄ変換回路５０に出力されるが、この画像信号はアナログ信号である。Ａ／Ｄ変換回路５０は、アナログ信号をデジタル信号に変換して、画像処理部６０へ出力する。
【００２９】
画像処理部６０は、必要に応じて上記の各種画像処理を行なう。特にデジタル信号である画像信号の圧縮処理として、非可逆方式であるＪＰＥＧ形式の圧縮処理を行ない、データ量を低減した画像データを出力する。この圧縮された画像データは、メモリ７０に記憶される。なお、本実施例では、メモリ７０としてコンパクトフラッシュ（登録商標）を使用しているが、デジタルスチルカメラの取り扱い可能な記録媒体（不揮発性の書換え可能な記録媒体）であれば、どのような媒体を用いるものとしても良い。
【００３０】
制御ユニット８０は、こうした各処理回路と電気的に接続し、各処理回路に動作の指令信号を出力してデジタルスチルカメラ１０全体を制御すると共に、レンズ１５，絞り２０，シャッター２５を動作する各アクチュエータや、シャッターボタン９１やモードボタン９２等、複数のボタンを備えた操作部９０、撮像対象である被写体、撮影画像を表示する液晶ディスプレイからなる表示部１００、被写体からの反射光を測定する測光部１４０とも電気的に接続している。
【００３１】
操作部９０のシャッターボタン９１は、完全な押下げ状態で露光を開始する機能を有すると共に、半押しの状態で所定の被写体に対する測光を行なう機能を有している。シャッターボタン９１が判押しされると、測光部１４０による被写体の明るさの測定が行なわれる。
【００３２】
測光部１４０は、この測光の結果により、予め設定された適正な絞り値とシャッター速度（適正な露光時間）とを設定する。制御ユニット８０は、測光部１４０から、こうした適正値を受けて、絞り２０，シャッター２５のアクチュエータを制御する。つまり、いわゆるプログラムＡＥ（自動露出）機能を備えている。
【００３３】
また、本実施例のデジタルスチルカメラ１０はズーム機能を備えており、例えばユーザが操作部９０を介してズーム操作を行なうと、制御ユニット８０はユーザ操作に応じてレンズ１５のアクチュエータに指令を出し、レンズ１５の光学動作を制御する。さらに、操作部９０のモードボタン等の操作を行なうことで、撮影画像のみならずメモリ７０内に記憶された撮影済みの画像を表示部１００に表示することもできる。
【００３４】
本実施例のデジタルスチルカメラ１０は、こうした各種機器の他に、撮影時の手ブレを検出するブレ検出部１１０と、検出したブレを修正するブレ補正部１２０とを備えている。ブレ検出部１１０は、圧電振動式の角速度センサであるジャイロセンサを備えており、デジタルスチルカメラ１０の撮影時の手ブレを検出する。ブレ検出部１１０は、制御ユニット８０と電気的に接続し、ジャイロセンサの検出値である角速度をデジタルスチルカメラ１０自体の位置の変化量として制御ユニット８０に出力している。この位置の変化量は、手ブレの発生前の撮像と発生後の撮像との間での位置がずれた量に相当する。以下、手ブレの発生によって生じた位置の変化量を、ブレ量または移動量と呼ぶこととする。
【００３５】
ブレ補正部１２０は、制御ユニット８０，Ａ／Ｄ変換回路５０，画像処理部６０と電気的に接続し、制御ユニット８０の指令を受けて、ブレ量に基づいてブレ補正処理を実行する。このブレ補正処理は、ブレ発生前と、ブレ発生後との２つの画像データの元である画像信号を取得し、位置変化を修正して、２つの画像信号を合成する処理である。以下に、ブレ補正部１２０を中心としたブレ補正処理について説明する。
【００３６】
Ｂ．ブレ補正の概念：
図２は、本実施例のブレ補正を概念的に示した説明図である。図示するように、シャッターボタン９１の押下げ操作から露光が開始され（これを露光時間「０」とする）、適正露光時間Ｔｒまで、露光が継続するものとする。この間に、撮像センサ３５には徐々に電荷が蓄積されて行く。この露光の間に許容値を超える手ブレが発生したものとし、このブレを検出した露光時間をブレ検出時間Ｔｖとする。
【００３７】
手ブレが発生したまま適正露光時間Ｔｒまで露光を続けて得られる画像は、図２の上段に示すように、被写体の像がブレた画像となる。これに対し、本実施例では、図中の「電荷」の実線で示すように、露光開始０からブレ検出時間Ｔｖまでの撮像センサ３５に蓄積された電荷から第１の画像（画像信号）を生成し、ブレ検出時間Ｔｖから適正露光時間Ｔｒまでの撮像センサ３５に蓄積された電荷から第２の画像（画像信号）を生成し、両者を合成して出力画像を生成する。
【００３８】
両者の合成は、第２の画像を、ブレ検出部１１０のジャイロセンサにより算出されたブレ量（移動量）に基づいて補正し、これと第１の画像との加算平均を採ることで行なう。こうした処理を行なうことで、ブレを低減した画像を出力画像として生成することができる。
【００３９】
Ｃ．ブレ補正処理：
図３は、本実施例のブレ補正処理のフローチャートである。この処理は、手ブレを補正して画像を出力する処理であり、ユーザが所定の構図を決めてシャッターボタン９１を判押しする操作を行なうことで、制御ユニット８０のＣＰＵにより実行される。なお、この処理プログラムは制御ユニット８０にＲＯＭ内に記憶されており、ＣＰＵがこれを読み出し、ＲＡＭ上に展開することで処理が実行される。
【００４０】
処理が開始されると、制御ユニット８０は、シャッターボタン９１の半押し操作で実行した測光の結果に基づき、適正露光時間Ｔｒ、適正ゲイン量Ｇｒを取得する（ステップＳ３００）。制御ユニット８０は、測光の結果から適正な絞り値、適正な露光時間Ｔｒを測光部１４０から取得すると共に、ＩＳＯ感度に対応した適正ゲイン量Ｇｒを取得する。具体的には、測光結果から、ＩＳＯ１００，ＩＳＯ２００，ＩＳＯ４００など、ＩＳＯ感度の違いに応じて、適正な入力信号の増幅率（ゲイン量）を設定している。制御ユニット８０は、絞り２０のアクチュエータを制御して、適正な絞り値に設定する。なお、ＩＳＯ感度は予め設定されている。
【００４１】
シャッターボタン９１の半押し操作の後、ユーザがシャッターボタン９１を完全に押下すると、制御ユニット８０は、これをトリガーに露光を開始する（ステップＳ３１０）。制御ユニット８０は、シャッター２５を開き、撮像センサ３５に被写体の光像を取り込む。このステップ以降、撮像センサ３５には除序に電荷が蓄積される。
【００４２】
制御ユニット８０は、露光開始と共に手ブレの検出を行ない、適正露光時間Ｔｒまでに検出されたブレ量が所定値を超えるか否かを判断する（ステップＳ３２０）。本実施例では、ブレ量の許容値が予め設定されており、制御ユニット８０は、ジャイロセンサによる検出値と許容値とを比較している。制御ユニット８０は、検出値が許容値を超えた時点で、ブレを検出したと判断する。
【００４３】
ステップＳ３２０で、露光開始から適正露光時間Ｔｒまでの間、検出値が許容値以内であり、ブレを検出しない（Ｎｏ）と判断した場合には、撮像センサ３５（ＣＣＤ）に蓄積された電荷による電気信号を読み出し、これを画像データに変換してメモリ７０に書き込み（ステップＳ３８０）、一連の処理を終了する。つまり、露光開始から適正露光時間Ｔｒまでにブレが検出されず、手ブレなしの撮影が終了した場合には、撮像センサ３５からの画像信号をそのまま用い、これを画像データに変換してメモリ７０に記憶する。
【００４４】
図４は、電気信号である入力信号を、画像データの元となる出力信号（画像信号）に変換する概念を示した説明図である。図示する破線のように、所定の適正露光時間Ｔｒの間に撮像センサ３５のＣＣＤに蓄積された電気信号は、ＣＤＳ回路４０を経て、ＡＧＣアンプ４５に供給される。ＡＧＣアンプ４５では、制御ユニット８０の指令に基づいて、図示する実線のように、設定された適正露光時間Ｔｒに対する適正ゲイン量Ｇｒを用いて入力信号を増幅し、これを出力信号とする。こうして増幅された出力信号は、画像処理部６０による圧縮を経て画像データとされ、メモリ７０に記憶される。メモリ７０に記憶された画像データは、ほとんどブレの無い画像となる。
【００４５】
他方、ステップＳ３２０で、露光開始から適正露光時間Ｔｒまでの間に、検出値が許容値を超え、ブレを検出した（Ｙｅｓ）と判断した場合には、ブレを検出した時間（ブレ検出時間Ｔｖ）までに撮像センサ３５（ＣＣＤ）に蓄積された電荷による電気信号を読み出し、画像信号に変換してＲＡＭに一時的に書き込む（ステップＳ３３０）。ここでＲＡＭに一時的に書き込むデータは、Ａ／Ｄ変換後の画像信号であり、圧縮前のデータである。このステップにより、ブレ発生前の第１の画像を取得することとなる。
【００４６】
図５は、電気信号である入力信号を、画像データの元となる出力信号（画像信号）に変換する概念を示した説明図である。図４と同様、入力信号は所定のゲイン量により増幅され出力信号に変換されるが、ここでのＣＣＤによる入力信号は適正露光時間Ｔｒに達する前の信号であるため、予め設定された適正ゲイン量Ｇｒによる増幅では、適切な画像信号が得られない。そこで適正ゲイン量Ｇｒに基づく新たなゲイン量（第１のゲイン量Ｇｖ１）を設定する。
【００４７】
第１のゲイン量Ｇｖ１は、適正露光時間Ｔｒとブレ検出時間Ｔｖとの時間の比率により、次式に基づいて設定する。
【００４８】
Ｇｖ１＝（Ｔｒ／Ｔｖ）×Ｇｒ      ・・・（１）
【００４９】
すなわち、適正露光時間Ｔｒに満たず、少ない電荷による電気信号を第１の画像とするため、適正ゲイン量Ｇｒよりも増幅率を増大している。制御ユニット８０は、第１のゲイン量Ｇｖ１を算出し、この値による増幅をＡＧＣアンプ４５に指令する。増幅された電気信号はＡ／Ｄ変換を経て、画像信号として制御ユニット８０内のＲＡＭに記憶されている。
【００５０】
続いて、制御ユニット８０は、撮像センサ３５に蓄積された電荷を読み取ると共に撮像センサ３５内の電荷をクリアし、引き続き、ブレ検出時間Ｔｖから適正露光時間Ｔｒまでの露光を継続する（ステップＳ３４０）。このステップは、ブレ発生後の第２の画像を取得するための露光の開始に相当する。
【００５１】
制御ユニット８０は、ジャイロセンサの検出値に基づいて、手ブレによる移動量を算出する（ステップＳ３５０）。本実施例におけるジャイロセンサを備えたブレ検出部１１０からの検出値は、位置変化の情報である。制御ユニット８０はこれを取得し、第２の画像の位置のずれを補正するための移動量とする。
【００５２】
ブレによる移動量を取得した制御ユニット８０は、適正露光時間Ｔｒの終了と共に、撮像センサ３５に蓄積された電荷から第２に画像を取得し、第２の画像の位置ずれを補正しながらＲＡＭ内の第１の画像と合成し、所定の処理を経て画像データに変換し、これをメモリ７０に書き込んで（ステップＳ３６０）、一連の処理を終了する。
【００５３】
２つの画像を合成する前に取得する第２の画像は、Ａ／Ｄ変換後の画像信号である。ここでも第１の画像と同様に、適正ゲイン量Ｇｒに基づく新たなゲイン量（第２のゲイン量Ｇｖ２）を設定し、これを用いて増幅した画像信号をＡ／Ｄ変換している。
【００５４】
図６は、電気信号である入力信号を、画像データの元となる出力信号（画像信号）に変換する概念を示した説明図である。ブレ検出時間Ｔｖから適正露光時間Ｔｒまでの露光時間も、適正露光時間Ｔｒに比して短く、予め設定された適正ゲイン量Ｇｒによる増幅では、適切な画像信号が得られない。そこで適正ゲイン量Ｇｒに基づく第２のゲイン量Ｇｖ２を設定する。
【００５５】
第２のゲイン量Ｇｖ２は、適正露光時間Ｔｒと、ブレ検出時間Ｔｖから適正露光時間Ｔｒまでの時間との比率により、次式に基づいて設定する。
【００５６】
Ｇｖ２＝（Ｔｒ／（Ｔｒ−Ｔｖ））×Ｇｒ      ・・・（２）
【００５７】
第２の画像の取得においても、少ない電荷による電気信号を用いるため、適正ゲイン量Ｇｒよりも増幅率を増大している。制御ユニット８０は、第２のゲイン量Ｇｖ２を算出し、この値による増幅をＡＧＣアンプ４５に指令する。増幅された電気信号はＡ／Ｄ変換を経て、第１の画像から所定量の位置ずれを伴う第２の画像（画像信号）となる。制御ユニット８０は、こうして取得した第２の画像の位置ずれを補正し、補正後の第２の画像とＲＯＭ内に記憶した第１の画像とを合成する。合成には、加算平均が用いられ、ブレを抑制した画像がメモリ７０に書き込まれることとなる。
【００５８】
以上のブレ補正処理によれば、手ブレが発生した場合には、手ブレ前後で２つの画像信号を取り出しブレを補正し、２つの画像信号を合成して一の画像信号を生成する。すなわち、ブレ補正として位置のずれを補正することで、第１の画像と第２の画像とで重なり合う部分に関しては、本来、手ブレすることなく適正露光時間Ｔｒまで至った場合と同等の電荷に基づく画像を得ることができる。したがって、手ブレの影響を低減した適切な画像データを取得することができる。更に、合成には加算平均を用いて合成前の画像に含まれるノイズを平均化するため、第１の画像や第２の画像を単独で出力画像とする場合に比べて出力画像のノイズを低減することができる。
【００５９】
また、撮像センサ３５としてのＣＣＤの一画素に相当するフォトダイオードに到達する光自体のブレ（ずれ）を調整することは行なわないため、レンズ１５や撮像センサ３５をブレに応じて移動させる機構を備える必要がない。よって、部品点数を低減すると共に、比較的安価なブレ補正機能を備えたデジタルスチルカメラを構築することができる。
【００６０】
さらに、第１の画像は一時的にＲＡＭに記憶され、最終的には合成後の一の画像信号に基づく画像データがメモリ７０に記憶される。したがって、メモリ容量を増大することなく、ソフト的な手ブレ補正処理を行なうことができる。
【００６１】
また、本実施例では所定のブレの許容値を閾値として設定し、これを検出値が超えるか否かでブレの発生を判断している。また、測光結果による適正露光時間Ｔｒと適正ゲイン量Ｇｒとに基づいて、第１、第２の画像を得るためのゲイン量を算出している。したがって、手ブレの発生タイミング、各画像信号を得るためのゲイン量を、比較的簡単に得ることができ、ブレ補正処理を迅速に実行することができる。
【００６２】
なお、手ブレ補正としての画像の位置ずれの補正は、ＣＣＤからの電気信号を取得した後、どのタイミングで実行するものとしても良いが、２つの画像の位置ずれの補正精度の観点からは、Ａ／Ｄ変化後の画像信号を用いて実行するのが望ましい。また、２つの画像の合成についても、２つの画像の元となる電気信号を取得後は、どのタイミングで実行するものとしても良い。
【００６３】
Ｄ．変形例：
本実施例では、検出値と所定の閾値とを比較することでブレの検出（発生）を判断するものとしたが、ジャイロセンサによる検出値の累積値を用いて、ブレの発生を判断するものとしても良い。
【００６４】
図７は、累積値によるブレ検出を概念的に示した説明図である。図示するように、ジャイロセンサによる検出値である所定タイミングのブレ量を、随時累積していく。斜線で示す領域のように、ブレ量の累積値（ブレの総量）が所定の閾値を超えた場合に、その露光時間をブレ検出時間Ｔｖとするものとすれば良い。例えば、ある一定値を閾値とする場合には、ブレの閾値までは至らないが、露光時間中、常時、手ブレが生じているような撮影状態の画像に対してブレ補正処理は行なわれない。これに対して、累積値によるブレ検出手法によれば、こうした撮影状態であってもブレ補正処理を適用して、僅かなブレを低減した画像を出力することができる。
【００６５】
また、本実施例では２つの画像の合成に加算平均を用いたが、合成の際に所定の重みを付けた重み付け平均を用いるものとしても良い。図８は、露光時間に基づく重み付け平均の説明図である。図示するように、累積値が所定の閾値を超えてブレを検出すると、露光開始（露光時間０）からブレ検出時間Ｔｖまでの第１の画像の元となる第１の出力信号Ｏｖ１を取得する。第１の出力信号Ｏｖ１は、第１のゲイン量Ｇｖ１により増幅された信号である。
【００６６】
続いて、ブレ検出時間Ｔｖから適正露光時間Ｔｒまでの第２の画像の元となる第２の出力信号Ｏｖ２ｄを取得する。第２の出力信号Ｏｖ２ｄは、第２のゲイン量Ｇｖ２により増幅された信号である。この第２の出力信号Ｏｖ２ｄは、ブレ量を補正した補正出力信号Ｏｖ２に変換される。
【００６７】
この２つの信号にそれぞれ重みを付けて合成し、これを出力信号とする。具体的には、次式により出力信号を求める。
【００６８】
出力信号＝（Ｔｖ／Ｔｒ）×Ｏｖ１＋（（Ｔｒ−Ｔｖ）／Ｔｒ）×Ｏｖ２      ・・・（３）
【００６９】
すなわち、露光開始からブレ検出時間Ｔｖまでと、ブレ検出時間Ｔｖから適正露光時間Ｔｒまでとの露光時間の長さの比により、第１，第２の出力信号に対する重みを変える。例えば、露光開始からブレ検出時間Ｔｖまでと、ブレ検出時間Ｔｖから適正露光時間Ｔｒまでとの比が、１：２であった場合には、第１の画像に対応する第１の出力信号Ｏｖ１は全体の１／３、第２の画像に対応する第２の出力信号Ｏｖ２は全体の２／３として、それぞれ加算する。つまり、露光時間が短い第１の出力信号Ｏｖ１の全体に与える影響を低く設定する。こうすることで、より一層ノイズの影響を低減した画像を出力することができる。
【００７０】
こうした重み付けは、ブレ量に基づいて設定するものとしても良い。図９は、最大ブレ量に基づく重み付け平均の説明図である。ここでは、ブレの累積値によって、ブレ検出時間Ｔｖを判断すると共に、ブレ量のピーク値（ここでは最大値と呼ぶこととする）を検出する。
【００７１】
露光開始からブレ検出時間Ｔｖまでに、第１の出力信号Ｏｖ１を取得すると共に、その間のブレ量の最大値である第１の最大ブレ量Ｖ１を検出する。同様に、ブレ検出時間Ｔｖから適正露光時間Ｔｒまでに、第２の出力信号Ｏｖ２を取得すると共に、その間のブレ量の最大値である第２の最大ブレ量Ｖ２を検出する。こうして検出された最大ブレ量Ｖ１，Ｖ２に基づいて、次式による重み付け平均を実行する。
【００７２】
出力信号＝（Ｖ2／（Ｖ1＋Ｖ2））×Ｏｖ１＋（Ｖ1／（Ｖ1＋Ｖ2））×Ｏｖ２      ・・・（４）
【００７３】
図示するようにＶ１がＶ２より大きく、例えば、Ｖ１：Ｖ２が６：１であったとすると、ブレ量が大きい第１の出力信号Ｏｖ１は全体の１／７、ブレ量が小さい第２の出力信号Ｏｖ２は全体の６／７として、それぞれ加算する。つまり、ブレ量の大きい信号（画像）は、高画質の画像の出力に対して不適切なデータが含まれている可能性が高いと判断し、全体の出力信号（画像）に対するブレ量の大きい信号（画像）の影響を低減する。したがって、高画質の画像を出力することができる。なお、ブレ量のピーク値である最大値に代えて、露光開始からブレ検出時間Ｔｖまでのブレ量の平均値と、ブレ検出時間Ｔｖから適正露光時間Ｔｒまでのブレ量の平均値とを求め、これらの平均値を用いて重み付けを行なうものとしても良い。
【００７４】
本実施例では、適正露光時間Ｔｒの間に一度ブレを検出すると、その露光時間をブレ検出時間Ｔｖとして、この時間の前後で画像を取得するものとしたが、ブレの発生を検出する度にブレ検出時間Ｔｖを設定し、複数の画像から一の出力画像を得るものとしても良い。
【００７５】
図１０は、複数の画像から一の出力画像を得る手法を概念的に示した説明図である。図示するように、適正露光時間Ｔｒまでに２回のブレの発生を検出したものとし、その検出時間をブレ検出時間Ｔｖ１，Ｔｖ２とする。なお、ここではブレ量の累積値を用いてブレの発生を検出している。
【００７６】
露光時間０〜ブレ検出時間Ｔｖ１の第１の区間，ブレ検出時間Ｔｖ１〜ブレ検出時間Ｔｖ２の第２の区間，ブレ検出時間Ｔｖ２〜適正露光時間Ｔｒの第３の区間の３つの区間毎に、ＣＣＤからの電気信号を取得し、それぞれの区間に対して露光時間に応じたゲイン量を算出する。第１の区間に対して、取得したＣＣＤからの電気信号に基づく入力信号にゲイン量Ｇｖ１を与えてこれを増幅し、出力信号Ｏｖ１を得る。同様に第２の区間に対して、ゲイン量Ｇｖ２を与えて出力信号Ｏｖ２を、第３の区間に対して、ゲイン量Ｇｖ３を与えて出力信号Ｏｖ３を、それぞれ得る。なお、出力信号Ｏｖ２，Ｏｖ３は、ジャイロセンサによるブレの検出値を用いて、位置のずれを補正したデータである。こうして得られた３つの出力信号（画像データの元）に対して、それぞれ最大ブレ量に応じた重み付け平均を行ない、最終的な出力信号とする。すなわち、３つの画像を取得して、相互にブレを補正し、これらを重み付け平均により合成する。こうすることで、より一層、手ブレによる画像のずれを低減した高画質の画像を生成することができる。
【００７７】
本実施例では、ジャイロセンサの検出に特に方向性（検出し易い方向）はないものとして扱ったが、例えば、ジャイロセンサに方向性がある場合には、シャッターの押下操作によってデジタルスチルカメラ１０が移動する方向を敏感に検出するようにジャイロセンサを配置することが望ましい。シャッターの押下操作時に、手ブレが発生する可能性が高いためである。こうすることで、手ブレ検出を精度よく行なうことができ、ブレ補正処理を適切に実行することができる。
【００７８】
本実施例では、画像の合成前に補正するブレ量の検出には、ジャイロセンサからの検出値を用いるものとしたが、合成する画像同士の位置のずれは、画像処理からソフト的に行なうものとしても良い。例えば、ジャイロセンサによる所定値以上の手ブレの検出とともに、シャッターを閉じてＣＣＤから電荷を読み取り、所定処理により圧縮前の第１画像データに変換する。続けて、シャッターを開いて露光を始め、適正露光時間までの電荷を読み取る。読み取った電荷を所定処理により圧縮前の第２画像データに変換する。こうして取得した２つの画像データについて、ダイナミックパターンマッチングなど、マッチングの種々の手法を用いて、位置のずれを補正し、補正後の画像データを合成する。こうした画像処理を用いることで、例えば、画素単位での位置のずれを補正することができ、精度の良い補正を行なうことができる。
【００７９】
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。本実施例では、撮像装置としてのデジタルスチルカメラを例に説明したが、勿論、デジタルビデオカメラであっても良い。デジタルビデオカメラで撮影する静止画像に本発明の処理を施すことで、手ブレ画像出力を抑制することができる。また、本実施例ではハード的な手ブレ補正機構を備えない構成としたが、勿論、ハード的な手ブレ補正機構を備えていても良い。この場合、手ブレの検出結果に応じて、選択的に本発明の処理を行なうものとすることで、効果的に手ブレ補正を行なうことができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の撮像装置であるデジタルスチルカメラの概略構成を示すブロック図である。
【図２】本実施例のブレ補正を概念的に示した説明図である。
【図３】本実施例のブレ補正処理のフローチャートである。
【図４】電気信号である入力信号を画像データの元となる出力信号に変換する概念を示した説明図である。
【図５】電気信号である入力信号を画像データの元となる出力信号に変換する概念を示した説明図である。
【図６】電気信号である入力信号を画像データの元となる出力信号に変換する概念を示した説明図である。
【図７】累積値によるブレ検出を概念的に示した説明図である。
【図８】露光時間に基づく重み付け平均の説明図である。
【図９】最大ブレ量に基づく重み付け平均の説明図である。
【図１０】複数の画像から一の出力画像を得る手法を概念的に示した説明図である。
【符号の説明】
【００８１】
１０...デジタルスチルカメラ
１５...レンズ
２０...絞り
２５...シャッター
３０...フィルタ
３５...撮像センサ
４０...ＣＤＳ回路
４５...ＡＧＣアンプ
５０...Ａ／Ｄ変換回路
６０...画像処理部
７０...メモリ
８０...制御ユニット
９０...操作部
９１...シャッターボタン
９２...モードボタン
１００...表示部
１１０...ブレ検出部
１２０...ブレ補正部
１４０...測光部
Ｇｒ...適正ゲイン量
Ｔｒ...適正露光時間
Ｔｖ...ブレ検出時間
【図１】
2006262220.tif 000003
【図２】
2006262220.tif 000004
【図３】
2006262220.tif 000005
【図４】
2006262220.tif 000006
【図５】
2006262220.tif 000007
【図６】
2006262220.tif 000008
【図７】
2006262220.tif 000009
【図８】
2006262220.tif 000010
【図９】
2006262220.tif 000011
【図１０】
2006262220.tif 000012