(57)【特許請求の範囲】
【請求項１】
被写体を撮像する撮像手段と、
被写体の明るさに基づいて第１の露光時間を算出する露光時間算出手段と、
前記撮像手段を制御することにより、１枚の画像データを撮像する撮像期間内に、前記露光時間算出手段により算出された第１の露光時間での撮像と、この第１の露光時間より短い予め決められた第２の露光時間での撮像とを連続して行う連続撮像制御手段と、
前記１枚の画像データを撮像する撮像期間内のブレ量を検出するブレ量検出手段と、
前記ブレ量検出手段により検出されたブレ量が所定値より大きく、かつ、前記露光時間算出手段により算出された第１の露光時間が前記第２の露光時間より大きい場合は、前記１枚の画像データの撮像期間内に撮像された画像データとして、前記第２の露光時間で撮像された画像データを採用し、前記ブレ量検出手段により検出されたブレ量が所定値より小さいか、あるいは前記露光時間算出手段により算出された第１の露光時間が前記第２の露光時間より小さい場合は、前記１枚の画像データの撮像期間内に撮像された画像データとして前記第１の露光時間で撮像された画像データを採用する採用手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記ブレ量検出手段は、
前記第１の露光時間で撮像された画像データのブレ量を検出することにより、前記１枚の画像データを撮像する撮像期間内のブレ量を検出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第２の露光時間は、
ブレの影響が所定以内となるように予め決められた固定時間であることを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記連続撮像制御手段は、
前記第１の露光時間と、前記第２の露光時間との差に応じて、該第２の露光時間で撮像された画像データの感度を上昇させることを特徴とする請求項１乃至３の何れかに記載の撮像装置。
【請求項５】
前記連続撮像制御手段は、
ゲインを上げることによって感度を上昇させることを特徴とする請求項４記載の撮像装置。
【請求項６】
前記露光時間算出手段により算出された第１の露光時間が前記第２の露光時間以上か否かを判断する判断手段を備え、
前記連続撮像制御手段は、
前記判断手段により前記第１の露光時間が前記第２の露光時間以上と判断された場合は、前記１枚の画像データを撮像する撮像期間内に連続して前記第１の露光時間での撮像と、前記第２の露光時間での撮像を行い、前記判断手段により前記第１の露光時間が前記第２の露光時間以上でないと判断された場合は、前記１枚の画像データを撮像する撮像期間内に前記第１の露光時間での撮像のみを行うことを特徴とする請求項１乃至５の何れかに記載の撮像装置。
【請求項７】
前記ブレ量検出手段は、
前記連続撮像制御手段により前記第１の露光時間で撮像された画像データの前後に撮像された画像データ、又は、前記連続撮像制御手段により前記第１の露光時間で撮像された画像データとその前又は後に撮像された画像データを用いて、前記１枚の画像データを撮像する撮像期間内のブレ量を検出することを特徴とする請求項1乃至６の何れかに記載の撮像装置。
【請求項８】
前記採用手段によって採用された画像データを表示手段に表示させる表示制御手段を備えたことを特徴とする請求項１乃至７の何れかに記載の撮像装置。
【請求項９】
前記連続撮像制御手段により撮像された画像データを記録手段に記録保存する保存制御手段を備え、
前記ブレ量検出手段、前記採用手段は、
前記保存制御手段により前記連続撮像制御手段によって撮像された画像データが記録保存された後に実行することを特徴とする請求項１乃至８の何れかに記載の撮像装置。
【請求項１０】
前記採用手段により採用されなかった画像データを前記記録手段から消去する消去手段を備えたことを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記連続撮像制御手段により撮像された画像データを記録手段に記録保存する保存制御手段を備え、
前記ブレ量検出手段、前記採用手段は、
前記保存制御手段により前記連続撮像制御手段によって撮像された画像データが記録保存される前に実行することを特徴とする請求項１乃至８の何れかに記載の撮像装置。
【請求項１２】
前記保存制御手段は、
前記採用手段によって採用された画像データのみを保存記録することを特徴とする請求項１１記載の撮像装置。
【請求項１３】
前記連続撮像制御手段は、
前記第１の露光時間での撮像と、前記第２の露光時間での撮像とを動画撮影におけるフレーム周期で繰り返し行うことを特徴とする請求項１乃至１２の何れかに記載の撮像装置。
【請求項１４】
前記ブレ量検出手段は、
１枚のフレーム画像データを撮像する撮像期間内のブレ量を各フレーム毎に検出していき、
前記採用手段は、
前記各フレーム毎に、前記ブレ量検出手段により検出されたブレ量に基づいて前記第１の露光時間で撮像された画像データと前記第２の露光時間で撮像された画像データのいずれかを選択的に採用し、採用された画像データからなる動画データを作成することを特徴とする請求項１３記載の撮像装置。
【請求項１５】
前記ブレ量検出手段により検出されたブレ量に応じて、各フレーム画像の切り出し位置を変えながらトリミングして記録する記録動作、または、前記ブレ量検出手段により検出されたブレ量に応じて、各フレーム画像の表示位置を変化させながら再生動作を行う動画ブレ補正手段を更に備えたことを特徴とする請求項１４記載の撮像装置。
【請求項１６】
前記露光時間算出手段は、
被写体の明るさに基づいて動画撮像用の第１の露光時間を算出することを特徴とする請求項１３乃至１５の何れかに記載の撮像装置。
【請求項１７】
前記連続撮像制御手段は、
連続して前記第１の露光時間での静止画撮像と、前記第２の露光時間との静止画撮像を行うことを特徴とする請求項１乃至１２の何れかに記載の撮像装置。
【請求項１８】
前記露光時間算出手段は、
被写体の明るさに基づいて静止画撮像用の第１の露光時間を算出することを特徴とする請求項１７記載の撮像装置。
【請求項１９】
被写体の明るさに基づいて第１の露光時間を算出する露光時間算出処理と、
被写体を撮像する撮像手段を制御することにより、１枚の画像データを撮像する撮像期間内に、前記露光時間算出処理により算出された第１の露光時間での撮像と、この第１の露光時間より短い予め決められた第２の露光時間での撮像とを連続して行う連続撮像制御処理と、
前記１枚の画像データを撮像する撮像期間内のブレ量を検出するブレ量検出処理と、
前記ブレ量検出処理により検出されたブレ量が所定値より大きく、かつ、前記露光時間算出処理により算出された第１の露光時間が前記第２の露光時間より大きい場合は、前記１枚の画像データの撮像期間内に撮像された画像データとして、前記第２の露光時間で撮像された画像データを採用し、前記ブレ量検出処理により検出されたブレ量が所定値より小さいか、あるいは前記露光時間算出処理により算出された第１の露光時間が前記第２の露光時間より小さい場合は、前記１枚の画像データの撮像期間内に撮像された画像データとして前記第１の露光時間で撮像された画像データを採用する採用処理と、
を含み、上記各処理をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びそのプログラムに係り、詳しくは、被写体のブレを低減させる撮像装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置、例えば、デジタルカメラにおいては、被写体の動きが速い場合には、感度を上昇させ、シャッタスピードを速くすることにより、ブレのない画像データを得るという技術が登場した（特許文献１）。
【０００３】
【特許文献１】公開特許公報  特開２００４−１２０５７６
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献によれば、シャッタボタン半押し後、全押しされるまでに撮像された複数の画像データに基づいて、被写体の動きを検出し、該検出された被写体の動きが大きい場合にシャッタ速度を速くし、感度を上昇させることにより被写体のブレを低減させることはできるが、以下のような問題がある。
【０００５】
シャッタ速度を速くして高感度で撮影すると得られる画像の画質は劣化してしまうので、シャッタ速度を速くして高感度での撮影はできるだけ回避させた方がよい。にもかかわらず、上記特許文献記載の技術は、シャッタ半押し後、全押しされるまでに撮像された画像データに基づいて検出された被写体の動きが大きい場合は、シャッタボタン全押し後の被写体の動きも大きいだろうと勝手に推測してシャッタ速度を速めているに過ぎず、シャッタボタン全押し後の被写体の動きが遅い場合であっても、シャッタ速度を速くして高感度で撮影しまっている。
【０００６】
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、画像のブレの低減、及び、画質劣化の低減を図る撮像装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的達成のため、請求項１記載の発明による撮像装置は、被写体を撮像する撮像手段と、被写体の明るさに基づいて第１の露光時間を算出する露光時間算出手段と、前記撮像手段を制御することにより、１枚の画像データを撮像する撮像期間内に、前記露光時間算出手段により算出された第１の露光時間での撮像と、この第１の露光時間より短い予め決められた第２の露光時間での撮像とを連続して行う連続撮像制御手段と、前記１枚の画像データを撮像する撮像期間内のブレ量を検出するブレ量検出手段と、前記ブレ量検出手段により検出されたブレ量が所定値より大きく、かつ、前記露光時間算出手段により算出された第１の露光時間が前記第２の露光時間より大きい場合は、前記１枚の画像データの撮像期間内に撮像された画像データとして、前記第２の露光時間で撮像された画像データを採用し、前記ブレ量検出手段により検出されたブレ量が所定値より小さいか、あるいは前記露光時間算出手段により算出された第１の露光時間が前記第２の露光時間より小さい場合は、前記１枚の画像データの撮像期間内に撮像された画像データとして前記第１の露光時間で撮像された画像データを採用する採用手段と、を備えたことを特徴とする。
【０００８】
また、例えば、請求項２に記載されているように、前記ブレ量検出手段は、
前記第１の露光時間で撮像された画像データのブレ量を検出することにより、前記１枚の画像データを撮像する撮像期間内のブレ量を検出するようにしてもよい。
【０００９】
また、例えば、請求項３に記載されているように、前記第２の露光時間は、
ブレの影響が所定以内となるように予め決められた固定時間であるようにしてもよい。
【００１０】
また、例えば、請求項４に記載されているように、前記連続撮像制御手段は、
前記第１の露光時間と、前記第２の露光時間との差に応じて、該第２の露光時間で撮像された画像データの感度を上昇させるようにしてもよい。
【００１１】
また、例えば、請求項５に記載されているように、前記連続撮像制御手段は、
ゲインを上げることによって感度を上昇させるようにしてもよい。
【００１２】
また、例えば、請求項６に記載されているように、前記露光時間算出手段により算出された第１の露光時間が前記第２の露光時間以上か否かを判断する判断手段を備え、
前記連続撮像制御手段は、
前記判断手段により前記第１の露光時間が前記第２の露光時間以上と判断された場合は、前記１枚の画像データを撮像する撮像期間内に連続して前記第１の露光時間での撮像と、前記第２の露光時間との撮像を行い、前記判断手段により前記第１の露光時間が前記第２の露光時間以上でないと判断された場合は、前記１枚の画像データを撮像する撮像期間内に前記第１の露光時間での撮像のみを行うようにしてもよい。
【００１３】
また、例えば、請求項７に記載されているように、前記ブレ量検出手段は、
前記連続撮像制御手段により前記第１の露光時間で撮像された画像データの前後に撮像された画像データ、又は、前記連続撮像制御手段により前記第１の露光時間で撮像された画像データとその前又は後に撮像された画像データを用いて、前記１枚の画像データを撮像する撮像期間内のブレ量を検出するようにしてもよい。
【００１４】
また、例えば、請求項８に記載されているように、前記採用手段によって採用された画像データを表示手段に表示させる表示制御手段を備えるようにしてもよい。
【００１５】
また、例えば、請求項９に記載されているように、前記連続撮像制御手段により撮像された画像データを記録手段に記録保存する保存制御手段を備え、前記ブレ量検出手段、前記採用手段は、前記保存制御手段により前記連続撮像制御手段によって撮像された画像データが記録保存された後に実行するようにしてもよい。
【００１６】
また、例えば、請求項１０に記載されているように、前記採用手段により採用されなかった画像データを前記記録手段から消去する消去手段を備えるようにしてもよい。
【００１７】
また、例えば、請求項１１に記載されているように、前記連続撮像制御手段により撮像された画像データを記録手段に記録保存する保存制御手段を備え、前記ブレ量検出手段、前記採用手段は、前記保存制御手段により前記連続撮像制御手段によって撮像された画像データが記録保存される前に実行するようにしてもよい。
【００１８】
また、例えば、請求項１２に記載されているように、前記保存制御手段は、
前記採用手段によって採用された画像データのみを保存記録するようにしてもよい。
【００１９】
また、例えば、請求項１３に記載されているように、前記連続撮像制御手段は、
前記第１の露光時間での撮像と、前記第２の露光時間での撮像とを動画撮影におけるフレーム周期で繰り返し行うようにしてもよい。
【００２０】
また、例えば、請求項１４に記載されているように、前記ブレ量検出手段は、
１枚のフレーム画像データを撮像する撮像期間内のブレ量を各フレーム毎に検出していき、
前記採用手段は、
前記各フレーム毎に、前記ブレ量検出手段により検出されたブレ量に基づいて前記第１の露光時間で撮像された画像データと前記第２の露光時間で撮像された画像データのいずれかを選択的に採用し、採用された画像データからなる動画データを作成するようにしてもよい。
【００２１】
また、例えば、請求項１５に記載されているように、前記ブレ量検出手段により検出されたブレ量に応じて、各フレーム画像の切り出し位置を変えながらトリミングして記録する記録動作、または、前記ブレ量検出手段により検出されたブレ量に応じて、各フレーム画像の表示位置を変化させながら再生動作を行う動画ブレ補正手段を更に備えようにしてもよい。
【００２２】
また、例えば、請求項１６に記載されているように、前記露光時間算出手段は、
被写体の明るさに基づいて動画撮像用の第１の露光時間を算出するようにしてもよい。
【００２３】
また、例えば、請求項１７に記載されているように、前記連続撮像制御手段は、
連続して前記第１の露光時間での静止画撮像と、前記第２の露光時間との静止画撮像を行うようにしてもよい。
【００２４】
また、例えば、請求項１８に記載されているように、前記露光時間算出手段は、
被写体の明るさに基づいて静止画撮像用の第１の露光時間を算出するようにしてもよい。
【００２７】
上記目的達成のため、請求項１９記載の発明によるプログラムは、被写体の明るさに基づいて第１の露光時間を算出する露光時間算出処理と、被写体を撮像する撮像手段を制御することにより、１枚の画像データを撮像する撮像期間内に、前記露光時間算出処理により算出された第１の露光時間での撮像と、この第１の露光時間より短い予め決められた第２の露光時間での撮像とを連続して行う連続撮像制御処理と、前記１枚の画像データを撮像する撮像期間内のブレ量を検出するブレ量検出処理と、前記ブレ量検出処理により検出されたブレ量が所定値より大きく、かつ、前記露光時間算出処理により算出された第１の露光時間が前記第２の露光時間より大きい場合は、前記１枚の画像データの撮像期間内に撮像された画像データとして、前記第２の露光時間で撮像された画像データを採用し、前記ブレ量検出処理により検出されたブレ量が所定値より小さいか、あるいは前記露光時間算出処理により算出された第１の露光時間が前記第２の露光時間より小さい場合は、前記１枚の画像データの撮像期間内に撮像された画像データとして前記第１の露光時間で撮像された画像データを採用する採用処理と、を含み、上記各処理をコンピュータに実行させることを特徴とする。
【発明の効果】
【００２９】
本発明によれば、表示される画像のブレの低減、画質劣化の低減を図ることができる。
【発明を実施するための最良の形態】
【００３０】
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
［第１の実施の形態］
Ａ．デジタルカメラの構成
図１は、本発明の撮像装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り兼用シャッタ４、ＣＣＤ５、垂直ドライバ６、ＴＧ（timing generator）７、ユニット回路８、ＤＭＡコントローラ（以下、ＤＭＡという）９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、ＤＭＡ１４、ブレ量検出部１５、ＤＭＡ１６、画像生成部１７、ＤＭＡ１８、ＤＭＡ１９、表示部２０、ＤＭＡ２１、圧縮伸張部２２、ＤＭＡ２３、フラッシュメモリ２４、バス２５を備えている。
【００３１】
撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮影レンズ２には、レンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータ（図示略）と、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスレンズ、ズームレンズを光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバ（図示略）とから構成されている。
【００３２】
絞り兼用シャッタ４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り兼用シャッタ４を動作させる。この絞り兼用シャッタ４は、絞り、シャッタとして機能する。
絞りとは、ＣＣＤ５に入射される光の量を制御する機構のことをいい、シャッタとは、ＣＣＤ５に光を当てる時間を制御する機構のことをいい、ＣＣＤ５に光を当てる時間（露光時間）は、シャッタ速度によって変わってくる。
露出量は、この絞り値（絞りの度合い）とシャッタ速度によって定められる。
【００３３】
ＣＣＤ５は、垂直ドライバ６によって走査駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。この垂直ドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０によって制御される。また、ＣＣＤ５は電子シャッタとしての機能を有し、この電子シャッタは、垂直ドライバ６、ＴＧ７を介してＣＰＵ１０を介して制御される。
【００３４】
ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５によって得られた撮像信号はユニット回路８を経た後、ＤＭＡ９によってベイヤーデータの状態でバッファメモリ（ＤＲＡＭ１３）に記憶される。
【００３５】
ＣＰＵ１０は、測光処理、記録処理、表示処理などを行う機能を有すると共に、デジタルカメラ１の各部を制御するワンチップマイコンである。
特に、ＣＰＵ１０は、測光処理に基づいて得られた被写体の明るさに基づいて、通常のゲイン値における絞り値及び露光時間ＴＬを算出する算出部１０１、１枚のフレーム画像データの撮像期間内に、該算出された露光時間ＴＬでの撮像と、予め決められた比較的時間の短い露光時間ＴＳでの撮像を連続して行う連続撮像制御部１０２と、ブレ量検出部１５により検出されたブレ量に基づいて、当該フレーム画像データとして、露光時間ＴＬのフレーム画像データ、露光時間ＴＳのフレーム画像データＴＳのどちらか一方のフレーム画像データを採用する採用部１０３とを含む。
【００３６】
キー入力部１１は、静止画撮影や動画撮影等の撮影を指示するシャッタボタン、動画撮影モードや再生モード等のモードを切り替えるモード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０がデジタルカメラ1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、ＣＰＵ１０は、該プログラムに従い動作する。
【００３７】
ＤＲＡＭ１３は、ＣＣＤ５によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとしても使用される。
【００３８】
ＤＭＡ１４は、バッファメモリに記憶されているベイヤーデータ若しくは輝度色差信号の画像データを読み出して、ブレ量検出部１５に出力するものである。
ブレ量検出部１５は、個々の画像の露光時のブレ量（カメラと被写体との相対的な動き）を検出するものであり、手振れに起因するブレ量だけであればカメラ本体に取り付けたジャイロセンサによって検出することも可能であるが、ここでは、被写体の動きに起因するブレ量をも検出することを考慮して、複数のフレーム画像データに基づく電子的なブレ検出方法を用いるものとする。この複数のフレーム画像データに基づくブレ量の検出は、周知技術なので詳しく説明しないが、基本的には、２枚のフレーム画像データのブレ量を検出する技術を利用するものであり、ブロックマッチング法や代表点マッチング法など用いて２枚のフレーム画像データから、両者のフレーム画像データのブレ量を検出するようにしてもよいし、２枚のフレーム画像の差分に基づいてブレ量を検出するようにしてもよい。たとえば、差分が少なければ画像のブレはなく、差分が大きければ画像のブレは大きいからである。また、画像認識により顔を認識することにより、現在のフレームと１つ前のフレームとからどのくらい顔が動いたかを算出することによりブレ量を検出するようにしてもよく、要は、後のフレームの画像が前のフレームの画像からどのくらいブレたかを検出するものであればなんでもよい。
【００３９】
また、２枚のフレーム画像データに基づくブレ量の検出を行う場合、画質に大きな影響を与えるような大きなブレの周期は動画撮影のフレーム周期よりも十分に大きい（５倍以上）ことを前提とするものである。ブレの周期が動画撮影のフレーム周期に近い周期（２〜５倍程度）である場合には、２枚以上の画像データを用いてブレの動きを推定することでブレ検出の精度を向上させることができる。つまり、サンプリング定理に基づいて、検出対象となるブレの周期の少なくとも２倍以上の周期で各フレーム画像を撮像すればよいことになる。また、通常の動画のフレーム周期（例えば、３０フレーム／秒）よりも速い周期のブレが問題となるような場合には、状況に応じて動画のフレーム周期を速めたり、動画フレームとは別に、ブレ検出専用のフレームを挿入するようにしてもよい。さらに、このブレ量の検出に用いる複数のフレーム画像の中に、ブレ量の検出対象となるフレーム画像を含めたり、ブレ量の検出対象となるフレーム画像の後のフレーム画像を含めることにより、ブレ量の検出精度をより向上させることができる。
【００４０】
なお、ここで検出されるブレ量は、単に比較対象となる２つのフレーム画像のブレ量、つまり、相対的なブレ量ではなく、時間を加味した絶対的なブレ量、つまり、単位時間当たりのブレ量とする。たとえば、相対的なブレ量とすると、比較対象となる２つのフレーム画像の撮影間隔が１０秒の場合に検出されたブレ量と、比較対象となる２つのフレーム画像の撮影間隔が１秒の場合に検出されたブレ量が同じになる場合があるが、撮影間隔が１秒の場合の方がはるかにブレは大きいからであり、正確なブレ量は検出できないからである。
【００４１】
ＤＭＡ１６は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部１７に出力するものである。
画像生成部１７は、ＤＭＡ１６から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）の生成も行なう。つまり、画像処理を施す部分である。
ＤＭＡ１８は、画像生成部１７で画像処理が施された輝度色差信号の画像データ（ＹＵＶデータ）をバッファメモリに記憶させるものである。
【００４２】
ＤＭＡ１９は、バッファメモリに記憶されているＹＵＶデータの画像データを表示部２０に出力するものである。
表示部２０は、カラーＬＣＤとその駆動回路を含み、ＤＭＡ１９から出力された画像データの画像を表示させる。
【００４３】
ＤＭＡ２１は、バッファメモリに記憶されているＹＵＶデータの画像データや圧縮された画像データを圧縮伸張部２２に出力したり、圧縮伸張部２２により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部２２は、画像データの圧縮・伸張（例えば、ＪＰＥＧやＭＰＥＧ形式の圧縮・伸張）を行なう部分である。
ＤＭＡ２３は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ２４に記録させたり、フラッシュメモリ２４に記録された圧縮画像データをバッファメモリに記憶させるものである。
【００４４】
Ｂ.デジタルカメラ１の動作
第１の実施の形態におけるデジタルカメラ１の動作を動画撮影時と動画再生時とに分けて説明する。
【００４５】
Ｂ−１．動画撮影時の動作について
まず、動画撮影時の動作を図２のフローチャートにしたがって説明する。
動画撮影モードにおいて、ユーザによってキー入力部１１のシャッタボタンが押下されると（シャッタボタンの押下に対応する操作信号がキー入力部１１から送られてくると）、動画撮影処理が開始されたと判断し、ＣＰＵ１０は、キャプチャフレーム周期（撮像タイミング）が到来するまで待ち処理を行う（ステップＳ１）。このキャプチャフレーム周期は、キャプチャフレームレートに基づいて定まる。たとえば、キャプチャフレームレートが３０ｆｐｓの場合は、１／３０秒毎にキャプチャフレーム周期が到来することになる。
【００４６】
そして、キャプチャフレーム周期が到来すると、ＣＰＵ１０は、測光処理を行うことにより、撮像される被写体の明るさを得る（ステップＳ２）。この測光処理は、直近に撮像されたフレーム画像データの輝度成分に基づいて行うようにしてもよいし、測光センサを設け、該測光センサから出力されたデータに基づいて行うようにしてもよい。ここでは、画像データの輝度成分に基づいて行う。
【００４７】
そして、ＣＰＵ１０の算出部１０１は、該測光処理により得られた被写体の明るさに基づいて、通常のゲイン値（ノイズが少ない画像を記録できる通常の感度）における絞り値、シャッタ速度（露光時間ＴＬ）を算出する（ステップＳ３）。この通常のゲイン値は、ユーザによって、又は自動的に予め決められた値である。ここで、算出される絞り値、シャッタ速度は動画撮影用の絞り値、シャッタ速度である。
なお、ここでは、ゲイン値を変えることにより感度を変えるようにしたが、ゲイン値の他に他の方法（たとえば、画素加算駆動）によって感度を変えるものであってもよい。
【００４８】
そして、ＣＰＵ１０の連続撮像制御部１０２は、垂直ドライバ６、ＴＧ７、ユニット回路８を制御することにより、ステップＳ３で算出された露光時間ＴＬ及び絞り値、通常のゲイン値で撮像を行い、画像生成部１７で画像処理が施され、圧縮伸長部２２で圧縮されたフレーム画像データをＤＭＡ２３を介してフラッシュメモリ２４に記録させる（ステップＳ４）。
つまり、ステップＳ３算出された露光時間ＴＬ及び絞り値で被写体を撮像し、ユニット回路８のＡＧＣ回路は、通常のゲイン値に基づいて該撮像された画像データは該撮像された画像データの利得を調整する。
【００４９】
そして、ＣＰＵ１０は、予め決められた露光時間ＴＳ（画像のブレが発生しにくい程度の比較的短い所定の露光時間）とステップＳ３で算出された露光時間ＴＬの差分に応じてゲイン値を算出する（ステップＳ５）。つまり、予め決められた露光時間ＴＳ、ステップＳ３で算出された絞り値で撮像された画像データの明るさが、ステップＳ３で算出された露光時間ＴＬ及び絞り値、通常のゲイン値で撮像された画像データの明るさと同じになるように、ゲイン値を算出する。ここで、第１の実施の形態においては、露光時間ＴＳは露光時間ＴＬより短い時間であることを前提とするので、算出されるゲイン値は、通常のゲイン値より大きな値となるのでノイズが発生しやすくなる。
【００５０】
そして、ＣＰＵ１０の連続撮像制御部１０２は、垂直ドライバ６、ＴＧ７、ユニット回路８を制御することにより、該ステップＳ５で算出されたゲイン値、ステップＳ３で算出した絞り値、予め決められた露光時間ＴＳで撮像を行い、画像生成部１７で画像処理が施され、圧縮伸長部２２で圧縮されたフレーム画像データをＤＭＡ２３を介してフラッシュメモリ２４に記録させる（ステップＳ６）。
つまり、予め決められた露光時間（所定の露光時間）ＴＳ、ステップＳ３で算出された絞り値で被写体を撮像し、ユニット回路８のＡＧＣ回路は、ステップＳ５で算出されたゲイン値に基づいて該撮像された画像データは該撮像された画像データの利得を調整する。これにより、感度を上げるので露光時間を短くしても適切な明るさのフレーム画像データを得ることができる。
【００５１】
このように、１枚のフレーム画像データの撮像期間内に、通常の測光処理に基づいた露光時間ＴＬと、予め決められた露光時間ＴＳを２枚連続して撮像する。
なお、この露光時間ＴＬと露光時間ＴＳとを合計した時間が、キャプチャフレーム周期より短い時間でなければならない。
【００５２】
そして、ＣＰＵ１０は、動画撮影記録処理が終了したか否かを判断し（ステップＳ７）、動画撮影が終了していない場合はステップＳ１に戻る。この動画撮影処理が終了したか否かの判断は、シャッタボタンの押下が解除されたか、つまり、キー入力部１１からシャッタボタンの押下に対応する操作信号が送られてこなくなったか否かにより判断する。
一方、ステップＳ７で、動画撮影記録処理が終了したと判断すると、ＣＰＵ１０は、該記録したフレーム画像データに基づいてフラッシュメモリ２４上に動画ファイルを生成する（ステップＳ８）。
なお、この動画撮影記録処理中は、露光時間ＴＬで撮像されたフレーム画像データ、又は、露光時間ＴＳで撮像されたフレーム画像データをＤＭＡ１９を介しリアルタイムで順々に表示部２０に表示させていく。
【００５３】
Ｂ−２．動画再生時の動作について
次に、動画再生時の動作を図３のフローチャートにしたがって説明する。
再生モードにおいて、再生したい動画ファイルがユーザによって選択されると、動画再生処理が開始されたと判断し、ＣＰＵ１０は、フラッシュメモリ２４に記録されている該選択された動画ファイルのフレーム画像データを読み出し、最初に露光時間ＴＬで撮像されたフレーム画像データＬｎを選択する（ステップＳ１１）。
【００５４】
ここで、フレーム画像データＬｎ（ｎ：１，２，・・・，ｚ−１，ｚ）は、露光時間ＴＬで撮像されたフレーム画像データを示し、Ｌｎの「ｎ」は、撮像された順番をも示す。たとえば、フレーム画像データＬ１は一番最初に露光時間ＴＬで撮像されたフレーム画像データを示し、フレーム画像データＬ２は２番目、フレーム画像データＬｎはｎ番目に露光時間ＴＬで撮像されたフレーム画像データを示し、フレーム画像データＬｚは最後に露光時間ＴＬで撮像されたフレーム画像データを示す。つまり、ステップＳ１１では、フレーム画像データＬ１を選択することになる。
【００５５】
また、フレーム画像データＳｎ（ｎ：１，２，・・・，ｚ−１，ｚ）は、露光時間ＴＳで撮像されたフレーム画像データを示し、Ｓｎの「ｎ」は、撮像された順番を示す。たとえば、フレーム画像データＳ１は一番最初に露光時間ＴＳで撮像されたフレーム画像データを示し、フレーム画像データＳ２は２番目、フレーム画像データＳｎはｎ番目に露光時間ＴＳで撮像されたフレーム画像データを示し、フレーム画像データＳｚは最後に露光時間ＴＳで撮像されたフレーム画像データを示す。
【００５６】
ここで、図４は、撮像され記録された画像ファイルのフレーム画像データの様子及び再生対象となるフレーム画像データの様子の一例を示す図である。
図４に示すように、露光時間ＴＬのフレーム画像データと、予め決められた露光時間ＴＳのフレーム画像データが交互に撮像されたのがわかる。ここで、１枚目の撮像期間に撮像されたフレーム画像データをＬ１、Ｓ１とし、２枚目の撮像期間内に撮像されたフレーム画像データをＬ２、Ｓ２とし、ｎ枚目の撮像期間に撮像されたフレーム画像データをＬｎ、Ｓｎとする。なお、繰り返し言うまでもないが、フレーム画像データＬは露光時間ＴＬで撮像されたフレーム画像データを示し、フレーム画像データＳは露光時間ＴＳで撮像されたフレーム画像データを示している。
【００５７】
そして、ＣＰＵ１０は、該選択したフレーム画像データＬｎの前後のフレーム画像データをブレ量検出部１５に出力し、ブレ量算出部１５に前のフレーム画像データと後のフレーム画像データと比較させて両者の画像のブレ量を検出させることにより、該選択したフレーム画像データＬｎのブレ量を検出する（ステップＳ１２）。この前後のフレーム画像データのブレ量により該選択されたフレーム画像データＬｎのブレ量がある程度わかるからである。つまり、該選択されたフレーム画像データＬｎの露光時間中にどのくらいブレたのかがわかる。この検出されたブレ量はＣＰＵ１０に送られる。画像データのブレは、撮影者の手ブレや被写体のブレによって生じる。
【００５８】
この比較対象となる前後のフレーム画像データとは、選択しているフレーム画像データＬｎの直前のフレーム画像データＳｎ−１と、直後のフレーム画像データＳｎをいい、たとえば、現在選択しているフレーム画像データがＬ２である場合は、Ｓ１のフレーム画像データと、Ｓ２のフレーム画像データとなり、現在選択されているフレーム画像データがＬ３である場合は、Ｓ２のフレーム画像データと、Ｓ３のフレーム画像データとなる。
【００５９】
この選択されたフレーム画像データＬｎとその直後に撮像されたフレーム画像データＳｎとの時間差はほどんとなく、該選択されたフレーム画像データの直前のフレーム画像データＳｎ−１と直後のフレーム画像データＳｎとのブレ量がそのまま該選択されたフレーム画像データＬｎのブレ量と見てよいからである。また、露光時間の短い（画像のブレがない）フレーム画像データＳ同士を比較することにより、正確なブレ量を検出することもできるからである。なぜならば、比較的露光時間の長いフレーム画像データＬは画像がブレていたり、ボケていたりする可能性が高いので、フレーム画像データＬ同士、又は、フレーム画像データＬとフレーム画像データＳと、を比較しても正確なブレ量が検出できない可能性もあるからである。
【００６０】
ここで、選択しているフレーム画像データがＬ１の場合は、フレーム画像データＬ１と、直後に撮像されたフレーム画像データＳ１とを比較してブレ量を検出するようにしてもよいし、シャッタボタンの押下直前に撮像されたフレーム画像データと、フレーム画像データＳ１とを比較してブレ量を検出するようにしてもよいし、さらに、フレーム画像データＬ１を選択した場合は、ブレ量を検出することなくそのまま後述するステップＳ１４で該フレーム画像データＬ１を表示画像として採用し、ステップＳ１７で表示させるようにしてもよい。
【００６１】
なお、比較するフレーム画像データを、選択したフレーム画像データＬｎの直前、直後のフレーム画像データに限定したが、選択したフレーム画像データＬｎの前のフレーム画像データと、後のフレーム画像データであれば直前、直後でなくてもよいし、必ずしも露光時間の短いフレーム画像データＳ同士を比較する必要もない。これによっても、該選択したフレーム画像データＬｎのブレ量はある程度わかるからである。また、前後のフレーム画像を比較するようにしたが、前後ではなく、単に前のフレーム画像データと、選択しているフレーム画像データＬｎとを比較するようにしてもよし、後のフレーム画像データと、選択しているフレーム画像データＬｎとを比較するようにしてもよい。これによっても、該選択したフレーム画像データＬｎのブレ量はわかるからである。
【００６２】
図３のフローチャートに説明に戻り、ステップＳ１２で、該選択したフレーム画像データＬｎのブレ量を検出すると、ＣＰＵ１０の採用部１０３は、該選択したフレーム画像データのブレ量が所定値以上であるか、つまり、所定のブレ量以上であるか否かを判断する（ステップＳ１３）。
【００６３】
ステップＳ１３で、該選択したフレーム画像データＬｎのブレ量が所定値以上より大きいと判断すると、ＣＰＵ１０の採用部１０３は、当該フレーム画像データとして（次の表示期間内のフレーム画像データとして）、露光時間ＴＳで撮像された方のフレーム画像データＳｎを表示画像として採用して（ステップＳ１４）、ステップＳ１６に進む。つまり、該選択したフレーム画像データＬｎと同じ撮像期間内に撮像された露光時間ＴＳのフレーム画像データＳｎを採用することになる。これにより、ブレのない若しくは少ないフレーム画像を採用することができる。
【００６４】
一方、ステップＳ１３で、該選択したフレーム画像データＬｎのブレ量が所定値以上より大きくないと判断すると、ＣＰＵ１０は、当該フレーム画像データとして、現在選択しているフレーム画像データＬｎを表示画像として採用して（ステップＳ１５）、ステップＳ１６に進む。これによりノイズのない若しくは少ないフレーム画像データを採用することができる。
【００６５】
ステップＳ１６に進むと、ＣＰＵ１０は、表示フレーム周期（表示タイミング）が到来するまで待ち処理を行う。この表示フレーム周期は、表示フレームレートに基づいて定まる。たとえば、表示フレームレートが３０ｆｐｓの場合は、１／３０秒毎に表示フレーム周期が到来することになる。
【００６６】
表示フレーム周期が到来すると、ＣＰＵ１０は、当該フレーム画像データとして採用したフレーム画像データ（ステップＳ１４又はステップＳ１５で採用したフレーム画像データ）をＤＭＡ１９を介して表示部２０に再生表示させる（ステップＳ１７）。
【００６７】
次いで、ＣＰＵ１０は、最後に露光時間ＴＬで撮像されたフレーム画像データＬｚが選択されたか否かを判断する（ステップＳ１８）。
ステップＳ１８で、最後に露光時間ＴＬで撮像されたフレーム画像データＬｚが未だ選択されていないと判断すると、次に露光時間ＴＬで撮像されたフレーム画像データＬｎ（ｎ＝ｎ＋１）を選択して（ステップＳ１９）、ステップＳ１２に戻る。
一方、ステップＳ１８で、最後に露光時間ＴＬで撮像されたフレーム画像データＬｚが選択されたと判断すると、再生処理を終了する。
【００６８】
図４に示すように、たとえば、フレーム画像データＬ２のブレ量は所定値より小さいので、２枚目のフレーム画像データとして表示されるフレーム画像データはフレーム画像データＬ２となり、フレーム画像データＬ３のブレ量が所定値以上なので、３枚目のフレーム画像データとして表示されるフレーム画像データは、フレーム画像データＳ３となる。同様に、フレーム画像データＳ４、フレーム画像データＳ５のブレ量は所定値以上なので、４枚目、５枚目のフレーム画像データとして表示されるフレーム画像データは、フレーム画像データＳ４、Ｓ５ということになる。
【００６９】
従来においては、画像のブレ及び補正処理は、ある程度の長い時間のスパンで判断して実行しているので、例えば、背景技術で説明したように、シャッタボタンの半押し後全押しまでに撮像された画像データに基づいて検出された被写体の動きが大きい場合は、ある程度の期間、シャッタ速度を速くして高感度で連続撮影しているので、このように撮影された動画データを再生する場合は、シャッタ速度を速くして高感度で撮影されたフレーム画像データが一定時間表示されてしまい、画質が劣化しているばかりか、シャッタ速度が速いためパラパラ漫画のような、被写体の動きが滑らかでないカクカクした動画が表示されてしまう。
【００７０】
しかし、上記第１の実施の形態で説明したように、被写体の明るさに基づいて通常の感度において必要な露光時間ＴＬで撮像されたフレーム画像データＬｎのブレ量が所定値より小さい場合には、該露光時間ＴＬで撮像されたフレーム画像データＬｎを表示させ、フレーム画像データＬｎのブレ量が所定値以上の場合は、予め決められた露光時間の短い露光時間ＴＳで撮像されたフレーム画像データＳｎを表示させるので、ブレ（撮影時のブレに起因する個々の画像のボケ）を軽減させて若しくは無くして動画を再生させることができ、且つ、カクカクした動画の再生を抑えることができ、動画の画質を向上させることができる。
【００７１】
また、第１の実施の形態においては、個々の画像のブレ（ボケ）を低減することを主な目的としているために、動画としてのブレ補正処理については説明しなかったが、動画として複数の画像データの記録や再生表示を行う場合には、検出されるブレ量に基づいて各フレーム画像の切り出し位置を変化させながらトリミングして記録したり、ブレ量に基づいて各フレーム画像の表示位置を変えて表示を行うようにするのは当然である。また、この動画のブレ補正処理は、記録時と再生時のどちらで行ってもよい。また、動画の記録時に検出されたブレ量の情報を各フレーム画像に対応付けて記録しておき、このブレ量の情報を用いて再生時に２つのフレーム画像の選択表示を行うようにしてもよい。これにより、ブレのない動画を記録、再生することとができる。
【００７２】
以上のように、第１の実施の形態においては、各フレーム画像データの撮像期間内に、被写体の明るさに基づいて算出された露光時間ＴＬと、予め決められた比較的短い露光時間ＴＳとを連続して撮像して記録していき、該記録された動画データの再生時に、フレーム画像データＬｎのブレ量が所定値以上の場合は、当該フレーム画像データとしてフレーム画像データＳｎを表示させ、フレーム画像データＬｎのブレ量が所定値以上でない場合は、当該フレーム画像データとしてフレーム画像データＬｎを表示させるので、ブレ（撮影時のブレに起因する個々の画像のボケ）を軽減させて若しくは無くして動画を再生させることができ、且つ、カクカクした動画の再生を抑えることができ、表示される動画全体のブレを低減し、動画の画質を向上させることができる。
【００７３】
また、フレーム画像データＬｎのブレ量を検出して、該フレーム画像データＬｎを用いるか否かを判断しているので、確実にブレの少ないフレーム画像データを再生することができるとともに、必要以上に露光時間の短い（シャッタ速度の速い）フレーム画像データを再生することがない。したがって、表示されるフレーム画像データのブレの低減、画質劣化の低減を図ることができる。
【００７４】
なお、このフレーム画像データＬｎのブレ量を検出するには、フレーム画像データＬｎの実際のボケ具合から判断する方法や、露光期間中におけるカメラに対する被写体の動き量から判断する方法や、露光期間の長さとは無関係に露光時におけるカメラに対する被写体の動き速度から判断する方法や、カメラの動き量だけで判断する方法や、ジャイロセンサを用いる方法や、電子式なブレ検出方法など、いずれの方法であってもよいが、他の画像データと比較した場合の画像データＬｎのボケ具合を推定できる方法であることが必要である。
【００７５】
［第２の実施の形態］
次に第２の実施の形態について説明する。
第１の実施の形態においては、動画撮影時は、フレーム画像データＬｎとフレーム画像データＳｎとを交互で撮像して記録し、再生時において、フレーム画像データＬｎとフレーム画像データＳｎのどちらか一方を採用して表示させていくというものであったが、第２の実施の形態においては、撮影時に、フレーム画像データＬｎとフレーム画像データＳｎとのどちらか一方を採用して記録していくというものである。
また、上記第１の実施の形態においては、露光時間ＴＬは露光時間ＴＳより長いことを前提としたが、実際は、算出される露光時間ＴＬが露光時間ＴＳより短くなりうる可能性もあるので、算出される露光時間ＴＬが露光時間ＴＳより短い場合は、露光時間ＴＳでの撮像を行なわない。
【００７６】
Ｃ.デジタルカメラ１の動作
第２の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現する。
以下、第２の実施の形態のデジタルカメラ１の動作を図５のフローチャートにしたがって説明する。
【００７７】
動画撮影モードに中に、ユーザによってキー入力部１１のシャッタボタンが押下されると（シャッタボタンの押下に対応する操作信号がキー入力部１１から送られてくると）、動画撮影処理が開始されたと判断し、ＣＰＵ１０は、キャプチャフレーム周期（撮像タイミング）が到来するまで待ち処理を行う（ステップＳ３１）。このキャプチャフレーム周期は、キャプチャフレームレートに基づいて定まる。たとえば、キャプチャフレームレートが３０ｆｐｓの場合は、１／３０秒毎にキャプチャフレーム周期が到来することになる。
【００７８】
そして、キャプチャフレーム周期が到来すると、ＣＰＵ１０は、測光処理を行うことにより、撮像される被写体の明るさを得る（ステップＳ３２）。この測光処理は、直近に撮像されたフレーム画像データの輝度成分に基づいて行うようにしてもよいし、測光センサを設け、該測光センサから出力されたデータに基づいて行うようにしてもよい。ここでは、画像データの輝度成分に基づいて行う。
【００７９】
そして、ＣＰＵ１０の算出部１０１は、該測光処理により得られた被写体の明るさに基づいて、通常のゲイン値（通常の感度）における絞り値、シャッタ速度（露光時間ＴＬ）を算出する（ステップＳ３３）。この通常のゲイン値は、予め決められた値である。ここで、算出される絞り値、シャッタ速度は動画撮影用の絞り値、シャッタ速度である。
なお、ここでは、ゲイン値を変えることにより感度を変えるようにしたが、ゲイン値の他に他の方法によって感度を変えるものであってもよい。
【００８０】
そして、ＣＰＵ１０の連続撮像制御部１０２は、垂直ドライバ６、ＴＧ７、ユニット回路８を制御することにより、ステップＳ３３で算出された露光時間ＴＬ及び絞り値、通常のゲイン値で撮像を行い、画像生成部１７で画像処理が施されたフレーム画像データをバッファメモリ（ＤＲＡＭ１３）に記憶させる（ステップＳ３４）。
つまり、ステップＳ３３で算出された露光時間ＴＬ及び絞り値で被写体を撮像し、ユニット回路８のＡＧＣ回路は、通常のゲイン値に基づいて該撮像された画像データの利得を調整する。
【００８１】
次いで、ＣＰＵ１０は、ステップＳ３３で算出された露光時間ＴＬが露光時間ＴＳより長いか否かを判断する（ステップＳ３５）。この判断を行う意味は、露光時間ＴＳで撮像する必要があるか否かを判断しているものであり、露光時間ＴＬが露光時間ＴＳ以上長くなると、被写体ブレや手ブレなどによる画像のブレが発生しやすく若しくは発生する可能性が生じるためであり、露光時間ＴＬが露光時間ＴＳより長い場合は、後述するように露光時間ＴＳで撮像を行う。
【００８２】
ステップＳ３５で、露光時間ＴＬが露光時間ＴＳより長いと判断すると、ＣＰＵ１０は、予め決められた露光時間ＴＳとステップＳ３で算出された露光時間ＴＬの差分に応じてゲイン値を算出する（ステップＳ３６）。つまり、予め決められた露光時間ＴＳ、ステップＳ３３で算出された絞り値で撮像された画像データの明るさが、ステップＳ３３で算出された露光時間ＴＬ及び絞り値、通常のゲイン値で撮像された画像データの明るさと同じになるように、ゲイン値を算出する。ここで、算出されるゲイン値は、通常のゲイン値より大きな値となるのでノイズが発生しやすくなる。
【００８３】
そして、ＣＰＵ１０の連続撮像制御部１０２は、垂直ドライバ６、ＴＧ７、ユニット回路８を制御することにより、該ステップＳ３６で算出されたゲイン値、ステップＳ３３で算出した絞り値、予め決められた露光時間ＴＳで撮像を行い、画像生成部１７で画像処理が施されたフレーム画像データをバッファメモリに記憶させる（ステップＳ３７）。
つまり、予め決められた露光時間ＴＳ、ステップＳ３３で算出された絞り値で被写体を撮像し、ユニット回路８のＡＧＣ回路は、ステップＳ３６で算出されたゲイン値に基づいて該撮像された画像データは該撮像された画像データの利得を調整する。これにより、感度を上げるので露光時間を短くしても適切な明るさのフレーム画像データを得ることができる。
【００８４】
このように、露光時間ＴＬが露光時間ＴＳより長い場合は、１枚のフレーム画像データの撮像期間内に、通常の測光処理に基づいた露光時間ＴＬでの撮像後に、続けて予め決められた露光時間ＴＳで撮像する。
なお、この露光時間ＴＬと露光時間ＴＳとを合計した時間が、フレーム周期より短い時間でなければならないことは言うまでもない。
【００８５】
そして、ＣＰＵ１０は、ステップＳ３４で直近に撮像したフレーム画像データＬｎの前後のフレーム画像データをブレ量検出部１５に出力し、ブレ量検出部１５に前のフレーム画像データと後のフレーム画像データと比較させて両者の画像のブレ量を検出させることにより、ステップＳ３４で直近に撮像したフレーム画像データＬｎのブレ量を算出する（ステップＳ３８）。この前後のフレーム画像データのブレ量により該フレーム画像データＬｎのブレ量がある程度わかるからである。つまり、ステップＳ３４で直近に撮像されたフレーム画像データＬｎの露光中にどのくらいブレたのかがわかる。
このブレ量の算出は、上記第１の実施の形態と同様の動作によって行う。
【００８６】
そして、ステップＳ３８で直近に撮像したフレーム画像データＬｎのブレ量を算出すると、ＣＰＵ１０の採用部１０３は、該算出したブレ量が所定値以上であるか、つまり、所定のブレ量以上であるか否かを判断する（ステップＳ３９）。
ステップＳ３９で、ステップＳ３４で直近に撮像したフレーム画像データＬｎのブレ量が所定値以上より大きいと判断すると、ＣＰＵ１０の採用部１０３は、当該フレーム画像データとして（現在の撮像期間のフレーム画像データとして）、露光時間ＴＳで撮像された方のフレーム画像データＳｎ（ステップＳ３７で直近に撮像されたフレーム画像データＳｎ）を撮像画像として採用して（ステップＳ４０）、ステップＳ４２に進む。つまり、現在の撮像期間内に撮像された露光時間ＴＳのフレーム画像データＳｎを採用することになる。これにより、ブレのないフレーム画像を撮像画像として採用することができる。この現在の撮像期間とはステップＳ３１のフレーム周期に基づく撮像期間のことをいう。
【００８７】
一方、ステップＳ３５で、ステップＳ３３で算出された露光時間ＴＬが露光時間ＴＳよりも長くないと判断された場合、ステップＳ３９で、該選択したフレーム画像データＬｎのブレ量が所定値以上より大きくないと判断すると、ＣＰＵ１０の採用部１０３は、当該フレーム画像データとして（現在の撮像期間のフレーム画像データとして）、露光時間ＴＬで撮像されたフレーム画像データＬｎ（ステップ３４で直近に撮像されたフレーム画像データＬｎ）を撮像画像として採用して（ステップＳ４１）、ステップＳ４２に進む。ステップＳ３９からステップＳ４１に進んだ場合は、ノイズの少ない若しくは無いフレーム画像データを採用することができる。
【００８８】
ステップＳ４２に進むと、ＣＰＵ１０は、当該フレーム画像データとして採用したフレーム画像データ（ステップＳ４０又はステップＳ４１で採用したフレーム画像データ）を、当該フレームに対応して検出されたブレ量に応じた位置で切り出すとともに（動画のブレ補正処理を行うとともに）、圧縮伸長部２２に圧縮させ、該圧縮させたフレーム画像データをＤＭＡ１９を介してフラッシュメモリ２４に記録させる。また、採用されなかったフレーム画像データは記録させることなく破棄される。このとき、採用されたフレーム画像データをＤＭＡ１９を介して表示部２０に表示させる。動画のブレ補正処理を行うので、ブレのない動画を記録することができる。
【００８９】
次いで、ＣＰＵ１０は、動画撮影記録処理が終了したか否かを判断し（ステップＳ４３）、動画撮影が終了していない場合はステップＳ３１に戻る。この動画撮影処理が終了したか否かの判断は、シャッタボタンの押下が解除されたか、つまり、キー入力部１１からシャッタボタンの押下に対応する操作信号が送られてこなくなったか否かにより判断する。
【００９０】
一方、ステップＳ４３で、動画撮影記録処理が終了したと判断すると、ＣＰＵ１０は、該記録したフレーム画像データに基づいてフラッシュメモリ２４上に動画ファイルを生成する（ステップＳ４４）。
【００９１】
図６は、第２の実施の形態で撮像される画像データの様子の一例を示す図である。
図６に示すようにフレーム画像データＬ１の露光時間ＴＬが露光時間ＴＳ以下なので、露光時間の短い露光時間ＴＳのフレーム画像データＳ１は撮像されず、当該フレーム画像データとして（１枚目のフレーム画像データとして）フレーム画像データＬ１が採用される。露光時間ＴＬが露光時間ＴＳ以下の場合は画像のブレが発生しにくいからである。
【００９２】
また、同様に、フレーム画像データＬ２の露光時間ＴＬも露光時間ＴＳ以下なので、フレーム画像データＳ２は撮像されず、当該フレーム画像データとして（２枚目のフレーム画像データとして）フレーム画像データＬ２が採用される。
【００９３】
また、フレーム画像データＬ３の露光時間ＴＬが露光時間ＴＳより長いので、フレーム画像データＬ３の撮像後、露光時間の短い露光時間ＴＳのフレーム画像データＳ３を撮像する。露光時間ＴＬが露光時間ＴＳより長い場合は画像のブレが発生しやすいからである。また、フレーム画像データＬ３のブレ量は所定値より小さいので、ノイズの少ないフレーム画像データＬ３が採用される。
【００９４】
また、フレーム画像データＬ４、Ｌ５の露光時間ＴＬが露光時間ＴＳより長いので、フレーム画像データＬ４、Ｌ５の撮像後、露光時間の短い露光時間ＴＳのフレーム画像データＳ４、Ｓ５を撮像する。露光時間ＴＬが露光時間ＴＳより長い場合は画像のブレが発生しやすいからである。また、フレーム画像データＬ４のブレ量は所定値以上なので、ブレの少ない若しくは無いフレーム画像データＳ４が採用され、レーム画像データＬ５のブレ量は所定値より小さいので、ノイズの少ないフレーム画像データＬ５が採用される。
また、フレーム画像データＬ６の露光時間ＴＬも露光時間ＴＳ以下なので、フレーム画像データＳ６は撮像されず、当該フレーム画像データとして（６枚目のフレーム画像データとして）フレーム画像データＬ６が採用される。
【００９５】
ここで、図６をみるとわかるように、フレーム画像データＳ２は撮像されないので、フレーム画像データＬ３のブレ量を検出する場合には、フレーム画像データＬ３の直前、直後に撮像されたフレーム画像データは、フレーム画像データＬ２とフレーム画像データＳ３ということになるので、この２枚のフレーム画像データに基づいてフレーム画像データＬ３のブレ量が検出されることになる。同様に、フレーム画像データＳ６も撮像されないので、フレーム画像データＳ５とフレーム画像データＬ７に基づいてフレーム画像データＬ６のブレ量が検出されることになる。なお、ブレ量を検出するフレーム画像データＬｎの直前直後でなく、ブレ量を検出するフレーム画像データＬｎの前後に撮像されたフレーム画像データに基づいてブレ量を検出するようにしてもよいし、前後のフレーム画像データはなく、前のフレーム画像データ、又は、後のフレーム画像データと、ブレ量を検出するフレーム画像データＬｎとに基づいて該フレーム画像データＬｎのブレ量を検出するようにしてもよい。
【００９６】
また、図５のステップＳ４２にでは、採用されたフレーム画像データのみを記録し、採用されなかったフレーム画像データは記録されることなく破棄されるが、破棄されるフレーム画像データであっても、後の露光時間ＴＬで撮像されるフレーム画像データＬｎのブレ量を検出するために用いられるフレーム画像データは一定時間バッファメモリに保持される。つまり、採用されなかったフレーム画像データであっても、後のフレーム画像データＬｎのブレ量の算出に必要な限度でバッファメモリに保持され、ブレの算出に必要がなくなり次第バッファメモリから破棄されることになる。
【００９７】
このように、被写体の明るさに基づいて通常の感度において必要な露光時間ＴＬが露光時間ＴＳより長い場合は、当該撮像期間内には露光時間ＴＬでフレーム画像データＬｎのみを撮像し、露光時間が露光時間ＴＳより長い場合は、当該撮像期間に露光時間ＴＬのフレーム画像データＬｎと、露光時間が比較的短い露光時間ＴＳのフレーム画像データＳｎを撮像する。
【００９８】
また、当該撮像期間内にフレーム画像データＬｎのみを撮像した場合は、該フレーム画像データＬｎを当該撮像期間内のフレーム画像データとして採用し、当該撮像期間内にフレーム画像データＬｎとフレーム画像データＳｎとを撮像した場合は、フレーム画像データＬｎのブレ量が所定値以上の場合は当該撮像期間内のフレーム画像データとしてフレーム画像データＳｎを採用し、フレーム画像データＬｎのブレ量が所定値より小さい場合は当該撮像期間内のフレーム画像データとしてフレーム画像データＬｎを採用する。
【００９９】
以上のように、第２の実施の形態においては、被写体の明るさに基づいて算出された露光時間ＴＬが露光時間ＴＳより長くない場合は、予め決められた露光時間の短い露光時間ＴＳでの撮像を行わないので、必要以上に撮像を行わなくてすみ、撮像の処理負担を軽減させることがでる。
また、フレーム画像データＬｎとフレーム画像データＳｎを連続して撮像した場合は、フレーム画像データＬｎのブレ量が所定値以上の場合は、当該フレーム画像データとしてフレーム画像データＳｎを記録させ、フレーム画像データＬｎのブレ量が所定値以上でない場合は、当該フレーム画像データとしてフレーム画像データＬｎを記録させるので、ブレを軽減させて若しくは無くして動画を再生させることができ、且つ、カクカクした動画の再生を抑えることができ、表示される動画全体のブレを低減し、動画の画質を向上させることができる。
また、撮影時にフレーム画像データＬｎとフレーム画像データＳｎのどちらか一方のみを採用して記録するので、再生時の処理負担を軽減させることができる。
【０１００】
また、フレーム画像データＬｎのブレ量を検出して、該フレーム画像データＬｎを用いるか否かを判断しているので、確実にブレの少ない若しくは無いフレーム画像データを記録したり再生することができるとともに、必要以上に露光時間の短い（シャッタ速度の速い）フレーム画像データを記録したり再生することがない。したがって、表示されるフレーム画像データのブレの低減、画質劣化の低減を図ることができる。
【０１０１】
また、上記第２の実施の形態においては、ブレ量の検出対象となるフレーム画像の前後のフレーム画像を用いてブレ量を検出することでブレ量の検出精度を向上させるために、ステップＳ３９以降の選択処理とステップＳ３９以前の撮像処理とを非同期に行う（異なるフレームを対象として処理を行う）ようにしたが、ステップＳ３９以降の選択処理とステップＳ３９以前の撮像処理とを同期させ、同じフレームに対する撮像処理と選択処理をリアルタイムに行うようにしてもよい。この場合には、ステップＳ３６の前にステップＳ３９の判断を実行し、ブレ量が所定値以下であった場合には、ステップＳ３６以降の露光時間ＴＳでの撮像処理をスキップすることができ、ブレ量の検出精度は落ちるが、処理効率を向上させることができる。
【０１０２】
［第３の実施の形態］
次に第３の実施の形態について説明する。
第２の実施の形態においては、撮像時にフレーム画像データに基づいてブレ量を算出するというものであるが、第３の実施の形態においては、ブレ量をセンサジャイロなどの各速度センサなどにより検出するというものである。
【０１０３】
Ｃ.デジタルカメラ１の動作
第３の実施の形態も、図１に示したものと同様の構成を有するデジタルカメラ１を用いることにより本発明の撮像装置を実現するが、第３の実施の形態においては、ブレ量検出部１５はジャイロセンサなどの角速度センサを備え、該角速度センサによって撮影者の手のブレ量を検出する。この検出されたブレ量はＣＰＵ１０に送られる。また、ＣＰＵ１０は、連続撮像制御部１０２に代えて１枚のフレーム画像データの撮像期間に１枚のフレーム画像データのみを撮像する撮像制御部１０２を、また、ＣＰＵ１０は、採用部１０３に代えて、ブレ量検出部１５によって検出された検出されたブレ量が所定値以上か否かを判断する判断部１０３を備える。
なお、角速度センサによってブレ量を検出するようにしたが、機械的にブレ量を検出することができるセンサであればよい。
【０１０４】
以下、第３の実施の形態のデジタルカメラ１の動作を図７のフローチャートにしたがって説明する。
【０１０５】
ユーザによってキー入力部１１のシャッタボタンボタンが押下されると（シャッタボタンボタンの押下に対応する操作信号がキー入力部１１から送られてくると）、動画撮影処理が開始されたと判断し、ＣＰＵ１０は、キャプチャフレーム周期（撮像タイミング）が到来するまで待ち処理を行う（ステップＳ５１）。このキャプチャフレーム周期は、キャプチャフレームレートに基づいて定まる。たとえば、キャプチャフレームレートが３０ｆｐｓの場合は、１／３０秒毎にフレーム周期が到来することになる。
【０１０６】
そして、キャプチャフレーム周期が到来すると、ＣＰＵ１０は、測光処理を行うことにより、撮像される被写体の明るさを得る（ステップＳ５２）。この測光処理は、直近に撮像されたフレーム画像データの輝度成分に基づいて行うようにしてもよいし、測光センサを設け、該測光センサから出力されたデータに基づいて行うようにしてもよい。ここでは、画像データの輝度成分に基づいて行う。
【０１０７】
そして、ＣＰＵ１０の算出部１０１は、該測光処理により得られた被写体の明るさに基づいて、通常のゲイン値（通常の感度）における絞り値、シャッタ速度（露光時間ＴＬ）を算出する（ステップＳ５３）。この通常のゲイン値は、予め決められた値である。
なお、ここでは、ゲイン値を変えることにより感度を変えるようにしたが、ゲイン値の他に他の方法によって感度を変えるものであってもよい。
【０１０８】
次いで、ＣＰＵ１０の撮像制御部１０２は、該算出された絞り値及び露光時間で露光を開始する（ステップＳ５４）。つまり、撮像を開始する。
次いで、ＣＰＵ１０は、ブレ量検出部１５を初期化する（ステップＳ５５）。つまる、ブレ量検出１５によって検出されるブレ量の積算値をゼロにする。
次いで、ＣＰＵ１０は、ブレ量検出部１５にブレ量の検出を開始させる（ステップＳ５６）。
【０１０９】
次いで、ＣＰＵ１０は、ステップＳ５４で露光を開始してから露光時間ＴＬが経過したか否かを判断する（ステップＳ５７）。
ステップＳ５７で、露光時間が経過していないと判断すると、ＣＰＵ１０の判断部１０３は、ブレ量検出部１５によって検出されたブレ量の積算値が所定値以上か否かを判断する。つまり、前回までのブレ量の積算値に対して、新たにジャイロで検出されたブレ量を積算することにより、露光開始時の位置からのトータルのブレ量を算出することで露光中に所定のブレ量以上にブレたか否かを判断する。
ステップＳ５８で、ブレ量が所定値以上でないと判断すると、ステップＳ５７に戻る。
【０１１０】
一方、ステップＳ５７で露光を開始してから露光時間が経過したと判断される前に、ステップＳ５８でブレ量が所定値以上であると判断すると、ＣＰＵ１０の撮像制御部１０２は、露光を直ちに終了する（ステップＳ５９）。この露光終了後に、撮像制御部１０２は、垂直ドライバ６、ＴＧ７を介して、ＣＣＤ５により撮像された画像データを画像データを読み出す。
そして、ＣＰＵ１０は、実際に露光された露光時間ＴＲと、ステップＳ５３で算出された露光時間ＴＬとの差分に応じたゲイン値を算出する（ステップＳ６０）。つまり、実際の露光時間ＴＲ、ステップＳ５３で算出された絞り値で実際に撮像された画像データの明るさが、ステップＳ５３で算出された露光時間ＴＬ及び絞り値、通常のゲイン値で撮像される画像データの明るさと同じになるように、ゲイン値を算出する。ここで、算出されるゲイン値は、通常のゲイン値より大きな値となるのでノイズが発生しやすくなる。
【０１１１】
そして、ＣＰＵ１０の撮像制御部１０２は、ユニット回路８のＡＧＣ回路にステップＳ６０で算出されたゲイン値に基づいてＣＣＤ５から読みだされた画像データの利得を調整させて（ステップＳ６１）、ステップＳ６４に進む。この利得調整後のフレーム画像データはバッファメモリに記憶される。これにより、感度を上げるので露光時間を短くしても適切な明るさのフレーム画像データを得ることができる。
【０１１２】
一方、ステップＳ５８でブレ量が所定値以上であると判断される前に、ステップＳ５７で露光を開始してから露光時間が経過したと判断されると、ステップＳ６２に進み、ＣＰＵ１０の撮像制御部１０２は、露光を終了する（ステップＳ６２）。この露光終了後に、ＣＰＵ１０は、垂直ドライバ６、ＴＧ７を介して、ＣＣＤ５により撮像された画像データを読み出す。
そして、ＣＰＵ１０の撮像制御部１０２は、ユニット回路８のＡＧＣ回路に通常のゲイン値に基づいてＣＣＤ５から読みだされた画像データの利得を調整させて（ステップＳ６３）、ステップＳ６４に進む。この利得調整後のフレーム画像データはバッファメモリに記憶される。
【０１１３】
次いで、ＣＰＵ１０は、画像生成部１５によって画像処理が施され、圧縮伸長部２２によって圧縮された利得調整後のフレーム画像データ（ステップＳ６１又はステップＳ６３の利得調整後のフレーム画像データ）をＤＭＡ２３を介してフラッシュメモリ２４に記録させる（ステップＳ６４）。このとき、記録するフレーム画像データをＤＭＡ１９を介して表示部２０に表示させる。
【０１１４】
次いで、ＣＰＵ１０は、動画撮影記録処理が終了したか否かを判断し（ステップＳ６５）、動画撮影が終了していない場合はステップＳ５１に戻る。この動画撮影処理が終了したか否かの判断は、シャッタボタンの押下が解除されたか、つまり、キー入力部１１からシャッタボタンボタンの押下に対応する操作信号が送られてこなくなったか否かにより判断する。
一方、ステップＳ６５で、動画撮影記録処理が終了したと判断すると、ＣＰＵ１０は、該記録したフレーム画像データに基づいて動画ファイルを生成して、フラッシュメモリ２４に記録する（ステップＳ６６）。
【０１１５】
以上のように、第３の実施の形態においては、被写体の明るさに基づいて算出された露光時間ＴＬの露光中に、ブレ量検出１５により検出されたブレ量が所定値以上であると判断すると露光を終了させて画像データを読み出して記録し、ブレ量検出１５により検出されたブレ量が所定値以上であると判断される前に、露光時間ＴＬの露光が終了すると画像データを読み出して記録するので、ブレを軽減させて若しくは無くして動画を再生させることができ、且つ、カクカクした動画の再生を抑えることができ、表示される動画全体のブレを低減し、動画の画質を向上させることができる。
また、露光時間ＴＬの露光中にブレ量を検出して、露光時間ＴＬが経過する前に露光を終了するか否かを判断しているので、確実にブレの少ない若しくは無いフレーム画像データを記録したり再生することができるとともに、必要以上に露光時間の短い（シャッタ速度の速い）フレーム画像データを記録したり再生することがない。したがって、表示されるフレーム画像データのブレの低減、画質劣化の低減を図ることができる。つまり、画像データを利用せずにジャイロセンサ等の角速度センサによってリアルタイムにブレ量を検出するようにしたので、第２の実施形態のように、２つの露光時間で撮影された画像を後から選択するような処理を行う必要がなく、検出されるブレ量に応じて露光時間をリアルタイムに調整するような処理が可能なので、２回の撮像が１回になり、処理効率を向上させ、電池寿命を伸ばすことができる。
【０１１６】
［変形例］
上記各実施の形態は、以下のような変形例も可能である。
【０１１７】
（０１）また、上記第１の実施の形態における動画再生処理は、単に、採用されたフレーム画像データを表示させるようにしたが（ステップＳ１７）、採用された方のフレーム画像データを表示させるとともに、該採用されなかった方のフレーム画像データをフラッシュメモリ２４から削除していくようにしてもよい。つまり、動画撮影処理中に、該再生している動画データを編集していくようにしてもよい。
これにより、再び動画データを再生する場合は普通に記録されているフレーム画像データを順々に表示させていけばよく、再生処理の負担を軽減させることができる。これによっても、上記第１の実施の形態で説明したような効果を得られる。
また、動画編集モードというものを設け、該動画編集モード中に、動画ファイルが選択されると、該動画ファイルの動画データを表示させないで単に編集していくようにしてもよい。このときの動作も図３に示すフローチャートとほぼ同様であるが、ステップＳ１４又はステップＳ１５の動作を経ると、そのままステップＳ１７に進み、ステップＳ１７では、採用されなかった方のフレーム画像データをフラッシュメモリ２４から削除して、ステップＳ１８に進む。これによっても、上記第１の実施の形態で説明したような効果を得られる。
【０１１８】
（０２）また、上記第１の実施の形態においては、ステップＳ３で算出された露光時間ＴＬの長さにかかわらず、ステップＳ６で露光時間ＴＳの撮像を行うようにしたが、第２の実施の形態と同様に、ステップＳ４で、ステップＳ３で算出された露光時間ＴＬでの撮像を行うと、該ステップＳ３で算出された露光時間ＴＬが露光時間ＴＳより長いか否かを判断し、長いと判断された場合はステップＳ５に進み、該ステップＳ３で算出された露光時間ＴＬが露光時間ＴＳより長くないと判断された場合はそのままステップＳ７に進むようにしてもよい。これにより、写体の明るさに基づいて算出された露光時間ＴＬが露光時間ＴＳより長くない場合は、予め決められた露光時間の短い露光時間ＴＳでの撮像を行わないので、必要以上に撮像を行わなくてすみ、撮像の処理負担を軽減させることがでる。
【０１１９】
（０３）また、上記第２、第３の実施の形態においては、動画撮影記録処理の場合について説明したが、スルー画像表示における動画撮像において適用するようにしてもよい。この場合は、図５のステップＳ４２は、採用されたフレーム画像データを記録せずに、単に表示部２０に採用されたフレーム画像データの表示のみを行えばよいことになり、図７のステップＳ６４は得られたフレーム画像データを記録せずに、単に表示部２０に表示させればよい。これによっても、第２、第３の実施の形態で説明したような効果を得ることができる。
【０１２０】
（０４）また、上記第１の、第２の実施の形態においては、動画撮像の場合について説明したが、静止画撮像にも適用してもよい。この場合は、被写体の明るさに基づいて静止画撮影用の露光時間ＴＬを算出することになり、該露光時間ＴＬの静止画撮像と、予め決められた露光時間ＴＳでの静止画撮像とを連続して行えばよいことになる。この露光時間ＴＬでの撮像と、露光時間ＴＳでの撮像をあわせて１枚の画像データを撮像する撮像期間とする。
また、第３の実施の形態の場合は、単に算出された露光時間ＴＬで静止画撮影を行い、検出されたブレ量が所定値以上になると、単に露光を終了することになる。
これにより、確実にブレの少ない静止画像データを再生することができるとともに、必要以上に露光時間の短い（シャッタ速度の速い）静止画像データを再生することがない。したがって、表示される静止画像データのブレの低減、画質劣化の低減を図ることができる。
【０１２１】
（０５）また、上記第１、第２の実施の形態において、１枚のフレーム画像データの撮像期間内にフレーム画像データＬｎと、フレーム画像データＳｎとを連続して撮像するようにしたが、１枚のフレーム画像データの撮像期間内に連続して２枚のフレーム画像データを撮像するのではなく、フレーム画像データの撮像期間毎にフレーム画像データＬｎと、フレーム画像データＳｎとを交互に連続して撮像するようにしてもよい。つまり、１フレームの撮像期間に撮像されるフレーム画像データは１枚ということになる。なお、これは概念上の違いてあって、本願請求項でいう１枚の画像データを撮像する撮像期間とは、露光時間ＴＬでの撮像と、露光時間ＴＳでの撮像とを行う期間のことをいう。つまり、１枚の画像データを撮像する撮像期間とは、１枚の画像データを得るのに必要な期間のことをいう。
【０１２２】
この場合は、表示フレームレートは、キャプチャフレームレートの半分になってしまうが（撮像されたフレーム画像データの１／２しか再生や記録されないため）、つまり、キャプチャフレームレートが３０ｆｐｓの場合は、表示フレームレートは１５ｆｐｓとなってしまうが、表示フレームレートに合わせてキャプチャフレームレートを２倍にすればよい。たとえば、表示フレームレートを３０ｆｐｓにしたい場合は、キャプチャフレームレートを６０ｆｐｓにすればよい。
【０１２３】
また、フレーム画像データＬｎの撮像のキャプチャフレームレートと、フレーム画像データＳｎの撮像のキャプチャフレームレートとを異ならせるようにしてもよい。また、表示フレームレートに合わせて、フレーム画像データＬｎのキャプチャフレームレートと、フレーム画像データＳｎのキャプチャフレームレートとを変えるようにしてもよい。たとえば、表示フレームレートが３０ｆｐｓの場合は、フレーム画像データＬｎのキャプチャフレームレートを４５ｆｐｓとし、フレーム画像データＳｎのキャプチャフレームレートを９０ｆｐｓとすれば、表示フレームレートが３０ｆｐｓとなるからである。
【０１２４】
（０６）また、上記各実施の形態においては、感度は予め決まっており（通常の感度）、被写体の明るさに基づいて、通常の感度における露光時間ＴＬと絞り値を算出するようにしたが、被写体の明るさに基づいて露光時間ＴＬ、絞り値、感度を算出するようにしてもよい。
【０１２５】
（０７）また、上記第１、第２の実施の形態における、露光時間ＴＳは、予め決まっていてもよいし、ユーザが任意に設定できるようにしてもよい。ユーザが任意に設定できるようにすることで、露光時間ＴＳで撮像されるフレーム画像データＳｎのブレが発生する臨界を決めることができる。例えば、画像のブレは絶対避けたいと思う場合は露光時間ＴＳを可能な限り短くすることができるし、余り高感度での撮影は嫌だと思う場合は露光時間ＴＳをやや早めにすることができる。
【０１２６】
（０８）また、上記第１の、第２の実施の形態においては、フレーム画像データＬｎのブレ量を検出するようにしたが、これは、露光時間ＴＬでの撮像と露光時間ＴＳでの撮像を行う期間（１枚のフレーム画像データを撮像する期間）のブレ量を検出するための代表例であって、つまり、フレーム画像データＬｎのブレ量を、１枚のフレーム画像データを撮像する期間のブレ量と同視しているだけであって、他の方法によって１枚のフレーム画像データを撮像する期間のブレ量を検出するようにしてもよい。たとえば、第３の実施の形態にように、角速度センサ等により露光時間ＴＬでの撮像と露光時間ＴＳでの撮像とを行う期間（１枚のフレーム画像データを撮像する期間）のブレ量を検出していくようにしてもよい。
この場合も、露光時間ＴＬでの撮像と、露光時間ＴＳでの撮像を行い、該露光時間ＴＬでの撮像と露光時間ＴＳでの撮像の期間内に検出されたブレ量の積算値が所定値以上の場合には、露光時間ＴＳで撮像されたフレーム画像データＳｎを採用し、ブレ量が所定値以上でない場合は露光時間ＴＳで撮像されたフレーム画像データＬｎを採用する。
このとき、第１の実施の形態においては、撮影時は、撮像されたフレーム画像データを記録するとともに、検出されたブレ量も一緒に記録していき、再生時に該記録されたブレ量に基づいて、フレーム画像データＬｎ、フレーム画像データＳｎのどちらを採用するか決めることになる。
これによっても、フレーム画像データのブレの軽減、画質劣化の低減を図ることができる。また、ブレを軽減させて動画を再生することができ、且つ、カクカクした動画の再生を押させることができる。
【０１２７】
（０９）また、上記変形例（０１）乃至（０８）を矛盾しない範囲で任意に組み合わせた態様であってもよい。
【０１２８】
（１０）また、本発明の上記各実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
【０１２９】
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像することができる機器であれば適用可能である。
【図面の簡単な説明】
【０１３０】
【図１】本発明の実施の形態のデジタルカメラのブロック図である。
【図２】第１の実施の形態の動画撮影時の動作を示すフローチャートである。
【図３】第１の実施の形態の動画再生時の動作を示すフローチャートである。
【図４】撮像され記録された画像ファイルのフレーム画像データの様子及び再生対象となるフレーム画像データの様子の一例を示す図である。
【図５】第２の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【図６】第２の実施の形態で撮像される画像データの様子の一例を示す図である。
【図７】第３の実施の形態のデジタルカメラ１の動作を示すフローチャートである。
【符号の説明】
【０１３１】
１      デジタルカメラ
２      撮影レンズ
３      レンズ駆動ブロック
４      絞り兼用シャッタ
５      ＣＣＤ
６      垂直ドライバ
７      ＴＧ
８      ユニット回路
９      ＤＭＡ
１０    ＣＰＵ
１１    キー入力部
１２    メモリ
１３    ＤＲＡＭ
１４    ＤＭＡ
１５    ブレ量検出部
１６    ＤＭＡ
１７    画像生成部
１８    ＤＭＡ
１９    ＤＭＡ
２０    表示部
２１    ＤＭＡ
２２    圧縮伸張部
２３    ＤＭＡ
２４    フラッシュメモリ
２５    バス
【図１】
0005158409.tif 000002
【図２】
0005158409.tif 000003
【図３】
0005158409.tif 000004
【図４】
0005158409.tif 000005
【図５】
0005158409.tif 000006
【図６】
0005158409.tif 000007
【図７】
0005158409.tif 000008