(57)【要約】【課題】手ぶれが生じた場合であっても、ぶれが少なく、かつ滑らかな動画像を取得できるようにすること。【解決手段】撮像素子１１は画像取得時のフレームレートを変更可能なように構成され、手ぶれセンサ１６は、物理的な振動を検知することにより、そのぶれ量を検出するように構成される。そして手ぶれセンサ１６からのぶれ量が所定値を超えた場合に、撮像素子１１において画像取得を行う際のフレームレートを、通常フレームレートよりも高い値に設定し、高速フレームレートで画像取得が行われるように制御する。そして、そのようして得られる複数フレームの画像を合成するように構成される。【選択図】図１
2006033123.tif 000002
【特許請求の範囲】
【請求項１】
画像取得時のフレームレートを変更可能な撮像手段と、
物理的な振動を検知することにより、ぶれ量を検出するぶれ検出手段と、
前記ぶれ検出手段からのぶれ量が所定値を超えた場合に、前記フレームレートを通常フレームレートよりも高い値に設定する制御手段と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記通常フレームレートは、３０ｆｐｓ以上の値であることを特徴とする撮像装置。
【請求項３】
請求項１又は２に記載の撮像装置において、
前記撮像手段で取得される連続的な複数フレームの画像を、前記ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、１フレーム分の出力画像を生成する合成手段を、さらに備えることを特徴とする撮像装置。
【請求項４】
請求項３に記載の撮像装置において、
前記合成手段は、前記制御手段によって前記フレームレートが前記通常フレームレートよりも高い値に設定された場合に機能することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置において、
前記合成手段は、前記合成を行うことによって、前記出力画像を前記通常フレームレートの画像として出力することを特徴とする撮像装置。
【請求項６】
請求項３乃至５のいずれかに記載の撮像装置において、
前記合成手段で生成される前記出力画像を記録する記録手段をさらに備える撮像装置。
【請求項７】
請求項３乃至６のいずれかに記載の撮像装置において、
前記合成手段で生成される前記出力画像を表示する表示手段をさらに備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置は、静止画だけでなく、動画像も記録できるようになっている。そして動画撮影時の手ぶれ対策として、手ぶれ補正機能を備えた撮像装置が多くなってきている。
【０００３】
この種の撮像装置のひとつとして、例えば、動画像を構成する個々のフレーム画像を撮影する間に生じたぶれ量に基づいて、そのフレーム間の手ぶれを補正するものが知られている。
【０００４】
ところが、そのような手ぶれ補正を行うだけでは、フレーム間で発生する手ぶれは解消できても、フレーム内で発生する手ぶれを解消することはできず、その動画像には手ぶれによる暈けたフレーム画像が含まれることとなっていた。
【０００５】
また、上記とは異なる手ぶれ補正を行う撮像装置として、例えば、静止画として取り込まれた複数の画像の中からぶれの少ない画像を選択して記録することにより、ぶれの目立たない画像を記録できるようにした撮像装置が知られている（特許文献１）。
【０００６】
しかしながら、複数の画像の中からぶれの少ない画像を選択して出力する場合、動画像を構成するフレーム間隔が一定間隔でなくなり、滑らかな画像の繋がりが実現できなくなるという問題が発生する。そのため、記録された動画像を再生すると、被写体の動きが滑らかでなく、違和感のある動画像となっている。
【０００７】
【特許文献１】特開平９−１１６８５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、上記課題を解決するためになされたものであり、手ぶれが生じた場合であっても、ぶれが少なく、かつ滑らかな動画像を取得することのできる撮像装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
本発明にかかる撮像装置は、画像取得時のフレームレートを変更可能な撮像手段と、物理的な振動を検知することにより、ぶれ量を検出するぶれ検出手段と、前記ぶれ検出手段からのぶれ量が所定値を超えた場合に、前記フレームレートを通常フレームレートよりも高い値に設定する制御手段と、を備えて構成される。
【００１０】
上記の撮像装置においては、前記通常フレームレートが、３０ｆｐｓ以上の値であることが好ましい。
【００１１】
また、上記の撮像装置は、前記撮像手段で取得される連続的な複数フレームの画像を、前記ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、１フレーム分の出力画像を生成する合成手段を、さらに備えて構成されることが好ましい。
【００１２】
またその場合において、前記制御手段によって前記フレームレートが前記通常フレームレートよりも高い値に設定された場合に、前記合成手段が機能するように構成されることが好ましい。
【００１３】
さらにその場合においては、前記合成手段が、前記合成を行うことによって、前記出力画像を前記通常フレームレートの画像として出力するように構成されることが好ましい。
【００１４】
また、上記のような撮像装置においては、前記合成手段で生成される前記出力画像を記録する記録手段をさらに備えることが好ましい。また、前記合成手段で生成される前記出力画像を表示する表示手段をさらに備えることが好ましい。
【発明の効果】
【００１５】
本発明によれば、ぶれ検出手段からのぶれ量が所定値を超えた場合に、画像取得時のフレームレートを通常フレームレートよりも高い値に設定するので、ぶれが生じた場合であっても、高いフレームレートで取得される個々の画像はぶれの少ないものとなり、ぶれの影響を抑制した高品質な画像が得られる。
【００１６】
またその場合、通常フレームレートを３０ｆｐｓ以上の値とすることにより、視覚的に違和感のない動画像を得ることができる。
【００１７】
また、撮像手段で取得される連続的な複数フレームの画像を、ぶれ検出手段によって検出されるぶれ量に基づいて合成することにより、１フレーム分の出力画像を生成することにより、高品位な動画像が得られる。特に、動画を再生したとき、動画再生を一時停止したとき、動画をスロー再生したときのいずれにおいても高品位な画像が得られることになる。
【００１８】
また、フレームレートが通常フレームレートよりも高い値に設定された場合に、合成処理が行われるように構成することにより、通常フレームレート設定時には消費電力を低減することができるとともに、高いフレームレートが設定された時でも通常フレームレート時と同程度に明るい画像を得ることができるようになる。
【００１９】
また、合成処理を行うことによって得られる出力画像を、通常フレームレートの画像として出力することにより、フレーム間隔がほぼ一定間隔となった動画像を得ることができ、画像の繋がりが滑らかになって動画像の品質が向上する。
【００２０】
また、合成処理によって生成される出力画像を記録する記録手段をさらに備えることにより、高品質な動画像を記録できるようになる。
【００２１】
さらに、合成処理によって生成される出力画像を表示する表示手段をさらに備えることにより、高品質な動画像を視認できるようになる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。
【００２３】
図１は、本実施形態にかかる撮像装置１の内部構成を示すブロック図である。この撮像装置１は、例えば静止画および動画を撮影することの可能なデジタルカメラとして構成される。撮像装置１は、撮影レンズ１０、撮像素子１１、Ａ／Ｄ変換器１２、画像処理回路１３、画像メモリ１４、タイミングジェネレータ（ＴＧ）１５、手ぶれセンサ１６、メモリ（ＲＡＭ）１７、液晶ディスプレイ（ＬＣＤ）１８、電子ビューファインダ（ＥＶＦ）１９、操作部２０及び演算処理ユニット（ＣＰＵ）３０を備えて構成される。
【００２４】
撮影レンズ１０は、光軸Ｌに沿って入射する被写体からの光を撮像素子１１の受光面に結像させる光学系であり、図示しない絞りやフォーカスレンズなどを含んで構成される。撮像素子１１は、光軸Ｌに垂直な受光面に多くの画素が二次元配列された光電変換素子であり、例えば露光動作によって各画素に蓄積された電荷を、高速転送出力可能なＣＭＯＳセンサなどによって構成される。撮像素子１１から出力される画像信号はＡ／Ｄ変換器１２へと出力される。Ａ／Ｄ変換器１２は、画像信号を画素毎に例えば１２ビットのデジタル信号に変換し画像処理回路１３へと出力する。画像処理回路１３は、画像信号に対し、黒レベル補正、ホワイトバランス調整、γ補正といった各種画像処理を施して画像メモリ１４に出力するものである。画像メモリ１４は、複数フレーム分の画像信号を格納することができるだけの記憶容量を有する記憶手段であり、例えばＳＤＲＡＭなどによって構成される。特に本実施形態では少なくとも３フレーム分の画像信号を記憶する記憶容量を有している。
【００２５】
タイミングジェネレータ（ＴＧ）１５は、撮像素子１１に対してタイミング信号を送出することにより、露光の開始及び終了、ならびに電荷転送を指示する制御回路である。タイミングジェネレータ１５は、演算処理ユニット３０からの指令によってタイミング信号の送出周期を変化させるように構成されており、その周期を変動させることによって撮像素子１１で取得される画像のフレームレートを変化させる。
【００２６】
手ぶれセンサ１６は、ジャイロセンサなどによって構成され、手ぶれ補正機能がオン設定されているときには、常に撮像装置１の物理的な振動を検知して、そのぶれ量を検出するように構成されている。ここで検出されたぶれ量は、メモリ（ＲＡＭ）１７に出力される。
【００２７】
メモリ（ＲＡＭ）１７は、半導体メモリなどによって構成される一時的な記憶手段であり、演算処理ユニット３０が各種演算処理やデータ処理を行う際の一時的な作業メモリとして使用されるとともに、手ぶれセンサ１６によって検出されるぶれ量を記憶する記憶領域１７ａを有している。
【００２８】
操作部２０は、ユーザが撮像装置１に対して各種設定や指示を与えるための操作入力手段であり、撮影指示を与えるためのシャッタボタン２１や、手ぶれ補正機能をオンオフ切り替えするための手ぶれ補正オン・オフスイッチ２２などを含むものである。操作部２０に対するユーザの操作状態は、演算処理ユニット２０に伝達されるようになっており、演算処理部２０がユーザ操作に応答した処理を行うようになっている。
【００２９】
メモリカード９は、撮像装置１に着脱自在に設けられた記録媒体であり、撮影動作によって取得される静止画及び動画を記録するものである。
【００３０】
液晶ディスプレイ（ＬＣＤ）１８及び電子ビューファインダ（ＥＶＦ）１９は、ユーザに対して画像を表示するための表示手段であり、例えば撮像素子１１によって取得される動画像をリアルタイムで表示したり、メモリカード９に記録された画像の再生表示を行うように構成される。
【００３１】
演算処理ユニット（ＣＰＵ）３０は、所定のプログラムを実行することによって撮像装置１の各部を統括的に制御するものである。例えば、撮像装置１において、動画像撮影を行う動作モードが設定され、さらに手ぶれ補正機能がオン設定された場合、演算処理ユニット２０は、図１に示されるように、撮影制御部３１、ぶれ判定部３２、画像合成部３３、画像表示部３４及び画像記録部３５として機能する。ただし、これらの各機能部は必ずしもソフトウェア的に実現されるものでなくてもよく、専用のハードウェアとして構成されるものであっても構わない。
【００３２】
撮影制御部３１は、シャッタボタン２１の押下操作に応答して、タイミングジェネレータ１５に対し、フレームレートを指定した撮影指示を与える。また撮影制御部３１は、露出制御（ＡＥ）やホワイトバランス制御（ＷＢ）を行うとともに、画像処理回路１３における処理内容を調整する。
【００３３】
ぶれ判定部３２は、メモリ１７における所定記憶領域１７ａに格納されるぶれ量を、所定のタイミングごとに繰り返し取得し、撮像装置１に手ぶれが発生したか否かを判定する。ぶれ判定部３２には、メモリ１７から取得するぶれ量と比較するための基準値が予め設定されており、ぶれ量がその基準値以上となった場合に、手ぶれが発生したものと認識する。そして手ぶれが発生したと認識した場合、ぶれ判定部３２は、撮影制御部３１及び画像合成部３３に対してその旨を伝達する。
【００３４】
撮影制御部３１は、手ぶれが発生していないときには、タイミングジェネレータ１５に対して通常フレームレートで撮影動作を行うように指示を与えるのに対し、ぶれ判定部３２によって手ぶれが発生したことが検知されたときには、通常フレームレートよりも高いフレームレートで撮影動作を行うように指示を与える。本実施形態においては、一例として、通常フレームレートが９０ｆｐｓに設定され、手ぶれが発生した場合の高速フレームレートがその３倍の２７０ｆｐｓに設定される場合を説明する。
【００３５】
既述のように、タイミングジェネレータ１５は撮影制御部３１からの指令に応じてタイミング信号の周期を変動させるので、撮像装置１１は、手ぶれが発生していないときには、通常フレームレートの９０ｆｐｓで撮影動作を行い、手ぶれが発生したときには、高速フレームレートの２７０ｆｐｓで撮影動作を行うようになる。
【００３６】
画像合成部３３は、メモリ１７に格納されるぶれ量を取得し、そのぶれ量に基づいた合成処理を行うように構成される。そして画像処理部３３は、撮像装置１１が通常フレームレートで撮影動作を行っている場合と、高速フレームレートで撮影動作を行っている場合とで異なる合成処理を行うようになっている。
【００３７】
例えば、撮像装置１１が通常フレームレートで撮影動作を行っている場合には、動画像を構成するフレーム画像間でのぶれを解消するために、画像合成部３３は、前回の画像が取得された時点から今回の画像が取得された時点の間に生じたぶれ量に基づいて、前回の画像に対し、今回の画像を位置合わせする処理を行う。そしてぶれ量に基づいて位置調整された画像が出力されることになる。若しくは、特別な処理を行わずに出力するようにしてもよい。
【００３８】
一方、ぶれ判定部３２が手ぶれの発生を検出し、撮像装置１１が高速フレームレートで撮影動作を行う場合には、画像合成部３３は、高速フレームレートで取得される、連続する複数フレームの画像を画像メモリ１４から読み出し、それら複数の画像を合成することによって１フレーム分の画像を生成して出力するように構成される。そして複数の画像を１つに合成するときには、その１フレーム内でのぶれを解消するために、各画像の取得時点のぶれ量に基づいて、各画像を位置合わせするように構成される。
【００３９】
本実施形態においては、手ぶれが発生したとき、画像合成部３３は、画像メモリ１４から高速フレームレートで取得された連続する３フレームの画像を取得して合成処理を行うように構成される。これによって、３フレームの画像から１フレームの画像が生成されることになり、画像合成部３３から出力される画像は、手ぶれの発生の有無にかかわらず、常に通常フレームレート（９０ｆｐｓ）の画像となる。
【００４０】
また画像合成部３３は、撮像装置１１が高速フレームレートで撮影動作を行う場合にも、通常フレームレート時と同様に、動画像を構成するフレーム画像間でのぶれを解消するために、前回の出力画像が取得された時点から今回の出力画像が取得された時点の間に生じたぶれ量に基づいて、前回の出力画像に対し、今回の出力画像を位置合わせする処理を行うように構成される。
【００４１】
そして画像合成部３３から出力される画像は、画像表示部３４又は画像記録部３５に与えられる。画像をＬＣＤ１８やＥＶＦ１９に表示する際には、画像合成部３３から通常フレームレートの画像が画像表示部３４に与えられる。また、画像をメモリカード９に記録する際には、画像合成部３３から通常フレームレートの画像が画像記録部３５に与えられる。
【００４２】
画像表示部３４は、画像合成部３３から入力する画像を、ＬＣＤ１８又はＥＶＦ１９に適した画像サイズに変換し、９０ｆｐｓで順次に更新される動画像として、ＬＣＤ１８又はＥＶＦ１９に出力する。例えば、ＬＣＤ１８又はＥＶＦ１９の表示用画素配列が横６４０×縦４８０である場合には、画像表示部３４において６４０×４８０の画素数を有する画像が生成される。
【００４３】
画像記録部３５は、画像合成部３３から９０ｆｐｓで順次に更新される画像を入力すると、必要な圧縮処理を行って例えばモーションＪＰＥＧなどの動画像ファイルを生成し、メモリカード９に記録保存する。
【００４４】
以上のように本実施形態の撮像装置１は、手ぶれセンサ１６によって撮像装置１のぶれ量が検出され、そのぶれ量が大きいときには通常フレームレートよりも高速のフレームレートで被写体を撮影し、連続的に取得される複数フレームの画像を合成して１フレーム分の画像を出力するように構成されている。
【００４５】
図２は、撮像装置１の概念的動作を示すタイミングチャートである。ぶれ判定部３２が一定周期Ｔごとの時刻Ｔ１，Ｔ２，Ｔ３，Ｔ４，Ｔ５のタイミングでぶれ判定を行う場合、手ぶれセンサ１６によって検出されるぶれ量１００が、図２に示すように変化しているとすると、時刻Ｔ１及びＴ２においてぶれ量１００が所定の基準値Ｖを超えた値を示しているので、ぶれ判定部３２は時刻Ｔ１及びＴ２に手ぶれが発生したと判定する。
【００４６】
したがって、撮像素子１１に設定されるフレームレートは、時刻Ｔ１までは通常フレームレートの９０ｆｐｓとなり、時刻Ｔ１〜Ｔ２と時刻Ｔ２〜Ｔ３との時間帯は高速フレームレートの２７０ｆｐｓとなる。そして時刻Ｔ３以後は、通常フレームレートの９０ｆｐｓに戻っている。
【００４７】
この場合、撮像素子１１による露光動作は、図２の斜線地で示された期間中に行われる。時刻Ｔ１までは一定周期Ｔの間に１フレーム分の露光が行われ、その露光期間はＤ１となっている。ところが、高速フレームレートに切り替えが行われた時刻Ｔ１〜Ｔ２では、一定周期Ｔの間に３フレーム分の露光が行われ、個々の露光期間はＤ２となっている。この露光期間Ｄ２は、通常フレームレートでの露光期間Ｄ１の３分の１程度になる。また時刻Ｔ２〜Ｔ３でも同様に、一定周期Ｔの間に３フレーム分の露光が行われ、個々の露光期間はＤ２となっている。そして時刻Ｔ３以後は、一定周期Ｔの間に１フレーム分の露光を行う通常状態に戻り、その露光期間はＤ１となる。
【００４８】
一般に、ぶれが大きいときに、１フレームの画像を撮影するための露光期間を長く設定すると、ぶれによる被写体の移動が累積的に蓄積されることになり、露光によって得られる画像の画質が劣化する。
【００４９】
これに対し、本実施形態では、ぶれが大きいときに、高速フレームレートを適用して個々の露光時間を短くするので、１フレームの画像に蓄積されるぶれ量が少なくなるように構成されている。
【００５０】
また、本実施形態では、高速フレームレートを適用して取得された３フレーム分の画像を合成して１フレーム分の画像とすることにより、全体的な露光時間をみれば通常フレームレートと同程度の露光時間となり、画像の明るさを通常フレームレートで取得した場合と同程度の明るさにすることができる。
【００５１】
また、画像合成時には、３フレームの各画像を取得した時点でのぶれ量に基づいて、各画像の合成位置を調整して合成するように構成されるので、各画像の露光開始時点の間に生じたぶれを、位置合わせによって解消することができるようになっている。よって、その合成画像は、暈けた画像にはならず、そのフレーム内で発生した手ぶれの影響が良好に解消されることになる。
【００５２】
図３は、高速フレームレート時における合成処理の概念を示す図である。例えば、撮像素子１１が高速フレームレートに切り替えられ、一定周期Ｔの間に、３フレームの画像Ｇ１，Ｇ２，Ｇ３が連続的に取得されるとする。この場合、画像合成部３３は、画像Ｇ１が取得された時点から画像Ｇ２が取得された時点の間のぶれ量に基づいて、画像Ｇ２を画像Ｇ１に対して位置合わせするべく、画像Ｇ２をＸＹ平面内でぶれ量に基づいて平行移動させる。そして画像Ｇ１に写っている被写体と画像Ｇ２に写っている被写体とが一致する状態で、画像Ｇ２の位置を決定する。さらに、画像合成部３３は、画像Ｇ２（若しくは画像Ｇ１）が取得された時点から画像Ｇ３が取得された時点の間のぶれ量に基づいて、画像Ｇ３を画像Ｇ２（若しくは画像Ｇ１）に対して位置合わせするべく、画像Ｇ３をＸＹ平面内でぶれ量に基づいて平行移動させる。そして画像Ｇ２（若しくは画像Ｇ１）に写っている被写体と画像Ｇ３に写っている被写体とが一致する状態で、画像Ｇ３の位置を決定する。
【００５３】
そして各画像Ｇ１，Ｇ２，Ｇ３の合成位置を決定すると、画像合成部３３は、各画像Ｇ１，Ｇ２，Ｇ３の対応する画素どうしで画素データの加算処理を行い、１フレーム分の画像を生成する。このような合成処理を行うことにより、３フレームの画像から１フレーム分の合成画像Ｇ４が生成される。
【００５４】
図３に示される合成画像Ｇ４は、各画像Ｇ１，Ｇ２，Ｇ３をぶれ量に基づいて相対的に移動させることによって合成された画像であるので、画像の周縁部分Ｒ２では３フレーム分の全ての画像が重ならない部分が発生する。そのため本実施形態においては、画像合成部３３が３フレームの画像Ｇ１，Ｇ２，Ｇ３の合成処理を行って出力画像を生成する際、画像の重ならない周縁部分Ｒ２（図３における画像Ｇ４の斜線領域）を削除して、表示又は記録のための出力画像の画角を小さくする処理を行う。これにより、撮影画像に比して画角の小さな出力画像Ｇ５が得られることになり、画像が重ならない部分の画質劣化が目立たないようになる。
【００５５】
合成対象となる３フレームの画像Ｇ１，Ｇ２，Ｇ３のそれぞれが、例えば６４０×４８０の画素数で構成される場合、画像合成部３３から出力される画像Ｇ５は、５６０×４２０程度の画素数からなる、画角の小さな画像として表示又は記録される。
【００５６】
そして、上記のようにして生成される画像Ｇ５が、表示又は記録すべき動画像を構成する１フレームの画像となる。
【００５７】
次に、撮像装置１により、手ぶれ補正を行いつつ動画撮影を行う場合の動作について説明する。図４及び図５は、撮像装置１において手ぶれ補正機能がオン設定されている場合の動画撮影時の処理シーケンスを示すフローチャートであり、主に演算処理ユニット（ＣＰＵ）２０によって実行される処理シーケンスを示している。
【００５８】
例えば、撮像装置１が動画撮影モードにある場合、ユーザがシャッタボタン２１を押下操作すると、動画撮影が開始される。動画撮影が開始すると、手ぶれセンサ１６はぶれ量検知を開始する。また、動画撮影開始時には、撮像素子１１のフレームレートが通常フレームレートにデフォルト設定される。
【００５９】
また、初期設定として、画像表示又は記録のための画像の画角が小さめに設定され、画像合成処理が行われるときには、それに伴って画角調整処理が行われるように設定する（ステップＳ０９）。
【００６０】
そしてぶれ判定部３２がメモリ１７からぶれ量を読み出し（ステップＳ１０）、読み出したぶれ量が所定値（基準値Ｖ）以上であるか否かを判断する（ステップＳ１１）。ここで、ぶれ量が所定値以上である場合にはステップＳ１２に進み、所定値未満である場合にはステップＳ１４に進む。
【００６１】
ステップＳ１２に進むと、ぶれ判定部３２は手ぶれが発生したと認識するので、撮像素子１１のフレームレートとして高速フレームレート（２７０ｆｐｓ）が設定される。これにより、撮像素子１１は高速フレームレートでの撮影処理（露光処理・画像信号出力処理）を開始し、画像メモリ１４には高速フレームレートで取得される画像が順次蓄積されていく。そして画像合成部３３は画像メモリ１４から３フレーム分の連続的な画像を読み出して（ステップＳ１３）、画像合成処理（ステップＳ１６）に進むことになる。
【００６２】
一方、ステップＳ１４に進むと、手ぶれは発生していないことになるので、撮像素子１１のフレームレートとして通常フレームレート（９０ｆｐｓ）が設定される。これにより、撮像素子１１は通常フレームレートでの撮影処理（露光処理・画像信号出力処理）を開始し、画像メモリ１４には通常フレームレートで取得される画像が順次格納されていく。そして画像合成部３３は画像メモリ１４から１フレーム分の画像を読み出して（ステップＳ１５）、画像合成処理（ステップＳ１６）に進むことになる。
【００６３】
ステップＳ１６における画像合成処理の詳細を、図５のフローチャートに示す。画像合成処理（ステップＳ１６）に進むと、画像合成部３３は、撮像素子１１の現在のフレームレート設定に適合させた処理を行う（ステップＳ２０）。すなわち、撮像素子１１が高速フレームレートで撮影動作を行っている場合にはステップＳ２１に進み、通常フレームレートで撮影動作を行っている場合にはステップＳ２３に進む。
【００６４】
高速フレームレートの場合、画像合成部３３は、ステップＳ１３において取得した３フレーム分の画像をぶれ量に基づいて位置合わせし、画素毎に加算処理を行って１フレーム分の合成画像（図３の画像Ｇ４）を生成する（ステップＳ２１）。そしてステップＳ２２に進み、合成処理によって生成された画像を、前回の画像に対して、ぶれ量に基づいて位置合わせする処理を実行する。
【００６５】
つまり、ステップＳ２１の合成処理では、３フレーム分の画像を取得する際に生じた手ぶれの影響を解消した画像であって、動画像を構成する１フレーム分の画像が生成される。これに対し、ステップＳ２２の合成処理では、動画像を構成する前のフレーム画像との間で生じたぶれの影響を解消するための位置合わせ処理が行われる。
【００６６】
一方、通常フレームレートの場合には、ステップＳ１５において取得された画像が、そのまま動画像を構成する１フレーム分の画像として利用される。そしてその画像を、前回の画像に対して、ぶれ量に基づいて位置合わせする処理が行われる（ステップＳ２３）。ステップＳ２３の処理は、高速フレームレートの場合のステップＳ２２の処理と同様であり、動画像を構成する前のフレーム画像との間で生じたぶれの影響を解消するための位置合わせである。
【００６７】
そしてステップＳ２４に進み、位置合わせによって画像が重ならない部分（図３の画像Ｇ４における斜線領域）が生ずることによる画質劣化を防止するために、画角調整処理が行われる。ここでは、ステップＳ０９において予め設定された画角の画像を生成する処理が行われ、合成処理による合成画像Ｇ４（図３参照）の周縁部が削除され、画角が小さめの出力画像Ｇ５が生成される。
【００６８】
次に図４のフローチャートに戻って、ステップＳ１７に進む。そして画像合成部３３から、動画像を構成する１フレーム分の画像が画像表示部３４に与えられ、ＬＣＤ１８又はＥＶＦ１９に表示される。また画像合成部３３からの１フレーム分の画像は画像記録部３５に与えられ、メモリカード９に記録される動画像ファイルの更新が行われる。
【００６９】
そして撮影処理を終了させるか否かが判断され（ステップＳ１８）、例えばシャッタボタン２１の押下操作が再度なされたりせず、未だ終了しない場合にはステップＳ１０以降の処理を繰り返す。逆に、シャッタボタン２１の押下状態が解除されている場合には、撮影処理を終了させる。
【００７０】
以上のように、本実施形態の撮像装置１は、撮像素子１１が画像取得時のフレームレートを変更可能なように構成されており、手ぶれセンサ１６の検知するぶれ量が所定値を超えた場合に、撮像素子１１のフレームレートを通常フレームレートよりも高いフレームレートに設定変更する。そのため、手ぶれが生じた場合であっても、高速フレームレートで取得される個々の画像はぶれの少ないものとなり、手ぶれの影響を抑制することができるようになっている。
【００７１】
また撮像装置１は、高速フレームレート設定時に、撮像素子１１で取得される連続的な複数フレームの画像を、手ぶれセンサ１６によって検出されるぶれ量に基づいて合成し、１フレーム分の出力画像を生成するように構成されている。これにより、ぶれの少ない複数の画像が、ぶれを目立たせないようにして互いに合成されることになるので、高品位な画像が得られることになる。そして、その合成画像を、動画像を構成する１つのフレーム画像とすることにより、ぶれの目立たない良好な動画像が得られることになる。また、該フレーム画像の明るさについても、他のフレーム画像と同程度に明るい画像となる。
【００７２】
そして、上記のような合成を行うことによって生成される画像を、通常フレームレートの画像として出力することにより、動画像を構成するフレーム間隔をほぼ一定の間隔とすることができるので、滑らかな動画像を生成することができるようになっている。
【００７３】
したがって、本実施形態の撮像装置１によれば、動画像のフレーム間に発生する手ぶれだけでなく、フレーム内に発生する手ぶれを要因とする画質劣化を防ぐことができ、動画像を視認したときの画質が向上する。特に、動画像全体としての画質だけでなく、動画を一時停止させたときの静止画としての画質や、スロー再生時の画質なども向上することになる。
【００７４】
また、本実施形態の撮像装置１によれば、常に高速フレームレートで動画撮影を行うわけではなく、手ぶれが発生していないときには通常フレームレートで撮影が行われるので、手ぶれの発生していないときには消費電力を低減するようになっている。それ故、本実施形態の撮像装置１は、動画像の画質を向上させるとともに、消費電力の増加を抑制する効果を発揮するのである。
【００７５】
以上、本発明の実施の形態について説明したが、本発明は上述したものに限定されるものではなく、種々の変形例を適用し得るものである。
【００７６】
例えば、上述した撮像装置１では、通常フレームレートとして９０ｆｐｓが設定され、高速フレームレートとして２７０ｆｐｓが設定される場合を例示した。しかしながら、一般的には、フレームレートが３０ｆｐｓ以上であれば、動画像として視覚的に違和感のない画像が得られる。そのため、撮像素子１１の通常フレームレートは３０ｆｐｓ以上の任意の値を採用すればよい。また、高速フレームレートは、３０ｆｐｓ以上の任意の値として設定される通常フレームレートよりも高い値であれば、どのような値であっても構わない。
【００７７】
特に、上記実施の形態では、高速フレームレートが通常フレームレートの３倍に設定される場合を例示したが、それに限定されるものではない。高速フレームレートが通常フレームレートの２倍に設定されてもよいし、４倍以上の値に設定されても構わない。
【００７８】
また、上記実施の形態では、撮像素子１１、Ａ／Ｄ変換器１２及びタイミングジェネレータ１５がそれぞれ別体として構成される場合を例示したが、撮像素子１１をＣＭＯＳセンサとして形成する場合にはそれらを一体的に形成するようにしてもよい。
【００７９】
また、撮影レンズ１０が焦点距離（撮影倍率）を変化させるズームレンズである場合には、撮影レンズ１０の焦点距離（撮影倍率）に応じて、ぶれ判定を行う際の所定値（基準値Ｖ）を変更するように構成することが好ましい。そうすることにより、撮影条件に応じて常に適切なぶれ判定を行うことができるようになる。
【００８０】
また、上記実施の形態では、合成画像の周縁部分Ｒ２を削除することにより、記録又は表示される画像の画角を小さめにする場合を例示したが、それに限定されるものではなく、例えば合成画像の周縁部分Ｒ２を黒く塗りつぶすような処理を行ってもよい。
【００８１】
また、上記実施の形態では、画像メモリ１４とメモリ１７とが別の構成として形成される場合を例示したが、これに限定されるものではなく、これらを一つのメモリで構成してもよい。
【００８２】
また、上記実施の形態では特に言及しなかったが、手ぶれセンサ１６が検出するぶれ量の大きさに応じてフレームレートの増加率を変更するようにしてもよい。すなわち、ぶれ量が大きくなるに従って、撮像素子１１のフレームレートがより高速な値に設定されることになる。この場合、図２に示される一定周期Ｔの間に取得されるフレーム数が増加することになるため、手ぶれが発生した場合の合成処理において合成対象となる画像も増加することになる。このような構成を採用した場合、どのような手ぶれが発生しても、常にそのような手ぶれが目立たない動画像を取得できるようになる。
【００８３】
また、上記実施の形態では、動画撮影モードである場合に上述した動作が行われることを例示した。しかしながら、静止画撮影モードであっても、ユーザが撮影待機状態においてフレーミングを行ったり、シャッタチャンスを把握するために、ＬＣＤ１８又はＥＶＦ１９に被写体のリアルタイムな画像（いわゆるライブビュー画像）を表示する必要がある。そのため、静止画撮影モードであっても、被写体のリアルタイム画像をＬＣＤ１８又はＥＶＦ１９に表示する際に、上述した動作を行うことにより、ぶれの少ない動画像表示を行うようにしてもよい。
【図面の簡単な説明】
【００８４】
【図１】撮像装置の内部構成を示すブロック図である。
【図２】撮像装置の概念的動作を示すタイミングチャートである。
【図３】高速フレームレート時における合成処理の概念を示す図である。
【図４】動画撮影時の処理シーケンスを示すフローチャートである。
【図５】画像合成処理の詳細を示すフローチャートである。
【符号の説明】
【００８５】
１  撮像装置
１１  撮像素子（撮像手段）
１６  手ぶれセンサ（ぶれ検出手段）
３０  演算処理ユニット
３１  撮影制御部（制御手段）
３２  ぶれ判定部
３３  画像合成部（合成手段）
３４  画像表示部（表示手段）
３５  画像記録部（記録手段）
【図１】
2006033123.tif 000003
【図２】
2006033123.tif 000004
【図３】
2006033123.tif 000005
【図４】
2006033123.tif 000006
【図５】
2006033123.tif 000007