(57)【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像手段と、
前記撮像手段から第１の周期で順次読み出される画像を記憶する記憶手段と、
前記記憶手段に記憶された複数の画像を合成して合成画像を生成する合成手段と、
前記記憶手段に記憶された画像又は前記合成画像を第２の周期で順次表示することにより、動画像表示を行う表示手段と、
前記撮像手段による本露光時の露光時間が前記第２の周期よりも長いと予測される場合には、前記合成画像を前記表示手段に表示させ、前記予測される本露光時の露光時間が前記第２の周期以下の場合には、前記記憶手段に記憶された画像を前記表示手段に表示させる制御手段とを備え、
前記合成手段は、前記本露光時の露光時間と前記第１の周期とにより定まる複数の画像を、撮像された時刻と現在の時刻との差が大きいほど小さくなるような重み付けを行って合成して前記合成画像を生成することを特徴とする撮像装置。
【請求項２】
前記第１の周期と前記第２の周期とが等しいことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記合成手段は、前記予測される本露光時の露光時間が、予め設定された時間よりも長い場合には、前記合成画像の更新間隔を前記第２の周期よりも長くすることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
被写体像を撮像する撮像手段と、前記撮像手段から第１の周期で順次読み出される画像を記憶する記憶手段と、表示手段と、を備える撮像装置の制御方法であって、
合成手段が、前記記憶手段に記憶された複数の画像を合成して合成画像を生成する合成工程と、
制御手段が、前記記憶手段に記憶された画像又は前記合成画像を第２の周期で順次前記表示手段に表示させることにより、前記表示手段で動画像表示を行う制御工程とを有し、
前記制御工程において、前記制御手段は、前記撮像手段による本露光時の露光時間が前記第２の周期よりも長いと予測される場合には、前記合成画像を前記表示手段に表示させ、前記予測される本露光時の露光時間が前記第２の周期以下の場合には、前記記憶手段に記憶された画像を前記表示手段に表示させ、
前記合成工程において、前記合成手段は、前記本露光時の露光時間と前記第１の周期とにより定まる複数の画像を、撮像された時刻と現在の時刻との差が大きいほど小さくなるような重み付けを行って合成して前記合成画像を生成することを特徴とする撮像装置の制御方法。
【請求項５】
前記第１の周期と前記第２の周期とが等しいことを特徴とする請求項４に記載の撮像装置の制御方法。
【請求項６】
前記合成工程において、前記合成手段は、前記予測される本露光時の露光時間が、予め設定された時間よりも長い場合には、前記合成画像の更新間隔を前記第２の周期よりも長くすることを特徴とする請求項４または５に記載の撮像装置の制御方法。
【請求項７】
請求項４乃至６のいずれか１項に記載の撮像装置の制御方法の各工程を、撮像装置が有するコンピュータに実行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像を表示部に表示させる技術に関するものである。
【背景技術】
【０００２】
図９は、従来の撮像装置のブロック図である。８０１はレンズ、８０２は絞り兼用シャッタ、８０３はレンズ８０１及び絞り兼用シャッタ８０２を駆動する駆動部、８０４は撮像素子である。８０５はタイミングジェネレータ（ＴＧ）、８０６はＣＤＳ及びＡ／Ｄ変換器（以下「ＣＤＳ＋Ａ／Ｄ変換器」という。）、８０７はＣＰＵ、８０８はＲＯＭ、８０９はＲＡＭである。８１０は撮像装置の各部を操作するための操作部、８１１は画像信号を記録する記録部、８１２は撮影された画像及び記録部８１１から読み出された画像を表示する表示部である。
【０００３】
本撮像装置は、操作部８１０からの入力に応じて、画像の撮影及び記録、記録された画像データの再生、通信による画像データの転送などを行う機能を持つ。これらの機能は、ＣＰＵ８０７がＲＯＭ８０８内に記録されたプログラムに従って動作することにより実現される。また、本撮像装置は、動作モードとしては、静止画撮影モード、動画撮影モード、再生モードの３つのモードを持つ。以下、それぞれのモードの動作について述べる。
【０００４】
静止画撮影モードでは、静止画撮影前のフレーミング動作のために、ライブ動画像表示（ライブビュー）を行う。具体的には、ＣＰＵ８０７は、ＴＧ８０５及びＣＤＳ＋Ａ／Ｄ変換器８０６を駆動するための同期信号を出力する。ＴＧ８０５は、この同期信号に従って、撮像素子８０４を駆動し、画像信号を読み出す。撮像素子８０４の駆動レートは、表示部８１２での動画表示レートに対応する駆動レート（例えば、毎秒３０フィールド）に設定されている。読み出された画像信号は、同期信号に従って、ＣＤＳ＋Ａ／Ｄ変換器８０６へ入力され、デジタル形式の画像信号に変換される。デジタル形式に変換された画像信号は、ＣＰＵ８０７により、一時的にＲＡＭ８０９上の表示画像バッファに記録される。その後、ＣＰＵ８０７の画像処理により、表示部８１２の画素数に合わせた所定の形式の画像データに変換される。この画像データは、ＣＰＵ８０７により、ＲＡＭ８０９上から表示部８１２へ送られ、撮影前のライブ動画像が表示される。
【０００５】
ライブ動画像の表示中に、操作部８１０の不図示のレリーズボタンが押されると、ＣＰＵ８０７は、ライブ動画像表示を中断し、記録用の画像を撮影し、撮影した画像信号の読み出しを行う。このとき、ライブ動画像用の駆動信号とは異なる静止画撮影用の駆動信号で、撮像素子８０４の駆動や画像信号の読み出しを行う。読み出された画像信号は、ＣＰＵ８０７により、記録用のフォーマットに変換された後、記録部８１１に記録される。ＣＰＵ８０７は、記録部８１１に記録された画像データを読み出し、画像データの形式を表示部８１２の表示に適した解像度となるように変換する。そして、ＣＰＵ８０７は、変換した画像データを表示部８１２へ送信し、画像データを表示する。画像データの表示から一定時間が経過すると、ＣＰＵ８０７は、再度ライブ動画像の動画撮影モードへ移行する。ＣＰＵ８０７は、元の動画撮影用の駆動信号を出力し、撮像素子８０４からライブ動画像の画像信号を読み出し、ＲＡＭ８０９に記録する。そして、ＣＰＵ８０７は、所定の画像処理が行われた画像データを表示部８１２へ送り、ライブ動画像を表示する。
【０００６】
次に、動画撮影モードでは、撮影前のフレーミング動作のために、ライブ動画像表示を行う。ＣＰＵ８０７は、ＴＧ８０５及びＣＤＳ＋Ａ／Ｄ変換器８０６を駆動するための同期信号を出力する。ＴＧ８０５は、この同期信号に従って、撮像素子８０４を駆動し、画像信号を読み出す。撮像素子８０４の駆動レートは、静止画撮影前のフレーミング動作時と同様に、表示部８１２の動画表示レートに対応している。読み出された画像信号は、同期信号に従って、ＣＤＳ＋Ａ／Ｄ変換器８０６へ入力され、デジタル形式の画像信号に変換される。デジタル形式に変換された画像信号は、ＣＰＵ８０７により、一時的にＲＡＭ８０９の表示画像バッファに記録される。その後、ＣＰＵ８０７での画像処理により、表示部８１２の画素数に合わせた、所定の形式の画像データに変換される。この画像データは、ＣＰＵ８０７により、ＲＡＭ８０９から表示部８１２へ送られ、撮影前のライブ動画像が表示される。
【０００７】
動画撮影モードにおいても、ライブ動画像の表示中に操作部の不図示のレリーズボタンが押されると、ＣＰＵ８０７は、画像信号の記録を開始する。撮像素子８０４から読み出された画像信号は、上述の表示画像バッファとは異なる記憶領域の変換バッファへ記録され、所定の信号処理を行う。そして、記録用の動画像データに変換され、ＲＡＭ８０９の異なる記憶領域の動画像バッファへ記録される。動画像バッファに一時的に記録された画像データは、所定のタイミングで記録部８１１へ送られ、記録部８１１上の記録媒体に記録されて、該当するバッファの記憶領域が開放される。また、変換バッファ上の画像データは、ＣＰＵ８０７により、表示用の所定の変換処理が行われた後、表示画像バッファに記録される。そして、ＲＡＭ８０９上から表示部８１２へ送られ、記録中の画像データとして表示される。記録中に動画像バッファが一杯になった時点、又は、ユーザーが入力として記録終了のためのレリーズボタンを押した時点で、ＣＰＵ８０７は、撮像素子８０４の読み出しを終了せずに、動画像の記録を終了する。このとき、動画像バッファに残った動画像データは、記録部８１１へ送られ、記録媒体に記録される。その後、ＣＰＵ８０７は、再度フレーミングをするために、ライブ動画像の表示処理に移行し、ライブ動画像を表示する。
【０００８】
再生モードでは、操作部８１０から画像データ再生の指示が入力されると、ＣＰＵ８０７は、記録媒体上にある画像データを読み出し、ＲＡＭ８０９に記録する。次に、ＣＰＵ８０７は、ＲＡＭ８０９上の画像データを所定の画像形式に変換した後、表示画像バッファへ記録する。表示画像バッファ上の画像データは、ＣＰＵ８０７により表示部８１２へ送られ、画像データが表示される。次の画像データの表示指示が、操作部８１０から入力されると、ＣＰＵ８０７は、記録媒体上の次の画像データを記録部８１１から読み出す。そして、ＲＡＭ８０９上の前回の画像データが記録された部分とは異なる部分に記録し、再度画像形式の変換を行った画像データをデータ表示画像バッファを介して表示部８１２へ送り、表示部８１２に表示された画像データを更新する。
【特許文献１】特開平８−１７１１１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、ライブ動画像を表示部に表示する場合、本露光時の露光時間が表示部の駆動レートよりも長くなると、表示部での表示画像のぶれよりも本露光後の撮影画像でのぶれが大きくなりうる。例えば、表示部の駆動レートを１／３０秒とし、本露光時の露光時間が光量不足等により１／６秒に設定されたとする。この場合、表示部の駆動レートに対応して、ライブ動画像表示時の撮像素子の駆動レートが１／３０秒となるが、本露光時には１／６秒の駆動レートで撮像素子が駆動される。その結果、被写体の動きやカメラの動きなどにより画像のぶれが生じると、ライブ動画像表示時の表示画像よりも、本露光時の撮影画像の方がぶれが大きくなる。そのため、ユーザーは、本露光後の撮影画像を見て、実際のぶれの大きさを確認しなければならなかった。
【００１０】
本発明は、上記の問題点に鑑みてなされたものであり、本露光時の撮影画像のぶれを効果的に表示部に表示することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、撮像手段から第１の周期で順次読み出される画像を記憶する記憶手段と、記憶手段に記憶された複数の画像を合成して合成画像を生成する合成手段と、記憶手段に記憶された画像又は合成画像を第２の周期で順次表示することにより、動画像表示を行う表示手段と、撮像手段による本露光時の露光時間が第２の周期よりも長いと予測される場合には、合成画像を表示手段に表示させ、予測される本露光時の露光時間が第２の周期以下の場合には、記憶手段に記憶された画像を表示手段に表示させる制御手段とを備え、合成手段は、本露光時の露光時間と第１の周期とにより定まる複数の画像を、撮像された時刻と現在の時刻との差が大きいほど小さくなるような重み付けを行って合成して合成画像を生成することを特徴とする。
【００１２】
また、本発明に係わる撮像装置の制御方法は、被写体像を撮像する撮像手段と、撮像手段から第１の周期で順次読み出される画像を記憶する記憶手段と、表示手段と、を備える撮像装置の制御方法であって、合成手段が、記憶手段に記憶された複数の画像を合成して合成画像を生成する合成工程と、制御手段が、記憶手段に記憶された画像又は合成画像を第２の周期で順次表示手段に表示させることにより、表示手段で動画像表示を行う制御工程とを有し、制御工程において、制御手段は、撮像手段による本露光時の露光時間が第２の周期よりも長いと予測される場合には、合成画像を表示手段に表示させ、予測される本露光時の露光時間が第２の周期以下の場合には、記憶手段に記憶された画像を表示手段に表示させ、合成工程において、合成手段は、本露光時の露光時間と第１の周期とにより定まる複数の画像を、撮像された時刻と現在の時刻との差が大きいほど小さくなるような重み付けを行って合成して合成画像を生成することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、本露光時の撮影画像のぶれを効果的に表示部に表示することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
（第１の実施形態）
図１は、本発明の好適な第１の実施形態に係る撮像装置を示すブロック図である。２０１は被写体像を撮像素子２０４上に結像するためのレンズ、２０２は撮像素子２０４を遮光するための絞り兼用シャッタである。２０３は焦点距離調整のためのレンズ２０１及び絞り兼用シャッタ２０２の駆動を行う駆動部、２０５は相関二重サンプリング（ＣＤＳ）及びＡ／Ｄ変換を行う「ＣＤＳ＋Ａ／Ｄ変換器」、２０６は撮像素子２０４を駆動するためのタイミングジェネレータ（ＴＧ）である。２０７は各部を制御する制御手段としてのＣＰＵ、２０８はシステムバス、２０９は内部プログラムを格納するＲＯＭ、２１０は画像データを記憶するＲＡＭである。２１１はユーザーからの操作を入力するための操作部、２１２は画像データを表示する表示部、２１３は撮影した画像信号を記憶媒体に記録する記録部である。操作部２１１は、レリーズボタン２１１Ａを含む。レリーズボタン２１１Ａは、半押し状態で撮影準備動作を指示するスイッチＳＷ１がオンし、全押し状態で実際の撮影動作を指示するスイッチＳＷ２がオンするよう構成されている。
【００１５】
本実施形態の撮像装置は、操作部２１１の操作に応じて、静止画像の撮影及び記録、動画像の撮影及び記録、記録された画像データの再生、通信による画像データの転送などを行う機能を持つ。これらの機能は、ＲＯＭ２０９に記録されたプログラムをＣＰＵ２０７が順次実行することにより実現される。また、本実施形態に係る撮像装置では、静止画撮影モードが、通常撮影モードと手振れ表示モードの２つのモードを更に含み、ユーザーが操作部２１１の操作により選択可能となっている。
【００１６】
まず、本実施形態に係る撮像装置の静止画像撮影時の通常撮影モードにおける動作について説明する。ここでは、一例として、撮像素子２０４の画素数を２５６０×１９２０、表示用のＬＣＤの画素数を３２０×２４０とする。通常撮影モードでのライブ動画像表示時では、毎秒３０フィールドで画像が順次表示される。このため、撮像素子２０４は、全画素読み出し（２５６０×１９２０）ではなく、縦方向に間引きされた２５６０×２４０の画素数で順次読み出される。
【００１７】
ライブ動画像表示の開始時は、所定の絞り値及びＩＳＯ感度値に設定した状態で、露出時間１／３０秒で撮影が行われる。このときの光学系の制御は、ＣＰＵ２０７が駆動部２０３を制御することにより行われる。撮像素子２０４上に結像された被写体像は、撮像素子２０４での光電変換により、電気信号としての画像信号に変換され、ＴＧ２０６により第１の周期で画素単位の画像信号が読み出される。撮像素子２０４から順次読み出される画像信号は、ＣＤＳ＋Ａ／Ｄ変換器２０５により、整形されたデジタル形式の画像信号となり、横方向の１ライン分が連続した形で、次段のＣＰＵ２０７へ送られる。ＣＰＵ２０７は、送られたデジタル形式の画像信号を１ラインごとに区別して、ＲＡＭ２１０の記憶領域に記録する。ＣＰＵ２０７は、２５６０×２４０の画素で構成される１画面分の画像データが得られると、ＲＡＭ２１０上の画像データに対して現像処理を行い、表示や評価が可能な形式に変換する。変換された画像データは、再度、表示部２１２を構成するＬＣＤの画素数３２０×２４０に適合するようにフィルタ処理が行われ、リサンプリングされて解像度が変換される。解像度が変換された画像データは、ＣＰＵ２０７により第２の周期で表示部２１２のＬＣＤへ順次転送され、表示される。ＬＣＤ表示用データの作成時のフィルタは、解像度変換に伴うエイリアシングを抑えるためのものであり、元の画像データとＬＣＤ表示用データとの解像度の違いによって、周波数が設定される。本実施形態では、縦の解像度は共に２４０ラインであり、現像時に適当な周波数制限が既に行われているため、解像度変換は行わず、横方向の画素数を２５６０から３２０に変換するフィルタ処理のみを行う。この処理の流れを図２に示す。
【００１８】
図２に示すように、ＣＤＳ＋Ａ／Ｄ変換器２０５からの画像信号は、動作初期では、ＣＰＵ２０７による現像処理と同時に、輝度値の評価が行われる。この結果から、ライブ動画像表示での露光時間１／３０秒という条件下での絞り値及びＩＳＯ感度が決定され、これらのパラメータにより撮影を行う。撮影された画像は、撮影時と同等の条件の画像として、表示部２１２に表示される。
【００１９】
ユーザーによりレリーズボタン２１１Ａが操作され、スイッチＳＷ１がオンすると、撮像装置は、現状の露光時間、絞り値及びＩＳＯ感度等の撮影パラメータに基づいて、不図示のストロボの使用／不使用、露出補正有り／無し等の現在の撮影条件を加味する。そして、適正露出になると予測される絞り値のパラメータを駆動部２０３に設定する。そして、この条件下で撮影を行い、撮影された画像に対して輝度値の評価を行う。輝度値を評価した後、再度、適正となるパラメータを推定して、撮影及び評価を行い、撮影パラメータを決定する。次に、焦点距離について評価を行う。適正露出となる撮影条件において、レンズ２０１を駆動して、数点の焦点距離での撮影を行い、撮影された画像から画像内の高周波成分及び焦点距離に対する変化を検出する。これに対して主被写体を推定し、この主被写体の高周波成分が最も高くなる焦点距離を求める。そして、この焦点距離になるように、駆動部２０３がレンズ２０１の位置を制御する。以上がスイッチＳＷ１がオンされたときの処理である。この処理の終了後も、継続してスイッチＳＷ１がオンされている場合には、この状態の撮影パラメータを、再度、１／３０秒の露出時間とした場合の撮影パラメータとして設定する。そして、撮影された画像に現像処理及び表示用の処理を行い、撮影画像を表示部２１２のＬＣＤに表示する。上述の処理中にスイッチＳＷ１がオフされた場合には、上述した処理を途中で中断し、スイッチＳＷ１がオンされる前のライブ動画像の表示処理に戻る。この時点で新しい撮影パラメータが出ていれば、そのパラメータを設定した状態でライブ動画像の表示を行う。
【００２０】
スイッチＳＷ１に続いて、スイッチＳＷ２がオンされた場合の処理について述べる。スイッチＳＷ２がオンされると、スイッチＳＷ１がオンされたときの処理が終了していない場合には、残りの処理を中断して、スイッチＳＷ２での処理に移行する。スイッチＳＷ２のオンを検出した時点で、ＣＰＵ２０７は本露光動作に入る。まず、スイッチＳＷ１がオンされたときと同様に、絞り値、露光時間、ＩＳＯ感度等の撮影パラメータ及び適正なフォーカスを得るためのフォーカスレンズ位置が決定され、必要な駆動制御が駆動部２０３により行われる。以上の設定が完了すると、撮像装置は本露光動作に入る。本露光前に、ＣＰＵ２０７は、絞り兼用シャッタ２０２を閉じて、撮像素子２０４を遮光する。この間に、ＴＧ２０６による制御によって、撮像素子２０４の不要な電荷が除去される。電荷の除去が完了した後、所定のタイミングにより、ＣＰＵ２０７は、所望の絞りになるように絞りを開き、本露光を開始する。不図示のストロボを使用する場合には、本露光のタイミングと合わせて発光動作が行われるように、充電及び発光の制御をＣＰＵ２０７が行う。所望の時間、撮像素子２０４により露光が行われた後、ＣＰＵ２０７は、絞りを再び閉じて、撮像素子２０４を遮光して本露光時の画像信号の読み出しを行う。ＴＧ２０６は、撮像素子２０４の全画素読み出しに必要なフィールド数分だけ、本露光時の画像信号の読み出しを行う。読み出された画像信号は、ＣＤＳ＋Ａ／Ｄ変換器２０５により、デジタル形式の画像信号に変換され、横方向の１ライン分の画素数を１連続単位として、順次読み出される。デジタル化された画像信号は、ＣＰＵ２０７により、ＲＡＭ２１０上の記憶領域に記録される。撮像素子２０４上の全画像信号が読み出された後、ＣＰＵ２０７は、シャッタを開き、次の露光に備える。ＲＡＭ２１０上に記録された画像データは、複数のフィールドに渡って読み出された画像データを、センサでの配置順に並べ替えるように記録されている。ＣＰＵ２０７は、この画像データを順次読み出して、現像処理を行い、再度、ＲＡＭ２１０上の別の記憶領域に記録する。
【００２１】
現像処理がなされた画像データは、表示部２１２のＬＣＤ表示用データに変換される。このときの画像データは、全画素読み出し用の画像データであるため、ライブ動画像表示時とは異なり、縦横両方に対してエイリアシングを避けるためのフィルタ処理が行われる。画像データは、フィルタ処理後に、ＬＣＤ用の画素数にリサンプリングされ、ＲＡＭ２１０上の記憶領域に記録される。その後、表示部２１２に送られ、ＬＣＤにより表示される。ＬＣＤでの表示と共に、記録の動作も行われる。現像処理された画像データは、順次記録部へ送られ、記録媒体上の記憶領域に記録される。本露光動作終了後、定められた期間、撮影された画像データが表示部２１２のＬＣＤで再生され、ユーザーは、撮影画像の確認を行うことができる。所定の時間経過後、ＣＰＵ２０７は、ＬＣＤでの撮影画像の再生動作を終了し、再びライブ動画像表示のための動作を開始する。
【００２２】
次に、本実施形態の撮像装置の手振れ表示モードにおける動作について述べる。手振れ表示モードでは、そのときにユーザーが選択した条件下における、本露光時の露光時間を想定する。そして、その露光時間に対応した被写体の動きや手振れに伴う被写体のぶれをライブ動画像表示時に画像処理を行うことで、ユーザーに分かりやすく表示する。撮像素子２０４とＬＣＤの画素数は、上述したように、それぞれ２５６０×１９２０、３２０×２４０とする。また、ここでは、ライブ動画像表示という点に重点をおき、ＬＣＤの表示内容の更新は毎秒３０フィールドとする。これに伴って、撮像素子２０４についても、先の通常撮影モードと同様に、２５６０×２４０の画素数で読み出すものとする。
【００２３】
ライブ動画像表示の開始時は、通常撮影モードと同様に、所定の絞り値及びＩＳＯ感度値に設定した状態で、露出時間１／３０秒の撮影が行われる。撮像素子２０４上に結像された被写体像は、撮像素子２０４での光電変換により、電気信号としての画像信号に変換され、ＴＧ２０６により第１の周期で画素単位の画像信号が読み出される。撮像素子２０４から順次読み出される画像信号は、ＣＤＳ＋Ａ／Ｄ変換器２０５により、整形されたデジタル形式の画像信号となり、横方向の１ライン分が連続した形で、次段のＣＰＵ２０７へ送られる。ＣＰＵ２０７は、送られたデジタル形式の画像信号を１ラインごとに区別して、ＲＡＭ２１０の記憶領域に画像データを記録する。２５６０×２４０の画素で構成される１画面分の画像データが得られると、ＣＰＵ２０７は、ＲＡＭ２１０上の画像データに対して現像処理を行い、表示及び評価が可能な形式に変換する。この画像データに対して、ＣＰＵ２０７は、輝度値の評価を行い、本露光時に想定される露光時間、絞り値及びＩＳＯ感度を決定し、絞り値及びＩＳＯ感度等の各パラメータを設定する。
【００２４】
露光時間に対しては、表示部２１２での動画表示レートを境界として、以下のように処理を選択する。ここでは、表示部２１２での動画表示レート（第２の周期）を１／３０秒とする。まず、１／３０秒以下（第２の周期以下）の露光時間が予測された場合には、撮像素子２０４の電子シャッタ機能を使用して、ライブ動画像の表示時にも、露光時間が本露光時と同等の１／３０秒以下となるように撮影を行う。撮影された画像信号は、ＣＤＳ＋Ａ／Ｄ変換器２０５により、デジタル形式の画像信号に変換され、ＣＰＵ２０７により現像処理を施された後に、後段の解像度変換処理へ送られる。解像度変換部では、通常撮影モードと同様に、横方向に８画素のＬＰＦ処理を行い、その後、横方向に１／８の間引き処理を行って、ＬＣＤの表示画素数である３２０×２４０のサイズに合わせた後に表示を行う。この処理の流れを図３に示す。
【００２５】
１／３０秒より長い露光時間が予測された場合には、撮像装置では、第１の周期で現在読み出している現像後の画像データを信号処理し、擬似的に長秒露光データを作り出す。本実施形態では、上記の現像後の画像データは、第１の周期でＲＡＭ２１０の別の記憶領域に記憶され、記憶された複数の画像データを合成して、第１の周期の整数倍の長秒露光データを作り出している。このような合成処理は、ＣＰＵ２０７の合成部２１４により行われる。合成部２１４は、例えば、図４に示すように所定の遅延時間の影響を加算（合成）するフィルタ処理を用いることができる。ここでは、５段のタップからなるＦＩＲフィルタを用いているが、ＦＩＲフィルタの段数は任意に設定可能である。
【００２６】
ここで、評価結果から露光時間が１／６秒と予測されたとする。この場合、例えば、タップの５段目までの係数α１〜α５をそれぞれ１とすると、１／３０秒ごとに読み出される現像後の画像データは、同じ重み付けで加算（合成）され、擬似的に１／６秒の露光時間データが作り出される。タップの係数α１〜α５は、必ずしも１／３０秒ごとに同じ値でなくてもよい。例えば、現在の時刻と合成すべき画像が撮像された時刻との間隔が大きい程、値を小さくし、より直前の動きに重点を置いてもよい。このように、撮像された時刻が現在の時刻に近い画像のタップの係数を重くすることによって、表示直前のぶれ具合を強調して表すことができる。ＦＩＲフィルタを用いた場合、タップの段数が最長露光時間分だけ必要になる可能性があり、回路規模の増大とともに実現が難しくなりうる。そこで、例えば、タップの段数を５段に固定した場合でも、タップ間のデータ更新時間間隔を可変にすることによって、長い露光時間にも対応可能となる。例えば、図４において、５段のタップのそれぞれの更新間隔を１／３０秒から１／１０秒に変更することにより、１／２秒の露光時間に対応可能となる。フィルタ処理される画像データは、現像後の画像データであるため、輝度及び色情報ともに処理が可能である。しかしながら、回路規模の簡素化のために、例えば、輝度の画像データのみにフィルタ処理を加えるようにしてもよい。この場合でも、人間の視覚特性は色よりも輝度に敏感であるため、同様の効果を得ることができる。
【００２７】
フィルタ処理や電子シャッタによる時間的な整合性をとった後、変換された画像データは、表示部２１２のＬＣＤの画素数である３２０×２４０に適合するように処理される。このときの様子を図５に示す。処理前の画素数は２５６０×２４０であるため、単純にリサンプリング処理を行うだけでは、エイリアシングが発生して画質が低下する。そのため、リサンプリングに応じたプリフィルタ処理を行う。但し、前段の露光時間の調整による、所定の画素数に渡る被写体振れや手振れの痕跡が無くならないように、ここでのプリフィルタの係数は、ユーザーへ視覚的に表現したいぶれ量が残るような値に設定する。
【００２８】
本実施形態では、撮像素子２０４の読み出し画素は、横方向には１／８、縦方向にはリサンプリング無しの２４０ラインを表示するように構成されている。横方向に対してリサンプリングによる解像度の減少を考慮して、８画素以上のＬＰＦ処理を行うと、画像からぶれが失われないと考えられる。したがって、ＬＰＦとしては、間引き率の逆数以上の段数のものを処理すればよく、ここでは１６画素幅のＬＰＦ処理を行うことによって、表示時に２画素以上のずれを生じさせている。段数が増えると、ＬＣＤに表示する際のシャープさが低減するが、これについては、撮影後の表示画像で確認することができるため、ぶれの表示を大きくする方向でも効果的であると考えられる。このリサンプリング前後での画像の状態を図６に示す。
【００２９】
上記のようにフィルタ処理後にリサンプリングされ、解像度変換された画像データは、変換後にＣＰＵ２０７により表示部２１２のＬＣＤへ表示データとして順次転送され、表示される。
【００３０】
この状態では、スイッチＳＷ１がオンされたときの露出及び焦点距離の確認も、同様に電子シャッタやフィルタ処理を使用した状態で行ってもよい。しかしながら、フォーカス動作は高速性が求められるため、撮像素子２０４の駆動方法を変更して、高速な判定ができる方法で駆動してもよい。評価終了後に、再度、求められた本露光パラメータに基づいて、露光時間の見直しを行い、見直し後の画像を表示する。スイッチＳＷ２がオンされた後の処理については、上述した通常撮影モードと同様である。本実施形態では、水平方向のみを説明したが、垂直方向においても同様に処理することができる。
【００３１】
以上のように、本実施形態によれば、ライブ動画像表示時において、通常撮影モードと手振れ表示モードとが選択可能である。そして、手振れ表示モードでは、ユーザーは、実際の露光条件下に近い被写体のぶれや手振れ状態を確認することができ、撮影前にパラメータの見直しなどの最適な撮影条件を選択することができる。
【００３２】
（第２の実施形態）
次に、本発明の好適な第２の実施形態について説明する。第２の実施形態では、第１の実施形態の手振れ表示モードとは相違する動作を中心に述べる。撮像素子２０４の画素数と表示部２１２のＬＣＤの画素数は、第１の実施形態と同様に、それぞれ２５６０×１９２０、３２０×２４０とする。ＬＣＤ表示内容の更新は、毎秒３０フィールドとし、このときの撮像素子２０４は、２５６０×４８０の画素数で読み出しが行されるものとする。このモードにおけるデータ処理の流れ図を図７に示す。
【００３３】
ライブ動画像表示の開始時は、通常撮影モードと同様に、所定の絞り値及びＩＳＯ感度値に設定した状態で、露出時間１／３０秒の撮影が行われる。撮像素子２０４上に結像された被写体像は、撮像素子２０４での光電変換により伝記信号としての画像信号に変換され、ＴＧ２０６により第１の周期で画素単位の画像信号が読み出される。撮像素子２０４から順次読み出される画像信号は、ＣＤＳ＋Ａ／Ｄ変換器２０５により、整形されたデジタル形式の画像信号となり、横方向の１ライン分が連続した形で、次段のＣＰＵ２０７へ送られる。ＣＰＵ２０７では、送られたデジタル形式の画像信号を１ラインごとに区別して、ＲＡＭ２１０上の記憶領域に記録する。ＣＰＵ２０７は、２５６０×２４０の画素で構成される１画面分の画像データが得られると、ＲＡＭ２１０上の画像データに対して現像処理を行い、表示及び評価が可能な形式に変換する。ＣＰＵ２０７は、この画像データに対して輝度値の評価を行い、本露光時に想定される露光時間、絞り値、ＩＳＯ感度を決定し、絞り値及びＩＳＯ感度等の各パラメータを設定する。
【００３４】
露光時間に対しては、表示部２１２での動画表示レートを境界として、以下のように処理を選択する。ここでは、表示部２１２での動画表示レートを１／３０秒とする。まず、１／３０秒以下の露光時間が予測された場合には、撮像素子２０４の電子シャッタ機能を使用して、ライブ動画像の表示時にも、露光時間が本露光時と同等の１／３０秒以下となるように撮影を行う。撮影された画像信号は、ＣＤＳ＋Ａ／Ｄ変換器２０５により、デジタル形式の画像信号に変換され、ＣＰＵ２０７により現像処理が施された後に、後段の解像度変換処理へと送られる。このときのデータの流れを図７に示す。
【００３５】
１／３０秒より長い露光時間が予測された場合には、撮像装置は、第１の周期で現在読み出している現像後の画像データを信号処理し、擬似的に長秒露光データを作り出す。本実施形態でも、第１の実施形態と同様に、上記の現像後の画像データが、第１の周期でＲＡＭ２１０の別の記憶領域に記憶される。そして、合成部２１４が、第１の周期と本露光時の露出時間とから定まる数の、記憶された複数の画像を合成して合成画像を生成し、擬似的に長秒露光データを作り出す。このような合成処理としては、図８に示すように、所定の遅延時間の影響を加算（合成）するフィルタ処理を用いる。ここでは、構成要素の少ないＩＩＲフィルタを用いている。
【００３６】
ここで、評価結果から露光時間が１／６秒と判定されたとする。この場合、１／３０秒ごとの更新において、１／６秒前までの画像データの影響が残るような係数α、βを選択して、擬似的に１／６秒間の露光時間データを得ることができる。適当な係数α、βを選択することにより、現在の時刻からさかのぼる程影響を少なくし、より直前の動き方に重点を置くような画像データの演算も可能である。このような構成の場合、１／３０秒を境界とした処理の切り替えは、２つの係数α、βの切り替えとなる。
【００３７】
フィルタ処理や電子シャッタによる時間的な整合性をとった後、変換された画像データは、表示部２１２のＬＣＤの画素数である３２０×２４０に適合するように処理される。処理前の画素数は２５６０×４８０であるため、リサンプリングに応じたプリフィルタ処理を行う。ここでのプリフィルタの係数は、ユーザーへ視覚的に表現したいぶれ量が残るように、横方向に１６画素、縦方向に４画素のフィルタ処理を行った後、リサンプリング処理をして３２０×２４０の画素数の画像を生成する。ぶれをより強調するためには、このフィルタ処理におけるフィルタの幅を調整し、かつ、リサンプリング後にシャープネス等の処理を行うことによって、ぶれをより強調することができる。このようにして、フィルタ処理後にリサンプリングされ、解像度変換された画像データは、変換後にＣＰＵ２０７により表示部２１２のＬＣＤへ順次転送され、表示される。
【００３８】
以上のように、本実施形態によれば、ＩＩＲフィルタの構成を用いることによって、少ない構成要素（段数）で手振れ表示モードの機能を実現することができる。
【００３９】
（第３の実施形態）
第１、第２の実施形態では、本露光時の露光時間が表示部２１２のＬＣＤの更新時間と大きく異なる場合（例えば、ＬＣＤの更新間隔が１／３０秒であるのに対し露光時間が１秒以上である場合）、ＬＣＤ画像が頻繁に更新される。その結果、表示部２１２の表示が撮影時の感覚と異なる。
【００４０】
そこで、本実施形態では、ＣＰＵ２０７は、本露光時の露光時間が設定された時間よりも大きい場合、表示部２１２のＬＣＤの表示画像の更新時間間隔を表示部２１２の動画表示レートよりも長くなるように制御する。これによって、実際の撮影時の感覚に近いフレーミングを行うことでができる。例えば、露光時間が１秒の場合には、その露光時間の半分の１／２秒で表示部２１２のＬＣＤの表示画像を更新する。
【００４１】
本実施形態に係る撮像装置の構成は、概略的には第１、第２の実施形態と同じであるが、最終出力段である表示部２１２での画像の更新タイミングを、予想される露光時間の所定の割合の時間とする構成が相違する。また、これに応じて、入力側の撮像素子２０４の露光時間及び読み出し画素数を変えることによって、より高画質なライブ動画像を生成してもよい。
【００４２】
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読み取り可能な記憶媒体を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４３】
以上のように、本実施形態によれば、ＬＣＤ画像を頻繁に更新する場合において、実際の撮影に近い感覚でフレーミングを行うことでができる。
【図面の簡単な説明】
【００４４】
【図１】本発明の好適な第１の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】本発明の好適な第１の実施形態に係る画像処理を示す図である。
【図３】本発明の好適な第１の実施形態に係る通常撮影モードにおける画像処理の流れを示す図である。
【図４】本発明の好適な第１の実施形態に係る画像処理の流れを示す図である。
【図５】本発明の好適な第１の実施形態に係る画像処理における入出力の図を示す図である。
【図６】本発明の好適な第１の実施形態に係る露光画像の合成処理を示す図である。
【図７】本発明の好適な第２の実施形態に係る画像処理において１／３０秒以下の露光時間での流れを示す図である。
【図８】本発明の好適な第２の実施形態に係る画像処理において１／３０秒より長い露光時間での画像処理の流れを示す図である。
【図９】従来の撮像装置の構成を示すブロック図である。
【符号の説明】
【００４５】
２０４  撮像素子
２０７  ＣＰＵ
２１２  表示部
【図１】
0004956341.tif 000002
【図２】
0004956341.tif 000003
【図３】
0004956341.tif 000004
【図４】
0004956341.tif 000005
【図５】
0004956341.tif 000006
【図６】
0004956341.tif 000007
【図７】
0004956341.tif 000008
【図８】
0004956341.tif 000009
【図９】
0004956341.tif 000010