(57)【要約】【課題】  撮影画像の低ノイズ化及び高画質化を達成することのできる撮像装置を提供することを目的とする。【解決手段】  撮影条件設定部１２０は、撮影の条件を定める撮影パラメータを設定する。連写判定部１２１は、撮影条件設定部１２０により設定された撮影パラメータをもとに、撮影画像のフレーム数を設定する。撮像制御部１１０は、撮像部５０を構成する各構成要素を制御する。これにより、連写用バッファ２０１には、連写判定部１２１にて設定されたフレーム数の撮影画像が供給されることとなる。【選択図】      図１
2007013269.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して、該被写体の像を電子的に記録する撮像装置において、
撮影の条件を定める撮影パラメータを設定する撮影パラメータ設定手段と、
撮影画像のフレーム数を、前記撮影パラメータに応じた数に設定するフレーム数設定手段と、
前記被写体を連続的に撮影することにより、前記フレーム数の撮影画像を取得する撮像手段と
を具備する撮像装置。
【請求項２】
前記撮影パラメータから露光量を算出する露光量算出手段を備え、
前記フレーム数設定手段は、前記露光量が予め設定されている第１閾値より小さい場合に、前記露光量に応じたフレーム数を設定する請求項１に記載の撮像装置。
【請求項３】
前記撮影パラメータ設定手段は、シャッタ速度を優先的に設定するためのシャッタ速優先モードを備え、
前記フレーム数設定手段は、前記シャッタ速優先モードにおいてシャッタ速度が優先的に設定された結果、絞りが開放端の状態に設定された場合に、前記フレーム数をシャッタ速度に応じた数に設定する請求項１に記載の撮像装置。
【請求項４】
前記撮影パラメータ設定手段は、絞り優先モードを備え、
前記フレーム数設定手段は、前記絞り優先モードにおいて絞りが優先的に設定された結果、シャッタ速が所定の速度より遅く設定された場合に、シャッタ速度を前記所定の速度以上に設定し直すとともに、当該設定し直した速度に応じた数に前記フレーム数を設定する請求項１に記載の撮像装置。
【請求項５】
前記撮影パラメータ設定手段は、前記撮影パラメータとして感度値を設定する感度値設定手段を備え、
前記フレーム数設定手段は、前記感度値が、予め設定されている第１規定値以上の場合に、前記感度値に応じた枚数のフレーム数を設定する請求項１に記載の撮像装置。
【請求項６】
画素混合読み出し後における撮影画像の画素数を、前記撮影パラメータに応じた数に設定する画素数設定手段と、
前記画素数設定手段により設定された画素数になるように、前記撮像手段からの画像信号に対して画素混合読み出しを行う画素混合読み出し手段と
を具備する請求項１に記載の撮像装置。
【請求項７】
前記撮影パラメータから露光量を算出する露光量算出手段を備え、
前記画素数設定手段は、前記露光量が予め設定されている第２閾値より小さい場合に、前記露光量に応じて、前記画素混合読み出し後における撮影画像の画素数を設定する請求項６に記載の撮像装置。
【請求項８】
前記撮影パラメータ設定手段は、前記撮影パラメータとして感度値を設定する感度値設定手段を備え、
前記画素数設定手段は、前記感度値が予め設定されている第２規定値以上の場合に、前記感度値に応じて、前記画素混合読み出し後における撮影画像の画素数を設定する請求項６に記載の撮像装置。
【請求項９】
前記撮像手段により取得された複数のフレーム間における前記被写体の動きを推定することによって、前記フレーム間の相対的な位置関係を補償する動き補償手段と、
前記動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段と
を更に備える請求項１乃至請求項８のいずれかの項に記載の撮像装置。
【請求項１０】
前記動き補償手段は、前記複数のフレーム間の近似度の評価関数を求め、該評価関数に基づいて前記複数のフレーム間における前記被写体の動きを補償する請求項９に記載の撮像装置。
【請求項１１】
前記動き補償手段は、前記複数のフレームから任意の１枚のフレームを基準画像として選択し、該基準画像と該基準画像以外のフレームとの近似度の評価関数を求め、該評価関数に基づいて前記複数のフレーム間における前記被写体の動きを補償する請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子的に被写体の像を記録する撮像装置に関するものである。
【背景技術】
【０００２】
露光量不足に起因するノイズを低減させる技術として、例えば、特開平１０−１７４０００号公報（特許文献１）に開示されている技術がある。この特許文献１には、ＡＧＣ（Automatic Gain Control）のゲインアップにより適正な明るさを得て撮影を行う発明が開示されている。また、上記特許文献１に開示の発明では、被写体が暗く、ＡＧＣのゲインアップによっても適正な明るさが得られない場合には、シャッタ速を長くして長時間露光にすることにより、ノイズの低減を図っている。
また、複数枚の画像を使用してノイズの低減を実現するような技術として、例えば、国際公開第９７／０５７４５号パンフレット（特許文献２）に開示されている発明がある。この特許文献２には、撮像された複数枚のビデオデータを圧縮符号化するビットレートエンコーダに、ランダムノイズを除去するフィルタ回路を設けることにより、撮像されたビデオデータのゲインアップに連動して、フィルタリング特性をアップさせ、ランダムノイズを低減させる技術が開示されている。ＭＰＥＧのようなビデオデータの場合は、圧縮符号化回路の中に適応フィルタを加えたり、または、フィルタリング処理やノイズ除去処理をするような回路を、圧縮符号化回路の前処理の回路としてつなぐことでノイズを除去することが可能である。
【０００３】
また、例えば、特開２００１−００８０８７号公報（特許文献３）には、複数枚の画像を取り扱う発明が開示されている。上記特許文献３に開示されている発明は、シャッタ速度、フォーカス位置、露光を適正に変化させ、複数枚のフレームを撮影するブラケット撮影の一種を実現させるものであり、撮影時の状況に応じて、一枚撮影と連写撮影とを適応的に切り換えることにより、使用者に負担をかけることなく撮影時のミスを低減できるようにしている。
【０００４】
更に、複数枚の画像から高品位な画像を生成する技術も提案されている。例えば、特許第２８２８１３８号公報（特許文献４）には、位置ずれを持つ複数枚の低解像度画像を用いて、高解像度画像を生成するという方法が開示されている。
また、画素混合読み出しにより高品位な画像を生成する技術が提案されており、例えば特開２０００−２５３４１５号公報（特許文献５）には、露光時間が所定の時間よりも長い場合に、ＣＣＤの複数の画素から読み出される電荷を混合して、低ノイズの画像を生成するという方法が開示されている。
【０００５】
【特許文献１】特開平１０−１７４０００号公報
【特許文献２】国際公開第９７／０５７４５号パンフレット
【特許文献３】特開２００１−００８０８７号公報
【特許文献４】特許第２８２８１３８号公報
【特許文献５】特開２０００−２５３４１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上記特許文献３に開示されている発明では、撮影条件や、撮影条件を求める過程の情報に基づいて連写を行うか否かの判断を行う。しかしながら、この発明では、連写撮影時の連写枚数が撮影条件に対して固定的に定められてしまい、連写枚数の最適化については考慮されていなかった。また、ＣＣＤの複数の画素から読み出される電荷を混合する際に撮影の状況が充分に考慮されていない。このため、撮影状況に応じて高画質の画像を得るには不十分である。
また、上記特許文献４、並びに特許文献５に開示されている発明によれば、高画質化を行うことができるが、高画質化の具体的処理内容に撮影の状況との関連性が充分に考慮されていないため、撮影状況に応じて高画質の画像を得ることができないという問題があった。
【０００７】
本発明は、このような事情に鑑みてなされたものであって、高画質化を図ることのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、被写体を撮影して、該被写体の像を電子的に記録する撮像装置において、撮影の条件を定める撮影パラメータを設定する撮影パラメータ設定手段と、撮影画像のフレーム数を、前記撮影パラメータに応じた数に設定するフレーム数設定手段と、前記被写体を連続的に撮影することにより、前記フレーム数の撮影画像を取得する撮像手段とを具備する撮像装置を提供する。
【０００９】
この発明によれば、撮影パラメータ設定手段にて、撮影の条件を定める撮影パラメータが設定され、フレーム数設定手段にて、該撮影パラメータ設定手段により設定された撮影パラメータに応じた数に撮影画像のフレーム数が設定される。そして、撮像手段にて、被写体が連続的に撮影されることにより、撮影パラメータに応じたフレーム数の撮影画像が取得されることとなる。
このように、撮影状況に応じた枚数の撮影画像を得ることができるので、これら撮影画像を用いて適切な画像処理（例えば、超解像処理等）を実施することにより、高画質及び低ノイズの画像を得ることが可能となる。
【００１０】
上記撮影パラメータ設定手段は、例えば、図１に示される撮像条件設定部１２０に該当する。フレーム数設定手段は、例えば、図１に示される連写判定部１２１に該当する。撮像手段は、連写を可能とする連写機能を備えており、例えば、図１に示される撮像部５０及びこの撮像部を制御する撮像制御部１１０に該当する。撮像部５０は、例えば、絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッタ１０３、ローパスフィルタ１０４、ＣＣＤ撮像素子１０５、Ａ／Ｄ変換回路１０６等を備えている。なお、上記具体的構成は、一例であり、本発明の各構成要素は後述の実施形態に係る構成要素に限定されない。
【００１１】
本発明の撮像装置は、前記撮影パラメータから露光量を算出する露光量算出手段を備え、前記フレーム数設定手段は、前記露光量が予め設定されている第１閾値より小さい場合に、前記露光量に応じたフレーム数を設定することが好ましい。
【００１２】
このような構成によれば、露光量算出手段により露光量が算出され、この露光量が予め設定されている第１閾値より小さい場合には、フレーム数設定手段により、該露光量に応じたフレーム数が設定される。これにより、露光量に応じた枚数の撮影画像を取得することが可能となる。この結果、低ノイズ化及び高画質化を達成するために好適な枚数の撮影画像を得ることが可能となるので、これら撮影画像を用いて適切な画像処理を実施することにより、高画質及び低ノイズの画像を得ることができる。
【００１３】
上記露光量は、例えば、シャッタ速度と被写体の照度とから算出することが可能である。具体的には、露光量Ｈｍは、被写体の照度とシャッタ速度（＝露出時間）の積にて算出することが可能である。また、フレーム数は、例えば、露光量が減少するにつれて、段階的に増加するように設定される。
上記露光量算出手段は、上記撮影パラメータ設定手段が備えていても良いし、フレーム数設定手段が備えていても良い。或いは、独立した構成要素として撮像装置に設けられていても良い。
【００１４】
本発明の撮像装置において、前記撮影パラメータ設定手段は、シャッタ速度を優先的に設定するためのシャッタ速優先モードを備え、前記フレーム数設定手段は、前記シャッタ速優先モードにおいてシャッタ速度が優先的に設定された結果、絞りが開放端の状態に設定された場合に、前記フレーム数をシャッタ速度に応じた数に設定することが好ましい。
【００１５】
このような構成によれば、フレーム数設定手段は、撮影パラメータ設定手段が備えるシャッタ速優先モードにおいて、優先的にシャッタ速が設定された結果、絞りが開放端の状態に設定された場合に、フレーム数をシャッタ速度に応じた数に設定する。これにより、絞りが開放端の状態にＦ値が小さく設定されることにより、露光量が少ないと予想される場合には、シャッタ速度に応じた複数の撮影画像を用いて１つの画像が生成されることとなるので、露光量の改善を図ることが可能となる。この結果、高画質且つ低ノイズの画像を得ることが可能となる。
【００１６】
本発明の撮像装置において、前記撮影パラメータ設定手段は、絞り優先モードを備え、
前記フレーム数設定手段は、前記絞り優先モードにおいて絞りが優先的に設定された結果、シャッタ速が所定の速度より遅く設定された場合に、シャッタ速度を前記所定の速度以上に設定し直すとともに、当該設定し直した速度に応じた数に前記フレーム数を設定することが好ましい。
【００１７】
このような構成によれば、フレーム数設定手段は、撮影パラメータ設定手段が備える絞り優先モードにおいて、優先的に絞りが設定された結果、シャッタ速度が所定の速度より遅く設定された場合に、シャッタ速度を前記所定の速度以上に設定し直すとともに、この設定し直した速度に応じた数にフレーム数を設定する。このように、シャッタ速度が所定速度よりも遅く設定された場合には、そのシャッタ速度を前記所定の速度以上に設定し直すので、シャッタ速の遅いことに起因するブレを解消させることが可能となる。また、シャッタ速度を所定の速度以上に設定し直したことにより、露光量が少ないと予想される場合には、この設定し直されたシャッタ速度に応じた複数の撮影画像を用いて１つの画像を生成するので、露光量の改善を図ることが可能となる。これにより、高画質且つ低ノイズの画像を得ることが可能となる。
【００１８】
本発明の撮像装置において、前記撮影パラメータ設定手段は、前記撮影パラメータとして感度値を設定する感度値設定手段を備え、前記フレーム数設定手段は、前記感度値設定手段で設定された感度値が予め設定されている第１規定値以上の場合に、前記感度値に応じた枚数のフレーム数を設定することが好ましい。
【００１９】
このような構成によれば、撮影パラメータ設定手段が備える感度値設定手段により感度値が予め設定された第１規定値以上の場合に、複数のフレーム数が設定される。このように、例えば、感度値が高い場合には、その感度値に応じた複数の撮影画像を用いて１つの画像を生成するので、感度値の増大に起因して生じるノイズの消去が可能となり、高画質化を達成することができる。
上記フレーム数は、例えば、感度値が増大するにつれて、段階的に増加するように設定される。感度値としては、例えば、一般的なＩＳＯ感度等が挙げられる。
【００２０】
本発明の撮像装置は、画素混合読み出し後における撮影画像の画素数を、前記撮影パラメータに応じた数に設定する画素数設定手段と、前記画素数設定手段により設定された画素数になるように、前記撮像手段からの画像信号に対して画素混合読み出しを行う画素混合読み出し手段とを具備することが好ましい。
【００２１】
このような構成によれば、撮像手段により被写体が撮影され、画素混合読み出し手段にて、該撮像手段により取得された撮影画像の画像信号に対して画素混合読み出しが行われる。一方、画素数設定手段は、上記画素混合読み出し後における撮影画像の画素数を、該撮影パラメータに応じた数に設定する。上記「画素混合読み出し」とは、例えば、Ｂａｙｅｒ配列のＣＣＤ撮像素子等からの信号の読み出しにおいて、同じカラーチャンネルの複数の画素の信号を加算して読み出すことにより、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出すことができる方式をいう。
このように、画素混合読み出し後における撮影画像の画素数を撮影パラメータに応じた数とすることが可能となるので、撮影画像の感度を撮影状況に応じて変化させることができる。
【００２２】
上記撮像装置は、前記撮影パラメータから露光量を算出する露光量算出手段を備え、前記画素数設定手段は、前記露光量が予め設定されている第２閾値より小さい場合に、前記露光量に応じて、前記画素混合読み出し後における撮影画像の画素数を設定することが好ましい。
【００２３】
このような構成によれば、露光量算出手段により露光量が算出され、この露光量が予め設定されている第２閾値より小さい場合には、画素数設定手段により、該露光量に応じた画素数が設定される。これにより、画素混合読み出し後における撮影画像の画素数を露光量に応じた画素数とすることが可能となる。上記露光量は、例えば、シャッタ速度と被写体の照度とから算出することが可能である。具体的には、露光量Ｈｍは、被写体の照度とシャッタ速度（＝露出時間）の積にて算出することが可能である。また、画素数は、例えば、露光量が減少するにつれて、段階的に減少するように設定される。
【００２４】
また、上記撮像装置において、前記撮影パラメータ設定手段は、前記撮影パラメータとして感度値を設定する感度値設定手段を備え、前記画素数設定手段は、前記感度値が予め設定されている第２規定値以上の場合に、前記感度値に応じて、前記画素混合読み出し後における撮影画像の画素数を設定することが好ましい。
【００２５】
このような構成によれば、撮影パラメータ設定手段が備える感度値設定手段により設定された感度値が、予め設定されている第２規定値以上の場合には、画素数設定手段にて、感度値に応じた画素数が設定される。これにより、画素混合読み出し後における撮影画像の画素数を感度値に応じた画素数とすることが可能となる。画素数は、例えば、感度値が増大するにつれて、段階的に減少するように設定される。
【００２６】
本発明の撮像装置は、前記撮像手段により取得された複数のフレーム間における前記被写体の動きを推定することによって、前記フレーム間の相対的な位置関係を補償する動き補償手段と、前記動き補償手段で補償された複数のフレームを合成した像を生成する画像合成手段とを更に備えることが好ましい。
【００２７】
このような構成によれば、動き補償手段にて、撮像手段により取得された複数のフレーム間における被写体の動きが推定されて、各フレーム間の相対的な位置関係が補償され、画像合成手段にて、該動き補償手段により補償された複数のフレームを合成した像を生成することにより、高画質な画像が生成されることとなる。
【００２８】
上述の動き補償手段は、前記複数のフレーム間の近似度の評価関数を求め、該評価関数に基づいて前記複数のフレーム間における前記被写体の動きを補償することが好ましい。
【００２９】
このような構成によれば、動き補償手段においては、複数のフレーム間の近似度の評価関数が求められ、この評価関数に基づいて複数のフレーム間における被写体の動きが補償されることとなる。
【００３０】
上述の動き補償手段は、前記複数のフレームから任意の１枚のフレームを基準画像として選択し、該基準画像と該基準画像以外のフレームとの近似度の評価関数を求め、該評価関数に基づいて前記複数のフレーム間における前記被写体の動きを補償することが好ましい。
【００３１】
このような構成によれば、動き補償手段においては、複数のフレームの中から任意の１枚のフレームが基準画像として選択され、基準画像と基準画像以外のフレームとの近似度の評価関数が求められる。そして、この評価関数に基づいて複数のフレーム間における被写体の動きが補償されることとなる。
【発明の効果】
【００３２】
本発明によれば、撮影状況に応じたフレーム数の撮影画像を得ることが可能となるので、これら撮影画像を用いて適切な画像処理（例えば、超解像処理等）を実施することにより、高画質及び低ノイズの画像を得ることができるという効果を奏する。
【発明を実施するための最良の形態】
【００３３】
以下、本発明に係る撮像装置を電子スチルカメラに適用した場合の実施形態について、図面を参照して説明する。
まず、本発明の実施形態に係る電子スチルカメラの具体的な説明を行う前に、加算平均処理と画像混合読み出しによるＳＮ比の改善効果について説明する。
まず、本実施形態において、「画素混合読み出し」とは、例えば、図２６に示すように、Ｂａｙｅｒ配列の撮像素子（例えばＣＣＤ）からの信号の読出しにおいて、隣接した同じカラーチャンネルの複数の画素（例えば４画素）の信号を混合することにより、解像度は下がるが、感度を４倍にすることが可能な信号の読出し方式のことをいう。
【００３４】
図２４は、後述する加算平均法（図１４参照）を用いたランダムノイズの低減結果の一例を示したものである。図２４において、縦軸は、ＳＮ比、横軸は加算平均法に使用した画像の枚数を示している。図２４では、画像として、１乃至１００枚を使用して、加算平均した場合におけるＳＮ比を示している。なお、複数枚の画像としては、正規分布状の確率分布を持つランダムノイズを予め付加させたものを採用している。
【００３５】
図２５は、上述した図２６の画素混合読み出しを行った画像におけるランダムノイズの低減結果の一例を示した図である。図２５において、縦軸は、ＳＮ比、横軸はσ（ｓｉｇｍａ：なお、σが大きい程、評価画像のランダムノイズが多く付加されている。）を示している。図２５において、破線（ｂｅｆｏｒｅ）は、評価画像における画素混合前の特性を示しており、実線（ａｆｔｅｒ）は、画素混合読み出し後に、更に、解像度を上げる為の復元処理（単一画像の超解像）を行った画像の特性を示している。なお、ここでの評価画像には、正規分布状の確率分布を持つランダムノイズを予め付加させている。
【００３６】
上記図２４及び図２５に示されるＳＮ比は、ランダムノイズを予め付加させた画像における全画素の平均値と結果画像における各画素との偏差の二乗を平均した値の平方根をデシベルに換算したものである。計算手順を以下の（１）乃至（５）に示す。
【００３７】
【数１】
2007013269.tif 000003
【００３８】
図２４におけるＳＮ比の結果より、複数枚の加算平均法を使用することにより、ランダムノイズが低減する効果があり、また、使用する画素枚数を増やすほど、ランダムノイズが低減されることがわかる。また、図２５におけるＳＮ比の結果より、画素混合読み出しを行ってから画素復元することにより、ランダムノイズが低減する効果があることがわかる。
【００３９】
〔第１の実施形態〕
次に、本発明の第１の実施形態に係る電子スチルカメラについて説明する。図１は、本発明の第１の実施形態に係る電子スチルカメラの概略構成を示すブロック図である。図１に示されるように、本実施形態に係る電子スチルカメラは、例えば、撮像部５０、Ａ／Ｄ変換回路１０６、ＡＥ用フォトセンサ１０７、撮像制御部１１０、第一画像処理部１１１、画像用バッファ１１５、圧縮部１１６、メモリカードＩ／Ｆ部１１７、メモリカード１１８、操作表示部１１９、撮像条件設定部（撮影パラメータ設定手段）１２０、連写判定部（フレーム数設定手段）１２１、読み出し画素判定部（画素数設定手段）１２２、切換部２００、連写用バッファ２０１、第二画像処理部２０２を備えて構成されている。上記撮像部５０は、絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッタ１０３、ローパスフィルタ１０４、ＣＣＤ撮像素子１０５、及びＡＦモータ１０８を備えて構成されている。
【００４０】
絞り１０１を内包するレンズ系１００、分光ハーフミラー系１０２、シャッタ１０３、ローパスフィルタ１０４、及びＣＣＤ撮像素子１０５は、光軸に沿って配置されている。レンズ系１００には、合焦作業時にレンズ系の一部を移動するためのＡＦモータ１０８が接続されている。レンズ系１００を通過した光束は、分光ハーフミラー系１０２により２手に分岐され、一方の光束は、シャッタ１０３、ローパスフィルタ１０４を経由してＣＣＤ撮像素子１０５に導かれ、他方は、ＡＥ用フォトセンサ１０７に導かれるようになっている。本実施形態に係るＣＣＤ撮像素子１０５は、単板ＣＣＤ撮像素子を前提としている。ＣＣＤ撮像素子１０５からの出力は、Ａ／Ｄ変換回路１０６に入力される。Ａ／Ｄ変換回路１０６からの出力は、撮像条件設定部１２０及び第一画像処理部１１１へ入力される。
【００４１】
第一画像処理部１１１の出力は、切換部２００を介して画像用バッファ１１５又は連写用バッファ２０１へ転送される。ここで、切換部２００は、連写判定部１２１からの信号に基づいて接続先を切り替えることにより、第一画像処理部１１１からの信号を画像用バッファ１１５又は連写用バッファに転送する。上記画像用バッファ１１５の出力は、ＪＰＥＧなどの圧縮を行う圧縮部１１６、及び液晶表示部やモード設定ボタンからなる操作表示部１１９へ入力される。圧縮部１１６からの出力は、メモリカードＩ／Ｆ部１１７を介して脱着可能なメモリカード１１８へ入力される。
【００４２】
撮像条件設定部（撮影パラメータ設定手段）１２０には、上記ＡＥ用フォトセンサ１０７及びＡ／Ｄ変換回路１０６から信号が入力される。撮像条件設定部１２０の出力信号は、連写判定部１２１及び読み出し画素判定部１２２へ入力される。連写判定部１２１からの信号は、撮像制御部１１０及び上記切替部２００へ出力される。読み出し画素判定部１２２の出力は、撮像制御部１１０に入力される。
【００４３】
連写用バッファ２０１の出力は、第二画像処理部２０２及び操作表示部１１９へ入力される。第二画像処理部２０２は、モーション推定部２０２ａ、超解像処理部２０２ｂ、及び加算平均処理部２０２ｃを備えている。第二画像処理部２０２の出力は、圧縮部１１６へ入力される。
【００４４】
次に、図２に、本実施形態に係る電子スチルカメラの概略の外観構成図を示す。図２は、本実施形態に係る電子スチルカメラの外観構成図である。
図２に示すように、本実施形態の電子スチルカメラは、カメラ本体Ｚ１と、カメラ本体Ｚ１に備えられたモード選択ダイヤルＺ２と、レリーズスイッチＺ３と、撮影枚数モード切替スイッチＺ４と、画素混合撮影モード切替スイッチＺ７と、液晶表示パネルＺ６とを有している。
【００４５】
次に、図１及び図２に示した構成を備える本実施形態に係る電子スチルカメラの作用について図を参照して説明する。
図３は、本実施形態に係る電子スチルカメラで行われる処理の概略を示したフローチャートである。
まず、プリ撮影においては、図３のステップＢ０１において、撮影パラメータ設定処理による撮影パラメータの設定が行われる。次に、ステップＢ０２において、撮影モード設定処理による撮影モードの設定が行われる。ここで、本実施形態に係る電子スチルカメラには、本撮影のための１度のレリーズスイッチＺ３（図２参照）の操作によって、１枚の画像を撮影する「通常枚数撮影モード」と、本撮影のための１度のレリーズスイッチＺ３の操作によって、複数枚の画像を連写する「連写撮影モード」と、画素混合読み出しを行う「画素混合読み出し撮影モード」と、画素混合読み出しを行わない「通常読み出し撮影モード」との４つの撮影モードがある。なお、「画素混合読出し撮影モード」では、前述したように、Ｂａｙｅｒ配列のＣＣＤ撮像素子１０５からの信号の読出しにおいて、同じカラーチャンネルの複数の画素の信号を加算して読出すことにより、画像の解像度は下がるが、感度を複数倍にして画像の信号を読み出す方式を採用する。これに対して、「通常画素モード」では、画素混合読出しを行わずに、Ｂａｙｅｒ配列のＣＣＤ撮像素子１０５からの信号の読出しにおいて、画素毎に信号を読み出す方式を採用する。
【００４６】
続くステップＢ０３では、ステップＢ０２にて設定された撮影モードにて撮影を行い、ステップＢ０４において、撮影した画像の信号を画像用バッファ１１５又は連写用バッファ２０１に保存する。そして、ステップＢ０５において、画像用バッファ１１５又は連写用バッファ２０１に保存された画像に対して所定の処理を施し、当該処理を終了する。ステップＢ０５では、例えば、連写用バッファ２０１に保存された画像に対して、第二画像処理部２０２による高画質化の処理や加算平均処理などが行われる。
【００４７】
次に、上述した各処理内容について具体的に説明する。
まず、図１に示した電子スチルカメラにおいて、使用者によりレリーズスイッチＺ３（図２参照）が半押される、或いは電源スイッチ（不図示）がＯＮ状態にされると、撮影制御部１１０は、絞り１０１、シャッタ１０３、ＡＦモータ１０８を制御し、プリ撮影を実施する。
【００４８】
プリ撮影では、ＣＣＤ撮像素子１０５からの信号がＡ／Ｄ変換回路１０６にてデジタル信号に変換され、第一画像処理部１１１に転送される。第一の画像処理部１１１は、この画像信号に、公知のホワイトバランス、強調処理、補間処理などを施し、三板状態の画像信号を生成する。このようにして生成された三板状態の画像信号は、切替部２００を介して画像用バッファ１１５に出力される。
【００４９】
続いて、プリ撮像では、撮像条件設定部１２０が、本撮像のための撮像条件（撮影パラメータを含む）を公知の技術により設定し、設定した撮影条件を撮影制御部１１０、連写判定部１２１及び読み出し画素判定部１２２に転送する。ここで、撮像条件とは、例えば、シャッタ速度、絞り値、合焦位置、ＩＳＯ感度などの撮影時に要する各要素、すなわち撮影パラメータに対する設定値の組み合わせであり、これらの設定方法の詳細については、後述する。
【００５０】
連写判定部１２１は、撮像条件設定部１２０により設定された上記撮影条件に基づいて、撮影フレーム数に係る撮影モードの設定を行い、設定した撮影モードの情報を撮影制御部１１０及び切換部２００へ転送する。一方、読み出し画素判定部１２２は、撮像条件設定部１２０により設定された上記撮影条件に基づいて、画素混合読み出しにおける画素数に係る撮影モードを設定し、設定した撮影モードの情報を撮影制御部１１０へ転送する。
撮影制御部１１０は撮像条件設置得部１２０により設定された撮像条件並びに連写判定部１２１及び読み出し画素判定部１２２により設定された撮影モードに基づいて、撮像部５０を制御する。具体的には、撮像部５０を構成する絞り１０１、ＡＦモータ１０８、シャッタ１０３などを制御する。
【００５１】
次に、上記撮像条件設定部１２０にて設定される撮像条件について説明する。
露光量に関するシャッタ速度及び絞り値といった撮影パラメータは、ＡＥ用フォトセンサ１０７に入力された被写体の輝度の測定結果に基づいて設定される。光量測定の対象となる領域は、ＡＥ用フォトセンサ１０７前に配置された図示しない絞り機能などを用いることにより、切り換え可能である。上記光量測定では、スポット、中央重点、平均測光などが測定される。なお、本実施形態に係る電子スチルカメラでは、シャッタ速度と絞り値の組合せは、「自動露光方式」、「シャッタ速度優先方式」、「絞り優先方式」の中から適宜選択することが可能である。
【００５２】
上記「自動露光方式」は、予め定められているシャッタ速度と絞り値の複数の組み合わせからシャッタ速度と絞り値とを自動的に設定する方式である。「シャッタ速度優先方式」は、使用者が設定したシャッタ速度にあわせて、絞り値を自動的に設定する方式である。「絞り優先方式」は、使用者が設定した絞り値にあわせて、シャッタ速度を自動的に設定する方式である。なお、このシャッタ速度及び絞り値の設定については、詳細を後述する。
【００５３】
合焦位置は、ＣＣＤ撮像素子１０５からの出力信号をＡ／Ｄ変換回路１０６にてデジタル信号に変換し、この単板状態の画像からの輝度信号を算出し、その輝度信号中のエッジ強度から求める。すなわち、ＡＦモータ１０８にてレンズ系１００の合焦位置を段階的に変えることで、エッジ強度が最大となる合焦位置を推定し、これを設定する。
【００５４】
ＩＳＯ感度の設定は、電子スチルカメラにおける感度モードの設定によって異なる。電子スチルカメラにおいて感度モードがマニュアル感度モードに設定されている場合には、使用者の設定値によって行う。電子スチルカメラにおいて感度モードが自動感度モードの場合には、ＡＥ用フォトセンサ１０７にて測定された被写体の光量に基づいて決定される。具体的には、ＡＥ用フォトセンサ１０７にて測定した光量が少ない場合には、高いＩＳＯ感度に設定し、光量が多い場合には、低いＩＳＯ感度に設定する。なお、本実施形態におけるＩＳＯ感度とは、ＣＣＤ撮像素子１０５からの信号に対する電気的増幅（ゲインアップ）の程度を表す値であり、この値が大きいほど電気的増幅の程度を高くしている。
【００５５】
次に、撮像条件設定部１２０により実行される撮影パラメータ設定処理について、図４を参照して具体的に説明する。この撮影パラメータ設定処理は、図３に示したフローチャートにおけるステップＢ０１に対応する処理である。本実施形態では、撮影パラメータとして、露光条件、具体的には、絞り値、シャッタ速度、及びＩＳＯ感度の設定を行う場合について説明する。
【００５６】
まず、図４のステップＣ０１において、「絞り優先モード」、「シャッタ速度優先モード」、「自動化モード」の３つからなる自動露出モードのうち、どのモードが選択されているかを判定する。この結果、「絞り優先モード」が選択された場合には、ステップＣ０２に移行し、使用者により設定された値を絞り値として設定する。続いて、ステップＣ０４において、被写体の照度を検出し、続くステップＣ０５にて、ステップＣ０２において設定された絞り値及びステップＳ０４にて検出された照度から、適正露出になるようなシャッタ速度を算出して、シャッタ速度として設定する。続いて、ステップＣ０６にて、ＩＳＯ感度の設定を行う。ＩＳＯ感度の設定は、モードを使用者が選択できるようになっている。ここで、マニュアルのモードが選択された場合には、使用者による設定値をＩＳＯ感度として設定し、一方、自動モードが選択された場合には、ステップＣ０４にて検出された被写体の照度から適正な感度値を決定する。そして、上記ＩＳＯ感度を設定し終わると、当該処理を終了する。
【００５７】
一方、上述のステップＣ０１において、「シャッタ速度優先モード」が選択された場合には、ステップＣ０３へ移行し、シャッタ速度として、使用者によって設定された値を設定する。続いて、ステップＣ０４にて、被写体の照度を検出し、続くステップＣ０５にて、ステップＣ０３にて設定したシャッタ速度及びステップＣ０４にて検出した照度から、適正露出になるような絞り値を算出して、絞り値に設定する。そして、上述と同様、ステップＣ０６にてＩＳＯ感度を設定し、当該処理を終了する。
【００５８】
また、上述したステップＣ０１において、「自動化モード」が選択されていた場合には、ステップＣ０４へ移行し、被写体の照度を検出する。そして、ステップＣ０５において、ステップＣ０４において検出された照度から適正露出になるような絞り値とシャッタ速度とを算出して、それぞれを設定する。そして、ステップＣ０６においてＩＳＯ感度を設定し、当該処理を終了する。
【００５９】
次に、撮像条件設定部１２０により上述した撮影パラメータ設定処理が行われた後に、連写判定部１２１及び読み出し画像判定部１１２において実行される撮影モード設定処理について、図５を参照して説明する。この撮影モード設定処理は、図３に示したフローチャートにおけるステップＢ０２に対応する処理である。
図５のステップＡ０１において、レリーズスイッチがオンされると、ステップＡ０２に移行し、撮影枚数モード切替スイッチＺ４（図２参照）がＯＮかＯＦＦかを判定する。この結果、撮影枚数モード切替スイッチＺ４がＯＦＦであった場合には、ステップＡ１０へ移行し、撮影枚数を１枚と判断し、続く、ステップＡ１１にて、撮影モードとして「通常枚数撮影モード」を設定して、ステップＡ１２へ移行する。
【００６０】
一方、ステップＡ０２において、撮影枚数モード切替スイッチがＯＮであった場合には、ステップＡ０３へ移行し、シャッタ速度と被写体の照度とから露光量を算出する。露光量は、撮像面（ＣＣＤ撮像素子）での照度とシャッタ速度（＝露出時間）の積で算出することができる。Ｈｍを露光量（ｌｘ×ｓ）、Ｅを撮像面（ＣＣＤ撮像素子）での照度（単位はｌｘ）、Ｔをシャッタ速度（単位はｓ）とすると、下記の（６）式で求められる。なお、Ｅは、絞り値（Ｆ値）の２乗に反比例し、被写体の輝度に比例する値である。
Ｈｍ＝Ｅ×Ｔ      （６）
【００６１】
続いて、ステップＡ０４にて、上記ステップＡ０３にて算出された露光量が、撮影枚数設定用の第１閾値（図６参照）より低いか否かを判定する。この結果、露光量が、第１閾値以上であった場合には、ステップＡ０８へ移行し、撮影枚数を１枚と判断し、続く、ステップＡ０９にて、撮影モードとして「通常枚数撮影モード」を設定して、後述のステップＡ１２へ移行する。
【００６２】
一方、上記ステップＡ０４において露光量が上記第１閾値未満であった場合には、ステップＡ０５へ移行し、露光量に応じた数に撮影枚数（フレーム数）を決定する。これにより、露光量と撮影枚数を連動させる。撮影枚数に関しては、予め適正枚数を定めておき、その枚数を用いる。露光量と撮影枚数の関係は、例えば、図６のように、露光量が減少するにつれて、段階的に撮影枚数が多くなるように設定されている。このような、露光量と撮影枚数とが対応付けられたテーブルは、電子スチルカメラ内に記憶されており、この関係に基づいて撮影枚数が決定される。
【００６３】
続いて、ステップＡ０６にて、上記ステップＡ０５において決定された撮影枚数が２枚以上か否かを判定する。この結果、撮影枚数が２枚以上の場合には、ステップＡ０７へ移行し、撮影モードを「連写撮影モード」に設定し、ステップＡ１２へ移行する。
一方、上記ステップＡ０６において決定された撮影枚数が１枚であった場合には、ステップＡ０９へ移行し、撮影モードを「通常枚数撮影モード」に設定して、ステップＡ１２へ移行する。なお、上述のステップＡ０１乃至ステップＡ１１の処理は、図１に示される連写判定部１２１により実行される。
【００６４】
続いて、ステップＡ１２にて、画素混合読み出し撮影モード切替スイッチＺ７（図２参照）がＯＮかＯＦＦかを判定する。この結果、画素混合読み出し撮影モード切替スイッチＺ７がＯＦＦの場合には、ステップＡ１９へ移行し、通常読み出し撮影と判断して、続く、ステップ２０にて、撮影モードに「通常読み出し撮影モード」を設定し、続く、ステップＡ２１にて、設定した各撮影モード、撮影枚数、及び画素混合読み出し後の画素数を液晶表示パネルＺ６（図２参照）に表示して、本処理を終了する。
【００６５】
一方、上述のステップＡ１２にて、画素混合読み出し撮影モード切替スイッチＺ７（図２参照）がＯＮであった場合には、ステップＡ１３へ移行し、シャッタ速度と絞り値と被写体の輝度とから露光量を算出する。なお、ここで算出する露光量の変わりに、上述のステップＡ０３にて算出した露光量を用いるようにしても良い。
【００６６】
続いて、ステップＡ１３において算出した露光量が読出し方式決定用の第２閾値（図７参照）より低いか否かを判定する。この結果、露光量が第２閾値以上であった場合は、ステップＡ１７へ移行し、通常読み出し撮影と判断し、続く、ステップＡ１８にて、撮影モードを「通常読み出し撮影モード」に設定した後、続く、ステップＡ２１にて、設定した各撮影モード、撮影枚数、及び画素混合読み出し後の画素数を液晶表示パネルＺ６（図２参照）に表示して、本処理を終了する。
【００６７】
一方、上述のステップＡ１４において、露光量が第２閾値未満であった場合には、ステップＡ１５へ移行し、露光量に応じた画素混合読み出し後の画素数を決定する。これにより、露光量と撮影枚数と画素混合読み出し後の画素数とを連動させる。ここで、画素混合読み出し後の画素数に関しては、予め適正な読み出し後の画素数を定めておき、その画素数を用いるとよい。
【００６８】
露光量と画素混合読み出し後の画素数の関係は、例えば、図７のように、露光量が減少するにつれて、段階的に画素混合読み出し後の画素数が少なくなるように設定されている。このような、露光量と画素混合読み出し後の画素数とが対応付けられたテーブルは、電子スチルカメラ内に記憶されており、この関係に基づいて画素混合読み出し後の画素数が決定される。
【００６９】
このようにして、露光量に応じた画素数が決定されると、続くステップＡ１６にて、撮影モードを「画素混合読み出し撮影モード」に設定し、続く、ステップＡ２１にて、設定した各撮影モード、撮影枚数、及び画素混合読み出し後の画素数を液晶表示パネルＺ６に表示し、本処理を終了する。
なお、上述したステップＡ１２乃至ステップＡ２０の処理は、図１に示される読み出し画素判定部１２２において実行される。
【００７０】
なお、上述した撮影モード設定処理は、上述のように露光量に応じたものだけでなく、ＩＳＯ感度値に応じて行うことも可能である。以下、ＩＳＯ感度に応じた撮影モード設定処理の手順について図８を参照して説明する。図８において、図５と同様の処理内容については、同一のステップ番号を付し、その説明を省略する。
【００７１】
本処理では、図５に示したステップＡ０３乃至Ａ０５に代わって、図８のステップＡ３０及びＡ３１を採用する。具体的には、図８のステップＡ０２において撮影枚数モード切替スイッチがＯＮであると判定された場合、ステップＡ３０において、ＩＳＯ感度が撮影枚数設定用の第１規定値（図９参照）以上であるか否かを判定する。この結果、ＩＳＯ感度が第１規定値未満であった場合には、ステップＡ０８へ移行し、撮影枚数を１枚と判断し、続く、ステップＡ０９にて、撮影モードに「通常枚数撮影モード」を設定して、後述のステップＡ１２へ移行する。
【００７２】
一方、上記ステップＡ３０において、ＩＳＯ感度が第１規定値以上であった場合には、ステップＡ３１へ移行し、ＩＳＯ感度に応じた撮影枚数を決定する。これにより、ＩＳＯ感度と撮影枚数を連動させる。撮影枚数に関しては、予め適正枚数を定めておき、その枚数を用いる。ＩＳＯ感度と撮影枚数の関係は、例えば、図９のように、ＩＳＯ感度が大きくなるにつれて、段階的に撮影枚数が多くなるように設定されている。このような、ＩＳＯ感度と撮影枚数とが対応付けられたテーブルは、電子スチルカメラ内に記憶されており、この関係に基づいて撮影枚数が決定される。
【００７３】
また、本処理では、図５に示したステップＡ１３乃至Ａ１５に代わって、図８のステップＡ３２及びＡ３３を採用する。具体的には、図８のステップＡ１２において画素混合読み出し撮影モード切替スイッチがＯＮであると判定された場合、ステップＡ３２において、ＩＳＯ感度が読出し方式決定用の第２規定値（図１０参照）以上であるか否かを判定する。この結果、ＩＳＯ感度が第２規定値未満であった場合には、ステップＡ１７へ移行し、通常読み出し撮影と判断し、続く、ステップＡ１８にて、撮影モードとして「通常読み出し撮影モード」を設定する。
【００７４】
一方、上記ステップＡ３２において、ＩＳＯ感度が第２規定値以上であった場合には、ステップＡ３３へ移行し、ＩＳＯ感度に応じた画素混合読み出し後の画素数を決定する。これにより、ＩＳＯ感度と画素混合読み出し後の画素数とを連動させる。ここで、画素混合読み出し後の画素数に関しては、予め適正な読み出し後の画素数を定めておき、その画素数を用いるとよい。
【００７５】
ＩＳＯ感度と画素混合読み出し後の画素数との関係は、例えば、図１０のようにＩＳＯ感度が増加するにつれて、段階的に画素混合読み出し後の画素数が少なくなるように設定されている。このような、ＩＳＯ感度と画素混合読み出し後の画素数とが対応付けられたテーブルは、電子スチルカメラ内に記憶されており、この関係に基づいて画素混合読み出し後の画素数が決定される。
【００７６】
次に、上述したような撮像条件及び各撮影モードが設定されたプリ撮影状態において、使用者によりレリーズスイッチＺ３（図２参照）が完全に押下されると、本撮影が行われる。この本撮影は、図１に示した撮像条件設定部１２０で設定された撮影パラメータ、連写判定部１２１及び読み出し画素判定部１２２によって設定された撮影モードに基づいて、撮像制御部１１０の制御のもと行われる。この結果、設定されたシャッタ速度、絞り値、ＩＳＯ感度にて被写体が撮影され、この撮影画像の画像信号は、第一画像処理部１１１を経由して画像用バッファ１１５又は連写用バッファ２０１へ出力される。このとき、撮影モードが「通常枚数撮影モード」に設定されていた場合には、一枚の撮影画像の画像信号が第一画像処理部１１１へ供給される。一方、撮影モードが「連写撮影モード」に設定されていた場合には、連写判定部１２１により設定された撮影枚数の撮影画像の画像信号が連写用バッファ２０１に供給される。
【００７７】
画像用バッファ１１５へ供給された画像信号は、圧縮部１１６へ出力され、ここで公知のＪＰＥＧなどの圧縮処理が施された後、メモリカードＩ／Ｆ部１１７を介して着脱可能なメモリカード１１８等へ保存される。
【００７８】
一方、連写用バッファ２０１へ入力された画像信号は、第二画像処理部２０２へ供給され、ここで高画質化の処理が行われる。
以下、第二画像処理部２０２で行われる高画質化の処理、具体的には、モーション推定、及び、加算平均の処理の手順について、図１１乃至図１５を参照して説明する。
第二画像処理部２０２におけるモーション推定部２０２ａは、連写撮影モードにより撮影されて連写用バッファ２０１へ入力された複数枚の画像の画像信号を用いて、各画像（フレーム）におけるフレーム間の動き推定を行う。図１１に、動き推定の処理手順の一例を示す。
【００７９】
まず、図１１のステップＳ１において、動き推定の基準となる画像を１枚読み込む。ステップＳ２において、基準画像を複数の動きで変形させる。ステップＳ３において、基準画像間の動き推定を行う参照画像を１枚読み込む。ステップＳ４において、基準画像を複数変形させたそれぞれの画像列と参照画像との間の類似度値を算出する。ステップＳ５において、変形させた動きのパラメータと算出した類似度値との関係を用いて、図１２に示すような離散的な類似度マップを作成する。ステップＳ６において、上記ステップＳ５で作成した離散的な類似度マップを補完することで、類似度マップの極値を探索し、類似度マップの極値を求める。ここで、極値で定められる変形の動きが動き推定値となる。類似度マップの極値の探索法には、例えば、パラボラフィッティング、スプライン補間法等がある。
【００８０】
続いて、ステップＳ７において、全ての参照画像において動き推定を行ったか否かを判定する。この結果、全ての参照画像において動き推定を行っていない場合には、ステップＳ８へ移行し、参照画像のフレーム番号を１つ増加させて、上述のステップＳ３へ戻る。これにより、全ての参照画像において動き推定を行うまで、ステップＳ３乃至ステップＳ８の処理が繰り返し行われることとなる。そして、ステップＳ７において、対象となる全ての参照画像に対して動き推定が行われたと判定されると、当該処理を終了する。
【００８１】
次に、動き推定をパラボラフッティングで行う具体的方法の一例を図１２を参照して説明する。図１２において、縦軸は二乗偏差を表し、横軸は変形モーションパラメータを示している。この図において、縦軸の二乗偏差の値が小さいほど類似度が高いといえる。
ここで、図１１のステップＳ２における基準画像の複数変形は、例えば、水平、垂直、回転方向に対して、±１ピクセルの動きパラメータで基準画像を１９通り（なお、２７通り中８通りは同じ変形パターン）に変形させる。また、図１１のステップＳ５では、図１２に示した横軸のモーションパラメータを水平方向、垂直方向、回転方向の組み合わせであると考えると、負の方から（−１、＋１、−１）、（−１、＋１、０）（−１、＋１、＋１）の各離散類似度値をプロットする。また、各変形方向を別々と考えると、負の方向から（−１）、（０）、（＋１）となり水平方向、垂直方向、回転方向について別々にプロットする。
【００８２】
図１３は、参照画像における基準画像への近似を示している。各参照画像は、動き推定値を符号反転した値であり、画像変形することにより基準画像に近似する。その後、図１４に示す加算平均法を用いる場合は、基準画像と近似した全画像における各対応画素を全フレーム分、一度に加算平均した値を新画素値として画像生成する。一方、図１５に示す加算平均法を用いる場合は、基準画像と近似した全画像における各対応画素位置をフレーム間ずつに加算平均した値を新画素値として加算平均画像を生成する。なお、図１４に示す加算平均手法は、図１５に示す加算平均手法に比べ、ノイズが残りにくい傾向がある点でよい。
【００８３】
そして、このようにして生成された加算平均画像は、第二画像処理部２０２から圧縮部１１６へ出力され、ここで公知のＪＰＥＧなどの圧縮処理が施された後、メモリカードＩ／Ｆ部１１７を介してメモリカード１１８へ保存される。
【００８４】
以上、説明してきたように、本実施形態に係る電子スチルカメラによれば、撮影条件設定部１２０にて、設定された撮像条件（撮影パラメータ）に基づいて、連写判定部１２１にて本撮影時における撮影画像の枚数が設定され、また、読み出し画素判定部１２２にて画素混合読み出しを行った後における画素数が設定される。このように、撮影条件に応じて、撮影画像のフレーム数ならびに画素混合読み出しにおける画素数が設定されるので、これらの設定に基づいて撮影された撮影画像を高画質化の処理等することにより、低ノイズ化された高画質な画像を取得することが可能となる。画素混合読み出しによりノイズが低減される点、並びに、複数毎の撮像画像を加算平均して画像を生成することにより、低ノイズの画像が得られる点については、上述の図２４及び図２５に示したとおりである。
【００８５】
なお、上述した第１の実施形態においては、第二画像処理部２０２で高画質化の処理を施した後に、圧縮部１１６にて圧縮しているが、これは一例であり、例えば、圧縮せずにメモリカードＩ／Ｆ部１１７等へ出力して、第二画像処理部２０２と同様の機能を有する外部の装置で上述の高画質化の処理を行うこともできる。また、他の例としては、第二画像処理部２０２にて処理をした後の画像を圧縮するのではなく、先に圧縮された画像に基づいて、第二画像処理部２０２による高画質化処理が行われるような構成としても良い。
また、第二画像処理部２０２において行われる画像処理については、上述した処理手順に限定されることなく、公知の高画質化処理等を採用することが可能である。
【００８６】
また、上記実施形態においては、撮影モード設定処理において、露光量を算出し、この露光量に基づいて撮影画像の枚数を設定していたが、以下のように撮影画像を設定することが可能である。
例えば、撮影条件設定部１２０により行われる撮影パラメータ設定処理では、図４に示されるように、絞り優先モードにおいては、図４のステップＣ０２に示すように、使用者により設定された絞り値、並びに被写体の照度に基づいてシャッタ速度が設定される（ステップＣ０５）。
このとき、設定されたシャッタ速度が所定の速度よりも遅くなるような場合には、手ぶれが発生しやすくなるため、シャッタ速度を所定の速度以上に設定し直すとともに、設定し直したシャッタ速度に応じた複数のフレーム数に撮影画像の枚数を設定する。このとき、設定し直したシャッタ速度が速いほど、撮影画像の枚数を多くする。
一方で、シャッタ速度優先モードでは、図４ステップＣ０３に示すように、使用者により設定されたシャッタ速度、並びに被写体の照度に基づいて絞り値が設定される（ステップＣ０５）。この場合、絞りが開放端の状態に設定された場合には、露光量が少ないと推定することができる。このため、使用者によって設定されたシャッタ速度に応じた複数のフレーム数に撮影画像の枚数を設定する。このとき、使用者によって設定されたシャッタ速度が速いほど、撮影画像の枚数を多くする。
【００８７】
このように、絞り優先モードにおいて設定し直したシャッタ速度に応じた複数のフレーム数に撮影画像の枚数を設定したり、シャッタ速度優先モードにおいて設定されたシャッタ速度に応じた複数のフレーム数に撮影画像の枚数を設定したりすると、露光量に応じて枚数を調整することは不可能であるが、そのような調整を行うことなく撮影枚数を設定できる点、また、露光量を算出する必要がない点において、処理の軽減を図ることができる等のメリットがある。
【００８８】
〔第２の実施形態〕
次に、本発明の第２の実施形態に係る撮像装置について図を参照して説明する。上述した第１の実施形態においては、撮影モード設定処理において、連写判定部１２１によるフレーム数の設定と、読み出し画素判定部１２２による読み出し画素数の設定とが行われていたが、本実施形態における撮像装置では、連写判定部１２１によるフレーム数の設定のみを行い、読み出し画素判定部１２２による画素数の設定処理を省略する。これにより、処理の簡素化を図り、処理負担の軽減並びに処理時間の短縮を実現する。
図１６及び図１７に本実施形態に係る連写判定部１２１により実行される撮影モード設定処理の一例を示す。図１６において、図５と同様の処理内容については、同一のステップ番号を付している。図１７において、図８と同様の処理内容については、同一のステップ番号を付している。
【００８９】
〔第３の実施形態〕
次に、本発明の第３の実施形態に係る撮像装置について図を参照して説明する。上述した第１の実施形態においては、撮影モード設定処理において、連写判定部１２１によるフレーム数の設定と、読み出し画素判定部１２２による読み出し画素数の設定とが行われていたが、本実施形態における撮像装置では、読み出し画素判定部１２２による画素数の設定のみを行い、処理連写判定部１２１によるフレーム数の設定を省略する。これにより、処理の簡素化を図り、処理負担の軽減並びに処理時間の短縮を実現する。
図１８及び図１９に本実施形態に係る読み出し画素判定部１２２により実行される撮影モード設定処理の一例を示す。図１８において、図５と同様の処理内容については、同一のステップ番号を付している。図１９において、図８と同様の処理内容については、同一のステップ番号を付している。
【００９０】
〔第４の実施形態〕
次に、本発明の第４の実施形態に係る撮像装置について図を参照して説明する。上述した第１の実施形態においては、撮影モード設定処理において、まず、連写判定部１２１によるフレーム数の設定を行い、その後、読み出し画素判定部１２２による読み出し画素数の設定を行っていた。本実施形態における撮像装置では、まず先に、読み出し画素判定部１２２による読み出し画素の設定を行い、その後、連写判定部１２１によるフレーム数の設定を行う。
図２０及び図２１に本実施形態に係る連写判定部１２１及び読み出し画素判定部１２２により実行される撮影モード設定処理の一例を示す。図２０において、図５と同様の処理内容については、同一のステップ番号を付している。図２１において、図８と同様の処理内容については、同一のステップ番号を付している。
【００９１】
〔第５の実施形態〕
次に、本発明の第５の実施形態に係る撮像装置について図を参照して説明する。本実施形態に係る撮像装置は、上述した第１の実施形態に係る撮像装置と構成を略同様とするが、第２の画像処理部２０２により実行される高画質化の処理が異なる。
以下、本実施形態に係る高画質化の処理手順、具体的には、複数枚の画像を使用して、高解像度の画像を復元する画像高画質化処理（超解像）について図を参照して説明する。
【００９２】
まず、図２２に示されるように、ステップＳ１１において、高解像度画像推定に用いるための複数枚の低解像度画像ｎ（ｎ≧１）枚を連写用バッファ２０１から読み込む。続く、Ｓ１２において、ステップＳ１１において読み込んだ複数枚の低解像度画像の中の任意の一枚をターゲットフレームと仮定し、補完処理を行うことで初期の高解像度画像を作成する。なお、このステップは場合により省略することができる。続いて、ステップＳ１３では、予め何らかのモーション推定法（例えば、上述の第１の実施形態で説明したようにモーション推定部２０２ａで動き推定値を求める手法）で求められた、ターゲットフレームとその他のフレームとの画像間のモーションにより、画像間の位置関係を明らかにする。
【００９３】
続くステップＳ１４において、光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ
Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）、ＣＣＤアパーチャ等の撮像特性を考慮した点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄｉｎｇ Ｆｕｎｃｔｉｏｎ）を求める。ＰＳＦは例えばガウス（Ｇａｕｓｓ）関数を用いる。続く、ステップＳ１５では、上記ステップＳ１３及びＳ１４において得た情報を元に、評価関数ｆ（ｚ）の最小化を行う。ただし、ｆ（ｚ）は以下の（７）式のような形となる。
【００９４】
【数２】
2007013269.tif 000004
【００９５】
上記（７）式において、ｙは低解像度画像、ｚは高解像度画像、Ａは画像間モーション（例えば、図１におけるモーション推定部２０２ａで求めた動き推定値）、ＰＳＦ等を含めた撮像システムを表す画像変換行列である。ｇ（ｚ）は、画像の滑らかさや色相関を考慮した拘束項等が入る。λは重み係数である。評価関数の最小化には、例えば、最急降下法を用いる。
続いて、ステップＳ１６において、上記ステップＳ１５で求めたｆ（ｚ）が最小化されたか否かを判定する。この結果、まだ最小化されていない場合には、ステップＳ１７へ移行し、高解像度画像ｚをアップデートして、ステップＳ１５に戻り、高解像度画像ｚが最小化されるまで、ステップＳ１５乃至Ｓ１７を繰り返し行う。そして、ステップＳ１６において、上記ステップＳ１５で求めたｆ（ｚ）が最小化されると、当該処理を終了し、高解像度画像ｚを得る。
【００９６】
次に、図２３に、図２２に示した処理手順を実行するハードウェア構成の一例を示す。
図２３に示すように、高解像度画像推定処理部は、初期画像記憶部１２０１、畳込み積分部１２０２、ＰＳＦデータ保持部１２０３、画像比較部１２０４、乗算部１２０５、貼り合せ加算部１２０６、蓄積加算部１２０７、更新画像生成部１２０８、画像蓄積部１２０９、反復演算判定部１２１０、反復判定値保持部１２１１から構成される。
【００９７】
このような構成において、連写用バッファ２０１（図１参照）からの補間拡大画像は、初期画像記憶部１２０１に与えられる。なお、この画像を初期画像とする。この初期画像は、畳込み積分部１２０２に与えられ、ＰＳＦデータ保持部１２０３より与えられるＰＳＦデータと畳込み積分される。ここでのＰＳＦデータは各フレームのモーションも考慮して与えられる。初期画像データは、同時に画像蓄積部１２０９に送られ、ここに蓄積される。畳込み積分部１２０２にて畳込み演算された画像データは、画像比較部１２０４に送られ、モーション推定部２０２ａ（図１参照）で求められた各フレーム毎のモーション（動き推定値）を元に適切な座標位置で連写用バッファ２０１（図１参照）より与えられる撮影画像と比較される。
【００９８】
比較された残差は乗算部１２０５に送られ、ＰＳＦデータ保持部１２０３より与えられるＰＳＦデータの各画素毎の値に掛け合わされる。この演算結果は貼り合せ加算部１２０６に送られ、それぞれ対応する座標位置に置かれる。ここで乗算部１２０５からの画像データは、重なりを持ちながら少しずつ座標位置がずれて行くことになるので、重なる部分については加算していく。撮影画像１枚分のデータの貼り合せ加算が終了すると、データは蓄積加算部１２０７に送られる。蓄積加算部１２０７では、フレーム数分の処理が終るまで順次送られてくるデータを蓄積し、推定されたモーションに合わせて各フレーム分の画像データを順次加算してゆく。
【００９９】
加算された画像データは、更新画像生成部１２０８に送られる。更新画像生成部１２０８には、これと同時に画像蓄積部１２０９に蓄積されていた画像データが与えられ、この２つの画像データに重みをつけて加算して更新画像データを生成する。生成された更新画像データは、反復演算判定部１２１０に与えられ、反復判定値保持部１２１１から与えられる反復判定値を元に演算を反復するか否かを判断する。演算を反復する場合には、データを畳込み積分部１２０２に送り、前記の一連の処理を繰り返す。一方、反復しない場合は、生成された画像データを高解像度画像として出力する。上記一連の処理が行われることにより、反復演算判定部１２１０から出力される画像は、撮影画像よりも高解像度のものとなっている。
【０１００】
また前記ＰＳＦデータ保持部１２０３で保持されるＰＳＦデータには畳込み積分の際に適切な座標位置での計算が必要となるのでモーション推定部より各フレーム毎のモーションが与えられるようになっている。
【０１０１】
なお、上述した第１乃至第４の実施形態に係る撮像装置では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０５からの信号を未処理のままのＲａｗデータとして、別途ソフトウェアにて処理する構成も可能である。
【０１０２】
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の第１の実施形態に係る電子スチルカメラの概略構成を示すブロック図である。
【図２】本発明の第１の実施形態に係る電子スチルカメラの外観構成図である。
【図３】本発明の第１の実施形態に係る電子スチルカメラで行われる処理の概略を示したフローチャートである。
【図４】図３に示した撮影パラメータ設定処理の流れを示すフローチャートである。
【図５】図３に示した撮影モード設定処理の流れを示すフローチャートである。
【図６】露光量と撮影枚数とが対応付けられたテーブルの一例を示す図である。
【図７】露光量と画素混合読み出し後の画素数とが対応付けられたテーブルの一例を示す図である。
【図８】図５に示したフローチャートの他の例を示す図である。
【図９】ＩＳＯ感度と撮影枚数とが対応付けられたテーブルの一例を示す図である。
【図１０】ＩＳＯ感度と画素混合読み出し後の画素数とが対応付けられたテーブルの一例を示す図である。
【図１１】本発明の第１の実施形態に係る電子スチルカメラにて行われる動き推定の処理手順の一例を示すフローチャートである。
【図１２】動き推定における最適類似度推定の概念図を示す図である。
【図１３】動き推定値を使用した参照画像変形における基準画像への近似図である。
【図１４】基準画像と近似画像の加算平均法の一例を説明するための説明図である。
【図１５】基準画像と近似画像の加算平均法の他の例を説明するための説明図である。
【図１６】本発明の第２の実施形態に係る電子スチルカメラで実施される撮影モード設定処理の一例を示すフローチャートである。
【図１７】図１６に示したフローチャートの他の例を示す図である。
【図１８】本発明の第３の実施形態に係る電子スチルカメラで実施される撮影モード設定処理の一例を示すフローチャートである。
【図１９】図１８に示したフローチャートの他の例を示す図である。
【図２０】本発明の第４の実施形態に係る電子スチルカメラで実施される撮影モード設定処理の一例を示すフローチャートである。
【図２１】図２０に示したフローチャートの他の例を示す図である。
【図２２】本発明の第５の実施形態に係る電子スチルカメラで実施される高解像度画像推定の処理手順を示すフローチャートである。
【図２３】図２２に示した処理手順を実現するハードウェア構成の一例を示す。
【図２４】加算平均法による複数枚毎のＳＮ比実験結果を示した図である。
【図２５】画素混合読み出しによる画像復元でのＳＮ比実験結果を示した図である。
【図２６】同じカラーチャンネル隣接４画素における画素混合読み出しについて説明するための説明図である。
【符号の説明】
【０１０４】
５０  撮像部
１０１  絞り
１００  レンズ系
１０２  分光ハーフミラー系
１０３  シャッタ
１０４  ローパスフィルタ
１０５  ＣＣＤ撮像素子
１０６  Ａ／Ｄ変換回路
１０７  ＡＥ用フォトセンサ
１０８  ＡＦモータ
１１０  撮像制御部
１１１  第一画像処理部
１１５  画像用バッファ
１１６  圧縮部
１１７  メモリカードＩ／Ｆ部
１１８  メモリカード
１１９  操作表示部
１２０  撮像条件設定部
１２１  連写判定部
１２２  読み出し画素判定部
２００  切換部
２０１  連写用バッファ
２０２  第二画像処理部
【図１】
2007013269.tif 000005
【図２】
2007013269.tif 000006
【図３】
2007013269.tif 000007
【図４】
2007013269.tif 000008
【図５】
2007013269.tif 000009
【図６】
2007013269.tif 000010
【図７】
2007013269.tif 000011
【図８】
2007013269.tif 000012
【図９】
2007013269.tif 000013
【図１０】
2007013269.tif 000014
【図１１】
2007013269.tif 000015
【図１２】
2007013269.tif 000016
【図１３】
2007013269.tif 000017
【図１４】
2007013269.tif 000018
【図１５】
2007013269.tif 000019
【図１６】
2007013269.tif 000020
【図１７】
2007013269.tif 000021
【図１８】
2007013269.tif 000022
【図１９】
2007013269.tif 000023
【図２０】
2007013269.tif 000024
【図２１】
2007013269.tif 000025
【図２２】
2007013269.tif 000026
【図２３】
2007013269.tif 000027
【図２４】
2007013269.tif 000028
【図２５】
2007013269.tif 000029
【図２６】
2007013269.tif 000030