(57)【要約】【課題】簡素な露出制御を可能にする撮像装置等を提供すること。【解決手段】撮像装置は、被写体像を撮像する撮像素子１０３と、撮像素子１０３の複数の画素の画素値を重み付け加算して加算画素値として読み出す読み出し制御部１６０と、重み付け加算における重み付け係数を設定する係数設定部１３０と、重み付け係数に基づいて、撮像部１００の露出制御を行うための露出制御情報を出力する露出制御情報出力部１４０と、を含む。【選択図】      図５
2012028971.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像素子と、
前記撮像素子の複数の画素の画素値を重み付け加算して加算画素値として読み出す読み出し制御部と、
前記重み付け加算における重み付け係数を設定する係数設定部と、
前記重み付け係数に基づいて、撮像部の露出制御を行うための露出制御情報を出力する露出制御情報出力部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記係数設定部は、
第１の撮像モードにおいて、第１の重み付け係数を設定し、
第２の撮像モードにおいて、第２の重み付け係数を設定し、
前記露出制御情報出力部は、
前記第１の重み付け係数の和と前記第２の重み付け係数の和との比を重み付け係数比として求め、前記重み付け係数比に基づく測光評価値を用いて前記露出制御情報を出力することを特徴とする撮像装置。
【請求項３】
請求項２において、
前記係数設定部は、
前記第１の撮像モードにおいて、前記重み付け加算される各画素に対して同じ値の係数を前記第１の重み付け係数として設定し、
前記第２のモードにおいて、前記第１の重み付け係数とは異なる前記第２の重み付け係数を設定し、
前記露出制御情報出力部は、
前記第１の撮像モードにおいて、前記加算画素値から測光評価値を求め、求めた前記測光評価値を用いて前記露出制御情報を出力し、
前記第２の撮像モードにおいて、前記加算画素値に対して前記重み付け係数比を乗算した画素値から前記測光評価値を求め、求めた前記測光評価値を用いて前記露出制御情報を出力することを特徴とする撮像装置。
【請求項４】
請求項１において、
前記重み付け係数に基づいて表示画像の輝度を調整し、調整後の前記表示画像を表示する制御を行う表示制御部を含むことを特徴とする撮像装置。
【請求項５】
請求項４において、
前記係数設定部は、
第１の撮像モードにおいて、第１の重み付け係数を設定し、
第２の撮像モードにおいて、第２の重み付け係数を設定し、
前記表示制御部は、
前記第１の重み付け係数の和と前記第２の重み付け係数の和との比を重み付け係数比として求め、前記重み付け係数比に基づいて前記表示画像の輝度を調整することを特徴とする撮像装置。
【請求項６】
請求項５において、
前記係数設定部は、
前記第１の撮像モードにおいて、前記重み付け加算される各画素に対して同じ値の係数を前記第１の重み付け係数として設定し、
前記第２のモードにおいて、前記第１の重み付け係数とは異なる前記第２の重み付け係数を設定し、
前記表示制御部は、
前記第１の撮像モードにおいて、前記第１の重み付け係数により重み付け加算された前記加算画素値による前記表示画像を表示する制御を行い、
前記第２の撮像モードにおいて、前記第２の重み付け係数により重み付け加算された前記加算画素値に対して、前記重み付け係数比を乗算し、乗算後の前記加算画素値による前記表示画像を表示する制御を行うことを特徴とする撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記加算画素値による画像を低解像フレーム画像として記憶する記憶部と、
前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、
前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、
を含み、
前記読み出し制御部は、
前記加算画素値を取得する単位である受光単位を前記撮像素子の複数の画素毎に設定し、前記受光単位に含まれる複数の画素の画素値を重み付け加算し、前記受光単位を重畳しながら順次画素シフトさせつつ前記加算画素値を読み出し、
前記推定演算部は、
前記受光単位が順次画素シフトされることで得られた複数の加算画素値に基づいて、前記受光単位に含まれる各画素の画素値を推定することを特徴とする撮像装置。
【請求項８】
請求項７において、
前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、
前記推定演算部は、
前記第１、第２のポジションの加算画素値の差分値を求め、
前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、
前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位に含まれる各画素の画素値を求めることを特徴とする撮像装置。
【請求項９】
請求項８において、
前記推定演算部は、
前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を、前記第１、第２のポジションの加算画素値を用いて表し、
前記第１、第２のポジションの加算画素値を含む連続する加算画素値を加算画素値パターンとする場合に、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値パターンとを比較して類似性を評価し、
前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記推定演算部は、
前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値パターンとの誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等に関する。
【背景技術】
【０００２】
昨今のデジタルカメラやビデオカメラには、静止画撮影モードと動画撮影モードを切り替えて使用できるものがある。例えば、動画撮影中にユーザがボタン操作をすることで、動画よりも高解像の静止画を撮影できるものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１４７７１５号公報
【特許文献２】特開２００７−２９５４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この手法では、高解像な静止画を撮影する際に動画撮影が中断されてしまう。あるいは、動画撮影を中断しないために静止画相当の解像度で動画撮影をすると、動画のフレームレートが下がってしまう。このように、高解像な静止画撮影と高フレームレートの動画撮影を両立するという課題がある。
【０００５】
本発明者は、この課題を解決するために、加算読み出しの手法を利用して低解像の動画から高解像の静止画を生成することを考えている。具体的には、動画撮影時に、複数画素の画素値を重み付け加算して撮像素子から読み出し、その重み付け加算により得られた画素値から高解像画像を復元する。
【０００６】
しかしながら、この手法では、重み付け係数が異なると加算読み出しされた画素値のレンジが異なってしまうという課題がある。例えば、自動露出の制御では、同じ露光量であっても重み付け係数の違いにより異なる画素値が読み出されるため、重み付け係数によって異なる制御が必要になる。そのため、自動露出の制御が複雑になってしまう。
【０００７】
なお、特許文献１には、光学系を機械的に画素シフトして動画撮影を行い、その動画から高精細画像を取得する手法が開示されている。また、特許文献２には、ライブビュー表示ゲインに応じて露出制御を行う手法が開示されている。
【０００８】
本発明の幾つかの態様によれば、簡素な露出制御を可能にする撮像装置等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、被写体像を撮像する撮像素子と、前記撮像素子の複数の画素の画素値を重み付け加算して加算画素値として読み出す読み出し制御部と、前記重み付け加算における重み付け係数を設定する係数設定部と、前記重み付け係数に基づいて、撮像部の露出制御を行うための露出制御情報を出力する露出制御情報出力部と、を含む撮像装置に関係する。
【００１０】
本発明の一態様によれば、重み付け係数が設定され、その重み付け係数により重み付け加算されて加算画素値が読み出され、重み付け係数に基づいて露出制御情報が出力される。これにより、簡素な露出制御等が可能になる。
【００１１】
また、本発明の一態様では、前記係数設定部は、第１の撮像モードにおいて、第１の重み付け係数を設定し、第２の撮像モードにおいて、第２の重み付け係数を設定し、前記露出制御情報出力部は、前記第１の重み付け係数の和と前記第２の重み付け係数の和との比を重み付け係数比として求め、前記重み付け係数比に基づく測光評価値を用いて前記露出制御情報を出力してもよい。
【００１２】
このようにすれば、第１の撮像モードと第２の撮影モードの重み付け係数比に基づく測光評価値を用いて露出制御情報が出力されることで、撮像部の露出制御を行うための露出制御情報を出力できる。
【００１３】
また、本発明の一態様では、前記係数設定部は、前記第１の撮像モードにおいて、前記重み付け加算される各画素に対して同じ値の係数を前記第１の重み付け係数として設定し、前記第２のモードにおいて、前記第１の重み付け係数とは異なる前記第２の重み付け係数を設定し、前記露出制御情報出力部は、前記第１の撮像モードにおいて、前記加算画素値から測光評価値を求め、求めた前記測光評価値を用いて前記露出制御情報を出力し、前記第２の撮像モードにおいて、前記加算画素値に対して前記重み付け係数比を乗算した画素値から前記測光評価値を求め、求めた前記測光評価値を用いて前記露出制御情報を出力してもよい。
【００１４】
このようにすれば、第１の撮像モードにおいて、重み付け係数比が乗算されない加算画素値から測光評価値が求められ、第２の撮像モードにおいて、加算画素値に対して重み付け係数比を乗算した画素値から測光評価値が求められる。これにより、第１の撮影モードと第２の撮影モードで露出制御の共通化が可能になり、露出制御を簡素化できる。
【００１５】
また、本発明の一態様では、前記重み付け係数に基づいて表示画像の輝度を調整し、調整後の前記表示画像を表示する制御を行う表示制御部を含んでもよい。
【００１６】
このようにすれば、重み付け係数に基づいて表示画像の輝度を調整することで、重み付け係数に依らない適切な明るさの表示制御等が可能になる。
【００１７】
また、本発明の一態様では、前記係数設定部は、第１の撮像モードにおいて、第１の重み付け係数を設定し、第２の撮像モードにおいて、第２の重み付け係数を設定し、前記表示制御部は、前記第１の重み付け係数の和と前記第２の重み付け係数の和との比を重み付け係数比として求め、前記重み付け係数比に基づいて前記表示画像の輝度を調整してもよい撮像装置。
【００１８】
このようにすれば、第１の撮像モードと第２の撮像モードの重み付け係数比に基づいて表示画像の輝度を調整できる。
【００１９】
また、本発明の一態様では、前記係数設定部は、前記第１の撮像モードにおいて、前記重み付け加算される各画素に対して同じ値の係数を前記第１の重み付け係数として設定し、前記第２のモードにおいて、前記第１の重み付け係数とは異なる前記第２の重み付け係数を設定し、前記表示制御部は、前記第１の撮像モードにおいて、前記第１の重み付け係数により重み付け加算された前記加算画素値による前記表示画像を表示する制御を行い、前記第２の撮像モードにおいて、前記第２の重み付け係数により重み付け加算された前記加算画素値に対して、前記重み付け係数比を乗算し、乗算後の前記加算画素値による前記表示画像を表示する制御を行ってもよい。
【００２０】
このようにすれば、第１の撮像モードにおいて、重み付け係数比が乗算されない加算画素値による表示画像が表示され、第２の撮像モードにおいて、重み付け係数比が乗算された加算画素値による表示画像が表示される。これにより、第１の撮影モードと第２の撮影モードで表示画像を同じ明るさに調整できる。
【００２１】
また、本発明の一態様では、前記加算画素値による画像を低解像フレーム画像として記憶する記憶部と、前記記憶部に記憶された複数の低解像フレーム画像に基づいて、前記受光単位に含まれる各画素の画素値を推定する推定演算部と、前記推定演算部により推定された画素値に基づいて、前記低解像フレーム画像よりも高解像度の高解像フレーム画像を出力する画像出力部と、を含み、前記読み出し制御部は、前記加算画素値を取得する単位である受光単位を前記撮像素子の複数の画素毎に設定し、前記受光単位に含まれる複数の画素の画素値を重み付け加算し、前記受光単位を重畳しながら順次画素シフトさせつつ前記加算画素値を読み出し、前記推定演算部は、前記受光単位が順次画素シフトされることで得られた複数の加算画素値に基づいて、前記受光単位に含まれる各画素の画素値を推定してもよい。
【００２２】
このようにすれば、受光単位を重畳しながら順次画素シフトさせつつ加算画素値が取得され、その加算画素値による低解像フレーム画像が取得される。そして、複数の低解像フレーム画像に基づいて画素値が推定され、その画素値に基づいて高解像フレーム画像が出力される。これにより、簡素な処理により動画から高解像な静止画を得ること等が可能になる。
【００２３】
また、本発明の一態様では、前記画素シフトにより、前記受光単位が、第１のポジションと、前記第１のポジションの次の第２のポジションに順次設定され、前記第１のポジションの受光単位と前記第２のポジションの受光単位が重畳する場合に、前記推定演算部は、前記第１、第２のポジションの加算画素値の差分値を求め、前記第１のポジションの受光単位から重畳領域を除いた第１の受光領域の受光値である第１の中間画素値と、前記第２のポジションの受光単位から前記重畳領域を除いた第２の受光領域の受光値である第２の中間画素値との関係式を、前記差分値を用いて表し、前記関係式を用いて前記第１、第２の中間画素値を推定し、推定した前記第１の中間画素値を用いて前記受光単位に含まれる各画素の画素値を求めてもよい。
【００２４】
このようにすれば、受光単位が重畳しながら順次画素シフトさせつつ読み出された加算画素値から中間画素値を推定し、推定した中間画素値から最終的な推定画素値を求めることができる。これにより、高解像フレーム画像の画素値推定を簡素化できる。
【００２５】
また、本発明の一態様では、前記推定演算部は、前記第１、第２の中間画素値を含む連続する中間画素値を中間画素値パターンとする場合に、前記中間画素値パターンに含まれる中間画素値間の関係式を、前記第１、第２のポジションの加算画素値を用いて表し、前記第１、第２のポジションの加算画素値を含む連続する加算画素値を加算画素値パターンとする場合に、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値パターンとを比較して類似性を評価し、前記類似性の評価結果に基づいて、前記類似性が最も高くなるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２６】
このようにすれば、受光単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【００２７】
また、本発明の一態様では、前記推定演算部は、前記中間画素値間の関係式で表された前記中間画素値パターンと前記加算画素値パターンとの誤差を表す評価関数を求め、前記評価関数の値が最小となるように前記中間画素値パターンに含まれる中間画素値を決定してもよい。
【００２８】
このようにすれば、評価関数の値が最小となるように中間画素値の値を決定することで、中間画素値パターンと加算画素値の類似性が最も高くなるように中間画素値の値を決定できる。
【図面の簡単な説明】
【００２９】
【図１】本実施形態の比較例。
【図２】図２（Ａ）、図２（Ｂ）は、重み付け加算の手法についての説明図。
【図３】図３（Ａ）は、加算画素値のレンジについての説明図。図３（Ｂ）は、露出制御のプログラム線図例。
【図４】本実施形態の露出制御についての説明図。
【図５】本実施形態の撮像装置の構成例。
【図６】本実施形態が行う処理のフローチャート。
【図７】変形例のフローチャート。
【図８】第２変形例のフローチャート。
【図９】撮影モードについての詳細な説明図。
【図１０】画素シフトを行う場合の加算読み出し制御についての説明図。
【図１１】重み付け無しで画素シフトを行う場合の加算読み出し制御についての説明図。
【図１２】重み付け有りで画素シフトを行う場合の加算読み出し制御についての説明図。
【図１３】画素シフトを行わない場合の加算読み出し制御についての説明図。
【図１４】図１４（Ａ）は、重み付け無しで画素シフトを行わない場合の加算読み出し制御についての説明図。図１４（Ｂ）は、重み付け有りで画素シフトを行わない場合の加算読み出し制御についての説明図。
【図１５】重み付け係数についての説明図。
【図１６】図１６（Ａ）は、加算画素値と推定画素値についての説明図。図１６（Ｂ）は、中間画素値についての説明図。
【図１７】中間画素値の推定手法についての説明図。
【図１８】中間画素値の推定手法についての説明図。
【図１９】中間画素値の推定手法についての説明図。
【発明を実施するための形態】
【００３０】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３１】
１．本実施形態の手法
まず、動画撮影中に静止画を撮影する場合の課題について説明し、本実施形態が低解像動画から高解像静止画を取得する手法について説明する。
【００３２】
図１に本実施形態の比較例を示す。この撮像装置は、動画スイッチ１０８をオンすると動画撮影を開始し、撮像部１００が画像を撮像し、動画信号処理回路１１６がその画像を処理して動画データを取得する。そして、動画撮像中に静止画スイッチ１０９をオンすると、一旦動画撮影を停止し、撮像部１００が画像を撮像し、静止画信号処理回路１１７がその画像を処理して静止画データを取得する。
【００３３】
例えば、１２メガピクセルの高画素センサを６０ｆｐｓ（fps: frame per second）で高速駆動することが可能であれば、１２メガピクセルの動画を撮像し、その中の１枚を静止画として取得できる。この場合、動画撮影を中断（像消失）することなく、高解像度の静止画を取得可能である。しかしながら、このような駆動が可能なセンサは現状では存在しない。また、１２メガピクセルの動画を記録すると、記憶容量の増大を招き、結果として記録時間の減少を招くことになる。このように、高フレームレート動画と高解像静止画の両立が困難という課題がある。
【００３４】
この課題に対して、上述の特許文献１には、光学手振れ制御回路からの手振れ制御信号と画素ずらし制御回路からの画素ずらし制御信号を用いて光学像の撮像素子への入射位置をずらすシフト手段により画素ずらしを行い、その画素ずらしされた画像から高解像静止画を得る手法が開示されている。
【００３５】
しかしながら、この手法では、メカ的手法や光学的手法により画素ずらしを行うため、そのシフト量の制御をＸ−Ｙ方向に行う必要がある。そのため、制御の困難さがある上に動画の読み出し時間への影響が考えられ、実用的ではない。また、手振れ制御と画素ずらし制御を両立させるために、制御が複雑になることも考えられる。また、この手法では、動画撮影中に解像度の高い静止画を得られる機会はシャッタを押した時だけであり、シャッターチャンスが限られてしまう。
【００３６】
そこで、本実施形態では、機械的シフトを行わず、４画素の画素値を加算読み出しし、その４画素の位置を各フレームで画素シフトしながら動画を撮影する。そして、その画素シフトにより得られた動画から事後的に高解像静止画を推定し、高フレームレートの動画撮影と任意タイミングでの高解像静止画の取得を可能にする。静止画の推定は、例えば図１５〜図１９で後述する手法により行う。
【００３７】
また、本実施形態では、画素値の読み出しにおいて重み付け加算を行い、高周波成分の再現性をより向上させる。しかしながら、モードに依って異なる重み付け係数を用いた場合、加算読み出しされた画素値のレンジ（信号レベル）がモードに依って異なるため、自動露出の制御や、ライブビュー表示の明るさに影響するという課題がある。
【００３８】
次に、この重み付け加算による課題について具体的に説明し、本実施形態が行う露出制御と表示制御の手法について説明する。
【００３９】
図２（Ａ）、図２（Ｂ）に、本実施形態が行う重み付け加算の手法について模式的に示す。図２（Ａ）に示すように、通常動画モードでは、４画素に同じ重み付けを行い、４画素加算値ａ＝１・ｖ１＋１・ｖ２＋１・ｖ３＋１・ｖ４を取得する。この場合、重み付け係数（第１の重み付け係数）の和は、１＋１＋１＋１＝４である。一方、融合動画モード（例えば、図９に示す動画静止画融合動画１モード）では、４画素全てに同じ重み付けをせずに、例えば４画素加算値ａ＝１・ｖ１＋１／２・ｖ２＋１／２・ｖ３＋１／４・ｖ４を取得する。この場合、重み付け係数（第２の重み付け係数）の和は、１＋１／２＋１／２＋１／４＝２．２５である。
【００４０】
図３（Ａ）に示すように、例えばｖ１〜ｖ４の各画素値のレンジを２５６階調とする。そうすると、Ａ１に示すように、通常動画モードでの４画素加算値ａのレンジは、２５６×４＝１０２４階調となる。一方、融合動画モードでの４画素加算値ａのレンジは、２５６×２．２５＝５７６階調となる。このように、重み付け係数が異なると、４画素加算値のレンジが異なってしまう。
【００４１】
図３（Ｂ）に、露出制御のプログラム線図例を示す。この例では、簡単のため測光評価値を４画素加算値とし、露出時間のプログラム線図を例に説明する。図３（Ｂ）に示すように、４画素加算値が１０２４の場合には、露出時間がＴ１となるように制御され、４画素加算値が５７６の場合には、露出時間がＴ２となるように制御される。このように、各モードの４画素加算値をそのまま用いて、同じプログラム線図で露出制御すると、同じ露光量であっても異なる露出時間に制御されてしまう。また、同じ露出時間にするためには、モード毎にプログラム線図が必要となり、制御が複雑となる。
【００４２】
また、動画のライブビュー表示では、各モードの４画素加算値をそのまま用いて表示を行うと、４画素加算値のレンジの違いによって表示の明るさが異なってしまう。すなわち、融合動画モードでは、通常動画モードに比べて４／２．２５＝１．７８倍＝５ｄＢ程度、表示が暗くなってしまう。
【００４３】
そこで本実施形態では、図４に示すように、融合動画モードでの４画素加算値を１．７８倍にゲインアップし、そのゲインアップした４画素加算値を用いて露出制御を行う。また、融合動画モードでは、ゲインアップした４画素加算値による動画をライブビュー表示する。このように、重み付け係数に応じて適応的にゲインアップすることで、露出制御の簡素化と、適正な明るさの動画表示が可能になる。なお、露出制御は、露出時間の制御だけでなく、絞り値の制御によって行われてもよい。
【００４４】
なお、上述の特許文献２には、ライブビューに表示される画像を撮影者が所望の明るさで表示できるようにすると共に、より好ましい露光状態の画像を撮影可能にする手法が開示されている。しかしながら、この手法では、ライブビューに表示される画像及び、より好ましい露光状態の画像を撮影するための形態について言及されていない。すなわち、重み付け係数に応じた露出制御や表示制御が行われることは言及されていない。
【００４５】
２．撮像装置
図５に、重み付け係数に応じて４画素加算値をゲインアップし、露出制御と表示制御を行う本実施形態の撮像装置の構成例を示す。この撮像装置は、撮像部１００、Ａ／Ｄ変換部１０４、ユーザＩ／Ｆ部１０６、制御部１１３、撮像制御部１１８を含む。
【００４６】
なお、以下では、動画記録時に同時に静止画を取得可能にする処理を「動画静止画融合」と呼び、この処理を行うモードを「融合動画モード」と呼び、この処理に適した動画像を「融合動画」と呼ぶ。この「融合動画」は、高解像度な静止画を生成可能な画像であり、例えば、図１０等で後述する画素シフトにより取得され、図１５〜図１９等で後述する推定手法により静止画を取得可能である。
【００４７】
撮像制御部１１８は、絞り制御部１２０、撮像素子制御部１１９を含む。この撮像制御部１１８は、撮像部１００の駆動や制御を行う。撮像素子制御部１１９は、撮像素子１０３の制御を行い、画素値の読み出しを制御する読み出し制御部１６０と、露出時間の制御を行う露出制御部１６１を含む。
【００４８】
撮像部１００（光学系）は、撮像を行うための光学系であり、撮像レンズ１０１、絞り１０２、例えばＣＭＯＳセンサなどの撮像素子１０３、図示しないシャッタによって構成されている。システムコントローラ１０５からの命令により、絞り制御部１２０が絞り１０２とシャッタを駆動することで、絞り１０２とシャッタの動作が行われる。
【００４９】
Ａ／Ｄ変換部１０４は、撮像部１００による撮像で得られたアナログ信号をデジタルデータに変換する。
【００５０】
システムコントローラ１０５は、本撮像装置（システム）の各部を制御する。システムコントローラ１０５は、重み付け加算に用いる重み付け係数を設定する係数設定部１３０を含む。
【００５１】
ユーザＩ／Ｆ部１０６（スイッチ部）は、ユーザが撮像モードを設定するモードスイッチ１０７や、動画記録のスタートストップを指示する動画スイッチ１０８や、静止画記録を指示する静止画スイッチ１０９を含む。例えば、このユーザＩ／Ｆ部１０６は、タッチパネルや、操作ボタン等により構成される。
【００５２】
外部メモリ１１０は、撮影した動画データや静止画データを記録する。表示装置１１１は、例えば液晶表示装置であり、ライブビュー表示や、再生した動画や静止画の表示を行う。記録媒体１１２は、画像データを記録するためのメディアである。表示装置１１１や記録媒体１１２は、撮像装置に内蔵されてもよく、ＵＳＢ等により着脱可能な外部装置であってもよい。
【００５３】
制御部１１３（信号処理系）は、システムコントローラ１０５、圧縮伸張回路１２１（圧縮／伸張回路、圧縮伸張部）、記録媒体Ｉ／Ｆ回路１２６（記録媒体Ｉ／Ｆ部）、露出制御情報出力部１４０（ＡＥ処理系）、静止画処理部１４１（信号処理系）、動画処理部１４２（信号処理系）、表示制御部１５０（表示処理系）を含む。この制御部１１３は、撮像画像の処理や、各構成要素の制御を行う。
【００５４】
動画処理部１４２は、Ａ／Ｄ変換部１０４からの動画データを処理する。動画処理部１４２は、電子防振回路１１４、ラインメモリ１１５、動画信号処理回路１１６を含む。
【００５５】
電子防振回路１１４は、画像処理により電子的に手ぶれ補正を行う防振回路である。ラインメモリ１１５は、電子防振回路１１４が１画素未満の手振れ補正処理を行うために、１ライン分の画像データを保持する。動画信号処理回路１１６は、電子防振回路１１４からの画像データに対して、輝度信号変換や色差信号変換等の処理を行う。
【００５６】
静止画処理部１４１は、Ａ／Ｄ変換部１０４からの静止画データを処理する。静止画処理部１４１は、静止画信号処理回路１１７、高解像度処理回路１２７（推定演算部）、フレームメモリ１２８（記憶部）を含む。
【００５７】
高解像度処理回路１２７は、動画を高解像化して静止画を推定する高解像度化処理を行う。フレームメモリ１２８は、高解像度処理回路１２７による高解像度化処理（推定処理）を行うためにフレーム画像を保持する。静止画信号処理回路１１７は、高解像度化処理された静止画に対する画像処理や、通常静止画モードで撮影された静止画に対する画像処理を行う。例えば、静止画信号処理回路１１７は、静止画データに対して輝度信号変換や色差信号変換等の処理を行う。
【００５８】
露出制御情報出力部１４０は、撮像制御部１１８がＡＥ制御（露出制御、AE: Auto Exposure）を行うためのＡＥ制御情報（露出制御情報）を出力する。露出制御情報出力部１４０は、ＡＥ処理回路１２２、ＡＥゲイン設定回路１２３を含む。
【００５９】
ＡＥ処理回路１２２は、Ａ／Ｄ変換部１０４からのデジタル画像データからＡＥ評価値を求める。システムコントローラ１０５は、このＡＥ評価値に基づいて撮像制御部１１８を制御し、絞り制御部１２０は、絞り１０２の設定を行い、撮像素子制御部１１９は、撮像素子１０３の蓄積時間の設定を行う。このようにして、適正な露光となるように制御される。ＡＥゲイン設定回路１２３は、通常動画モードと融合動画モードにおけるＡＥ処理用の画像信号のレンジの違いを調整するためのＡＥゲインを設定する。ＡＥ処理回路１２２は、ＡＥゲインが乗算されたデジタル画像データからＡＥ評価値を求める。
【００６０】
表示制御部１５０は、表示装置１１１に表示画像を表示する制御を行い、表示装置制御回路１２４、表示ゲイン設定回路１２５を含む。なお以下では、記録時のモニタとして用いる場合における、表示制御部１５０の動作を例に説明する。
【００６１】
Ａ／Ｄ変換回路１０４から出力されるデジタル画像データは、動画信号処理回路１１６とシステムコントローラ１０５を経て表示装置制御回路１２４へ入力される。表示装置制御回路１２４は、表示装置１１１へ適正な信号レベルの表示画像を送る制御を行う。表示ゲイン設定回路１２５は、通常動画モードや融合動画モードにおける表示用画像信号のレンジの違いを調整するための表示ゲインを設定する。表示装置制御回路１２４は、表示ゲインが乗算されたデジタル画像データを表示する制御を行う。
【００６２】
圧縮伸張回路１２１は、静止画信号処理回路１１７により生成された静止画の画像データの圧縮処理や、動画信号処理回路１１６により生成された動画の画像データの圧縮処理や、圧縮された画像データの伸張処理を行う。例えば、圧縮伸張回路１２１は、画像データをＪＰＥＧ画像に圧縮したり、動画データをＭＰＥＧ画像に圧縮する。
【００６３】
記録媒体Ｉ／Ｆ回路１２６は、記録媒体１１２に対してリードやライトの制御を行う。システムコントローラ１０５は、外部メモリ１１０に対してリードやライトのアクセスを行う。
【００６４】
３．ＡＥ制御、表示制御
次に、上記の撮像装置が行うＡＥ制御と表示制御について詳細に説明する。まず、図３（Ｂ）等で説明した重み付け係数により生じるＡＥ処理や表示処理の課題について、具体例を挙げて説明し、次に、本実施形態が行う処理のフローチャートについて説明する。以下では、図１０等で後述する４画素加算値ｇｒ１１から画素値ＧＲ１１を算出し、そのＧＲ１１を用いてＡＥゲインの設定を行った場合の計算例について説明する。
【００６５】
重み付け係数をＷ１、Ｗ２、Ｗ３、Ｗ４とすると、下式（１）により表される。また、４画素加算値ｇｒ１１は、下式（２）により表される。ここで、ｒはｒ≧１の実数であり、ＧＲ１１、ＧＲ１３、ＧＲ３１、ＧＲ３３は、加算読み出しされる画素値である。
Ｗ１＝１，Ｗ２＝１／ｒ，Ｗ３＝１／ｒ，Ｗ４＝１／ｒ２      ・・・  （１）
Ｗ＊ｇｒ１１＝Ｗ１＊ＧＲ１１＋Ｗ２＊ＧＲ１３＋
Ｗ３＊ＧＲ３１＋Ｗ４＊ＧＲ３３            ・・・  （２）
【００６６】
例えば、ｒ＝２とすると、上式（１）より下式（３）が成り立つ。このとき、４画素加算値として下式（４）が取得されたとする。
Ｗ１＝１，Ｗ２＝１／２，Ｗ３＝１／２，Ｗ４＝１／４      ・・・  （３）
Ｗ＊ｇｒ１１＝５７６                                    ・・・  （４）
【００６７】
ここで、実際には重み付け加算されているにも拘わらず、重み付け係数を考慮せずにＡＥ制御を行い、画素値ＧＲ１１を飽和値までゲインアップした場合を仮定する。画素値ＧＲ１１の飽和値を１０２４であるとする。また、画像全面に同じ明るさの光が当っていると仮定し、ＧＲ１１＝ＧＲ１３＝ＧＲ３１＝ＧＲ３３が成り立つとする。
【００６８】
この場合、重み付け係数をＷ１＝Ｗ２＝Ｗ３＝Ｗ４＝１とみなすことになるため、上式（４）より、ＧＲ１１＝５７６／４＝１４４と求まる。この平均値を用いて画素値ＧＲ１１を１０２４にしようとすると、１０２４／１４４＝７．１１倍する必要があることになる。しかしながら、実際の画素値は下式（５）に示すようにＧＲ１１＝２５６であるため、７．１１倍してしまうと、２５６＊７．１１＝１９８９となり飽和値以上の画素値となってしまう。
ＧＲ１１＝５７６／（１＋１／２＋１／２＋１／４）＝２５６  ・・・  （５）
【００６９】
この点、本実施形態では、重み付け係数を考慮してＡＥ制御を行い、ＡＥゲインとして４／（１＋１／２＋１／２＋１／４）＝１．７８を設定する。そのため、４画素加算値ｇｒ１１がゲインアップされて５７６＊１．７８＝１０２４となり、ＧＲ１１＝１０２４／４＝２５６と求まる。この平均値を用いて画素値ＧＲ１１を１０２４にしようとすると、１０２４／２５６＝４倍であり、飽和値以内でＡＥ制御を行うことが可能である。
【００７０】
一方、重み付け加算を行わず、上式（１）においてｒ＝１である場合には、そもそもＷ１＝Ｗ２＝Ｗ３＝Ｗ４＝１であるため、Ｗ＊ｇｒ１１＝１＊２５６＊４＝１０２４となる。そのため、ＡＥゲインには１を設定する。
【００７１】
このように、本実施形態では、重み付け加算を行った時のＡＥゲインには、重み付け加算を行わないときのＡＥゲインと異なる値を設定する。表示制御においても、表示の明るさについて上記と同様の課題が生じるため、重み付け係数に応じて表示ゲインを設定する。なお、上記ではｇｒ１１からＧＲ１１を求める場合について説明したが、他の４画素加算値からも同様にそれぞれの画素の値を求めることができる。
【００７２】
次に、このような重み付け係数に応じてＡＥ制御や表示制御を行う本実施形態の処理について詳細に説明する。図６に、本実施形態が行う処理のフローチャートを示す。
【００７３】
図６に示すように、この処理が開始されると、モードの選択を行う（ステップＳ１）。通常動画モードが選択された場合、絞りを制御し（ステップＳ２）、撮像素子の露出時間等を制御する（ステップＳ３）。次に、画素の読み出し制御を重み付け無し・画素シフト無しに設定し（ステップＳ４）、４画素の加算読み出しを行う（ステップＳ５）。次に、４画素加算値にＡＥゲインを掛けずＡＥ処理を行い（ステップＳ６）、ＡＥ評価値を求め（ステップＳ７）、そのＡＥ評価値により絞り値の設定や露出時間の設定を行う（ステップＳ２、Ｓ３）。また、表示ゲインを掛けずライブビュー表示の制御を行い（ステップＳ８）、ライブビュー画像を表示する（ステップＳ９）。また、撮影された動画を記録する制御を行い（ステップＳ１０）、記録媒体に記録する（ステップＳ１１）。
【００７４】
一方、ステップＳ１において融合動画モードが選択された場合、絞りを制御し（ステップＳ１２）、撮像素子の露出時間等を制御する（ステップＳ１３）。次に、画素の読み出し制御を重み付け有りに設定し（ステップＳ１４）、重み付け係数を設定する（ステップＳ１５）。次に、４画素の加算読み出しを行い（ステップＳ１６）、重み付け係数の和を算出し（ステップＳ１７）、ＡＥゲインと表示ゲインを設定する（ステップＳ１８）。例えば、上式（１）において、融合動画モードではｒ＝３、通常動画モードではｒ＝１とすると、下式（６）よりＡＥゲインと表示ゲインは２．２５に設定される。
（１＋１＋１＋１）／（１＋１／３＋１／３＋１／９）＝２．２５  ・・・  （６）
【００７５】
次に、４画素加算値にＡＥゲインを乗算し（ステップＳ１９）、その画像を用いてＡＥ処理を行い（ステップＳ２０）、ＡＥ評価値を求め（ステップＳ２１）、そのＡＥ評価値により絞り値の設定や露出時間の設定を行う（ステップＳ１２、Ｓ１３）。また、４画素加算値に表示ゲインを乗算し（ステップＳ２２）、そのライブビュー画像の表示制御を行い（ステップＳ２３）、ライブビュー画像を表示する（ステップＳ２４）。また、撮影された動画を記録する制御を行い（ステップＳ２５）、記録媒体に記録する（ステップＳ２６）。この記録する動画には、ゲインは乗じない。
【００７６】
ここで、ＡＥ処理とは、例えば撮像画像に対して測光評価を行うエリアを設定する処理や、露光量に対する絞り値設定の特性や露出時間設定の特性（プログラム線図）を設定する処理である。また、ＡＥ評価値とは、撮像画像に設定されたエリア内の画素値に基づいて求められた測光評価値である。
【００７７】
４．変形例
図７に、本実施形態が行う処理の変形例のフローチャートを示す。この変形例は、モードに依らない処理を共通化した例である。図７に示すように、この処理が開始されると、絞りを制御し（ステップＳ５０）、撮像素子の露出時間等を制御し（ステップＳ５１）、モードの選択を行う（ステップＳ５２）。
【００７８】
通常動画モードが選択された場合、画素の読み出し制御を設定し（ステップＳ５３）、４画素の加算読み出しを行う（ステップＳ５４）。次に、ＡＥ制御（ステップＳ６１、Ｓ６２、Ｓ５０、Ｓ５１）や、表示制御（ステップＳ６４、Ｓ６５）、記録制御（ステップＳ６６、Ｓ６７）を行う。
【００７９】
一方、ステップＳ５２において融合動画モードが選択された場合、画素の読み出し制御を設定し（ステップＳ５５）、重み付け係数を設定する（ステップＳ５６）。次に、４画素の加算読み出しを行い（ステップＳ５７）、重み付け係数の和を算出し（ステップＳ５８）、ＡＥゲインと表示ゲインを設定する（ステップＳ５９）。次に、４画素加算値にＡＥゲインを乗算し（ステップＳ６０）、その画像を用いてＡＥ制御を行う（ステップＳ６１、Ｓ６２、Ｓ５０、Ｓ５１）。また、４画素加算値に表示ゲインを乗算し（ステップＳ６３）、そのライブビュー画像の表示制御を行う（ステップＳ６４、Ｓ６５）。また、動画を記録する制御（ステップＳ６６、Ｓ６７）を行う。
【００８０】
５．第２の変形例
図８に、本実施形態が行う処理の第２変形例のフローチャートを示す。この変形例は、重み付け係数の設定処理を共通化した例である。図８に示すように、この処理が開始されると、絞りを制御し（ステップＳ１００）、撮像素子の露出時間等を制御し（ステップＳ１０１）、読み出し制御を重み付け加算に設定し、モードに応じて画素シフト有り・無しを設定する（ステップＳ１０２）。
【００８１】
次に、重み付け係数を上式（１）に示す値に設定する（ステップＳ１０３）。通常動画モードでは、ｒ＝１に設定され、融合動画モードでは、ｒ＞１に設定される。次に、画素値に重み付けし（ステップＳ１０４）、４画素の加算読み出しを行う（ステップＳ１０５）。次に、重み付け係数の和を算出し（ステップＳ１０６）、ＡＥゲインと表示ゲインを設定する（ステップＳ１０７）。通常動画モードでは、ゲインは１であり、融合動画モードでは、ゲインは下式（７）に示す値である。
４／（１＋１／ｒ＋１／ｒ＋１／ｒ２）      ・・・  （７）
【００８２】
次に、４画素加算値にＡＥゲインを乗算し（ステップＳ１０８）、ＡＥ制御を行う（ステップＳ１０９、Ｓ１１０、Ｓ１００、Ｓ１０１）。また、４画素加算値に表示ゲインを乗算し（ステップＳ１１１）、表示制御を行う（ステップＳ１１２、Ｓ１１３）。また、動画を記録する制御（ステップＳ１１４、Ｓ１１５）を行う。
【００８３】
さて、上述のように、モードに依って異なる重み付け係数を用いた場合、加算読み出しされた画素値のレンジがモードに依って異なるため、自動露出の制御や、ライブビュー表示の明るさに影響するという課題がある。
【００８４】
この点、本実施形態によれば、図５に示すように、撮像装置は、被写体像を撮像する撮像素子１０３と、撮像素子１０３の複数の画素の画素値を重み付け加算して加算画素値として読み出す読み出し制御部１６０と、重み付け加算における重み付け係数を設定する係数設定部１３０と、重み付け係数に基づいて撮像部１００の露出制御を行うための露出制御情報を出力する露出制御情報出力部１４０と、を含む。
【００８５】
これにより、簡素な露出制御等が可能になる。具体的には、重み付け係数に基づいて撮像部１００の露出制御を行うことで、撮影モード別に露出制御を分けずに露出制御を共通化することが可能になる。
【００８６】
ここで、露出制御情報とは、例えば測光評価値であり、あるいは、測光評価値から求められた絞り値や露出時間を表す情報である。露出制御は、これらの情報により絞りや露出時間が設定されることで行われる。
【００８７】
なお、撮像部１００は、コンパクトカメラのように撮像装置と一体に構成されてもよい。あるいは、撮像部１００は、交換レンズ式カメラのように、撮像素子１０３が撮像装置（ボディ）と一体に構成され、絞り１０２や光学系１０１を含む交換レンズが別体に構成されてもよい。
【００８８】
また、本実施形態では、図８のステップＳ１０３で上述のように、係数設定部１３０は、第１の撮像モード（例えば、通常動画モード）において、第１の重み付け係数を設定する。係数設定部１３０は、第２の撮像モード（例えば、融合動画モード）において、第２の重み付け係数を設定する。そして、上式（７）に示すように、露出制御情報出力部１４０は、第１の重み付け係数の和と第２の重み付け係数の和との比を重み付け係数比として求める。露出制御情報出力部１４０は、その重み付け係数比に基づく測光評価値を用いて露出制御情報を出力する。
【００８９】
このようにすれば、重み付け係数比に基づく測光評価値を用いて露出制御情報が出力されることで、撮像部１００の露出制御を行うための露出制御情報を出力できる。
【００９０】
より具体的には、本実施形態では、係数設定部１３０は、第１の撮像モードにおいて、重み付け加算される各画素に対して同じ値の係数Ｗ１＝Ｗ２＝Ｗ３＝Ｗ４＝１を設定し、第２のモードにおいて、重み付け加算される各画素全てに対して同じとはならない値の係数をＷ１＝１，Ｗ２＝Ｗ３＝１／ｒ，Ｗ４＝１／ｒ２（ｒ＞１）設定する。そして、図８のステップＳ１０８〜Ｓ１１０で上述のように、露出制御情報出力部１４０は、第１の撮像モードにおいて、加算画素値（図１０で後述するｇｒ１１等）から測光評価値を求め、第２の撮像モードにおいて、加算画素値に対して重み付け係数比を乗算した画素値から測光評価値を求める。
【００９１】
このようにすれば、第１の撮像モードにおいて、重み付け係数比が乗算されない加算画素値から測光評価値が求められ、第２の撮像モードにおいて、加算画素値に対して重み付け係数比を乗算した画素値から測光評価値が求められる。これにより、ＡＥ処理とＡＥ評価値算出処理（ステップＳ１０９、Ｓ１１０）を、第１の撮影モードと第２の撮影モードで共通化できる。これにより、露出制御やＡＥ回路の共通化が可能になる。
【００９２】
また、本実施形態では、図５に示すように、撮像装置は、重み付け係数に基づいて表示画像の輝度を調整し、調整後の表示画像を表示する制御を行う表示制御部１５０を含む。
【００９３】
これにより、ライブビュー表示を適切な明るさで表示制御すること等が可能になる。すなわち、重み付け係数に基づいて表示画像の輝度を調整することで、重み付け係数に依らない適切な明るさの表示制御が可能になる。
【００９４】
また、本実施形態では、上式（７）に示すように、表示制御部１５０は、第１の重み付け係数の和と第２の重み付け係数の和との比を重み付け係数比として求める。そして、表示制御部１５０は、その重み付け係数比に基づいて表示画像の輝度を調整する。
【００９５】
このようにすれば、第１の撮像モードと第２の撮像モードの重み付け係数比に基づいて表示画像の輝度を調整できる。
【００９６】
より具体的には、本実施形態では、図８のステップＳ１１１〜Ｓ１１３で上述のように、表示制御部１５０は、第１の撮像モード（例えば、通常動画モード）において、第１の重み付け係数Ｗ１＝Ｗ２＝Ｗ３＝Ｗ４＝１により重み付け加算された加算画素値（図１０で後述するｇｒ１１等）による表示画像を表示する制御を行う。表示制御部１５０は、第２の撮像モード（例えば、融合動画モード）において、第２の重み付け係数Ｗ１＝１，Ｗ２＝Ｗ３＝１／ｒ，Ｗ４＝１／ｒ２（ｒ＞１）により重み付け加算された加算画素値に対して重み付け係数比を乗算し、その乗算後の加算画素値による表示画像を表示する制御を行う。
【００９７】
このようにすれば、第１の撮像モードにおいて、重み付け係数比が乗算されない加算画素値による表示画像が表示され、第２の撮像モードにおいて、重み付け係数比が乗算された加算画素値による表示画像が表示される。これにより、ライブビュー表示を、第１の撮影モードと第２の撮影モードで同じ明るさに調整して表示できる。
【００９８】
６．通常動画モード
図９を用いて、本実施形態の撮影モードについて詳細に説明する。まず、通常動画モードについて説明する。このモードは、途中で静止画撮影を行わず動画のみを撮影するモードであり、重み付け無し・画素シフト無しで加算読み出しを行うモードである。
【００９９】
通常動画モードにおける動作を、図５に示す撮像装置を例に説明する。このモードでは、システムコントローラ１０５は、図９に示すモード設定内容に従って、撮像部１００、絞り制御部１２０、撮像素子制御部１１９、制御部１１３の制御を行う。モードスイッチ１０７からの指示によってシステムコントローラ１０５が各種設定を行う。
【０１００】
撮像素子１０３からは、重み付け無し、重畳シフトなしの画素加算信号が読み出される。加算読み出しは、図１３等で後述する手法により行われる。
【０１０１】
ＡＥ制御に用いる画像や、表示に用いる画像は、ゲインアップしない画像であり、記録媒体１１２に記録される画像と同じ画像である。
【０１０２】
撮像素子１０３に結像された被写体像は、電気信号に変換され、順次読み出される。読み出された画像はＡ／Ｄ変換部１０４でデジタル画像に変換された後、電子防振回路１１４に入力される。防振処理された信号は動画信号処理回路１１６により処理されて、輝度色差信号が生成される。
【０１０３】
動画信号処理回路１１６からの画像データは、外部メモリ１１０により保持される。外部メモリ１１０により保持された画像データは、システムコントローラ１０５を介して、圧縮伸張回路１２１に出力され、ＭＰＥＧ４やＭｏｔｉｏｎ−ＪＰＥＧ等のフォーマットに変換される。変換された画像データは、システムコントローラ１０５を介して、再び外部メモリ１１０に格納される。
【０１０４】
外部メモリ１１０に記録された圧縮画像データは、システムコントローラ１０５を介して、記録媒体Ｉ／Ｆ回路１２６に出力され、記録媒体１１２へ記録される。なお、圧縮処理を行わずに、記録媒体１１２に記録することも可能である。
【０１０５】
次に、通常動画モードにおけるＡＥ制御について説明する。Ａ／Ｄ変換部１０４でデジタル画像に変換された画像はＡＥ処理回路１２２へ入力される。ＡＥ処理回路１２２からの画像はシステムコントローラ１０５へ出力され、ＡＥ評価値が求められる。
【０１０６】
絞り制御部１２０が、ＡＥ評価値を用いて絞り１０２の制御を行い、撮像素子制御部１１９が、ＡＥ評価値を用いて撮像素子１０３の蓄積時間制御を行う。これらの制御により、適正な露光値になるようにＡＥ制御が行われる。ＡＥゲイン設定回路１２３は、通常動画モードでのＡＥゲイン（例えば１）を設定し、あるいは、通常動画モードではＡＥゲインを設定しない。
【０１０７】
次に、通常動画モードにおける表示制御について説明する。Ａ／Ｄ変換部１０４でデジタル画像に変換された画像はＡＥ処理回路１２２へ入力される。システムコントローラ１０５は、ＡＥ処理回路１２２からの画像に基づいて、適正な明るさで表示装置１１１に表示を行うための評価値を求める。表示制御部１５０は、評価値に基づいて表示制御を行う。表示ゲイン設定回路１２５は、通常動画モードでの表示ゲイン（例えば１）を設定し、あるいは、通常動画モードでは表示ゲインを設定しない。
【０１０８】
７．通常静止画モード
次に、図９に示す通常静止画モードについて説明する。このモードは、静止画のみを撮影するモードであり、加算読み出しを行わず全画素を読み出すモードである。
【０１０９】
通常静止画モードにおける動作を、図５に示す撮像装置を例に説明する。通常静止画モードでは、システムコントローラ１０５は、図９に示す設定内容に従って撮像部１００、絞り制御部１２０、撮像素子制御部１１９、制御部１１３の制御を行う。このモードでは、高解像度処理回路１２７による推定演算処理を行わない。モードスイッチ１０７からの指示によってシステムコントローラ１０５が各種設定を行う。
【０１１０】
撮像素子１０３からは、重み付け無し、重畳シフトなしの全画素読み出し信号が読み出される。
【０１１１】
ＡＥ制御に用いる画像や、表示に用いる画像は、ゲインアップしない画像であり、記録媒体１１２に記録される画像と同じ画像である。
【０１１２】
撮像素子１０３に結像された被写体像は、電気信号に変換され、順次読み出される。読み出された画像はＡ／Ｄ変換部１０４でデジタル画像に変換された後、高解像度処理回路１２７に入力される。システムコントローラ１０５からの制御信号（指令）により、高解像度処理回路１２７はオフ（非動作状態）に設定される。高解像度処理回路１２７からの信号は、静止画信号処理回路１１７により処理されて、輝度色差信号が生成される。
【０１１３】
静止画信号処理回路１１７からの画像データは、外部メモリ１１０により保持される。外部メモリ１１０により保持された画像データは、システムコントローラ１０５を介して、圧縮伸張回路１２１に出力され、ＲＡＷやＪＰＥＧ等のフォーマットに変換される。変換された画像データは、システムコントローラ１０５を介して、再び外部メモリ１１０に格納される。
【０１１４】
外部メモリ１１０に記録された圧縮画像データは、システムコントローラ１０５を介して、記録媒体Ｉ／Ｆ回路１２６に出力され、記録媒体１１２へ記録される。なお、圧縮処理を行わずに、記録媒体１１２に記録することも可能である。
【０１１５】
通常静止画モードでは、ＡＥ制御時に通常動画モードと同じ読み出し制御により画像を取得し、その画像を用いてＡＥ制御を行う。そのため、ＡＥ制御は、通常動画モードにおけるＡＥ制御と同じ制御である。同様に、表示制御は、通常動画モードと同じ読み出し制御によりライブビュー画像を取得して表示するため、通常動画モードにおける表示制御と同じ制御である。
【０１１６】
８．動画静止画融合動画１モード
次に、図９に示す動画静止画融合動画１モードについて説明する。このモードは、融合動画モードの１つであり、静止画を取得するための融合動画を動画として記録し、静止画の推定は行わないモードである。このモードでは、画素シフト読み出しを行わない。なお、このモードで撮影した融合動画から撮影終了後に高解像静止画を推定して取得することが可能である。
【０１１７】
動画静止画融合動画１モードにおける動作を、図５に示す撮像装置を例に説明する。このモードでは、システムコントローラ１０５は、図９に示すモード設定内容に従って、撮像部１００、絞り制御部１２０、撮像素子制御部１１９、制御部１１３の制御を行う。モードスイッチ１０７からの指示によってシステムコントローラ１０５が各種設定を行う。
【０１１８】
撮像素子１０３からは、重み付け有り、重畳シフト有りの画素加算信号が読み出される。加算読み出しは、図１０等で後述する手法により行われる。例えば、画素値の重み付けは、画素毎にゲインを変える手法により実現される。具体的には、画素ごとにＡ／Ｄ変換回路を有する場合には、Ａ／Ｄ変換時に重み付けを行う。あるいは、画素読み出し回路にゲインを持たせることでアナログ的に重み付けを行ってもよく、Ａ／Ｄ変換後にデジタル処理により重み付けを行ってもよい。
【０１１９】
撮像素子１０３に結像された被写体像は、電気信号に変換され、順次読み出される。読み出された画像はＡ／Ｄ変換部１０４でデジタル画像に変換された後、電子防振回路１１４に入力される。防振処理された信号は動画信号処理回路１１６により処理されて、輝度色差信号が生成される。
【０１２０】
動画信号処理回路１１６からの画像データは、外部メモリ１１０により保持される。外部メモリ１１０により保持された画像データは、システムコントローラ１０５を介して、圧縮伸張回路１２１に出力され、ＭＰＥＧ４やＭｏｔｉｏｎ−ＪＰＥＧ等のフォーマットに変換される。変換された画像データは、システムコントローラ１０５を介して、再び外部メモリ１１０に格納される。
【０１２１】
外部メモリ１１０に記録された圧縮画像データは、システムコントローラ１０５を介して、記録媒体Ｉ／Ｆ回路１２６に出力され、記録媒体１１２へ記録される。なお、圧縮処理を行わずに、記録媒体１１２に記録することも可能である。
【０１２２】
次に、動画静止画融合動画１モードにおけるＡＥ制御について説明する。Ａ／Ｄ変換部１０４でデジタル画像に変換された画像はＡＥ処理回路１２２へ入力される。ＡＥ処理回路１２２からの画像はシステムコントローラ１０５へ出力され、ＡＥ評価値が求められる。
【０１２３】
絞り制御部１２０が、ＡＥ評価値を用いて絞り１０２の制御を行い、撮像素子制御部１１９が、ＡＥ評価値を用いて撮像素子１０３の蓄積時間制御を行う。これらの制御により、適正な露光値になるようにＡＥ制御が行われる。
【０１２４】
このＡＥ制御において、ＡＥゲイン設定回路１２３は、ＡＥゲインの設定を行う。すなわち、通常動画モードにおけるＡＥ画像は重み付け無し、重畳シフト無しの画素加算信号であるのに対して、動画静止画融合動画１モードにおけるＡＥ画像は重み付け有り、重畳シフト有りの画素加算信号である。そのため、上述のように、重み付けのある加算信号と重み付けのない加算信号とでは加算後の信号のレンジ（値）が異なる。ＡＥゲイン設定回路１２３は、ＡＥゲイン（例えば１．７８）を設定することで、通常動画モードと動画静止画融合動画１モードにおける画素加算信号のレンジを揃える。
【０１２５】
次に、通常動画モードにおける表示制御について説明する。Ａ／Ｄ変換部１０４でデジタル画像に変換された画像は、ＡＥ処理回路１２２へ入力される。システムコントローラ１０５内の係数設定部１３０によって設定された、ＡＥゲイン設定回路１２３に入力される係数と同じ値の係数、または表示装置１１１に適した値の係数を、表示ゲイン設定回路１２５に入力する。表示ゲイン設定回路１２５は、ＡＥゲイン設定回路１２３に入力される係数と同じ値を用いて表示装置１１１の特性に合うように表示ゲインを設定する。そして、表示装置制御回路１２４は、その表示ゲインを用いて表示制御を行うことにより、適正な明るさにて表示装置１１１に動画を表示する制御を行う。
【０１２６】
この表示制御において、表示ゲイン設定回路１２５は、表示ゲインの設定を行う。すなわち、上述のように、重み付けのある加算信号と重み付けのない加算信号とでは加算後の信号のレンジが異なる。表示ゲイン設定回路１２５は、表示ゲイン（例えば１．７８）を設定することで、通常動画モードと動画静止画融合動画１モードにおける画素加算信号のレンジを揃える。
【０１２７】
９．動画静止画融合動画２モード
次に、図９に示す動画静止画融合動画２モードについて説明する。このモードは、融合動画モードの１つであり、融合動画を動画として記録し、静止画の推定は行わないモードである。このモードでは、画素シフト読み出しを行う。なお、このモードで撮影した融合動画から撮影終了後に高解像静止画を推定して取得することが可能である。ここで、動画静止画融合動画１モードで説明した動作と同様の動作については、適宜説明を省略する。
【０１２８】
動画静止画融合動画２モードにおける動作を、図５に示す撮像装置を例に説明する。このモードでは、システムコントローラ１０５は、図９に示すモード設定内容に従って、撮像部１００、絞り制御部１２０、撮像素子制御部１１９、制御部１１３の制御を行う。モードスイッチ１０７からの指示によってシステムコントローラ１０５が各種設定を行う。
【０１２９】
撮像素子１０３からは、重み付け有り、重畳シフト有りの画素加算信号が読み出される。加算読み出しは、図１３等で後述する手法により行われる。重み付け加算は、動画静止画融合動画１モードで説明した手法と同様に実現される。
【０１３０】
ＡＥゲイン設定等のＡＥ制御や、表示ゲイン設定等の表示制御は、動画静止画融合動画１モードで説明した手法と同様に行われる。
【０１３１】
１０．動画静止画融合静止画１モード
次に、図９に示す動画静止画融合静止画１モードについて説明する。このモードは、融合動画モードの１つであり、画素シフト読み出しにより融合動画を撮影し、その融合動画から高解像静止画を取得するモードである。なお、動画静止画融合動画１モードで説明した動作と同様の動作については、適宜説明を省略する。
【０１３２】
このモードでは、高解像度処理回路１２７による高解像度静止画処理が行なわれる。すなわち、システムコントローラ１０５からの制御信号により、高解像度処理回路１２７はオン（動作状態）に設定される。Ａ／Ｄ変換部１０４からの画像は、フレームメモリ１２８に一旦格納され、高解像度処理回路１２７により高解像度処理される。例えば、静止画を推定する処理は、図１５〜図１９で後述する手法により行われる。あるいは、その処理は、既知の超解像処理等の他の手法により行われてもよい。高解像度処理回路１２７からの画像は、静止画信号処理回路１１７により処理されて、輝度色差信号が生成される。
【０１３３】
静止画信号処理回路１１７からの画像データは、外部メモリ１１０により保持される。外部メモリ１１０により保持された画像データは、システムコントローラ１０５を介して、圧縮伸張回路１２１に出力され、ＲＡＷやＪＰＥＧ等のフォーマットに変換される。変換された画像データは、システムコントローラ１０５を介して、再び外部メモリ１１０に格納される。
【０１３４】
外部メモリ１１０に記録された圧縮画像データは、システムコントローラ１０５を介して、記録媒体Ｉ／Ｆ回路１２６に出力され、記録媒体１１２へ記録される。なお、圧縮処理を行わずに、記録媒体１１２に記録することも可能である。
【０１３５】
ＡＥゲイン設定等のＡＥ制御や、表示ゲイン設定等の表示制御は、動画静止画融合動画１モードで説明した手法と同様に行われる。
【０１３６】
１１．動画静止画融合静止画２モード
次に、図９に示す動画静止画融合静止画２モードについて説明する。このモードは、融合動画モードの１つであり、画素シフトを行わずに融合動画を撮影し、その融合動画から高解像静止画を取得するモードである。なお、動画静止画融合動画２モードで説明した動作と同様の動作については、適宜説明を省略する。
【０１３７】
このモードでは、高解像度処理回路１２７による高解像度静止画処理が行なわれる。すなわち、システムコントローラ１０５からの制御信号により、高解像度処理回路１２７はオン（動作状態）に設定される。Ａ／Ｄ変換部１０４からの画像は、フレームメモリ１２８に一旦格納され、高解像度処理回路１２７により高解像度処理される。例えば、静止画を推定する処理は、図１５〜図１９で後述する手法により行われる。あるいは、その処理は、既知の超解像処理等の他の手法により行われてもよい。このモードでは、画素シフトが行われないため、各フレームで撮影された４画素加算値を補間処理することで、画素シフトに相当する画素値を求める。あるいは、このモードでは、補間処理を行わず、エッジ強調等の手法により高解像化処理を行ってもよい。高解像度処理回路１２７からの画像は、静止画信号処理回路１１７により処理されて、輝度色差信号が生成される。
【０１３８】
ＡＥゲイン設定等のＡＥ制御や、表示ゲイン設定等の表示制御は、動画静止画融合動画１モードで説明した手法と同様に行われる。
【０１３９】
１２．画素シフトを行う場合の加算読み出し制御
次に、撮像素子から加算読み出しを行う手法について詳細に説明する。なお、以下の説明で用いるフレームとは、例えば撮像素子により１つの（１枚の）画像が撮影されるタイミングや、画像処理において１つの画像が処理されるタイミングである。あるいは、画像データにおける１つの画像も適宜フレームと呼ぶ。
【０１４０】
図１０に、各フレームにおいて１画素ピッチで画素シフトを行う場合の説明図を示す。この読み出し制御は、上述の動画静止画融合動画１モード、動画静止画融合静止画１モードにおいて行われる。なお、以下では、撮像素子がベイヤ配列のカラー撮像素子である場合を例に説明する。
【０１４１】
図１０に示すように、第ｎのフレームｆｎ（ｎは自然数）では、下式（８）に示す４画素加算値が読み出される。ここで、Ｗ１，Ｗ２，Ｗ３，Ｗ４は、上式（１）に示す重み付け係数である。また、ＧＲｉｊ，ＧＢｉｊ（ｉ，ｊは自然数）は緑色の画素値を表し、Ｒｉｊは赤色の画素値を表し、Ｂｉｊは青色の画素値を表す。また、ｇｒｉｊ，ｇｒｉｊは緑色の４画素加算値を表し、ｒｉｊは赤色の４画素加算値を表し、ｂｉｊは青色の４画素加算値を表す。
ｇｒ１１＝Ｗ１＊ＧＲ１１＋Ｗ２＊ＧＲ１３＋Ｗ３＊ＧＲ３１＋Ｗ４＊ＧＲ３３，
ｒ１２＝Ｗ１＊Ｒ１２＋Ｗ２＊Ｒ１４＋Ｗ３＊Ｒ３２＋Ｗ４＊Ｒ３４，
ｂ２１＝Ｗ１＊Ｂ２１＋Ｗ２＊Ｂ２３＋Ｗ３＊Ｂ４１＋Ｗ４＊Ｂ４３，
ｇｂ２２＝Ｗ１＊ＧＢ２２＋Ｗ２＊ＧＢ２４＋Ｗ３＊ＧＢ４２＋Ｗ４＊ＧＢ４４
・・・（８）
【０１４２】
第ｎ＋１のフレームｆｎ＋１では、同色画素で見た場合に１画素だけ水平方向に画素シフトされ、下式（９）に示す４画素加算値が読み出される。
ｇｒ１３＝Ｗ１＊ＧＲ１３＋Ｗ２＊ＧＲ１５＋Ｗ３＊ＧＲ３３＋Ｗ４＊ＧＲ３５，
ｒ１４＝Ｗ１＊Ｒ１４＋Ｗ２＊Ｒ１６＋Ｗ３＊Ｒ３４＋Ｗ４＊Ｒ３６，
ｂ２３＝Ｗ１＊Ｂ２３＋Ｗ２＊Ｂ２５＋Ｗ３＊Ｂ４３＋Ｗ４＊Ｂ４５，
ｇｂ２４＝Ｗ１＊ＧＢ２４＋Ｗ２＊ＧＢ２６＋Ｗ３＊ＧＢ４４＋Ｗ４＊ＧＢ４６
・・・（９）
【０１４３】
第ｎ＋２のフレームｆｎ＋２では、同色画素で見た場合に１画素だけ水平方向及び垂直方向に画素シフトされ、下式（１０）に示す４画素加算値が読み出される。
ｇｒ３３＝Ｗ１＊ＧＲ３３＋Ｗ２＊ＧＲ３５＋Ｗ３＊ＧＲ５３＋Ｗ４＊ＧＲ５５，
ｒ３４＝Ｗ１＊Ｒ３４＋Ｗ２＊Ｒ３６＋Ｗ３＊Ｒ５４＋Ｗ４＊Ｒ５６，
ｂ４３＝Ｗ１＊Ｂ４３＋Ｗ２＊Ｂ４５＋Ｗ３＊Ｂ６３＋Ｗ４＊Ｂ６５，
ｇｂ４４＝Ｗ１＊ＧＢ４４＋Ｗ２＊ＧＢ４６＋Ｗ３＊ＧＢ６４＋Ｗ４＊ＧＢ６６
・・・（１０）
【０１４４】
第ｎ＋３のフレームｆｎ＋３では、同色画素で見た場合に１画素だけ垂直方向に画素シフトされ、下式（１１）に示す４画素加算値が読み出される。
ｇｒ３１＝Ｗ１＊ＧＲ３１＋Ｗ２＊ＧＲ３３＋Ｗ３＊ＧＲ５１＋Ｗ４＊ＧＲ５３，
ｒ３２＝Ｗ１＊Ｒ３２＋Ｗ２＊Ｒ３４＋Ｗ３＊Ｒ５２＋Ｗ４＊Ｒ５４，
ｂ４１＝Ｗ１＊Ｂ４１＋Ｗ２＊Ｂ４３＋Ｗ３＊Ｂ６１＋Ｗ４＊Ｂ６３，
ｇｂ４２＝Ｗ１＊ＧＢ４２＋Ｗ２＊ＧＢ４４＋Ｗ３＊ＧＢ６２＋Ｗ４＊ＧＢ６４
・・・（１１）
【０１４５】
なお、上記では撮像素子の一部の画素について説明したが、他の画素の読み出し制御についても同様である。例えば、フレームｆｎでは、ｇｒ１１と同様にｇｒ１５，ｇｒ１９等も読み出される。
【０１４６】
図１１に、上記の加算読み出し制御において、ｒ＝１である場合の説明図を示す。上式（１）より、ｒ＝１の場合、Ｗ１＝Ｗ２＝Ｗ３＝Ｗ４＝１である。図１１に示すように、例えば、撮像素子の全画素の画素値が２５６であるものとする。この場合、上式（８）〜（１１）より、各４画素加算値として１０２４が読み出される。
【０１４７】
図１２に、上記の加算読み出し制御において、ｒ＝２である場合の説明図を示す。上式（１）より、ｒ＝２の場合、Ｗ１＝１，Ｗ２＝Ｗ３＝１／２，Ｗ４＝１／４である。図１２に示すように、例えば、撮像素子の全画素の画素値が２５６であるものとすると、例えばフレームｆｎでは、重み付けされた画素値は、Ｗ１＊ＧＲ１１＝２５６，Ｗ２＊ＧＲ１３＝Ｗ３＊ＧＲ３１＝１２８，Ｗ４＊ＧＲ３３＝６４等となる。この場合、上式（８）〜（１１）より、各４画素加算値として５７６が読み出される。
【０１４８】
１３．画素シフトを行わない場合の加算読み出し制御
図１３に、画素シフトを行わない場合の加算読み出し制御についての説明図を示す。この読み出し制御は、上述の通常動画モード、動画静止画融合動画２モード、動画静止画融合静止画２モードにおいて行われる。
【０１４９】
図１３に示すように、下式（１２）に示す４画素加算値ｇｒｉｊ、下式（１３）に示す４画素加算値ｒｉｊ、下式（１４）に示す４画素加算値ｂｉｊ、下式（１５）に示す４画素加算値ｇｂｉｊが読み出される。
ｇｒ１１＝Ｗ１＊ＧＲ１１＋Ｗ２＊ＧＲ１３＋Ｗ３＊ＧＲ３１＋Ｗ４＊ＧＲ３３，
ｇｒ１３＝Ｗ１＊ＧＲ１５＋Ｗ２＊ＧＲ１７＋Ｗ３＊ＧＲ３５＋Ｗ４＊ＧＲ３７，
ｇｒ３１＝Ｗ１＊ＧＲ５１＋Ｗ２＊ＧＲ５３＋Ｗ３＊ＧＲ７１＋Ｗ４＊ＧＲ７３，
ｇｒ３３＝Ｗ１＊ＧＲ５５＋Ｗ２＊ＧＲ５７＋Ｗ３＊ＧＲ７５＋Ｗ４＊ＧＲ７７
・・・（１２）
【０１５０】
ｒ１２＝Ｗ１＊Ｒ１２＋Ｗ２＊Ｒ１４＋Ｗ３＊Ｒ３２＋Ｗ４＊Ｒ３４，
ｒ１４＝Ｗ１＊Ｒ１６＋Ｗ２＊Ｒ１８＋Ｗ３＊Ｒ３６＋Ｗ４＊Ｒ３８，
ｒ３２＝Ｗ１＊Ｒ５２＋Ｗ２＊Ｒ５４＋Ｗ３＊Ｒ７２＋Ｗ４＊Ｒ７４，
ｒ３４＝Ｗ１＊Ｒ５６＋Ｗ２＊Ｒ５８＋Ｗ３＊Ｒ７６＋Ｗ４＊Ｒ７８
・・・（１３）
【０１５１】
ｂ２１＝Ｗ１＊Ｂ２１＋Ｗ２＊Ｂ２３＋Ｗ３＊Ｂ４１＋Ｗ４＊Ｂ４３，
ｂ２３＝Ｗ１＊Ｂ２５＋Ｗ２＊Ｂ２７＋Ｗ３＊Ｂ４５＋Ｗ４＊Ｂ４７，
ｂ４１＝Ｗ１＊Ｂ６１＋Ｗ２＊Ｂ６３＋Ｗ３＊Ｂ８１＋Ｗ４＊Ｂ８３，
ｂ４３＝Ｗ１＊Ｂ６５＋Ｗ２＊Ｂ６７＋Ｗ３＊Ｂ８５＋Ｗ４＊Ｂ８７
・・・（１４）
【０１５２】
ｇｂ２２＝Ｗ１＊ＧＢ２２＋Ｗ２＊ＧＢ２４＋Ｗ３＊ＧＢ４２＋Ｗ４＊ＧＢ４４，
ｇｂ２４＝Ｗ１＊ＧＢ２６＋Ｗ２＊ＧＢ２８＋Ｗ３＊ＧＢ４６＋Ｗ４＊ＧＢ４８，
ｇｂ４２＝Ｗ１＊ＧＢ６２＋Ｗ２＊ＧＢ６４＋Ｗ３＊ＧＢ８２＋Ｗ４＊ＧＢ８４，
ｇｂ４４＝Ｗ１＊ＧＢ６６＋Ｗ２＊ＧＢ６８＋Ｗ３＊ＧＢ８６＋Ｗ４＊ＧＢ８８
・・・（１５）
【０１５３】
図１４（Ａ）に、上記の加算読み出し制御において、ｒ＝１である場合の説明図を示す。上式（１）より、ｒ＝１の場合、Ｗ１＝Ｗ２＝Ｗ３＝Ｗ４＝１である。図１４（Ａ）に示すように、例えば、撮像素子の全画素の画素値が２５６であるものとする。この場合、上式（１２）〜（１５）より、各４画素加算値として１０２４が読み出される。
【０１５４】
図１４（Ｂ）に、上記の加算読み出し制御において、ｒ＝２である場合の説明図を示す。上式（１）より、ｒ＝２の場合、Ｗ１＝１，Ｗ２＝Ｗ３＝１／２，Ｗ４＝１／４である。図１４（Ｂ）に示すように、例えば、撮像素子の全画素の画素値が２５６であるものとすると、重み付けされた画素値は、例えばＷ１＊ＧＲ１１＝２５６，Ｗ２＊ＧＲ１３＝Ｗ３＊ＧＲ３１＝１２８，Ｗ４＊ＧＲ３３＝６４等となる。この場合、上式（１２）〜（１５）より、各４画素加算値として５７６が読み出される。
【０１５５】
１４．推定処理
図１５〜図１９を用いて、重み付け加算された加算画素値から高解像画像を推定する処理について説明する。
【０１５６】
なお、以下の説明で用いる受光単位（画素群）とは、加算読み出しされる複数の画素を含む撮像素子上の領域を表し、その受光単位に含まれる複数の画素の画素値が重み付け加算されることで加算画素値が取得される。
【０１５７】
また、以下の説明では、撮像素子の画素が直交２軸の座標系で配列される場合に、一方の軸に沿った方向を水平方向と呼び、他方の軸に沿った方向を垂直方向と呼ぶ。例えば、水平方向は、撮像動作における水平走査方向である。また、以下の説明では、画像データ上の方向についても適宜、直交２軸の一方の軸に沿った方向を水平方向と呼び、他方の軸に沿った方向を垂直方向と呼ぶ。
【０１５８】
図１５に示すように、加算読み出しの重み係数をｃ１、ｃ２、ｃ３、ｃ４とする。ｃ１＝１とすると、重み係数は下式（１６）に示す比率関係のルールをとる（ｒは、ｒ≧１の実数）。
ｃ１＝１，ｃ２＝１／ｒ，ｃ３＝１／ｒ，ｃ４＝１／ｒ２  ・・・  （１６）
【０１５９】
以下では、説明を簡単にするために、ｒ＝２とおき、下式（１７）とする。
ｃ１＝１、ｃ２＝１／２、ｃ３＝１／２、ｃ４＝１／４  ・・・  （１７）
【０１６０】
図１６（Ａ）に、受光単位の説明図を示す。ｖｉｊは、加算画素値から推定される推定画素値であり、撮像素子の各画素に対応する画素値である。受光単位は、ｖｉｊの４画素毎に設定され、各受光単位からの読み出しにより４画素加算値ａｉｊが取得される。隣り合う受光単位は、重畳領域を有する。例えば、ａ００とａ１０は、ｖ１０，ｖ０１で重畳する。
【０１６１】
例えば、画素シフトを行うモードでは、フレームｆｎ〜ｆｎ＋３において、それぞれ４画素加算値ａ００，ａ１０，ａ０１，ａ１１が読み出される。また、画素シフトを行わないモードでは、４画素加算値ａ００，ａ２０，・・・が読み出され、４画素加算値ａ１０，ａ０１，ａ１１は、周辺の４画素加算値ａ００，ａ２０，・・・から補間により求められる。
【０１６２】
図１６（Ｂ）に、中間画素値（中間推定画素値）の説明図を示す。本実施形態の推定処理では、まず水平方向の高解像化を行って中間画素値ｂｉｊを求め、そのｂｉｊを垂直方向に高解像化して推定画素値ｖｉｊを求める。中間画素値ｂｉｊは、ｖｉｊ，ｖｉ（ｊ＋１）に対応する。垂直方向に隣り合うｂｉｊは、重畳領域を有する。例えば、ｂ００とｂ０１は、ｖ０１で重畳する。なお、本実施形態では、垂直方向に高解像化してｂｉｊを求め、水平方向に高解像化してｖｉｊを求めてもよい。
【０１６３】
図１７（Ａ）に示すように、重み付け画素加算重畳シフトサンプリングにより検出される水平方向の最初の行に注目し、シフト順に重み付け画素加算値をａ００、ａ１０、ａ２０とする。このとき、下式（１８）が成り立つ。
ａ００＝ｃ１ｖ００＋ｃ２ｖ０１＋ｃ３ｖ１０＋ｃ４ｖ１１
ａ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＋ｃ３ｖ２０＋ｃ４ｖ２１  ・・・  （１８）
【０１６４】
また、下式（１９）に示すようにｂ００、ｂ１０、ｂ２０を定義し、上式（１７）を代入する。
ｂ００＝ｃ１ｖ００＋ｃ２ｖ０１＝ｖ００＋（１／２）ｖ０１
ｂ１０＝ｃ１ｖ１０＋ｃ２ｖ１１＝ｖ１０＋（１／２）ｖ１１
ｂ２０＝ｃ１ｖ２０＋ｃ２ｖ２１＝ｖ２０＋（１／２）ｖ２１  ・・・  （１９）
【０１６５】
次に、上式（１７）、（１９）を用いて上式（１８）を変形すると、下式（２０）が成り立つ。
ａ００＝ｖ００＋（１／２）ｖ０１＋（１／２）ｖ１０＋（１／４）ｖ１１
＝ｂ００＋（１／２）ｂ１０，
ａ１０＝ｖ１０＋（１／２）ｖ１１＋（１／２）ｖ２０＋（１／４）ｖ２１
＝ｂ１０＋（１／２）ｂ２０                    ・・・  （２０）
【０１６６】
上式（２０）において、ａ００、ａ１０に所定の係数（所定の重み係数）を掛けて差分δｉ０を取り、上式（１９）を使って変形すると、下式（２１）が成り立つ。
δｉ０＝ａ１０−２ａ００
＝（１／２）ｖ２０＋（１／４）ｖ２１−（２ｖ００＋ｖ０１）
＝（１／２）ｂ２０−２ｂ００                        ・・・  （２１）
【０１６７】
ｂ００を未知数とすると、下式（２２）に示すように、中間画素値ｂ１０、ｂ２０をｂ００の関数として求めることができる。
ｂ００＝（未知数），
ｂ１０＝２（ａ００−ｂ００），
ｂ２０＝４ｂ００＋２δｉ０＝４ｂ００＋２（ａ１０−２ａ００）・・・  （２２）
【０１６８】
このように、ｂ００を未知数（初期変数）として高精細な中間画素値｛ｂ００，ｂ１０，ｂ２０｝の組合せパターンが求められる。同様にして、２行目、３行目においてもｂ０１、ｂ０２を未知数として中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンが求められる。
【０１６９】
次に、未知数ｂ００を求める手法について説明する。図１９に示すように、重み付け重畳シフトサンプリングにより検出されるサンプリング画素値によるパターン｛ａ００，ａ１０｝と中間画素値｛ｂ００，ｂ１０，ｂ２０｝によるパターンを比較する。そして、その誤差Ｅが最小になる未知数ｂ００を導出し、中間画素値ｂ００として設定する。
【０１７０】
このとき、上式（２０）に示すように、サンプリング画素値｛ａ００，ａ１０｝は、中間画素値｛ｂ００，ｂ１０，ｂ２０｝の異なる重み付けによる隣接値の加算値となる。そのため、単純にこれらを比較しても正しい推定値が得られない。そこで、図１８に示すように、中間画素値に重み付けをして比較を行う。具体的には、中間画素値｛ｂｉｊ，ｂ（ｉ＋１）ｊ｝の重み付けが、ｃ３＝ｃ１／２、ｃ４＝ｃ２／２であることを利用すると、下式（２３）が成り立つことが分かる。
ａｉｊ＝ｂｉｊ＋（１／２）ｂ（ｉ＋１）ｊ      ・・・  （２３）
【０１７１】
この上式（２３）による重み付けを考慮すると、下式（２４）に示す評価関数Ｅｊが求められる。そして、この評価関数Ｅｊにより、パターン｛ａ００，ａ１０｝と中間推定画素値｛ｂ００，ｂ１０，ｂ２０｝の類似性評価を行う。
【数１】
2012028971.tif 000003
【０１７２】
上式（２２）を用いると、評価関数Ｅｊは、ｂ００を初期変数とした関数で表される。したがって、図１９に示すように、Ｅｊを最小にする未知数ｂ００（＝α）を求め、ｂ００の値を決定できる。そして、推定したｂ００の値を上式（２２）に代入し、ｂ１０，ｂ２０が求められる。なお、ｂ００が取り得る値の範囲は０≦ｂ００≦ａ００であるので、この範囲にて評価関数Ｅｊの最小値を求めればよい。同様に、２行目、３行目においても、中間画素値｛ｂ０１，ｂ１１，ｂ２１｝、｛ｂ０２，ｂ１２，ｂ２２｝の組合せパターンをｂ０１，ｂ０２を未知数として求められる。
【０１７３】
なお、ｂｉｊからｖｉｊを推定する処理は、上述のａｉｊからｂｉｊを推定する手法と同様に行われる。すなわち、ｖ００を未知数として、ｖ００，ｖ０１，ｖ０２の関係式をｂ００，ｂ０１の差分値を用いて求める。次に、｛ｖ００，ｖ０１，ｖ０２｝と｛ｂ００，ｂ０１｝の誤差の評価関数を求め、その評価関数が最小となるｖ００を求め、求めたｖ００を関係式に代入してｖ０１，ｖ０２を求める。
【０１７４】
さて、上述のように、動画撮影中に静止画を撮影する場合、高フレームレートの動画と高解像静止画の両立が困難であるという課題がある。また、超解像処理では、大負荷の処理であることから、処理回路の規模が増大してしまう等の課題がある。
【０１７５】
この点、本実施形態によれば、受光単位が撮像素子の複数の画素毎に設定され、その受光単位に含まれる複数の画素の画素値が重み付け加算されて加算画素値（受光値）として読み出され、低解像フレーム画像が取得される。そして、取得された低解像フレーム画像が記憶され、記憶された複数の低解像フレーム画像に基づいて、受光単位に含まれる各画素の画素値が推定される。推定された画素値に基づいて、低解像フレーム画像よりも高解像度の高解像フレーム画像が出力される。このとき、低解像フレーム画像は、受光単位を重畳しながら順次画素シフトさせつつ加算画素値が読み出されて取得される。そして、受光単位が順次画素シフトされることで得られた複数の加算画素値に基づいて、受光単位に含まれる各画素の画素値が推定される。
【０１７６】
例えば、図１６（Ａ）で上述のように、受光単位が４画素毎に設定される。第１フレームで加算画素値ａ００、ａ２０等が加算読み出しされ、ａ００、ａ２０等による低解像フレーム画像が取得される。そして、ａ１０、ａ３０等による低解像フレーム画像、ａ１１、ａ３１等による低解像フレーム画像、ａ０１、ａ２１等による低解像フレーム画像が順次取得される。例えば、ａ００、ａ１０、ａ１１、ａ０１を取得する受光単位は、１画素分ずつシフトされ、２画素ずつ重畳している。これらの画像は、例えば図５に示すフレームメモリ１２８（記憶部）に記憶される。そして、高解像度処理回路１２７（推定演算部）により推定画素値ｖｉｊが推定される。静止画信号処理回路１１７（画像出力部）によりｖｉｊが処理され、撮像素子の解像度相当の高解像画像が出力される。
【０１７７】
これにより、簡素な処理で動画から高解像画像を取得することが可能になる。例えば、上述の中間画素値の推定を用いて推定処理を簡素化できる。また、高解像静止画は、低解像動画の任意タイミングのものを生成できるため、ユーザは、決定的瞬間の高解像静止画を容易に得ることができる。また、撮影時には低解像動画を取得することで高フレームレートで撮影し、必要に応じて高解像静止画を取得できる。
【０１７８】
より具体的には、本実施形態では、図１６（Ａ）に示すように、受光単位が第１のポジションａ００と次の第２のポジションａ１０に順次設定される。これらの受光単位はｖ１０、ｖ１１を含む領域において重畳する。そして、図１７で上述のように、これらの受光単位から得られた加算画素値の差分値δｉ０が求められる。図１６（Ｂ）に示すように、第１の中間画素値ｂ００は、受光単位ａ００から重畳領域ｖ１０、ｖ１１を除いた第１の受光領域ｖ００、ｖ０１の受光値である。第２の中間画素値ｂ２０は、受光単位ａ１０から重畳領域ｖ１０、ｖ１１を除いた第２の受光領域ｖ２０、ｖ２１の受光値である。そして、上式（２２）に示すように、ｂ００とｂ２０の関係式が差分値δｉ０を用いて表される。その関係式を用いて第１、第２の中間画素値ｂ００，ｂ２０が推定され、推定された第１の中間画素値ｂ００を用いて受光単位の各画素の画素値が求められる。
【０１７９】
このようにすれば、重畳シフトされた加算画素値から中間画素値を一旦推定し、その重畳シフトされた中間画素値から推定画素値を求めることで、高解像画像の推定処理を簡素化できる。例えば、２次元フィルタの繰り返し演算（例えば特開２００９−１２４６２１号公報）や、初期値の設定に適当な部分を探索（例えば特開２００８−２４３０３７号公報）する等の複雑な処理が不要となる。
【０１８０】
また、本実施形態では、図１８で上述のように、中間画素値ｂ００，ｂ２０を含む連続する（連続する順番の）中間画素値｛ｂ００、ｂ１０、ｂ２０｝を中間画素値パターンとする。この中間画素値間の関係式が加算画素値ａ００，ａ１０を用いて表される。また、加算画素値ａ００，ａ１０を含む連続する加算画素値｛ａ００、ａ１０｝を加算画素値パターンとする。そして、中間画素値パターンと加算画素値パターンとを比較して類似性が評価され、その評価結果に基づいて、類似性が最も高くなるように中間画素値ｂ００、ｂ１０、ｂ２０が決定される。
【０１８１】
このようにすれば、受光単位が重畳されながら画素シフトされることで取得された複数の加算画素値に基づいて、中間画素値を推定できる。
【０１８２】
より具体的には、本実施形態では、上式（２２）、（２４）に示すように、中間画素値間の関係式で表された中間画素値パターン｛ｂ００、ｂ１０、ｂ２０｝と加算画素値パターン｛ａ００、ａ１０｝との誤差を表す評価関数Ｅｊが求められる。そして、図１９に示すように、その評価関数Ｅｊの値が最小となるように中間画素値ｂ００、ｂ１０、ｂ２０が決定される。
【０１８３】
このようにすれば、誤差を評価関数で表し、その評価関数の極小値に対応する中間画素値を求めることで、中間画素値の値を推定できる。例えば、上述のように最小二乗法を用いて未知数を求めることで、簡素な処理で中間画素推定の初期値を設定できる。
【０１８４】
ここで、以上の実施形態では、露出制御情報出力部１４０や表示制御部１５０を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。この場合、ＣＰＵは、例えば図６〜図８に示すフローチャートの処理を実行する。
【０１８５】
また、以上の実施形態では、静止画処理部１４１を構成する各部をハードウェアで構成することとしたが、これに限定されるものではない。例えば、パソコン等の公知のコンピュータシステムを画像処理装置として用い、静止画処理部１４１の各部が行う処理を実現するためのプログラムをコンピュータシステムのＣＰＵが実行することによって、静止画処理部１４１の各部が行う処理をソフトウェアとして実現してもよい。
【０１８６】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（露出制御、加算画素値等）と共に記載された用語（ＡＥ制御、４画素加算値等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、露出制御情報出力部、表示制御部、静止画処理部、制御部、撮像制御部、撮像部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１８７】
１００  撮像部、１０１  撮像レンズ、１０２  絞り、１０３  撮像素子、
１０４  Ａ／Ｄ変換部、１０５  システムコントローラ、１０６  ユーザＩ／Ｆ部、
１０７  モードスイッチ、１０８  動画スイッチ、１０９  静止画スイッチ、
１１０  外部メモリ、１１１  表示装置、１１２  記録媒体、１１３  制御部、
１１４  電子防振回路、１１５  ラインメモリ、１１６  動画信号処理回路、
１１７  静止画信号処理回路、１１８  撮像制御部、１１９  撮像素子制御部、
１２０  絞り制御部、１２１  圧縮伸張回路、１２２  ＡＥ処理回路、
１２３  ＡＥゲイン設定回路、１２４  表示装置制御回路、
１２５  表示ゲイン設定回路、１２６  記録媒体Ｉ／Ｆ回路、
１２７  高解像度処理回路、１２８  フレームメモリ、１３０  係数設定部、
１４０  露出制御情報出力部、１４１  静止画処理部、１４２  動画処理部、
１５０  表示制御部、１６０  読み出し制御部、１６１  露出制御部、
ａｉｊ  画素加算値、ｂｉｊ  中間画素値、δｉ０  差分値、Ｅｊ  評価関数、
ｖｉｊ  推定画素値、ｆｎ  フレーム、Ｗ１〜Ｗ４  重み付け係数
【図１】
2012028971.tif 000004
【図２】
2012028971.tif 000005
【図３】
2012028971.tif 000006
【図４】
2012028971.tif 000007
【図５】
2012028971.tif 000008
【図６】
2012028971.tif 000009
【図７】
2012028971.tif 000010
【図８】
2012028971.tif 000011
【図９】
2012028971.tif 000012
【図１３】
2012028971.tif 000013
【図１４】
2012028971.tif 000014
【図１５】
2012028971.tif 000015
【図１６】
2012028971.tif 000016
【図１７】
2012028971.tif 000017
【図１８】
2012028971.tif 000018
【図１９】
2012028971.tif 000019
【図１０】
2012028971.tif 000020
【図１１】
2012028971.tif 000021
【図１２】
2012028971.tif 000022