(57)【要約】【課題】高解像度の撮影ができる撮像装置、電子機器、画像処理装置及び画像処理方法等を提供すること。【解決手段】撮像装置は、結像光学系１０が、撮像素子２０に対して被写体Ｏｂｊの像を結像させ、画素シフト制御部が、撮像素子２０に結像された被写体Ｏｂｊの像がシフト量ｓずつずれてサンプリングされるように制御する。シフト量ｓずつシフトされながら撮像素子２０により各撮像動作が行われる場合に、記憶部が、各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶する。そして、画像生成部が、複数のフィールド画像に基づいてフレーム画像を生成し、生成されたフレーム画像を各フィールドにおいて順次出力する。【選択図】      図１
2011035737.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子に対して被写体の像を結像させる結像光学系と、
前記撮像素子に結像された前記被写体の像がシフト量ｓずつずれてサンプリングされるように制御する画素シフト制御部と、
前記シフト量ｓずつシフトされながら前記撮像素子により各撮像動作が行われる場合に、前記各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶する記憶部と、
前記複数のフィールド画像に基づいてフレーム画像を生成し、生成された前記フレーム画像を各フィールドにおいて順次出力する画像生成部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記画像シフト制御部は、
各サイクルにおいて、前記被写体の像を前記シフト量ｓずつシフトさせるシフト動作を複数回行い、
前記画像生成部は、
前記各サイクルの期間よりも短い期間の各フィールドにおいて、生成された前記フレーム画像を順次出力することを特徴とする撮像装置。
【請求項３】
請求項１又は２において、
前記撮像素子に結像される前記被写体の像の空間周波数帯域の上限が周波数ｆｍとなるように調整する光学的フィルタ処理を行う光学的フィルタ処理部と、
前記フレーム画像をカットオフ周波数ｆｃで帯域制限処理する帯域制限処理部と、
を含み、
ｆｃ≦ｆｍ≦１／２ｓを満たすことを特徴とする撮像装置。
【請求項４】
請求項３において、
前記光学的フィルタ処理部は、
フォーカス制御により前記光学的フィルタ処理を行うことを特徴とする撮像装置。
【請求項５】
請求項３又は４において、
前記被写体の像の空間周波数をカットオフ周波数ｆｏで帯域制限する光学的ローパスフィルタと、
画素開口の一辺の長さがａの開口制限マスクと、
を含み、
前記撮像素子の画素ピッチがｐである場合に、ａ≦ｓ≦ｐと、ｆｍ≦ｆｏとを満たすことを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記画像生成部は、
前記各撮像動作のうちの今回の撮像動作により得られた第ｋのフィールド画像と、前記各撮像動作のうちのｎ−１回前から前回までの撮像動作により得られた第ｋ−（ｎ−１）〜第ｋ−１のフィールド画像（ｋ、ｎは自然数）とを合成して前記フレーム画像を生成することを特徴とする撮像装置。
【請求項７】
請求項１乃至５のいずれかにおいて、
前記画像生成部は、
第ｍのフレーム画像の画素の画素値を、第ｍの撮像動作よりも前の第１の撮像動作により得られた第１のフィールド画像の前記画素に対応する画素値と、第ｍの撮像動作より後の第ｎの撮像動作により得られた第ｎのフィールド画像（ｍ、ｎは自然数）の前記画素に対応する画素値とを時間的に補間することで生成することを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記画素シフト制御部は、
ズーム時において、前記シフト量ｓを小さくしてシフト動作を行うことを特徴とする撮像装置。
【請求項９】
複数の撮像素子と、前記複数の撮像素子に対して被写体の像を結像させる複数の結像光学系とを有する複眼撮像ユニットと、
前記複数の撮像素子の各撮像素子に結像された前記被写体の像がシフト量ｓずつずれてサンプリングされるように制御する画素シフト制御部と、
前記シフト量ｓずつシフトされながら前記各撮像素子により各撮像動作が行われる場合に、前記各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶する記憶部と、
前記複数のフィールド画像に基づいてフレーム画像を生成し、生成された前記フレーム画像を各フィールドにおいて順次出力する画像生成部と、
を含むことを特徴とする撮像装置。
【請求項１０】
各画素グループが被写体の像をピッチｐずつずれてサンプリングするようにグループ分けされた第１〜第ｒ（ｒは自然数）の画素グループを有する撮像素子と、
前記撮像素子に対して前記被写体の像を結像させる結像光学系と、
前記撮像素子による撮像を制御し、前記各画素グループによる撮像をフィールド毎に順次行う撮像制御部と、
前記各画素グループの撮像により各フィールド画像が得られる複数のフィールド画像を記憶する記憶部と、
前記複数のフィールド画像に基づいてフレーム画像を生成し、生成した前記フレーム画像を各フィールドにおいて順次出力する画像生成部と、
を含むことを特徴とする撮像装置。
【請求項１１】
請求項１乃至１０のいずれかに記載の撮像装置を含むことを特徴とする電子機器。
【請求項１２】
撮像素子に結像された前記被写体の像がシフト量ｓずつずれてサンプリングされるように制御する画素シフト制御部と、
前記シフト量ｓずつシフトされながら前記撮像素子により各撮像動作が行われる場合に、前記各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶する記憶部と、
前記複数のフィールド画像に基づいてフレーム画像を生成し、生成された前記フレーム画像を各フィールドにおいて順次出力する画像生成部と、
を含むことを特徴とする画像処理装置。
【請求項１３】
撮像素子に結像された前記被写体の像がシフト量ｓずつずれてサンプリングされるように制御し、
前記シフト量ｓずつシフトされながら前記撮像素子により各撮像動作が行われる場合に、前記各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶し、
前記複数のフィールド画像に基づいてフレーム画像を生成し、生成された前記フレーム画像を各フィールドにおいて順次出力することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、電子機器、画像処理装置及び画像処理方法等に関する。
【背景技術】
【０００２】
昨今、デジタルカメラ、携帯電話端末等においてカメラの小型化のニーズが高まっている。小型化を実現するためには撮像ユニット（撮像系）をコンパクトに構成する必要がある。しかしながら、撮像ユニットのサイズは撮像素子の画素数によって制限されるため、撮像ユニットの小型化を追求すると画素数が制限される。そのため、小型化と解像度を両立させることが難しいという課題がある。
【０００３】
この課題を解決する手法として、画素ずらし方式（例えば、特許文献１、２に開示された手法）の適用が考えられる。この画素ずらし方式では、画素ピッチよりも小さいピッチで撮像素子を機械的にシフトさせ、シフト毎に撮像を行い、撮像された複数の画像を合成することで解像度を向上させる。しかしながら画素ずらし手法では、シフト動作の１サイクル毎に１サイクル分の画像を合成してフレーム画像を生成するため、撮像のフレームレートが低下してしまう。また、フレームレートを向上させるためにシフト動作を高速化すると、露光時間が不足して撮像感度を低下させてしまう。
【０００４】
なお、特許文献３には、表示装置において画素ずらし方式による画像表示を行い、表示の解像度を向上させる手法が開示されている。また、特許文献４には、結像レンズのデフォーカス制御により光学系の伝達関数（ＭＴＦ）を制御して、その伝達関数を光学的ローパスフィルタとして用いる手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１１５０７４号公報
【特許文献２】特開平１１−７５０９７号公報
【特許文献３】特開２００９−１０６１５号公報
【特許文献４】特開平１０−２５７５０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の幾つかの態様によれば、高解像度の撮影ができる撮像装置、電子機器、画像処理装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、撮像素子と、前記撮像素子に対して被写体の像を結像させる結像光学系と、前記撮像素子に結像された前記被写体の像がシフト量ｓずつずれてサンプリングされるように制御する画素シフト制御部と、前記シフト量ｓずつシフトされながら前記撮像素子により各撮像動作が行われる場合に、前記各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶する記憶部と、前記複数のフィールド画像に基づいてフレーム画像を生成し、生成された前記フレーム画像を各フィールドにおいて順次出力する画像生成部と、を含む撮像装置に関係する。
【０００８】
本発明の一態様によれば、被写体の像がシフト量ｓずつずれてサンプリングされるように制御され、シフト量ｓずつシフトされながら撮像素子により各撮像動作が行われ、各撮像動作により各フィールド画像が得られる。そして、得られた複数のフィールド画像が記憶され、その複数のフィールド画像に基づいてフレーム画像が生成され、生成されたフレーム画像が各フィールドにおいて順次出力される。これにより、フレームレートの低下を防止しながら画素シフトによる高解像度撮影が可能になる。
【０００９】
また、本発明の一態様では、前記画像シフト制御部は、各サイクルにおいて、前記被写体の像を前記シフト量ｓずつシフトさせるシフト動作を複数回行い、前記画像生成部は、前記各サイクルの期間よりも短い期間の各フィールドにおいて、生成された前記フレーム画像を順次出力してもよい。
【００１０】
このようにすれば、各サイクルの期間において複数フレームのフレーム画像を出力できる。これにより、各サイクルの期間において１フレームのフレーム画像を出力する場合に比べて、フレームレートを向上できる。
【００１１】
また、本発明の一態様では、前記撮像素子に結像される前記被写体の像の空間周波数帯域の上限が周波数ｆｍとなるように調整する光学的フィルタ処理を行う光学的フィルタ処理部と、前記フレーム画像をカットオフ周波数ｆｃで帯域制限処理する帯域制限処理部と、を含み、ｆｃ≦ｆｍ≦１／２ｓを満たしてもよい。
【００１２】
また、本発明の一態様では、前記光学的フィルタ処理部は、フォーカス制御により前記光学的フィルタ処理を行ってもよい。
【００１３】
このようにすれば、光学的フィルタ処理により空間周波数帯域の上限周波数ｆｍを調整できる。また、ｆｍ≦１／２ｓを満たすことで、シフト量ｓに応じた帯域制限を行うことができる。
【００１４】
また、本発明の一態様では、前記被写体の像の空間周波数をカットオフ周波数ｆｏで帯域制限する光学的ローパスフィルタと、画素開口の一辺の長さがａの開口制限マスクと、含み、前記撮像素子の画素ピッチがｐである場合に、ａ≦ｓ≦ｐと、ｆｍ≦ｆｏとを満たしてもよい。
【００１５】
このようにすれば、ａ≦ｓを満たすことで、シフト動作において画素開口の重複を回避できる。また、ｓ≦ｐを満たすことで、画素ピッチより高解像度の撮像ができる。ｆｍ≦ｆｏを満たすことで、ｆｍ≦ｆｏの範囲でｆｍを調整できる。
【００１６】
また、本発明の一態様では、前記画像生成部は、前記各撮像動作のうちの今回の撮像動作により得られた第ｋのフィールド画像と、前記各撮像動作のうちのｎ−１回前から前回までの撮像動作により得られた第ｋ−（ｎ−１）〜第ｋ−１のフィールド画像（ｋ、ｎは自然数）とを合成して前記フレーム画像を生成してもよい。
【００１７】
また、本発明の一態様では、前記画像生成部は、第ｍのフレーム画像の画素の画素値を、第ｍの撮像動作よりも前の第１の撮像動作により得られた第１のフィールド画像の前記画素に対応する画素値と、第ｍの撮像動作より後の第ｎの撮像動作により得られた第ｎのフィールド画像（ｍ、ｎは自然数）の前記画素に対応する画素値とを時間的に補間することで生成してもよい。
【００１８】
このようにすれば、撮像により得られた複数のフィールド画像に基づいてフレーム画像を生成し、生成されたフレーム画像を各フィールドにおいて順次出力できる。
【００１９】
また、本発明の一態様では、前記画素シフト制御部は、ズーム時において、前記シフト量ｓを小さくしてシフト動作を行ってもよい。
【００２０】
このようにすれば、画素シフトを行うことで、ズーム時の解像度低下を補ってズーム撮像の解像度を向上できる。
【００２１】
また、本発明の他の態様は、複数の撮像素子と、前記複数の撮像素子に対して被写体の像を結像させる複数の結像光学系とを有する複眼撮像ユニットと、前記複数の撮像素子の各撮像素子に結像された前記被写体の像がシフト量ｓずつずれてサンプリングされるように制御する画素シフト制御部と、前記シフト量ｓずつシフトされながら前記各撮像素子により各撮像動作が行われる場合に、前記各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶する記憶部と、前記複数のフィールド画像に基づいてフレーム画像を生成し、生成した前記フレーム画像を各フィールドにおいて順次出力する画像生成部と、を含む撮像装置に関係する。
【００２２】
本発明の他の態様によれば、複眼撮像ユニットを含むため、各フィールドにおいて複数のフィールド画像を撮像し、その撮像したフィールド画像に基づいて各フィールドで順次フレーム画像を出力できる。これにより、高解像度化やフレームレートの向上が可能になる。
【００２３】
また、本発明の他の態様は、各画素グループが被写体の像をピッチｐずつずれてサンプリングするようにグループ分けされた第１〜第ｒ（ｒは自然数）の画素グループを有する撮像素子と、前記撮像素子に対して前記被写体の像を結像させる結像光学系と、前記撮像素子による撮像を制御し、前記各画素グループによる撮像をフィールド毎に順次行う撮像制御部と、前記各画素グループの撮像により各フィールド画像が得られる複数のフィールド画像を記憶する記憶部と、前記複数のフィールド画像に基づいてフレーム画像を生成し、生成した前記フレーム画像を各フィールドで順次出力する画像生成部と、を含む撮像装置に関係する。
【００２４】
本発明の他の態様によれば、第１〜第ｒの画素グループによりフィールド画像が順次撮像されるため、各画素グループの撮像期間をフィールドレートより長くできる。これにより、感度向上が可能になる。また、各フィールドで順次フレーム画像が生成されるため、フレームレート向上が可能になる。
【００２５】
また、本発明の他の態様は、上記のいずれかに記載の撮像装置を含む電子機器に関係する。
【００２６】
また、本発明の他の態様は、撮像素子に結像された前記被写体の像がシフト量ｓずつずれてサンプリングされるように制御する画素シフト制御部と、前記シフト量ｓずつシフトされながら前記撮像素子により各撮像動作が行われる場合に、前記各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶する記憶部と、前記複数のフィールド画像に基づいてフレーム画像を生成し、生成された前記フレーム画像を各フィールドにおいて順次出力する画像生成部と、を含む画像処理装置に関係する。
【００２７】
また、本発明の他の態様は、撮像素子に結像された前記被写体の像がシフト量ｓずつずれてサンプリングされるように制御し、前記シフト量ｓずつシフトされながら前記撮像素子により各撮像動作が行われる場合に、前記各撮像動作により各フィールド画像が得られる複数のフィールド画像を記憶し、前記複数のフィールド画像に基づいてフレーム画像を生成し、生成された前記フレーム画像を各フィールドにおいて順次出力する画像処理方法に関係する。
【図面の簡単な説明】
【００２８】
【図１】本実施形態の撮像装置の基本構成例。
【図２】撮像部の詳細な構成例。
【図３】図３（Ａ）、図３（Ｂ）は、本実施形態の基本動作例。
【図４】本実施形態の基本動作例。
【図５】本実施形態の詳細な構成例。
【図６】本実施形態のモードの具体例。
【図７】フレーム画像の合成手法。
【図８】フレーム画像の合成手法。
【図９】本実施形態のカラー撮像を行う場合の動作例。
【図１０】レンズ駆動部の詳細な構成例。
【図１１】光学的フィルタ処理によるＭＴＦの調整の説明図。
【図１２】光学的フィルタ処理によるＭＴＦの調整の説明図。
【図１３】本実施形態の撮像装置の第１の変形例。
【図１４】第１の変形例の撮像部の詳細な構成例。
【図１５】図１５（Ａ）、図１５（Ｂ）は、第１の変形例の動作説明図。
【図１６】本実施形態の撮像装置の第２の変形例。
【図１７】第２の変形例のズーム時の動作説明図。
【図１８】第２の変形例の第１の動作例。
【図１９】第２の変形例の第１の動作例。
【図２０】第２の変形例の第２の動作例。
【図２１】第２の変形例の第２の動作例。
【図２２】複眼撮像ユニットの変形例。
【図２３】第３の変形例の動作例。
【図２４】第３の変形例の動作例。
【図２５】第３の変形例の詳細な構成例。
【図２６】電子機器の構成例。
【発明を実施するための形態】
【００２９】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３０】
１．基本構成例
図１に、撮像装置の基本構成例を示す。この撮像装置は、レンズ１０（広義には、結像光学系）、撮像部２０（撮像素子）を含み、フレームレートの低下を防止しながら、画素ずらし方式による高解像度化を行うための装置である。
【００３１】
レンズ１０は、被写体Ｏｂｊの像を撮像部２０の撮像面（受光面）に結像させる。レンズ１０は、例えば複数のレンズにより構成され、フォーカスレンズが光軸（ｚ軸）に沿った方向に駆動されることで、被写体像をフォーカス（合焦）する。図１のＣ１に示すように、このレンズ１０に対して、図示しないレンズ駆動部により画素ずらし制御（画素シフト制御）が行われる。具体的には、レンズ１０は、光軸と直交するｘ軸（またはｙ軸）に沿った方向にシフト量ｓずつシフト（移動）される。このとき、レンズ１０がｓずつシフトされるのに従って、撮像面上の被写体像もシフト量ｓずつシフトされる。
【００３２】
撮像部２０は、レンズ１０により結像された被写体Ｏｂｊの像を撮像する。具体的には、レンズ１０のシフト動作ごとに撮像を行って、被写体像がｓずつシフトしてサンプリングされた複数のフィールド画像を取得する。
【００３３】
図１のＣ２に示すように、シフト量ｓに応じて被写体像の帯域制限（光学的フィルタ処理）が行われる。具体的には、フォーカス制御によりデフォーカス量が調整（デフォーカス制御）され、レンズ１０のＭＴＦ（Modulation Transfer Function。広義には、光学的伝達関数）が調整される。そして、調整されたＭＴＦの空間周波数特性により被写体像が帯域制限される。例えば、図１２で後述するように、ｓが小さい程デフォーカス量も小さくなるように制御され、ＭＴＦの帯域幅が広くなるように調整される。ここで、デフォーカス量は、例えば、ピントが合ったとき（フォーカス位置、合焦位置）の焦点と、デフォーカス時における焦点との距離である。
【００３４】
なお、上記構成例では、レンズ１０がシフト量ｓずつシフトされることで画素ずらし制御が行われる場合を例に説明した。但し、本実施形態では、撮像部２０がシフト量ｓずつシフトされることで画素ずらし制御が行われてもよい。
【００３５】
図２に、撮像部の詳細な構成例を示す。図２に示す撮像部２０は、撮像素子３０（広義には、光電変換素子）、画素開口制限マスク４０、光学的ローパスフィルタ５０（広義には、光学フィルタ）を含む。
【００３６】
撮像素子３０は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサにより構成され、受光面に受光した被写体像を撮像する。画素開口制限マスク４０は、撮像素子３０の受光面に設けられ、撮像素子３０の画素開口を制限するためのマスクである。光学的ローパスフィルタ５０は、例えば水晶光学フィルタにより構成され、撮像素子３０により撮像される被写体像の空間周波数帯域を制限する。このフィルタ５０は、シフト量ｓの最小設定値ｓminに対応するカットオフ周波数ｆｏ（例えばｆｏ＝１／２ｓmin）をもつ。
【００３７】
図２に示すように、撮像面には、標準撮像エリアＡ１（第１の撮像エリア）、ズームエリアＡ２（第２の撮像エリア）が設定される。Ａ１、Ａ２は、標準撮像時、ズーム撮像時における被写体Ｏｂｊの撮像対象領域に対応する。そして、Ａ１、Ａ２が設定されることで、フィールド画像のＡ１、Ａ２に対応する領域の画像に基づいてフレーム画像が合成される。本実施形態では、Ａ１により撮像画像を取得する場合に画素ずらしを行うことで、撮像画像の解像度より低い解像度の小型の撮像素子を用いることができる。あるいは、Ａ２により撮像する場合に画素ずらしを行うことで、画素数の減少を補い、高解像のズーム画像を撮像できる。
【００３８】
ここで、撮像素子３０及びマスク４０の画素ピッチをｐとし、マスク４０の画素開口の一辺の長さをａとする。このとき、撮像素子３０の解像度より高解像度の撮像を行うために、シフト量ｓはｓ＜ｐの範囲（例えばｓ≦ｐ／２）に設定される。また、シフト動作の前後で画素開口が重ならないように、画素開口ａはａ≦ｓmin（例えばａ≦ｐ／２）の範囲に設定される。
【００３９】
なお、上記のシフト量ｓ、画素ピッチｐ、画素開口の一辺の長さａの単位は、例えばμｍ（マイクロメートル）である。また、カットオフ周波数ｆｏの単位は、例えばμｍ−１（パーマイクロメートル）である。
【００４０】
２．基本動作例
図３（Ａ）〜図５を用いて、本実施形態の基本動作例について説明する。図３（Ａ）には、１サイクルにつき４回のシフト動作を行う動作例を模式的に示す。なお、以下では便宜的に、被写体像が紙面に対して固定され、その固定された被写体像に対して画素がシフトされるものとして説明する。
【００４１】
図３（Ａ）のＤ１に示すように、画素シフトしない初期位置（基本位置）に設定され、被写体像が撮像される。Ｄ２に示すように、ｘ軸に沿った方向にシフト量δｘ（例えば、δｘ＝ｐ／２）だけ画素シフトされた第１のシフト位置に設定され、被写体像が撮像される。Ｄ３に示すように、さらにｙ軸に沿った方向にシフト量δｙ（例えば、δｙ＝ｐ／２）だけ画素シフトされた第２のシフト位置に設定され、被写体像が撮像される。Ｄ４に示すように、さらにｘ軸に沿った方向にシフト量−δｘだけシフトされた第３のシフト位置に設定され、被写体像が撮像される。そして、これら一連のシフト動作を１サイクルの画素ずらし制御とし、再び初期位置に戻って次のサイクルの画素ずらし制御が行われる。
【００４２】
図３（Ｂ）に、１サイクルにつき２回のシフト動作を行う動作例を模式的に示す。Ｄ５に示すように、初期位置において撮像が行われ、Ｄ６に示すように、シフト量δｘ、δｙだけシフトされたシフト位置に設定され、撮像が行われる。そして、この２回のシフト動作を１サイクルとして、画素ずらし制御が行われる。
【００４３】
図４に、本実施形態のタイミングチャート例を示す。ここで、フィールド画像は、各シフト動作において撮像された画像のことである。また、フレーム画像は、フィールド画像を合成することで得られた画像であり、動画や静止画の各フレームにおける画像のことである。なお、以下では、１サイクルで４回のシフト動作が行われる場合を例に説明する。
【００４４】
図４のＥ１に示すように、撮像開始前にフォーカス制御が行われ、被写体像のピントが調整される。Ｅ２に示すように、第１のフィールドｆ１の露光期間において、ｆ１のフィールド画像が撮像される。Ｅ３に示すように、ｆ１の読み出し期間においてシフト動作が行われ、第１のシフト位置に設定される。第２のフィールドｆ２の露光期間において、ｆ２のフィールド画像が撮像される。そして、各フィールドにおいて同様のシフト動作と撮像が繰り返され、第３のフィールドｆ３のフィールド画像、第４のフィールドｆ４のフィールド画像、・・・が取得される。
【００４５】
Ｅ４に示すように、ｆ４のフィールド画像が撮像されると、ｆ１〜ｆ４のフィールド画像が合成されて第１のフレームＦ１のフレーム画像が生成される。そして、フィールドｆ４において、そのＦ１のフレーム画像が出力される。続いて第５のフィールドｆ５のフィールド画像が撮像されると、ｆ２〜ｆ５のフィールド画像が合成されて第２のフレームＦ２のフレーム画像が生成される。そして、フィールドｆ５において、そのＦ２のフレーム画像が出力される。このようにして、フィールド毎に順次フレーム画像が出力される。
【００４６】
なお、本実施形態では、シフト動作のサイクル毎にフレーム画像が出力されてもよい。すなわち、Ｅ５に示すように、ｆ１〜ｆ４のフィールド画像が合成されてＦ１のフレーム画像が生成され、Ｅ６に示すように、ｆ５〜ｆ８のフィールド画像が合成されてＦ２のフレーム画像が生成されてもよい。
【００４７】
３．詳細な構成例
図５に、撮像装置の詳細な構成例を示す。この撮像装置は、撮像素子３０、画像処理装置１００、レンズ駆動部２００（光学系駆動部）、モード選択部２３０、画像記録部２１０、モニター表示部２２０を含む。画像処理装置１００は、システム制御部１１０（制御部）、撮像信号処理部１２０、ズームエリア選択部１３０（拡大エリア選択部）、撮像データ読出部１４０、フレームバッファメモリ１５０（記憶部）、撮像画像生成部１６０（画像生成部）、フォーカス制御部１７０（光学的フィルタ処理部）、画素シフト制御部１８０（シフト量制御部）を含む。
【００４８】
モード選択部２３０は、フレームレート、ズーム等のモードを画像処理装置１００に指示する。例えば、モード選択部２３０は、ＣＰＵにより構成され、図示しない操作部を介してユーザーにより入力された情報に基づいてモードを選択する。
【００４９】
システム制御部１１０は、画像処理装置１００の各構成要素の制御を行う。具体的には、撮像素子３０と撮像信号処理部１２０を制御して、撮像タイミング（露光タイミング）や撮像画像の読み出しタイミングを制御する。また、モード選択部２３０の指示に基づいてズームエリア選択部１３０にエリア選択信号を出力する。システム制御部１１０は、フォーカス制御部１７０に対して、フォーカス開始の指示信号や、光学的フィルタ処理の帯域幅等の情報を出力する。また、画素シフト制御部１８０に対して、シフト量等の情報や、シフト動作のタイミング信号を出力する。
【００５０】
フォーカス制御部１７０は、システム制御部１１０からの制御信号を受けて、フォーカス制御と光学的フィルタ処理を行う。具体的には、レンズ駆動部２００を制御して被写体像のピント調節（合焦）を行う。また、フォーカス位置（合焦位置）からデフォーカスさせる制御を行うことで、光学系のＭＴＦの帯域幅を調整する。
【００５１】
画素シフト制御部１８０は、システム制御部１１０からの制御信号を受けて、画素シフト制御を行う。具体的には、レンズ駆動部２００に対して、シフト量やシフト位置、シフトタイミングを制御する信号を出力し、シフト動作を制御する。また、撮像データ読出部１４０に対してシフトタイミングを制御する信号を出力し、撮像データの読み出しタイミングを制御する。
【００５２】
撮像素子３０は、各シフト動作においてフィールド画像を撮像する。撮像信号処理部１２０は、例えばＡＦＥ回路（Analog Front-End circuit）、ＶＲＡＭにより構成され、撮像素子の撮像により得られた信号を処理する。すなわち、アナログの撮像信号をＡ／Ｄ変換処理してフィールド画像のデータを生成し、生成したデータをＶＲＡＭに記憶する。
【００５３】
ズームエリア選択部１３０は、システム制御部１１０からのエリア選択信号を受けて、撮像データ読出部１４０に対して撮像エリアを指示する。例えば、上述の図２に示す標準撮像エリアＡ１や、ズームエリアＡ２を指定するエリア選択信号が入力される。そして、ズームエリア選択部１３０は、指定されたエリアに含まれる画素のアドレス（座標）情報等をエリア情報として出力する。
【００５４】
撮像データ読出部１４０は、フィールド画像（フィールド画像のデータ）を撮像信号処理部１２０から読み出す。具体的には、ズームエリア選択部１３０からのエリア情報を受けて、選択エリアの画素値を撮像信号処理部１２０のＶＲＡＭから読み出す。なお、撮像素子３０が、画素にランダムアクセス可能なセンサ（例えば、ＣＭＯＳイメージセンサ）により構成される場合には、撮像データ読出部１４０は、ＡＦＥを介して撮像素子３０の画素値を直接読み出してもよい。この場合、撮像信号処理部１２０は、ＶＲＡＭを含まなくてもよい。
【００５５】
フレームバッファメモリ１５０は、撮像データ読出部１４０により読み出されたフィールド画像を記憶する。具体的には、１フレームの画像を生成するために必要な数のフィールド画像を記憶する。フレームバッファメモリ１５０は、例えば、フレーム画像に対応するアドレス空間をもつメモリにより構成される。そして、フィールド画像の画素値が、シフト動作に応じたアドレスの画素値として格納される。
【００５６】
撮像画像生成部１６０は、フレームバッファメモリ１５０に記憶されたフィールド画像を合成して、フレーム画像（フレーム画像のデータ）を生成する。そして、生成したフレーム画像を各フィールドにおいて出力する。また、撮像画像生成部１６０は、フレーム画像の帯域制限処理（ローパスフィルタ処理）を行う帯域制限処理部１６２を含む。この帯域制限処理部１６２は、例えばｆｃ≦１／２ｓの範囲のカットオフ周波数ｆｃで帯域制限処理を行う。
【００５７】
撮像画像生成部１６０により出力されたフレーム画像は、例えば画像記録部２１０により記録される。あるいは、モニター表示部２２０により画像表示される。画像記録部２２０は、例えばフラッシュメモリーや、光ディスク、磁気テープにより構成される。モニター表示部２２０は、例えば液晶表示装置により構成される。
【００５８】
図６に、本実施形態のモードの具体例を示す。シフトレスモードは、画素ずらしを行わないモードである。このモードでは、画素シフト制御部１８０はシフト制御（レンズシフト）を行わず、撮像画像生成部１６０はフィールド画像と同じ解像度のフレーム画像を生成する。標準モードは、画素ずらしが行われ、１サイクル（４フィールド）で１フレームのモードである。このモードでは、画素シフト制御部１８０はシフト量１／２ｐのシフト制御を行い、撮像画像生成部１６０はフィールド画像の４倍の解像度のフレーム画像を合成する。高フレームレートモードは、画素ずらしが行われ、１サイクル（４フィールド）で４フレームのモードである。このモードでは、画素シフト制御部１８０はシフト量１／２ｐのシフト制御を行う。そして、撮像画像生成部１６０は、フィールド毎にフレーム画像を合成し、フィールド画像の４倍の解像度のフレーム画像を生成する。
【００５９】
ここで、撮像装置を小型化するために撮像素子の画素数を減らすと、撮像画像の解像度を確保できないという課題があった。そして、解像度を向上するために画素ずらし方式の撮像を行うと、フレームレートが低下するという課題があった。例えば、図４のＥ５等で説明したように、１サイクルのシフト動作で１フレームのフレーム画像を生成すると、フィールドレートに比べてフレームレートが遅くなってしまう。
【００６０】
この点、本実施形態によれば、撮像素子３０に対して被写体の像が結像され、その被写体の像がシフト量ｓずつずれてサンプリングされるように制御され、シフト量ｓずつシフトされながら撮像素子３０により各撮像動作が行われ、各撮像動作により各フィールド画像が得られる。そして、得られた複数のフィールド画像が記憶され、その複数のフィールド画像に基づいてフレーム画像が生成され、生成されたフレーム画像が各フィールドにおいて順次出力される。
【００６１】
具体的には、図３（Ａ）等で説明したように、レンズのシフトによって被写体像がシフトされ、第１〜第３のシフト位置に設定されることで、被写体の像がシフト量ｓずつずれてサンプリングされるように制御される。また、図４等で説明したように、各フィールドｆ１、ｆ２、・・においてシフト動作と撮像動作が行われることで、シフト量ｓずつシフトされながら各撮像動作が行われる。フィールドｆ１〜ｆ４、ｆ２〜ｆ５、・・のフィールド画像によりフレームＦ１、Ｆ２、・・のフレーム画像が生成されることで、複数のフィールド画像に基づいてフレーム画像が生成される。そして、そのフレームＦ１、Ｆ２、・・のフレーム画像がフィールドｆ４、ｆ５、・・において出力されることで、フレーム画像が各フィールドにおいて順次出力される。
【００６２】
本実施形態によれば、機械的な画素シフトが行われるため、撮像素子の解像度よりも高解像度の撮像を行うことができる。これにより、解像度の劣化を防止しながら撮像装置の小型化を図ることができる。また、フレーム画像が各フィールドにおいて順次出力されるため、フィールドレートでフレーム画像を出力できる。これにより、フレームレートの低下を防止しながら画素シフトによる高解像度撮影を実現できる。
【００６３】
より具体的には、本実施形態では、各サイクルにおいて複数回のシフト動作が行われ、各サイクルの期間よりも短い期間の各フィールドにおいて、生成されたフレーム画像が出力される。
【００６４】
本実施形態では、１サイクルで４回のシフト動作を行うことが、各サイクルにおいて複数回のシフト動作が行われることに対応する。例えば、本実施形態では、各サイクルの期間が４フィールドに対応し、その４フィールドの期間よりも短い期間である１フィールド毎にフレーム画像を出力してもよい。あるいは、４フィールドの期間よりも短い期間である２フィールド（広義には、複数フィールド）毎にフレーム画像を出力してもよい。
【００６５】
このようにすれば、１サイクルの期間において複数フレームのフレーム画像を出力できる。これにより、１サイクルの期間において１フレームのフレーム画像を出力する場合に比べて、フレームレートを向上できる。
【００６６】
４．フレーム画像の合成手法（空間的補間）
図７、図８を用いて、フレーム画像の合成手法について説明する。なお、以下では、４フィールドにおいて１サイクルのシフト動作が行われる場合を例に説明する。図７は、フレーム画像の欠落画素を空間的に補間する合成手法の説明図である。図７には、説明を簡単にするために、フレーム画像の画素配列の一部を模式的に示す。
【００６７】
図７のＧ１に示すように、フィールドｆｘ（ｘは自然数）において撮像されたフィールド画像により、フレーム画像の座標（ｉ，ｊ）の画素値が得られる（ｉ，ｊは奇数）。同様に、フィールドｆｘ＋１において座標（ｉ＋１，ｊ）、フィールドｆｘ＋２において座標（ｉ＋１，ｊ＋１）、フィールドｆｘ＋３において座標（ｉ，ｊ＋１）の画素値が得られる。そして、フィールドｆｘ＋４において再び座標（ｉ，ｊ）の画素値が得られる。これらの画素値は、フィールド画像において同一画素の画素値であり、画素シフトに対応してフレーム画像における座標（アドレス）が決定される。
【００６８】
２フィールドで１フレームを生成するモード（第１の生成モード）では、２つのフィールド画像を合成してフレーム画像を生成する。例えば、Ｇ２に示すように、フレームＦｘのフレーム画像は、（ｉ，ｊ）の画素値としてｆｘのフィールド画像の画素値を用い、（ｉ＋１，ｊ）の画素値としてｆｘ＋１のフィールド画像の画素値を用いる。このとき、Ｇ３に示すように、（ｉ＋１，ｊ＋１）、（ｉ，ｊ＋１）の画素は欠落画素（合成もとのフィールド画像から画素値が直接得られない画素）となる。この欠落画素の画素値は、画素値のある周辺の画素（例えば（ｉ，ｊ）、（ｉ＋１，ｊ）の画素値）に基づいて補間処理される。
【００６９】
３フィールドで１フレームを生成するモード（第２の生成モード）では、３つのフィールド画像を合成してフレーム画像を生成する。例えば、Ｆｘのフレーム画像は、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）の画素値としてｆｘ、ｆｘ＋１、ｆｘ＋２のフィールド画像の画素値を用いる。そして、（ｉ，ｊ＋１）の欠落画素の画素値は、周辺画素の画素値に基づいて補間処理により求められる。
【００７０】
４フィールドで１フレームを生成するモード（第３の生成モード）では、４つのフィールド画像を合成してフレーム画像を生成する。例えば、Ｆｘのフレーム画像は、（ｉ，ｊ）、（ｉ＋１，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ，ｊ＋１）の画素値としてｆｘ、ｆｘ＋１、ｆｘ＋２、ｆｘ＋３のフィールド画像の画素値を用いる。このモードは、１サイクル分のフィールド画像を用いるため欠落画素が生じず、補間処理は行われない。
【００７１】
このように、本実施形態では、各撮像動作のうちの今回の撮像動作により得られた第ｋのフィールド画像と、各撮像動作のうちのｎ−１回前から前回までの撮像動作により得られた第ｋ−（ｎ−１）〜第ｋ−１のフィールド画像（ｋ、ｎは自然数）とが合成されてフレーム画像が生成されてもよい。
【００７２】
すなわち、図７において、例えばフィールドｆｘ＋３のフィールド画像が、今回の撮像動作により得られた第ｋ（例えばｋ＝ｘ＋３）のフィールド画像に対応する。そして、フィールドｆｘ〜ｆｘ＋２のフィールド画像が、ｎ−１（例えばｎ＝４）回前から前回までの撮像動作により得られた第ｋ−（ｎ−１）〜第ｋ−１のフィールド画像に対応する。
【００７３】
このようにすれば、複数のフィールド画像に基づいてフレーム画像を生成し、生成されたフレーム画像を各フィールドにおいて順次出力できる。
【００７４】
また、本実施形態では、１サイクルのフィールド数よりも少ないフィールドのフィールド画像に基づいてフレーム画像を生成してもよい。例えば、１サイクルのフィールド数が４である場合に、２フィールド（ｎ＝２）や３フィールド（ｎ＝３）のフィールド画像に基づいてフレーム画像を生成してもよい。
【００７５】
このようにすれば、フレーム画像の合成に必要なフィールドを少なくできる。これにより、移動する被写体などを撮影する場合であっても、より鮮明な画像を撮像できる。
【００７６】
５．フレーム画像の合成手法（時間的補間）
図８は、フレーム画像の欠落画素を時間的に補間する合成手法の説明図である。図８には、上述の図７と同様に、フレーム画像の画素配列の一部を模式的に示す。ここで、図８に示す時間Ｔ０〜Ｔ５は、例えば、フィールドｆ０〜ｆ５のフィールド画像の撮像タイミングや、フィールド画像のデータ上の時系列を示す。
【００７７】
図８のＨ１に示すように、フィールドｆ０、ｆ４のフィールド画像の画素値により、フレーム画像の座標（ｉ，ｊ）の画素値Ｖi,j（Ｔ０）、Ｖi,j（Ｔ４）が得られる。フィールドｆ１〜ｆ３においては、（ｉ，ｊ）以外の画素値が取得され、画素値Ｖi,j（Ｔ１）〜Ｖi,j（Ｔ３）は撮像により直接には得られない。
【００７８】
Ｈ２に示すように、これらの画素値Ｖi,j（Ｔ１）〜Ｖi,j（Ｔ３）は、画素値Ｖi,j（Ｔ０）、Ｖi,j（Ｔ４）を時間的に補間処理することで得られる。例えば、下式（１）により画素値Ｖi,j（Ｔ０）、Ｖi,j（Ｔ４）を求めることで、時間的な補間処理が行われる。
【００７９】
Ｖi,j（Ｔ１）＝Ｖi,j（Ｔ０）−１／４・｛Ｖi,j（Ｔ０）−Ｖi,j（Ｔ４）｝，
Ｖi,j（Ｔ２）＝Ｖi,j（Ｔ０）−２／４・｛Ｖi,j（Ｔ０）−Ｖi,j（Ｔ４）｝，
Ｖi,j（Ｔ３）＝Ｖi,j（Ｔ０）−３／４・｛Ｖi,j（Ｔ０）−Ｖi,j（Ｔ４）｝
・・・  （１）
そして、Ｈ３に示すように、座標（ｉ＋１，ｊ）の欠落画素の画素値Ｖi,j（Ｔ２）〜Ｖi,j（Ｔ４）は、フィールドｆ１、ｆ５において得られた画素値Ｖi,j（Ｔ１）、Ｖi,j（Ｔ５）を時間的に補間処理することで求められる。同様に、座標（ｉ＋１，ｊ＋１）、（ｉ＋，ｊ＋１）の欠落画素の画素値も時間的な補間処理により求められる。
【００８０】
このように、本実施形態では、第ｍのフレーム画像の画素の画素値が、第ｍの撮像動作よりも前の第１の撮像動作により得られた第１のフィールド画像の画素に対応する画素値と、第ｍの撮像動作より後の第ｎの撮像動作により得られた第ｎのフィールド画像の画素に対応する画素値とを時間的に補間することで生成されてもよい。
【００８１】
すなわち、図８において、例えばフィールドｆ１における撮像動作が、第ｍの撮像動作に対応し、フィールドｆ０、ｆ４における撮像動作が、第１、第ｎの撮像動作に対応する。そして、画素値Ｖi,j（Ｔ１）が、第ｍのフレーム画像の画素の画素値に対応し、画素値Ｖi,j（Ｔ０）、Ｖi,j（Ｔ４）が、第１、第ｎのフィールド画像の画素に対応する画素値に対応する。
【００８２】
このようにすれば、複数のフィールド画像に基づいてフレーム画像を生成し、生成されたフレーム画像を各フィールドにおいて順次出力できる。そして、時間的な補間処理を行うことで、被写体の動きを補間して滑らかな動画を撮像できる。
【００８３】
６．カラー撮像
図９に、本実施形態がカラー撮像を行う場合の動作例を示す。図９では、ベイヤ（Bayer）配列の単板式の撮像素子を用いて、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の画像を撮像する場合を例に説明する。なお、図９には、フレーム画像の画素の一部を図示し、対応するフィールド画像の画素をＲＧＢの文字により模式的に示す。また、便宜的に、各フレームにおけるフレーム画像をＲＧＢ各々に分けて記載する（後述するＩ３等）。
【００８４】
図９のＩ１に示すように、各フィールドにおいてシフト動作が行われ、ベイヤ配列に対応するＲＧＢのフィールド画像が撮像される。例えば、Ｉ２に示すＧの画素を例に説明する。Ｉ２に示すように、このＧの画素値により、フィールドｆｘにおいてフレーム画像の座標（ｉ，ｊ）の画素値が得られる。そして、フィールドｆｘ＋１、ｆｘ＋２、ｆｘ＋３において、フレーム画像の座標（ｉ＋１，ｊ−１）、（ｉ＋２，ｊ）、（ｉ＋１，ｊ＋１）の画素値が得られる。
【００８５】
これらのフレーム画像における座標は、画素シフトのシフト位置に対応する。すなわち、ｆｘにおいてシフト動作の初期位置に設定され、撮像により（ｉ，ｊ）の画素値が得られる。そして、ｆｘ＋１、ｆｘ＋２、ｆｘ＋３において、レンズが（δｘ、δｙ）＝（＋ｐ／２、−ｐ／２）、（＋ｐ、０）、（＋ｐ／２、＋ｐ／２）だけシフトした第１、第２、第３のシフト位置に設定され、（ｉ＋１，ｊ−１）、（ｉ＋２，ｊ）、（ｉ＋１，ｊ＋１）の画素値が得られる。ここで、ｐは撮像素子の画素ピッチである。
【００８６】
Ｉ３に示すように、４フィールドで１フレームを生成するモードでは、ｆｘ〜ｆｘ＋３のフィールド画像が合成されてフレームＦｘのフレーム画像が生成される。このＦｘのフレーム画像において、例えばＩ４に示す画素にはＲ、Ｇの画素値が存在し、Ｉ５に示す画素にはＧ、Ｂの画素値が存在する。Ｉ４に示す画素の画素値は、ｆｘ、ｆｘ＋２のフィールド画像により得られたものであり、Ｉ５に示す画素の画素値は、ｆｘ＋１、ｆｘ＋３のフィールド画像により得られたものである。一方、Ｉ６に示す画素は、Ｂの画素値がフィールド画像から直接には得られない。このような欠落画素の画素値は、例えばＩ７に示す周囲の画素（フィールド画像からＢの画素値が直接得られる画素）の画素値を補間処理することで求められる。そして、ＲＧＢ各色において欠落画素の画素値が補間処理され、各画素にＲＧＢの画素値が存在するフレーム画像が最終的に合成される。
【００８７】
２フィールドで１フレームを生成するモードでは、ｆｘ〜ｆｘ＋１のフィールド画像が合成されてフレームＦｘのフレーム画像が生成される。また、３フィールドで１フレームを生成するモードでは、ｆｘ〜ｆｘ＋２のフィールド画像が合成されてフレームＦｘのフレーム画像が生成される。これらのモードにおいても同様に、欠落画素の補間処理が行われ、ＲＧＢのフレーム画像が生成される。
【００８８】
７．レンズ駆動部
図１０に、レンズ駆動部の詳細な構成例を示す。このレンズ駆動部は、固定枠ＦＲ（鏡胴、筐体）、レンズ枠ＬＦ（レンズ保持枠）、レンズ１０、圧電素子ＰＺ１、ＰＺ２（アクチュエータ）、板バネＳＰ１、ＳＰ２（バネ、弾性部材）を含む。
【００８９】
レンズ１０は、レンズ枠ＬＦに固定される。レンズ枠ＬＦと固定枠ＦＲの間には、圧電素子ＰＺ１、ＰＺ２と板バネＳＰ１、ＳＰ２が設けられる。レンズ１０は、圧電素子ＰＺ１、ＰＺ２と板バネＳＰ１、ＳＰ２の間に設けられる。ＰＺ１、レンズ１０、ＳＰ１は、ｘ軸に沿った方向に配置され、ＰＺ２、レンズ１０、ＳＰ２は、ｙ軸に沿った方向に配置される。
【００９０】
そして、ＰＺ１、ＰＺ２が伸縮することで、レンズ１０がシフトされる。具体的には、ＰＺ１が＋δｘ伸張することで、ｘ軸方向に沿ったシフト量＋δｘのシフト動作が行われる。また、ＰＺ２が＋δｙ伸張することで、ｙ軸方向に沿ったシフト量＋δｙのシフト動作が行われる。
【００９１】
８．光学的フィルタ処理
図１１、図１２を用いて、光学的フィルタ処理によるＭＴＦの調整について説明する。図１１には、画素ずらし撮像における空間周波数特性の説明図を示す。なお図１１では、シフト量ｓ＝ｐ／２、画素開口ａ＝ｐ／２である場合を例に説明する。
【００９２】
図１１のＪ１に、被写体の明るさの空間分布を示す。Ｊ２に示すように、この空間分布は光学的フィルタ処理によって帯域制限される。そして、Ｊ３に示すように、その帯域制限された像が撮像素子によって撮像される。
【００９３】
これを周波数分布で見ると、Ｊ４に示す被写体の明るさの周波数分布が、Ｊ５に示すＭＴＦ（光学系の周波数特性）によって帯域制限される。このＭＴＦの帯域（カットオフ周波数）は、光学的フィルタ処理により調整され、シフト量ｓ＝ｐ／２に応じて１／２ｓ＝１／ｐに調整される。そして、Ｊ６に示すように、その帯域制限された周波数分布の像が撮像素子によって撮像される。
【００９４】
Ｊ７には、撮像素子の画素開口の配列を示し、Ｊ８には、シフト量ｓだけシフトされたときの画素開口の配列を示す。これらのシフト位置における撮像では、画素開口ａ、画素ピッチｐで被写体像をサンプリングしたフィールド画像が得られる。Ｊ９に示すように、画素開口の周波数分布は、１／ａでゼロクロスするシンク関数が周期１／ｐで繰り返す分布となる。そのため、各フィールド画像の周波数分布は、Ｊ６、Ｊ９に示す分布の積で表され、周期１／ｐで繰り返す分布となる。
【００９５】
一方、Ｊ１０に示すように、フィールド画像を合成したフレーム画像は、画素開口ａ、画素ピッチｐ／２（＝ｓ）で被写体像をサンプリングした画像に相当する。そのため、Ｊ１１に示すように、フレーム画像の周波数分布は、Ｊ６に示す分布と画素開口のシンク関数の積が、周期２／ｐ（＝１／ｓ）で繰り返す分布となる。このとき、Ｊ１２に示すように、ＭＴＦにより１／ｐに帯域制限されることで、サンプリングによる折り返しノイズが防止される。
【００９６】
図１２に、ＭＴＦ調整の具体例を示す。図１２では、シフト動作無し、シフト量ｓ＝ｐ／２、ｐ／３のモードが選択可能な場合を例に説明する。
【００９７】
図１２に示すように、光学系のＭＴＦは、帯域が１／２ｐであるＭＴＦ１、帯域が１／ｐであるＭＴＦ２、または帯域が３／２ｐであるＭＴＦ３に調整される。ＭＴＦ１からＭＴＦ３となるに従って、よりデフォーカス量が小さくピントの合った状態に対応する。
【００９８】
シフト動作無しの第１のモードでは、画素ピッチｐで被写体像がサンプリングされる。第１のモードでは、サンプリングピッチｐに対応してＭＴＦ１が選択され、被写体像が１／２ｐで帯域制限される。第２のモードでは、ピッチｓ＝ｐ／２で被写体像がサンプリングされる。第２のモードでは、サンプリングピッチｓ＝ｐ／２に対応してＭＴＦ２が選択され、被写体像が１／２ｓ＝１／ｐで帯域制限される。第３のモードでは、ピッチｓ＝ｐ／３で被写体像がサンプリングされる。第３のモードでは、サンプリングピッチｓ＝ｐ／３に対応してＭＴＦ３が選択され、被写体像が１／２ｓ＝３／２ｐで帯域制限される。
【００９９】
なお、ＭＴＦ３の帯域３／２ｐは、フォーカス制御によるＭＴＦの調整によって実現されてもよく、フォーカス制御を行わず、光学的ローパスフィルタ（例えば図２のフィルタ５０）のカットオフ周波数ｆｏにより実現されてもよい。
【０１００】
このように、本実施形態では、被写体の像の空間周波数帯域の上限が周波数ｆｍとなるように調整される光学的フィルタ処理が行われてもよい。そして、図５等で説明したように、帯域制限処理部により、フレーム画像がカットオフ周波数ｆｃで帯域制限処理されてもよく、これらのパラメータが、ｆｃ≦ｆｍ≦１／２ｓを満たしてもよい。
【０１０１】
すなわち、図１２において、ＭＴＦ１〜ＭＴＦ３の帯域１／２ｐ、１／ｐ、３／２ｐが周波数ｆｍに対応する。そして、光学系のＭＴＦがＭＴＦ１〜ＭＴＦ３に調整され、シフト量ｓに応じた帯域で被写体像が帯域制限されることが、光学的フィルタ処理に対応する。また、ｓ＝ｐ（シフト無し）、ｐ／２、ｐ／３に応じてｆｍ＝１／２ｐ、１／ｐ、３／２ｐに調整されることが、ｆｍ≦１／２ｓを満たすことに対応する。なお、図１２においてはｆｍ＝１／２ｓの場合を例に説明したが、ｆｍ＜１／２ｓであってもよい。
【０１０２】
このようにすれば、光学的フィルタ処理を行うことで、シフト量ｓに応じて適切に被写体像を帯域制限できる。すなわち、ｆｍ≦１／２ｓの範囲で帯域制限することで、折り返しノイズを防止し、シフト量ｓに応じた撮像帯域を確保できる。
【０１０３】
また、本実施形態では、フォーカス制御により光学的フィルタ処理が行われてもよい。これにより、フォーカス制御によりデフォーカス量が調整されることで、ＭＴＦの帯域の上限周波数ｆｍを調整できる。
【０１０４】
９．第１の変形例
図１３に、撮像装置の第１の変形例を示す。この撮像装置は、レンズ１０、撮像部２０（撮像素子）を含み、ズーム倍率に応じてシフト量ｓを調整し、ズームによる解像度劣化を補償するための装置である。なお、以下では、図１等で説明した構成要素と同一の要素には同一の符号を付し、適宜説明を省略する。
【０１０５】
撮像部２０の撮像面には、標準撮像エリアＡ１、第１のズームエリアＡ２、第２のズームエリアＡ３が設定される。Ａ１、Ａ２、Ａ３には、それぞれ被写体Ｏｂｊの撮像対象領域Ａ１’、Ａ２’、Ａ３’の像が結像される。標準撮像時（ズームなし）は、フィールド画像のＡ１に対応する領域の画像によりフレーム画像が合成される。また、ズーム撮像時は、フィールド画像のＡ２またはＡ３に対応する領域の画像によりフレーム画像が合成される。
【０１０６】
エリアＡ１、Ａ２、Ａ３が設定されたとき、各エリアに応じたシフト量ｓが設定される。そして、その設定されたシフト量ｓでレンズ１０の画素シフト制御が行われる。また、設定されたシフト量ｓに応じてレンズ１０のデフォーカス量が制御され、ＭＴＦの上限帯域ｆｍが調整される。
【０１０７】
図１４に、第１の変形例の撮像部の詳細な構成例を示す。この撮像部２０は、撮像素子３０、画素開口制限マスク４０、光学的ローパスフィルタ５０を含む。
【０１０８】
画素開口制限マスク４０は、エリアＡ１、Ａ２、Ａ３において互いに異なる画素開口をもつ。具体的には、Ａ１のうちＡ２に含まれない画素開口と、Ａ２のうちＡ３に含まれない画素開口と、Ａ３の画素開口とが、互いに異なる。これらの画素開口の一辺の長さは、各エリアに含まれる画素数が少ない程小さくなる。すなわち、ズーム倍率が高いほど小さくなる。
【０１０９】
図１５（Ａ）、図１５（Ｂ）を用いて具体的に説明する。図１５（Ａ）、図１５（Ｂ）には、便宜的に、マスク４０の画素開口の一部を図示する。
【０１１０】
図１５（Ａ）に示すように、Ａ２により撮像が行われる場合、シフト量ｓ＝ｐ／２のシフト動作が行われる。この場合、Ａ２の画素開口の一辺の長さａ２は、ａ２≦ｐ／２である。また、図１５（Ｂ）に示すように、Ａ３により撮像が行われる場合、シフト量ｓ＝ｐ／３のシフト動作が行われる。この場合、Ａ３の画素開口の一辺の長さａ３は、ａ３≦ｐ／３であり、ａ３＜ａ２である。なお、Ａ１により撮像が行われる場合、画素シフトは行われない。この場合、Ａ１の画素開口の一辺の長さａ１は、ａ１≦ｐであり、ａ２＜ａ１である。
【０１１１】
このように、本実施形態では、ズーム時においてシフト量ｓを小さくしてシフト動作が行われてもよい。例えば上述のように、標準エリアＡ１設定時においてｓ＝ｐである場合に、ズームエリアＡ２、Ａ３設定時においてｓ＝ｐ／２、ｐ／３（＜ｐ）であってもよい。
【０１１２】
このようにすれば、ズーム時において画素シフトを行うことで、デジタルズームによる画素数の減少を補うことができる。例えば、２倍デジタルズーム時において、ズームエリアの画素数が標準エリアの１／４になるとする。この場合、ｓ＝ｐ／２のシフト動作を行うことで解像度が４倍になり、標準撮像時と同等の解像度を実現できる。
【０１１３】
また、本実施形態では、ズームエリアの画素開口を標準エリアの画素開口より小さくしてもよい。例えば、ズームエリアの画素開口の一辺の長さがｓ以下に設定されてもよい。
【０１１４】
このようにすれば、ズーム時においてｓが小さく設定された場合であっても、画素シフト時の画素開口の重複を防止できる。また、標準エリアの画素開口がズームエリアの画素開口より大きいことで、シフトを行わない標準撮像時における撮像感度を向上できる。
【０１１５】
なお、本実施形態では、撮像エリアに応じて感度補正を行ってもよい。例えば、画素開口ａ１、ａ２、ａ３の画素の画素値に対して、それぞれ画素開口に対応した係数をかけることで感度補正を行ってもよい。
【０１１６】
１０．第２の変形例（複眼）
図１６に、本実施形態の撮像装置の第２の変形例を示す。この撮像装置は、複眼撮像ユニット８０を含み、カラーフィルタ付きの複数の撮像素子を用いて、画素ずらしによるカラー撮像を行うための装置である。複眼撮像ユニット８０は、第１〜第４のレンズ１０−１〜１０−４（複数の結像光学系）、第１〜第４の撮像部２０−１〜２０−４（複数の撮像素子）、第１〜第４のカラーフィルタＦＴ１〜ＦＴ４、圧電素子ＰＺ、板バネＳＰを含む。
【０１１７】
レンズ１０−１〜１０−４は、それぞれ撮像部２０−１〜２０−４に被写体Ｏｂｊの像を結像させる。撮像部２０−１〜２０−４の撮像面には、カラーフィルタＦＴ１〜ＦＴ４が設けられる。ＦＴ１、ＦＴ２、ＦＴ３、ＦＴ４は、それぞれＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の単色フィルタで構成される。これらのフィルタは、光軸（ｚ軸）に沿った方向から見たときにベイヤ配列となるように配置される。
【０１１８】
レンズ１０−１〜１０−４は、圧電素子ＰＺと板バネＳＰによりシフトされる。具体的には、ｘ軸に沿った方向にシフト量δｘだけシフトされ、ｙ軸に沿った方向にシフト量δｙだけシフトされる。このシフト動作において、レンズ１０−１〜１０−４は、一体で同方向にシフトされてもよく、各レンズが別々の方向にシフトされてもよい。なお、図１６には、ｙ軸方向にシフトするための圧電素子と板バネを図示したが、複眼撮像ユニット８０には、ｘ軸方向にシフトするための図示しない圧電素子と板バネも含まれる。また、レンズ毎に圧電素子と板バネが設けられてもよい。
【０１１９】
図１７〜図１９を用いて、第２の変形例の第１の動作例について説明する。図１７に、ズーム時の動作例を示す。
【０１２０】
図１７に示すように、例えば１倍、２倍、３倍のズーム倍率が設定される。ズーム倍率が１倍のモードでは、撮像エリアとして標準エリアＡ１が設定され、レンズシフトは行われない。すなわち、シフト量（δｘ，δｙ）＝（０，０）が設定される。ズーム倍率が２倍のモードでは、ズームエリアＡ２が設定され、シフト量（δｘ，δｙ）＝（ｐ／２，ｐ／２）が設定される。ズーム倍率が３倍のモードでは、ズームエリアＡ３が設定され、シフト量（δｘ，δｙ）＝（ｐ／３，ｐ／３）が設定される。
【０１２１】
図１８に、第２の変形例の第１のシフト動作例を示す。この動作例では、上述の図３（Ａ）と同様のシフト動作を行う。すなわち、初期位置（状態１）に設定され、初期位置から（δｘ，δｙ）＝（ｐ／２，０）シフトされて第１のシフト位置（状態２）に設定される。第１のシフト位置から（０，ｐ／２）シフトされて第２のシフト位置（状態３）に設定される。第２のシフト位置から（−ｐ／２，０）シフトされて第３のシフト位置（状態４）に設定される。そして、第３のシフト位置から（０，−ｐ／２）シフトされて初期位置に戻る。被写体像の撮像は、これらの各位置において行われる。このレンズ１０−１〜１０−４のシフト動作は、Ｒ、Ｇ１、Ｇ２、Ｂの各色で同様に行われる。
【０１２２】
図１９に、第２の変形例の第１のタイミングチャート例を示す。図１９に示すように、各フィールドにおいて、図１８で説明したシフト動作が行われる。すなわち、４フィールドで１サイクルのシフト動作が行われる。フレーム画像は、４フィールドのフィールド画像に基づいて合成され、各フィールドにおいて出力される。例えば、フレームＦ１のフレーム画像は、ｆ１〜ｆ４のフィールド画像により合成され、ｆ４において出力される。フレームＦ２のフレーム画像は、ｆ２〜ｆ５のフィールド画像により合成され、ｆ５において出力される。
【０１２３】
図２０に、第２の変形例の第２のシフト動作例を示す。この動作例では、各色において異なるシフト動作を行う。すなわち、Ｒ、Ｇ１、Ｇ２、Ｂのレンズが初期位置（状態１）に設定された後、それぞれ異なる位置にシフトされる。具体的には、シフト位置（状態２）において、Ｒ、Ｇ１、Ｇ２、Ｂのレンズは、それぞれ（δｘ，δｙ）＝（０，０）、（ｐ／２，０）、（０，ｐ／２）、（ｐ／２，ｐ／２）に設定される。フィールド画像の撮像は、シフト位置において行われる。そして、このシフト位置で得られたＲ、Ｇ１、Ｇ２、Ｂのフィールド画像が合成されてフレーム画像が生成される。このとき、フィールド画像から直接に得られる画素値は、フレーム画像の各画素においてＲＧＢのいずれか一色の画素値である。残りの欠落した画素値は、周囲の画素値から補間処理され、各画素にＲＧＢの画素値が存在するフレーム画像が生成される。
【０１２４】
図２１に、第２の変形例の第２のタイミングチャート例を示す。図２１に示すように、シフト位置に設定された後、各フィールドにおいてシフト動作は行われない。そして、各フィールドにおいて被写体像が撮像され、撮像により得られた各色のフィールド画像を合成してフレーム画像が生成される。生成されたフレーム画像は、各フィールドにおいて出力される。例えば、フィールドｆ１においてフィールド画像が撮像され、そのｆ１のフィールド画像に基づいてフレームＦ１のフレーム画像が生成され、そのフレーム画像がｆ１において出力される。
【０１２５】
なお、本実施形態では、図２０で説明した初期位置とシフト位置に交互に設定され、各位置においてフィールド画像が撮像され、各フィールドでフレーム画像が出力されてもよい。
【０１２６】
図２２に、複眼撮像ユニットの変形例を示す。この複眼撮像ユニットは、第１〜第９のレンズ１０−１〜１０−９、第１〜第９の撮像部２０−１〜２０−９、第１〜第９のカラーフィルタＦＴ１〜ＦＴ９を含む。そして、この複眼撮像ユニットは、３倍ズーム時においてシフト量ｓ＝ｐ／３の画素シフトを行い、カラー画像を撮像するためのものである。
【０１２７】
ＦＴ１、ＦＴ７、ＦＴ９、ＦＴ３は、Ｒ１、Ｒ２、Ｒ３、Ｒ４（赤）の単色フィルタで構成される。ＦＴ４、ＦＴ８、ＦＴ６、ＦＴ２は、Ｇ１、Ｇ２、Ｇ３、Ｇ４（緑）の単色フィルタで構成される。ＦＴ５は、Ｂ（青）の単色フィルタで構成される。そして、レンズ１０−１〜１０−９は、互いに異なる位置にシフトされる。例えば、シフト位置において、レンズ１０−１〜１０−９は、それぞれ（δｘ、δｙ）＝（０，０）、（０，ｐ／３）、（０，２ｐ／３）、（ｐ／３，０）、（ｐ／３，ｐ／３）、（ｐ／３，２ｐ／３）、（２ｐ／３，０）、（２ｐ／３，ｐ／３）、（２ｐ／３，２ｐ／３）の位置に設定される。
【０１２８】
このように、本実施形態では、複眼撮像ユニットを含んでもよく、その複眼撮像ユニットが、複数の撮像素子と、複数の撮像素子に対して被写体の像を結像させる複数の結像光学系とを有してもよい。
【０１２９】
このようにすれば、１フィールドで複数のフィールド画像を撮像し、そのフィールド画像に基づいてフレーム画像を構成できる。例えば、単色の撮像ユニットを複数設けることで、１フィールドでＲＧＢ各色のフィールド画像を撮像し、これらのフィールド画像を合成してＲＧＢのフレーム画像を合成できる。
【０１３０】
本実施形態では、図１８等で説明したように、ＲＧＢ各色において同様のシフト動作を行い、４フィールドのフィールド画像に基づいてフレーム画像を生成してもよい。
【０１３１】
このようにすれば、各色において１サイクル分のフィールド画像によりフレーム画像が合成されるため、高解像度の撮像を行うことができる。
【０１３２】
また、本実施形態では、図２０等で説明したように、ＲＧＢ各色において互いに異なるシフト動作を行い、１フィールドのフィールド画像に基づいてフレーム画像を生成してもよい。
【０１３３】
このようにすれば、１フィールドのフィールド画像によりフレーム画像が得られるため、移動体等に対する高速撮像を行うことができる。
【０１３４】
１１．第３の変形例（シフト読出し）
第３の変形例の撮像装置は、レンズ（結像光学系）、撮像素子、画像処理装置を含む。そして、この撮像装置は、機械的な画素シフトを行わず、撮像素子の各画素による撮像動作を位相をシフトさせて行う装置である。
【０１３５】
図２３に、第３の変形例の動作例を示す。図２３には、撮像素子の画素配列の一部を示す。画素ピッチは水平垂直ともにｐとする。基準の画素位置を（ｉ，ｊ）とし、右隣の画素位置を（ｉ＋１，ｊ）、斜め隣の画素位置を（ｉ＋１，ｊ＋１）、下隣の画素位置を（ｉ，ｊ＋１）とする（ｉは水平方向のアドレス、ｊは垂直方向のアドレス）。また、これらの画素により得られる画素値を、それぞれＶi,j、Ｖi+1,j、Ｖi+1,j+1、Ｖi,j+1とする。上述の構成例とは異なり、画素は全て構成される。すなわち、図示する画素は画素ずらしにより得られるものではなく、実在の画素である。本実施形態では、画素値Ｖi,j、Ｖi+1,j、Ｖi+1,j+1、Ｖi,j+1の取得タイミングが、単位期間ずつ順次シフトされる。
【０１３６】
図２４に、第３の変形例のタイミングチャート例を示す。図２４には、画素値の読み出しタイミングとフレーム画像の生成タイミングを時間軸に対応させて示す。画素値は、フィールドｆ１，ｆ２，・・・単位にて読出しタイミングが与えられる。すなわち、画素値Ｖi,jの集合により構成される画像データが１つのフィールド画像であり、画素値Ｖi+1,j、Ｖi+1,j+1、Ｖi,j+1のそれぞれの集合により構成される画像データが他の３つのフィールド画像となる。このように、本実施形態では、画素集合が異なる４つのフィールド画像が基本画像となっている。
【０１３７】
フィールド画像は４つの単位期間（単位時間）ごとに生成される。例えば、期間Ｔ１〜Ｔ７の各期間を単位期間とすると、期間Ｔ１〜Ｔ４においてフィールドｆ１のフィールド画像を生成するように順次露光と読出しを行なう。同様に、期間Ｔ２〜Ｔ５においてフィールドｆ２、期間Ｔ３〜Ｔ６においてフィールドｆ３、期間Ｔ４〜Ｔ７においてフィールドｆ４のフィールド画像を生成する。すなわち、隣接するフィールド画像の露光と読出しは、単位期間だけシフトするようなシーケンスとなっている。このように、本実施形態では、撮像素子の画素が４つのグループにグループ分けされ、機械的な画素シフトを行うのではなく、読出し対象の画素の読出しがシフトされる。なお、図２４では読出し期間を単位期間の半分としているが、露光と読出しの期間は撮像素子の特性を考慮して決めればよい。
【０１３８】
フレーム画像の生成モードとして、２つのモードを想定できる。一つは、高精細モードであり、撮像素子の全ての画素数を使って画像を構成するモードである。このモードでは、上記の連続するフィールド画像の現在フィールド画像と直近の過去の３フィールドの計４つ使ってフレーム画像を順次生成する。例えば、ｆ１〜ｆ４のフィールド画像が記憶され、ｆ４の読出し期間が終了した時点で、記憶されたｆ１〜ｆ４のフィールド画像が合成される。そして、全画素数によるフレーム画像がフレームＦ１の画像として生成される。同様に、ｆ５の読出し期間が終了した時点でｆ２〜ｆ５のフィールド画像が合成され、フレームＦ２のフレーム画像が生成される。これが順次繰り返され、連続動画画像が生成される。この画像生成は全画素による画像生成の意味から高精細モードとしている。
【０１３９】
もう一つの生成モードは、標準モードである。このモードは、フィールド画像をそのままフレーム画像として利用するモードである。すなわち、ｆ１の読出し期間が終了した時点で、フレームＦ１のフレーム画像が生成される。同様に、ｆ２，ｆ３，ｆ４の読出し期間が終了した時点で、それぞれフレームＦ２，Ｆ３，Ｆ４のフレーム画像が生成される。標準モードでは、撮像素子の画素数に対し、１／４しか画素値のデータがない。そのため、欠落している画素値は、図７や図８等で説明した補間処理により生成される。あるいは、標準モードにおける画像として、通常のフレーム画像の１／４解像度の画像が生成されてもよい。すなわち、補間処理を不要とし、フィールド画像をローパスフィルタにより４画素が１画素相当になるように変換してフレーム画像としてもよい。
【０１４０】
ここで、撮像素子の一般的な特性として、画素数が多くなると画素値の読出し期間が長くなるという特性がある。そのため、全画素を読み出して高フレームレート化することが困難となってしまう。
【０１４１】
この点、本実施形態によれば、撮像素子が、被写体の像をピッチｐずつずれてサンプリングするようにグループ分けされた第１〜第ｒ（ｒは自然数、例えばｒ＝４）の画素グループを有する。そして、その各画素グループによる撮像がフィールド毎に順次行われ、各画素グループによる撮像により得られた複数のフィールド画像が記憶され、その複数のフィールド画像に基づいて各フィールドで順次フレーム画像が生成される。
【０１４２】
本実施形態によれば、全画素数の１／４の画素から読出された画素値によりフィールド画像を構成できる。これにより、１回に読み出す画素数を減らしてフレームレートの高速化を実現できる。また、本実施形態によれば、各画素の露光期間をフレームレートの４倍近く確保できる。例えば、（ｉ，ｊ）の第１の画素グループは、他の画素グループの読出し期間Ｔ５〜Ｔ８において露光を続けることができる。これにより、フレームレート分の露光期間しか与えられない一般の撮像方式と比べて、感度的に有利な撮像を実現できる。
【０１４３】
しかしながら、フィールド画像の解像度は、撮像素子の解像度の１／４の解像度しか得られなくなってしまう。
【０１４４】
この点、本実施形態によれば、画素グループ毎に露光タイミングと読み出しタイミングを異ならせ、過去の画像と現在の画像を用いてフレーム画像を合成する。これにより、フレームレートを劣化させることなく、解像度も確保できる。
【０１４５】
例えば、標準モードをハイビジョン解像度で３０フレーム／秒で上記フィールド撮像データを取得し記録するものとする。読出し画素をシフトさせた撮像データが得られているので、撮像後にハイビジョンの４倍の解像度をもつ超高精細な画像を生成することも可能となる。しかも本方式によれば、超高精細画像を生成してもフレームレートを落とすことはない。
【０１４６】
図２５に、第３の変形例の詳細な構成例の機能ブロック図を示す。この構成例は、撮像素子３０、画像処理装置１００、レンズ駆動部２００、モード選択部２３０、画像記録部２１０、モニター表示部２２０、ＶＲＡＭ２４０を含む。画像処理装置１００は、システム制御部１１０（撮像制御部）、撮像信号処理部１２０、撮像データ読出部１４０、フレームバッファメモリ１５０（記憶部）、撮像画像生成部１６０（画像生成部）、フォーカス制御部１７０を含む。なお、図５等で説明した構成要素と同一の要素には同一の符号を付し、適宜説明を省略する。
【０１４７】
モード選択部２３０は、標準モードか高精細モードかを選択する。システム制御部１１０は、選択されたモードを受けて、それに基づいて撮像データ読出部１４０に対して、どの画素を読み出すのかのアドレス信号を出力する。また、システム制御部１１０は、撮像素子３０および撮像信号処理部１２０に対して動作命令を出力し、撮像素子３０の撮像動作をアクティブにする。
【０１４８】
撮像信号処理部１２０は、撮像素子３０からの信号を処理し、画素値を出力する。出力される画素値データとして、撮像データ読出し部１４０から指示された画素の画素値のみが順次出力される。これにより、読出しの高速化（読出し期間の短縮）を図る。読み出された特定の画素値は、撮像データ読出し部１４０を経由して、フィールド画像のデータ毎にフレームバッファメモリ１５０（フレームバッファ）に一旦記憶される。撮像画像生成部１６０は、フレームバッファメモリ１５０に記憶されたフィールド画像データを随時読み出す。そして、読み出したフィールド画像によりフレーム画像を順次生成する。フレーム画像の生成に際しては、上記説明にあるように標準モードのときは欠落画素の補間処理も同時に行われる。生成されたフレーム画像データは、２つに分岐され、一つは画像記録部２１０に蓄積する。もう一つはＶＲＡＭ２４０に一時記憶され、表示画像としてのデータがモニター表示部２２０に入力されモニター表示がなされる。
【０１４９】
フォーカス制御部１７０は、図５等で説明したようにデフォーカス量を制御し、画素ピッチｐの配列（または、各画素グループにおける画素ピッチ２ｐ）により撮像可能な帯域制限を光学的に行う。なお、上述のように欠落画素の画素値を補間処理により全画素が揃ったフレーム画像を逐次生成する場合、撮像可能な帯域制限は、最小画素ピッチ（例えばｐ）で規定されたサンプリングによる折り返し成分がでない上限帯域に固定してもよい。そして、その全画素が揃ったフレーム画像データより適宜アンダーサンプリング画像をデータ処理により生成してもよい。例えば、各画素グループの画素数がハイビジョン相当であり、４つの画素グループを合わせた画素数がハイビジョンの４倍相当であるものとする。このとき、補間処理により一旦ハイビジョンの４倍の解像度をもつ画像を逐次生成し、生成した画像からダウンサンプリング処理によりハイビジョン画像を生成してもよい。そして、逐次生成されるハイビジョンの４倍の解像度をもつ画像を必要に応じて利用してもよい。このようにすれば、１／４の画素数のみによる画像生成の場合、複数のフィールド画像を合成し全画素が揃った画像を生成しても、帯域制限を低く（例えば、ピッチ２ｐに対応する帯域制限に）してしまったがゆえに実質解像度が上がらないということを避けることができる。
【０１５０】
なお、本実施形態では、モード選択にかかわらず撮像信号処理部１２０から得られる被写体の動体の動きを検出してもよい。そして、動きが速い場合には、高速撮像を優先して標準モードを選択し、動きが遅い場合には、解像度を優先して高解像度モードを自動切換えしてもよい。
【０１５１】
また、本実施形態では、撮像方法として、標準モードあるいは高解像度モードを撮像時に指定しなくともよい。そして、フィールド画像をデータ生成・蓄積（記憶）しておき、撮像時においてフレーム画像を生成しなくともよい。この場合、撮像後において、蓄積されたフィールド画像データを用いて、適宜フレーム画像（高精細モード画像）を生成し、表示してもよい。
【０１５２】
１２．電子機器
図２６に、本実施形態の撮像装置を含む電子機器の構成例を示す。この電子機器は、カメラモジュール９１０（撮像装置）、表示制御装置９２０、ホストコントローラ９４０、ドライバ９５０（表示ドライバ）、電気光学パネル９６０を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【０１５３】
本実施形態により実現される電子機器としては、例えばデジタルカメラ、デジタルビデオカメラ、携帯型情報端末、携帯電話機、携帯ゲーム端末、ＷＥＢカメラ等の種々の機器を想定できる。
【０１５４】
カメラモジュール９１０は、レンズ、撮像素子、レンズ駆動部等により構成され、画素シフトや撮像を行う。表示制御回路９２０は、カメラモジュール９１０から供給される画像データや、水平同期信号、垂直同期信号等をドライバ９５０に対して供給する。ホストコントローラ９４０は、例えばＣＰＵであり、操作入力部９７０からの操作情報を受けて、カメラモジュール９１０、表示制御回路９２０、ドライバ９５０を制御する。電気光学パネル９６０は、例えば液晶パネルやＥＬパネルであり、ドライバ９５０の駆動により画像を表示する。操作入力部９７０は、ユーザーが各種情報を入力するためのものであり、各種ボタン、キーボード等により実現される。
【０１５５】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（結像光学系、撮像素子、記憶部、光学的フィルタ処理等）と共に記載された用語（レンズ、イメージセンサ、フレームバッファメモリ、デフォーカス制御等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また画像処理装置、撮像装置、電子機器等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５６】
１０  レンズ、２０  撮像部、３０  撮像素子、４０  画素開口制限マスク、
５０  光学的ローパスフィルタ、８０  複眼撮像ユニット、１００  画像処理装置、
１１０  システム制御部、１２０  撮像信号処理部、１３０  ズームエリア選択部、
１４０  撮像データ読出部、１５０  フレームバッファメモリ、
１６０  撮像画像生成部、１６２  帯域制限処理部、１７０  フォーカス制御部、
１８０  画素シフト制御部、２００  レンズ駆動部、２１０  画像記録部、
２２０  モニター表示部、２３０  モード選択部、２４０  ＶＲＡＭ、
Ｏｂｊ  被写体、ｓ  シフト量、Ａ１  標準エリア、Ａ２  ズームエリア、
ａ  画素開口、ｐ  画素ピッチ、δｘ，δｙ  シフト量、ｆ１  フィールド、
Ｆ１  フレーム、ｉ，ｊ  画素のアドレス、Ｖi,j  画素値、ＦＴ１  カラーフィルタ
【図３】
2011035737.tif 000003
【図４】
2011035737.tif 000004
【図５】
2011035737.tif 000005
【図６】
2011035737.tif 000006
【図７】
2011035737.tif 000007
【図８】
2011035737.tif 000008
【図９】
2011035737.tif 000009
【図１０】
2011035737.tif 000010
【図１１】
2011035737.tif 000011
【図１２】
2011035737.tif 000012
【図１５】
2011035737.tif 000013
【図１７】
2011035737.tif 000014
【図１８】
2011035737.tif 000015
【図１９】
2011035737.tif 000016
【図２０】
2011035737.tif 000017
【図２１】
2011035737.tif 000018
【図２３】
2011035737.tif 000019
【図２４】
2011035737.tif 000020
【図２５】
2011035737.tif 000021
【図２６】
2011035737.tif 000022
【図１】
2011035737.tif 000023
【図２】
2011035737.tif 000024
【図１３】
2011035737.tif 000025
【図１４】
2011035737.tif 000026
【図１６】
2011035737.tif 000027
【図２２】
2011035737.tif 000028