(57)【特許請求の範囲】
【請求項１】
撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部と、
光軸上において、前記撮影レンズと前記複数の光電変換部との間にあり、前記複数の光電変換部を予め決められた数ずつ分割した複数の単位領域それぞれについて１つ対応づけられて配置される、複数のマイクロレンズと
を有する撮像手段と、
前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、任意の距離に合焦した画像を生成するリフォーカス処理に用いる可能性がある分割領域か否かを判定する判定手段と、
前記複数の分割領域のうち、前記判定手段によりリフォーカス処理に用いる可能性が無いと判定された分割領域に含まれる前記単位領域を構成する光電変換部から出力される電気信号を、前記単位領域毎に加算する加算手段と、
前記複数の分割領域のうち、前記加算手段により加算された分割領域の電気信号を記録するとともに、前記判定手段によりリフォーカス処理に用いる可能性があると判定された分割領域の電気信号を加算せずにそれぞれ記録する記録手段と
を有することを特徴とする撮像装置。
【請求項２】
前記判定手段は、
前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、各分割領域に含まれる被写体までの距離を算出する算出手段を有し、
前記複数の分割領域のうち、前記算出手段により算出された被写体までの距離が予め決められた距離以下の距離にある分割領域を、前記リフォーカス処理に用いる可能性がある分割領域と判定し、それ以外の分割領域を、前記リフォーカス処理に用いる可能性が無い分割領域と判定することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記判定手段は、
前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、各分割領域に含まれる被写体までの距離を算出する算出手段を有し、
前記複数の分割領域のうち、前記算出手段により算出された被写体までの距離が予め決められた距離以下の距離にある分割領域及び当該分割領域に隣接する分割領域を、前記リフォーカス処理に用いる可能性がある分割領域と判定し、それ以外の分割領域を、前記リフォーカス処理に用いる可能性が無い分割領域と判定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記算出手段は、前記単位領域毎に、前記撮影レンズの第１の瞳領域を通過した光束を受光した光電変換部から得られる電気信号を加算して第１の合成信号を算出し、前記第１の瞳領域と異なる第２の瞳領域を通過した光束を受光した光電変換部から得られる電気信号を加算して第２の合成信号を算出し、前記各分割領域に含まれる前記複数の単位領域の前記第１の合成信号と前記第２の合成信号との位相差に基づいて、被写体までの距離を算出することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
被写体を照射する被写体照射手段を有し、
前記被写体照射手段を用いて撮影を行う場合、前記予め決められた距離を前記被写体照射手段からの照射光が到達する距離とすることを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記加算手段を、前記撮像手段の内部に構成したことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記加算手段を、前記撮像手段の外部に構成したことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項８】
前記記録手段は、前記電気信号を加算した前記分割領域と、前記電気信号を加算していない前記分割領域とを示すデータを更に記録することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記加算手段は、前記単位領域毎に、前記加算した電気信号を平均する処理を更に行い、前記記録手段は、前記平均された電気信号を記録することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部と、光軸上において、前記撮影レンズと前記複数の光電変換部との間にあり、前記複数の光電変換部を予め決められた数ずつ分割した複数の単位領域それぞれについて１つ対応づけられて配置される、複数のマイクロレンズとを有する撮像手段を含む撮像装置の制御方法であって、
判定手段が、前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、任意の距離に合焦した画像を生成するリフォーカス処理に用いる可能性がある分割領域か否かを判定する判定工程と、
加算手段が、前記複数の分割領域のうち、前記判定工程でリフォーカス処理に用いる可能性が無いと判定された分割領域に含まれる前記単位領域を構成する光電変換部から出力される電気信号を、前記単位領域毎に加算する加算工程と、
記録手段が、前記複数の分割領域のうち、前記加算工程で加算された分割領域の電気信号を記録するとともに、前記判定工程でリフォーカス処理に用いる可能性があると判定された分割領域の電気信号を加算せずにそれぞれ記録する記録工程と
を有することを特徴とする撮像装置の制御方法。
【請求項１１】
撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部と、
光軸上において、前記撮影レンズと前記複数の光電変換部との間にあり、前記複数の光電変換部を予め決められた数ずつ分割した複数の単位領域それぞれについて１つ対応づけられて配置される、複数のマイクロレンズと
を有する撮像手段と、
前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、各分割領域に含まれる被写体までの距離を算出する算出手段と、
前記単位領域を構成する光電変換部から出力される電気信号を、前記単位領域毎に加算する加算手段と、を有し、
前記加算手段は、前記複数の分割領域のうち、前記算出手段により算出された被写体までの距離が予め決められた距離範囲にある分割領域の電気信号を加算せず、前記算出手段により算出された被写体までの距離が前記予め決められた距離範囲以外の距離にある分割領域の電気信号を加算することを特徴とする撮像装置。
【請求項１２】
撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部と、光軸上において、前記撮影レンズと前記複数の光電変換部との間にあり、前記複数の光電変換部を予め決められた数ずつ分割した複数の単位領域それぞれについて１つ対応づけられて配置される、複数のマイクロレンズとを有する撮像手段を有する撮像装置の制御方法であって、
算出手段が、前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、各分割領域に含まれる被写体までの距離を算出する算出工程と、
加算手段が、前記単位領域を構成する光電変換部から出力される電気信号を、前記単位領域毎に加算する加算工程と、を有し、
前記加算工程では、前記複数の分割領域のうち、前記算出工程により算出された被写体までの距離が予め決められた距離範囲にある分割領域の電気信号を加算せず、前記算出工程により算出された被写体までの距離が前記予め決められた距離範囲以外の距離にある分割領域の電気信号を加算することを特徴とする撮像装置の制御方法。
【請求項１３】
コンピュータに、請求項１０または１２に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１４】
請求項１３に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像を撮像、記録、再生する撮像装置及び撮像装置制御システムに係わり、特に撮像装置の構成要素である撮像素子前面にマイクロレンズアレイを有する撮像装置に関するものである。
【背景技術】
【０００２】
従来、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置は多く存在する。
【０００３】
これらの撮像装置に関する技術の一例として、固体撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の入射方向の情報をも得られるような構成の撮像装置が提案されている。（例えば、非特許文献１参照）。
【０００４】
このような撮像装置では、各画素からの出力信号を元に通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築すること（リフォーカス）なども可能である。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述のようなマイクロレンズアレイを有する撮像装置における撮影においては、以下のような問題があった。
【０００７】
撮像装置が生成する画像における画素単位は、１マイクロレンズあたり１画素となる。通常の撮像素子においては１マイクロレンズあたり１画素の構成のため、生成する画像のデータ数と略同数の画素信号を読み出せばよい。これに対し、上述した非特許文献１の撮像装置においては、１マイクロレンズあたり数十画素を有する構成であるため、通常の撮像装置の数十倍もの画素信号を扱わなければならない。このため、画像データのファイルサイズが大きくなり、通常のカメラなどの撮像装置と比べ撮像装置内に非常に大きなメモリ領域が必要となるとともに、保存する記録媒体も通常より大きな容量のものを使用する必要があった。また、１つの画像データを読み出すのに膨大な時間がかかり、例えば、連写撮影時の駒速を上げることなどが難しくなっていた。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、複数の光電変換部毎に１つのマイクロレンズが配置されたマイクロレンズアレイを有する撮像装置において、記録画像のファイルサイズを抑制し、かつ読出し速度を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の撮像装置は、撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の光電変換部と、光軸上において、前記撮影レンズと前記複数の光電変換部との間にあり、前記複数の光電変換部を予め決められた数ずつ分割した複数の単位領域それぞれについて１つ対応づけられて配置される、複数のマイクロレンズとを有する撮像手段と、前記撮像手段から得られる電気信号による画像を複数に分割した分割領域毎に、任意の距離に合焦した画像を生成するリフォーカス処理に用いる可能性がある分割領域か否かを判定する判定手段と、前記複数の分割領域のうち、前記判定手段によりリフォーカス処理に用いる可能性が無いと判定された分割領域に含まれる前記単位領域を構成する光電変換部から出力される電気信号を、前記単位領域毎に加算する加算手段と、前記複数の分割領域のうち、前記加算手段により加算された分割領域の電気信号を記録するとともに、前記判定手段によりリフォーカス処理に用いる可能性があると判定された分割領域の電気信号を加算せずにそれぞれ記録する記録手段とを有する。
【発明の効果】
【００１０】
本発明によれば、複数の光電変換部毎に１つのマイクロレンズが配置されたマイクロレンズアレイを有する撮像装置において、記録画像のファイルサイズを抑制し、かつ読出し速度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態にかかる撮像装置の概略構成を示すブロック図。
【図２】実施形態における撮像装置の光学系周辺の構成を示すブロック図。
【図３】実施形態における撮像素子の画素配列とマイクロレンズアレイとの位置関係を示す図。
【図４】実施形態に係る撮影レンズの瞳領域と分割画素との対応関係を説明する図。
【図５】実施形態の撮像装置における被写体からの光線軌跡図。
【図６】本発明にかかる撮像装置の実施形態における被写体距離検出動作を説明する図である。
【図７】本発明にかかる撮像装置の実施形態における撮影画像に応じた画像ファイル生成方法を説明する図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１３】
図１は、本第１の実施形態における撮像装置の概略構成を示すブロック図である。図１において、１０１は撮影レンズや絞りなどの光学系、１０２はメカニカルシャッタである。撮像素子１０３は、入射光を電気信号に変換する２次元に配置された光電変換部１０４と電気信号を増幅させる増幅回路１０５とを含み、入射光を電気信号に変換する。アナログ信号処理回路１０６は、撮像素子１０３から出力される画像信号に対してアナログ信号処理を行う。アナログ信号処理回路１０６は、相関二重サンプリングを行うＣＤＳ回路１０７、アナログ信号を増幅させる信号増幅器１０８、水平ＯＢクランプを行うクランプ回路１０９、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器１１０を含む。
【００１４】
タイミング信号発生回路１１１は、撮像素子１０３及びアナログ信号処理回路１０６を動作させる信号を発生する。駆動回路１１２は、光学系１０１及びメカニカルシャッタ１０２を駆動する。デジタル信号処理回路１１３は、画像データに対して必要な補正処理を行う画像補正回路１１４、画像補正回路１１４により補正処理されたデジタル信号を増幅させる信号増幅回路１１５、画像データに対し、必要な画像処理を行う画像処理回路１１６を含む。これらの構成により、デジタル信号処理回路１１３は撮影した画像データに必要なデジタル信号処理を行う。
【００１５】
１１７は処理された画像データを記憶する画像メモリ、１１８は撮像装置から取り外し可能な記録媒体、１１９は信号処理された画像データを記録媒体１１８に記録する記録回路である。１２０は信号処理された画像データを表示する画像表示装置、１２１は画像表示装置１２０に画像を表示する表示回路である。
【００１６】
システム制御部１２２は撮像装置全体を制御する。不揮発性メモリ（ＲＯＭ）１２３はシステム制御部１２２で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、キズアドレス等の補正データを記憶する。揮発性メモリ（ＲＡＭ）１２４は不揮発性メモリ１２３に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１２２が撮像装置を制御する際に使用される。また、撮影モード設定部１２５により、ＩＳＯ感度設定などの撮影条件設定や、静止画撮影とライブビュー駆動の切り替えなどを行う。
【００１７】
ここで、上記構成を有する撮像装置における撮影動作について説明する。なお、撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１２２の動作開始時において、不揮発性メモリ１２３から必要なプログラム、制御データ及び補正データを揮発性メモリ１２４に転送して記憶しておく。これらのプログラムやデータは、システム制御部１２２が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ１２３から揮発性メモリ１２４に転送したり、システム制御部１２２が直接不揮発性メモリ１２３内のデータを読み出して使用したりするものとする。
【００１８】
まず、光学系１０１は、システム制御部１２２からの制御信号により、レンズ等の光学系１０１を駆動して、適切な明るさになるように制御された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、静止画像撮影時においては、システム制御部１２２からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。また、メカニカルシャッタ１０２は、動画像撮影時及びライブビュー駆動時においては、システム制御部１２２からの制御信号により、撮影中は常に撮像素子１０３が露光されるように、開放状態で維持される。
【００１９】
撮像素子１０３は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスを基にした駆動パルスで駆動される。光電変換部１０４において被写体像を光電変換により電気信号に変換し、増幅回路１０５において入射光量に応じて設定された増幅率のゲインを電気信号にかけ、アナログ画像信号として出力する。
【００２０】
撮像素子１０３から出力されたアナログ画像信号は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスにより、アナログ信号処理回路１０６のＣＤＳ回路１０７でクロック同期性ノイズを除去する。更に、信号増幅器１０８で入射光量に応じて設定された増幅率のゲインをかけ、クランプ回路１０９で水平ＯＢ領域の信号出力を基準電圧としてクランプし、Ａ／Ｄ変換器１１０でデジタル画像信号に変換される。
【００２１】
次に、アナログ信号処理回路１０６から出力されたデジタル画像信号に対して、システム制御部１２２により制御されるデジタル信号処理回路１１３において、処理を行う。まず、デジタル信号に変換された画像信号に対し、画像補正回路１１４でキズ補正、ダークシェーディング補正などの各種画像補正処理を施す。
【００２２】
その後、信号増幅回路１１５で入射光量に応じて設定された増幅率のゲインをかけ、画像処理回路１１６で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。また、この画像処理回路１１６では、例えば、上述した非特許文献１に開示されている方法を用いて、リフォーカス処理（撮像素子１０３から出力された電気信号を元にして、任意の距離に合焦した複数の画像を生成する処理）を行うことができる。更に、そのリフォーカス処理より前に行われる、本発明の特徴である、画素信号の加算処理や加算平均処理も、この画像処理回路１１６で行う。この時、画像メモリ１１７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。
【００２３】
デジタル信号処理回路１１３で信号処理された画像データや画像メモリ１１７に記憶されている画像データは、記録回路１１９において記録媒体１１８に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換され、記録媒体１１８に記録される。あるいは、デジタル信号処理回路１１３で解像度変換処理された画像データは、表示回路１２１において画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて、画像表示装置１２０に表示されたりする。
【００２４】
ここで、デジタル信号処理回路１１３においては、システム制御部１２２からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１３は、システム制御部１２２から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報を含む。さらに、記録回路１１９は、システム制御部１２２から要求があった場合に、記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に出力する。
【００２５】
次に、記録媒体１１８に画像データが記録されている場合の再生動作について説明する。システム制御部１２２からの制御信号により、記録回路１１９は記録媒体１１８から画像データを読み出す。そして、同じくシステム制御部１２２からの制御信号によりデジタル信号処理回路１１３は、読み出した画像データが圧縮画像であった場合には画像伸長処理を行い、画像メモリ１１７に記憶する。更に、画像メモリ１１７に記憶された画像データは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号に変換されて画像表示装置１２０に表示される。
【００２６】
図２は、本発明にかかる撮像装置の実施形態における、光学系周辺の構成を説明するブロック図である。
【００２７】
図２において、撮影レンズ２０１は光学系１０１を構成する。マイクロレンズアレイ２０２及びセンサアレイ２０３は、撮像素子１０３の構成要素である。また、２０４は被写体である。図２に記載されているその他の構成要素は、図１で説明したものと同じものであるため、ここでの説明は割愛する。
【００２８】
駆動回路１１２によりメカニカルシャッタ１０２が開いている状態において、被写体２０４の像は、撮影レンズ２０１によって撮像素子１０３上に結像される。撮像素子１０３に入射した光信号は、マイクロレンズアレイ２０２の各マイクロレンズによって更に集光され、センサアレイ２０３の各画素に入射する。なお、マイクロレンズアレイ２０２及びセンサアレイ２０３の構成については、後に図３を用いて説明する。センサアレイ２０３に入射した光信号は、各画素において光電変換され、電気信号として出力される。その後の処理については図１を用いて説明した通りである。
【００２９】
図３は本実施形態における撮像素子１０３を構成するセンサアレイ２０３の画素とマイクロレンズアレイ２０２との相対的な配置を示す、撮像素子１０３を被写体側から見た図である。図３において、３０１は、再構築後の画像の１画素に相当する単位画素である記録画素領域（単位領域）、３０２は、記録画素領域３０１を６行６列に分割した光電変換部毎の分割画素である。３０３は、記録画素領域３０１毎に１つずつ配置されるマイクロレンズである。
【００３０】
本実施形態における、特に図２、図３、図５を用いた説明においては、図３に示すように、６ｘ６の分割画素３０２からなる記録画素領域３０１を５行５列並べたセンサアレイ２０３を用いて説明する。しかしながら、実際の撮像装置においては、この数百万から数千万の記録画素領域３０１が並べられている。
【００３１】
図４は、本実施形態に係る撮影レンズの瞳領域と分割画素との対応関係を説明する図であり、図４（ａ）は記録画素領域３０１を拡大した図である。後の説明のために、本実施形態では、３６個の分割画素３０２に対し、図４（ａ）のように、それぞれｐ１１〜ｐ６６とラベルする。図４（ｂ）は、撮影レンズ２０１の開口を撮影被写体方向から見た図である。図４（ｂ）に示すように撮影レンズ２０１の瞳領域を１つのマイクロレンズ３０３下にある画素と同数の領域に分割した場合、１つの分割画素３０２には撮影レンズ２０１の１つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズ２０１とマイクロレンズ３０３のＦナンバーがほぼ一致しているものとする。
【００３２】
図４（ｂ）に示す撮影レンズ２０１の瞳分割領域をａ１１〜ａ６６としたとき、撮影レンズ２０１の瞳分割領域ａ１１〜ａ６６と図４（ａ）で示した分割画素ｐ１１〜ｐ６６との対応関係は、光軸方向から見て点対称となる。従って、撮影レンズ２０１の瞳分割領域ａ１１から出射した光は、マイクロレンズ３０３の後方にある分割画素３０２のうち、分割画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ３０３を通過する光も、そのマイクロレンズ後方にある分割画素３０２の中の分割画素ｐ１１に結像する。
【００３３】
図５は、本実施形態の撮像装置に様々な距離の被写体から入射する光線の軌跡を示す図である。図５において、撮影レンズ２０１の瞳領域ａ１〜ａ６それぞれから出射され、マイクロレンズアレイ２０２を通過した光は、後方の対応する分割画素ｐ１〜ｐ６にそれぞれ結像する。
【００３４】
被写体６０１ａは、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面Ａに結像される位置に配置された被写体である。被写体６０１ａからの光線のうち、撮影レンズ２０１の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、実線で記す。
【００３５】
被写体６０１ｂは、撮影レンズ２０１から見て、被写体６０１ａよりも遠方にある被写体である。撮影レンズ２０１によって結像された被写体６０１ｂの像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズ２０１に近い面Ｂに結像される。被写体６０１ｂからの光線のうち、撮影レンズ２０１の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、破線で記す。
【００３６】
被写体６０１ｃは、撮影レンズ２０１から見て、被写体６０１ａよりも近方にある被写体である。撮影レンズ２０１によって結像された被写体６０１ｃの像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズ２０１から遠い面Ｃに結像される。被写体６０１ｃからの光線のうち、撮影レンズ２０１の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、一点鎖線で記す。
【００３７】
図５で示す各光線の軌跡が示す通り、撮影レンズ２０１から被写体６０１までの距離に応じて、センサアレイ２０３中において入射する分割画素が異なる。このことを用いて、本構成の撮像装置は、撮影後の画像信号を再構築することにより、様々な距離の被写体に焦点を合わせた画像を生成することを可能としている。
【００３８】
ところで、図４（ａ）に示すｐ１１〜ｐ６６の画素は、図４（ｂ）を用いて説明した通り、撮影レンズ２０１に対して互いに異なる瞳領域を通過した光を受光しているため、これらの情報を用いれば、被写体までの距離を検出する動作を行うこともできる。
【００３９】
図６は、本実施形態における被写体距離検出動作を説明する図である。図６（ａ）に示すように、各マイクロレンズ３０３に対応する画素ｐ１１〜ｐ６６の出力を加算し、次式に示すように水平方向に瞳分割された２つの合成信号Ａ、Ｂ（第１の合成信号、第２の合成信号）を生成する。
【００４０】
0006053329.tif 000002
【００４１】
式（１）で示される合成信号Ａは、図４（ｂ）に示す撮影レンズ２０１の右半分の瞳分割領域ａ１１〜ａ６１、ａ１２〜ａ６２、ａ１３〜ａ６３（第１の瞳領域）を通過した光束を受光して得られる信号の合計である。図６（ｂ）に示すように、水平方向に連続して配置されたｎ個のマイクロレンズ３０３に対応する記録画素領域３０１から得られたＡ１〜Ａｎを並べて、一次元像信号Ａｉ（ｉ=１、２、３…ｎ）を生成する。
同様に、撮影レンズ２０１の左半分の瞳分割領域ａ１４〜ａ６４、ａ１５〜ａ６５、ａ１６〜ａ６６（第２の瞳領域）に対して、式（２）で計算される合成信号Ｂ１〜Ｂｎを並べて一次元像信号Ｂｉ（ｉ=１、２、３…ｎ）を生成する。すると、ＡｉとＢｉは、それぞれ撮影レンズ２０１の射出瞳の右半分と左半分を見ている信号となる。従って、ＡｉとＢｉの相対位置を検出し、その相対的なずれ量に対して所定の変換係数を乗じることで、位相差検出方式に基づく被写体までの距離を検出することができる。
【００４２】
また、画面内の任意の位置でＡｉとＢｉを生成すれば、その位置での焦点位置を算出することができるため、算出結果に合わせて光学系１０１に含まれるフォーカスレンズを駆動することで自動焦点調節を行うことも可能である。
【００４３】
なお、図６に示す例では、撮影レンズ２０１の射出瞳を左右に分けた場合について説明したが、上下に分けてもよく、その場合、垂直方向に輝度差を有する被写体間での距離を検出することが可能になる。
【００４４】
次に、図７を用いて、本発明にかかる撮像装置の実施形態における、撮影画像に応じた画像ファイル生成方法について説明する。
【００４５】
図７（ａ）は本実施形態の撮像装置の撮像素子１０３の受光領域を８ｘ８の６４の領域に分割した図である。分割した各領域を分割領域８０１と呼ぶこととし、画面左上に相当する分割領域をｄ００とし、それぞれ図７（ａ）に示すように、ｄ００〜ｄ７７とする。
【００４６】
図７（ｂ）は本実施形態の撮像装置によって撮影された画像の一例である。図７（ｂ）の撮影画像においては、主な被写体が３種類の距離に存在しており、その距離は、仮に、撮像装置に近いものから、２ｍ、５ｍ、１０ｍの距離に存在しているものとする。
【００４７】
図７（ｃ）は図７（ｂ）の撮影画像を、図７（ａ）で定めた分割領域毎に、その領域に存在する主な被写体までの距離を、図６を用いて説明した被写体距離検出動作を用いて算出した結果を示したものである。
【００４８】
本実施形態の撮像装置の特徴は、次の通りである。まず、所定距離よりも近い距離に主な被写体が存在すると判定された分割領域及びその周辺の分割領域は、のちのリフォーカス画像生成時において、その領域の被写体にピントを合わせたリフォーカス処理を行う可能性がある領域であると考えられる。そのため、その分割領域の分割画素３０２の信号を全画素分保存する。一方、それ以外の分割領域である、所定距離より遠い距離に主な被写体が存在すると判定された分割領域は、後にリフォーカスを行わない領域であると考えられる。そのため、その分割領域の分割画素３０２の信号を、記録画素領域３０１単位（単位領域毎）で加算、または加算平均して保存することで、生成される画像ファイルのサイズを抑制することを可能としている。
【００４９】
図７（ｂ）の撮影においては、５ｍ以下の距離にある被写体を、のちのリフォーカス画像生成時において、その被写体にピントを合わせるリフォーカス処理を行う可能性があるとする。従って、図７（ｃ）に示すように、５ｍ以下（予め決められた距離以下）の距離にある主被写体を含む分割領域及びその分割領域に隣接する分割領域である領域８０２に含まれる分割画素の信号は、そのまま全画素分保存する。領域８０２に含まれない分割画素の信号は、デジタル信号処理回路１１３の内部において、記録画素領域３０１単位で加算、もしくは加算平均処理を行い、保存するデータ量を圧縮する。加えて、後のリフォーカス画像生成時に正しく画像生成ができるように、どの領域が加算されて、どの領域が加算されていないかを記録画像のメタデータに記録しておく。
【００５０】
なお、分割画素３０２の出力信号の加算、非加算を切り替える判定に用いる距離は、図７を用いた説明では５ｍとした。しかしながら、撮像素子や、使用するレンズなどの光学系など撮像装置の構成や、レンズの絞り値などの撮影条件によって、最適な距離は当然、変化すると考えられる。一例としては、フラッシュなどの補助光源（被写体照射手段）を用いた撮影の場合、その補助光源からの照射光が到達する距離よりも遠いところにある被写体にピントを合わせる可能性は少ない。この場合、分割画素の加算・非加算切り替え距離をストロボ光の到達距離とすることなどが考えられる。通常、加算領域と非加算領域の信号レベルを合わせるために、加算した信号を画素数で割って出力する加算平均処理を行うことが適切である。これに対し、ストロボ光を用いた夜景撮影においては、ストロボ光が到達しない背景領域の信号を、加算平均処理ではなく、そのまま加算することで、背景領域の感度を向上させる、いわゆるスローシンクロ撮影と同等の副効果が得られるという利点もある。
【００５１】
また、上述した図７（ｃ）に示す例では、５ｍ以下の距離にある主被写体を含む分割領域及びその分割領域に隣接する分割領域に含まれる分割画素の信号を全画素分保存するものとして説明した。しかしながら、本発明はこれに限るものではなく、所定の距離よりも近い距離にある被写体を含む分割領域に含まれる分割画素の信号のみを全画素分保存するようにしても良い。
【００５２】
また、図７を用いて説明した、本実施形態にかかる撮像装置においては、被写体が遠方にあると判定された分割領域８０１中の記録画素は、デジタル信号処理回路１１３の内部において加算されるものとして説明した。しかしながら、本発明はこれに限定されるものではなく、撮像素子１０３の内部において加算を行うような構成としても構わない。この場合、撮像素子１０３から出力する画像信号量を低減することができるため、一連の撮影動作を更に高速化することが可能となる。但し、この場合、図６を用いて説明した被写体までの距離の算出する動作は、画素信号を加算する前に行わなければいけない。そのため、被写体距離を算出する手段や加算を行うかを判定する判定回路などを、撮像素子１０３の外部のデジタル信号処理回路１１３ではなく、撮像素子内部に持つ必要がある。
【００５３】
以上、図１〜図７を用いて本発明の実施形態にかかる撮像装置の実施形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。
【００５４】
例えば、本実施形態の画素構成においては、画素の構造をわかりやすく説明するため、同一マイクロレンズ下の分割画素を６ｘ６分割した構成としたが、本発明はこれに限定されず、様々な数及び形状の分割画素を有する構成としても構わない。
【００５５】
また、図１を用いて説明した、本実施形態においては、画像の再構築などの画像処理を、撮像装置の構成要素の一つであるデジタル信号処理回路１１３で行うものとして説明したが、必ずしもこの画像処理の実施が撮像装置の内部で行われる必要はない。具体的には、画像処理手段を、撮像装置とは別の装置、例えばＰＣ（パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。
【００５６】
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。
【００５７】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００５８】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。
【００５９】
また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００６０】
更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。
【図１】
0006053329.tif 000003
【図２】
0006053329.tif 000004
【図３】
0006053329.tif 000005
【図４】
0006053329.tif 000006
【図５】
0006053329.tif 000007
【図６】
0006053329.tif 000008
【図７】
0006053329.tif 000009