(57)【特許請求の範囲】
【請求項１】
撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の画素から成る光電変換部と、
前記撮影レンズと、前記光電変換部との間に形成され、予め決められた数の画素から成る前記光電変換部の複数の領域それぞれに対応する複数のマイクロレンズと、
前記複数の領域に含まれる画素のうち、前記撮影レンズ及び前記マイクロレンズを含む光学系の特性と前記光電変換部の特性とに起因して各領域内で相対的に受光量の少ない画素から出力される電気信号を用いて、前記領域ごとに基準値を算出する算出手段と
を有することを特徴とする撮像装置。
【請求項２】
前記基準値の算出に用いる画素は、遮光された画素であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記基準値の算出に用いる画素は、光電変換された電気信号が出力されない構成を有する画素であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記基準値の算出に用いる画素は、光電変換を行う構成を有さない画素であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記基準値の算出に用いる画素は、前記複数の領域それぞれにおいて、最周辺部に配置されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記光電変換部から出力された電気信号を元に、任意の距離に合焦した画像を生成するリフォーカス処理を行うリフォーカス画像生成手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記光学系の特性は前記マイクロレンズのＦナンバーであり、前記撮影レンズと前記マイクロレンズのＦナンバーは一致していることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の画素から成る光電変換部と、
前記撮影レンズと、前記光電変換部との間に形成され、予め決められた数の画素から成る前記光電変換部の複数の領域それぞれに対応する複数のマイクロレンズと、
前記複数の領域に含まれる画素のうち、前記複数の領域それぞれにおいて、最周辺部に配置されている画素から出力される電気信号を用いて、前記領域ごとに基準値を算出する算出手段と
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像を撮像、記録、再生する撮像装置に係わり、特に撮像装置の構成要素である撮像素子前面にマイクロレンズアレイを有する撮像装置に関するものである。
【背景技術】
【０００２】
従来、固体メモリ素子を有するメモリカードを記録媒体として、ＣＣＤ、ＣＭＯＳ等の固体撮像素子で撮像した静止画像や動画像を記録及び再生する電子カメラ等の撮像装置は多く存在する。
【０００３】
これらの撮像装置に関する技術の一例として、固体撮像素子の前面に複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の入射方向の情報をも得られるような構成の撮像装置が提案されている。（例えば、非特許文献１参照）。
【０００４】
このような撮像装置では、各画素からの出力信号を元に通常の撮影画像を生成する以外に、撮影された画像に対して所定の画像処理を施すことで、任意の焦点距離に焦点を合わせた画像を再構築することなども可能である。
【先行技術文献】
【特許文献】
【０００５】
【非特許文献１】Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、前述のようなマイクロレンズアレイを有する撮像装置に限らず、撮像装置には、更に以下のような問題があった。即ち、一般的な撮像装置に使用される撮像素子には、その出力信号の基準レベルを求めるために使用される、複数の光学的に遮光されたオプティカルブラック画素（ＯＢ画素）からなるＯＢ領域を有することが多い。このＯＢ画素は、被写体からの光を受光する有効画素領域内部に配置すると、その画素の領域の光信号が受光できなくなるため、有効画素領域内には配置せず、その上側や左側などの周辺に配置されることが多い。
【０００７】
しかしながら、本実施形態のような複数画素毎に１つのマイクロレンズが構成されるマイクロレンズアレイを有する撮像装置におけるＯＢ領域については今まで考慮されていなかった。
【０００８】
また、基準レベルが撮像面内で２次元的に変動していると、周辺のＯＢ領域からの出力信号から有効画素領域の基準レベルを求めることは困難であり、その結果、得られる画像の劣化を引き起こすおそれがあった。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、複数画素毎に１つのマイクロレンズが構成されたマイクロレンズアレイを有する撮像装置において、新たな構成要素を増やすことなく、有効画素領域内の詳細な基準レベルを取得できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために、本発明の撮像装置は、撮影レンズを介して入射する光を光電変換して電気信号を出力する、２次元に配置された複数の画素から成る光電変換部と、前記撮影レンズと、前記光電変換部との間に形成され、予め決められた数の画素から成る前記光電変換部の複数の領域それぞれに対応する複数のマイクロレンズと、前記複数の領域に含まれる画素のうち、前記撮影レンズ及び前記マイクロレンズを含む光学系の特性と前記光電変換部の特性とに起因して各領域内で相対的に受光量の少ない画素から出力される電気信号を用いて、前記領域ごとに基準値を算出する算出手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明は、複数画素毎に１つのマイクロレンズが構成されたマイクロレンズアレイを有する撮像装置において、新たな構成要素を増やすことなく、有効画素領域内の詳細な基準レベルを取得することが可能になる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態にかかる撮像装置の概略構成を示すブロック図。
【図２】実施形態における撮像装置の光学系周辺の構成を示すブロック図。
【図３】実施形態における撮像素子の概略構成を示す図。
【図４】実施形態における撮像素子の画素配列を示す図。
【図５】実施形態の撮像装置における被写体からの光線軌跡図。
【図６】実施形態の撮像装置における異なる位置の被写体からの光線軌跡図。
【図７】実施形態の撮像装置における光線軌跡を２次元的に表した図。
【図８】実施形態における撮像素子の画素配置を説明するための図である。
【図９】実施形態における基準レベルの算出方法の一例を説明する図。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１４】
図１は、本実施形態における撮像装置の概略構成を示すブロック図である。図１において、１０１は撮影レンズ、絞り及びマイクロレンズからなる光学系、１０２はメカニカルシャッタである。撮像素子１０３は、入射光を電気信号に変換する光電変換部１０４と電気信号を増幅させる増幅回路１０５とを含み、入射光を電気信号に変換する。アナログ信号処理回路１０６は、撮像素子１０３から出力される画像信号に対してアナログ信号処理を行う。アナログ信号処理回路１０６は、相関二重サンプリングを行うＣＤＳ回路１０７、アナログ信号を増幅させる信号増幅器１０８、水平ＯＢクランプを行うクランプ回路１０９、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器１１０を含む。
【００１５】
タイミング信号発生回路１１１は撮像素子１０３及びアナログ信号処理回路１０６を動作させる信号を発生する。駆動回路１１２は光学系１０１及びメカニカルシャッタ１０２を駆動する。デジタル信号処理回路１１３は、画像データに対して必要な補正処理を行う画像補正回路１１４、画像補正回路１１４により補正処理されたデジタル信号を増幅させる信号増幅回路１１５、画像データに対し、必要な画像処理を行う画像処理回路１１６を含む。これらの構成により、デジタル信号処理回路１１３は撮影した画像データに必要なデジタル信号処理を行う。
【００１６】
１１７は処理された画像データを記憶する画像メモリ、１１８は撮像装置から取り外し可能な記録媒体、１１９は信号処理された画像データを記録媒体１１８に記録する記録回路である。１２０は信号処理された画像データを表示する画像表示装置、１２１は画像表示装置１２０に画像を表示する表示回路である。
【００１７】
システム制御部１２２は撮像装置全体を制御する。不揮発性メモリ（ＲＯＭ）１２３はシステム制御部１２２で実行される制御方法を記載したプログラム、プログラムを実行する際に使用されるパラメータやテーブル等の制御データ、及び、キズアドレス等の補正データを記憶する。揮発性メモリ（ＲＡＭ）１２４は不揮発性メモリ１２３に記憶されたプログラム、制御データ及び補正データを転送して記憶しておき、システム制御部１２２が撮像装置を制御する際に使用される。
【００１９】
ここで、上記構成を有する撮像装置における撮影動作について説明する。なお、撮影動作に先立ち、撮像装置の電源投入時等のシステム制御部１２２の動作開始時において、不揮発性メモリ１２３から必要なプログラム、制御データ及び補正データを揮発性メモリ１２４に転送して記憶しておく。これらのプログラムやデータは、システム制御部１２２が撮像装置を制御する際に使用される。また、必要に応じて、追加のプログラムやデータを不揮発性メモリ１２３から揮発性メモリ１２４に転送したり、システム制御部１２２が直接不揮発性メモリ１２３内のデータを読み出して使用したりするものとする。
【００２１】
まず、光学系１０１は、システム制御部１２２からの制御信号により、レンズ等の光学系１０１を駆動して、適切な明るさになるように制御された被写体像を撮像素子１０３上に結像させる。次に、メカニカルシャッタ１０２は、静止画像撮影時においては、システム制御部１２２からの制御信号により、必要な露光時間となるように撮像素子１０３の動作に合わせて撮像素子１０３を遮光するように駆動される。この時、撮像素子１０３が電子シャッタ機能を有する場合は、メカニカルシャッタ１０２と併用して、必要な露光時間を確保してもよい。また、メカニカルシャッタ１０２は、動画像撮影時及びライブビュー駆動時においては、システム制御部１２２からの制御信号により、撮影中は常に撮像素子１０３が露光されるように、開放状態で維持される。
【００２２】
撮像素子１０３は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスを基にした駆動パルスで駆動される。光電変換部１０４において被写体像を光電変換により電気信号に変換し、増幅回路１０５において入射光量に応じて設定された増幅率のゲインを電気信号にかけ、アナログ画像信号として出力する。
【００２３】
撮像素子１０３から出力されたアナログの画像信号は、システム制御部１２２により制御されるタイミング信号発生回路１１１が発生する動作パルスにより、アナログ信号処理回路１０６のＣＤＳ回路１０７でクロック同期性ノイズを除去する。更に、信号増幅器１０８で入射光量に応じて設定された増幅率のゲインをかけ、クランプ回路１０９で水平ＯＢ領域の信号出力を基準電圧としてクランプし、Ａ／Ｄ変換器１１０でデジタル画像信号に変換される。
【００２４】
次に、アナログ信号処理回路１０６から出力されたデジタル画像信号に対して、システム制御部１２２により制御されるデジタル信号処理回路１１３において、処理を行う。まず、デジタル信号に変換された画像信号に対し、画像補正回路１１４でキズ補正、ダークシェーディング補正などの各種画像補正処理を施す。このダークシェーディング補正等のダークレベルを均一化させるための補正に、後述する、基準値算出用画素（ＯＢ画素）からの出力信号が用いられる。
【００２５】
その後、信号増幅回路１１５で入射光量に応じて設定された増幅率のゲインをかけ、画像処理回路１１６で色変換、ホワイトバランス、ガンマ補正等の画像処理、解像度変換処理、画像圧縮処理等の各種画像処理を行う。また、この画像処理回路１１６では、例えば、上述した非特許文献１に開示されている方法を用いて、リフォーカス処理（撮像素子１０３から出力された電気信号を元にして、任意の距離に合焦した複数の画像を生成する処理）を行うことができる。この時、画像メモリ１１７は、信号処理中のデジタル画像信号を一時的に記憶したり、信号処理されたデジタル画像信号である画像データを記憶したりするために用いられる。
【００２６】
デジタル信号処理回路１１３で信号処理された画像データや画像メモリ１１７に記憶されている画像データは、記録回路１１９において記録媒体１１８に適したデータ（例えば、階層構造を持つファイルシステムデータ）に変換され、記録媒体１１８に記録される。あるいは、デジタル信号処理回路１１３で解像度変換処理された画像データは、表示回路１２１において画像表示装置１２０に適した信号（例えばＮＴＳＣ方式のアナログ信号等）に変換されて、画像表示装置１２０に表示されたりする。
【００２７】
ここで、デジタル信号処理回路１１３においては、システム制御部１２２からの制御信号により信号処理をせずにデジタル画像信号をそのまま画像データとして、画像メモリ１１７や記録回路１１９に出力してもよい。また、デジタル信号処理回路１１３は、システム制御部１２２から要求があった場合に、信号処理の過程で生じたデジタル画像信号や画像データの情報をシステム制御部１２２に出力する。画像データの情報としては、例えば、画像の空間周波数、指定領域の平均値、圧縮画像のデータ量等の情報、あるいは、それらから抽出された情報を含む。さらに、記録回路１１９は、システム制御部１２２から要求があった場合に、記録媒体１１８の種類や空き容量等の情報をシステム制御部１２２に出力する。
【００２８】
次に、記録媒体１１８に画像データが記録されている場合の再生動作について説明する。システム制御部１２２からの制御信号により、記録回路１１９は記録媒体１１８から画像データを読み出す。そして、同じくシステム制御部１２２からの制御信号によりデジタル信号処理回路１１３は、読み出した画像データが圧縮画像であった場合には画像伸長処理を行い、画像メモリ１１７に記憶する。更に、画像メモリ１１７に記憶された画像データは、デジタル信号処理回路１１３で解像度変換処理を実施された後、表示回路１２１において画像表示装置１２０に適した信号に変換されて画像表示装置１２０に表示される。
【００２９】
図２は、本発明にかかる撮像装置の実施形態における、光学系周辺の構成を説明するブロック図である。
【００３０】
図２において、撮影レンズ２０１及び絞り２０４は光学系１０１を構成する。マイクロレンズアレイ２０２及びセンサアレイ２０３は、撮像素子１０３の構成要素である。また、２０５は被写体である。図２に記載されているその他の構成要素は、図１で説明したものと同じものであるため、ここでの説明は割愛する。
【００３１】
駆動回路１１２によりメカニカルシャッタ１０２及び絞り２０４が開いている状態において、被写体２０５の像は、撮影レンズ２０１によって撮像素子１０３上に結像される。撮像素子１０３に入射した光信号は、マイクロレンズアレイ２０２の各マイクロレンズによって更に集光され、センサアレイ２０３の各画素に入射する。なお、マイクロレンズアレイ２０２及びセンサアレイ２０３の構成については、後に図４を用いて説明する。センサアレイ２０３に入射した光信号は、各画素において光電変換され、電気信号として出力される。その後の処理については図１を用いて説明した通りである。
【００３２】
図３は、本実施形態における撮像装置の撮像素子１０３の概略構成を示す図である。図３（ａ）に示すように、撮像素子１０３は、複数の単位画素３０１が行列状に配置されている画素領域３０２と、周辺回路とを有している。周辺回路は垂直シフトレジスタ３０３と、読み出し回路３０４と、水平シフトレジスタ３０５と、出力アンプ３０６と、駆動信号線３０７と、垂直信号線３０８等からなる。垂直シフトレジスタ３０３からは、各行の画素毎に駆動信号線３０７を通して、駆動パルスが送出される。なお、駆動信号線３０７は、簡略化のため、各行毎に１本ずつ図示してあるが、実際には各行毎に複数の駆動信号線が接続される。また、同じ列の画素は同一の垂直信号線３０８に接続される。垂直シフトレジスタ３０３によって選択された行の画素信号は、垂直信号線３０８を通して読み出し回路３０４に出力され、水平シフトレジスタ３０５によって選択された列の画素信号から順次、出力アンプ３０６を通して出力される。なお、図３においては、８行８列の単位画素３０１をもって画素領域３０２とする構成としたが、実際には数千行、数千列という単位で形成される。
【００３３】
図３（ｂ）は、図３（ａ）の単位画素３０１の構成を示す回路図である。図３（ｂ）に示すように、単位画素３０１は、フォトダイオード４０１、フローティングディフュージョン部４０２、増幅部４０３、転送スイッチ４０４、リセットスイッチ４０５、選択スイッチ４０６を含んで構成される。
【００３４】
フォトダイオード４０１は、単位画素３０１へ入射した光を受光し、その受光量に応じた信号電荷を生成する光電変換部として機能する。フローティングディフュージョン部４０２は、フォトダイオード４０１で生成され、転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。転送スイッチ４０４は、転送パルス信号ＰＴＸによって駆動され、フォトダイオード４０１で生成された信号電荷をフローティングディフュージョン部４０２に転送する。リセットスイッチ４０５は、リセットパルス信号ＰＲＥＳによって駆動され、フローティングディフュージョン部４０２の電位を基準電位ＶＤＤにリセットする。増幅部４０３は、ソースフォロワＭＯＳトランジスタであり、フローティングディフュージョン部４０２に保持された電荷に基づく電圧信号を増幅して、画素信号として出力する。選択スイッチ４０６は、垂直選択パルス信号ＰＳＥＬによって駆動され、増幅部４０３で増幅された画素信号を垂直信号線３０８に出力する。
【００３５】
図４は本実施形態における撮像素子１０３を構成するセンサアレイ２０３の画素とマイクロレンズアレイ２０２との相対的な配置を示す図である。図４（ａ）において、５０１は、再構築後の画像の１画素に相当する単位画素である記録画素領域、５０２は、記録画素領域５０１を８行８列に分割した光電変換部ごとの分割画素であり、図３で説明した単位画素３０１に相当する。５０３は、記録画素領域５０１毎に１つずつ配置されるマイクロレンズである。
【００３６】
本実施形態の説明においては、図４に示すように、８ｘ８の分割画素５０２からなる記録画素領域５０１を４行４列並べたセンサアレイ２０３を用いて説明する。図４（ｂ）は記録画素領域５０１を拡大した図である。後の説明のために、本実施形態では、６４個の分割画素に対し、図４（ｂ）のように、それぞれａ００〜ａ７７とラベルする。
【００３７】
図５は、本実施形態の撮像装置に様々な距離の被写体から入射する光線の軌跡を示す図である。
【００３８】
図５において、被写体７０１ａは、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面Ａに結像される位置に配置されている被写体である。被写体７０１ａからの光線のうち、撮影レンズ２０１の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、実線で記す。
【００３９】
被写体７０１ｂは、撮影レンズ２０１から見て、被写体７０１ａよりも遠方にある被写体である。撮影レンズ２０１によって結像された被写体７０１ｂの像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズ２０１に近い面Ｂに結像される。被写体７０１ｂからの光線のうち、撮影レンズ２０１の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、破線で記す。
【００４０】
被写体７０１ｃは、撮影レンズ２０１から見て、被写体７０１ａよりも近方にある被写体である。撮影レンズ２０１によって結像された被写体７０１ｃの像は、マイクロレンズアレイ２０２を含む面Ａよりも撮影レンズ２０１から遠い面Ｃに結像される。被写体７０１ｃからの光線のうち、撮影レンズ２０１の最外周を通り、光軸上のマイクロレンズを介してセンサアレイ２０３に入射する光線を、一点鎖線で記す。
【００４１】
図５で示す各光線の軌跡が示す通り、撮影レンズ２０１から被写体７０１までの距離に応じて、センサアレイ２０３中において入射する分割画素が異なる。このことを用いて、本構成の撮像装置は、撮影後の画像信号を再構築することにより、様々な距離の被写体に焦点を合わせた画像を生成することを可能としている。
図６は、本実施形態の撮像装置に、異なる位置の被写体から入射する光線の軌跡を示す図である。
【００４２】
図６において、被写体８０１ａは、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面Ａ上のマイクロレンズ８０２ａに結像される位置に配置されている被写体である。被写体８０１ａからの光線のうち、撮影レンズ２０１の最外周を通り、マイクロレンズ８０２ａを介してセンサアレイ２０３に入射する光線を、実線で記す。この光線は、センサアレイ２０３上の記録画素領域８０３ａに到達する。
【００４３】
被写体８０１ｂは、撮影レンズ２０１から見て、被写体８０１ａと同一距離にあり、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面Ａ上のマイクロレンズ８０２ｂに結像される位置に配置されている被写体である。被写体８０１ｂからの光線のうち、撮影レンズ２０１の最外周を通りマイクロレンズ８０２ｂを介してセンサアレイ２０３に入射する光線を、破線で記す。この光線は、センサアレイ２０３上の記録画素領域８０３ｂに到達する。
【００４４】
本発明にかかる撮像装置の実施形態においては、センサアレイ２０３の画素を最も効率的に使用するために、レンズ特性である、撮影レンズ２０１のＦナンバーと、マイクロレンズのＦナンバーが一致するようにマイクロレンズアレイ２０２を配置している。このとき、撮影レンズ２０１の開口径をＤ、撮影レンズ２０１からマイクロレンズアレイ２０２までの距離をＦ、記録画素領域５０１の１辺の長さをｄ、マイクロレンズアレイ２０２からセンサアレイ２０３までの距離をｆとすると、以下の関係となる。
Ｄ／Ｆ＝ｄ／ｆ
【００４５】
このような配置の場合、被写体８０１ａからの光線のうち、撮影レンズ２０１の最外周を通りマイクロレンズ８０２ａを介してセンサアレイ２０３の記録画素領域８０３ａに入射する光線は、図６の実線が示す通り、記録画素領域８０３ａの中心からｄ／２の距離の位置に到達する。同様に、被写体８０１ｂからの光線のうち、撮影レンズ２０１の最外周を通りマイクロレンズ８０２ｂを介してセンサアレイ２０３の記録画素領域８０３ｂに入射する光線は、図６の破線が示す通り、記録画素領域８０３ｂの中心からｄ／２の距離の位置に到達する。この時、いずれの光線も各マイクロレンズに対応する記録画素領域からはみ出すことはないため、センサアレイ上で光信号がオーバーラップすることによって画像の再構築（リフォーカス）が叶わなくなることはない。
【００４６】
図７は、本実施形態の撮像装置において、入射光線の軌跡を２次元的に記す図である。図７において、９０２はマイクロレンズアレイ２０２中の１つのマイクロレンズ、９０３はセンサアレイ面である。
【００４７】
絞り２０４の中心ｐ０を通過する光線は、センサアレイ面９０３と光軸が交わる点ｐ０’に入射する。また、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面に結像される位置に配置された被写体からの光線で、絞り２０４の開口部の外周辺上の点ｐ１を通過する光線は、センサアレイ面９０３上のｐ１’に入射する。同様に絞り２０４の開口部の外周辺上の別の点ｐ２、点ｐ３を通過する光線は、それぞれ、センサアレイ面９０３上の点ｐ２’、点ｐ３’に入射する。
【００４８】
以上のように、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面に結像される位置に配置された被写体からの光線で、絞り２０４及びマイクロレンズ９０２を通過する光線は、理論上は、全て、センサアレイ面９０３上の円９０４の内側に入射し、円９０４の外側には到達しない。よって、センサアレイ面９０３上の分割画素ａ００、ａ０７、ａ７０、ａ７７には、少量の迷光やゴースト光を除くと、光線は到達しない。
【００４９】
また、撮影レンズ２０１によってその像がマイクロレンズアレイ２０２を含む面に結像される位置以外の位置に配置された被写体からの光線に関しても以下のことが言える。即ち、センサアレイ面９０３上の分割画素ａ００、ａ０７、ａ７０、ａ７７が受光する、リフォーカス画像生成に有効な光線は、マイクロレンズ光軸周辺の画素と比べて少なく、後のリフォーカス処理に及ぼす影響は少ない。
【００５０】
つまり、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７は、撮影レンズ２０１及びマイクロレンズアレイ２０２を含む光学系と撮像素子１０３の特性（上述したＤ、Ｆ、ｄ、ｆなど）に起因して、相対的に受光量が少ない。従ってリフォーカス処理に有効でない画素といえる。
【００５１】
図８は、本実施形態の撮像装置における画素配置図である。図８（ａ）は、図４（ａ）を用いて説明したセンサアレイ２０３のレイアウト図であり、図８（ｂ）は、図４（ｂ）を用いて説明した、センサアレイ２０３の構成要素である記録画素領域５０１及び分割画素５０２の配置図である。
【００５２】
図８（ｂ）における、記録画素領域５０１の四隅に位置する分割画素ａ００、ａ０７、ａ７０、ａ７７は、図７を用いて説明したとおり、後段で行うリフォーカス処理に適さない領域に配置されている画素であるため、ＯＢ画素として使用する。図８において、ＯＢ画素として使用する分割画素は灰色に表示し、有効画素として使用する分割画素は白色のままで表わしている。ＯＢ画素として使用する上記４つの分割画素については、遮光性を高めるため、アルミ配線において遮光を行う。
【００５３】
図９は本実施形態の撮像装置における基準レベルの算出方法の一例を説明する図である。図９を用いて、図８（ｂ）に示す画素配置において、ＯＢ画素ａ００、ａ０７、ａ７０、ａ７７の出力信号値より、分割画素ａｍｎの基準レベルを算出する方法を以下に説明する。
【００５４】
本算出方法は、各ＯＢ画素間の基準レベルが、ＯＢ画素からの距離に比例して線形に推移するものとして算出する方法である。ＯＢ画素ａ００、ａ０７、ａ７０、ａ７７の出力信号値をそれぞれ、Ｂ（０，０）、Ｂ（０，７）、Ｂ（７，０）、Ｂ（７，７）とする。分割画素ａ０ｎは、ＯＢ画素ａ００とＯＢ画素ａ０７をｎ：７−ｎに内分する位置にある画素である。よって、分割画素ａ０ｎの基準レベルＢ（０，ｎ）は、
Ｂ（０，ｎ）＝（１−ｎ／７）・Ｂ（０，０）＋ｎ／７・Ｂ（０，７）
【００５５】
となる。
同様に、分割画素ａ７ｎは、ＯＢ画素ａ７０とＯＢ画素ａ７７をｎ：７−ｎに内分する位置にある画素であるため、分割画素ａ７ｎの基準レベルＢ（７，ｎ）は、
Ｂ（７，ｎ）＝（１−ｎ／７）・Ｂ（７，０）＋ｎ／７・Ｂ（７，７）
【００５６】
となる。
同様の計算を垂直方向にも当てはめると、分割画素ａｍｎは、ＯＢ画素ａ０ｎとＯＢ画素ａ７ｎをｍ：７−ｍに内分する位置にある画素であるため、分割画素ａｍｎの基準レベルＢ（ｍ，ｎ）は、
Ｂ（ｍ，ｎ）＝（１−ｍ／７）・（１−ｎ／７）・Ｂ（０，０）
＋（１−ｍ／７）・ｎ／７・Ｂ（０，７）
＋ｍ／７・（１−ｎ／７）・Ｂ（７，０）
＋ｍ／７・ｎ／７・Ｂ（７，７）
【００５７】
となる。
以上説明したように、本実施形態にかかる撮像装置によれば、有効画素領域内にＯＢ画素を配置することにより、従来よりも詳細で正確な基準レベルを取得することが可能となる。従って、この基準レベルを用いてダークレベル補正等を行うことにより、良好な画質が得られる撮像装置を実現することが可能となる。
【００５８】
以上、図１〜図９を用いて本発明にかかる撮像装置の実施形態について説明してきたが、本発明はこれに限定されることはなく、様々な形態をとることが可能である。
【００５９】
例えば、本発明にかかる撮像装置の実施形態の画素構成においては、画素の構造を分かり易く説明するため、１つの記録画素領域として、分割画素を８ｘ８画素並べた構成とした。しかしながら、本発明はこれに限定されず、様々な数及び形状の分割画素を有する構成としても構わない。
【００６０】
また、本発明にかかる撮像装置の実施形態の画素構成においては、絞り２０４及びマイクロレンズ９０２を通過し、後でリフォーカス処理に利用する光線の受光量が小さい、最周辺部の特定の位置に配置された画素をＯＢ画素とするものとした。しかしながら、本発明はこれに限定されず、リフォーカス処理に利用可能な光線の受光量が小さい画素及びその周辺の画素といったようにＯＢ画素として使用する分割画素を増やすような構成としても構わない。なおその際は、ＯＢ画素として使用する分割画素の上部はアルミ遮光するなどして、光線が画素部に到達しないような構成とすることが望ましい。
【００６１】
また、本発明にかかる撮像装置の実施形態の画素構成においては、ＯＢ画素はアルミ配線において遮光を行うと説明したが、本発明はこれに限定されず、他の方法で遮光するような構成としても構わない。例えば、ＯＢ画素の前面に配置するカラーフィルターを黒色にすることで遮光効果を出すような構成としても構わない。
【００６２】
もしくは、回路系のシェーディングの補正等に本発明に係るＯＢ画素を使用する目的においては、先に述べたような遮光部材を使用せず、光電変換部で生成された電荷が転送されないような構成や、そもそも光電変換部自体を有さない構成としても構わない。
【００６３】
具体的に説明すると、ＯＢ画素とする分割画素は、図３（ｂ）における転送スイッチ４０４が常に開状態にすることで、フォトダイオード４０１で生成された信号電荷が転送されない構成としても構わない。また、そもそも、フォトダイオード４０１や転送スイッチ４０４を有さず、常に基準電位ＶＤＤに相当するリセットレベルが読み出される構成としても構わない。
【００６４】
また、図９を用いて説明した、各分割画素の基準レベル算出方法の説明においては、４つのＯＢ画素からの距離を元に各分割画素毎の基準値を算出する方法を説明した。しかしながら、本発明はこれに限定されるものではない。例えば、ある記録画素領域５０１に属する分割画素５０２については、その記録画素領域５０１に属する４つのＯＢ画素の出力値の平均値をもって、一律に、その記録画素内の分割画素の基準レベルとするような構成としてもよい。そのような構成とすることで、演算量を軽減することができる。
【００６５】
また、図１を用いて説明した、本発明の実施形態においては、画像の再構築などの画像処理を、撮像装置の構成要素の一つであるデジタル信号処理回路１１３で行うものとして説明したが、必ずしもこの画像処理が、撮像装置の内部で行われる必要はない。具体的には、画像処理手段を、撮像装置とは別の装置、例えばＰＣ（Personal Computer：パーソナルコンピュータ）などに設けておき、撮像装置で得られた撮像データをＰＣへ転送し、ＰＣにおいて画像処理を施すようにすることも可能である。
【図１】
0005963448.tif 000002
【図２】
0005963448.tif 000003
【図３】
0005963448.tif 000004
【図４】
0005963448.tif 000005
【図５】
0005963448.tif 000006
【図６】
0005963448.tif 000007
【図７】
0005963448.tif 000008
【図８】
0005963448.tif 000009
【図９】
0005963448.tif 000010