(57)【要約】  口径食に起因して瞳の周辺部を通過する光束が撮像素子の周辺部に到達しないという課題がある。そこで、入射光を電気信号に光電変換する複数の光電変換素子を一組とする光電変換素子群が二次元的かつ周期的に配列され、光電変換素子群を構成する複数の光電変換素子のそれぞれに対応して設けられた開口マスクの開口は、入射光の断面領域に含まれる互いに異なる部分領域からの光束を通過させるように位置づけられ、光電変換素子群を構成する複数の光電変換素子の数は、光電変換素子群が配列された全体に対して、中心部に配列された光電変換素子群よりも、周辺部に配列された光電変換素子群の方が少ない撮像素子を提供する。
2013057859.tif 000002
【特許請求の範囲】
【請求項１】
入射光を電気信号に光電変換する複数の光電変換素子を一組とする光電変換素子群が二次元的かつ周期的に配列され、
前記光電変換素子群を構成する前記複数の光電変換素子のそれぞれに対応して設けられた開口マスクの開口は、前記入射光の断面領域に含まれる互いに異なる部分領域からの光束を通過させるように位置づけられ、
前記光電変換素子群を構成する前記複数の光電変換素子の数は、前記光電変換素子群が配列された全体に対して、中心部に配列された前記光電変換素子群よりも、周辺部に配列された前記光電変換素子群の方が少ない撮像素子。
【請求項２】
前記中心部に配列された前記光電変換素子群を構成する前記複数の光電変換素子に設けられた開口マスクの開口は、前記光電変換素子群の全体として比較した場合に、前記周辺部に配列された前記光電変換素子群を構成する前記複数の光電変換素子に設けられた開口マスクの開口よりも、より広い前記断面領域に対して設定された前記部分領域からの光束を通過させる請求項１に記載の撮像素子。
【請求項３】
前記断面領域は、前記入射光を透過させる光学系を備える撮影レンズの口径食に基づいて決定される請求項２に記載の撮像素子。
【請求項４】
前記中心部と前記周辺部とを結ぶ方向は、前記開口マスクの開口の偏位方向と平行である請求項１から３のいずれか１項に記載の撮像素子。
【請求項５】
一組の前記光電変換素子群を構成する前記複数の光電変換素子は、被写体が合焦位置に存在する場合に、前記被写体の一つの微小領域から放射される光束を受光する請求項１から４のいずれか１項に記載の撮像素子。
【請求項６】
前記開口マスクが設けられていない、または、前記入射光の有効光束の全体を通過させる開口マスクが設けられた光電変換素子が、前記光電変換素子群を構成する前記複数の光電変換素子に隣接して、二次元的かつ周期的に配列された請求項１から５のいずれか１項に記載の撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子に関する。
【背景技術】
【０００２】
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］  特開平８−４７００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
複数の視差画像をそれぞれ独立した撮像系で取得する場合であれば、口径食の影響を事実上無視し得る。しかし、ひとつの撮像系から一度の露光動作により複数の視差画像を生成するための画像信号を出力する撮像素子の場合、口径食に起因して瞳の周辺部を通過する光束が撮像素子の周辺部に到達しないという課題がある。
【課題を解決するための手段】
【０００４】
本発明の具体的態様における撮像素子は、入射光を電気信号に光電変換する複数の光電変換素子を一組とする光電変換素子群が二次元的かつ周期的に配列され、光電変換素子群を構成する複数の光電変換素子のそれぞれに対応して設けられた開口マスクの開口は、入射光の断面領域に含まれる互いに異なる部分領域からの光束を通過させるように位置づけられ、光電変換素子群を構成する複数の光電変換素子の数は、光電変換素子群が配列された全体に対して、中心部に配列された光電変換素子群よりも、周辺部に配列された光電変換素子群の方が少ない。【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施形態に係るデジタルカメラの構成を説明する図である。
【図２】本発明の実施形態に係る撮像素子の断面を表す概略図である。
【図３】撮像素子の一部を拡大した様子を表す概略図である。
【図４】撮像素子の中心部における視差画素と被写体の関係を説明する概念図である。
【図５】撮像素子の周辺部における視差画素と被写体の関係を説明する概念図である。
【図６】撮像素子の各領域における繰り返しパターンを説明する図である。
【図７】視差画像を生成する処理を説明する概念図である。
【図８】繰り返しパターンの他の例を示す図である。
【図９】繰り返しパターンのさらに他の例を示す図である。
【図１０】垂直視差画像を出力する撮像素子の各領域における繰り返しパターンを説明する図である。
【図１１】カラーフィルタ配列を説明する図である。
【図１２】カラーフィルタ配列と視差画素の関係を示す図である。
【図１３】視差画像と２Ｄ画像の生成過程を示す概念図である。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【０００９】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、メモリカードＩＦ２０７、操作部２０８、表示部２０９およびＬＣＤ駆動回路２１０を備える。
【００１０】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向を＋Ｚ軸方向と定め、Ｚ軸と直交する平面において紙面手前へ向かう方向を＋Ｘ軸方向、紙面上方向を＋Ｙ軸方向と定める。撮影における構図との関係はＸ軸が水平方向、Ｙ軸が垂直方向となる。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１１】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１２】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。制御部２０１の一部である画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１３】
一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、演算部２０６の演算結果に応じて実行される。
【００１４】
デジタルカメラ１０は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部を視認しながら、操作部２０８を操作することにより選択することができる。
【００１５】
次に、撮像素子１００の構成について詳細に説明する。図２は、本実施形態に係る撮像素子の断面を表す概略図である。図２（ａ）は、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図である。また、図２（ｂ）は、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図である。
【００１６】
図２（ａ）に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。
【００１７】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００１８】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
【００１９】
カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも３種類のカラーフィルタが配列されれば良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタである。これらのカラーフィルタは、後述するように、光電変換素子１０８に対応して格子状に配列される。カラーフィルタは原色ＲＧＢの組合せのみならず、ＹｅＣｙＭｇの補色フィルタの組合せであっても良い。
【００２０】
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
【００２１】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２２】
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２３】
カラーフィルタ１０２と開口マスク１０３の組み合わせには、さまざまなバリエーションが存在する。図２（ａ）において、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ１０２を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。
【００２４】
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像を少なくとも一旦はモノクロ画像として出力するのであれば、図２（ｂ）として示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１０１と配線層１０５の間に配設することができる。
【００２５】
スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１０１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
【００２６】
次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の中央部付近の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。撮像素子１００がカラーフィルタ１０２を備えない場合は、モノクロイメージセンサとしてモノクロの視差画像を生成することができる。また、カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることもできる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
【００２７】
図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
【００２８】
図の例においては、それぞれの画素に対する開口部１０４の位置として、互いにＸ軸方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、−Ｘ側から＋Ｘ側へ徐々にシフトする開口部１０４をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的かつ連続的に敷き詰められて構成されていると言える。なお、図の例においては、開口部１０４の形状を縦長の長方形とするが、これに限らない。画素の中心に対して偏位して、瞳上の特定の部分領域を見込む開口であれば、さまざまな形状を採用し得る。
【００２９】
図４は、撮像素子１００の中心部における視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は、撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群が、撮影レンズ２０に対して合焦位置に存在する被写体３０を捉えた場合の様子を模式的に示す。図４（ｂ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。
【００３０】
まず、撮像素子１００が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔを構成する光電変換素子群の−Ｘ側の端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、＋Ｘ側の端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
【００３１】
別言すれば、例えば部分領域Ｐｆと−Ｘ側の端の画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、＋Ｘ側の端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
【００３２】
図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３３】
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｂ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
【００３４】
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｂ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。
【００３５】
図５は、撮像素子１００の周辺部における視差画素と被写体の関係を説明する概念図である。図５における被写体３０は、図４（ａ）と同様に、撮影レンズ２０に対して合焦位置に存在する。ここで、後述する口径食の影響がないとすれば、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０Ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０Ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光する。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３６】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。例えば繰り返しパターン１１０ｔ、１１０Ｕのそれぞれの−Ｘ側の端の画素（開口部１０４ｆを有する視差画素）は、同じ部分領域Ｐｆからの被写体光束を受光している。
【００３７】
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて−Ｘ側の端の画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて−Ｘ側の端の画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、繰り返しパターン１１０ｔおよび１１０Ｕにおける視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
【００３８】
撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
【００３９】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
【００４０】
ところで、撮影レンズ２０の瞳に設定された特定の部分領域が、撮影レンズ２０の光軸から遠い位置に存在すると、本来であれば撮像素子１００の周辺部へ到達する一部の光束が、撮影レンズ２０を支持する鏡筒枠などに遮断される。つまり、瞳の周辺領域に設定された部分領域は、いわゆる口径食の影響を受ける。図５において，微小領域ＯｕがＸ軸マイナス側に存在する場合、網点で示す瞳の周辺領域Ｖにおいては、微小領域Ｏｕから放射される被写体光束が口径食により遮断される。
【００４１】
したがって、周辺領域Ｖに包含される部分領域Ｐａを通過するはずであった、主光線をＲａとする被写体光束は、実際には開口部１０４ａを有する視差画素には到達しない。このような関係は、図において微小領域Ｏｕが光軸２１に対して対称の位置に存在する場合も同様である。すなわち、微小領域ＯｕがＸ軸プラス側に存在する場合は、周辺領域Ｖが部分領域Ｐｆを包含する。すると、部分領域Ｐｆを通過するはずであった、主光線をＲｆとする被写体光束は、撮像素子１００のＸ軸マイナス側である周辺部に位置する、開口部１０４ｆを有する視差画素には到達しない。
【００４２】
つまり、被写界の周辺部から撮影レンズ２０へ入射する光束は、撮像素子１００の周辺部において開口部１０４ａまたは開口部１０４ｆを有する視差画素に到達しない。そこで、本実施形態においては、撮像素子１００の周辺部における繰り返しパターン１１０を、図のように、開口部１０４ｂ〜１０４ｅをそれぞれ有する視差画素から構成される繰り返しパターン１１０ｕとする。換言すれば、中央部においては６つの視差画素を一組とする繰り返しパターン１１０ｔに対して、周辺部においては、両端の視差画素を除いた、４つの視差画素を一組とする繰り返しパターン１１０ｕを採用する。すると、図５の下図に示すように、撮像素子１００の周辺部においては、繰り返しパターン１１０ｕが周期的に配列されることになる。
【００４３】
口径食の影響をどの程度受けるかは、撮影レンズ２０の瞳において設定された部分領域の位置と、撮像素子１００に対して当該部分領域からの光束を通過させる開口部を有する視差画素が存在する位置等に依存する。具体的には、撮像素子１００において中心部から離れるほど口径食の陰となる領域が大きくなるので、視差画素がより周辺部に存在するほど、開口部の偏位量が小さい視差画素にまで被写体光束が届かなくなる。
【００４４】
そこで、本実施形態の撮像素子１００においては、中心部に配列された繰り返しパターン１１０を構成する視差画素数よりも、周辺部に配列された繰り返しパターン１１０を構成する視差画素数を少なく設定する。すなわち、撮像素子１００の中心部に配列された繰り返しパターン１１０ほど、瞳の周辺領域に設定された部分領域を見込む、開口部１０４の偏位量が大きい視差画素まで含み、周辺部に配列された繰り返しパターン１１０ほど、瞳の中心付近に設定された部分領域を見込む、開口部１０４の偏位量が小さい視差画素のみを含む。中心部に配列された繰り返しパターン１１０は、瞳の中心付近に設定された部分領域を見込む、開口部１０４の偏位量が小さい視差画素も含むので、その視差画素数は、周辺部のそれよりも多くなる。例えば、中心部の領域に配列された繰り返しパターン１１０が含む視差画素数が６個であれば、中心部の領域に隣接する周辺部の領域では４個、さらに外側に隣接する周辺部の領域では２個、というように漸減する。なお、このとき、撮像素子１００の中心部の領域と周辺部の領域とを結ぶ方向は、開口マスク１０３の開口部１０４の偏位方向（図においてはＸ軸方向）と平行である。すなわち、撮像素子１００は、開口部１０４の偏位方向に直交する方向で、複数の領域に分割されている。以下に、具体的に図を用いて説明する。
【００４５】
図６は、本実施形態に係る撮像素子１００の各領域における繰り返しパターン１１０を説明する図である。図示するように、撮像素子１００のうち、中心部を含む縦ストライプ状の領域Ａは、開口部１０４ａ〜１０４ｆをそれぞれ有する６つの視差画素から構成される繰り返しパターン１１０ｔが周期的かつ連続的に配列されている。
【００４６】
また、領域Ａの両側にそれぞれ隣接する縦ストライプ状の２つの領域Ｂは、開口部１０４ｂ〜１０４ｅをそれぞれ有する４つの視差画素から構成される繰り返しパターン１１０ｕが周期的かつ連続的に配列されている。さらに、領域Ｂに対して周辺部側にそれぞれ隣接する縦ストライプ状の２つの領域Ｃは、開口部１０４ｃおよび１０４ｄをそれぞれ有する２つの視差画素から構成される繰り返しパターン１１０ｖが周期的かつ連続的に配列されている。
【００４７】
中心部に配列された繰り返しパターン１１０ｔにおける開口部１０４は、全体として比較した場合に、周辺部に配列された繰り返しパターン１１０ｕの開口部１０４よりも、瞳においてより広い領域に設定された部分領域からの光束を通過させている。さらに、繰り返しパターン１１０ｕの開口部１０４は、より周辺部に配列された繰り返しパターン１１０ｖの開口部１０４よりも、瞳においてより広い領域に設定された部分領域からの光束を通過させている。
【００４８】
図７は、視差画像を生成する処理を説明する概念図である。図は、紙面左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。
【００４９】
まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。開口部１０４ｆに対応する視差画素を含む繰り返しパターン１１０ｔが配列されているのは、領域Ａである。領域Ｂ、Ｃに配列されている繰り返しパターン１１０ｕ、１１０ｖは、開口部１０４ｆに対応する視差画素を含まない。
【００５０】
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０ｔは、領域ＡにおいてＸ軸方向に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００の領域Ａ上において、Ｘ軸方向に６画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。これらの視差画素の出力を寄せ集めて配列すると、領域Ａに対応する視差画像が得られる。
【００５１】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、Ｘ軸方向の画素数が１／６に間引かれた結果となり、実際の被写体像に対して縦長の画像データが生成されてしまう。そこで、Ｘ軸方向に対して６倍の画素数とする補間処理を施すことにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。なお、そもそも補間処理前の視差画像データが１／６に間引かれた画像であるので、Ｘ軸方向の解像度は、Ｙ軸方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００５２】
開口部１０４ａの出力による視差画像データＩｍ＿ａの生成は、開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成と同様である。この場合、視差画像データＩｍ＿ａは、視差画像データＩｍ＿ｆと同様に、領域ＢおよびＣに対応する画像データを持ち得ない。
【００５３】
次に開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子について説明する。開口部１０４ｅに対応する視差画素を含む繰り返しパターン１１０ｔおよび１１０ｕが配列されているのは、それぞれ領域Ａおよび領域Ｂである。領域Ｃに配列されている繰り返しパターン１１０ｖは、開口部１０４ｅに対応する視差画素を含まない。
【００５４】
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０ｔは、領域ＡにおいてＸ軸方向に配列されている。したがって、開口部１０４ｅを有する視差画素は、撮像素子１００の領域Ａ上において、Ｘ軸方向に６画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。これらの視差画素の出力を寄せ集めて配列すると、領域Ａに対応する視差画像が得られる。
【００５５】
さらに、４つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０ｕは、領域ＢにおいてＸ軸方向に配列されている。したがって、開口部１０４ｅを有する視差画素は、撮像素子１００の領域Ｂ上において、Ｘ軸方向に４画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。これらの視差画素の出力を寄せ集めて配列すると、領域Ｂに対応する視差画像が得られる。
【００５６】
これら領域Ａに対応する視差画像と領域Ｂに対応する視差画像とを、それぞれの領域の相対的な位置関係を保つようにつなぎ合わせると、開口部１０４ｅに対応する視差画素からの視差画像を生成することができる。ただし、上述の通り、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、Ｘ軸方向の画素数が領域Ａに対応する視差画像領域で１／６、領域Ｂに対応する視差画像領域で１／４に間引かれた結果となり、実際の被写体像に対して縦長の画像データが生成されてしまう。そこで、Ｘ軸方向に対して、領域Ａに対応する視差画像領域で６倍、領域Ｂに対応する視差画像領域で４倍の補間処理を施すことにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｅを生成する。
【００５７】
開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成は、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成と同様である。この場合、視差画像データＩｍ＿ｂは、視差画像データＩｍ＿ｅと同様に、領域Ｃに対応する画像データを持ち得ない。
【００５８】
次に開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子について説明する。開口部１０４ｄに対応する視差画素を含む繰り返しパターン１１０ｔ、１１０ｕおよび１１０ｖが配列されているのは、それぞれ領域Ａ、領域Ｂおよび領域Ｃである。すなわち、いずれの繰り返しパターンにおいても、開口部１０４ｄに対応する視差画素を含む。
【００５９】
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０ｔは、領域ＡにおいてＸ軸方向に配列されている。したがって、開口部１０４ｄを有する視差画素は、撮像素子１００の領域Ａ上において、Ｘ軸方向に６画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。これらの視差画素の出力を寄せ集めて配列すると、領域Ａに対応する視差画像が得られる。
【００６０】
さらに、４つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０ｕは、領域ＢにおいてＸ軸方向に配列されている。したがって、開口部１０４ｄを有する視差画素は、撮像素子１００の領域Ｂ上において、Ｘ軸方向に４画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。これらの視差画素の出力を寄せ集めて配列すると、領域Ｂに対応する視差画像が得られる。
【００６１】
さらに、２つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０ｖは、領域ＣにおいてＸ軸方向に配列されている。したがって、開口部１０４ｄを有する視差画素は、撮像素子１００の領域Ｃ上において、Ｘ軸方向に２画素おき、かつ、Ｙ軸方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。これらの視差画素の出力を寄せ集めて配列すると、領域Ｃに対応する視差画像が得られる。
【００６２】
これら領域Ａ、Ｂ、Ｃに対応するそれぞれの視差画像を、相対的な位置関係を保つようにつなぎ合わせると、開口部１０４ｄに対応する視差画素からの視差画像を生成することができる。ただし、上述の通り、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、Ｘ軸方向の画素数が領域Ａに対応する視差画像領域で１／６、領域Ｂに対応する視差画像領域で１／４、領域Ｃに対応する視差画像領域で１／２に間引かれた結果となり、実際の被写体像に対して縦長の画像データが生成されてしまう。そこで、Ｘ軸方向に対して、領域Ａに対応する視差画像領域で６倍、領域Ｂに対応する視差画像領域で４倍、領域Ｃに対応する視差画像領域で２倍の補間処理を施すことにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｄを生成する。
【００６３】
開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成は、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成と同様である。この場合、視差画像データＩｍ＿ｃは、視差画像データＩｍ＿ｄと同様に、領域Ａ〜Ｃに対応する画像データを持ち得る。
【００６４】
以上のように、画像処理部２０５による画像処理により、Ｘ軸方向（水平方向）に視差を与える６つの視差画像データを生成することができる。上述の通り、それぞれの視差画像は、出力を寄せ集めた視差画素の撮像素子１００上の配列に起因して、互いに画角が異なり得る。したがって、これらの視差画像データを３Ｄ表示装置で再生する場合、観察者は、被写体の中心付近で６視点の３Ｄ画像として視認し、その両側付近で４視点、さらに周辺部で２視点の３Ｄ画像として視認する。
【００６５】
上記の例では、Ｘ軸方向を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図８は、繰り返しパターンの他の例を示す図である。この他の例では、Ｙ軸方向を繰り返しパターン１１０として周期的に配列される。
【００６６】
撮像素子１００のうち、図６に示した撮像素子１００の領域区分と同様に、領域Ａには、図８（ａ）に示すように、開口部１０４ａ〜１０４ｆをそれぞれ有する６つの視差画素から構成される繰り返しパターン１１０ｔが周期的かつ連続的に配列されている。この場合における繰り返しパターン１１０ｔでは、それぞれの開口部１０４は、＋Ｙ側の端の視差画素から−Ｙ方向に向かって、−Ｘ側から＋Ｘ側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、Ｘ軸方向に視差を与える視差画像を生成することができる。
【００６７】
また、領域Ｂには、図８（ｂ）に示すように、開口部１０４ｂ〜１０４ｅをそれぞれ有する４つの視差画素から構成される繰り返しパターン１１０ｕが周期的かつ連続的に配列されている。さらに、領域Ｃには、図８（ｃ）に示すように、開口部１０４ｃおよび１０４ｄをそれぞれ有する２つの視差画素から構成される繰り返しパターン１１０ｖが周期的かつ連続的に配列されている。
【００６８】
このような繰り返しパターン１１０であっても、画像処理部２０５による画像処理により、水平方向に視差を与える６つの視差画像データを生成することができる。この場合は、図６の繰り返しパターン１１０に比較すると、Ｙ軸方向の解像度を犠牲にする代わりにＸ軸方向の解像度を維持する繰り返しパターンであると言える。
【００６９】
図９は、繰り返しパターンのさらに他の例を示す図である。この他の例では、斜め方向に隣接する画素を繰り返しパターン１１０として周期的に配列される。
【００７０】
撮像素子１００のうち、図６に示した撮像素子１００の領域区分と同様に、領域Ａには、図９（ａ）に示すように、開口部１０４ａ〜１０４ｆをそれぞれ有する６つの視差画素から構成される繰り返しパターン１１０ｔが周期的かつ連続的に配列されている。この場合における繰り返しパターン１１０ｔでは、−Ｘ側かつ＋Ｙ側の端（紙面左上端）の視差画素から＋Ｘ側かつ−Ｙ側の端（紙面右下端）に向かって、−Ｘ側から＋Ｘ側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、Ｘ軸方向に視差を与える視差画像を生成することができる。
【００７１】
また、領域Ｂには、図９（ｂ）に示すように、開口部１０４ｂ〜１０４ｅをそれぞれ有する４つの視差画素から構成される繰り返しパターン１１０ｕが周期的かつ連続的に配列されている。さらに、領域Ｃには、図９（ｃ）に示すように、開口部１０４ｃおよび１０４ｄをそれぞれ有する２つの視差画素から構成される繰り返しパターン１１０ｖが周期的かつ連続的に配列されている。
【００７２】
このような繰り返しパターン１１０であっても、画像処理部２０５による画像処理により、Ｘ軸方向に視差を与える６つの視差画像データを生成することができる。この場合は、図６の繰り返しパターン１１０に比較すると、Ｙ軸方向の解像度およびＸ軸方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
【００７３】
図６、図８、図９の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、Ｙ軸方向、Ｘ軸方向のいずれの方向の解像度を犠牲にするかの違いであると言える。領域Ａにおける繰り返しパターン１１０ｔの配列で比較すると、図６の配列の場合はＸ軸方向の解像度を１／６とする構成であり、図８の配列の場合はＹ軸方向の解像度を１／６とする構成であり、また、図９の配列の場合はＹ軸方向を１／３、Ｘ軸方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。
【００７４】
上述の例では、水平方向（Ｘ軸方向）に視差を与える視差画像を生成する場合について説明したが、もちろん垂直方向（Ｙ軸方向）に視差を与える視差画像を生成することもできるし、水平垂直の二次元方向に視差を与える視差画像を生成することもできる。図１０は、垂直方向に視差を与える垂直視差画像を出力する撮像素子の各領域における繰り返しパターン１１０を説明する図である。
【００７５】
図示するように、撮像素子１００のうち、中心部を含む横ストライプ状の領域Ａは、開口部１０４ａ〜１０４ｆをそれぞれ有する６つの視差画素から構成される繰り返しパターン１１０ｔが周期的かつ連続的に配列されている。図の例においては、それぞれの画素に対する開口部１０４の位置として、互いにＹ軸方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、＋Ｙ側（紙面上側）から−Ｙ側（紙面下側）へ徐々にシフトする開口部１０４ａ〜１０４ｆをそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的かつ連続的に敷き詰められて構成されていると言える。なお、図の例においては、開口部１０４の形状を横長の長方形とするが、これに限らない。画素の中心に対して偏位して、瞳上の特定の部分領域を見込む開口であれば、さまざまな形状を採用し得る。
【００７６】
また、領域Ａの両側にそれぞれ隣接する横ストライプ状の２つの領域Ｂは、開口部１０４ｂ〜１０４ｅをそれぞれ有する４つの視差画素から構成される繰り返しパターン１１０ｕが周期的かつ連続的に配列されている。
【００７７】
中心部に配列された繰り返しパターン１１０ｔにおける開口部１０４は、全体として比較した場合に、周辺部に配列された繰り返しパターン１１０ｕの開口部１０４よりも、瞳においてより広い領域に設定された部分領域からの光束を通過させている。
【００７８】
このような撮像素子１００から出力される画像データに対して、図７で説明した画像処理と同様の画像処理を施せば、垂直方向に視差を与える６つの視差画像データを生成することができる。上述の通り、それぞれの視差画像は、出力を寄せ集めた視差画素の撮像素子１００上の配列に起因して、互いに画角が異なり得る。したがって、これらの視差画像データを３Ｄ表示装置で再生する場合、観察者は、被写体の中心付近で６視点の３Ｄ画像として視認し、その両側付近で４視点の３Ｄ画像として視認する。
【００７９】
次に、カラーフィルタ１０２と視差画像について説明する。図１１は、カラーフィルタ配列を説明する図である。図示するカラーフィルタ配列は、いわゆるベイヤー配列の４画素のうち右下画素を緑フィルタが割り当てられるＧ画素として維持する一方、左上画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。右上画素に青色フィルタを割り当ててＢ画素とし、左下画素に赤色フィルタを割り当ててＲ画素とする配列は、ベイヤー配列と同様である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
【００８０】
ベイヤー配列および図１１のようなカラーフィルタ配列など、いずれのカラーフィルタ配列を採用するにしても、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の組み合わせパターンが設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
【００８１】
このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する組み合わせパターンが設定される。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。
【００８２】
一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。
【００８３】
また、Ｗ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。
【００８４】
Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の組み合わせパターンは、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の組み合わせパターンが設定される。
【００８５】
図１２は、カラーフィルタ配列と視差画素の関係を示す図である。特に、図１１のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す。図の例においては、図１１のカラーフィルタ配列の４画素がＸ軸方向に６組続く２４画素を組み合わせパターンとする。組み合わせパターンを構成するそれぞれのＷ画素において、左端に位置するＷ画素から右端に位置するＷ画素に向かって順に、開口部１０４ｆ、１０４ｅ、…１０４ａを有する視差画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。
【００８６】
なお、図１２の組み合わせパターンを、例えば図６における領域Ａに採用する場合、領域Ｂに採用する組み合わせパターンは、図１１のカラーフィルタ配列の４画素がＸ軸方向に４組続く１６画素を組み合わせパターンとする。このとき、組み合わせパターンを構成するそれぞれのＷ画素において、左端に位置するＷ画素から右端に位置するＷ画素に向かって順に、開口部１０４ｅ、…１０４ｂを有する視差画素を割り当てる。同様に、領域Ｃに採用する組み合わせパターンは、図１１のカラーフィルタ配列の４画素がＸ軸方向に２組続く８画素を組み合わせパターンとする。このとき、組み合わせパターンを構成するそれぞれのＷ画素において、左側に位置するＷ画素には開口部１０４ｄを、右側に位置するＷ画素には開口部１０４ｃを有する視差画素を割り当てる。
【００８７】
ここで、モノクロ画像としての視差画像の生成と、カラー画像としての２Ｄ画像の生成について説明する。
【００８８】
図１３は、視差画像と２Ｄ画像の生成過程を示す概念図である。図示するように、開口部１０４ｆを有する視差画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｉｍ＿ｆ画像データが生成される。一つの繰り返しパターン１１０に含まれる開口部１０４ｆを有する視差画素は一つであるので、Ｉｍ＿ｆ画像データを形成する各々の開口部１０４ｆを有する視差画素は、それぞれ異なる繰り返しパターン１１０から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｉｍ＿ｆ画像データは、特定の視点（ｆ視点）から被写体を捉えた一つの視差画像データとなる。そして、この視差画素は、Ｗ画素に割り振られているので、Ｉｍ＿ｆ画像データは、カラー情報を持たず、モノクロ画像として生成される。
【００８９】
同様に、開口部１０４ｅ〜１０４ａを有する視差画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｉｍ＿ｅ画像データ〜Ｉｍ＿ａ画像データが生成される。
【００９０】
また、視差なし画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、２Ｄ画像データが生成される。このとき、Ｗ画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、左上画素の出力に相当する出力が欠落する。そこで、例えば、この欠落した出力の値として、Ｇ画素の出力値を代入する。つまり、Ｇ画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して２Ｄ画像データを生成することができる。
【００９１】
なお、以上の画像処理は、画像処理部２０５によって実行される。画像処理部２０５は、制御部２０１を介して撮像素子１００から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配して視差画像データおよび２Ｄ画像データを生成する。
【００９２】
以上の実施形態においては、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的かつ連続的に敷き詰められて構成されていると説明した。しかし、視差画素のそれぞれが被写体の離散的な微小領域を捉えて視差画像を出力すれば良いので、例えば、周期的な繰り返しパターン１１０の間に視差なし画素が連続していても良い。つまり、視差画素を含む繰り返しパターン１１０は、連続していなくても、周期的であれば視差画像を出力し得る。
【００９３】
以上の実施形態では、例えば図６において、撮像素子１００を領域Ａ、Ｂ、Ｃの３種類の領域に分けたが、もちろんこの数に限定されるわけではない。また、各領域における開口部１０４の種類も、６種類、４種類、２種類に限定されるわけではない。撮像素子１００をどのように領域分割し、その領域に配列される繰り返しパターンをどのように構成するかは、撮影レンズ２０とこれを支持する鏡筒に起因する口径食に基づいて決定される。
【００９４】
すなわち、口径食により、瞳に設定された部分領域からの被写体光束を受光できない視差画素が生じないように、領域分割と繰り返しパターンが決定される。したがって、各領域の境界は、図６および図１０で示したような、撮像素子の長辺あるいは短辺に平行な直線でなくてもよく、口径食に合わせた曲線であっても良い。
【００９５】
また、口径食は、焦点距離に対してはワイド側、絞りに対しては開放側で顕著に現れるので、領域分割と繰り返しパターンは、口径食が顕著に現れる条件下で決定されることが好ましい。特に、デジタルカメラ１０がレンズ交換式カメラであれば、装着し得る撮影レンズを全体的に考慮して決定されることが好ましい。
【００９６】
また、以上の実施形態では、例えば図６の繰り返しパターンにおいて、領域Ａの視差画素を６画素とし、隣接する領域Ｂの視差画素を、領域Ａの６画素の両端画素を除いて４画素としている。しかし、図５との関係からも理解される通り、領域Ａの右側に隣接する領域Ｂ（領域Ｂｒ）では、開口部１０４ａを有する視差画素に被写体光束が届かなくなるのであって、開口部１０４ｆを有する視差画素には被写体光束が届いている。したがって、領域Ｂｒでは、開口部１０４ｂ〜１０４ｆをそれぞれ有する５つの視差画素を繰り返しパターンとしても良い。この場合、同様に、領域Ａの左側に隣接する領域Ｂ（領域Ｂｌ）では、開口部１０４ａ〜１０４ｅをそれぞれ有する５つの視差画素を繰り返しパターンとすれば良い。
【００９７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
【符号の説明】
【００９８】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、３０、３１  被写体、１００  撮像素子、１０１  マイクロレンズ、１０２  カラーフィルタ、１０３  開口マスク、１０４  開口部、１０５  配線層、１０６  配線、１０７  開口、１０８  光電変換素子、１０９  基板、１１０  繰り返しパターン、１２０  撮像素子、１２１  スクリーンフィルタ、１２２  カラーフィルタ部、１２３  開口マスク部、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２０４  駆動部、２０５  画像処理部、２０６  演算部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  ＬＣＤ駆動回路、２２０  メモリカード
【図１】
2013057859.tif 000003
【図２】
2013057859.tif 000004
【図３】
2013057859.tif 000005
【図４】
2013057859.tif 000006
【図５】
2013057859.tif 000007
【図６】
2013057859.tif 000008
【図７】
2013057859.tif 000009
【図８】
2013057859.tif 000010
【図９】
2013057859.tif 000011
【図１０】
2013057859.tif 000012
【図１１】
2013057859.tif 000013
【図１２】
2013057859.tif 000014
【図１３】
2013057859.tif 000015
【手続補正書】
【提出日】平成26年4月21日(2014.4.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入射光を電気信号に光電変換する複数の光電変換素子を一組とする光電変換素子群が二次元的かつ周期的に配列され、
前記光電変換素子群を構成する前記複数の光電変換素子のそれぞれに対応して設けられた開口マスクの開口は、前記入射光の断面領域に含まれる互いに異なる部分領域からの光束を通過させるように、前記光電変換素子群においてそれぞれの光電変換素子に対する位置が互いに異なるように位置づけられ、
前記光電変換素子群を構成する光電変換素子の数は、中心部に配列された前記光電変換素子群における数よりも、周辺部に配列された前記光電変換素子群における数の方が少ない撮像素子。
【請求項２】
前記中心部に配列された前記光電変換素子群を構成する前記複数の光電変換素子に設けられた開口マスクの開口は、前記光電変換素子群の全体として比較した場合に、前記周辺部に配列された前記光電変換素子群を構成する前記複数の光電変換素子に設けられた開口マスクの開口よりも、より広い前記断面領域に対して設定された前記部分領域からの光束を通過させる請求項１に記載の撮像素子。
【請求項３】
前記断面領域は、前記入射光を透過させる光学系を備える撮影レンズの口径食に基づいて決定される請求項２に記載の撮像素子。
【請求項４】
前記中心部と前記周辺部とを結ぶ方向は、前記開口マスクの開口の偏位方向と平行である請求項１から３のいずれか１項に記載の撮像素子。
【請求項５】
一組の前記光電変換素子群を構成する前記複数の光電変換素子は、被写体が合焦位置に存在する場合に、前記被写体の一つの微小領域から放射される光束を受光する請求項１から４のいずれか１項に記載の撮像素子。
【請求項６】
前記開口マスクが設けられたていない、または、前記入射光の有効光束の全体を通過させる開口マスクが設けられた光電変換素子が、前記光電変換素子群を構成する前記複数の光電変換素子に隣接して、二次元的かつ周期的に配列された請求項１から５のいずれか１項に記載の撮像素子。
【国際調査報告】
2013057859.tif 000016
2013057859.tif 000017