(57)【要約】【課題】撮像装置は、交換レンズが取り替えられた場合に、当該交換レンズの特性の影響により、複数の視点数の画像を生成することができない場合があった。【解決手段】上記課題を解決するために、撮像素子は、入射光を電気信号に光電変換する、二次元的に複数配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられたマイクロレンズと、光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと、マイクロレンズおよび開口マスクの少なくとも一方を光電変換素子が配列された平面に直交する成分を含むように移動させる移動部とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの開口マスクの開口が、入射光の断面領域内の互いに異なる部分領域からの入射光を通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が周期的に配列されている。【選択図】図１
2013175812.tif 000002
【特許請求の範囲】
【請求項１】
入射光を電気信号に光電変換する、二次元的に複数配列された光電変換素子と、
前記光電変換素子のそれぞれに一対一に対応して設けられたマイクロレンズと、
前記光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと、
前記マイクロレンズおよび前記開口マスクの少なくとも一方を前記光電変換素子が配列された平面に直交する成分を含むように移動させる移動部とを備え、
隣接するｎ個（ｎは３以上の整数）の前記光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの前記開口マスクの開口が、前記入射光の断面領域内の互いに異なる部分領域からの前記入射光を通過させるように位置づけられ、前記ｎ個の前記光電変換素子を一組とする光電変換素子群が周期的に配列された撮像素子。
【請求項２】
複数の前記マイクロレンズは、一体的にマイクロレンズアレイとして形成され、
複数の前記開口マスクは、一体的に開口マスクアレイとして形成され、
前記移動部は、前記マイクロレンズアレイおよび前記開口マスクアレイの少なくとも一方を移動させる請求項１に記載の撮像素子。
【請求項３】
前記移動部は、圧電素子を含む請求項２に記載の撮像素子。
【請求項４】
前記入射光が入射する側から、前記マイクロレンズアレイ、前記開口マスクアレイ、前記光電変換素子の順に配置され、
前記圧電素子は、前記マイクロレンズアレイを移動させる請求項３に記載の撮像素子。
【請求項５】
前記入射光が入射する側から、前記マイクロレンズアレイ、前記開口マスクアレイ、前記光電変換素子の順に配置され、
前記圧電素子は、前記開口マスクアレイを移動させる請求項３に記載の撮像素子。
【請求項６】
前記入射光が入射する側から、前記開口マスクアレイ、前記マイクロレンズアレイ、前記光電変換素子の順に配置され、
前記圧電素子は、前記開口マスクアレイを移動させる請求項３に記載の撮像素子。
【請求項７】
請求項１から６の何れか１項に記載の撮像素子と、
装着される交換レンズのレンズ情報に基づいて、前記移動部の移動量を制御する移動制御部と
を備える撮像装置。
【請求項８】
前記レンズ情報は、瞳位置情報を含む請求項７に記載の撮像装置。
【請求項９】
前記レンズ情報は、焦点距離情報を含む請求項７または８に記載の撮像装置。
【請求項１０】
前記レンズ情報は、開放絞り値情報を含む請求項７から９の何れか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【０００２】
単一の撮影光学系を用いて、視点の異なる複数の画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−２９０２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の撮像装置がレンズ交換式である場合に、当該撮像装置は、取り付けられたレンズの特性によっては、視点の異なる複数の画像を適切に生成することができない場合があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像素子は、入射光を電気信号に光電変換する、二次元的に複数配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられたマイクロレンズと、光電変換素子のそれぞれに一対一に対応して設けられる開口マスクと、マイクロレンズおよび開口マスクの少なくとも一方を光電変換素子が配列された平面に直交する成分を含むように移動させる移動部とを備え、隣接するｎ個（ｎは３以上の整数）の光電変換素子のうち、少なくとも３つに対応して設けられたそれぞれの開口マスクの開口が、入射光の断面領域内の互いに異なる部分領域からの入射光を通過させるように位置づけられ、ｎ個の光電変換素子を一組とする光電変換素子群が周期的に配列されている。
【０００５】
本発明の第２の態様における撮像装置は、上述の撮像素子と、装着される交換レンズのレンズ情報を取得する取得部と、取得部により取得されたレンズ情報に基づいて、移動部の移動量を制御する移動制御部を備える。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係るデジタルカメラ１０の構成を説明する図である。
【図２】撮像素子１００の断面を表す概略図である。
【図３】撮像素子１００の一部を拡大した様子を表す概略図である。
【図４】視差画素と被写体の関係を説明する概念図である。
【図５】視差画像を生成する処理を説明する概念図である。
【図６】マイクロレンズアレイ１０１を考慮した場合の部分領域、開口部、および光電変換素子の位置関係を説明する概念図である。
【図７】交換レンズが取り替えられた場合の問題点を説明するための図である。
【図８】撮影レンズ４０の各部分領域Ｐａ２〜Ｐｆ２からの主光線Ｒａ２〜Ｒｆ２の進路を説明するための図である。
【図９】開口マスク１０３を移動させる構成を説明するための図である。
【図１０】繰り返しパターンの他の例を示す図である。
【図１１】二次元的な繰り返しパターンの例を示す図である。
【図１２】開口部の他の形状を説明する図である。
【図１３】ベイヤー配列を説明する図である。
【図１４】ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。
【図１５】バリエーションの一例を示す図である。
【図１６】他のバリエーションの一例を示す図である。
【図１７】他のバリエーションの一例を示す図である。
【図１８】他のバリエーションの一例を示す図である。
【図１９】ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が３つである場合のバリエーションを説明する図である。
【図２０】バリエーションの一例を示す図である。
【図２１】ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が４つ以上である場合のバリエーションを説明する図である。
【図２２】他のカラーフィルタ配列を説明する図である。
【図２３】他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。
【図２４】他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が３つである場合のバリエーションを説明する図である。
【図２５】本発明の実施形態に係る他の撮像素子の断面を表す概略図である。
【図２６】他のカラーフィルタ配列を説明する図である。
【図２７】Ｗ画素と視差画素の配列の一例を示す図である。
【図２８】視差画像と２Ｄ画像の生成過程を示す概念図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
本実施形態に係る撮像素子を含んで構成される撮像装置は、例えばデジタルカメラであり、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【００１０】
図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、交換レンズ３００がカメラ本体２００に装着されて構成される。カメラ本体２００は、カメラマウント２１３を備え、交換レンズ３００は、レンズマウント３０３を備える。カメラマウント２１３とレンズマウント３０３が係合すると、カメラ本体２００側の通信端子と交換レンズ３００側の通信端子の接続が確立され、互いに制御信号等の通信を行うことができる。カメラ本体制御部２０１およびレンズシステム制御部３０１は、相互に通信を実行しつつ協働してカメラ本体２００と交換レンズ３００を制御する。
【００１１】
交換レンズ３００には、焦点距離等が異なる複数の種類がある。ユーザは、撮影目的に応じて任意のひとつをカメラ本体２００へ装着することができる。交換レンズ３００は、撮影光学系として撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束をカメラ本体２００内に配置された撮像素子１００へ導く。図１に示すように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面奥へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１２】
交換レンズ３００は、撮影レンズ２０、レンズシステム制御部３０１、レンズ情報記憶部３０２、およびレンズ駆動部３０４を備える。撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。レンズシステム制御部３０１は、レンズ駆動部３０４を介して撮影レンズ２０を移動させる。また、レンズシステム制御部３０１は、撮影レンズ２０のレンズ情報を記憶しているレンズ情報記憶部３０２から当該レンズ情報を読み出し、カメラ本体制御部２０１に送信する。レンズ情報記憶部３０２は、撮影レンズ２０のレンズ情報として瞳位置情報、焦点距離情報、開放絞り値情報、レンズ瞳径情報等を記憶している。
【００１３】
カメラ本体２００は、撮像素子１００、カメラ本体制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、メモリカードＩＦ２０７、操作部２０８、表示部２０９、および表示制御部２１０を備える。
【００１４】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、ＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、入射光を電気信号に変換する、二次元的に複数配列された光電変換素子と、光電変換素子のそれぞれに一対一に対応して設けられたマイクロレンズとを含む。ここでは、複数のマイクロレンズは、一体的にマイクロレンズアレイとして形成されている。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１５】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。カメラ本体制御部２０１の一部である画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。画像処理部２０５は、例えば、ＪＰＥＧファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。表示制御部２１０は、画像処理部２０５によって生成された画像データを表示信号に変換し、表示部２０９に表示させる。また、画像処理部２０５によって生成された画像データは、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１６】
一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、カメラ本体制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、演算部２０６の演算結果に応じて実行される。
【００１７】
デジタルカメラ１０は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。
【００１８】
カメラ本体制御部２０１の一部である移動制御部２１２は、交換レンズ３００がカメラ本体２００に装着されると、レンズシステム制御部３０１を介して撮影レンズ２０のレンズ情報を取得する。移動制御部２１２は、撮影レンズ２０のレンズ情報に応じて、後述するマイクロレンズアレイ移動部によるマイクロレンズアレイの移動量を制御する。移動制御部２１２による具体的な制御内容は後述する。カメラ本体制御部２０１の一部であるカメラメモリ２１４は、例えばフラッシュメモリなどの不揮発性メモリであり、デジタルカメラ１０を制御するプログラム、各種パラメータなどを記憶する役割を担う。カメラメモリ２１４は、例えば、デジタルカメラ１０に装着可能な交換レンズ毎に、焦点距離情報とマイクロレンズアレイ移動部の変位量が対応付けられたルックアップテーブルを記憶している。マイクロレンズアレイ移動部の変位量は、実験値あるいはシミュレーションデータに基づいて決定されている。
【００１９】
次に、撮像素子１００の構成について詳細に説明する。図２は、撮像素子１００の断面を表す概略図である。撮像素子１００は、被写体側から順に、マイクロレンズアレイ１０１、マイクロレンズアレイ移動部１１２、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子アレイ１１５が配列されて構成されている。
【００２０】
光電変換素子アレイ１１５は、複数の光電変換素子１０８が基板１０９の表面に二次元的に配列されてなる。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。
【００２１】
光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた、開口部１０４を有する開口マスク１０３が、配線層１０５に接して設けられている。ここでは、複数の開口マスク１０３は、一体的に開口マスクアレイ１１４として形成されている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。
【００２２】
一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。したがって、開口マスクアレイ１１４は、視差を生じさせる開口部１０４と視差を生じさせない開口部１０４を含んで構成される。開口マスクアレイ１１４は、視差を生じさせる開口部１０４だけで構成されてもよい。
【００２３】
また、視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。
【００２４】
カラーフィルタ１０２は、開口マスクアレイ１１４上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。具体的な配列については後述する。
【００２５】
マイクロレンズアレイ移動部１１２は、例えば圧電素子としてのピエゾ素子である。マイクロレンズアレイ移動部１１２は、光電変換素子１０８が配列された平面に直交する成分を含むようにマイクロレンズアレイ１０１を移動させる。ここでは、マイクロレンズアレイ移動部１１２は、一端がカラーフィルタ１０２に、他端がマイクロレンズアレイ１０１に接した状態で配置され、移動制御部２１２から入力される駆動電圧に応じて伸縮することによってマイクロレンズアレイ１０１をｚ軸方向に移動させる。
【００２６】
マイクロレンズアレイ１０１は、例えば樹脂材料からなる。マイクロレンズアレイ１０１は、マイクロレンズアレイ移動部１１２を介してカラーフィルタ１０２上に設けられている。マイクロレンズアレイ１０１は、光電変換素子１０８の各々に一対一に対応して設けられたマイクロレンズ１１１からなる。マイクロレンズ１１１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１１１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。
【００２７】
このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１１１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２８】
なお、白黒画像信号を出力すれば良い場合にはカラーフィルタ１０２は設けない。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。
【００２９】
次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。撮像素子１００がカラーフィルタ１０２を備えない場合は、モノクロイメージセンサとしてモノクロの視差画像を生成することができる。また、カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
【００３０】
図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。
【００３１】
図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子１００は、一組の光電変換素子群を含む繰り返しパターン１１０が、周期的かつ連続的に敷き詰められて構成されていると言える。
【００３２】
しかしながら、繰り返しパターン１１０は、２次元方向の少なくとも一方向に連続的に敷き詰められていればよく、他方向に非連続であってもよい。また、撮像素子１００は、実質的に視差画像を生成できる範囲内において、一部に繰り返しパターン１１０が省かれた部分を有してもよい。実質的に視差画像を生成できる範囲とは、例えば、像としての齟齬が生じないよう補間できる範囲である。また、繰り返しパターン１１０が省かれた部分が、視覚的に影響を与えない周辺領域である場合も、実質的に視差画像を生成できる。
【００３３】
図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。なお、ここでは、説明を簡単にすべく、マイクロレンズアレイ１０１については後に言及を再開するまで考慮しない。
【００３４】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。
【００３５】
別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。
【００３６】
図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００３７】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
【００３８】
撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。
【００３９】
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。
【００４０】
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００４１】
すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。
【００４２】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。
【００４３】
図５は、視差画像を生成する処理を説明する概念図である。図５は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
【００４４】
６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
【００４５】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００４６】
同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。
【００４７】
続いて、図６は、マイクロレンズアレイ１０１を考慮した場合の部分領域、開口部、および光電変換素子の位置関係を説明する概念図である。図６（ａ）は、撮影レンズ２０の各部分領域Ｐａ１〜Ｐｆ１からの光束が、繰り返しパターン１１０に含まれる、対応する光電変換素子１０８ａ〜１０８ｆにどのようにして到達するかを説明するための図である。図６（ｂ）は、図６（ａ）に対応する繰り返しパターン１１０を示す図である。図６（ｂ）は、図３で説明した繰り返しパターン１１０と同一であるので、説明を省略する。
【００４８】
マイクロレンズアレイ１０１を考慮した場合であっても、部分領域Ｐａ１〜Ｐｆ１、開口部１０４ａ〜１０４ｆ、および光電変換素子１０８ａ〜１０８ｆの位置関係の考え方の骨子は、図４を用いて説明した内容と変わらない。つまり、部分領域Ｐａ１、開口部１０４ａ、光電変換素子１０８ａの位置関係について例示すると、部分領域Ｐａ１から射出された被写体光束のみが光電変換素子１０８ａへ到達するように、開口マスク１０３ａの開口部１０４ａの位置が定められる。
【００４９】
ただし、部分領域Ｐａ１から射出された被写体光束の主光線Ｒａ１は、マイクロレンズ１１１ａに対し入射角θ１で入射すると、マイクロレンズ１１１ａから屈折角θ２で主光線Ｒａ１'として射出される。したがって、開口部１０４ａの位置は、主光線Ｒａ１がマイクロレンズ１１１ａに入射角θ１で入射した場合に、屈折角θ２で射出される主光線Ｒａ１'が対応する光電変換素子１０８ａに到達するように定められている。つまり、マイクロレンズ１１１ａを考慮する場合には、マイクロレンズ１１１ａから射出される主光線Ｒａ１'の傾きにより開口部１０４ａの位置が定められていると言える。ここで、マイクロレンズ１１１ａを構成する樹脂材料は、空気よりも屈折率が大きいので、入射角θ１＞屈折角θ２となる。また、図中の破線３１は、主光線Ｒａ１が入射する点における法線を示す。
【００５０】
同様に、開口部１０４ｂ〜１０４ｆの位置は、マイクロレンズの曲率を考慮した上で、部分領域Ｐｂ１〜Ｐｆ１から射出された主光線Ｒｂ１〜Ｒｆ１のそれぞれが、対応する光電変換素子１０８ｂ〜１０８ｆに到達するよう定められている。
【００５１】
ところで、上述のように、ユーザは、撮影目的に応じて任意の交換レンズをカメラ本体２００へ装着することができる。そうすると、カメラ本体２００に装着された交換レンズによっては、当該交換レンズ内の撮影レンズの各部分領域から射出された被写体光束が、対応する光電変換素子へ到達しない場合が考えられる。
【００５２】
図７は、交換レンズが取り替えられた場合の問題点を説明するための図である。図７（ａ）は、交換レンズ３００内の撮影レンズ２０、交換レンズ４００内の撮影レンズ４０、および撮像素子１００の位置関係を示す図である。ここでは、ユーザによって交換レンズ３００から交換レンズ４００に取り替えられることによって、各部分領域が光軸方向に平行移動する場合を想定している。また、図７は、撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、被写体３０は、撮影レンズ２０に対して合焦位置に存在する。撮影レンズ２０の焦点距離をｆ１、撮影レンズ２０の焦点距離をｆ２、撮影レンズ２０および撮影レンズ４０のレンズ瞳径をＤとする。図７（ａ）に示すように、交換レンズ３００から交換レンズ４００に取り替えられることによって、焦点距離がｆ１からｆ２に変わる。ここで、ｆ２＞ｆ１である。
【００５３】
図７（ｂ）は、撮像面近傍の拡大図である。図７（ｂ）は、マイクロレンズアレイ移動部１１２が変位していない状態を示している。マイクロレンズアレイ移動部１１２が変位していない状態を基準状態という。マイクロレンズアレイ移動部１１２は、例えば非通電時に基準状態となる。基準状態でのマイクロレンズアレイ移動部１１２の厚みを基準値ｈ０とする。なお、図７（ａ）、図７（ｂ）において、撮影レンズ２０の各部分領域Ｐａ１〜Ｐｆ１からの光束を実線で、撮影レンズ４０の各部分領域Ｐａ２〜Ｐｆ２からの光束を破線で示す。図７（ｃ）は、図７（ｂ）に対応する繰り返しパターン１１０を示す図である。
【００５４】
図７（ｂ）に示すように、撮影レンズ２０の各部分領域Ｐａ１〜Ｐｆ１から射出された被写体光束の主光線Ｒａ１〜Ｒｆ１は、対応する開口部１０４ａ〜１０４ｆを通過してそれぞれ光電変換素子１０８ａ〜１０８ｆに到達する。一方、撮影レンズ４０の各部分領域Ｐａ２〜Ｐｆ２から射出された被写体光束の主光線Ｒａ２〜Ｒｆ２の少なくとも一部は、対応する光電変換素子１０８ａ〜１０８ｆに到達しない。例えば、主光線Ｒａ２は、マイクロレンズ１１１ａに対し入射角θ３で入射し、マイクロレンズ１１１ａから屈折角θ４で主光線Ｒａ２'として射出されるが、主光線Ｒａ２'は、光電変換素子１０８ａに到達しない。主光線Ｒａ２が光電変換素子１０８ａに到達しない理由は、次の通りである。
【００５５】
光電変換素子１０８ａと開口部１０４ａの位置関係は、交換レンズ３００が装着された場合を前提にして、撮影レンズ２０の部分領域Ｐａ１に対応して定められている。したがって、図７（ａ）に示すように、交換レンズ４００が装着されることによって焦点距離が変化すると、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、部分領域Ｐａ２に、交換レンズ３００における対応する部分領域Ｐａ１に対する角度と異なる角度で入射する。そうすると、各部分領域Ｐａ１、Ｐａ２で屈折した光束の主光線Ｒａ１、Ｒａ２は、それぞれ異なる角度で撮像素子１００に向かうことになる。その結果、主光線Ｒａ２は、交換レンズ３００の部分領域Ｐａ１に対して定められた開口部１０４ａからずれた位置に到達してしまう。ここでは、主光線Ｒａ２は、対応するマイクロレンズ１１１ａに入射するものの、マイクロレンズ１１１ａから射出される光束の主光線Ｒａ２'の傾きは、主光線Ｒａ１'とは異なっている。つまり、光電変換素子１０８ａと開口部１０４ａの位置関係が固定された状態は変わらずに、主光線Ｒａ２のマイクロレンズ１１１ａへの入射角が変わり、その結果、マイクロレンズ１１１ａから射出される光束の主光線Ｒａ２'の傾きも、主光線Ｒａ１'とは異なっている。
【００５６】
上述のように、マイクロレンズ１１１ａから射出される主光線Ｒａ１'の傾きにより開口部１０４ａの位置が定められているので、主光線Ｒａ１'の傾きとは異なる主光線Ｒａ２'は、対応する光電変換素子１０８ａに到達しないのである。同様の理由によって、主光線Ｒｂ２、Ｒｅ２、Ｒｆ２は、対応する光電変換素子１０８ｂ、１０８ｅ、１０８ｆに到達しない。なお、ここでは、主光線Ｒｃ２、Ｒｄ２は、マイクロレンズへの入射角が主光線Ｒｃ１、Ｒｄ１の場合と変わっていないので、対応する光電変換素子１０８ｃ、１０８ｄに到達している。
【００５７】
本実施形態では、交換レンズ３００が交換レンズ４００に取り替えられた場合に、移動制御部２１２は、交換レンズ４００内の撮影レンズ４０のレンズ情報に応じて、マイクロレンズアレイ移動部１１２を制御してマイクロレンズアレイ１０１を光軸方向に移動させる。マイクロレンズアレイ１０１が移動することによって、撮影レンズ４０の各部分領域Ｐａ２〜Ｐｆ２からの主光線Ｒａ２〜Ｒｆ２の、マイクロレンズへの入射角が変化する。主光線Ｒａ２〜Ｒｆ２の、マイクロレンズへの入射角が変化することによって、マイクロレンズから射出される主光線の屈折角が変化する。したがって、撮影レンズ４０のレンズ情報に応じてマイクロレンズアレイ１０１が移動されることによって、各主光線Ｒａ２〜Ｒｆ２を対応する光電変換部１０８ａ〜１０８ｆに導くことができる。よって、本実施形態のデジタルカメラ１０は、光電変換素子１０８ａ〜１０８ｆと開口部１０４ａ〜１０４ｆの位置関係が固定された状態において、装着されるレンズに関わらず、適切な視差画像を生成することができる。交換レンズが取り替えられた場合の移動制御部２１２の制御内容について、図８を用いて詳細に説明する。
【００５８】
図８は、撮影レンズ４０の各部分領域Ｐａ２〜Ｐｆ２からの主光線Ｒａ２〜Ｒｆ２の進路を説明するための図である。図８（ａ）は、マイクロレンズアレイ移動部１１２が基準状態にある状態、すなわちマイクロレンズアレイ１０１が移動される前の状態を示す図である。図８（ｃ）は、マイクロレンズアレイ１０１が移動された後の状態を示す図である。図８（ａ）は、図７（ｂ）と同一であるので説明を省略する。図８（ｂ）、図８（ｄ）は、図８（ａ）、図８（ｃ）に対応する繰り返しパターン１１０を示す図である。
【００５９】
図８（ｃ）に示すように、マイクロレンズアレイ１０１は、マイクロレンズアレイ移動部１１２によって、変位量ｈだけｚ軸のマイナス方向へ移動している。その結果、例えば主光線Ｒａ２は、マイクロレンズ１１１ａに入射角θ５で入射し、マイクロレンズ１１１ａから屈折角θ６で主光線Ｒａ２''として射出される。なお、図中の破線３２は、主光線Ｒａ２が入射する点における法線を示す。
【００６０】
ここで、主光線Ｒａ２''と光軸に平行な線２２がなす角θ５６は、図８（ａ）に示す、主光線Ｒａ１'と光軸に平行な線２２がなす角θ１２と同一の角度である。上述のように、開口部１０４ａは、主光線Ｒａ１がマイクロレンズ１１１ａに入射角θ１で入射した場合に、屈折角θ２で射出される主光線Ｒａ１'が対応する光電変換素子１０８ａに到達するように定められている。主光線Ｒａ１'と光軸に平行な線２２とのなす角θ１２、すなわち光電変換素子１０８ａに入射可能な主光線の角度は、光電変換素子１０８ａと開口マスク１０３ａにおける開口部１０４ａの位置関係によって一意に定まる。つまり、マイクロレンズ１１１ａから射出される主光線と光軸に平行な線２２とのなす角が、開口部１０４ａの位置に対して一意に定められた角度になれば、当該主光線は、対応する光電変換素子１０８ａに到達することになる。
【００６１】
そこで、移動制御部２１２は、マイクロレンズ１１１ａから射出される主光線が、角度θ１２に一致するよう、部分領域Ｐａ２から射出される主光線の、マイクロレンズ１１１ａへの入射角を、マイクロレンズアレイ１０１を移動させることによって調整する。別言すると、マイクロレンズ１１１ａから角度θ１２で射出される主光線が、部分領域Ｐａ２から射出される主光線となるようマイクロレンズアレイ１０１を移動させる。交換レンズ４００が装着されてからマイクロレンズアレイ１０１が移動されるまでの移動制御部２１２の詳細な処理は、次の通りである。
【００６２】
移動制御部２１２は、交換レンズ４００が装着されたことを検知すると、交換レンズ４００のレンズシステム制御部を介して、撮影レンズ４０のレンズ情報を取得する。移動制御部２１２は、例えば、カメラ本体制御部２０１とレンズシステム制御部３０１の通信の接続が確立されたことを検知することによって、交換レンズが装着されたことを検知することができる。
【００６３】
交換レンズ４００内のメモリには、撮影レンズ４０のレンズ情報として瞳位置情報、焦点距離情報、開放絞り値情報、レンズ瞳径情報等が記憶されている。ここでは、各部分領域が平行移動する場合を想定しているので、移動制御部２１２は、交換レンズ４００のレンズシステム制御部を介して焦点距離情報を取得する。そして、移動制御部２１２は、カメラメモリ２１４に記憶されたルックアップテーブルを参照し、取得した焦点距離情報に対応する変位量ｈを決定する。移動制御部２１２は、変位量ｈに応じた駆動電圧をマイクロレンズアレイ移動部１１２に与えることによって、マイクロレンズアレイ１０１を移動させる。以上、説明したように、移動制御部２１２は、マイクロレンズアレイ１０１を移動させることによって、各部分領域Ｐａ２〜Ｐｆ２からの主光線を対応する光電変換素子１０８ａ〜１０８ｆに導くことができる。
【００６４】
なお、繰り返しパターン１１０における右端の視差画素について、部分領域Ｐａ２からの主光線が対応する光電変換素子１０８ａに入射するよう調整してもよい。繰り返しパターン１１０の端部の視差画素は、部分領域から射出される主光線のズレ量がもっとも大きいので、当該視差画素について部分領域Ｐａ２からの主光線が対応する光電変換素子１０８ａに入射するよう調整されれば、繰り返しパターン１１０の他の視差画素に対しても同様の結果が期待される。
【００６５】
以上、本実施形態のデジタルカメラ１０によれば、装着される交換レンズに応じて、撮影レンズの各部分領域から射出される主光線の入射角が調整される。したがって、デジタルカメラ１０は、装着される交換レンズに依存することなく、視差画像を生成することができる。
【００６６】
次に、デジタルカメラ１０におけるマイクロレンズアレイ１０１を移動させる構成を、開口マスク１０３を移動させる構成に替えた一変形例について説明する。図９は、開口マスク１０３を移動させる構成を説明するための図である。図９（ａ）は、開口マスク１０３が移動される前の状態を示す図である。図９（ａ）では、撮影レンズ２０、撮影レンズ４０の図示を省略しているが、図７（ａ）と同様、主光線Ｒａ１〜Ｒｆ１および主光線Ｒａ２〜Ｒｆ２はそれぞれ、撮影レンズ２０の部分領域Ｐａ１〜Ｐｆ１、撮影レンズ４０の部分領域Ｐａ２〜Ｐｆ２から射出される。また、ユーザによって交換レンズ３００から交換レンズ４００に取り替えられることによって、各部分領域が光軸方向に平行移動するものとする。図９（ｃ）は、開口マスク１０３が移動された後の状態を示す図である。図９（ｂ）、図９（ｄ）は、図９（ａ）、図９（ｃ）に対応する繰り返しパターン１１０を示す図である。ここでは、繰り返しパターン１１０は、紙面の右側に向かって、紙面右側から左側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群である。
【００６７】
図９（ａ）、図９（ｂ）に示すように、本変形例に係る撮像素子１００では、被写体側から順に、開口マスクアレイ１１４、開口マスクアレイ移動部１１３、マイクロレンズアレイ１０１、光電変換素子アレイ１１５が配置されている。開口マスクアレイ移動部１１３は、マイクロレンズアレイ移動部１１２と同様、例えば圧電素子である。開口マスクアレイ移動部１１３は、光電変換素子１０８が配列された平面に直交する成分を含むように開口マスクアレイ１１４を移動させる。ここでは、開口マスクアレイ移動部１１３は、開口マスクアレイ１１４の裏面に配置され、移動制御部２１２から入力される駆動電圧に応じて伸縮することによって開口マスクアレイ１１４をｚ軸方向に移動させる。
【００６８】
図９（ａ）に示すように、主光線Ｒａ１〜Ｒｆ１がそれぞれ対応する光電変換素子１０８ａ〜１０８ｆに入射するのに対し、主光線Ｒａ２〜Ｒｆ２の少なくとも一部は、対応する光電変換素子１０８ａ〜１０８ｆに入射しない。光電変換素子１０８ａと開口部１０４ａを例に挙げて説明すると、光電変換素子１０８ａと開口マスク１０３ａにおける開口部１０４ａの位置関係によって定まる、入射可能な光線角は、撮影レンズ２０に対して定められているからである。他の光電変換素子１０８ｂ〜１０８ｆと開口部１０４ｂ〜１０４ｆについても同様のことが言える。
【００６９】
本変形例では、移動制御部２１２が開口マスクアレイ移動部１１３を制御して開口マスクアレイ１１４を光軸方向に移動させることによって、光電変換素子に入射可能な光線角を、撮影レンズ４０のレンズ情報に応じて調節する。本変形例では、カメラメモリ２１４は、開口マスク１０３ａの開口部１０４ａの位置を示す位置情報を記憶している。移動制御部２１２は、撮影レンズ４０のレンズ情報としての焦点距離情報と位置情報を取得し、焦点距離情報と位置情報に応じて、部分領域Ｐａ２から射出された主光線が開口部１０４ａを通過するよう、開口マスクアレイ１１４の変位量ｈを算出する。そして、開口マスクアレイ１１４が開口マスクアレイ移動部１１３によって変位量ｈだけ移動されることによって、図９（ｃ）に示すように、例えば主光線Ｒａ２は、開口部１０４ａを通過し、マイクロレンズ１１１ａを透過して光電変換素子１０８ａに到達することができる。
【００７０】
なお、ここでは、繰り返しパターン１１０における右端の視差画素のみに言及したが、上述のように、各部分領域Ｐａ２〜Ｐｆ２から射出される主光線Ｒａ２〜Ｒｆ２の、対応する開口部からのズレ量は、繰り返しパターン１１０の両端部の視差画素で最も大きくなる。したがって、開口マスクアレイ１１４を移動させることにより、他の視差画素についても同様のことが起こる。つまり、撮影レンズ４０の各部分領域Ｐｂ２〜Ｐｆ２からの主光線Ｒｂ２〜Ｒｆ２の、対応する開口部への入射角を変化させることによって、各主光線Ｒｂ２〜Ｒｆ２を対応する光電変換部１０８ｂ〜１０８ｆに導くことができる。
【００７１】
なお、本変形例では、開口マスクアレイ１１４がマイクロレンズアレイ１０１の上方に形成されたが、開口マスクアレイ１１４は、マイクロレンズアレイ１０１と光電変換素子アレイ１１５の間に配置されてもよい。この場合、マイクロレンズアレイ１０１と開口マスクアレイ１１４の間には、空間が存在することになる。
【００７２】
以上の説明においては、横一列を繰り返しパターン１１０として周期的に配列される例を説明したが、繰り返しパターン１１０はこれに限らない。図１０は、繰り返しパターン１１０の他の例を示す図である。
【００７３】
図１０（ａ）は、縦６画素を繰り返しパターン１１０とした例である。ただし、それぞれの開口部１０４は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。
【００７４】
図１０（ｂ）は、斜め方向に隣接する６画素を繰り返しパターン１１０とした例である。それぞれの開口部１０４は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン１１０によっても、横方向に視差を与える６視点の視差画像を生成することができる。この場合は、図３の繰り返しパターン１１０に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。
【００７５】
図３の繰り返しパターン１１０、および図１０（ａ）（ｂ）の繰り返しパターン１１０をそれぞれ比較すると、いずれも６視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図３の繰り返しパターン１１０の場合は、横方向の解像度を１／６とする構成である。図１０（ａ）の繰り返しパターン１１０の場合は、縦方向の解像度を１／６とする構成である。また、図１０（ｂ）の繰り返しパターン１１０の場合は、縦方向を１／３、横方向を１／２とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部１０４ａ〜１０４ｆが一つずつ設けられており、それぞれが対応する部分領域Ｐａ〜Ｐｆのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン１１０であっても視差量は同等である。
【００７６】
また、デジタルカメラ１０は、左右方向に視差を与える視差画像を生成するだけではなく、上下方向に視差を与える視差画像を生成することもできるし、上下左右の二次元方向に視差を与える視差画像を生成することもできる。図１１は、二次元的な繰り返しパターン１１０の例を示す図である。
【００７７】
図１１の例によれば、縦６画素横６画素の３６画素を一組の光電変換素子群として繰り返しパターン１１０を形成する。それぞれの画素に対する開口部１０４の位置として、互いに上下左右方向にシフトした３６種類の開口マスク１０３が用意されている。具体的には、各開口部１０４は、繰り返しパターン１１０の上端画素から下端画素に向かって、上側から下側へ徐々にシフトすると同時に、左端画素から右端画素に向かって、左側から右側へ徐々にシフトするように位置決めされている。
【００７８】
このような繰り返しパターン１１０を有する撮像素子１００は、上下方向および左右方向に視差を与える、３６視点の視差画像を出力することができる。もちろん図１１の例に限らず、さまざまな視点数の視差画像を出力するように繰り返しパターン１１０を定めることができる。
【００７９】
以上の説明においては、開口部１０４の形状として矩形を採用した。特に、横方向に視差を与える配列においては、シフトさせる方向である左右方向の幅よりも、シフトさせない上下方向の幅を広くすることにより、光電変換素子１０８へ導く光量を確保している。しかし、開口部１０４の形状は矩形に限定されない。
【００８０】
図１２は、開口部１０４の他の形状を説明する図である。図１２においては、開口部１０４の形状を円形とした。円形とした場合、半球形状であるマイクロレンズ１１１との相対的な関係から、予定外の被写体光束が迷光となって光電変換素子１０８へ入射することを防ぐことができる。
【００８１】
次に、カラーフィルタ１０２と視差画像について説明する。図１３は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。
【００８２】
このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
【００８３】
このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する繰り返しパターン１１０が設定される。図１４は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素と、同じく右側に偏心した視差Ｒ画素を想定している。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。
【００８４】
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。
【００８５】
一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。
【００８６】
以下にいくつかのバリエーションについて説明する。図１５は、バリエーションの一例を示す図である。図１５のバリエーションは、図１４における繰り返しパターン分類Ａ−１に相当する。
【００８７】
図の例においては、ベイヤー配列と同じ４画素を繰り返しパターン１１０とする。Ｒ画素とＧ画素は視差なし画素であり、Ｇｂ画素を視差Ｌ画素に、Ｇｒ画素を視差Ｒ画素に割り当てる。この場合、同一の繰り返しパターン１１０に含まれる視差Ｌ画素と視差Ｒ画素が、被写体が合焦位置に存在するときに、同じ微小領域から放射される光束を受光するように開口部１０４を定めることもできるし、異なる微小領域から放射される光束を受光するように開口部１０４を定めることもできる。異なる微小領域から放射される光束を受光するように開口部１０４を定めた場合、位相ずらし配列として、例えば、左右に隣接する２つの繰り返しパターン１１０において、左側の繰り返しパターン１１０のＧｂ画素に割り当てられた視差Ｌ画素と、右側の繰り返しパターン１１０のＧｒ画素に割り当てられた視差Ｒ画素とが、同一の微小領域から放射される光束を受光するように構成することができる。
【００８８】
図の例においては、視感度の高い緑画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、コントラストの高い視差画像を得ることが期待できる。また、同じ緑色画素であるＧｂ画素およびＧｒ画素を視差画素として用いるので、これら２つの出力から視差のない出力に変換演算がし易く、視差なし画素であるＲ画素およびＢ画素の出力と共に、高画質の２Ｄ画像データを生成できる。
【００８９】
図１６は、他のバリエーションの一例を示す図である。図１６のバリエーションは、図１４における繰り返しパターン分類Ｂ−１に相当する。
【００９０】
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。このような配列においては、Ｇｒ画素を視差なし画素としたことにより、図１４の例よりも、更に２Ｄ画像の高画質化が望める。
【００９１】
図１７は、更に他のバリエーションの一例を示す図である。図１７のバリエーションは、図１４における繰り返しパターン分類Ｃ−１に相当する。
【００９２】
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＧｒ画素にも視差Ｌ画素を、右側のＧｒ画素にも視差Ｒ画素を割り当てる。２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光し、２つのＧｒ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１６の例に比較して、３Ｄ画像としての解像度が縦方向に２倍となる。
【００９３】
図１８は、更に他のバリエーションの一例を示す図である。図１８のバリエーションは、図１４における繰り返しパターン分類Ｄ−１に相当する。
【００９４】
図の例においては、ベイヤー配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＧｂ画素に視差Ｌ画素を、右側のＧｂ画素に視差Ｒ画素を割り当てる。さらに、左側のＲ画素に視差Ｌ画素を、右側のＲ画素に視差Ｒ画素を割り当てる。さらに、左側のＢ画素に視差Ｌ画素を、右側のＢ画素に視差Ｒ画素を割り当てる。２つのＧｒ画素には視差なし画素を割り当てる。
【００９５】
２つのＧｂ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、被写体が合焦位置に存在するときに、一つの微小領域から放射される光束を受光する。また、２つのＲ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素のそれとは異なる一つの微小領域から放射される光束を受光し、２つのＢ画素に割り当てられた視差Ｌ画素と視差Ｒ画素は、Ｇｂ画素およびＲ画素のそれとは異なる一つの微小領域から放射される光束を受光する。したがって、図１６の例に比較して、３Ｄ画像としての解像度が縦方向に３倍となる。しかも、ＲＧＢの３色の出力が得られるので、カラー画像としての３Ｄ画像として高品質である。
【００９６】
図１９は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が３つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素、偏心のない視差Ｃ画素および右側に偏心した視差Ｒ画素を想定している。偏心のない視差Ｃ画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導く点で視差画像を出力する視差画素であり、光電変換素子１０８に対して入射する被写体光束を制限しない視差なし画素とは異なる。したがって、これら３種類の視差画素により、３視点の視差画像が出力される。
【００９７】
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。２視点における２Ｄ画像と３Ｄ画像のトレードオフの関係は、３視点においても同様である。
【００９８】
３視点におけるバリエーションの一例を説明する。図２０は、バリエーションの一例として、図１９における繰り返しパターン分類Ｂｔ−２に相当する図である。
【００９９】
図の例においては、ベイヤー配列の４画素が左右方向に３組続く１２画素を繰り返しパターン１１０とする。１２画素のうち、３つのＧｂ画素にそれぞれ左右方向に対応させて視差Ｌ画素、視差Ｃ画素および視差Ｒ画素を割り当てる。他の画素には、全て視差なし画素を割り当てる。
【０１００】
このような繰り返しパターン１１０によれば、２Ｄ画像としての解像度、カラー品質を高いレベルで維持しつつ、３視点の視差画像も同時に取得することができる。
【０１０１】
図２１は、ベイヤー配列に対する視差画素の割り振りについて、視差画素の種類が４つ以上である場合のバリエーションの一例を説明する図である。このように、視点数が増えていっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。
【０１０２】
上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。図３等を用いて説明したように、カラーフィルタ配列を構成するある１色に着目して寄せ集めた場合に、隣接する複数の画素を一組の光電変換素子群とする繰り返しパターンを形成し、視差画像を出力するように視差画素が割り当てられていれば良い。このとき、一組の光電変換素子群を構成する視差画素のそれぞれは、互いに異なる部分領域を向く開口部１０４を有する開口マスク１０３を備えると良い。
【０１０３】
図２２は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、緑フィルタが左上および右上の２画素に、赤フィルタが左下の１画素に、青フィルタが右下の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｒ画素と、同じく緑色フィルタが割り当てられた右上の画素をＧｂ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｒ画素およびＧｂ画素が並ぶ横方向をＧ行とし、Ｒ画素およびＢ画素が並ぶ横方向をＲＢ行とする。また、Ｇｒ画素およびＲ画素が並ぶ縦方向をＧｒ列とし、Ｇｂ画素およびＢ画素が並ぶ縦方向をＧｂ列とする。
【０１０４】
ベイヤー配列の場合と同じく、このような他のカラーフィルタ配列の場合であっても、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。また、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができ、視差画素の割合を増やせば、３Ｄ画像の画質を向上させることができる関係も同様である。
【０１０５】
図２３は、他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が２つである場合のバリエーションを説明する図である。それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。例えば、視差なし画素が多く割り振られていれば高解像度の２Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の２Ｄ画像データとなる。視差画素の出力も利用して２Ｄ画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のＲ画素が視差画素であったとしても２Ｄ画像を生成することはできるものの、その画質は自ずと低下する。
【０１０６】
一方、視差画素が多く割り振られていれば高解像度の３Ｄ画像データとなり、ＲＧＢのいずれの画素に対しても均等に割り振られていれば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して３Ｄ画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のＲ画素が視差なし画素であったとしてもカラーの３Ｄ画像を生成することはできるものの、やはりその品質は低下する。
【０１０７】
図２４は、他のカラーフィルタ配列に対する視差画素の割り振りについて、視差画素の種類が３つである場合のバリエーションを説明する図である。この場合の視差画素は、開口部１０４が中心よりも左側に偏心した視差Ｌ画素、偏心のない視差Ｃ画素および右側に偏心した視差Ｒ画素を想定している。
【０１０８】
それぞれの繰り返しパターンに対する特徴の説明は図に示す通りである。２視点における２Ｄ画像と３Ｄ画像のトレードオフの関係は、３視点においても同様である。
【０１０９】
図示は省くが、視差画素の種類が４つ以上であっても、さまざまな繰り返しパターン１１０を形成することができる。したがって、仕様、目的等に応じた繰り返しパターン１１０を選択することができる。
【０１１０】
図２５は、本発明の実施形態に係る他の撮像素子の断面を表す概略図である。図２では、カラーフィルタ１０２と開口マスク１０３が別体で構成される撮像素子１００の断面概略図を示したが、図２５では、撮像素子１００の変形例として、カラーフィルタ部１２２と開口マスク部１２３が一体的に構成されたスクリーンフィルタ１２１を備える撮像素子１２０の断面外略図を示す。
【０１１１】
輝度情報を取得する画素を視差画素とする場合、つまり、視差画像をモノクロ画像として出力するのであれば、図２５で示す撮像素子１２０の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部１２２と、開口部１０４を有する開口マスク部１２３とが一体的に構成されたスクリーンフィルタ１２１を、マイクロレンズ１１１と配線層１０５の間に配設することができる。
【０１１２】
スクリーンフィルタ１２１は、カラーフィルタ部１２２において例えば青緑赤の着色が施され、開口マスク部１２３において開口部１０４以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ１２１を採用する撮像素子１２０は、撮像素子１００に比較して、マイクロレンズ１１１から光電変換素子１０８までの距離が短いので、被写体光束の集光効率が高い。
【０１１３】
図２６は、他のカラーフィルタ配列を説明する図である。図示するように、他のカラーフィルタ配列は、図１２で示したベイヤー配列のＧｒ画素を緑フィルタが割り当てられるＧ画素として維持する一方、Ｇｂ画素をカラーフィルタが割り当てられないＷ画素に変更した配列である。なお、Ｗ画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。
【０１１４】
このようなＷ画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、Ｗ画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。Ｗ画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。
【０１１５】
Ｗ画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の繰り返しパターン１１０は、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してＷ画素から出力された画像であれば、被写体像のコントラストが高い。そこで、Ｗ画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、２Ｄ画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の繰り返しパターン１１０が設定される。
【０１１６】
図２７は、図２６の他のカラーフィルタ配列を採用する場合の、Ｗ画素と視差画素の配列の一例を示す図である。図２７のバリエーションは、ベイヤー配列における図１６の繰り返しパターン分類Ｂ−１に類似するので、ここではＢ'−１とする。図の例においては、他のカラーフィルタ配列の４画素が左右に２組続く８画素を繰り返しパターン１１０とする。８画素のうち、左側のＷ画素に視差Ｌ画素を、右側のＷ画素に視差Ｒ画素を割り当てる。このような配列において撮像素子１００は、視差画像をモノクロ画像として出力し、２Ｄ画像をカラー画像として出力する。
【０１１７】
この場合、撮像素子１００は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子１０８と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられた開口マスク１０３と、光電変換素子１０８の少なくとも一部のそれぞれに一対一に対応して設けられたカラーフィルタ１０２とを有し、隣接するｎ個（ｎは４以上の整数）の光電変換素子１０８のうち、少なくとも２つに対応して設けられたそれぞれの開口マスク１０３の開口部１０４は、互いに異なる波長帯域を透過させる少なくとも２種類のカラーフィルタ１０２から構成されるカラーフィルタパターンの一パターン内には含まれず、かつ、入射光の断面領域内の互いに異なる部分領域からの光束をそれぞれ通過させるように位置づけられ、ｎ個の光電変換素子１０８を一組とする光電変換素子群が周期的に配列されていれば良い。
【０１１８】
ここで、モノクロ画像としての視差画像の生成と、カラー画像としての２Ｄ画像の生成について説明する。
【０１１９】
図２８は、視差画像と２Ｄ画像の生成過程を示す概念図である。図示するように、視差Ｌ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｌ画像データが生成される。一つの繰り返しパターン１１０に含まれる視差Ｌ画素は一つであるので、Ｌ画像データを形成する各視差Ｌ画素は、それぞれ異なる繰り返しパターン１１０から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの視差Ｌ画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｌ画像データは、特定の視点（Ｌ視点）から被写体を捉えた一つの視差画像データとなる。そして、視差Ｌ画素は、Ｗ画素に割り振られているので、Ｌ画像データは、カラー情報を持たず、モノクロ画像として生成される。
【０１２０】
同様に、視差Ｒ画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、Ｒ画像データが生成される。寄せ集められたそれぞれの視差Ｒ画素の出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Ｒ画像データは、特定の視点（Ｒ視点）から被写体を捉えた一つの視差画像データとなる。そして、視差Ｒ画素は、Ｗ画素に割り振られているので、Ｒ画像データは、カラー情報を持たず、モノクロ画像として生成される。
【０１２１】
被写体が合焦位置に存在するときに、一つの繰り返しパターン１１０において、Ｌ画素とＲ画素は、被写体の同一の微小領域から放射される光束を受光する。また、被写体が非合焦位置に存在するときに、一つの繰り返しパターン１１０において、Ｌ画素とＲ画素は、被写体の互いにずれた微小領域から放射される光束を受光する。そのずれは、被写体位置の合焦位置に対する相対関係と瞳の部分領域の関係とから、方向と量が定まる。したがって、Ｌ画像データとＲ画像データのそれぞれにおいて、視差Ｌ画素と視差Ｒ画素が撮像素子１００上の相対的な位置関係を維持しながら寄せ集められていれば、それぞれが視差画像を形成する。
【０１２２】
また、視差なし画素の出力が、撮像素子１００上の相対的な位置関係を維持しながら寄せ集められて、２Ｄ画像データが生成される。このとき、Ｗ画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、Ｇｂ画素の出力に相当する出力が欠落する。そこで、例えば、この欠落した出力の値として、Ｇ画素の出力値を代入する。つまり、Ｇ画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して２Ｄ画像データを生成することができる。
【０１２３】
なお、以上の画像処理は、画像処理部２０５によって実行される。画像処理部２０５は、カメラ本体制御部２０１を介して撮像素子１００から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配してＬ画像データ、Ｒ画像データおよび２Ｄ画像データを生成する。
【０１２４】
以上の説明においては、開口マスクを設けることにより被写体光束に視差を生じさせたが、配線層に設けられた配線を開口マスクと同形状に形成することで、配線を実質的に開口マスクとして機能させることができる。配線層に配線が多層設けられている場合には、被写体光束の入射方向から複数の層を投影した形状が、開口マスクと同形状になるよう各層を形成することで、複数の層を全体として開口マスクとして機能させることもできる。また、多層配線のうちの一層によって開口マスクの機能を実現する場合、多層配線のうち最下層の配線、つまり、光電変換素子に最も近い位置に形成された配線を開口マスクと同形状に形成することが好ましい。この場合、最下層の配線と光電変換素子とを近接させるのが好ましい。
【０１２５】
以上の説明においては、マイクロレンズアレイ１０１が備える各マイクロレンズは、共通の厚みであったが、繰り返しパターン１１０を構成する各光電変換素子に対応する開口部１０４の位置に応じて厚みをかえてもよい。例えば、繰り返しパターン１１０における端部の光電変換素子に対応する開口部１０４のズレ量が大きい場合、当該光電変換素子に対応するマイクロレンズの厚みを、中央の光電変換素子に対応するマイクロレンズの厚みより厚くしてもよい。こうすることで、繰り返しパターン１１０における、端部の光電変換素子と中央の光電変換素子の受光量の均一化を図ることができる。
【０１２６】
以上の説明においては、交換レンズが取り替えられた場合について説明したが、ズームによって焦点距離が変更される場合がある。この場合においても、移動制御部２１２は、ズーム後の焦点距離に応じてマイクロレンズアレイ１０１及び開口マスクアレイ１１４の一方を移動させることによって各部分領域から射出される主光線の入射角を調整することができる。
【０１２７】
以上の説明においては、マイクロレンズアレイ移動部１１２は、マイクロレンズアレイ１０１を全体として移動させたが、個々のマイクロレンズ１１１を個別に移動させてもよい。この場合、マイクロレンズを移動させる移動部としてマイクロレンズ毎にＭＥＭＳアクチュエータが配置されてもよい。マイクロレンズ単位で移動させることによって、各部分領域からの入射光をより精確に対応する光電変換素子１０８に導くことができる。
【０１２８】
以上の説明においては、移動制御部２１２は、レンズ交換後の焦点距離情報に応じてマイクロレンズアレイ１０１及び開口マスクアレイ１１４の一方の移動量を制御したが、瞳位置情報に応じて移動量を制御してもよい。この場合、レンズシステム制御部３０１は、現在の状況に応じた瞳位置を算出し、移動制御部２１２に送信する。具体的には、レンズシステム制御部３０１は、現在の撮影レンズの焦点距離、現在のフォーカスレンズ位置、現在のズームレンズ位置等から瞳位置を算出する。移動制御部２１２は、瞳位置情報と変位量とが対応付けられたルックアップテーブルを参照し、取得した瞳位置情報に対応する変位量を決定する。そして、移動制御部２１２は、決定した変位量に応じた駆動電圧をマイクロレンズアレイ移動部１１２または開口マスクアレイ移動部１１３に与えることによって移動量を制御する。
【０１２９】
また、以上の説明においては、移動制御部２１２は、ルックアップテーブルを参照してマイクロレンズアレイ移動部の変位量ｈを決定した。上述のように、マイクロレンズアレイ移動部の変位量ｈは、実験値あるいはシミュレーションデータに基づいて決定されている。ところで、マイクロレンズアレイ１０１を移動させたとしても、移動の前後において焦点の光軸方向のずれの影響が大きくない場合がある。この場合、焦点は、焦点深度内にあると考えられる。したがって、マイクロレンズアレイ移動部の変位量ｈは、以下の近似式（１）を用いて算出されてもよい。
ｈ＝ｐ（ｆ１＋Ｚｉ）／Ｄ−ｈ０        ・・・（１）
【０１３０】
ただし、ｐは、繰り返しパターンの左端の画素における開口部の、当該画素の中心からのズレ量と、右端の画素における開口部の、当該画素の中心からのズレ量の和である。ｆ１は、撮影レンズ２０の焦点距離である。Ｚｉは、焦点距離の変異量であり、図７で説明したｆ２−ｆ１に相当する。Ｄは、図７で説明したように、レンズ瞳径であり、ｈ０は、基準状態でのマイクロレンズアレイ移動部１１２の厚みである。
【０１３１】
また、ルックアップテーブルとして焦点距離情報とマイクロレンズアレイ移動部の変位量を保持しておくのではなく、移動制御部２１２がレンズ交換後の焦点距離情報に応じた変位量ｈを、上記（１）式を用いて直接算出してもよい。なお、開口マスクアレイ移動部の変位量についても同様に、上記（１）式を用いて算出できる。
【０１３２】
また、設定される開放絞り値によっては、レンズ瞳径が両端の部分領域間の距離よりも短くなることがあり得る。そこで、カメラ本体制御部２０１は、レンズシステム制御部３０１からレンズ情報として開放絞り値情報を取得してもよい。これにより、カメラ本体制御部２０１は、移動量を制御する処理を行うかを判断することができる。
【０１３３】
以上の説明においては、マイクロレンズアレイ１０１および開口マスクアレイ１１４の一方を移動させたが、両方を移動させてもよい。例えば、開口マスクアレイ１１４上にマイクロレンズアレイ１０１が配置されている場合には、これらを一体的に移動させることができる。もちろんマイクロレンズアレイ１０１と開口マスクアレイ１１４を個別に移動させてもよい。この場合には、マイクロレンズアレイ１０１と開口マスクアレイ１１４のそれぞれの移動量を適宜調整することによって、各部分領域からの入射光をより精確に対応する光電変換素子１０８に導くことができる。
【０１３４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【０１３５】
１０  デジタルカメラ、２００  カメラ本体、１００  撮像素子、１０１  マイクロレンズアレイ、１０２  カラーフィルタ、１０３  開口マスク、１０４  開口部、１０５  配線層、１０６  配線、１０７  開口、１０８  光電変換素子、１０９  基板、１１０  繰り返しパターン、１１１  マイクロレンズ、１１２  マイクロレンズアレイ移動部、１１３  開口マスクアレイ移動部、１１４  開口マスクアレイ、１１５  光電変換素子アレイ、２０１  カメラ本体制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２０４  駆動部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  表示制御部、２１２  移動制御部、２１３  カメラマウント、２１４  カメラメモリ、２２０  メモリカード、３００  交換レンズ、２０  撮影レンズ、３０１  レンズシステム制御部、３０２  レンズ情報記憶部、３０３  レンズマウント、３０４  レンズ駆動部、４００  交換レンズ、４０  撮影レンズ、１２０  撮像素子
【図１】
2013175812.tif 000003
【図２】
2013175812.tif 000004
【図３】
2013175812.tif 000005
【図４】
2013175812.tif 000006
【図５】
2013175812.tif 000007
【図６】
2013175812.tif 000008
【図７】
2013175812.tif 000009
【図８】
2013175812.tif 000010
【図９】
2013175812.tif 000011
【図１０】
2013175812.tif 000012
【図１１】
2013175812.tif 000013
【図１２】
2013175812.tif 000014
【図１３】
2013175812.tif 000015
【図１４】
2013175812.tif 000016
【図１５】
2013175812.tif 000017
【図１６】
2013175812.tif 000018
【図１７】
2013175812.tif 000019
【図１８】
2013175812.tif 000020
【図１９】
2013175812.tif 000021
【図２０】
2013175812.tif 000022
【図２１】
2013175812.tif 000023
【図２２】
2013175812.tif 000024
【図２３】
2013175812.tif 000025
【図２４】
2013175812.tif 000026
【図２５】
2013175812.tif 000027
【図２６】
2013175812.tif 000028
【図２７】
2013175812.tif 000029
【図２８】
2013175812.tif 000030