(57)【要約】【課題】複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。【解決手段】撮像素子であって、入射する被写体光束を電気信号に光電変換する、二次元的に配列された複数の光電変換素子と、複数の光電変換素子の少なくともいずれか一つに対応して設けられ、光学的な特性を切り替えることにより、被写体光束の断面領域内の少なくとも一部を遮光する閉状態と、一部を透過する開状態との間を切り替え可能な開閉部とを備える。【選択図】図１
2013197796.tif 000002
【特許請求の範囲】
【請求項１】
入射する被写体光束を電気信号に光電変換する、二次元的に配列された複数の光電変換素子と、
前記複数の光電変換素子の少なくともいずれか一つに対応して設けられ、光学的な特性を切り替えることにより、被写体光束の断面領域内の少なくとも一部を遮光する閉状態と、前記一部を透過する開状態との間を切り替え可能な開閉部と
を備える撮像素子。
【請求項２】
前記開閉部は、閉状態において、被写体光束の断面領域内の変位した部分領域を、複数の前記光電変換素子のうちの対応する一つに入射させる請求項１に記載の撮像素子。
【請求項３】
前記開閉部は、液晶シャッタにより形成される請求項１または２に記載の撮像素子。
【請求項４】
前記開閉部は、一の前記光電変換素子に対し、別個に開状態と閉状態とを切り替え可能な複数のセグメントを有する請求項３に記載の撮像素子。
【請求項５】
前記開閉部には、反射防止膜が設けられている請求項１から４のいずれか１項に記載の撮像素子。
【請求項６】
前記開閉部は、前記複数の光電変換素子に一対一に対応して複数設けられる請求項１から５のいずれか１項に記載の撮像素子。
【請求項７】
前記複数の光電変換素子のそれぞれに一対一に対応して固定され、被写体光束の断面領域内の、前記開閉部のうちの対応する一つにおける閉状態とは異なる一部を透過する開口マスクをさらに備える請求項６に記載の撮像素子。
【請求項８】
前記複数の光電変換素子のそれぞれに一対一に対応して設けられる複数のマイクロレンズをさらに備え、
前記複数の開閉部のそれぞれは、前記複数のマイクロレンズのうちの対応する一つと前記複数の光電変換素子のうちの対応する一つとの間に設けられる請求項６または７に記載の撮像素子。
【請求項９】
前記複数の光電変換素子のそれぞれに一対一に対応して設けられる複数のカラーフィルタをさらに備える請求項１から７のいずれか１項に記載の撮像素子。
【請求項１０】
請求項１から９のいずれか１項に記載の撮像素子と、
前記撮像素子により撮像された撮像信号を読み出して、撮像時の前記開閉部の開閉状態に基づいた画像データを生成する画像処理部と
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関する。
【背景技術】
【０００２】
２つの撮影光学系を用いて、右目用の画像と左目用の画像とから成るステレオ画像を撮像するステレオ撮像装置が知られている。このようなステレオ撮像装置は、２つの撮像光学系を一定の間隔で配置することにより、同一の被写体を撮像して得られる２つの画像に視差を生じさせる。
［先行技術文献］
［特許文献］
［特許文献１］  特開平８−４７００１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、複数の視差を生じさせる画像を取得するには、その数に応じた複雑な撮影光学系を用意しなければならなかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、撮像素子であって、入射する被写体光束を電気信号に光電変換する、二次元的に配列された複数の光電変換素子と、複数の光電変換素子の少なくともいずれか一つに対応して設けられ、光学的な特性を切り替えることにより、被写体光束の断面領域内の少なくとも一部を遮光する閉状態と、一部を透過する開状態との間を切り替え可能な開閉部とを備える。
【０００５】
本発明の第２の態様においては、撮像装置であって、上記撮像素子と、撮像素子により撮像された撮像信号を読み出して、撮像時の開閉部の開閉状態に基づいた画像データを生成する画像処理部とを備える。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。
【図２】撮像素子１００の断面を表す概略図である。
【図３】図２の撮像素子１００を被写体側からみた概略を示す概略図である。
【図４】液晶シャッタ３００の概略断面図である。
【図５】一の画素における開閉領域３６１、３６２の開閉状態と、それにより形成される開口１０４との関係を示す説明図である。
【図６】撮像素子１００の一部を拡大した様子を表す概略図である。
【図７】図６に対応した、視差画素と被写体の関係を説明する概略図である。
【図８】繰り返しパターン１１０、１１１の例を示す。
【図９】他の繰り返しパターン１１２、１１３の例を示す。
【図１０】他の繰り返しパターン１１４、１１５、１１６、１１７の例を示す。
【図１１】撮像素子１００の製造方法を示す概略断面図である。
【図１２】撮像素子１００の製造方法を示す概略断面図である。
【図１３】撮像素子１００の製造方法を示す概略断面図である。
【図１４】撮像素子１００の製造方法を示す概略断面図である。
【図１５】他の撮像素子１１９の概略図である。
【図１６】他の撮像素子１１８を示す概略断面図である。
【図１７】撮像素子１１８の開口マスク１２３と個別電極３３０の関係を示す。
【図１８】カラーフィルタ１０２のベイヤー配列を説明する図である。
【図１９】カラーフィルタ１０２の他の配列を説明する図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
撮像装置の一形態である本実施形態に係るデジタルカメラは、高い解像度を保ったまま、一の撮像素子で、複数の視点からの被写体光束を撮像して画像データを生成する。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【００１０】
図１は、本発明の実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、駆動部２３０、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。
【００１１】
なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【００１２】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００１３】
撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。以下、ＣＭＯＳの例で説明するが、ＣＣＤに適用することもできる。
【００１４】
駆動部２３０は、撮像素子１００の光電変換素子からの画像信号を読み取るべく駆動する読取駆動部２３２と、後述する開閉駆動部２３４とを有する。撮像素子１００は、読取駆動部２３２によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１５】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。
【００１６】
画像処理部２０５は、他にも、撮像素子１００の画素配列に即して、入力される画像信号から、視差画像データ、非視差画像データとしての２Ｄ画像データ等を生成したり、選択された画像フォーマットに従って画像データを調整する機能も担う。
【００１７】
生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１８】
ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。なお、以下の撮像素子１００をＡＦセンサ２１１の代わりに用いてもよく、その場合には別個のＡＦセンサ２１１は設けなくてよい。
【００１９】
図２は、撮像素子１００の断面を表す概略図である。図３は、図２の撮像素子１００を被写体側からみた概略を示す概略図である。
【００２０】
図２に示すように、撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、液晶シャッタ３００、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。また、図３に示すように、基板１０９には光電変換素子１０８に隣接して、当該光電変換素子１０８からの電荷を蓄積するフローティングディフュージョン１４２、および、選択トランジスタ、増幅トランジスタ等の回路が配された回路領域１４０が配される。
【００２１】
光電変換素子１０８が設けられた層の上には絶縁層１４４を介して配線層１０５が配される。光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。
【００２２】
絶縁層１４４の上には光電変換素子１０８への入射する被写体光束を規定する液晶シャッタ３００が配される。液晶シャッタ３００は、一対の基板３０４、３０６と、当該一対の基板３０４、３０６の間に封入された液晶３２０と、当該液晶３２０を基板３０４、３０６との間で保持するシール部３０２とを有する。液晶シャッタ３００はさらに、光電変換素子１０８に対応して設けられた個別電極３１０と駆動素子３５０の組と、複数の光電変換素子１０８に共通して用いられる共通電極３１６とを有する。
【００２３】
図２および図３に示す例において、一つの光電変換素子１０８に対して、個別電極３１０と駆動素子３５０との組、および、個別電極３１２と駆動素子３５２との組が設けられる。個別電極３１０と駆動素子３５０との組、および、個別電極３１２と駆動素子３５２との組は、対応する光電変換素子１０８に対してｘ方向に配列される。すなわち、一の画素に対応して液晶シャッタ３００が二つのセグメントに分かれている。
【００２４】
カラーフィルタ１０２は、液晶シャッタ３００上に設けられる。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色され、光電変換素子１０８のそれぞれに一対一に対応して設けられる。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列すると良い。
【００２５】
マイクロレンズ１０１は、カラーフィルタ１０２上に設けられる。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられる。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。
【００２６】
このように、各々の光電変換素子１０８に対応して一対一に設けられる液晶シャッタ３００、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２７】
なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２８】
説明のため、図２および図３の２つの画素の内の−ｘ側については個別電極３１０側の開閉領域３６１が開状態であり、個別電極３１２側の開閉領域３６２は閉状態にある。また、＋ｘ側については個別電極３１０側の開閉領域３６３が閉状態で、個別電極３１２側の開閉領域３６４は開状態にある。
【００２９】
図３に示すように、個別電極３１０は平面視において光電変換素子１０８が配された領域の一部、例えば図３に示す例においては−ｘ側の略半分を覆う。同様に、個別電極３１２は平面視において光電変換素子１０８が配された領域における、個別電極３１０が覆うのとは別の領域を覆う。例えば図３に示す例においては、個別電極３１０が−ｘ側の略半分を覆うことに対応して、個別電極３１２は＋ｘ側の略半分を覆う。
【００３０】
よって、図３の−ｘ側の画素においては、光電変換素子１０８に向かう被写体光束の断面領域のうち、＋ｘ側の略半分が閉状態の開閉領域３６２により遮られ、−ｘ側に光学的に有効な開口１０４lが形成される。同様に、＋ｘ側の画素においては、光電変換素子１０８に向かう被写体光束の断面領域のうち、−ｘ側の略半分が閉状態の開閉領域３６３により遮られ、＋ｘ側に光学的に有効な開口１０４ｌが形成される。
【００３１】
なお、配線層１０５の配線１０６が作る開口１０７によっても被写体光束は制限される。ただし、本実施形態においては光学系の瞳上において開口１０７は光電変換素子１０８および個別電極３１０、３１２よりも十分に大きいとし、当該開口１０７は実質的に有効な開口の形成に寄与しない。
【００３２】
図４は、液晶シャッタ３００の概略断面図である。図４においては、個別電極３１０と駆動素子３５０の一つの組を示している。液晶シャッタ３００は、上記個別電極３１０、駆動素子３５０、一対の基板３０４、３０６およびシール部３０２に加え、偏光フィルム３６５、３６６、接続部３６０および配向膜３２１、３２２を有する。
【００３３】
基板３０６は可視光に対して透明で光学的に等方な材料、例えばガラスで形成される。基板３０６における光電変換素子１０８から遠い側の面には、偏光フィルム３６６が配される。偏光フィルム３６６は光学軸を有し、入射光のうち当該光学軸に平行な偏光方向を有する光を透過する。図４に示す例において、偏光フィルム３６６の光学軸はｘ方向に配されており、ｘ方向の偏光を透過するとともにｙ方向の偏光は遮断する。
【００３４】
基板３０６における偏光フィルム３６６が配されるのとは反対の面に、共通電極３１６が配される。共通電極３１６は可視光に対して透明であって導電性を有する材料、例えばＩＴＯ膜により形成される。共通電極３１６は、複数の個別電極３１０に対して一つ配される。図４に示す例において、共通電極３１６は、基板３０６の全面にすなわち撮像素子１００の全体で一つ配される。
【００３５】
共通電極３１６おける基板３０６と反対の面には、配向膜３２１が配される。配向膜３２１は高分子が配向した膜であって、例えば、ポリイミドをラビングすることにより形成される。配向膜３２１の配向方向は偏光フィルム３６６の光学軸と平行に配される。
【００３６】
他方の基板３０４も、基板３０６と同じ材料により形成される。また、基板３０４における光電変換素子１０８から近い側の面には、偏光フィルム３６５が配される。偏光フィルム３６５も偏光フィルム３６６と同様に、入射光のうち光学軸に平行な偏光方向の光を透過する。図４に示す例において、偏光フィルム３６６は、ｙ方向の偏光を透過するとともにｘ方向の偏光は遮断する。これにより一対の偏光フィルム３６５、３６６はいわゆるクロスニコルに配されている。
【００３７】
基板３０４における偏光フィルム３６５が配されるのとは反対の面には、個別電極３１０、駆動素子３５０および接続部３６０が配される。個別電極３１０は、図３に示したように、平面視において光電変換素子１０８が配された領域の一部、例えば−ｘ側の略半分を覆う。個別電極３１０は共通電極３１６と同じ材料で形成される。駆動素子３５０は開閉駆動部２３４と電気的に接続され、当該開閉駆動部２３４からの駆動信号に基づいて、個別電極３１０と共通電極３１６との間に電圧をかけたり、当該電圧をゼロにしたりする。駆動素子３５０の一例はトランジスタによるスイッチである。接続部３６０は駆動素子３５０と個別電極３１０とを電気的に接続する。
【００３８】
基板３０４における個別電極３１０が設けられた側の面には、配向膜３２２が配される。配向膜３２２は、配向膜３２１と同じ材料および方法で形成されてよい。配向膜３２１の配向方向は偏光フィルム３６５の光学軸と平行に配される。
【００３９】
一対の配向膜３２１、３２２に挟まれた領域には、液晶３２０が充填される。液晶３２０は、配向膜３２１、３２２の配向に沿って整列する。ここで一対の配向膜３２１、３２２とは直交しているので、液晶３２０内の高分子はツイスト配列する。よって、当該液晶３２０はノーマリホワイトのＴＮモードで動作する。すなわち、個別電極３１０と共通電極３１６との間に電圧をかけない状態ではツイスト配列を保ち、電圧をかけた状態で高分子は基板３０４等に対して垂直に配列する。これにより液晶３２０の光学的な特性を切り替える。
【００４０】
上記構成を有する液晶シャッタ３００によれば、駆動素子３５０によって、個別電極３１０に対して共通電極３１６との間に電圧を与えない状態においては、開閉領域３６１は光を透過する開状態となる。よって、図４に示すように開閉領域３６１に対応する図中Ｗの領域からの光Ａが、光電変換素子１０８に入射する。一方、駆動素子３５０によって、個別電極３１０に対して共通電極３１６との間に電圧を与えた状態においては、開閉領域３６１は光を遮断する閉状態となる。よって、開閉領域３６１に対応する図中Ｗの領域からの光Ａは、光電変換素子１０８に入射しない。
【００４１】
図５は、一の画素における開閉領域３６１、３６２の開閉状態と、それにより形成される開口１０４との関係を示す説明図である。開閉領域３６１、３６２がいずれも開状態である場合には、中央に大きな開口１０４ｃが形成される。開口１０４ｃは、開閉領域３６１、３６２以外の、配線層１０５の開口１０７等により規定され、その重心が光学系の瞳上において被写体光束の中心に位置する。よって、当該開口１０４ｃを用いて被写体を撮像した場合には、視差を生じない。視差を生じさせない画素を視差なし画素ということがある。
【００４２】
開閉領域３６１が閉状態かつ開閉領域３６２が開状態の場合には、面積が上記開口１０４ｃの略半分で図中の右側にシフトした開口１０４ｒが形成される。すなわち、開口１０４ｒは、その重心が光学系の瞳上において被写体光束の中心に対して右側に変位し、被写体光束の右半分の領域を透過させる。よって、当該開口１０４ｒを用いて被写体を撮像した場合には、視差を生じる。視差を生じさせる画素を視差画素ということがある。
【００４３】
開閉領域３６１が開状態かつ開閉領域３６２が閉状態の場合には、面積が上記開口１０４ｃの略半分で図中の左側にシフトした開口１０４ｌが形成される。すなわち、開口１０４ｌは、その重心が光学系の瞳上において被写体光束の中心に対して左側に変位し、被写体光束の左半分の領域を透過させる。
【００４４】
開閉領域３６１、３６２がいずれも閉状態である場合には、開口は形成されず、光電変換素子１０８に被写体光束は入射しない。
【００４５】
図６は、撮像素子１００の一部を拡大した様子を表す概略図である。液晶シャッタ３００の開閉により形成される有効な開口１０４と、生じる視差の関係について説明する。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。
【００４６】
図６に示す例は、図２および図３に対応して、液晶シャッタ３００により２種類の開口１０４ｌ、１０４ｒが形成された状態を示す。開口１０４ｌ、１０４ｒはいずれもｙ方向に長い長方形である。開口１０４ｌは−ｘ側にシフトしており、開口１０４ｒは＋ｘ側にシフトしている。また、開口１０４ｌと開口１０４ｒとは、形状および大きさが同じであって、シフトの方向は反対であるが、シフト量の絶対値は同じである。
【００４７】
撮像素子１００の全体は、開口１０４ｌ、１０４ｒを有する２つの視差画素がｘ方向に並んだ光電変換素子群が、二次元的かつ周期的に配列されている。すなわち、撮像素子１００は、上記光電変換素子群を含む繰り返しパターン１１０が、周期的に敷き詰められている。図６に示す例においては、開口１０４ｌのｙ方向に隣接した画素も開口１０４ｌとなるように並べられているが、他の開口が隣接するように並べられてもよい。ここで、ｘ方向は、例えば、デジタルカメラ１０を横位置で撮像する場合における水平方向である。この場合に撮像素子１００上の二次元上の位置と液晶シャッタ３００の開閉状態とが対応付けられたテーブルがメモリ２０３等に予め記録されており、開閉駆動部２３４が当該テーブルを参照することにより、対応する画素のそれぞれに開口１０４ｌ、１０４ｒを形成する。
【００４８】
図７は、図６に対応した、視差画素と被写体の関係を説明する概略図である。特に図７（ａ）は撮像素子１００のうち光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図７（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。
【００４９】
また、図７（ａ）、図７（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図７（ｃ）は、図７（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３０を捉えた場合の関係を模式的に示している。
【００５０】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、２つの部分領域ＰｌおよびＰｒが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の＋ｘ側の視差画素は、拡大図からもわかるように、部分領域Ｐｒから射出された被写体光束のみが光電変換素子１０８へ到達するように、液晶シャッタ３００により開口１０４ｒが形成される。同様に、−ｘ側の視差画素に向かって、部分領域Ｐｌに対応して開口１０４ｌが形成される。
【００５１】
別言すれば、例えば部分領域Ｐｒと＋ｘ側の視差画素の相対的な位置関係によって定義される、部分領域Ｐｒから射出される被写体光束の主光線Ｒｒの傾きにより、開口１０４ｒの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口１０４ｒを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、−ｘ側の視差画素に向かって、主光線Ｒｌの傾きにより開口１０４ｌの位置が、定められていると言える。
【００５２】
図７（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ２つの部分領域ＰｒおよびＰｌを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００５３】
同様に、図７（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ２つの部分領域ＰｒおよびＰｌを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００５４】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの＋ｘ側の視差画素は、同じ部分領域Ｐｒからの被写体光束を受光している。
【００５５】
光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて＋ｘ側の視差画素が部分領域Ｐｒからの被写体光束を受光する開口１０４ｒの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて＋ｘ側の視差画素が部分領域Ｐｒからの被写体光束を受光する開口１０４ｒの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｒからの被写体光束を受光するための開口という点で、これらを同一種類の開口として扱うことができる。
【００５６】
次に、撮影レンズ２０が非合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３０からの被写体光束は、撮影レンズ２０の瞳の２つの部分領域ＰｒおよびＰｌを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３０からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図７（ｃ）に示すように、被写体３０が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３０側で結像する。逆に、被写体が図７（ａ）および（ｂ）の被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３０とは反対側で結像する。
【００５７】
したがって、非合焦位置に存在する被写体３０のうち、微小領域Ｏｔ'から放射される被写体光束は、２つの部分領域ＰｒおよびＰｌのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｌを通過した被写体光束は、図７（ｃ）の拡大図に示すように、主光線Ｒｌ'として、繰り返しパターン１１０ｔ'に含まれる、開口１０４ｌを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３０の互いに異なる微小領域から放射された被写体光束である。すなわち、−ｘ側の開口１０４ｌに対応する光電変換素子１０８へは主光線をＲｌ'とする被写体光束が入射し、＋ｘ側の開口１０４ｒに対応する光電変換素子１０８へは主光線をＲｒ＋とする被写体光束が入射するが、この被写体光束は、被写体３０のＯｔ'とは異なる微小領域から放射された被写体光束である。このような関係は、図７（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００５８】
すると、撮像素子１００の全体で見た場合、例えば、開口１０４ｌに対応する光電変換素子１０８で被写体３０を捉えた−ｘ側の視差画像と、開口１０４ｒに対応する光電変換素子１０８で被写体３０を捉えた＋ｘ側の視差画像は、合焦位置に存在する被写体に対する画像であれば互いにずれが無く、非合焦位置に存在する被写体に対する画像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐｒと部分領域Ｐｌの距離により、方向と量が定まる。つまり、−ｘ側の視差画像と＋ｘ側の視差画像は、互いに視差像を形成する。したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、複数の視差画像が得られる。
【００５９】
ここで互いに異なる一対の視差画像上の視差によって、画像上の被写体の奥行き情報を得ることができる。この場合に、視差以外の条件はなるべく同じで、視差が大きくとれる視差画像を一対とすることが好ましい。よって、繰り返しパターン内で、開口の大きさが互いに同じでシフト量の絶対値が同じでシフト方向が異なる画素が対となることが好ましい。そのような画素の対に対応する視差の対を視差対と表記することがある。
【００６０】
図８は、繰り返しパターン１１０、１１１の例を示す。繰り返しパターン１１０において、液晶シャッタ３００により全ての画素に対応して開口１０４ｌが形成される。言い換えると、開口１０４ｌを有する画素が二次元的に繰り返し配されている。一方、繰り返しパターン１１１において、液晶シャッタ３００により全ての画素に対応して開口１０４ｒが形成されている。
【００６１】
開閉駆動部２３４が液晶シャッタ３００を駆動して繰り返しパターン１１０、１１１のいずれか一方を形成した状態で被写体を撮像し、その後、開閉駆動部２３４が液晶シャッタ３００を駆動して繰り返しパターン１１０、１１１の他方を形成した状態で被写体を撮像することにより、一の撮像素子１００を用いて一対の視差画像を得ることができる。画像処理部２０５は、撮像時の液晶シャッタ３００の開閉状態に基づいて、視差画像を生成する。この例において、画像処理部２０５は、いずれの視差画像も撮像素子１００の全ての画素からの画像信号を寄せ集めて生成するので、空間分解能の高い視差画像を得ることができる。
【００６２】
図９は、他の繰り返しパターン１１２、１１３の例を示す。繰り返しパターン１１２は４画素で形成され、左上および右下が開口１０４ｒを有し、右上および左下が開口１０４ｌを有する。また、繰り返しパターン１１３も４画素で形成され、左上および右下が開口１０４ｌを有し、右上および左下が開口１０４ｒを有する。図８の場合と同様に、開閉駆動部２３４によりこれらの繰り返しパターン１１２、１１３を形成して撮像することにより、一の撮像素子１００を用いて一対の撮像画像を得ることができる。
【００６３】
この場合に、画像処理部２０５は、繰り返しパターン１１２の開口１０４ｒの画素と繰り返しパターン１１３の開口１０４ｒの画素を寄せ集めて一方の視差画像を生成し、繰り返しパターン１１２の開口１０４ｌの画素と繰り返しパターン１１３の開口１０４ｌの画素を寄せ集めて他方の視差画像を生成する。これにより、空間分解能の高い視差画像を得ることができる。また、いずれの撮像時においても二種類の開口のそれぞれが用いられるので、撮影の時間差による被写体のブレを視差画像のそれぞれに分配して目立たなくすることができる。また、二回の撮像時のいずれか一方で撮像に支障があっても、他方の撮像により得られたそれぞれの開口の画素を補完することにより、一対の視差画像を生成することができる。
【００６４】
図１０は、他の繰り返しパターン１１４、１１５、１１６、１１７の例を示す。繰り返しパターン１１４、１１５、１１６、１１７はいずれも４画素により形成される。繰り返しパターン１１４において、左上および右下の画素は開口１０４ｒを有し、右上および左下の画素は開口１０４ｃを有する。繰り返しパターン１１５は、繰り返しパターン１１５を左右反転したものに対応する。繰り返しパターン１１６は、繰り返しパターン１１５を上下反転したものに対応する。繰り返しパターン１１７は、繰り返しパターン１１４を上下反転したものに対応する。
【００６５】
開閉駆動部２３４によりこれらの繰り返しパターン１１４、１１５、１１６、１１７を形成して撮像することにより、一の撮像素子１００を用いて一対の撮像画像および視差なし画像を得ることができる。繰り返しパターン１１４の開口１０４ｒの画素と繰り返しパターン１１７の開口１０４ｒの画素を寄せ集めて一方の視差画像を生成する等により、空間分解能の高い視差画像を得ることができる。同様に、空間分解能の高い視差なし画像を得ることができる。ここで、４回の撮像によって開口１０４ｃについて一の画素に対して２つの値を得ることができるが、それらを平均して用いてもよいし、いずれか一方を用いてもよい。
【００６６】
図１１から図１４は、撮像素子１００の製造方法を示す概略断面図である。まず図１１に示すように、液晶シャッタ３００の一対の基板３０４、３０６に種々の構成が形成される。
【００６７】
基板３０４の一方の面には、既知の、成膜工程、露光工程、エッチング工程が繰り返されることにより、個別電極３１０、駆動素子３５０および接続部３６０が設けられる。その上に配向膜３２２の材料が塗布されて、ラビングにより高分子が配向されて配向膜３２２が形成される。なおラビングに代えて、ＵＶ光で配向する高分子にＵＶの偏光が照射されることにより配向膜３２２が形成されてもよい。さらに、配向膜３２２上にさらにシール部３０２が形成される。シール部３０２は、スクリーン印刷等により基板３０４の配向膜３２２上に額縁状に形成される。なお図１１ではその一部のみが示されている。
【００６８】
また、基板３０６の一方の面には、既知の、成膜工程等により共通電極３１６が設けられる。共通電極３１６の上に、配向膜３２２と同様の方法で配向膜３２１が形成される。
【００６９】
図１２に示すように、一対の基板３０４、３０６が貼り合わせられる。さらに、対向した配向膜３２１、３２２の間に液晶３２０が封入される。基板３０４、３０６の外側の面に、偏光フィルム３６５、３６６が貼り付けられ、液晶シャッタ３００が形成される。
【００７０】
図１３に示すように、偏光フィルム３６６上に、カラーフィルタ１０２およびマイクロレンズ１０１が配される。この場合に、カラーフィルタ１０２上にマイクロレンズ１０１が設けられ、マイクロレンズ１０１を有するカラーフィルタ１０２と、液晶シャッタ３００とがアライメントされて貼り付けられてもよい。
【００７１】
図１４に示すように、基板１０９に光電変換素子１０８が設けられるとともに、その上に絶縁層１４４を介して配線層１０５が設けられる。これらを形成するには既知の方法を用いればよいので、説明を省略する。絶縁層１４４の上面は平坦化される。平坦化された絶縁層１４４の上面に、マイクロレンズ１００およびカラーフィルタ１０２を有する液晶シャッタ３００がアライメントされて貼り付けられることにより、撮像素子１００が形成される。
【００７２】
図１から図１４に示す例において、各画素に対して個別電極３１０、３１２は２つのセグメントに分かれているが、セグメントの数に制限はない。例えば、各画素に一つの個別電極３１０を設けてもよい。この場合に、開状態で開口１０４ｃを形成し、閉状態で開口１０４ｌを形成する画素と、開状態で開口１０４ｃを形成し、閉状態で開口１０４ｒを形成する画素とを繰り返しパターン１１２のように配置してもよい。また、各画素に対して３つ以上のセグメントに分かれた個別電極を設けてもよい。２つのセグメントの個別電極を設けた画素と、１つまたは３つ以上のセグメントの個別電極を設けた画素とを混在させてもよい。
【００７３】
図１５は、他の撮像素子１１９の概略図である。図１５は図３に対応して一つの画素を被写体側からみた概略図である。
【００７４】
図１５に示す例において、液晶シャッタ３００は、一つの光電変換素子１０８に対して±ｘ方向および±ｙ方向の４つのセグメントに分かれた個別電極３７０、３７４、３７８、３８２と、それらを別個に駆動することができる駆動素子３７２、３７６、３８０、３８４を有する。これにより２４＝１６通りの開口を形成することができる。図１５には一例として、＋ｙ側の個別電極３７０、３７４に対応する開閉領域が閉状態で、−ｙ側の個別電極３７８、３８２に対応する開閉領域が開状態であることにより、−ｙ側に開口１０４ｕが形成された状態を示す。なお個別電極をｘｙ方向にセグメント化することに代えて、一方向に短冊状にセグメント化してもよい。
【００７５】
図１６は、他の撮像素子１１８を示す概略断面図である。図１７は、撮像素子１１８の開口マスク１２３と個別電極３３０の関係を示す。
【００７６】
開口マスク１２３は、絶縁層１４４の上面に配され、例えば配線１０６と同じ材料のアルミ等で形成される。開口マスク１２３には、変位した開口１２４が設けられる。開口１２４は、瞳上で被写体光束の変位した領域に対応する。図１７に示す例において、開口１２４は−ｘ側に変位している。個別電極３３０において、電極部３２３に開口３２４が設けられている。開口３２４の大きさは開口１２４よりも小さい。図１７に示す例において、開口３２４は、開口１２４よりも細いスリット状である。
【００７７】
よって、図１７に示す例において、開状態においては開口１２４で規定される被写体光束の部分領域が光電変換素子１０８に入射する。また、閉状態においては開口１２４と開口３２４とが重なった合成開口１２５で規定される被写体光束が光電変換素子１０８に入射する。これにより、被写体光束の断面領域内の、異なる部分を透過した二種類の視差画像を得ることができる。
【００７８】
なお、図１６に示す例において、互いに隣接する画素の開口マスク１２３の開口１２４、個別電極３３０、駆動素子３５０は対称に配される。また、開口３２４は貫通した穴であってもよいし、可視光に対して透明な膜で覆われていてもよい。
【００７９】
図１８は、カラーフィルタ１０２のベイヤー配列を説明する図である。図示するように、ベイヤー配列は、緑フィルタが左上と右下の２画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に割り当てられる配列である。ここでは、緑フィルタが割り当てられた左上の画素をＧｂ画素と、同じく緑色フィルタが割り当てられた右下の画素をＧｒ画素とする。また、赤色フィルタが割り当てられた画素をＲ画素と、青色が割り当てられた画素をＢ画素とする。そして、Ｇｂ画素およびＢ画素が並ぶ横方向をＧｂ行とし、Ｒ画素およびＧｒ画素が並ぶ横方向をＧｒ行とする。また、Ｇｂ画素およびＲ画素が並ぶ縦方向をＧｂ列とし、Ｂ画素およびＧｒ画素が並ぶ縦方向をＧｒ列とする。例えば、図８から図１０に示す繰り返しパターン１１０等の４つの画素に、図１８のベイヤー配列を割り当ててもよい。
【００８０】
図１９は、カラーフィルタ１０２の他の配列を説明する図である。図１９の例において、緑フィルタが左上の１画素に、赤フィルタが左下の１画素に、青フィルタが右上の１画素に、フィルタ無しまたは色無しフィルタが右下の１画素に割り当てられる。例えば、図８から図１０に示す繰り返しパターン１１０等の４つの画素に、図１９の配列を割り当ててもよい。
【００８１】
また、上記実施形態において、液晶シャッタ３００は、絶縁層１４４とカラーフィルタ１０２との間に配されているが、配置場所はこれに限られない。例えば、液晶シャッタ３００は、光電変換素子１０８の直上、配線層１０５の直上、マイクロレンズ１０１とカラーフィルタとの間、等に配されてもよい。また、全ての画素に対して液晶シャッタ３００を設ける代わりに、いくつかの画素については液晶シャッタ３００または個別電極３１０を設けなくてもよい。
【００８２】
上記実施形態において、液晶シャッタ３００はノーマリホワイトであるが、ノーマリブラックでもよい。またＴＮモード以外のモードであってもよいし、駆動方法もアクティブでもパッシブでもよい。液晶シャッタ３００は天地反対に設けられ、共通電極３１６が個別電極３１０よりも光電変換素子１０８に近い側に配されてもよい。液晶シャッタ３００の偏光フィルム３６５、３６６の一方または両方に反射防止膜が設けられてもよい。これにより、液晶シャッタ３００の表面で反射した光が迷光となって隣接する光電変換素子１０８に入射するのを防ぐことができる。
【００８３】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００８４】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８５】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、３０  被写体、１００  撮像素子、１０１  マイクロレンズ、１０２  カラーフィルタ、１０４、１０４ｌ、１０４ｒ  開口、１０５  配線層、１０６  配線、１０７  開口、１０８  光電変換素子、１０９  基板、１１０  繰り返しパターン、１１１  繰り返しパターン、１１２  繰り返しパターン、１１３  繰り返しパターン、１１４  繰り返しパターン、１１５  繰り返しパターン、１１６  繰り返しパターン、１１７  繰り返しパターン、１１８、１１９  撮像素子、１２３  開口マスク、１２４  開口、１２５  合成開口、１４０  回路領域、１４２  フローティングディフュージョン、１４４  絶縁層、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２２０  メモリカード、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  ＬＣＤ駆動回路、２１１  ＡＦセンサ、２０５  画像処理部、２３０  駆動部、２３２  読取駆動部、２３４  開閉駆動部、３００  液晶シャッタ、３０２  シール部、３０４、３０６  基板、３１６  共通電極、３１０  個別電極、３１２  個別電極、３２０  液晶、３２１  配向膜、３２２  配向膜、３２３  電極部、３２４  開口、３３０  個別電極、３５０  駆動素子、３５２  駆動素子、３６０  接続部、３６１、３６２、３６３、３６４  開閉領域、３６５、３６６  偏光フィルム、３７０  個別電極、３７２  駆動素子、３７４  個別電極、３７６  駆動素子、３７８  個別電極、３８０  駆動素子、３８２  個別電極、３８４  駆動素子
【図１】
2013197796.tif 000003
【図２】
2013197796.tif 000004
【図３】
2013197796.tif 000005
【図４】
2013197796.tif 000006
【図５】
2013197796.tif 000007
【図６】
2013197796.tif 000008
【図７】
2013197796.tif 000009
【図８】
2013197796.tif 000010
【図９】
2013197796.tif 000011
【図１０】
2013197796.tif 000012
【図１１】
2013197796.tif 000013
【図１２】
2013197796.tif 000014
【図１３】
2013197796.tif 000015
【図１４】
2013197796.tif 000016
【図１５】
2013197796.tif 000017
【図１６】
2013197796.tif 000018
【図１７】
2013197796.tif 000019
【図１８】
2013197796.tif 000020
【図１９】
2013197796.tif 000021