(57)【要約】【課題】撮像装置は、視差を有する画像と視差を有さない画像を一度の撮影により生成できなかった。【解決手段】上記課題を解決するために、撮像ユニットは、入射光を電気信号に変換する光電変換素子を含む画素が二次元的に配列された撮像素子と、互いに隣接する複数の画素に対応して配置され、入射光を一方向と他方向で屈折角を違えて射出することにより、隣接するそれぞれの画素に、入射光の断面領域内における互いに異なる部分領域からの入射光を導く非対称レンズとを備え、撮像素子は、画素として、非対称レンズが対応して配置されている視差画素と、非対称レンズが配置されていない視差なし画素とを含む。【選択図】図１
2013168879.tif 000002
【特許請求の範囲】
【請求項１】
入射光を電気信号に変換する光電変換素子を含む画素が二次元的に配列された撮像素子と、
互いに隣接する複数の前記画素に対応して配置され、前記入射光を一方向と他方向で屈折角を違えて射出することにより、隣接するそれぞれの前記画素に、前記入射光の断面領域内における互いに異なる部分領域からの前記入射光を導く非対称レンズと
を備え、
前記撮像素子は、前記画素として、前記非対称レンズが対応して配置されている視差画素と、前記非対称レンズが配置されていない視差なし画素とを含む撮像ユニット。
【請求項２】
前記非対称レンズは、ベースに対して一体的に形成される請求項１に記載の撮像ユニット。
【請求項３】
前記非対称レンズは、前記一方向にパワーを持ち、かつ前記一方向に直交する方向である前記他方向にパワーを持たない請求項１または２に記載の撮像ユニット。
【請求項４】
前記非対称レンズは、シリンドリカルレンズである請求項３に記載の撮像ユニット。
【請求項５】
前記非対称レンズは、前記一方向と前記一方向に直交する方向である前記他方向とで異なるパワーを持つ請求項１または２に記載の撮像ユニット。
【請求項６】
前記非対称レンズは、トーリックレンズである請求項５に記載の撮像ユニット。
【請求項７】
複数の前記画素の各々は、互いに異なる波長帯域を透過させる少なくとも２種類のカラーフィルタの何れかを含み、
互いに隣接する複数の前記画素のうち前記一方向に隣接する前記画素の数は、前記カラーフィルタの種類の数に等しい請求項１から６の何れか１項に記載の撮像ユニット。
【請求項８】
前記非対称レンズは、前記画素が配列された平面に対して傾いた状態で配置されている請求項１から７の何れか１項に記載の撮像ユニット。
【請求項９】
前記非対称レンズを複数備え、複数の前記非対称レンズは、前記一方向および前記一方向に直交する方向である前記他方向の何れかの方向に対して、互いに間隔をあけて配置されている請求項１から８の何れか１項に記載の撮像ユニット。
【請求項１０】
複数の前記非対称レンズは、前記一方向および前記一方向に直交する方向である前記他方向の両方向に対して、互いに間隔をあけて配置されている請求項９に記載の撮像ユニット。
【請求項１１】
複数の前記非対称レンズのうち少なくとも一つが、他の一つと異なる向きに配置されている請求項９または１０に記載の撮像ユニット。
【請求項１２】
請求項１から１１の何れか１項の撮像ユニットと、
前記撮像ユニットから出力された電気信号に応じて画像処理を行う画像処理部と
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像ユニットおよび撮像装置に関する。
【背景技術】
【０００２】
単一の撮影光学系を用いて、任意の数の視差を有する画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００９−２９０２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述の撮像装置では、視差を有する画像と視差を有さない画像を一度の撮影により生成できなかった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様における撮像ユニットは、入射光を電気信号に変換する光電変換素子を含む画素が二次元的に配列された撮像素子と、互いに隣接する複数の画素に対応して配置され、入射光を一方向と他方向で屈折角を違えて射出することにより、隣接するそれぞれの画素に、入射光の断面領域内における互いに異なる部分領域からの前記入射光を導く非対称レンズとを備え、撮像素子は、画素として、非対称レンズが対応して配置されている視差画素と、非対称レンズが配置されていない視差なし画素とを含む。
【０００５】
本発明の第２の態様における撮像装置は、上述の撮像ユニットと、撮像ユニットから出力された電気信号に応じて画像処理を行う画像処理部とを備える。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係るデジタルカメラ１０の構成を説明する図である。
【図２】撮像ユニット４０の断面を表す概略図である。
【図３】視差画素と被写体の関係を説明する概念図である。
【図４】視差画像を生成する処理を説明する概念図である。
【図５】視差画素の種類が２つである場合のカラーフィルタパターンのバリエーションを説明する図である。
【図６】視差画素の種類が３つである場合のカラーフィルタパターンのバリエーションを説明する図である。
【図７】撮像素子１００とレンズ体３００の配置関係を説明する図である。
【図８】レンズ体の他の例を示す図である。
【図９】トーリックレンズにより形成される視差画素を説明するための図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
本実施形態に係る撮像ユニットを含んで構成される撮像装置は、例えばデジタルカメラであり、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。
【００１０】
図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を、レンズ体３００を介して撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、レンズ体３００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、メモリカードＩＦ２０７、操作部２０８、表示部２０９および表示制御部２１０を備える。
【００１１】
なお、図１に示すように、光軸２１に沿って被写体光束が入射する方向である前後方向にｚ軸を定める。また、ｚ軸と直交し、かつ、撮像素子１００の長手方向と平行な方向である左右方向にｘ軸、ｚ軸およびｘ軸に直交する方向である上下方向にｙ軸を定める。また、図１では、説明のためにレンズ体３００と撮像素子１００を離して描いているが、実際には、レンズ体３００と撮像素子１００は、撮像ユニット４０として一体的に構成される。
【００１２】
撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。
【００１３】
レンズ体３００は、撮影レンズ２０の焦点面近傍に配置されている。レンズ体３００は、複数の非対称レンズ４２を含む。ここでは、レンズ体３００は、複数の非対称レンズ４２がベース４１に対して一体的に形成されてなる。また、ここでは、ベース４１は薄板状である。
【００１４】
ベース４１は、非対称レンズ４２が配置されていない平坦部分を有する。つまり、非対称レンズ４２は、撮像素子１００の全体に配置されるのではなく、一部分に対して配置される。ここでは、非対称レンズ４２のそれぞれは、ｘ軸方向に互いに間隔をあけて配置されている。また、非対称レンズ４２は、入射光を一方向と他方向で屈折角を違えて射出する。本実施形態では、非対称レンズ４２は、一方向にパワーを持ち、かつ一方向に直交する方向にパワーを持たないシリンドリカルレンズである。
【００１５】
撮像素子１００は、レンズ体３００の後方に配置されている。撮像素子１００は、ＣＣＤ、ＣＭＯＳ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。
【００１６】
Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。制御部２０１の一部である画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、画像処理部２０５は、ＪＰＥＧファイル形式の画像データを生成する場合に、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。表示制御部２１０は、画像処理部２０５によって生成された画像データを表示信号に変換し、表示部２０９に表示させる。また、生成された画像データは、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。
【００１７】
一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１の一部である演算部２０６の演算結果に応じて実行される。
【００１８】
デジタルカメラ１０は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部２０９を視認しながら、操作部２０８を操作することにより選択することができる。
【００１９】
次に、レンズ体３００と撮像素子１００の構成について詳細に説明する。図２は、レンズ体３００と撮像素子１００の断面を表す概略図である。撮像素子１００は、被写体側から順に、カラーフィルタ１０２、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。
【００２０】
カラーフィルタ１０２は、配線層１０５上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されればよいが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列するとよい。例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタを格子状に配列するとよい。具体的な配列については後述する。
【００２１】
このように、各々の光電変換素子１０８と、各々の光電変換素子１０８に対応して一対一に設けられるカラーフィルタ１０２とを含む一単位を画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。
【００２２】
レンズ体３００は、カラーフィルタ１０２上に設けられている。ここでは、非対称レンズ４２が、ｘ軸方向に隣接する６画素に対応して設けられている。詳しくは後述するが、この非対称レンズ４２の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子１０８上には、非対称レンズ４２が存在しない。視差を生じさせる非対称レンズ４２が配置されている画素を視差画素、非対称レンズ４２が配置されていない画素を視差なし画素と呼ぶ。
【００２３】
撮像素子１００には、非対称レンズ４２に対応する６つの視差画素を一組とする光電変換素子群が、部分的に配列されている。６つの視差画素を一組とする光電変換素子群を繰り返しパターン１１０という。また、撮像素子１００には、実質的に視差画像を生成できる範囲において、視差なし画素が配列されている。実質的に視差画像を生成できる範囲とは、例えば、像としての齟齬が生じないよう補間できる範囲である。例えば、予め設定された解像度の補間画像を生成できる場合に、実質的に視差画像を生成できる。また、視差なし画素が配列された領域が、視覚的に影響を与えない周辺領域である場合も、実質的に視差画像を生成できる。なお、白黒画像信号を出力すればよい場合にはカラーフィルタ１０２は設けない。さらに、裏面照射型イメージセンサの場合は、配線層１０５が光電変換素子１０８とは反対側に設けられる。
【００２４】
図３は、視差画素と被写体の関係を説明する概念図である。特に図３（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図３（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図３（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図３（ｃ）は、図３（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。また、図３では、非対称レンズ４２および撮像素子１００について、非対称レンズ４２がパワーを有する方向であるｘ軸方向の断面を模式的に示している。
【００２５】
まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、非対称レンズ４２によって部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８ｆへ到達する。
【００２６】
同様に、右端の画素に向かって、部分領域Ｐｅから射出された被写体光束のみが光電変換素子１０８ｅへ、部分領域Ｐｄから射出された被写体光束のみが光電変換素子１０８へ、部分領域Ｐｃから射出された被写体光束のみが光電変換素子１０８ｃへ、部分領域Ｐｂから射出された被写体光束のみが光電変換素子１０８ｂへ、部分領域Ｐａから射出された被写体光束のみが光電変換素子１０８ａへ到達する。そして、合焦位置に存在する被写体３０からの被写体光束を、非対称レンズ４２を介して光電変換素子１０８ａ〜１０８ｆが受光する場合、その被写体光束は、図示するように、非対称レンズ面で結像する。
【００２７】
図３（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００２８】
同様に、図３（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。
【００２９】
つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの被写体光束を受光している。
【００３０】
次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。
【００３１】
ただし、非合焦位置に存在する被写体３１からの被写体光束は、非対称レンズ４２面ではなく他の位置で結像する。例えば、図３（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、非対称レンズ４２よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、非対称レンズ４２よりも被写体３１とは反対側で結像する。
【００３２】
したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図３（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８ｄへ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８ａ〜１０８ｆへは入射せず、他の繰り返しパターンにおける同様の視差を生じさせる光電変換素子１０８へ入射する。
【００３３】
換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８ａ〜１０８ｆへ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、光電変換素子１０８ｄへは主光線をＲｄ'とする被写体光束が入射し、光電変換素子１０８ａ〜１０８ｃ、１０８ｅ、１０８ｆへは主光線をＲａ＋、Ｒｂ＋、Ｒｃ＋、Ｒｅ＋、Ｒｆ＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図３（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。
【００３４】
すると、撮像素子１００の全体で見た場合、例えば、光電変換素子１０８ａで捉えた被写体像Ａと、光電変換素子１０８ｄで捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の光電変換素子に対しても同様であるので、光電変換素子１０８ａ〜１０４ｆに対応して、６つの視差像が形成されることになる。
【００３５】
したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。一方、非対称レンズ４２は、ｙ軸方向にはパワーを有さないので、非対称レンズ４２に入射した主光線は、ｙ軸方向に屈折することなく、対応する光電変換素子に入射する。
【００３６】
図４は、視差画像を生成する処理を説明する概念図である。図４は、左列から順に、光電変換素子１０８ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、光電変換素子１０８ｅの出力による視差画像データＩｍ＿ｅの生成の様子、光電変換素子１０８ｄの出力による視差画像データＩｍ＿ｄの生成の様子、光電変換素子１０８ｃの出力による視差画像データＩｍ＿ｃの生成の様子、光電変換素子１０８ｂの出力による視差画像データＩｍ＿ｂの生成の様子、光電変換素子１０８ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず光電変換素子１０８ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。
【００３７】
ここでは、６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横方向に６画素おきに配列されている。つまり、隣り合う繰り返しパターン１１０同士の間には、６つの視差なし画素が配列されている。したがって、光電変換素子１０８ｆを有する視差画素は、撮像素子１００上において、左右方向に１２画素おき、かつ、上下方向に連続して存在する。光電変換素子１０８ｆを有する各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。
【００３８】
しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。
【００３９】
同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。この例では、デジタルカメラ１０は、縦方向の解像度を維持しつつ、横方向にのみ視差を作り出すことができる。
【００４０】
次に、カラーフィルタ１０２と視差画像について説明する。ここでは、各光電変換素子１０８に対応して配置されたカラーフィルタ１０２から構成されるカラーフィルタパターンが、緑フィルタ、赤フィルタ、および青フィルタの３種類のカラーフィルタから構成される例について説明する。緑フィルタが割り当てられた画素をＧ画素と、赤フィルタが割り当てられた画素をＲ画素と、青が割り当てられた画素をＢ画素とする。
【００４１】
カラーフィルタパターンに対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、画素配列として様々なバリエーションが設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。
【００４２】
図５は、視差画素の種類が２つである場合のカラーフィルタパターンのバリエーションを説明する図である。ここでは、ｘ軸方向に隣接する２画素に対応する非対称レンズ４２が、２画素おきに配置されている場合を想定する。この場合の視差画素は、互いが左右にずれた視差Ｌ画素と視差Ｒ画素となる。つまり、このような視差画素から出力される２視点の視差画像は、いわゆる立体視を実現する。図５において、括弧内のＬｔは視差Ｌ画素を、Ｒｔは視差Ｒ画素を、Ｎは視差なし画素を示す。
【００４３】
図５では、上述のように非対称レンズ４２が配置されることによって、視差Ｌ画素列と視差Ｒ画素列の組がｘ軸方向に間隔をあけて配列される。また、非対称レンズ４２が配置されていないベース４１領域に対応して、視差Ｌ画素列と視差Ｒ画素列の組同士の間に、２列の視差なし画素が配列されている。図５に示すように、カラーフィルタに着目すると、Ｇ画素行、Ｂ画素行、Ｒ画素行がこの順に繰り返し配置されている。図５に示すように、対応する視差Ｌ画素と視差Ｒ画素には、共通のカラーフィルタが配置されるのが好ましい。また、パターン５０に示すように、ｙ軸方向に隣接するＧ画素、Ｂ画素、Ｒ画素によって、各視差画素についてカラー画素を生成することができる。また、各視差画素にＲ画素、Ｇ画素、Ｂ画素の全てが割り当てられているので、高品質のカラー３Ｄ画像を得ることができる。また、視差なし画素にもＲ画素、Ｇ画素、Ｂ画素の全てが割り当てられている。したがって、高品質のカラー２Ｄ画像を得ることもできる。
【００４４】
図６は、視差画素の種類が３つ（視差Ｌ画素、視差Ｃ画素、視差Ｒ画素）である場合のカラーフィルタパターンのバリエーションを説明する図である。ここでは、ｘ軸方向に隣接する３画素に対応する非対称レンズ４２が配置されている場合を想定する。図６において、括弧内のＣｔは、偏心のない視差Ｃ画素を示す。偏心のない視差Ｃ画素は、瞳の中心部分を部分領域とする被写体光束のみを光電変換素子１０８へ導く点で視差画像を出力する視差画素であり、光電変換素子１０８に対して入射する被写体光束を制限しない視差なし画素とは異なる。したがって、これら３種類の視差画素により、３視点の視差画像が出力される。なお、カラーフィルタの配列は、図５と同一である。
【００４５】
図６では、非対称レンズ４２がｘ軸方向に隣接する３画素に対応して配置されているので、視差Ｌ画素列、視差Ｃ画素列、および視差Ｒ画素列の組が配列される。また、非対称レンズ４２が配置されていないベース４１領域に対応して、３列の視差なし画素が配列されている。図５と同様に、対応する視差Ｌ画素と視差Ｒ画素には、共通のカラーフィルタが配置されるのが好ましい。また、パターン５１に示すように、ｙ軸方向に隣接するＧ画素、Ｂ画素、Ｒ画素によって、各視差画素についてカラー画素を生成することができる。ここで、図５では、パターン５０に示すように、視差Ｌ画素と視差Ｒ画素について、Ｒ画素、Ｇ画素、Ｂ画素を得るには、縦に３画素、横に２画素必要である。一方、図６では、パターン５１に示すように、視差Ｌ画素、視差Ｃ画素、視差Ｒ画素について、Ｒ画素、Ｇ画素、Ｂ画素を得るには、縦横にそれぞれ３画素必要である。図６に示すように、パターン５１が正方格子状になる場合には、カラーの一画素を生成する場合により均一に補間することができる。
【００４６】
また、非対称レンズ４２によって形成される視差画素の数は、カラーフィルタの種類の数に等しくなっている。図６に示すように、各視差画素にＲ画素、Ｇ画素、Ｂ画素の全てが割り当てられているので、高品質のカラー３Ｄ画像を得ることができる。また、視差なし画素にもＲ画素、Ｇ画素、Ｂ画素の全てが割り当てられている。したがって、高品質のカラー２Ｄ画像を得ることもできる。
【００４７】
ところで、シリンドリカルレンズである非対称レンズ４２によって視差を実現する場合には、横方向の解像度が落ちることになる。特に多視差を実現する場合には、縦方向に対する横方向の解像度の落ち込みが顕著になる。例えば、図４に示したように、横一列に視差画素を配列する場合には、６視差を実現するためには、横方向に６画素必要であった。横方向に６画素必要であったものを、３画素ずつ縦方向に２段に振り分けることによって、実質的に横方向に必要な画素数を６画素よりも減じることができる。図７は、撮像素子１００とレンズ体３００の配置関係を説明する図である。図７は、ｚ軸方向から見た撮像素子１００とレンズ体３００の配置関係を示している。また、カラーフィルタパターンに着目すると、Ｒ画素行、Ｇ画素行、Ｂ画素行が、紙面下方に向かってこの順に繰り返し配置されている。また、６つの破線はそれぞれ、非対称レンズ４２で結像した後、視差Ｒ画素に入射する各光束を示す。
【００４８】
図示するように、同じＲ画素の段を上下で１画素分ずらして、３画素７０８ｆ、７０８ｄ、７０８ｂ、３画素７０８ｅ、７０８ｃ、７０８ａ配列し、それに沿って非対称レンズ４２が画素配列に対して斜めに配置されている。より詳細には、非対称レンズ４２の円筒軸３５が撮像素子１００の縦（ｙ軸）方向に対して傾斜して配置される。こうすることで、画素７０８ａ〜７０８ｆの６視差を図４の１０８ａ〜１０８ｆに相当する６視差の組として形成することができる。よって、横方向に配列される視差画素数を減じることができるので、結果として、横方向の解像度の落ち込みを低減することができ、かつ縦横方向の解像度のバランスを向上させることができる。
【００４９】
なお、ここでは、６つの視差Ｒ画素が横方向と縦方向に振り分けられた例を示したが、この場合、Ｇ画素、Ｂ画素については、厳密には、各部分領域からの入射光は受光されない。したがって、Ｇ画素、Ｂ画素については、周囲の視差Ｒ画素を用いて補間することによって、近似的に各部分領域からの入射光を受光するものとみなす。
【００５０】
また、デジタルカメラ１０で生成した視差画像を例えば外部の表示装置に表示させる場合に、表示装置に対しても非対称レンズが配置されることが考えられる。そして、表示装置においても非対称レンズの円筒軸が当該表示装置の表示面の縦方向に対して斜めに配置され得る。この場合、撮像系および表示系のそれぞれの非対称レンズの傾斜角を合わせることによって、それぞれの画素アスペクト比を一致させることができる。よって、撮像系および表示系において、最適の縦横比率を実現でき、かつ、補正処理が不要になる。
【００５１】
図８は、レンズ体の他の例を示す図である。図８（ａ）は、レンズ体３０１において複数の非対称レンズ４２の一部が隣接している例である。図においては、撮像素子１００に積層されるレンズ体３０１の一部を切り出して示す図である。一つのシリンドリカルレンズである非対称レンズ４２が視差Ｌ画素と視差Ｒ画素に対応する場合、図の例では、ｘ軸方向に、視差Ｌ画素と視差Ｒ画素のペアが２組で４画素と、視差なし画素が３画素の７画素で繰り返しパターンを構成する。また、３Ｄ画像としての必要な解像度に応じて、撮像素子１００に対して中央領域よりも周辺領域の視差画素数を減らすように隣接する非対称レンズの数を調整してもよい。
【００５２】
また、上述の例では、デジタルカメラ１０が、左右方向に視差を与える視差画像を生成する場合について説明したが、上下方向に視差を与える視差画像を生成することもできる。図８（ｂ）は、複数の非対称レンズ４３がｙ軸方向に配置された例である。図においては、撮像素子１００に積層されるレンズ体３０２の一部を切り出して示す図である。図８（ｂ）で示すレンズ体３０２を有するデジタルカメラ１０は、上下方向に視差を与える視差画像を生成することができる。また、ここでは、複数の非対称レンズ４２が互いに間隔をあけて配置されているが、図８（ａ）に示したように、複数の非対称レンズ４２の一部が隣接してもよい。
【００５３】
また、複数の非対称レンズのうち少なくとも一つが、他の一つと異なる向きに配置されてもよい。図８（ｃ）は、複数の非対称レンズ４４がｘ軸方向にもｙ軸方向に配置された例である。図においては、撮像素子１００に積層されるレンズ体３０３の一部を切り出して示す図である。図８（ｃ）で示すレンズ体３０３を有するデジタルカメラ１０は、上下左右の二次元方向に視差を与える視差画像を生成することができる。
【００５４】
また、非対称レンズは、その円筒軸がベースの縦方向に対して傾斜して配置されてもよい。このように配置することによっても、図７に示したように、視差画素を縦方向と横方向に振り分けることができるので、縦横方向の解像度のバランスを向上させることができる。さらに、非対称レンズは、ベース４１の両面に配置されてもよい。
【００５５】
以上の説明においては、非対称レンズ４２がシリンドリカルレンズであるとして説明したが、非対称レンズはトーリックレンズでもよい。トーリックレンズは、一方向と当該一方向に直交する方向とで異なるパワーを持つレンズである。トーリックレンズを採用することにより、デジタルカメラ１０は、上下左右の二次元方向に視差を与える視差画像を生成することができる。
【００５６】
図８（ａ）は、レンズ体３０１において複数の非対称レンズ４２の一部が隣接している例である。図９は、トーリックレンズにより形成される視差画素を説明するための図である。図９（ａ）においては、撮像素子１００に積層されるレンズ体３１０の一部を切り出して示す図であり、横約１０画素×縦約８画素程度に対応する。ここでは、ｘ軸方向の視差画素の種類が２つで、ｙ軸方向の視差画素の種類が４つである場合を例示する。図９（ｂ）は、図９（ａ）のＡ−Ａ断面を示すとともに撮像素子１００との配置関係を示す図である。図９（ｃ）は、図９（ａ）のＢ−Ｂ断面を示すとともに撮像素子１００との配置関係を示す図である。
【００５７】
図９（ｂ）に示すように、ｘ軸方向において、非対称レンズ３１１の各々は、隣接する２画素に対応して配置されている。したがって、この場合の視差画素は、互いが左右にずれた視差Ｌ画素と視差Ｒ画素となる。隣り合う非対称レンズ３１１の間、すなわち、非対称レンズ３１１が配置されていない画素は、視差なし画素となる。ここでは、隣接する２画素が視差なし画素である。
【００５８】
一方、図９（ｃ）に示すように、ｙ軸方向において、非対称レンズ３１１は、隣接する４画素に対応して配置されている。したがって、この場合の視差画素は、上下方向に視差を有する４つの視差画素となる。
【００５９】
以上のように、非対称レンズとしてトーリックレンズが用いられたデジタルカメラは、縦横で異なる数の視差画素を形成することができる。よって、トーリックレンズによって縦横の解像度の比を自由に設定することができる。また、レンズ体３１０は、撮像素子１００のｘｙ平面におけるｘ軸およびｙ軸から傾いた状態で配置されてもよい。以上の説明においては、シリンドリカルレンズ、トーリックレンズを例に挙げたが、シリンドリカルレンズ、トーリックレンズと同様の効果を奏するのであれば、これらの形状のレンズに限定されない。
【００６０】
以上の説明においては、複数の非対称レンズは、ベースに対して一体的に形成された構成であったが、ベースを介さずに直接撮像素子１００に配置してもよい。また、撮像素子１００は、カラーフィルタ１０２上に配置されたマイクロレンズを含んで構成されてもよい。マイクロレンズは、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズは、光電変換素子１０８のそれぞれに一対一に対応して設けられる。マイクロレンズは、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。また、撮像素子１００は、光電変換素子１０８の各々に対応して設けられたカラーフィルタ１０２を含む構成としたが、カラーフィルタ１０２を設けずに撮像素子を構成することもできる。
【００６１】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【符号の説明】
【００６２】
１０  デジタルカメラ、２０  撮影レンズ、２１  光軸、３５  円筒軸、４０  撮像ユニット、４１  ベース、４２  非対称レンズ、４３  非対称レンズ、４４  非対称レンズ、３００  レンズ体、３０１  レンズ体、３０２  レンズ体、３０３  レンズ体、３１０  レンズ体、３１１  非対称レンズ、１００  撮像素子、２０１  制御部、２０２  Ａ／Ｄ変換回路、２０３  メモリ、２０４  駆動部、２０７  メモリカードＩＦ、２０８  操作部、２０９  表示部、２１０  表示制御部、２２０  メモリカード、１０２  カラーフィルタ、１０５  配線層、１０６  配線、１０８  光電変換素子、１０９  基板、７０８  画素
【図１】
2013168879.tif 000003
【図２】
2013168879.tif 000004
【図３】
2013168879.tif 000005
【図４】
2013168879.tif 000006
【図５】
2013168879.tif 000007
【図６】
2013168879.tif 000008
【図７】
2013168879.tif 000009
【図８】
2013168879.tif 000010
【図９】
2013168879.tif 000011