(57)【要約】【課題】一度の撮影で複数の異なる被写体面の像のカラー画像を同時に取得可能な撮像素子を提供する。【解決手段】  一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、複数の異なる焦点距離を有する光学系５と、複数の画素を備えた撮像素子部６と、少なくとも３つの異なる波長域の色光から、複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段８とを有し、複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されている。【選択図】図１
2013038670.tif 000002
【特許請求の範囲】
【請求項１】
一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、
複数の異なる焦点距離を有する光学系と、
複数の画素を備えた撮像素子部と、
少なくとも３つの異なる波長域の色光から、前記複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段と、を有し、
前記複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されていることを特徴とする撮像素子。
【請求項２】
前記同一の波長域の色光に対応し、かつ、前記同一の被写体面の像を取得する前記複数の画素は、以下の式で表される整数Ｉｍａｘの間隔以上離れて配列されていることを特徴とする請求項１に記載の撮像素子。
Ｉｍａｘ＝ｉｎｔ｛ＳＱＲＴ（ｍ×ｎ）｝
ただし、ｍは前記複数の異なる位置の数、ｎは前記異なる波長域の色光の数、ＳＱＲＴ（  ）は（  ）内の値の平方根を求める関数、ｉｎｔ｛  ｝は、｛  ｝内の値の整数部分を求める関数である。
【請求項３】
前記複数の異なる被写体面の像を取得する前記複数の画素のそれぞれにおいて、前記同一の波長域の色光に対応した前記複数の画素は同一の配列パターンを有することを特徴とする請求項１または２に記載の撮像素子。
【請求項４】
前記同一の波長域の色光に対応した前記複数の画素は、所定の方向に周期性を有するように配置されていることを特徴とする請求項１または２に記載の撮像素子。
【請求項５】
前記撮像素子部の前記複数の画素の全ては、同一平面上に配列されていることを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
【請求項６】
撮像光学系と、
前記撮像光学系を介して前記像を取得する請求項１乃至５のいずれか１項に記載の撮像素子と、を有することを特徴とする撮像装置。
【請求項７】
前記撮像光学系および前記光学系を合わせて構成された合成光学系の焦点距離は変更可能であることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記複数の異なる被写体面の前記像のうち特定の像に対してオートフォーカスを行うオートフォーカス機構を更に有することを特徴とする請求項６または７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一度の撮影で複数の遠近位置における像を取得可能な撮像素子および撮像装置に関する。
【背景技術】
【０００２】
近年、複数の異なる被写体面における像（画像）を取得し、取得した複数の画像に対して画像処理を行う撮像装置（多焦点撮像装置）が提案されている。例えば、複数の位置における画像のそれぞれから焦点の合った位置の画像を抽出し、これらの画像を合成処理することにより、超深度で高解像な画像を取得することができる。また、取得した複数の位置における画像に対して所定の画像処理を行うことにより、撮影後に任意の位置に焦点が合った画像を取得することもできる。
【０００３】
特許文献１、２には、複数の異なる被写体面における像を同時に取得可能な撮像装置が開示されている。例えば特許文献１には、ビームスプリッタを用いて光路を分離し、分離した光路に対して光路長を相対的に変えることで遠近の異なる被写体像を取得する構成が開示されている。また特許文献２には、被写体の任意の位置から撮像装置に設けられた撮像レンズの開口の異なる位置を通過する光線の角度情報を取得し、画像処理を行うことで被写体の奥行き情報を特定し、任意の位置に焦点が合った画像を生成する方式が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５９１２１号公報
【特許文献２】米国特許公開２００９／０１８５８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された構成では、被写体からの光をビームスプリッタで分離し、分離した光路に対して光路長を相対的に変えるとともに、カラーフィルタが追加されている。この構成では、再度ビームスプリッタを通過させて２つの画像を合成する際に、異なる位置からの被写体像は、異なる分光特性を有する画像となる。このため、カラー画像としての多焦点画像は得られない。また、被写体の位置が２箇所以上に増えると、ビームスプリッタでの分離や合成が複雑になり、撮像装置が大型化してしまう。
【０００６】
また特許文献２に開示された構成では、光線の角度情報から被写体の奥行き情報を算出する。このため、被写体の奥行き情報を高精度に算出するには、比較的Ｆナンバーの小さな明るい撮像レンズを用いることが必要となる。Ｆナンバーの小さな明るい撮影レンズは、レンズ枚数が多く高価である。また、撮像装置の小型化には適さない。
【０００７】
そこで本発明は、一度の撮影で複数の異なる被写体面の像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像素子は、一度の撮影で複数の異なる被写体面の像を取得可能な撮像素子であって、複数の異なる焦点距離を有する光学系と、複数の画素を備えた撮像素子部と、少なくとも３つの異なる波長域の色光から、前記複数の画素のそれぞれに応じた波長域の色光を選択する波長選択手段とを有し、前記複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の被写体面の像を取得する複数の画素は、互いに隣接しないように配列されている。
【０００９】
本発明の他の側面としての撮像装置は、撮像光学系と、前記撮像光学系を介して前記被写体像を取得する前記撮像素子とを有する。
【００１０】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１１】
本発明によれば、一度の撮影で複数の異なる被写体面の像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施例における撮像装置の概略構成図である。
【図２】本実施例における撮像素子の概略構成図である。
【図３】本実施例における撮像素子の画素配列図である。
【図４】本実施例における隣接画素の説明図である。
【図５】本実施例における画素間の距離の説明図である。
【図６】実施例３における撮像素子の画素配列図である。
【図７】実施例４における撮像装置の概略構成図である。
【図８】実施例４における撮像素子の概略構成図である。
【図９】実施例４における撮像素子の画素配列図である。
【図１０】実施例５における撮像素子の画素配列図である。
【図１１】比較例１における撮像素子の画素配列図である。
【図１２】比較例２における撮像素子の画素配列図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１４】
まず、本実施例における撮像装置（多焦点撮像装置）について説明する。図１は、本実施例における撮像装置の概略構成図である。撮像装置１は、撮像光学系３（第１の撮像光学系）、撮像素子４（多焦点撮像素子）、および、信号処理部７を備えて構成されている。また撮像素子４は、光学系５（第２の撮像光学系）および撮像素子部６（受光部）を備えて構成されている。撮像素子４は、撮像光学系３を介して被写体像を取得する。このような構成により、撮像装置１は、複数の異なる被写体面における像（多焦点画像）を同時に取得することができる。
【００１５】
図１において、ｚ軸は撮像素子部６の受光面の面法線方向を示している。複数の異なる位置（遠近位置）にある被写体面２ａ、２ｂ、２ｃ（被写体）からの光束は、撮影レンズである撮像光学系３により、撮像素子部６の近傍に結像するように導かれる。仮に、撮像装置１に撮像光学系３だけが設けられているとした場合、異なる位置にある被写体面２ａ、２ｂ、２ｃの撮影像（被写体像）は、異なる像面に結像されることになる。そこで撮像装置１は、複数の異なる焦点距離を有する光学系５を設けることにより、異なる位置にある被写体面２ａ、２ｂ、２ｃの像がｚ軸に直交する同一平面上（撮像素子部６の受光面上）に結像されるように構成される。
【００１６】
同一平面上に結像された被写体像は、結像面に配置された撮像素子部６であるＣＣＤセンサやＣＭＯＳセンサにより受光される。ＣＣＤセンサやＣＭＯＳセンサは、複数の受光部（画素）が同一平面内で直交方向（ｘｙ方向）に配列されて構成されている。従って、複数の画素の全ては同一平面上に配列されており、その面法線方向はｚ軸方向と一致している。なお、複数の画素の配列方向（直交方向）をｘ軸、ｙ軸と定義する。
【００１７】
続いて、撮像素子４を構成する光学系５および撮像素子部６の関係について説明する。本実施例の撮像装置１は、撮像素子部６における特定の画素が、特定の被写体位置における像（特定の被写体像）を取得する。具体的には、例えば被写体面２ｂの像を撮像する画素が予め決定されている。光学系５の一部は、被写体面２ｂの像が予め決定された特定の画素にのみ結像するように配置されている。このため光学系５は、被写体面２ｂの像を撮像する画素の配列に対応するようにアレイ状に配置されている光学系を有する。同様に、被写体面２ａ、２ｃに対しても、撮像素子部６の特定の画素が、被写体面２ａ、２ｃの像を取得するように予め決定されている。光学系５の一部は、被写体面２ａ、２ｃの像を撮像する画素の配列に対応するように、同様にアレイ状に配置されている。
【００１８】
図２は、本実施例における撮像素子４の概略構成図である。光学系５は、互いに異なる焦点距離を有する撮像レンズ１０ａ、１０ｂ、１０ｃを備えて構成されている。撮像レンズ１０ａは、被写体面２ａの像を取得する画素に対応するようにアレイ状に配置されている。撮像光学系３および撮像レンズ１０ａを合成した光学系（撮像光学系）により、被写体面２ａの像は、撮像素子部６の受光面９（画素）上に結像する。同様に、被写体面２ｂに対しては撮像レンズ１０ｂ、および、被写体面２ｃに対しては撮像レンズ１０ｃがそれぞれアレイ状に配置されている。また、光学系５と撮像素子部６との間には、遮光部材１１が設けられている。遮光部材１１は、隣接する別の被写体面（被写体位置）からの光束が受光されるのを防ぐ。
【００１９】
撮像素子部６には、複数の分光透過率分布を有する波長選択手段８（カラーフィルタ）が受光面９の上に設けられている。波長選択手段８は、少なくとも３つの異なる波長域の色光から、複数の画素のそれぞれに応じた波長域の色光を選択する。このような構成により、撮像素子４は、ＲＧＢ等の色信号として被写体像を受光してカラー画像を取得することができる。撮像レンズ１０ａ、１０ｂ、１０ｃは、互いに異なる焦点距離を有するため、撮像素子部６の面法線方向（ｚ方向）における位置が異なるように配置されている。ただし本実施例はこれに限定されるものではなく、撮像レンズ１０ａ、１０ｂ、１０ｃは、面法線方向において同一位置に配置した状態で焦点距離を異ならせるように構成してもよい。
【００２０】
以上のように、光学系５は、撮像素子部６の特定の画素に対して、予め決定されている特定の被写体位置の像が結像されるように、異なる種類の撮像レンズ１０ａ、１０ｂ、１０ｃをアレイ状に配置して構成されている。このような構成により、互いに異なる位置にある被写体面２ａ、２ｂ、２ｃに対応する撮影像は、各々対応した撮像素子部６の画素からの信号（撮像情報、映像信号）を信号処理部７により切り出し、それを再構成することで取得することができる。
【００２１】
続いて、図３を参照して、撮像装置１により得られるカラー画像（被写体像）について説明する。図３は、撮像素子４の画素配列図であり、撮像素子４で得られる信号（画像信号）の種類を特定している。図３（ａ）は撮像素子４の一部領域の全画素を示し、図３（ｂ）〜（ｄ）は被写体面２ａ、２ｂ、２ｃにおける像を取得する画素をそれぞれ示している。
【００２２】
まず、図３中の記号について説明する。図３中の記号「ａ」、「ｂ」、「ｃ」は、図１中の被写体面２ａ、２ｂ、２ｃにそれぞれ対応している。すなわち、被写体面２ａ、２ｂ、２ｃにおける被写体像を取得する画素に対して、記号「ａ」、「ｂ」、「ｃ」がそれぞれ付与されている。また、図３中の番号「１」、「２」、「３」は、波長選択手段８の３つの異なる波長域を表している。本実施例において、番号「１」、「２」、「３」は３原色であるＲ、Ｇ、Ｂをそれぞれ示すものとして説明するが、これに限定されるものではない。従って、例えば図３中の記号「ａ２」は、被写体面２ａにおけるＧ信号を取得する画素を示している。
【００２３】
続いて、図３（ｂ）を参照して、被写体面２ａにおける画像を取得する画素について説明する。本実施例において、被写体面２ａの画像を取得するために切り出された画素は、特定の繰り返し配列パターンを有する。また、元の撮像素子部６の全画素から切り出されたＲＧＢ用の各画素は、ｘｙ画面内に略均等に配置されている。本実施例の撮像装置１は、一度の撮影で（同時に）得られた複数の異なる被写体位置の像から、所定の画像処理を用いて超深度の高精細画像や任意の位置に焦点が合った画像を取得する。このため、複数の被写体位置の画像を取得するだけでなく、その後の画像処理が容易になるように複数の被写体位置の画像を取得することが好ましい。
【００２４】
複数の異なる被写体面の画像に含まれる画像データ数（画素数）は、基本的には等しいことが好ましい。また、複数の被写体面の画像に含まれるＲＧＢの画素数の比率は、複数の被写体面の画像間で等しいことが好ましい。これらの条件を満足しない場合として、例えば、特定の被写体位置の画像データ数が極端に少ない場合や、特定の被写体位置の画像内に一つの色情報が極端に少ない場合が考えられる。このような場合、画像処理による画像合成の際に、極端に解像度が低下し、またカラー画像としての色再現が低下する等の好ましくない画像が得られる。
【００２５】
また、特定の被写体位置の画像を取得する画素が撮像素子部６内に局在して配置されると、部分的に画像データ数が少ない領域や、色情報が少ない領域が存在することになるため、好ましくない。そこで本実施例の撮像素子部６は、ある画素の隣接画素に同一被写体位置の同一色に対応する画素が配置されないように構成される。すなわち、撮像素子部６における複数の画素のうち、同一の波長域の色光に対応し、かつ、同一の位置における被写体像を取得する複数の画素は、互いに隣接しないように配列される。
【００２６】
図４は、隣接画素の説明図である。本実施例において「隣接画素」とは図４に示されるように特定の画素Ａの周囲に配置された８画素を意味する。前記条件が必要な理由について詳述する。本実施例の撮像装置１はカラー画像を取得するため、波長選択手段８は少なくとも３つの異なる波長域の色光（ＲＧＢの３原色）に対応する必要がある。また、最終的な画像として任意の位置に焦点が合った画像を取得するには、少なくとも３箇所以上の異なる被写体面の位置（遠近位置）の画像を取得することが好ましい。異なる２箇所の被写体面に対してのみ画像を取得した場合、これらが類似の解像度を有する画像であるとすると、被写体の位置を特定する精度が低下するからである。
【００２７】
以上より、本実施例では、３種類×３種類の９種類の異なる条件の画像を取得する画素が存在していることが好ましい。９種類の異なる条件の画像を取得する画素が存在している場合、３×３の画素の組（ブロック）を考えて、その中には互いに条件の異なる画素を配置することが可能である。前記条件を全画素に対して適用すれば、９種類の異なる条件の画像を取得する画素が存在する状態において、前記条件を満足する好ましい画像を取得することができる。このような条件を、別の表現で表わすと、ある画素の隣接画素に同一被写体位置の同一色の画素が配置されないという条件となる。
【００２８】
このように、色情報と被写体位置情報に対応する画素を適切に配置することで、その後の画像処理を容易に行うことができる。最終的には、必要な超深度の高精細画像や任意の位置に焦点が合った高精細な画像が取得可能となる。また、撮像装置の構成としても、通常のデジタルカメラの撮像素子を本実施例の撮像素子に容易に置換可能なため、汎用性の高い撮像装置を提供することができる。なお本実施例は、異なる位置にある被写体面２ａ、２ｂ、２ｃの相対的な位置や、撮像素子から被写体面までの絶対距離を限定するものではない。被写体の位置に応じて撮像光学系３および光学系５の合成焦点距離が最適になるように設定すれば、任意の位置において任意の被写体を撮影することができる。このため、撮像光学系３として、交換レンズやズームレンズなどを用いることが可能である。
【実施例１】
【００２９】
次に、図１乃至図３を参照して、本発明の実施例１における撮像素子および撮像装置について説明する。本実施例の撮像素子４に用いられる撮像素子部６は、総画素数１２００万画素のＣＣＤである。また、波長選択手段８は、ＲＧＢの３色のカラーフィルタであり、撮像素子部６の受光面９上での波長選択手段８のｘｙ面内の配列はベイヤー配列である。従って、ＲＧＢの各色の総画素比は１：２：１である。また本実施例の撮像装置１は、３箇所の異なる被写体面２ａ、２ｂ、２ｃの位置の像を同時に取得可能に構成されている。
【００３０】
光学系５を構成する撮像レンズ１０ａ、１０ｂ、１０ｃは、受光面９（画素）の一つ一つに対応するように配置されている。また本実施例では、撮像レンズ１０ａ、１０ｂ、１０ｃは、ｘ方向およびｙ方向ともに周期的に繰り返すように配置されている。このような構成を採用する場合、撮像レンズ１０ａ、１０ｂ、１０ｃと受光面９との間には、高精度な位置合わせ精度が必要となる。このため、光学系５と撮像素子部６は一体的に固定することが好ましい。更には、撮像素子部６を製造する半導体プロセスでこれらを同時に製造することが好ましい。
【００３１】
図３（ａ）は、本実施例における画素配列図であり、各画素中に取得される画像信号を示している。図３（ａ）は、本実施例を簡単に説明するため、ｘ方向に１２画素およびｙ方向に７画素の合計８４画素のみ示している。ただし実際には、図３に示される構成が６画素×４画素の周期で繰り返され、総画素数として１２００万画素の画像信号を構成している。
【００３２】
続いて、複数の異なる位置における被写体像を取得する画素について説明する。図３（ｂ）、（ｃ）、（ｂ）は、図３（ａ）の画素配列により取得された被写体面２ａ、２ｂ、２ｃの画像（被写体像）をそれぞれ示している。本実施例では、繰り返し周期が６画素×４画素の２４画素であるため、その２４画素の中に存在する画素について説明する。図３（ｂ）に示されるように、被写体面２ａに対するＲＧＢの画素数は、Ｂが２、Ｇが４、Ｒが２である。同様に、図３（ｃ）に示されるように被写体面２ｂに対するＲＧＢの画素数は、Ｂが２、Ｇが４、Ｒが２であり、図３（ｄ）に示されるように被写体面２ｃに対するＲＧＢの画素数は、Ｂが２、Ｇが４、Ｒが２である。このように、各被写体面における画像に対する画素の総数は８画素であり、いずれも等しい。また、ＲＧＢの画素の比率も全て１：２：１であり、いずれも等しい。
【００３３】
また、繰り返し周期＋１画素である７画素×５画素の画素を考えると、全画素において、同一被写体位置で同一色の画素は隣接して存在していないことがわかる。このような繰り返し周期内の画素の構成が前述の好ましい条件を満足していることは、最終的な１２００万画素の撮像素子全体においても、同様の条件を満足していることを意味する。なお本実施例において、被写体面の相対的な遠近位置や撮像素子からの絶対距離は、特に限定されるものではない。
【００３４】
続いて、撮像装置１の補足的な構成について説明する。図３（ｂ）〜（ｄ）に示されるように、３つの被写体面２ａ、２ｂ、２ｃの画像を取得する画素配列を比較すると、繰り返し周期内での画素配列パターンは互いに等しい。このように複数の被写体面に対応する画素配列パターンを同一に設定すると、特定の被写体位置の画像を切り出す処理や切り出した画像から欠落画像を補間して生成する処理など出力信号に対して施す画像処理を共通化することができる。異なる被写体面の画像間で同じ画像処理を実行できるため、異なる被写体面の画像間で解像度などの画像の質を同等にすることが可能となる。この結果、前述した超深度の画像や任意の位置に焦点が合った画像を生成する際に、各種画像処理の精度を向上させて高精細な画像を実現することができる。
（比較例１）
次に、実施例１の有効性を示すため、実施例１に対する比較例１について説明する。図１１（ａ）〜（ｄ）は、本比較例における撮像素子の画素配列図である。本比較例における撮像素子は、実施例１と類似の画素配列を備えるが、この画素配列は実施例１で説明した条件を満足していない。すなわち、本比較例の撮像素子部は、実施例１と同様の構成を有し、３箇所の異なる被写体面に対する画像を取得する。また本比較例では、実施例１と同様に、撮像素子部６の受光面９（画素）の一つ一つに対応するように撮像レンズ１０ａ、１０ｂ、１０ｃが配置されている。ただし、周期的に繰り返す撮像レンズ１０ａ、１０ｂ、１０ｃの配列のみ（画素配列のみ）が実施例１と異なっている。
【００３５】
図１１（ａ）は、本比較例における画素配列を示し、図１１（ｂ）、（ｃ）、（ｄ）は、図１１（ａ）の画素配列により取得された被写体面２ａ、２ｂ、２ｃの画像（被写体像）をそれぞれ示している。画素配列の繰り返し周期は、実施例１と異なり６×６となっており、図１１（ｂ）〜（ｄ）に示されるようにＧ画素（「ａ２」、「ｂ２」、「ｃ２」）が隣接画素内に存在している。また、図１１（ｂ）、（ｃ）、（ｄ）のいずれの画素配列パターンも互いに異なっている。
（比較例２）
次に、実施例１の有効性を示すため、実施例１に対する比較例２について説明する。図１２（ａ）〜（ｄ）は、本比較例における撮像素子の画素配列図である。本比較例における撮像素子は、比較例１と同様に撮影レンズの配列のみが実施例１と異なっており、この画素配列は実施例１で説明した条件を満足していない。
【００３６】
図１２（ａ）は、本比較例における画素配列を示し、図１２（ｂ）、（ｃ）、（ｄ）は、図１２（ａ）の画素配列により取得された被写体面２ａ、２ｂ、２ｃの画像（被写体像）をそれぞれ示している。本比較例の構成では、比較例１と異なり、図１２（ｂ）〜（ｄ）の画素配列パターンは互いに等しい。しかし、いずれの被写体位置の画像においても、Ｇ画素（「ａ２」、「ｂ２」、「ｃ２」）が隣接画素内に存在している。Ｇ画素に着目すると、図１２（ｂ）中の矢印で示されているα方向には、Ｇ画素が密に配置されている一方、α方向に直交する方向にはデータが疎に配置されている。このことは、画像の解像度が画素の面内方向で異なることを意味し、最終的に均一な高精細画像を取得することができない。
【実施例２】
【００３７】
次に、本発明の実施例２における撮像素子について説明する。実施例１の撮像素子は、複数の異なる被写体位置の数を３、異なる波長域の色光の数を３とした場合の画素配列を有するが、本実施例は、それらの数を一般化した場合について説明する。すなわち本実施例の撮像素子は、複数の異なる被写体位置の数をｍ、異なる波長域の色光の数をｎに設定される。
【００３８】
本実施例の構成では、ｍ種類×ｎ種類の異なる条件の画素が存在している。ここで、ｍ×ｎ＝Ｌとすると、画素数がＬとなる画素の組（ブロック）では、互いに異なる条件の画素を配置することが可能である。ここで、大きさがＬとなる画素の組は複数存在する。そこで、本実施例における好ましい画素の組について説明する。前述したように、特定の被写体位置の画像データを生成する場合、元の画像から、できる限り均等にデータを取得できるように画素を配置させる必要がある。従って、画素数Ｌの独立した画素を有する本実施例の構成では、画素間の距離がＩｍａｘ以上離れて同一被写体位置の同一色の画素が配置されることが好ましい。
【００３９】
本実施例において、同一の波長域の色光に対応し、かつ、同一の位置における被写体像を取得する複数の画素は、以下の式（１）で表される整数Ｉｍａｘの間隔以上離れて配列されていることが好ましい。すなわち、同種の画素間の距離はＩｍａｘ以上離れていることが好ましい。
【００４０】
Ｉｍａｘ＝ｉｎｔ｛ＳＱＲＴ（ｍ×ｎ）｝  …  （１）
ただし、ｍは複数の異なる位置の数、ｎは異なる波長域の色光の数、ＳＱＲＴ（  ）は（  ）内の値の平方根を求める関数、ｉｎｔ｛  ｝は、｛  ｝内の値の整数部分を求める関数である。また本実施例において、ｍ×ｎはＬである。
【００４１】
また、画素間の距離は、図５に示される値として求められる。図５は、画素間の距離の説明図であり、図５中の各画素に表示される値が画素Ａからの距離である。すなわち、特定の画素に対してｘ方向にａ、ｙ方向にｂだけ離れた画素は、｜ａ｜＋｜ｂ｜だけ画素間の距離が離れていると定義する。ここで、｜｜は絶対値を意味する記号である。この条件を全画素に対して適用すれば、Ｌ種類の異なる条件の画素が存在することになり、好ましい画像を取得することができる。
【００４２】
続いて、具体的な数値例を用いて説明を補足する。被写体の異なる位置を５箇所とし、カラー画像を得るための４つの異なる波長選択手段が用いられる、すなわち４つの異なる波長域の色光に対応する撮像素子の構成について考える。この場合、独立した画素の種類Ｌは、Ｌ＝ｍ×ｎ＝５×４＝２０となる。式（１）は、Ｉｍａｘ＝ｉｎｔ｛ＳＱＲＴ（Ｌ）｝＝ｉｎｔ｛ＳＱＲＴ（２０）｝＝４となり、Ｉｍａｘは４となる。従って、画素間の距離が４以上離れて同一被写体位置の同一色の画素が配置されるように撮像素子を構成すれば、好ましい画像を取得することができる。
【００４３】
次に、実施例１のようなベイヤー配列のＲＧＢカラーフィルタ（波長選択手段）のように、Ｒ、Ｂに対して、Ｇの画素数が２倍存在している構成について補足する。この場合、Ｇを２つと数え、前述のｎは４とする。正確には、特定の波長選択手段に対応する画素の中で、最小の画素数を有する波長選択手段の画素数を１として、他の波長選択手段の画素数を規格化した場合、規格化された画素数の総和をｎと設定する。さらに、具体例を挙げて説明する。撮像素子部６がＲＧＢの３種類のカラーフィルタを有し、Ｂの画素を１００画素、Ｇの画素を２００画素、Ｒの画素を１５０画素とした場合を考える。この場合、最小の画素数はＢの１００画素である。そこで、Ｂの１００画素を１となるように、ＧＲの画素数を規格化すると、Ｇは２、Ｒは１．５となる。従って、異なる波長選択手段の種類ｎは、ｎ＝１＋２＋１．５＝４．５と設定される。
【実施例３】
【００４４】
次に、図６を参照して、本発明の実施例３における撮像素子および撮像装置について説明する。本実施例の撮像素子部６は、総画素数１２００万画素のＣＣＤである。複数の異なる被写体位置の数は３に設定されている。また波長選択手段８は、ＲＧＢの３色のカラーフィルタ（異なる波長域の色光の数は３）である。以上の構成は実施例１と同じであるが、本実施例では、ｘ方向に対して斜め４５度方向に各ＲＧＢのカラーフィルタが繰り返して配列されている。また、ＲＧＢの各色の総画素比は１：１：１である。本実施例では、実施例１と同様に、撮像素子部６の受光面９（画素）の一つ一つに対応するように光学系５の撮像レンズ１０ａ、１０ｂ、１０ｃが配置されているが、画素配列パターンは実施例１と異なる。
【００４５】
図６（ａ）は、本実施例における画素配列を示し、図６（ｂ）、（ｃ）、（ｄ）は、図６（ａ）の画素配列により取得された被写体面２ａ、２ｂ、２ｃの画像（被写体像）をそれぞれ示している。画素配列の繰り返し周期は、実施例１と異なり３×３である。そして、その繰り返し周期の中に、被写体の位置と波長選択手段で設定される独立した画素が１つずつ存在している。従って、同一被写体位置で同一色の画素は隣接して存在しない。このような繰り返し周期内の画素の構成が前述の好ましい条件を満足していることは、最終的な１２００万画素の撮像素子全体においても、同様の条件を満足していることを意味する。
【００４６】
また、図６（ｂ）〜（ｄ）の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。また、図６（ｂ）〜（ｄ）に示される画素は、いずれも、ｘｙ方向に同一周期、具体的にはｘｙ方向にそれぞれ３画素毎に配列されている。すなわち、同一の波長域の色光に対応した複数の画素は、所定の方向に周期性を有するように配置されている。
【００４７】
このような構成を採用すると、特定の被写体位置の画像を切り出す処理や切り出した画像から欠落画像を補間して生成する処理など出力信号に対して施す画像処理を共通化することができる。異なる被写体面の画像間および異なる色光間で同じ画像処理を実行できるため、異なる被写体面の画像間で解像度などの画像の質を同等にすることが可能となる。この結果、前述した超深度の画像や任意の位置に焦点が合った画像を生成する際に、各種画像処理の精度を向上させて高精細な画像を実現することができる。
【実施例４】
【００４８】
次に、図７乃至図９を参照して、本発明の実施例４における撮像素子および撮像装置について説明する。実施例１〜３では、撮像素子４を構成する光学系５の撮像レンズ１０ａ、１０ｂ、１０ｃが、１つの受光面９（画素）に１つずつ対応するように構成されていた。これに対し、本実施例では、図７および図８に示されるように、撮像レンズ２０ａ、２０ｂ、２０ｃのそれぞれが、複数の受光面９（複数の画素）に対応している。
【００４９】
図７は、本実施例における撮像装置１ａの概略構成図である。図８は、本実施例における撮像素子４ａの概略構成図である。撮像素子４ａ以外の基本的構成は、前述の各実施例と同一であるためその説明は省略する。図８に示されるように、光学系５ａにおいて、被写体面２ａの像を撮像素子部６の受光面９（画素）上に結像するための撮像レンズ２０ａは、被写体面２ａの像を取得する画素に対応してアレイ状に配置されている。図８に示されるように、被写体面２ａの像は、一つの撮像レンズ２０ａによって隣接する３つの受光面９に結像される。本実施例の構成では、単独の撮像レンズ２０ａの大きさが、前述の各実施例に比べて大きくなることから、撮像レンズの形状加工性は向上する。このため、結像性能の高い撮像レンズを提供することができ、最終的な画像の性能を向上させることが可能である。以上の点は、撮像レンズ２０ｂ、２０ｃについても同様である。このような構成においても、隣接画素に同一被写体位置の同一色の画素が配置されないことにより、高精細な画像を取得することができる。
【００５０】
図９（ａ）は、本実施例における画素配列を示し、図９（ｂ）、（ｃ）、（ｄ）は、図９（ａ）の画素配列により取得された被写体面２ａ、２ｂ、２ｃの画像（被写体像）をそれぞれ示している。本実施例の撮像素子４および波長選択手段８の配列は実施例３と同様である。また、異なる位置のける被写体面の数も、実施例３と同様に３箇所である。本実施例において、光学系５ａの撮像レンズ２０ａ、２０ｂ、２０ｃを構成する単独の撮像レンズは、それぞれＲＧＢの３つの受光面９（画素）に光を結像する。具体的には、図９（ａ）〜（ｄ）に示されるように、ｘ方向にＲＧＢの画素が並んだ構成を有する。繰り返し周期は９画素×３画素の２７画素であり、その２７画素の中に存在する画素について以下に説明する。
【００５１】
図９（ｂ）に示されるように、被写体面２ａの画像におけるＲＧＢの画素数は、Ｂが３、Ｇが３、Ｒが３である。同様に、図９（ｃ）の被写体面２ｂの画像におけるＲＧＢの画素数は、Ｂが３、Ｇが３、Ｒが３であり、図９（ｄ）の被写体面２ｃの画像におけるＲＧＢの画素数は、Ｂが３、Ｇが３、Ｒが３である。このように、いずれの被写体面に関しても画素数は９画素であり、互いに等しい。また、それぞれの被写体内に存在するＲＧＢの画素の比率も全て１：１：１であり互いに等しく、元の撮像素子のＲＧＢの画素比率にも等しい。また、繰り返し周期＋１画素である１０画素×４画素の画素を考えると、全画素において、同一被写体位置で同一色の画素は隣接して存在していないことがわかる。また、図９（ｂ）〜（ｄ）の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。
【実施例５】
【００５２】
次に、図１０を参照して、本発明の実施例５における撮像素子および撮像装置について説明する。本実施例の基本的構成は、実施例４と同じであり、周期的に繰り返す撮像レンズの配列のみが実施例４とは異なる。図１０（ａ）は、本実施例における画素配列を示し、図１０（ｂ）、（ｃ）、（ｄ）は、図１０（ａ）の画素配列により取得された被写体面２ａ、２ｂ、２ｃの画像（被写体像）をそれぞれ示している。図１０（ａ）〜（ｄ）に示されるように、画素配列の繰り返し周期は、実施例４と異なり３×３である。繰り返し周期＋１画素である４画素×４画素の画像信号では、全画素において同一被写体位置で同一色の画素は隣接して存在していない。
【００５３】
また、図１０（ｂ）〜（ｄ）の画素配列パターンは互いに等しい。すなわち、複数の異なる位置における被写体像を取得する複数の画素のそれぞれにおいて、同一の波長域の色光に対応した複数の画素は同一の配列パターンを有する。また、図６（ｂ）〜（ｄ）に示される画素は、いずれも、ｘｙ方向に同一周期、具体的にはｘｙ方向にそれぞれ３画素毎に配列されている。すなわち、同一の波長域の色光に対応した複数の画素は、所定の方向に周期性を有するように配置されている。
【００５４】
本実施例における単独の撮像レンズは、Ｌ字の開口を有するレンズである。このため、一般的な屈折型レンズに代えて、回折型バイナリーレンズのような微細周期構造からなるレンズを用いることが、製造の観点から好ましい。
【実施例６】
【００５５】
次に、本発明の実施例６における撮像装置について説明する。本実施例では、第１の撮像光学系（撮像光学系３）として、１眼レフカメラの交換レンズに用いられるような様々な焦点距離やズーム機能を有するレンズが用いられる。このような構成により、撮像光学系３および光学系５、５ａを合わせて構成された合成光学系の焦点距離は変更可能となる。この場合、第１の撮像光学系と第２の撮像光学系（光学系５、５ａ）の合成光学系での焦点距離情報を、予め第１の撮像光学系や撮像装置本体に保存し、その情報を利用して任意の焦点画像を取得することができる。
【実施例７】
【００５６】
次に、本発明の実施例７における撮像装置について説明する。本実施例の撮像装置には、複数の異なる位置における被写体像のうち特定の被写体像に対してオートフォーカスを行うオートフォーカス機構が設けられている。本実施例の撮像装置は、一つの撮像素子上に遠近の異なる複数の被写体位置を結像するように撮像光学系を配置して構成されている。そこで本実施例のオートフォーカス機構は、例えば、特定の位置にある被写体面２ｂに対応する画像に対して適用される。この場合、光学系５を固定した状態で撮像光学系３の一部を移動させ、オートフォーカスを行うことが好ましい。他の被写体面２ａ、２ｃは、光学系５を固定した状態で共通の撮像光学系３を駆動させるため、特定の被写体面２ｂに対する相対的な位置として算出可能である。被写体面２ａ、２ｃの位置の算出は、信号処理部７にテーブルを用意し、被写体面２ｂの撮影情報に基づいて対応させることができる。また、不図示の画像処理ソフトなどを用いて実行してもよい。
【００５７】
上記各実施例によれば、複数の異なる位置における被写体像のカラー画像を同時に取得可能な撮像素子および撮像装置を提供することができる。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００５９】
１  撮像装置
２ａ、２ｂ、２ｃ  被写体面
５  光学系
６  撮像素子部
８  波長選択手段
【図３】
2013038670.tif 000003
【図４】
2013038670.tif 000004
【図５】
2013038670.tif 000005
【図６】
2013038670.tif 000006
【図９】
2013038670.tif 000007
【図１０】
2013038670.tif 000008
【図１１】
2013038670.tif 000009
【図１２】
2013038670.tif 000010
【図１】
2013038670.tif 000011
【図２】
2013038670.tif 000012
【図７】
2013038670.tif 000013
【図８】
2013038670.tif 000014