(57)【要約】【課題】異感度取得画素内の異なる光電変換部間のクロストークの発生を抑えることができる撮像装置及びその制御方法、及びそれらの撮像システム、並びにプログラムを提供する。【解決手段】撮像装置１００は、撮像レンズユニット１０１、光学フィルタ１０５、及びマイクロレンズ１１３と出力信号レベルの異なる光電変換部１１１，１１２を有する複数の異感度取得画素１１０を備える固体撮像素子１０２を有する。マイクロレンズ１１３は、射出瞳領域１３０のうち、＋Ｘ方向に偏心した瞳領域１３４からの光束と−Ｘ方向に偏心し且つ瞳領域１３４と一部領域が重複する瞳領域１３５からの光束を、夫々光電変換部１１１，１１２に導く。光学フィルタ１０５は、第１の領域１０７とより透過率の低い第２の領域１０８を有し、第２の領域１０８を射出瞳領域１３０に射影した領域１４２が瞳領域１３５を覆う位置に配置される。【選択図】図３
2019220852.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズと、固体撮像素子と、光学フィルタを有する撮像装置において、
前記固体撮像素子は、入射角分離部と、光軸方向に対して垂直な第１の方向に並置され、同一の入射光量に対して、高感度信号を出力する第１の光電変換部及び低感度信号を出力する第２の光電変換部とを有する複数の異感度取得画素を有し、
前記入射角分離部は、前記撮像レンズの射出瞳領域のうち前記第１の方向に偏心した第１の瞳領域からの光束を、選択的に前記第１の光電変換部に導き、前記撮像レンズの射出瞳領域のうち前記第１の方向とは反対側に偏心し、且つ前記第１の瞳領域と重複する第３の瞳領域を有する第２の瞳領域からの光束を、選択的に前記第２の光電変換部に導き、
前記光学フィルタは、第１の領域と、第１の領域よりも透過率の低い第２の領域を有し、
前記第２の領域を前記射出瞳領域に射影した領域が、前記第２の瞳領域のうち前記第３の瞳領域に含まれない低感度瞳領域の全て、および前記第３の瞳領域のうち前記低感度瞳領域に接する側の前記第３の瞳領域のうちの半分よりも大きい領域を覆うように前記光学フィルタの位置を配置する配置手段を備えることを特徴とする撮像装置。
【請求項２】
前記配置手段は、前記第２の領域を前記射出瞳領域に射影した領域が、前記第２の瞳領域の全てを覆うように前記光学フィルタの位置を配置することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記配置手段は、前記光学フィルタの位置を、前記撮像レンズの絞りの近傍に配置することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記第１の領域の透過率の、前記第２の領域の透過率に対する比が、３倍以上、１０００倍以下であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記入射角分離部は、前記第１の光電変換部と前記第２の光電変換部に跨って配置された、マイクロレンズであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の領域と前記第２の領域を分割する方向が、前記第１の方向と一致することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１の光電変換部の開口率が、前記第２の光電変換部の開口率よりも大きいことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記固体撮像素子の有効画素が、全て前記複数の異感度取得画素であることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像レンズの画角制御を行う画角制御手段を更に備え、
前記配置手段は、前記撮像レンズの画角に応じて、前記光学フィルタの挿抜を行うことを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記撮像レンズの焦点距離の制御を行う焦点距離制御手段を更に備え、
前記配置手段は、前記撮像レンズの焦点距離に応じて、前記光学フィルタの挿抜を行うことを特徴とする請求項８記載の撮像装置。
【請求項１１】
前記撮像レンズの射出瞳距離が、前記固体撮像素子の瞳距離からずれているほど、前記射出瞳領域のうち、前記第２の領域を前記射出瞳領域に射影した領域で覆われる割合が多くなるように、前記配置手段は、前記光学フィルタの挿抜を行うことを特徴とする請求項９又は１０記載の撮像装置。
【請求項１２】
前記撮像レンズの絞り、及びその開口を制御する絞り制御手段を更に備え、
前記配置手段は、前記絞り制御手段により制御される前記絞りの開口に応じて、前記光学フィルタの挿抜を行うことを特徴とする請求項９乃至１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記配置手段は、前記光学フィルタの挿抜を、前記第１の方向と一致する挿抜方向で挿抜することを特徴とする請求項９乃至１２のいずれか１項に記載の撮像装置。
【請求項１４】
注目する被写体を抽出する注目被写体抽出手段を更に備え、
前記配置手段は、前記第２の瞳領域のうち、前記注目する被写体が存在する領域と重複する重複領域のみを、前記第２の領域を前記射出瞳領域に射影した領域が覆うように、前記光学フィルタの挿抜を行うことを特徴とする請求項１乃至１３のいずれか１項に記載の撮像装置。
【請求項１５】
前記第１の光電変換部から出力された前記高感度信号から生成した画像及び前記第２の光電変換部から出力された前記低感度信号から生成した画像により求めた像ズレ量に応じて被写体の距離情報を取得する測距手段を更に備えることを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記測距手段による前記被写体の距離情報の取得は、前記配置手段により前記光学フィルタを前記撮像レンズの光路から完全に抜去した状態で行われることを特徴とする請求項１５記載の撮像装置。
【請求項１７】
前記測距手段による前記被写体の距離情報の取得は、前記配置手段により、前記撮像レンズの射出瞳領域の全体が前記第１の領域及び前記第２の領域の一方を射出瞳領域に射影した領域で覆われた状態で行われることを特徴とする請求項１５項記載の撮像装置。
【請求項１８】
前記複数の異感度取得画素のうち、入射する光量が閾値未満の画素については、前記第１の光電変換部から出力された前記高感度信号を使用し、入射する光量が閾値以上の画素については、前記第２の光電変換部から出力された前記低感度信号を使用して画像を生成する画像生成手段を更に備えることを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
【請求項１９】
前記第１の光電変換部を、その露光時間が前記第２の光電変換部の露光時間よりも短くするよう制御する制御手段と、
前記制御手段により前記第１の光電変換部が制御されている場合に、前記第１の光電変換部から出力された前記高感度信号から静止画像を生成し、前記第２の光電変換部から出力された前記低感度信号から、動画像を生成する生成手段とを更に備えることを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
【請求項２０】
前記配置手段は、前記第１の光電変換部の露光時間の、前記第２の光電変換部の露光時間に対する比が小さいほど、前記第３の瞳領域のうち、前記第２の領域を前記射出瞳領域に射影した領域で覆われる割合が大きくなるように、前記光学フィルタの挿抜を行うことを特徴とする請求項１９記載の撮像装置。
【請求項２１】
前記第１の領域は全ての偏光成分を透過し、前記第２の領域は一部の偏光成分のみを透過させることを特徴とする請求項１乃至２０のいずれか１項に記載の撮像装置。
【請求項２２】
前記第１の領域は全ての波長を透過させ、前記第２の領域は特定の波長のみを透過させることを特徴とする請求項１乃至２０のいずれか１項に記載の撮像装置。
【請求項２３】
前記特定の波長は可視光であることを特徴とする請求項２２記載の撮像装置。
【請求項２４】
被写体の照度を測定する照度測定手段と、
前記測定された被写体の照度が第１の閾値以上の場合、前記射出瞳領域の全体が前記第２の領域を前記射出瞳領域に射影した領域で覆われるように前記配置手段で前記光学フィルタの挿抜が行われた後、前記第１の光電変換部から出力された前記高感度信号と前記第２の光電変換部から出力された前記低感度信号の和からカラー画像を生成する生成手段を更に備えることを特徴とする請求項２３記載の撮像装置。
【請求項２５】
前記測定された被写体の照度が前記第１の閾値よりも小さい第２の閾値以下の場合、前記撮像レンズの射出瞳領域の全体が前記第１の領域を前記射出瞳領域に射影した領域で覆われるように前記配置手段で前記光学フィルタの挿抜が行われた後、前記生成手段は、前記第１の光電変換部から出力された前記高感度信号と前記第２の光電変換部から出力された前記低感度信号の和から輝度画像を生成することを特徴とする請求項２４記載の撮像装置。
【請求項２６】
前記測定された被写体の照度が第１の閾値よりも小さい第２の閾値以下の場合、前記配置手段により前記光学フィルタが前記撮像レンズの光路から完全に抜去された後、前記生成手段は、前記第１の光電変換部から出力された前記高感度信号と前記第２の光電変換部から出力された前記低感度信号の和から輝度画像を生成することを特徴とする請求項２４記載の撮像装置。
【請求項２７】
前記測定された被写体の照度が第１の閾値よりも小さい第２の閾値以下の場合、前記撮像レンズのズーム状態に応じて前記配置手段により前記光学フィルタの挿抜が行われた後、前記生成手段は、前記第１の光電変換部から出力された前記高感度信号と前記第２の光電変換部から出力された前記低感度信号の和から輝度画像を生成することを特徴とする請求項２４記載の撮像装置。
【請求項２８】
前記撮像レンズのズーム状態がテレ側にあるほど、前記第３の瞳領域のうち、前記第２の領域を前記射出瞳領域に射影した領域で覆われる割合が大きくなるように、且つ、前記第２の光電変換部に入射する光の可視光成分に対する赤外光成分の前記テレ側における割合と前記ズーム状態がワイド側にある場合の割合が一定となるように、前記配置手段により前記光学フィルタの挿抜が行われることを特徴する請求項２７記載の撮像装置。
【請求項２９】
前記測定された被写体の照度が第１の閾値よりも小さい第２の閾値以下の場合、前記撮像レンズの絞りの状態に応じて前記配置手段により前記光学フィルタの挿抜が行われた後、前記生成手段は、前記第１の光電変換部から出力された前記高感度信号と前記第２の光電変換部から出力された前記低感度信号の和から輝度画像を生成することを特徴とする請求項２４記載の撮像装置。
【請求項３０】
赤外光を撮像対象となる領域に照射する照射手段を更に備え、
前記照射手段により前記赤外光を撮像対象となる領域に照射する場合、前記撮像レンズの射出瞳領域の全体が前記第１の領域を前記射出瞳領域に射影した領域で覆われるように前記配置手段で前記光学フィルタの挿抜が行われた後、前記生成手段は、前記第１の光電変換部から出力された前記高感度信号と前記第２の光電変換部から出力された前記低感度信号の和から輝度画像を生成することを特徴とする請求項２４記載の撮像装置。
【請求項３１】
前記光学フィルタは、前記撮像レンズの射出瞳の近傍、もしくは、前記撮像装置の絞り位置近傍に前記第２の領域としての少なくとも１つの領域を有し、
前記配置手段は、前記少なくとも１つの領域の重心を前記光学フィルタの挿抜により制御することを特徴とする請求項２２乃至３０のいずれか１項に記載の撮像装置。
【請求項３２】
前記測定された被写体の照度が前記第２の閾値以下の場合にコントラストＡＦを行い、前記測定された被写体の照度が前記第１の閾値以上の場合に位相差ＡＦを行うことを特徴とする請求項２５記載の撮像装置。
【請求項３３】
請求項１乃至３２のいずれか１項に記載の撮像装置と、ネットワークを介して接続されたクライアント装置とを備えることを特徴とする撮像システム。
【請求項３４】
撮像レンズと、固体撮像素子と、光学フィルタを有する撮像装置の制御方法において、
前記固体撮像素子は、入射角分離部と、光軸方向に対して垂直な第１の方向に並置され、同一の入射光量に対して、高感度信号を出力する第１の光電変換部及び低感度信号を出力する第２の光電変換部とを有する複数の異感度取得画素を有し、
前記入射角分離部は、前記撮像レンズの射出瞳領域のうち前記第１の方向に偏心した第１の瞳領域からの光束を、選択的に前記第１の光電変換部に導き、前記撮像レンズの射出瞳領域のうち前記第１の方向とは反対側に偏心し、且つ前記第１の瞳領域と重複する第３の瞳領域を有する第２の瞳領域からの光束を、選択的に前記第２の光電変換部に導き、
前記光学フィルタは、第１の領域と、第１の領域よりも透過率の低い第２の領域を有し、
前記第２の領域を前記射出瞳領域に射影した領域が、前記第２の瞳領域のうち前記第３の瞳領域に含まれない低感度瞳領域の全て、および前記第３の瞳領域のうち前記低感度瞳領域に接する側の前記第３の瞳領域のうちの半分よりも大きい領域を覆うように前記光学フィルタの位置を配置する配置ステップを有することを特徴とする制御方法。
【請求項３５】
請求項３４に係る制御方法を実行することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法、及びそれらの撮像システム、並びにプログラムに関し、特に固体撮像素子の１つの画素内に複数の光電変換部を有する撮像装置及びその制御方法、及びそれらの撮像システム、並びにプログラムに関する。
【背景技術】
【０００２】
近年、特に監視や車載などの認識用画像を取得するためのカメラにおいて、画像に対するダイナミックレンジ拡大の要請が高まっている。
【０００３】
また、特に観賞用画像を取得するためのカメラにおいて、動画像と静止画像を同時に取得できるカメラの実現に対する要請も高まっている。一般に、滑らかな動画像を得るためには、固体撮像素子の読み出しフレームレートと同程度の露光時間で撮影を行うことが好ましい。一方で、静止画像の場合は被写体の動きの速さに応じた露光時間を設定することが好ましい。従って、静止画像と動画像を同時に取得するためには、露光時間の異なる２種類の画素信号を取得する必要がある。また、画素に入射する光量は露光時間に比例するため、明るさが同じ動画像と静止画像を同時に取得するためには、露光時間の長さに応じて異なる感度の画素を設ける必要がある。
【０００４】
更に、監視や車載用などの認識用画像を取得するためのカメラでは、夜間でも視認性の良い画像を撮影することも求められている。一般に、夜間でも視認性の良い画像を撮影するために、可視光だけではなく、赤外光にも感度を有する固体撮像素子を使用し、可視光および赤外光による撮影画像を取得可能な撮像装置が用いられている。
【０００５】
また、水面やガラス面など、反射面の内部の被写体を撮影した場合の映り込みを抑制するために、特定の偏光の光のみを受光する撮像装置が提案されている。
【０００６】
特許文献１には、撮像装置の射出瞳領域近傍に透過率の異なる領域を設け、各々の射出瞳領域を透過した光を、マイクロレンズアレイを用いて、固体撮像素子中の別々の画素に導く構成が開示されている。
【０００７】
特許文献１の手法を用いて、実効的に複数種類の感度の画素を有する撮像装置が実現できる。そして、これらの画素から出力された高感度信号と低感度信号を合成することで、ダイナミックレンジを拡大した画像を取得することができる。また、感度の高い画素の露光時間を短く、感度の低い画素の露光時間を長く設定することで、動画像と静止画像を同時に取得することもできる。
【０００８】
また、撮像装置の射出瞳領域近傍に透過率ではなく、分光感度の異なる領域を設けることにより、輝度画像とカラー画像を同時に取得する撮像装置も実現できる。ここで、分光感度の異なる領域とは、具体的には、一方の領域で赤外光を吸収し、他方の領域で全波長の光を透過するような領域を指す。
【０００９】
更に、撮像装置の射出瞳領域近傍に透過率ではなく、透過する偏光成分の異なる領域を設けることにより、映り込みを抑制した画像と、ＳＮ比の高い画像を取得する撮像装置も実現できる。ここで、透過する偏光成分の異なる領域とは、具体的には、一方を特定の偏光成分のみを透過する領域とし、他方を全偏光を透過する領域とする領域を指す。これにより、特定の偏光成分のみからなる光を受光した画素からの信号で映り込みを抑制した画像を得ることができる。その一方、全偏光を透過する領域は、特定の偏光成分のみを透過する領域に対して、倍の明るさの光が透過するため、ＳＮ比の高い画像を取得することができる。
【００１０】
また、特許文献２に開示されているように、固体撮像素子中の複数の画素が、１画素中に複数の光電変換部を有しており、射出瞳領域上の異なる領域を透過した光を、各々の光電変換部に導く撮像装置も提案されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特許第５６２８９１４号公報
【特許文献２】特開２００９−１５８８００号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ここで、特許文献２に開示されているような、１画素が複数の光電変換部を有している固体撮像素子を使用し、特許文献１に開示されているように、撮像装置の射出瞳領域近傍に透過率の異なる領域を設けた場合を考える。このような構成を用いて、１画素中の各々の光電変換部に、異なる透過率の光を受光させたり、異なる波長領域の光を受光させたり、異なる偏光成分の光を受光させると、その光電変換部間でクロストークが生じることがある。ここでクロストークとは、１画素中の異なる光電変換部の一方の光電変換部に入射させた光が他方の光電変換部に混入することをいう。
【００１３】
例えば、ダイナミックレンジの拡大や動画と静止画の同時取得の際、感度が低い方の光電変換部、すなわち、透過率の低い領域からの光を受光する画素に対して、透過率の高い領域からの光がクロストークにより混入する場合がある。この場合、かかる光電変換部から出力される信号レベルが大きく変動してしまい、ダイナミックレンジが低下したり、動画像と静止画像の明るさが異なったりしてしまう、という課題が発生する。
【００１４】
同様に、輝度画像とカラー画像の同時取得の際、１つの画素のうち、可視光のみを受光する方の光電変換部、すなわち、赤外光を吸収する領域からの光を受光する光電変換部に対して、全波長を透過する領域からの光がクロストークにより混入する場合がある。この場合、かかる光電変換部に赤外光が混入するため、カラー画像の色再現性が低下する。また、映り込みを抑制した画像とＳＮ比の高い画像の同時取得の際、１つの画素のうち、特定の偏光成分のみを受光する方の光電変換部に対して、全偏光成分を透過する領域からの光がクロストークにより混入する場合がある。この場合、かかる光電変換部に特定の偏光成分以外の偏光成分が混入するため、映り込みが十分に抑制できない。
【００１５】
本発明は、固体撮像素子の１つの画素内の異なる光電変換部間のクロストークの発生を抑えることができる撮像装置及びその制御方法、及びそれらの撮像システム、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の請求項１に係る撮像装置は、撮像レンズと、固体撮像素子と、光学フィルタを有する撮像装置において、前記固体撮像素子は、入射角分離部と、光軸方向に対して垂直な第１の方向に並置され、同一の入射光量に対して、高感度信号を出力する第１の光電変換部及び低感度信号を出力する第２の光電変換部とを有する複数の異感度取得画素を有し、前記入射角分離部は、前記撮像レンズの射出瞳領域のうち前記第１の方向に偏心した第１の瞳領域からの光束を、選択的に前記第１の光電変換部に導き、前記撮像レンズの射出瞳領域のうち前記第１の方向とは反対側に偏心し、且つ前記第１の瞳領域と重複する第３の瞳領域を有する第２の瞳領域からの光束を、選択的に前記第２の光電変換部に導き、前記光学フィルタは、第１の領域と、第１の領域よりも透過率の低い第２の領域を有し、前記第２の領域を前記射出瞳領域に射影した領域が、前記第２の瞳領域のうち前記第３の瞳領域に含まれない低感度瞳領域の全て、および前記第３の瞳領域のうち前記低感度瞳領域に接する側の前記第３の瞳領域のうちの半分よりも大きい領域を覆うように前記光学フィルタの位置を配置する配置手段を備えることを特徴とする。
【００１７】
本発明の請求項３３に係る撮像システムは、前記撮像装置と、ネットワークを介して接続されたクライアント装置とを備えることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、１つの画素内の異なる光電変換部間のクロストークの発生を抑えることができる。
【図面の簡単な説明】
【００１９】
【図１】実施形態１に係る撮像装置のハードウェア構成を示す図である。
【図２】図１における固体撮像素子が有する異感度取得画素の構成を説明するための図である。
【図３】図１における光学フィルタの構成を説明する図である。
【図４】図２の異感度取得画素に含まれる光電変換部の夫々の受光特性を説明する図である。
【図５】図２の異感度取得画素に含まれる光電変換部の夫々の入出力特性を説明する図である。
【図６】図２の異感度取得画素に含まれる光電変換部の構成の変形例を示す図である。
【図７】図２の異感度取得画素に含まれる光電変換部の構成の他の変形例を示す図である。
【図８】実施形態２に係る撮像装置のハードウェア構成を示す図である。
【図９】実施形態３に係る撮像装置のハードウェア構成を示す図である。
【図１０】図９の撮像装置における、撮像レンズユニットの射出瞳距離に応じた光学フィルタの挿抜方法を説明する図である。
【図１１】実施形態４に係る撮像装置における固体撮像素子の異感度取得画素の回路図である。
【図１２】図１１の異感度取得画素に電荷を蓄積し、電荷を読み出すためのタイミングチャートである。
【図１３】実施形態６に係る撮像システムを示す図である。
【図１４】図１３における撮像装置のハードウェア構成を示す図である。
【図１５】実施形態６に係る、異感度取得画素が備えるカラーフィルタ、及び光学フィルタの一部の領域を構成する赤外光遮断フィルタの分光特性を説明する模式図である。
【図１６】実施形態６に係る異感度取得画素の構成を説明する図である。
【図１７】実施形態６に係る、光学フィルタを通過する光束と異感度取得画素の関係を説明する図である。
【図１８】実施形態６に係るオートデイナイト処理の手順を示すフローチャートである。
【図１９】図１８のステップＳ１８０５のフィルタ制御処理の手順を示すフローチャートである。
【図２０】実施形態６に係る、瞳分割フィルタ状態及びＩＲＣＦ状態での光学フィルタの分割位置を説明する図である。
【図２１】実施形態６に係る、光学フィルタの分割位置の制御によるクロストーク低減方法を説明する図である。
【図２２】図１８のステップＳ１８０５の第１の変形例である、ズーム状態に応じたフィルタ制御処理の手順を示すフローチャートである。
【図２３】図２２のステップＳ２２０３における、光学フィルタの分割位置の制御方法を説明する図である。
【図２４】図１８のステップＳ１８０５の第２の変形例である、色情報取得判定を行う場合のフィルタ制御処理の手順を示すフローチャートである。
【図２５】図１８のステップＳ１８０５の第３の変形例である、赤外光照射を行う場合のフィルタ制御処理の手順を示すフローチャートである。
【図２６】実施形態７に係る撮像システムを示す図である。
【図２７】従来の撮像装置における固体撮像素子が有する画素の構成を説明する図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照しながら本発明の実施の形態を説明する。
【実施形態１】
【００２１】
図１は、実施形態１に係る撮像装置１００のハードウェア構成を示す図である。
【００２２】
図１において、撮像装置１００は、複数のレンズ群からなる撮像レンズユニット１０１（撮像レンズ）、固体撮像素子１０２、画像処理部１０３、制御部１０４、光学フィルタ１０５、絞り１０６から構成される。尚、本実施形態においては撮像レンズユニット１０１は２つのレンズにより構成されるが、２以上のレンズ群からなるものであればよく、かかる構成に限定されない。
【００２３】
＜固体撮像素子＞
固体撮像素子１０２は、撮像レンズユニット１０１の光軸上に配置され、撮像レンズユニット１０１は固体撮像素子１０２上に被写体像を結像する。固体撮像素子１０２は異感度取得画素１１０を複数有している。ここで異感度取得画素１１０は各々、同一の入射光量に対する出力信号のレベルが異なる光電変換部１１１，１１２（第１及び第２の光電変換部）とを有する。具体的には、図５に示すように、光電変換部１１１は光電変換部１１２より感度が高く且つより少ない入射光量でその出力信号の出力値が飽和する。以下、光電変換部１１１からの出力信号を高感度信号１２１と称し、光電変換部１１２からの出力信号を低感度信号１２２と称する。
【００２４】
そして、異感度取得画素１１０で取得した高感度信号１２１と低感度信号１２２は、画像処理部１０３（画像生成手段）で合成され、ダイナミックレンジの拡大された画像が生成される。具体的には、画像処理部１０３は、固体撮像素子１０２上の複数の異感度取得画素１１０のうち、入射する光量が閾値未満の画素については高感度信号１２１を使用し、閾値以上の画素については低感度信号１２２を使用する。これにより、ダイナミックレンジの広い画像が生成できる。閾値は、図５に示すように、高感度信号１２１が飽和した際の出力値よりも小さく、低感度信号１２２が所望のＳＮ比となった際の出力値（最低ＳＮＲ）よりも大きい値となるように設定する。固体撮像素子１０２の駆動および信号読み出し、画像処理部１０３における合成処理は、制御部１０４によって制御されている。
【００２５】
＜異感度取得画素＞
図２は、図１における固体撮像素子１０２が有する異感度取得画素１１０の構成を説明するための図である。
【００２６】
図２（ａ）は異感度取得画素１１０を＋Ｚ方向から見た平面図、図２（ｂ）は、図２（ａ）のＡ−Ａ´で切った断面図である。
【００２７】
異感度取得画素１１０は、第１の方向（Ｘ方向）に並置された光電変換部１１１，１１２、およびこれらに跨って配置されたマイクロレンズ１１３（入射角分離部）から構成される。光電変換部１１１，１１２の各々は、ＳｉやＩｎＧａＡｓ、結晶セレンやＰｂＳ量子ドットなどの光電変換膜、又は有機半導体などの半導体により形成される。
【００２８】
図２（ｃ）は、光電変換部１１１，１１２に入射する光と、撮像レンズユニット１０１の射出瞳領域１３０の関係を説明する図である。
【００２９】
マイクロレンズ１１３は、撮像レンズユニット１０１の射出瞳領域１３０のうち、第１の方向（＋Ｘ方向）に偏心した瞳領域１３４（第１の瞳領域）からの光束を光電変換部１１１に選択的に導くように形成される。そして、撮像レンズユニット１０１の射出瞳領域１３０のうち、瞳領域１３４とは反対側（−Ｘ方向）に偏心し、かつ瞳領域１３４と一部が重複している、瞳領域１３５（第２の瞳領域）からの光束を、光電変換部１１２に選択的に導くように形成される。光電変換部１１１，１１２の各々は入射された光を電気信号に変換し、高感度信号１２１と低感度信号１２２として画像処理部１０３に転送する。
【００３０】
具体的には、瞳領域１３４と光電変換部１１１、瞳領域１３５と光電変換部１１２が共役の位置関係になるように形成すればよい。なお、以下では瞳領域１３４と瞳領域１３５が重複する領域を瞳領域１３３と呼ぶ。この瞳領域１３３からの光束は、光電変換部１１１，１１２の双方に導かれる。また、瞳領域１３４に含まれ、瞳領域１３３に含まれない領域を瞳領域１３１（高感度瞳領域）と呼び、瞳領域１３５に含まれ、瞳領域１３３に含まれない領域を瞳領域１３２（低感度瞳領域）と呼ぶ。
【００３１】
＜光学フィルタ＞
図３は、図１における光学フィルタ１０５の構成を説明する図である。光学フィルタ１０５は、撮像レンズユニット１０１の光軸上であって絞り１０６の近傍に配置され、相対的に透過率の高い第１の領域１０７と、第１の領域１０７よりも、透過率の低い第２の領域１０８から構成される。尚、本実施形態では、光学フィルタ１０５の位置はネジ等の配置手段により固定位置に配置される。
【００３２】
また、瞳領域１３２，１３３（すなわち、瞳領域１３５の全て）を第２の領域１０８を射出瞳領域１３０に射影した領域１４２が覆い、瞳領域１３１を第１の領域１０７を射出瞳領域１３０に射影した領域１４１が覆うように、光学フィルタ１０５が配置される。
【００３３】
図３（ａ）は、第１の領域１０７を射出瞳領域１３０に射影した領域１４１、および、第２の領域１０８を射出瞳領域１３０に射影した領域１４２を、＋Ｚ方向から見た平面図を示している。また、図３（ｂ）は、実空間での光学フィルタ１０５内の第１の領域１０７、第２の領域１０８と、射出瞳領域１３０上での各々の瞳領域の位置関係を示している。
【００３４】
なお、絞り１０６の位置とは、撮像レンズユニット１０１が光量を調整するために、絞り１０６の開口を制御する絞り制御手段を有している場合には絞り制御手段の位置を、絞り制御手段を有していない場合には、光束の幅が最も狭くなっている位置を意味する。
【００３５】
このような構成とすることで、クロストークによるダイナミックレンジの低下を抑制することができる。以下で、従来の撮像装置と比較して、説明を行う。
【００３６】
図４は、図２の異感度取得画素１１０に含まれる光電変換部１１１，１１２の夫々の受光特性を説明する図である。
【００３７】
図４（ａ）は、図３に示す光学フィルタ１０５の第１の領域１０７と第２の領域１０８の各々を透過した光が、異感度取得画素１１０中の光電変換部１１１，１１２に導かれる割合を示す。すなわち、図４（ａ）は、図１の撮像装置１００の光電変換部１１１，１１２の各々の受光特性を示し、図４（ｂ）は、比較のために示す従来の撮像装置の光電変換部１０１１，１０１２の各々の受光特性を示す。
【００３８】
図５は、図２の異感度取得画素１１０に含まれる光電変換部１１１，１１２の夫々の入出力特性を説明する図である。
【００３９】
図５（ａ）は、図１の撮像装置１００の光電変換部１１１，１１２の各々の入出力特性を示し、図５（ｂ）は、比較のために示す従来の撮像装置の光電変換部の各々の入出力特性を示す。
【００４０】
図５（ｂ）に示す従来の撮像装置は、撮像装置１００に対して、光学フィルタ１００５の構成のみが異なっている。よって、以下従来の撮像装置についても光学フィルタ１００５以外の構成については同一の符号を付し、説明を省略する。
【００４１】
光学フィルタ１００５は、撮像装置１００の光学フィルタ１０５と同様、従来の撮像装置における撮像レンズユニット１０１の絞り１０６の近傍に配置される。また、光学フィルタ１００５は、相対的に透過率の高い第１の領域１００７と、第１の領域１００７よりも、透過率の低い第２の領域１００８から構成される。但し、従来の撮像装置においては、瞳領域１３１の全ておよび、瞳領域１３１と接する側の瞳領域１３３のうちの半分を、第１の領域１００７を射出瞳領域１３０に射影した領域１０４１が覆っている。そして、瞳領域１３２の全ておよび、瞳領域１３２と接する側の瞳領域１３３のうちの半分を、第２の領域１００８を射出瞳領域１３０に射影した領域１０４２が覆っている。
【００４２】
図４（ａ）、（ｂ）に示すように、瞳領域１３３を透過した光は、本実施例の撮像装置１００及び従来の撮像装置のいずれにおいても、光電変換部１１１，１１２の双方に入射する。よって従来の撮像装置の光学フィルタ１００５では、高感度信号１０２１を出力する光電変換部１１１と、低感度信号１０２２を出力する光電変換部１０１２の間でクロストークが発生してしまう。
【００４３】
即ち、従来の撮像装置においては、領域１０４１を透過した光のうち、瞳領域１３３と重なる部分領域１０３６を透過した光は、光電変換部１１１だけではなく光電変換部１１２にも入射してしまう。同様に、領域１０４２を透過した光のうち、瞳領域１３３と重なる部分領域１０３７を透過した光は、光電変換部１１２だけではなく光電変換部１１１にも入射してしまう。
【００４４】
特に、光電変換部１１２へ相対的に透過率の高い領域１０４１の一部である部分領域１０３６を透過した光が入射した場合、図５（ｂ）の低感度信号１０２２の信号レベルは本実施形態に係る図５（ａ）の低感度信号１２２と比べて大きく増大してしまう。その結果、高感度信号１０２１と高感度信号１０２２を合成して生成する画像のダイナミックレンジが低下してしまう。
【００４５】
これに対して、本実施形態の撮像装置１００の場合、瞳領域１３３が、相対的に透過率の低い領域１４２に全て覆われている。そのため、相対的に透過率の高い領域１４１を透過した光は、光電変換部１１２にはほとんど入射せず、光電変換部１１１にそのほとんどが入射する。その結果、クロストークによる低感度信号１２２の信号レベルの増大が抑制され、高感度信号１２１と低感度信号１２２を合成して生成する画像のダイナミックレンジの低下を抑制することができる。
【００４６】
なお、本実施形態の撮像装置１００では、領域１４２を透過した光は、低感度信号１２２を出力する光電変換部１１２だけではなく、高感度信号１２１を出力する光電変換部１１１にもクロストーク成分として入射してしまう。しかしながら、領域１４１は領域１４２より相対的に透過率が高い、すなわち、領域１４１から光電変換部１１１に入射する光の光量は、領域１４２からのクロストーク成分として光電変換部１１１に入射する光の光量に対して圧倒的に多い。よって、領域１４２からのクロストーク成分は高感度信号１２１の信号レベルにほとんど影響を与えない。
【００４７】
即ち、従来の撮像装置では、光学フィルタ１００５の第１の領域１００７と第２の領域１００８の分割位置は、射出瞳領域１３０に射影した際に、その位置が射出瞳面上のＸ方向における中心となる位置とする。これに対し、本実施形態に係る撮像装置１００は、光学フィルタ１０５の第１の領域１０７と第２の領域１０８の分割位置は、射出瞳領域１３０に射影した際に、その位置が射出瞳面上のＸ方向における中心から＋Ｘ方向にずれた位置とする。すなわち、画質への影響が無視できる領域１４２からのクロストークは許容する代わりに、画質への影響が大きい領域１４１からのクロストークを選択的に抑制する。これにより、従来の撮像装置で発生していた、クロストークによるダイナミックレンジの低下を抑制することができる。
【００４８】
なお、図３では、瞳領域１３２および、瞳領域１３３を領域１４２が覆い、瞳領域１３１を領域１４１が覆うように、光学フィルタ１０５の第１の領域１０７と第２の領域１０８の分割位置を配置したが、分割位置はこれに限定されない。具体的には、瞳領域１３２の全ておよび、瞳領域１３２側に接する側の瞳領域１３３のうちの半分よりも大きい領域を領域１４２が覆うように、光学フィルタ１０５の分割位置を配置すればよい。
【００４９】
このような構成とすれば、図４（ｂ）に示す従来の撮像装置に比べて、本実施形態の撮像装置１００では、光学フィルタ１０５の第１の領域１０７を透過した光のうち、光電変換部１１２に入射する割合を低減することができる。その結果、図５に示すように、高感度信号１２１と低感度信号１２２の信号レベル差を拡大することができ、高感度信号１２１と低感度信号１２２を合成した後の画像のダイナミックレンジを広げることができる。即ち、クロストークに起因して、異感度取得画素１１０から出力される信号を合成した画像のダイナミックレンジが低下することを抑制することができる。
【００５０】
但し、瞳領域１３３のうち、領域１４２で覆われる割合が多いほど、高感度信号１２１と低感度信号１２２を合成した後の画像のダイナミックレンジを広げることができるため、好ましい。なぜなら、この割合が多いほど、相対的に透過率の高い第１の領域１４１を透過した光のうち、低感度信号１２２を出力する光電変換部１１２に入射する光の割合が減少するためである。よって、図３のように、瞳領域１３２，１３３の全てが領域１４２で覆われている場合が最も好ましい。
【００５１】
以上では、光学フィルタ１０５の透過率の異なる第１の領域１０７を透過した光と第２の領域１０８を透過した光のいずれもが光電変換部１１１，１１２の各々に入射する現象、すなわち光のクロストークについて説明した。但し、図４に示す様に、光のクロストークよりは小さいものの、厳密には光電変換部１１１，１１２の各々を形成する光電変換膜又は半導体の間には電荷クロストークが生じる。このため、光電変換部１１１は、瞳領域１３２を透過した光に対しても感度を有する。同様に、光電変換部１１２は、瞳領域１３１を透過した光に対しても感度を有する。従って、本実施形態においては、瞳領域１３１を、光電変換部１１１に入射する光の、光電変換部１１２に入射する光に対する比が２倍以上である領域と定義する。一方、瞳領域１３２を、光電変換部１１２に入射する光の、光電変換部１１１に入射する光に対する比が２倍以下である領域と定義する。そして、射出瞳領域１３０における瞳領域１３１，１３２以外の領域を瞳領域１３３と定義する。
【００５２】
また、光学フィルタ１０５は必ずしも絞り１０６の近傍に配置されていなくても良い。すなわち、瞳領域１３２および、瞳領域１３２に接する側の瞳領域１３３のうちの半分よりも大きい領域を領域１４２が覆うのであれば、光学フィルタ１０５の配置位置は限定されない。但し、光学フィルタ１０５を絞り１０６の近傍に配置した方が、光学フィルタ１０５の大きさを小さくすることができるため、撮像装置１００全体が小型化、低コスト化できるため、好ましい。なお、絞り１０６の近傍、とは絞り１０６と光学フィルタ１０５の間の距離が、撮像レンズユニット１０１の光軸方向における全長の１割以下であることを意味する。
【００５３】
光学フィルタ１０５の第１の領域１０７と第２の領域１０８の透過率は、高感度信号１２１と低感度信号１２２を合成して生成する画像に求めるダイナミックレンジから決定すればよい。第１の領域１０７の透過率の、第２の領域１０８の透過率に対する比が大きいほど、画像のダイナミックレンジが拡大するため、好ましい。但し、第１の領域１０７の透過率の、第２の領域１０８の透過率に対する比が大きすぎると、高感度信号１２１と低感度信号１２２のつなぎ目のＳＮ比が低下してしまう。よって、第１の領域１０７の透過率の、第２の領域１０８の透過率１０８に対する比は３倍以上、１０００倍以下であることが好ましい。
【００５４】
図３では、第１の領域１０７および第２の領域１０８の透過率が夫々均一である場合を示したが、夫々の領域内における透過率に分布が有っても良い。このように透過率に分布が有る場合、第１の領域１０７の透過率および第２の領域１０８の透過率は、夫々の領域の透過率の平均値で定義する。
【００５５】
なお、図２では、異感度取得用画素１１０として、Ｘ方向に並置された光電変換部１１１，１１２とマイクロレンズ１１３を有する例を示したが、必ずしもこの構成でなくても良い。例えばマイクロレンズ１１３に加えて光を集光するための導波路を有していても良いし、導波路のみを用いて、入射角の分離を行っても良い。即ち、異感度取得画素１１０は、光電変換部１１１，１１２と、入射角分離部を有していればよい。また、光電変換部１１１，１１２を光軸（Ｚ方向）に対して垂直であるＸＹ平面上で並置されておればよく、光電変換部１１１，１１２が並置される方向を示す第１の方向は図２に示すＸ方向に限定されない。例えば、第１の方向はＹ方向や斜め方向であってもよい。
【００５６】
第１の方向がＹ方向や斜め方向の場合、光学フィルタ１０５の第１の領域１０７と第２の領域１０８を分割する方向（両領域１０７，１０８が並置される方向）もこれに一致した方向に形成する方が好ましい。例えば、図３（ａ）は、光学フィルタ１０５の第１の領域１０７と第２の領域１０８が並置される方向を、第１の方向であるＸ方向と同じとした例である。なお、方向が同じ、とは第１の方向と、光学フィルタ１０５を分割する方向とのなす角が１０度以下であることを意味する。
【００５７】
但し、第１の方向と光学フィルタ１０５を分割する方向は同じである場合に限定されない。すなわち、光学フィルタ１０５が、瞳領域１３２および、瞳領域１３２に接する側の瞳領域１３３のうちの半分よりも大きい領域を領域１４２が覆うことができれ両方向が同じでなくてもよい。
【００５８】
図２では、光電変換部１１１，１１２の夫々の開口の形が長方形である場合を示したが、長方形以外の多角形であっても良いし、曲線から形成されていても良い。また、光電変換部１１１，１１２の開口率が異なっていても良い。特に図６に示すように、高感度信号１２１を出力する光電変換部１１１の開口率が、低感度信号１２２を出力する光電変換部１１２の開口率よりも大きい場合、更にダイナミックレンジが拡大するため、好ましい。
【００５９】
更に、図２では、異感度取得画素１１０には光電変換部として光電変換部１１１，１１２の２つが含まれていたが、異感度取得画素１１０に含まれる光電変換部の個数が３つ以上であっても良い。例えば、図７（ａ）に示す様に、高感度信号１２１を出力する光電変換部１１１、低感度信号１２２を出力する光電変換部１１２に加えて、低感度信号１２２よりも更に感度の低い信号を出力する光電変換部１１４を異感度取得画素１１０が備えていても良い。その場合には、光学フィルタ１０５に、第１の領域１０７、第２の領域１０８に加えて第２の領域１０８よりも更に透過率の低い第３の領域１０９を設ける。そして、図７（ａ）に示すように、瞳領域１３６および瞳領域１３７を、第３の領域１０９を射出瞳領域１３０に射影した領域１４３で覆い、瞳領域１３２および瞳領域１３３を領域１４２で覆い、瞳領域１３１を領域１４１で覆えばよい。なお、瞳領域１３６からの光束は、マイクロレンズ１１３により光電変換部１１４に選択的に導かれるが、瞳領域１３７からの光領域は、マイクロレンズ１１３により光電変換部１１２，１１４の双方に導かれる。
【００６０】
なお、図７（ａ）では、異感度取得画素１１０において光電変換部１１１，１１２，１１４が記載順にＸ方向に並置されている例を示したが、異感度取得画素１１０においてＸＹ平面上に複数の光電変換部が異なる方向に並置されていても良い。その場合、光電変換部１１１，１１２，１１４が並置される方向を示す第１の方向が複数の方向になるため、光学フィルタ１０５も、その複数の方向からなる第１の方向と同じ方向に領域を分けることが好ましい。例えば、図７（ｂ）に示すように、異感度取得画素１１０のＸＹ平面上で光電変換部１１１，１１２，１１４，１１５の第１の方向が夫々異なる場合がある。かかる場合、光学フィルタ１０５は、その複数の方向からなる第１の方向と同じ方向に分割された領域１０７，１０８，１０９，１０Ａに分割される。
【００６１】
ここで、光電変換部１１５は、光電変換部１１４が出力する信号より更に感度の低い信号を出力する光電変換部である。このため、光学フィルタ１０５の領域１０Ａ以外の領域を透過した光が光電変換部１１５に入射するクロストークが生じると、そのクロストークに起因して、異感度取得画素１１０から出力される信号を合成した画像のダイナミックレンジが低下する。よって、かかるクロストークによるダイナミックレンジの低下が抑制されるよう、領域１０Ａを領域１０７，１０８，１０９より大きい範囲に設定する。
【００６２】
固体撮像素子１０２中の全ての有効画素が異感度取得画素１１０であっても良いし、一部の画素が異感度取得画素１１０であって、残りの画素が、単一の光電変換部を有する撮像画素であっても良い。但し、固体撮像素子１０２中の全ての画素が異感度取得画素１１０で構成されている方が、全ての画素で高感度信号１２１と低感度信号１２２が取得でき、解像度の高い画像を生成できるため、好ましい。
【００６３】
更に、異感度取得画素１１０がマイクロレンズ１１３の下部にカラーフィルタを有していても良い。複数の異感度取得画素１１０に対して、各々で異なる色を透過するカラーフィルタを設けることで、被写体の輝度情報に加えて、色情報も取得することができる。
【実施形態２】
【００６４】
実施形態２に係る撮像装置２００は、実施形態１に係る撮像装置１００に対し、光学フィルタ２０５を挿抜する光学フィルタ挿抜部２０９（配置手段）を有している点が異なる。また、光学フィルタ２０５を挿入して、ダイナミックレンジの広い画像を取得するためのワイドダイナミックレンジモードと、光学フィルタ２０５を抜去して、被写体の画像情報と、被写体までの距離情報を同時に取得する、測距モードを有する。ワイドダイナミックレンジモードは主として認識用画像を取得するために使用し、測距モードは主として観賞用画像を取得するために使用するのが好ましい。
【００６５】
図８は、実施形態２に係る撮像装置のハードウェア構成を示す図である。
【００６６】
撮像装置２００は、撮像レンズユニット２０１、光電変換部２１１，２１２を有する異感度取得画素２１０を複数有する固体撮像素子２０２、画像処理部２０３、制御部２０４、光学フィルタ２０５、絞り２０６、及び光学フィルタ挿抜部２０９を有する。ここで、撮像レンズユニット２０１、固体撮像素子２０２、画像処理部２０３、制御部２０４、光学フィルタ２０５、及び絞り２０６は、図１の符号１０１〜１０６，１１０〜１１２で示す同一名称のものと構成が同一である。よってこれらについては重複した説明は省略する。すなわち、実施形態１に係る撮像装置１００に対し、本実施形態の撮像装置２００は、以下詳細を説明する光学フィルタ挿抜部２０９を有し、制御部２０４がさらにこの光学フィルタ挿抜部２０９のモータと接続しこれを制御する点で異なる。
【００６７】
光学フィルタ挿抜部２０９はモータとギアで構成され、制御部２０４がそのモータに流れる電流を制御することで、光学フィルタ２０５を撮像レンズユニット２０１の光軸とは異なる方向（図８ではＸ方向）に駆動する。
【００６８】
光学フィルタ挿抜部２０９により光学フィルタ２０５を撮像レンズユニット２０１の光路上に挿入した場合、実施形態１と同様、異感度取得画素２１０の各々の光電変換部２１１，２１２より高感度信号１２１と低感度信号１２２が出力される。これにより、ダイナミックレンジの広い画像を生成することができる。この動作モードをワイドダイナミックレンジモードと呼ぶ。ワイドダイナミックレンジモードの具体的な説明は、実施形態１と同じであるため、省略する。
【００６９】
一方、光学フィルタ挿抜部２０９により光学フィルタ２０５を撮像レンズユニット２０１の光路から完全に抜去した場合、異感度取得画素２１０は、撮像面位相差測距によって被写体の画像情報、および被写体までの距離情報を取得する測距画素として使用する。この動作モードを測距モードと呼ぶ。
【００７０】
具体的には、測距モードでは以下のようにして被写体までの距離情報を取得する。まず、画像処理部２０３（測距手段）は、固体撮像素子２０２の複数の異感度取得画素２１０の夫々において、光電変換部２１１が出力した画素信号から画像２５１を生成し、光電変換部２１２が出力した画素信号から画像２５２を生成する。そして、画像２５１と画像２５２を第１の方向（Ｘ方向）にずらしながら、ＳＳＤやＳＡＤなどの相関演算方式によって相関係数を求めることで、画像２５１と画像２５２の像ズレ量を算出する。そして、算出した像ズレ量から三角測量の原理によって、被写体の距離情報を求める。なお、撮像レンズユニット２０１がフォーカス調整機構を有する場合、被写体の距離情報を用いて、撮像レンズユニット２０１のフォーカス位置を調整しても良い。
【００７１】
このように、測距モードでは、撮像レンズユニット２０１の射出瞳領域２３０全体からの光を光電変換部２１１，２１２を用いて受光するため、ボケ味のきれいな、観賞用画像として適した画像を生成することができる。
【００７２】
このように、光学フィルタ２０５を挿入して撮影するワイドダイナミックレンジモードのほかに、光学フィルタ２０５を抜去して撮影する測距モードを有する撮像装置２００に対しては、特に本発明の構成が有効である。以下で説明を行う。
【００７３】
図２７は、従来の撮像装置における固体撮像素子が有する画素２０１０ａ，２１０１ｂの構成を説明する図である。ここで、従来の撮像装置とは、特許文献１で開示される撮像装置を指す。
【００７４】
従来の撮像装置は、相対的に透過率の高い領域２００７と相対的に透過率の低い領域２００８を有する光学フィルタを有している。そして、画素２０１０ａ，２０１０ｂの夫々の上部に設けられたマイクロレンズアレイ２０１３ａ，２０１３ｂによって、領域２００７を透過した光を光電変換部２０１１へ、領域２００８を透過した光を光電変換部２０１２へ、各々導いている。
【００７５】
ここで、従来の撮像装置は、異感度取得画素２１０のように、１つの画素中に複数の光電変換部を有していないため、高感度信号を出力する画素２０１０ａと低感度信号を出力する画素２０１０ｂの間のクロストークが小さい。図２（ｃ）と図２７を比較してわかるように、図２（ｃ）では、瞳領域１３３を透過した光が光電変換部１１１，１１２の双方に入射する。これに対し、図２７では、画素２０１０ａの光電変換部２０１１に光を入射する瞳領域２０３１と、画素２０１０ｂの光電変換部２０１２に光を入射する瞳領域２０３２が分離している。従って、従来の撮像装置は、各々の瞳領域が重複することによる光のクロストークは発生しない。
【００７６】
このように、クロストークによるダイナミックレンジの低下は、本発明のように、複数の光電変換部を有する異感度取得画素を備える固体撮像素子を用いた場合に生じる課題である。逆にいうと、異感度取得画素２１０が備える光電変換部２１１，２１２の夫々に選択的に導かれる瞳領域２３４，２３５が重複しない程度まで、光電変換部２１１，２１２の位置を離せばかかるクロストークは生じない。
【００７７】
一方前述したように、撮像装置２００をワイドダイナミックレンジモードだけではなく、測距モードとして使用する場合、射出瞳領域２３０全体からの光を受光した光電変換部２１１，２１２の夫々が出力した画素信号を用いて画像を生成する必要がある。
【００７８】
この場合に、上述のようにクロストークが生じない程度にまで光電変換部２１１，２１２の位置を離すと、図２７に示す瞳領域２０３３からの光が光電変換部２０１１，２０１２のいずれにも入射されないのと同様の状況が生じる。すなわち、射出瞳領域２３０からの光の一部は光電変換部２１１，２１２のいずれにも入射されなくなってしまう。逆に言うと、射出瞳領域２３０全体からの光を用いた画像を生成する場合、光電変換部２１１，２１２の夫々に選択的に導かれる瞳領域２３４，２３５を一部重複させる必要がある。
【００７９】
そこで、本実施形態の撮像装置２００では、固体撮像素子２０２の異感度取得画素２１０が備える光電変換部２１１，２１２を、その夫々に選択的に導かれる瞳領域２３４，２３５に重複部分が生じるような位置に並置させる。
【００８０】
その一方、ワイドダイナミックレンジモードの際は、かかる重複部分により生じるクロストークのため、生成される画像のダイナミックレンジが低下しないようにする必要がある。よって、実施形態１と同様、光学フィルタ２０５の第１の領域２０７と第２の領域２０８の分割位置を射出瞳面上のＸ方向における中心からずらす。
【００８１】
以上のように、光学フィルタ２０５を挿入して撮影するワイドダイナミックレンジモードのほかに、光学フィルタ２０５を抜去して撮影する測距モードを有する撮像装置２００に対しては、特に本発明の構成が有効である。
【００８２】
なお、本実施形態では測距モードにおいて、光学フィルタ挿抜部２０９により光学フィルタ２０５を撮像レンズユニット２０１の光路から完全に抜去したが、第１の光電変換部２１１と第２の光電変換部２１２の実効的な感度が等しくなればこれに限定されない。
【００８３】
例えば、光学フィルタ挿抜部２０９による光学フィルタ２０５の挿抜制御により射出瞳領域２３０の全体が第１の領域２０７を射出瞳領域２３０に射影した領域で覆われた状態となった場合に、画像処理部２０３は測距モードに移行するようにしても良い。同様に、光学フィルタ挿抜部２０９による光学フィルタ２０５の挿抜制御により射出瞳領域２３０全体が第２の領域２０８を射出瞳領域２３０に射影した領域で覆われた状態となった場合に、画像処理部２０３は測距モードに移行するようにしても良い。但し、第１の領域２０７よりも第２の領域２０８は透過率が低いため、前者の状態より後者の状態では光電変換部２１１，２１２に入射される光の光量が少なくなり、ひいては、光電変換部２１１，２１２から出力される画素信号のＳＮ比が悪くなる。よって、前者の状態となった場合に画像処理部２０３は測距モードに移行するようにする方が望ましい。
【実施形態３】
【００８４】
実施形態３に係る撮像装置３００は、実施形態２に係る撮像装置２００に対し、撮像レンズユニット３０１の画角を制御する画角制御部３０Ａを有している点が異なる。そして、撮像レンズユニット３０１の画角に応じて、光学フィルタ３０５の位置を制御することで、クロストークによるダイナミックレンジの低下を更に抑制することができる。
【００８５】
図９は、実施形態３に係る撮像装置３００のハードウェア構成を示す図である。
【００８６】
撮像装置３００は、撮像レンズユニット３０１、固体撮像素子３０２、画像処理部３０３、制御部３０４、光学フィルタ３０５、絞り３０６、光学フィルタ挿抜部３０９、及び画角制御部３０Ａを有する。ここで、撮像レンズユニット３０１、固体撮像素子３０２、画像処理部３０３、制御部３０４、光学フィルタ３０５、絞り３０６、及び光学フィルタ挿抜部３０９は、図８の符号２０１〜２０６，２０９で示す同一名称のものと構成が同一である。よってこれらについては重複した説明は省略する。すなわち、実施形態２に係る撮像装置２００に対し、本実施形態の撮像装置３００は、以下詳細を説明する画角制御部３０Ａを有し、制御部２０４がさらにこの画角制御部３０Ａのモータと接続しこれを制御する点で異なる。
【００８７】
画角制御部３０Ａはモータとギアで構成され、制御部２０４は、そのモータに流れる電流を制御することで、撮像レンズユニット３０１のうちの少なくとも一部を光軸方向（Ｚ軸方向）に駆動することで、撮像レンズユニット３０１の画角を制御する。
【００８８】
ここで、結像光学系の射出瞳距離、すなわち射出瞳面から像面までの距離は、有限の値である。よって、固体撮像素子３０２中の図９において不図示の複数の異感度取得画素３１０の各々に入射する光の主光線の角度は、その異感度取得画素３１０の固体撮像素子３０２中における位置によって変化する。かかる主光線の角度の変化に応じて各異感度取得画素３１０のマイクロレンズ３１３の位置を偏心することで、異感度取得画素３１０へ効率よく光を入射させることができる。尚、具体的な各異感度取得画素３１０のマイクロレンズ３１３の位置の偏心方法については、本発明とは直接関係がないため詳細な説明は省略する。
【００８９】
ここで、撮像レンズユニット３０１は画角制御部３０Ａを有しているため、撮像レンズユニット３０１の画角に応じて、撮像レンズユニット３０１の射出瞳距離が変化する。一般的には、画角が広い（ワイド側にある）ほど、射出瞳距離が近くなり、画角が狭い（テレ側にある）ほど、射出瞳距離が遠くなる。このように、射出瞳距離が変化した場合、異感度取得画素３１０の各々の光電変換部３１１，３１２に光を入射する射出瞳領域の範囲が変化する。
【００９０】
以下、撮像レンズユニット３０１の射出瞳距離が近いか遠いかを、固体撮像素子３０２の瞳距離、すなわち各異感度取得画素３１０が有するマイクロレンズ３１３により規定される射出瞳距離を基準として判断する。
【００９１】
図１０は、図９の撮像装置３００における、撮像レンズユニット３０１の射出瞳距離に応じた光学フィルタ３０５の挿抜方法を説明する図である。
【００９２】
図１０（ａ）は、撮像レンズユニット３０１の射出瞳距離が、固体撮像素子３０２の瞳距離よりも近い場合に、固体撮像素子３０２中の最も−Ｘ方向に位置する異感度取得画素３１０ａの光電変換部３１１，３１２に光を入射する射出瞳領域３３０の範囲を示す。同様に、図１０（ｂ）は、固体撮像素子３０２中の最も＋Ｘ方向に位置する異感度取得画素３１０ｂの光電変換部３１１，３１２に光を入射する射出瞳領域３３０の範囲を示す。また、図１０（ｃ），（ｄ）は、撮像レンズユニット３０１の射出瞳距離が、固体撮像素子３０２の瞳距離近傍にある場合の異感度取得画素３１０ａ，３１０ｂの各々の光電変換部３１１，３１２に光を入射する射出瞳領域３３０の範囲を示す。図１０（ｅ），（ｆ）は、撮像レンズユニット３０１の射出瞳距離が固体撮像素子３０２の瞳距離よりも遠い場合の異感度取得画素３１０ａ，３１０ｂの各々の光電変換部３１１，３１２に光を入射する射出瞳領域３３０の範囲を示す。
【００９３】
図１０（ａ）〜（ｆ）に示す様に、撮像レンズユニット３０１の射出瞳距離の変動に応じて、異感度取得画素３１０ａ，３１０ｂの各々光電変換部３１１，３１２に入射する射出瞳領域３３０の範囲が変化する。そこで、実施形態３に示す撮像装置３００では、撮像レンズユニット３０１の射出瞳距離の変動に応じて、光学フィルタ挿抜部３０９が光学フィルタ３０５を挿抜することで、第１の領域３０７と第２の領域３０８の位置を制御している。具体的には、固体撮像素子３０２における異感度取得画素３１０の位置によらず、瞳領域３３２，３３３が、第２の領域３０８を射出瞳領域３３０に射影した領域３４２で覆われるように、光学フィルタ３０５の挿抜を行う。尚、瞳領域３３２，３３３は、実施形態１の瞳領域１３２，１３３に対応する領域、すなわち、光電変換部３１１に選択的に導かれる瞳領域を指す。また、第２の領域３０８は、実施形態１の第２の領域１０８に対応する領域、すなわち、光学フィルタ３０５を構成する領域であって、相対的に透過率の低い領域を指す。
【００９４】
例えば、撮像レンズユニット３０１の射出瞳距離が、固体撮像素子３０２の瞳距離よりも近い場合は、図１０（ｂ）に示す様に、固体撮像素子３０２の最も＋Ｘ方向に位置する異感度取得画素３１０ｂに対して、瞳領域３３２の範囲が広くなる。従って、異感度取得画素３１０ｂに対して、瞳領域３３２，３３３が領域３４２に覆われるように、光学フィルタ挿抜部３０９により光学フィルタ３０５の分割位置を光軸中心から＋Ｘ方向に動かす。同様に、撮像レンズユニット３０１の射出瞳距離が、固体撮像素子３０２の瞳距離よりも遠い場合は、図１０（ｅ）に示す様に、固体撮像素子３０２の最も−Ｘ方向に位置する異感度取得画素３１０ａに対して、瞳領域３３２の範囲が広くなる。従って、異感度取得画素３１０ａに対して、瞳領域３３２，３３３が領域３４２に覆われるように、光学フィルタ挿抜部３０９により光学フィルタ３０５の分割位置を光軸中心から＋Ｘ方向に動かす。一方、撮像レンズユニット３０１の射出瞳距離が、固体撮像素子３０２の瞳距離近傍にある場合、図１０（ｃ），（ｄ）のように、異感度取得画素３１０の位置によらず、瞳領域３３１，３３２，３３３の範囲は一定である。そこで、異感度取得画素３１０ａ，３１０ｂのいずれに対しても瞳領域３３２，３３３が領域３４２に覆われるように、光学フィルタ３０５の分割位置を図１０（ａ），（ｂ），（ｅ），（ｆ）に示す位置より−Ｘ方向に動かす。
【００９５】
言い換えると、光学フィルタ挿抜部３０９は以下のように光学フィルタ３０５の挿抜を行う。すなわち、撮像レンズユニット３０１の射出瞳距離が、固体撮像素子３０２の瞳距離からずれているほど、射出瞳領域３３０のうち、光学フィルタ３０５第２の領域３０８を射出瞳領域３３０に射影した領域３４２で覆われる割合が多くなるようにする。このような構成とすることで、光学フィルタ３０５の相対的に透過率の高い第１の領域３０７を射出瞳領域３３０に射影した領域３４１を透過した光が、低感度信号を出力する光電変換部３１２に入射してしまうことを抑制できる。その結果、クロストークによる画像のダイナミックレンジの低下を抑制することができるため、好ましい。
【００９６】
なお、撮像装置３００は、撮像レンズユニット３０１の焦点距離を制御する焦点距離制御部を更に有し、焦点距離の変化に応じて光学フィルタ挿抜部３０９で光学フィルタ３０５の挿抜を行うようにしても良い。撮像レンズユニット３０１は、その画角が変化した場合と同様、その焦点距離が変化した場合も、射出瞳距離が変化する。従って、撮像レンズユニット３０１の焦点距離に応じて、光学フィルタ３０５の位置を制御することで、クロストークによるダイナミックレンジの低下を更に抑制することができる。
【００９７】
更に、撮像装置３００は、撮像レンズユニット３０１の絞り３０６の開口を制御する絞り制御部を更に有し、絞り３０６の開口に応じて光学フィルタ挿抜部３０９で光学フィルタ挿抜部３０９で光学フィルタ３０５の挿抜を行うようにしても良い。絞り３０６の開口の大きさによって、射出瞳領域３３０の大きさが変化する。従って、絞り３０６の開口の大きさに応じて、光学フィルタ３０５の位置を制御することで、クロストークによるダイナミックレンジの低下を更に抑制することができる。
【００９８】
また、撮像装置３００において画角、焦点距離、絞り３０６の開口の二つ以上の制御が行われる場合、それらの制御を考慮して、光学フィルタ３０５の位置を制御することが好ましい。
【００９９】
光学フィルタ挿抜部３０９による光学フィルタ３０５の挿抜方向は本実施形態では第１の方向（Ｘ方向）であったが、他の方向であっても良い。但し、射出瞳距離に応じて、射出瞳領域３３０のうちの領域３４２で覆われる領域の割合を変化させるためには、光学フィルタ３０５の挿抜方向と第１の方向が一致しているほうが好ましい。なお、ここでいう「方向が一致している」とは光学フィルタ３０５を挿抜する方向と、第１の方向とのなす角が１０度以下であることを意味する。
【０１００】
図１０では、固体撮像素子３０２中の異感度取得画素３１０の位置によらず、瞳領域３３２，３３３が、第２の領域３０８を射出瞳領域３３０に射影した領域３４２で覆われるように、光学フィルタ３０５の挿抜を行う例を示した。
【０１０１】
但し、撮像装置３００が注目する被写体を抽出する抽出部（注目被写体抽出手段）を有している場合は図１０に示す光学フィルタ３０５の挿抜方法でなくてもよい。具体的には、光学フィルタ挿抜部３０９は、瞳領域３３２，３３３のうち、抽出部で抽出された注目する被写体が存在する領域との重複領域のみを、第２の領域３０８を射出瞳領域３３０に射影した領域３４２が覆うように光学フィルタ３０５を挿抜してもよい。これにより、射出瞳領域３３０のうち、第１の領域３０７を射出瞳領域３３０に射影した領域３４１との重複領域の割合が増加する。その結果、その重複領域におけるダイナミックレンジが更に拡大するため、好ましい。
【実施形態４】
【０１０２】
実施形態４に係る撮像装置４００は、実施形態１に係る撮像装置１００に対し、固体撮像素子４０２の複数の異感度取得画素４１０の夫々において、光電変換部４１１の露光時間が光電変換部４１２の露光時間よりも短い点が異なる。以下、光電変換部４１１の露光時間を第１の露光時間Ｔｅｘ１とし、光電変換部４１２の露光時間を第２の露光時間Ｔｅｘ２と称す。かかる制御がされている場合に、画像処理部４０３は、光電変換部４１１が出力した画素信号（高感度信号）を用いて静止画像を生成すると同時に、光電変換部４１２が出力した画素信号（低感度信号）を用いて動画像を生成する。これにより、生成される静止画像を被写体のブレの少ない画像とすることができ、且つ生成される動画像をパラパラ感の少ない画像とすることができる。ここで、光電変換部４１１，４１２は、実施形態１の光電変換部１１１，１１２に夫々対応するもので、光電変換部４１１は高感度信号１２１を出力し、光電変換部４１２は低感度信号１２２を出力する。
【０１０３】
図１１は、実施形態４に係る撮像装置４００における固体撮像素子４０２の異感度取得画素４１０の回路図である。異感度取得画素４１０は、光電変換部４１１，４１２の他に、画素内メモリ４５１，４５２、転送トランジスタ４６１，４６２、リセットトランジスタ４６３，４６４、ソースフォロア４６５，４６６、及び選択トランジスタ４６７，４６８を有している。
【０１０４】
転送トランジスタ４６１は、光電変換部４１１から画素内メモリ４５１に電荷転送を行い、転送トランジスタ４６２は、光電変換部４１２から画素内メモリ４５２に電荷転送を行う。また、画素内メモリ４５１はリセットトランジスタ４６３を介して、画素内メモリ４５２はリセットトランジスタ４６４を介して、各々ドレイン電源線４９３に接続されている。
【０１０５】
画素内メモリ４５１に転送された電荷は、ソースフォロア４６５を介して電圧信号に変換され、選択線４９１と選択トランジスタ４６７によって垂直信号線４７１に読み出すことができるように構成されている。同様に、画素内メモリ４５２に転送された電荷はソースフォロア４６６を介して電圧信号に変換され、選択線４９２と選択トランジスタ４６８によって垂直信号線４７２に読み出すことができるように構成されている。
【０１０６】
また、不図示の垂直走査回路から転送線４８１，４８２及びリセット線４８３を介して送られる信号によって、光電変換部４１１は、その第１の露光時間Ｔｅｘ１が、光電変換部４１２の第２の露光時間Ｔｅｘ２よりも短くなるよう制御される。ここで、露光時間とは、電圧信号を生成するために使用する電荷量を、光電変換部４１１，４１２の夫々の内部に蓄積する時間の意味で使用する。
【０１０７】
図１２は、図１１の異感度取得画素４１０に電荷を蓄積し、電荷を読み出すためのタイミングチャートである。
【０１０８】
まず、転送トランジスタ４６１，４６２及びリセットトランジスタ４６３，４６４をＯＮにして光電変換部４１１，４１２、画素内メモリ４５１，４５２をリセットする。そして、時刻Ｔ１に、転送トランジスタ４６１，４６２及びリセットトランジスタ４６３，４６４をＯＦＦにして光電変換部４１１，４１２の露光を開始する。
【０１０９】
光電変換部４１１の露光中の時刻Ｔ２に、選択トランジスタ４６７をＯＮにし、ソースフォロア４６５の読み出しノイズを読み取る。その後、時刻Ｔ３に転送トランジスタ４６１をＯＮにし、光電変換部４１１の露光を終了させるとともに、光電変換部４１１に蓄積された電荷を画素内メモリ４５１に転送する。即ち、時刻Ｔ１から時刻Ｔ３までの時間が、第１の露光時間Ｔｅｘ１に相当する。
【０１１０】
次に、時刻Ｔ４に選択トランジスタ４６７をＯＮにして、画素内メモリ４５１に保持された電荷による信号を読み出す。時刻Ｔ４で読み出した信号にはソースフォロア４６５の読み出しノイズが含まれているため、時刻Ｔ２で読み取った読み出しノイズを差し引いて真の電圧信号を取得する（一般に、相関２重サンプリングと呼ばれる）。ここまでで、光電変換部４１１に蓄積された電荷による静止画用画素信号を取得する。
【０１１１】
同様に、光電変換部４１２に蓄積された電荷による電圧信号を取得する。基本的な動作フローは光電変換部４１１に蓄積された電荷による電圧信号の読み出し方法と同じである。即ち、光電変換部４１２の露光中の時刻Ｔ５に、選択トランジスタ４６８をＯＮにし、ソースフォロア４６６の読み出しノイズを読み取る。その後、時刻Ｔ６に転送トランジスタ４６２をＯＮにし、光電変換部４１２の露光を終了させるとともに、光電変換部４１２に蓄積された電荷を画素内メモリ４５２に転送する。
【０１１２】
最後に、時刻Ｔ７に選択トランジスタ４６８をＯＮにして、画素内メモリ４５２に保持された、読み出しノイズを含んだ信号を読み出し、相関２重サンプリングを行うことで、光電変換部４１２に蓄積された電荷による真の電圧信号を取得する。すなわち、時刻Ｔ１から時刻Ｔ６までの時間が、第２の露光時間Ｔｅｘ２に相当し、この時間は第１の露光時間Ｔｅｘ１よりも長くなっている。
【０１１３】
以上のようなタイミングチャートで固体撮像素子４０２の各異感度取得画素４１０を駆動することで、光電変換部４１１，４１２による露光を同時に開始し、且つ光電変換部４１１の露光時間を光電変換部４１２の露光時間よりも短くすることができる。また、前述したように、光電変換部４１１には、光学フィルタ４０５のうち、相対的に透過率の高い第１の領域４０７からの光が選択的に入射する。一方、光電変換部４１２には、光学フィルタ４０５のうち、相対的に透過率の低い第２の領域４０８からの光が選択的に入射する。このため、光電変換部４１１が出力した画素信号を用いて生成する画像と光電変換部４１２が出力した画素信号を用いて生成する画像を明るさは同じだが露光時間の異なる画像とすることができる。即ち、被写体のブレの少ない静止画像と、パラパラ感の少ない動画像を同時に取得できる。
【０１１４】
このように、撮像装置４００が被写体のブレの少ない静止画像と、パラパラ感の少ない動画像を同時に取得する際、光学フィルタ４０５の第１の領域４０７を透過した光が光電変換部４１２に入射する場合がある。この場合、クロストークによって、同時に取得される静止画像と動画像の明るさが異なってしまう。
【０１１５】
そこで、撮像装置４００では、瞳領域４３２，４３３を、光学フィルタ４０５の第２の領域４０８を射出瞳領域４３０に射影した領域４４２が覆うようにする。そして、瞳領域４３１を、第１の領域４０７を射出瞳領域４３０に射影した領域４４１が覆うように、光学フィルタ４０５を配置する。このような構成とすることで、第１の領域４０７を透過した光が光電変換部４１２に入射してしまうことを抑制できる。その結果、クロストークによる静止画像と動画像の明るさの相違を低減することができる。
【０１１６】
静止画像生成用の画素信号を出力する光電変換部４１１の露光時間は、被写体の速さに応じて設定すればよく、動画像生成用の画素信号を出力する光電変換部４１２の露光時間は、フレームレートと同程度に設定すればよい。また、設定した光電変換部４１１と光電変換部４１２の露光時間の比に応じて、光学フィルタ４０５の挿抜を行って、各々の光電変換部４１１，４１２に入射する光量を制御しても良い。具体的には、光電変換部４１１の露光時間の、光電変換部４１２の露光時間に対する比が小さいほど、瞳領域４３３のうち、第２の領域４０８を射出瞳領域４３０に射影した領域４４２で覆われる割合を大きくすればよい。このように、設定した光電変換部４１１と光電変換部４１２の露光時間の比に応じて、光学フィルタ４０５の挿抜を行うことで、クロストークによる静止画像と動画像の明るさの差を低減することができる。
【実施形態５】
【０１１７】
実施形態５に係る撮像装置５００は、実施形態１に係る撮像装置１００に対し、光学フィルタ１０５の代わりに以下説明する光学フィルタ５０５を有する点で異なる。以下、実施形態１と同一の構成には同一の符号を付し、重複した説明は省略する。
【０１１８】
具体的には、光学フィルタ５０５は、第１の領域１０７の代わりに全部の偏光成分を透過する第１の領域５０７を有する点、第２の領域１０８の代わりに特定の偏光成分のみを透過する第２の領域５０８を有する点で、光学フィルタ１０５と異なる。
【０１１９】
光電変換部１１１は、主として第１の領域５０７からの光を取得し、ＳＮ比の高い画像を形成する画素信号を出力する。また、光電変換部１１２は、主として第２の領域５０８からの光を取得し、映り込みを抑制した画像を形成する画素信号を出力する。
【０１２０】
光電変換部１１２から出力される画像信号により形成される画像を、映り込みを十分に抑制した画像とするためには、特定の偏光成分以外の光を十分に遮光する必要がある。従って、撮像装置５００が実施形態４と同様のタイミングチャートにより全部の偏光成分による画素信号と特定の偏光成分による画素信号とを同時に取得する場合、第１の領域５０７を透過した光が光電変換部１１２に入射することを抑制する必要がある。
【０１２１】
そこで、本実施形態では、瞳領域１３２，１３３の全てを、第２の領域５０８を射出瞳領域１３０に射影した領域５４２が覆い、瞳領域１３１のみを、第１の領域５０７を射出瞳領域１３０に射影した領域５４１が覆うように、光学フィルタ５０５を配置する。
【０１２２】
このような構成とすることで、第１の領域５０７を透過した光が光電変換部１１２に入射してしまうことを抑制できる。その結果、クロストークにより、光電変換部１１２で取得した信号によって生成する画像で十分に映り込みを抑制することができないという事態を防ぐことができる。
【０１２３】
第２の領域５０８が透過する偏光の向きが固定されていても良いし、変更可能であっても良い。ここで、第２の領域５０８が透過する偏光の向きを変更する場合、例えば、第２の領域５０８を偏光板と可変位相板で構成し、可変位相板に印加する電圧を加えることで偏光の向きが回転するような構成とすればよい（特開２０１６−１４５９２４号公報参照）。
【０１２４】
また、光学フィルタ５０５の代わりに、異なる偏光成分を透過する領域を複数有する光学フィルタ５０５ａを設け、光学フィルタ５０５ａを実施形態２の光学フィルタ挿抜部２０９により挿抜可能に構成することで、透過する偏光の向きを制御しても良い。更に、光学フィルタ５０５の代わりに、透過する偏光の向きが異なる複数の光学フィルタ群５０５ｂ及びその複数の光学フィルタ群５０５ｂの各フィルタを個別に挿抜可能な、実施形態２の光学フィルタ挿抜部２０９を複数設けてもよい。この場合、その複数の光学フィルタ群５０５ｂを個別に挿抜することで、偏光の向きを制御することができる。
【０１２５】
なお、第１の領域５０７は全偏光を透過し、第２の領域５０８は特定の偏光のみを透過するため、第１の領域５０７の透過率の方が、第２の領域５０８よりも高い。従って、第１の領域５０７と第２の領域５０８の透過率の大小関係は、実施形態１の光学フィルタ１０５の第１の領域１０７と第２の領域１０８の関係と同じになる。
【実施形態６】
【０１２６】
実施形態６に係る撮像装置６０１は、実施形態１に係る撮像装置１００に対し、光学フィルタ１０５の代わりに光学フィルタ１４０７を有する点が主として異なる。以下詳細に説明するが、光学フィルタ１４０７は、射出瞳領域を通過する光束を、その一部は可視光成分のみとし、残りは全波長成分、すなわち、可視光成分と赤外光成分とする瞳分割フィルタとして用いる。
【０１２７】
図１３は、実施形態６に係る撮像システム６００を示す図である。
【０１２８】
撮像システム６００は、撮像装置６０１、情報処理装置６０２、及び表示装置６０３から構成される。撮像装置６０１と情報処理装置６０２との間は、汎用Ｉ／Ｆのケーブル６０４、ネットワーク６０５、汎用Ｉ／Ｆのケーブル６０６で接続される。情報処理装置６０２と表示装置６０３との間は、汎用Ｉ／Ｆのケーブル６０７で接続される。
【０１２９】
撮像装置６０１は、パン・チルト・ズーム・ローテーション・フォーカス機能などを有する監視カメラ、または、ネットワークカメラである。撮像装置６０１は、所定画角の動画像を撮像し、動画像データを生成すると共に、その動画像データを含む各種データを汎用Ｉ／Ｆのケーブル６０４、ネットワーク６０５、汎用Ｉ／Ｆのケーブル６０６を介して情報処理装置６０２に配信する。各種データには、パン角、チルト角、ローテーション角や、ズーム倍率、フォーカス位置、露出、ホワイトバランスなどの撮像設定などが含まれる。
【０１３０】
情報処理装置６０２は、ＣＰＵ（中央演算処理装置）、ＲＡＭ、記憶装置、操作部、各種Ｉ／Ｆなどのハードウェア資源を備えた、汎用のコンピュータやワークステーションで構成される。撮像装置６０１から配信される動画像データや各種データを取得し、表示装置６０３にそれらの情報を表示する。また、撮像装置６０１に対して、パン角、チルト角、ローテーション角や、ズーム倍率、フォーカス位置、露出、ホワイトバランスなどの撮像設定などを制御する制御コマンドを送信して、撮像装置６０１の動作を制御する。
【０１３１】
表示装置６０３は、撮像装置６０１からの動画像データや各種データを情報処理装置６０２の指示に基づき表示するディスプレイであり、液晶ディスプレイなどが用いられる。
【０１３２】
汎用Ｉ／Ｆのケーブル６０４，６０６は、例えばＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）などの通信規格を満足するツイストペアケーブル、光ファイバーケーブルなどの、所謂、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブルである。なお、汎用Ｉ／Ｆのケーブル６０４，６０６は有線ＬＡＮに限らず、無線ＬＡＮで構成しても良い。
【０１３３】
ネットワーク６０５は、ルータ、スイッチ、ケーブルなどで構成されるＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）である。
【０１３４】
本発明の撮像システム６００は、撮像装置６０１をサーバ、情報処理装置６０２をクライアントとしたクライアントサーバシステムを構成できる。撮像装置６０１は複数の情報処理装置６０２と接続でき、複数の情報処理装置６０２が撮像装置６０１の動画像データを取得できる。また、撮像装置６０１の制御権の受け渡しを管理することで、複数の情報処理装置６０２が撮像装置６０１を制御できる。
【０１３５】
図１３の例では、撮像装置６０１、情報処理装置６０２、及び表示装置６０３の３つの装置により撮像システム６００が構成されているが、本発明はこの構成に限定されるものではない。例えば、ノートＰＣやタブレット型端末のように表示装置と一体化した情報処理装置を、情報処理装置６０２及び表示装置６０３の代わりに用いても良い。また、情報処理装置６０２の機能を撮像装置６０１に組み込み、撮像装置６０１及び表示装置６０３のみから撮像システム６００を構成しても良い。
【０１３６】
図１４は、図１３における撮像装置６０１のハードウェア構成を示すブロック図である。
【０１３７】
撮像装置６０１は、概略、撮像光学系１４０１、画像処理部１４０２、レンズ制御部１４０３、制御部１４０４から構成される。
【０１３８】
撮像光学系１４０１は、概略、固体撮像素子１４０５、撮像レンズユニット１４０６、光学フィルタ１４０７から構成される。
【０１３９】
固体撮像素子１４０５は、撮像センサ１６００（図１６）とアナログフロントエンド（ＡＦＥ）から構成される。撮像センサは２次元の光学像を光電変換によって電気的な物理量へ変える２次元のイメージセンサであり、例えば、ＣＣＤやＣＭＯＳデバイスが用いられる。ＡＦＥは、撮像センサ１６００の動作を制御する回路、及び、撮像センサ１６００から出力されたアナログ信号をデジタル信号へ変換する回路である。ＡＦＥからの出力データはＲＡＷデータと呼ばれる。ＲＡＷデータは後段の画像処理部１４０２で現像処理される。
【０１４０】
撮像センサ１６００は、図１６で後述するように２つの光電変換部１６０２，１６０３により像面瞳分割する複数の異感度取得画素１６０１や（図１６）を備える。より具体的には、各異感度取得画素１６０１では、２つの光電変換部１６０２，１６０３が夫々、特定の波長の光を透過するカラーフィルタ１６０５（図１６）を介して入射した光を光電変換して画素信号を出力する。本実施形態では、光電変換部１６０２から可視光成分と赤外光成分に相当する画素信号が出力され、光電変換部１６０３から可視光成分のみに相当する画素信号が出力される。すなわち、画像の解像度を低下させることなく、固体撮像素子１４０５からは、可視光成分と赤外光成分に相当する画素信号、及び、可視光成分に相当する画素信号が出力される。具体的な構成は、図１６、及び、図１７で説明する。
【０１４１】
また、撮像センサ１６００はこれらの異感度取得画素１６０１を用いて位相差オートフォーカスが可能である。各異感度取得画素１６０１の２つの光電変換部１６０２，１６０３から出力された一対の画素信号に対して相関演算を行い、相関量（位相差）を算出する。この相関量（位相差）に基づいて、制御部１４０４を介して、撮像レンズユニット１４０６のフォーカス・レンズ群を駆動してオートフォーカスを行う。
【０１４２】
撮像レンズユニット１４０６は、複数のレンズ群により構成される。また、ズーム機能やフォーカス機能を実現するため、群ごとにレンズが移動するモータ機構などの駆動部が設けられる。
【０１４３】
光学フィルタ１４０７は、図１７、図２１で後述するように、一部の領域が赤外光遮断フィルタ１５０４（図１５）で構成され、残りの領域は光の全波長成分（可視光成分＋赤外光成分）を透過させる全透過フィルタで構成される。光学フィルタ１４０７は、撮像レンズユニット１４０６の光軸上であって、その射出瞳領域近傍、もしくは、図１４において不図示の絞り位置近傍に配置される。また、光学フィルタ１４０７は、赤外光遮断フィルタ１５０４で構成される領域の位置制御を実現するため、モータ機構などの駆動部と接続する。
【０１４４】
画像処理部１４０２は、現像処理部１４０８、通信部１４０９から構成される。
【０１４５】
現像処理部１４０８は、黒補正部、デモザイキング処理部、ホワイトバランス調整部、フィルタ処理部、ガンマ補正部などから構成される。主として、固体撮像素子１４０５で生成されたＲＡＷデータから現像データ（ＲＧＢデータ）を生成する処理を行う。
【０１４６】
通信部１４０９は、圧縮処理部、通信Ｉ／Ｆから構成される。現像処理部１４０８によって生成された画像データに圧縮処理を行い、圧縮処理された画像データを、ネットワーク６０５を介して情報処理装置６０２に送信する。
【０１４７】
レンズ制御部１４０３は、レンズ位置制御部１４１０、フィルタ位置制御部１４１１から構成される。
【０１４８】
レンズ位置制御部１４１０は、ズーム機能やフォーカス機能を実現するため、撮像レンズユニット１４０６のモータ機構を制御する。
【０１４９】
フィルタ位置制御部１４１１（配置手段）は、光学フィルタ１４０７の赤外光遮断フィルタ１５０４で構成される領域とそれ以外の全透過フィルタで構成される領域の分割位置や重心を制御する。制御の具体的な内容は、図２０で説明する。
【０１５０】
制御部１４０４は、情報処理装置６０２から送信される各種制御コマンドを、通信部１４０９を介して取得し、取得した制御コマンドを解析する。解析結果に応じて、制御コマンドを固体撮像素子１４０５、現像処理部１４０８に送信する。また、固体撮像素子１４０５、現像処理部１４０８から制御コマンドに対する応答コマンドを受信し、受信した応答コマンドを、通信部１４０９を介して情報処理装置６０２に送信する。また、制御部１４０４は、レンズ位置制御部１４１０に対して、ズーム機能やフォーカス機能の指示、フィルタ位置制御部１４１１に対しての制御指示を行う。
【０１５１】
図１５は、実施形態６に係る、異感度取得画素１６０１が備えるカラーフィルタ１６０５、及び光学フィルタ１４０７の一部の領域を構成する赤外光遮断フィルタ１５０４の分光特性を説明する模式図である。
【０１５２】
図１５（ａ）は、Ｒフィルタ１５０１、Ｇフィルタ１５０２、Ｂフィルタ１５０３の分光特性であり、縦軸は透過率（単位はａ.ｕ．）、横軸は波長（単位はｎｍ）である。これらのフィルタ１５０１〜１５０３は、各異感度取得画素１６０１のカラーフィルタ１６０５としてそのいずれかが用いられる。また、可視光と赤外光の境界を点線で示している。可視光は人間が観察可能な光であり、赤外光は人間が観察できない、もしくは、観察しにくい光である。本実施の形態では、可視光は３０８ｎｍから７５０ｎｍまでの波長の光と定義し、赤外光は７５０ｎｍから２５００ｎｍまでの波長の光と定義する。
【０１５３】
図１５（ｂ）は、赤外光遮断フィルタ１５０４（ＩＲＣＦ）の分光特性であり、縦軸は透過率（単位はａ.ｕ．）、横軸は波長（単位はｎｍ）である。図１５（ａ）と同様に、可視光と赤外光の境界を点線で示している。図１５（ｂ）に示すように、赤外光遮断フィルタ１５０４は、可視光を透過させるが、８００ｎｍより長波長側の赤外光の透過を遮断する。
【０１５４】
図１６は、異感度取得画素１６０１の構造を説明する図である。
【０１５５】
図１６（ａ）は、撮像センサ１６００を＋Ｚ方向から見た平面図である。撮像センサ１６００には、第１の方向（Ｘ方向）に並置された光電変換部１６０２と光電変換部１６０３を備える異感度取得画素１６０１が格子状に複数配列される。
【０１５６】
図１６（ｂ）は、異感度取得画素１６０１を図１６（ａ）のＢ−Ｂ´で切った断面図である。
【０１５７】
異感度取得画素１６０１は、光の入射側から、マイクロレンズ１６０４、カラーフィルタ１６０５、光電変換部１６０２，１６０３、配線部１６０６から構成される。マイクロレンズ１６０４と光電変換部１６０２，１６０３は、撮像レンズユニット１４０６を通過した光束を可能な限り有効に取り込む配置となっている。最も光の入射側に設けられるカラーフィルタ１６０５として、図１５（ａ）にて上述した、Ｒフィルタ１５０１、Ｇフィルタ１５０２、Ｂフィルタ１５０３のいずれか１つが用いられる。具体的には、夫々の異感度取得画素１６０１に用いられるカラーフィルタ１６０５は、撮像センサ１６００上にベイヤー配置で配置される。これにより、各異感度取得画素１６０１では、Ｒ，Ｇ，Ｂの１つである特定の色のみがカラーフィルタ１６０５により透過する。尚、実施形態１〜５においても同様に、各異感度取得画素の最も光の入射側にベイヤー配置でカラーフィルタ１６０５を配置するようにしてもよい。
【０１５８】
図１７は、光学フィルタ１４０７を通過する光束と異感度取得画素１６０１の関係を説明する図である。
【０１５９】
図１７（ａ）は、光束と異感度取得画素１６０１の関係を説明する模式図である。撮像レンズユニット１４０６の射出瞳領域１４１２と光電変換部１６０２，１６０３は、光学的に共役な位置に配置されている。光学フィルタ１４０７は、射出瞳領域１４１２の上半分の領域（図１７（ａ）の斜線領域）のみが、赤外光遮断フィルタ１５０４から成る領域１４０７ｃを射出瞳領域１４１２に射影した場合に覆われるよう構成される。
【０１６０】
すなわち、光学フィルタ１４０７の赤外光遮断フィルタ１５０４から成る領域１４０７ｃ及び射出瞳領域１４１２の上半分を通過した光束（図１７（ａ）の塗り潰し領域）は、マイクロレンズ１６０４を介して光電変換部１６０３に入射する。従って、光電変換部１６０３からは可視光成分のみに相当する画素信号が出力される。同様に、光学フィルタ１４０７の全透過フィルタから成る残りの領域１４０７ｂ及び射出瞳領域１４１２の下半分を通過した光束は、マイクロレンズ１６０４を介して光電変換部１６０２に入射する。従って、光電変換部１６０２からは可視光成分と赤外光成分に相当する画素信号が出力される。また、現像処理部１４０８は、光電変換部１６０２，１６０３の夫々から出力された画素信号の和から、外部環境の照度に応じて白黒画像（輝度画像）及びカラー画像のいずれかを生成する。
【０１６１】
図１７（ｂ）は、光電変換部１６０２，１６０３の夫々における、光線の入射角度とその感度の関係を説明する模式図である。光電変換部１６０２の感度は実線で示し、光電変換部１６０３の感度は点線で示している。これより、光電変換部１６０２に入射する光線と、光電変換部１６０３に入射する光線は、厳密に分離されているわけではなく、ある程度のクロストークが発生していることがわかる。すなわち、図１７（ａ）において、光学フィルタ１４０７の上半分の領域１４０７ｃを通過した光線のうち入射角度の浅い光線は、光電変換部１６０２にも入射する。同様に、図１７（ａ）において、光学フィルタ１４０７の下半分の領域１４０７ｂを通過した光線のうち入射角度の浅い光線は、光電変換部１６０３にも入射する。
【０１６２】
本実施形態では、図１７で説明した通り、光学フィルタ１４０７は、その分割位置を制御することにより、射出瞳領域１４１２を通過する光束を、その一部は可視光成分のみとし、残りは全波長成分、すなわち、可視光成分と赤外光成分とする。すなわち、光学フィルタ１４０７を瞳分割フィルタとして用いる。この光学フィルタ１４０７からの光を光電変換部１６０２，１６０３を有する各異感度取得画素１６０１で受光することにより、白黒画像（輝度画像）だけでなく、カラー画像も取得できる。しかしながら、異感度取得画素１６０１と瞳分割フィルタとしての光学フィルタ１４０７を組み合わせると、各異感度取得画素１６０１の光電変換部１６０２，１６０３の間でクロストークが発生する可能性がある。すなわち、可視光成分のみからなる光束（図１７（ａ）の塗り潰し領域）への赤外光成分を含む光束のクロストークが発生し、異感度取得画素１６０１から出力される２つの画素信号により生成される画像の色再現性の低下が課題となる。そこで、本実施形態では、以下説明する方法により、可視光成分のみからなる光束（図１７（ａ）の塗り潰し領域）が入射する光電変換部１６０３への赤外光成分を含む光束のクロストークを低減させ、異感度取得画素１６０１での色再現性を向上させる。
【０１６３】
図１８は、実施形態６に係るオートデイナイト処理の手順を説明するフローチャートである。本処理は、不図示のＵＩへのユーザ操作などによりオートデイナイト（ＡＤＮ）機能を開始する旨のユーザ指示があった場合に、制御部１４０４が不図示のＲＯＭに格納されるプログラムを読み出すことにより実行される。
【０１６４】
まず、ステップＳ１８０１では、照度環境の初期化、フィルタ位置制御部１４１１による光学フィルタ１４０７の挿抜の初期化を行う。具体的には、制御部１４０４は、不図示の外測センサ（照度測定手段）に測定される外部環境（被写体）の照度が十分照度（第１の閾値以上）であり、光学フィルタ１４０７がＩＲＣＦ状態である場合にステップＳ１８０１の初期化が完了したと判断する。ここで、ＩＲＣＦ状態とは、図２０（ｂ）に示すように、射出瞳領域１４１２を通過する光束の全ての赤外光成分が光学フィルタ１４０７の赤外光遮断フィルタ１５０４により遮断される状態を指す。
【０１６５】
ステップＳ１８０２では、画像の取得を行う。尚、ステップＳ１８０１の実行がされた直後のステップＳ１８０２においては、固体撮像素子１４０５のＡＦＥが、光電変換部１６０２から出力される画素信号と光電変換部１６０３から出力される画素信号の和からカラー画像のＲＡＷデータを生成する。
【０１６６】
ステップＳ１８０３では、測光値の算出を行う。固体撮像素子１４０５で生成されたＲＡＷデータ、もしくは、現像処理部１４０８でそのＲＡＷデータから生成された現像データから測光値を算出する。尚、ステップＳ１８０３において不図示の外測センサにより測光値を取得しても良い。その場合には、ステップＳ１８０２は不要となり、ステップＳ１８０１から直接ステップＳ１８０２に進む。
【０１６７】
ステップＳ１８０４では、照度環境に変化があったかどうかを判定する。具体的には、不図示の外測センサで外部環境の照度を測定し、その測定された照度が十分照度か、低照度（第１の閾値よりも小さい第２の閾値以下）かを判定し、その判定された照度が前回判定された照度から変化したかどうかを判定する。判定に変化があればステップＳ１８０５に進み、判定に変化がなければステップＳ１８０６に進む。
【０１６８】
ステップＳ１８０５では、光学フィルタ１４０７のフィルタ制御処理を行う。このフィルタ制御処理については、図１９、図２２、図２４、図２５で説明する。
【０１６９】
ステップＳ１８０６では、オートデイナイト機能を終了するかどうかを判断する。不図示のＵＩへのユーザ操作などによりオートデイナイト機能を終了する旨のユーザ指示があった場合には、本処理を終了する。一方、オートデイナイト機能を終了しない場合には、ステップＳ１８０２に戻る。尚、ステップＳ１８０４で照度が低照度と測定された直後のステップＳ１８０２においては、固体撮像素子１４０５のＡＦＥが、光電変換部１６０２で取得した画素信号と光電変換部１６０３で取得した画素信号の和から輝度画像のＲＡＷデータを生成する。一方、ステップＳ１８０４で十分照度と測定された直後のステップＳ１８０２においては、固体撮像素子１４０５のＡＦＥが、光電変換部１６０２で取得した画素信号と光電変換部１６０３で取得した画素信号の和からカラー画像のＲＡＷデータを生成する。
【０１７０】
以上、説明した図１８のオートデイナイト処理により、オートデイナイト機能を実現する。なお、オートデイナイト機能の切り替えに連動して、外部環境が低照度の場合はコントラストＡＦを行い、外部環境が十分照度の場合は位相差ＡＦを行う。
【０１７１】
図１９は、図１８のステップＳ１８０５のフィルタ制御処理の手順を示すフローチャートである。
【０１７２】
まず、ステップＳ１９０１では、外部環境が十分照度か、低照度かを判定する。外部環境が低照度であればステップＳ１９０２に進み、外部環境が十分照度であればステップＳ１９０３に進む。
【０１７３】
ステップＳ１９０２では、光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりスライドさせて、光学フィルタ１４０７を瞳分割フィルタ状態とする。ここで、瞳分割フィルタ状態とは、光学フィルタ１４０７が瞳分割フィルタとして用いられている状態を指すが、光学フィルタ１４０７の分割位置は上述のクロストークが生じない位置までスライドされた瞳分割位置に設定される。詳細は図２０（ａ）において説明する。その後、本処理を終了する。
【０１７４】
一方、ステップＳ１９０３では、光学フィルタ１４０７をフィルタ位置制御部１４１１によりスライドさせて、光学フィルタ１４０７をＩＲＣＦ状態とする。詳細は図２０（ｂ）において説明する。その後、本処理を終了する。
【０１７５】
以上により、本実施形態では、オートデイナイト機能の実行中において外部環境が十分照度のときには光学フィルタ１４０７をＩＲＣＦ状態にまでスライドさせ、外部環境が低照度のときには光学フィルタ１４０７を瞳分割フィルタ状態にまでスライドさせる。
【０１７６】
以上、説明した図１９のフィルタ制御処理により、光学フィルタ１４０７の分割位置の制御を実現する。
【０１７７】
図２０は、瞳分割フィルタ状態及びＩＲＣＦ状態での光学フィルタ１４０７の分割位置を説明する図である。
【０１７８】
図２０（ａ）は、光学フィルタ１４０７が瞳分割フィルタ状態である場合のその分割位置を示す模式図である。図２０（ｂ）は、光学フィルタ１４０７がＩＲＣＦ状態である場合のその分割位置を示す模式図である。
【０１７９】
光学フィルタ１４０７はレール１４０７ａに沿ってフィルタ位置制御部１４１１により第１の方向（Ｘ方向）にスライド可能に配置される。
【０１８０】
ここで、光学フィルタ１４０７を瞳分割フィルタ状態とする場合、その分割位置を図２０（ａ）に示す瞳分割位置１４０７ｄに制御する。すなわち、光学フィルタ１４０７の分割位置を、光軸方向から見た際に射出瞳領域１４１２の中心Ｏより−Ｘ方向にずれた位置に制御する。この位置制御により、可視光成分への赤外光成分のクロストークを低減させることができる。クロストーク低減の原理については図２１で説明する。
【０１８１】
一方、光学フィルタ１４０７をＩＲＣＦ状態とする場合、その分割位置を図２０（ｂ）に示す瞳分割位置１４０７ｅに制御する。すなわち、光学フィルタ１４０７の分割位置を、光軸方向から見た際に射出瞳領域１４１２の全てが赤外光遮断フィルタ１５０４で構成される領域１４０７ｃで覆われる位置に制御する。
【０１８２】
尚、フィルタ位置制御部１４１１の代わりに、モータとギアで構成される実施形態２の光学フィルタ挿抜部２０９により光学フィルタ１４０７の位置制御を行うようにしてもよい。
【０１８３】
図２０では、光学フィルタ１４０７の分割位置を制御することにより、光学フィルタ１４０７の状態を瞳分割フィルタ状態やＩＲＣＦ状態に切り替える方法について説明した。しかしながら、光学フィルタ１４０７の状態を外部環境の照度に応じて切り替えることができるのでれば、かかる方法に限定されない。例えば、フィルタ位置制御部１４１１により光学フィルタ１４０７の重心位置が制御されるようにしてもよい。この場合、光学フィルタ１４０７は、赤外光遮断フィルタ１５０４としての少なくとも１つの領域を有する、例えば多孔フィルタであって、その少なくとも１つの領域の重心を制御することで、可視光成分への赤外光成分のクロストークを低減させる。
【０１８４】
図２１は、光学フィルタ１４０７の分割位置の制御によるクロストーク低減方法を説明する図である。
【０１８５】
図２１（ａ）は、光学フィルタ１４０７が瞳分割フィルタ状態である場合のその分割位置を示す図である。図２０で説明した通り、光学フィルタ１４０７が瞳分割フィルタ状態である場合、その分割位置は瞳分割位置１４０７ｄとなる。すなわち、光学フィルタ１４０７の分割位置は、光軸方向から見た際に射出瞳領域１４１２の中心Ｏより−Ｘ方向にずれた位置１４０７ｄに制御される。
【０１８６】
図２１（ｂ）は、光電変換部１６０３に入射する赤外光成分の割合を示す図である。ここでは、光電変換部１６０３の感度（点線）に着目する。光電変換部１６０３の入射光範囲のうち、光学フィルタ１４０７の赤外光遮断フィルタ１５０４により構成される領域１４０７ｃを通過する可視光成分は右下がり斜線で示す。一方、光電変換部１６０３の入射光範囲のうち、光学フィルタ１４０７の全透過フィルタにより構成される領域１４０７ｂを通過する可視光成分と赤外光成分の入射範囲は左下がり斜線で示す。図２０（ａ）に示すように、光学フィルタ１４０７の分割位置を瞳分割位置１４０７ｄとすることで光電変換部１６０３に入射する赤外光成分を低減できる。
【０１８７】
以上、図１９、図２０、図２１で説明した通り、光学フィルタ１４０７を瞳分割フィルタ状態とする場合、その分割位置を光軸方向からみて射出瞳領域１４１２の中心Ｏより−Ｘ方向にずらした瞳分割位置１４０７ｄにスライドさせる。この位置制御により、可視光成分への赤外光成分のクロストークを低減させることができ、異感度取得画素１６０１の色再現性を向上させることができる。
【０１８８】
ここで、図２２、図２３を用いて、図１８のステップＳ１８０５の第１の変形例である、ズーム状態に応じたフィルタ制御処理について説明する。ズーム状態にかかわらず、光学フィルタ１４０７の領域１４０７ｃを通過する光線（可視光成分）と光学フィルタ１４０７の領域１４０７ｂを通過する光線（可視光成分＋赤外光成分）の割合が一定となるように光学フィルタ１４０７の分割位置を制御する。ここで割合が一定とは、テレ側における上記割合とワイド側における上記割合の誤差が１０％以下であることをいう。
【０１８９】
図２２は、図１８のステップＳ１８０５の第１の変形例である、ズーム状態に応じたフィルタ制御処理の手順を示すフローチャートである。
【０１９０】
まず、ステップＳ２２０１では、外部環境が十分照度か、低照度かを判定する。外部環境が低照度であればステップＳ２２０２に進み、外部環境が十分照度であればステップＳ２２０３に進む。
【０１９１】
ステップＳ２２０２では、ズーム状態（テレ、ワイド）の把握を行う。
【０１９２】
ステップＳ２２０３では、ステップＳ２２０２で把握されたズーム状態に応じて光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりスライドさせて、光学フィルタ１４０７の分割位置の制御を行う。具体的には、光学フィルタ１４０７の領域１４０７ｃを通過する光線（可視光成分）と光学フィルタ１４０７の領域１４０７ｂを通過する光線（可視光成分＋赤外光成分）の割合が略同一となるように光学フィルタ１４０７の分割位置を制御する。
【０１９３】
ステップＳ２２０４では、光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりスライドさせてＩＲＣＦ状態とする。
【０１９４】
尚、ステップＳ２２０３において制御される光学フィルタ１４０７の分割位置は、光電変換部１６０３に入射する光成分に関して、異感度取得画素の色バランスが崩れない程度の赤外光成分の割合を予め実験的に把握しておき、それを基にして決めれば良い。詳細は図２３において説明する。
【０１９５】
以上、説明した図２２のフィルタ制御処理により、ズーム状態に応じた光学フィルタ１４０７の位置制御を実現することができる。
【０１９６】
図２３は、図２２のステップＳ２２０３における光学フィルタ１４０７の分割位置の制御方法を説明する図である。
【０１９７】
図２３（ａ）は、光電変換部１６０３の感度と入射角度の関係を説明する模式図である。図２３（ａ）に示すように、テレ側の周辺光線の角度（テレ側の入射光範囲）は、ワイド側の周辺光線の角度（ワイド側の入射光範囲）より狭くなる。
【０１９８】
図２３（ｂ）は、ズーム状態がテレ側での、光電変換部１６０３に入射する赤外光成分の割合を示す図である。ここでは、光電変換部１６０３の感度（点線）に着目する。光電変換部１６０３の入射光範囲のうち、光学フィルタ１４０５の領域１４０７ｃを通過する可視光成分は右下がり斜線で、光学フィルタ１４０５の領域１４０７ｂを通過する可視光成分と赤外光成分の入射範囲は左下がり斜線で示す。図２１で説明したように、光学フィルタ１４０７の分割位置を光軸方向からみて射出瞳領域１４１２の中心Ｏより−Ｘ方向にずらすことで、光電変換部１６０３に入射する赤外光成分が低減できる。
【０１９９】
図２３（ｃ）は、ズーム状態がワイド側での、光電変換部１６０３に入射する赤外光成分の割合を示す図である。ここでも、光電変換部１６０３の感度（点線）に着目する。光電変換部１６０３の入射光範囲のうち、光学フィルタ１４０５の領域１４０７ｃを通過する可視光成分は右下がり斜線で、光学フィルタ１４０５の領域１４０７ｂを通過する可視光成分と赤外光成分の入射範囲は左下がり斜線で示す。図２３（ｃ）における光学フィルタ１４０７の分割位置は図２３（ｂ）の場合と比べて＋Ｘ方向にずらしている。これにより、ズーム状態（テレ、ワイド）に応じて、光学フィルタ１４０５の領域１４０７ｃを通過する光線（可視光成分）と光学フィルタ１４０５の領域１４０７ｂを通過する光線（可視光成分＋赤外光成分）の割合を一定とすることができる。ここで一定とは、割合の誤差が１０％以内であることを指す。
【０２００】
以上、図２２と図２３で説明したとおり、図２２のステップＳ２２０３においてはズーム状態に応じた光学フィルタ１４０７の位置制御が行われる。これにより、光電変換部１６０２での赤外光成分の取得を阻害しないようにすることができる。また、光電変換部１６０３での可視光成分に対する赤外光成分の割合がズーム状態に依存せず一定となり、固体撮像素子１４０５のＡＦＥはズーム状態に依存せず同一の処理で輝度画像又はカラー画像のＲＡＷデータを生成できる。
【０２０１】
以上、図２２、図２３では、ズーム状態に応じた光学フィルタ１４０７の位置制御について説明した。尚、ズーム状態（テレ、ワイド）に応じた制御は、実質的には、レンズ辺縁を通過する光線の入射角度の違いに応じた制御である。そのため、絞り状態に応じて同様の制御を実施することでも、同様の効果を得ることができる。
【０２０２】
ここで、図２４を用いて、図１８のステップＳ１８０５の第２の変形例である、色情報取得判定を行う場合のフィルタ制御処理について説明する。本変形例では、低照度環境で可視光成分が取得できないときは、全透過フィルタ状態に光学フィルタ１４０７がなるように、光学フィルタ１４０７の位置が制御される。ここで、全透過フィルタ状態とは、射出瞳領域１４１２を通過する光束の全てが光学フィルタ１４０７の全透過フィルタの領域を透過する状態を指す。
【０２０３】
図２４は、図１８のステップＳ１８０５の第２の変形例である、色情報取得判定を行う場合のフィルタ制御処理の手順を示すフローチャートである。
【０２０４】
まず、ステップＳ２４０１では、外部環境が十分照度か、低照度かを判定する。外部環境が低照度であればステップＳ２４０２に進み、外部環境が十分照度であればステップＳ２４０３に進む。
【０２０５】
ステップＳ２４０２では、光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりスライドさせて、光学フィルタ１４０７を瞳分割フィルタ状態とする。
【０２０６】
ステップＳ２４０３では、光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりスライドさせて、光学フィルタ１４０７をＩＲＣＦ状態とする。
【０２０７】
ステップＳ２４０４では、固体撮像素子１４０５で生成されたＲＡＷデータ、もしくは、現像処理部１４０８でそのＲＡＷデータから生成された現像データから色情報が取得できているか否かを判定する。色情報が取得できていれば、本処理を終了する。一方、色情報が取得できていなければステップＳ２４０５に進む。
【０２０８】
ステップＳ２４０５では、光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりスライドさせて、光学フィルタ１４０７を全透過フィルタ状態とし、本処理を終了する。
【０２０９】
この変形例では、オートデイナイト機能として３つのフィルタ状態を用意している。十分照度環境ではＩＲＣＦ状態に設定し、低照度で色情報が取得できる環境では瞳分割フィルタ状態に設定し、低照度で色情報が取得できない環境では全透過フィルタ状態に設定する。
【０２１０】
以上、説明した図２４のフィルタ制御処理により、照度環境に応じたフィルタ状態とすることができる。
【０２１１】
ここで、図２５を用いて、図１８のステップＳ１８０５の第３の変形例である、赤外光照射を行う場合のフィルタ制御処理について説明する。本変形例では、撮像装置６０１が低照度環境で図１４において不図示の赤外光照射部（照射手段）を有している。これにより赤外光を撮像対象となる領域に照射するときは、全透過フィルタ状態に光学フィルタ１４０７がなるように、光学フィルタ１４０７の位置が制御される。
【０２１２】
図２５は、図１８のステップＳ１８０５の第３の変形例である、赤外光照射を行う場合のフィルタ制御処理の手順を示すフローチャートである。
【０２１３】
まず、ステップＳ２５０１では、外部環境が十分照度か、低照度かを判定する。外部環境が低照度であればステップＳ２５０２に進み、外部環境が十分照度であればステップＳ２５０３に進む。
【０２１４】
ステップＳ２５０２では、光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりスライドさせて、光学フィルタ１４０７を瞳分割フィルタ状態とする。
【０２１５】
ステップＳ２５０３では、光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりをスライドさせて、光学フィルタ１４０７をＩＲＣＦ状態とする。
【０２１６】
ステップＳ２５０４では、固体撮像素子１４０５で生成されたＲＡＷデータ、もしくは、現像処理部１４０８でそのＲＡＷデータから生成された現像データから色情報が取得できているか否かを判定する。色情報が取得できていれば、本処理を終了する。一方、色情報が取得できていなければステップＳ２５０５に進む。
【０２１７】
ステップＳ２５０５では、赤外光照射部により撮像対象となる領域に赤外光を照射する。
【０２１８】
ステップＳ２５０６では、光学フィルタ１４０７の位置をフィルタ位置制御部１４１１によりスライドさせて、光学フィルタ１４０７を全透過フィルタ状態とし、本処理を終了する。
【０２１９】
この変形例においても、オートデイナイト機能として３つのフィルタ状態を用意している。十分照度環境ではＩＲＣＦ状態に設定し、低照度で色情報が取得できる環境では瞳分割フィルタ状態に設定し、低照度で色情報が取得できない環境では、白黒画像の鮮明さを向上させるために赤外光を照射して全透過フィルタ状態に設定する。
【０２２０】
以上、説明した図２５のフィルタ制御処理により、照度環境に応じたフィルタ状態とすることができる。
【実施形態７】
【０２２１】
以上で示した実施形態１〜６は適宜組み合わせて使用しても良い。例えば、撮像装置１００が、透過率の異なる複数の領域を有する光学フィルタ１０５だけでなく、透過する偏光成分の異なる複数の領域を有する光学フィルタ５０５と、透過する波長の異なる複数の領域を有する光学フィルタ１４０７の全てを有していても良い。これらの光学フィルタ１０５，５０５，１４０７を組み合わせることで、撮像装置１００において、画像のダイナミックレンジを拡大しつつ、色情報、偏光情報、輝度情報を取得することが可能となる。
【０２２２】
また、図２６に示すような撮像システム７００において、撮像装置７０１を、実施形態１〜６に係る撮像装置１００，２００，３００，４００，５００，６０１のいずれかに変更して使用するようにしてもよい。この場合、図２６の撮像システム７００内の撮像装置７０１を被写界深度優先モードで駆動するか否かは、情報処理装置７０３（クライアント装置）を介してユーザが選択できるようになっている。
【０２２３】
尚、情報処理装置７０３は、ネットワーク７０２を介して図２６の撮像システム７００内の撮像装置７０１に電源を供給する構成となっていても良い。
【０２２４】
［その他の実施例］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
【０２２５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０２２６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【０２２７】
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０２２８】
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
【符号の説明】
【０２２９】
１００，２００，３００，４００，５００，６０１，７０１  撮像装置
１０１，２０１，３０１，１４０６  撮像レンズユニット
１０２，２０２，３０２，４０２，１４０５  固体撮像素子
１０３，２０３，３０３，４０３，１４０２  画像処理部
１０４，２０４，３０４，１４０４  制御部
１０５，２０５，３０５，４０５，５０５，１００５，１４０７  光学フィルタ
１０６，２０６，３０６  絞り
１１０，２１０，３１０，４１０，１６０１  異感度取得画素
１１１，１１２，１１４，２１１，２１２，３１１，３１２，４１１，４１２，１６０２，１６０３  光電変換部
１１３，１６０４  マイクロレンズ
【図１】
2019220852.tif 000003
【図２】
2019220852.tif 000004
【図３】
2019220852.tif 000005
【図４】
2019220852.tif 000006
【図５】
2019220852.tif 000007
【図６】
2019220852.tif 000008
【図７】
2019220852.tif 000009
【図８】
2019220852.tif 000010
【図９】
2019220852.tif 000011
【図１０】
2019220852.tif 000012
【図１１】
2019220852.tif 000013
【図１２】
2019220852.tif 000014
【図１３】
2019220852.tif 000015
【図１４】
2019220852.tif 000016
【図１５】
2019220852.tif 000017
【図１６】
2019220852.tif 000018
【図１７】
2019220852.tif 000019
【図１８】
2019220852.tif 000020
【図１９】
2019220852.tif 000021
【図２０】
2019220852.tif 000022
【図２１】
2019220852.tif 000023
【図２２】
2019220852.tif 000024
【図２３】
2019220852.tif 000025
【図２４】
2019220852.tif 000026
【図２５】
2019220852.tif 000027
【図２６】
2019220852.tif 000028
【図２７】
2019220852.tif 000029