(57)【要約】【課題】撮像素子の各画素を、中心位置を一致させた複数の異なる感度画素領域に分割し、各領域の出力に基づいてハイダイナミックレンジ画像を生成する装置を提供する。【解決手段】各画素対応のマイクロレンズを介して撮影光を入射する撮像素子を有する。撮像素子の各画素は、画素中央部の高感度画素領域と、画素の辺近傍の内周部に高感度画素領域を囲むように構成された低感度画素領域を有し、高感度画素領域と低感度画素領域の中心位置は一致する構成を有する。さらに、高感度画素領域と低感度画素領域の間に中感度画素領域を有する構成としてもよい。各領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行い、これらを合成してハイダイナミックレンジ画像を生成する。【選択図】図３
2022002229.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を構成する各画素に個別のマイクロレンズが設けられ、
前記撮像素子の各画素は、
画素中央部の高感度画素領域と、
前記高感度画素領域を囲むように構成された低感度画素領域を有し、
前記高感度画素領域と前記低感度画素領域の中心位置は一致する構成である撮像装置。
【請求項２】
前記撮像素子の各画素は、さらに、
前記高感度画素領域と前記低感度画素領域の間に中感度画素領域を有し、
前記中感度画素領域の中心位置は、前記高感度画素領域と前記低感度画素領域の中心位置に一致する構成である請求項１に記載の撮像装置。
【請求項３】
前記高感度画素領域、および前記低感度画素領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行う構成である請求項１に記載の撮像装置。
【請求項４】
前記高感度画素領域、前記中感度画素領域、および前記低感度画素領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行う構成である請求項２に記載の撮像装置。
【請求項５】
前記撮像素子の各画素に構成される複数の異なる感度画素領域の各々は、
感度の高い領域ほど面積が大きい設定である請求項１に記載の撮像装置。
【請求項６】
前記撮像装置は、
画素対応の画素値を算出する出力制御部を有し、
前記出力制御部は、
複数の異なる感度の画素領域各々に対応して設定されたフォトダイオード（ＰＤ）の出力の合成処理により、画素対応の画素値を算出する請求項１に記載の撮像装置。
【請求項７】
前記出力制御部は、
複数の異なる感度の画素領域各々に対応して設定されたフォトダイオード（ＰＤ）の出力の各々について、画素値の算出に利用するか否かの切り替え制御を実行して、画素値算出処理を実行する請求項６に記載の撮像装置。
【請求項８】
前記出力制御部は、
前記複数の異なる感度の画素領域各々が飽和レベルに達したか否かに応じて、前記切り替え制御を実行する請求項７に記載の撮像装置。
【請求項９】
前記出力制御部は、
前記高感度画素領域が飽和レベルに達した場合、前記高感度画素領域以外の低感度画素領域、または中感度画素領域対応のフォトダイオード（ＰＤ）の出力を利用した画素値算出処理を実行する請求項８に記載の撮像装置。
【請求項１０】
前記撮像素子は、
撮像素子中心部から離間した周辺領域の画素の画素中心と画素対応のマイクロレンズの中心をずらした構成を有する請求項１に記載の撮像装置。
【請求項１１】
前記撮像装置は、
前記マイクロレンズと前記撮像素子間にカラーフィルタを有する構成である請求項１に記載の撮像装置。
【請求項１２】
前記カラーフィルタは、
ＲＧＢ配列、またはＲＧＢ配列にＷ（ホワイト）フィルタを混在させたＲＧＢＷ配列、またはＲＧＢ配列に赤外光（ＩＲ）フィルタを混在させたＲＧＢＩＲ配列のいずれかである請求項１１に記載の撮像装置。
【請求項１３】
撮像素子を構成する各画素に個別のマイクロレンズが設けられ、
前記撮像素子の各画素は、
画素中央部の高感度画素領域と、
前記高感度画素領域を囲むように構成された低感度画素領域を有し、
前記高感度画素領域と前記低感度画素領域の中心位置は一致する構成である撮像素子。
【請求項１４】
前記撮像素子の各画素は、さらに、
前記高感度画素領域と前記低感度画素領域の間に中感度画素領域を有し、
前記中感度画素領域の中心位置は、前記高感度画素領域と前記低感度画素領域の中心位置に一致する構成である請求項１３に記載の撮像素子。
【請求項１５】
前記高感度画素領域、および前記低感度画素領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行う構成である請求項１３記載の撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ハイダイナミックレンジ画像を撮影可能とした撮像装置に関する。またマイクロレンズ（Ｍｉｃｒｏ  Ｌｅｎｓ）を用いた撮像装置、および撮像素子に関する。
【背景技術】
【０００２】
最近、撮像素子（イメージセンサ）の高ビット化などにより、画像のハイダイナミックレンジ化が進んでいる。画像のダイナミックレンジは、一般に最小輝度と最大輝度の比で表すことができる。高画質画像として知られるＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像は、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達し、現実世界をリアルに表現することができる。
【０００３】
ＨＤＲ画像は、可視範囲のほとんどすべての輝度を記録することができ、人間の視覚特性と同等のダイナミックレンジと色域をサポートすることができる。ＨＤＲ画像は、陰影のリアルな表現や、眩しさの表現等の点で、従来画像に比較して極めて高画質な画像であると言える。
【０００４】
ハイダイナミックレンジ化を実現する撮像装置の一例を開示した従来技術として、例えば特許文献１（特開２００４−０７９７４７号公報）がある。この特許文献１は、受光素子の感光領域を広い面積の主感光領域と狭い面積の従感光領域に分割して、これら２つの感光領域から個別に出力値（画素値）を取得し、被写体輝度に応じて各領域の画素値を選択または合成して出力する構成である。
【０００５】
狭い面積の従感光領域は、広い面積の主感光領域より受光量が少なくなるため、高輝度の被写体を撮影した場合でも主感光領域より飽和しにくくなり、高輝度被写体対応の高精度な画素値を出力することができる。一方、低輝度被写体を撮影した場合には、広い面積の主感光領域の方が狭い面積の従感光領域より高精度な画素値を出力することができる。
これらの２つの画素値を組み合わせて出力することで、低輝度〜高輝度までの広いダイナミックレンジの画素値を高精度に出力することができる。
【０００６】
この特許文献１に開示された構成は、六角形の画素から構成されるハニカム画素配置を有し、六角形の一辺側の端部狭領域を従感光領域とし、残りの広い領域を主感光領域とした構成を持つ。
しかし、このような構成とすると、主感光領域と従感光領域各々の中心位置がずれてしまう。その結果、主感光領域と従感光領域では撮影される被写体に位置ずれが発生する。
【０００７】
最終的な出力画素値は、主感光領域と従感光領域との合成処理によって算出するが、これらの各領域が異なる被写体画像になると、本来、異なる画素値の合成を行うことになり、１つの被写体位置に対応する正しい画素値を算出することができなくなる。結果として、偽色やアーティファクトが発生しやすくなる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−０７９７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本開示は、例えば、上記の問題点に鑑みてなされたものであり、偽色やアーティファクトの発生を抑えた高画質なハイダイナミックレンジ画像を生成することを可能とした撮像装置、および撮像素子を提供することを目的とする。
【００１０】
また、本開示は、マイクロレンズを用いて高画質なハイダイナミックレンジ画像を生成することを可能とした撮像装置、および撮像素子を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本開示の第１の側面は、
撮像素子を構成する各画素に個別のマイクロレンズが設けられ、
前記撮像素子の各画素は、
画素中央部の高感度画素領域と、
前記高感度画素領域を囲むように構成された低感度画素領域を有し、
前記高感度画素領域と前記低感度画素領域の中心位置は一致する構成である撮像装置にある。
【００１２】
さらに、本開示の第２の側面は、
撮像素子を構成する各画素に個別のマイクロレンズが設けられ、
前記撮像素子の各画素は、
画素中央部の高感度画素領域と、
前記高感度画素領域を囲むように構成された低感度画素領域を有し、
前記高感度画素領域と前記低感度画素領域の中心位置は一致する構成である撮像素子にある。
【００１３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１４】
本開示の一実施例の構成によれば、撮像素子の各画素を、中心位置を一致させた複数の異なる感度画素領域に分割し、各領域の出力に基づいてハイダイナミックレンジ画像を生成する装置が実現される。
具体的には、例えば、各画素対応のマイクロレンズを介して撮影光を入射する撮像素子を有する。撮像素子の各画素は、画素中央部の高感度画素領域と、画素の辺近傍の内周部に高感度画素領域を囲むように構成された低感度画素領域を有し、高感度画素領域と低感度画素領域の中心位置は一致する構成を有する。さらに、高感度画素領域と低感度画素領域の間に中感度画素領域を有する構成としてもよい。各領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行い、これらを合成してハイダイナミックレンジ画像を生成する。
これらの処理により、撮像素子の各画素を、中心位置を一致させた複数の異なる感度画素領域に分割し、各領域の出力に基づいてハイダイナミックレンジ画像を生成する装置が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１５】
【図１】マイクロレンズを有する撮像装置の構成例について説明する図である。
【図２】フィルタの構成例について説明する図である。
【図３】画素の構成例について説明する図である。
【図４】従来技術の画素の構成例について説明する図である。
【図５】画素に対する入射光の構成と、本開示の撮像素子の画素の構成について説明する図である。
【図６】本開示の撮像素子の画素の画素値出力例について説明する図である。
【図７】本開示の撮像素子の画素の画素値出力例について説明する図である。
【図８】本開示の撮像素子の画素の画素値出力例について説明する図である。
【図９】射出瞳補正について説明する図である。
【図１０】本開示の撮像素子の画素の構成例について説明する図である。
【図１１】本開示の撮像素子の画素の構成例について説明する図である。
【図１２】本開示の撮像素子の画素の構成例について説明する図である。
【図１３】本開示の撮像装置の全体構成例について説明する図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照しながら本開示の撮像装置、および撮像素子の詳細について説明する。なお、説明は以下の項目に従って行う。
１．マイクロレンズを備えた撮像素子の構成について
２．本開示の撮像装置の画素の構成例について
３．本開示の撮像装置における画素値算出処理について
４．射出瞳補正について
５．その他の実施例について
６．撮像装置の全体構成例について
７．本開示の構成のまとめ
【００１７】
［１．マイクロレンズを備えた撮像素子の構成について］
まず、図１以下を参照してマイクロレンズを備えた撮像素子の構成について説明する。
本開示の撮像装置は、撮像素子の各画素単位でマイクロレンズ（ＭＬ：Ｍｉｃｒｏ  Ｌｅｎｓ）を配置した構成であり、各画素は個別のマイクロレンズを介した光を入射する構成を持つ。
【００１８】
図１には、撮像素子の（ａ）平面図（上面図）と（ｂ）断面図を示している。（ａ）平面図（上面図）に示すように、撮像素子の上面には小さなレンズ、すなわちマイクロレンズ１１が配置されている。
【００１９】
（ｂ）断面図に示すように、マイクロレンズ１１を介して入射した光は、例えばＲＧＢ等のカラーフィルタによって構成されるフィルタ１２を介して撮像素子を構成する各画素１３に照射され撮像される。各画素は光量に応じた電荷を蓄積し、蓄積電荷が後段の信号処理部に出力され、出力画像が生成される。
【００２０】
図２は、フィルタ１２の例を示す図である。フィルタ１２としては様々なフィルタが適用可能である。
例えば図２（ａ）に示すＲＧＢ配列は、いわゆるベイヤ配列であり一般的なカラー画像を撮影するために用いられるフィルタである。
（ｂ）ＲＧＢＷ配列は、ＲＧＢ各フィルタとＷ（ホワイト）フィルタによって構成されるフィルタである。Ｗフィルタは、ＲＧＢすべての波長の光を透過させるフィルタであり、より光量の多い画像を撮影する際に用いられる。
（ｃ）ＲＧＢＩＲ配列は、ＲＧＢ各フィルタとＩＲ（赤外光：ｉｎｆｒａｒｅｄ）フィルタによって構成されるフィルタである。ＩＲフィルタは、赤外光を透過させるフィルタであり、赤外光の撮影に利用される。
なお、これらのフィルタはすべて従来から知られたフィルタである。
【００２１】
［２．本開示の撮像装置の画素の構成例について］
次に、本開示の撮像装置の特徴である撮像素子の画素構成について説明する。
図３は、本開示の撮像装置の撮像素子の画素構成の一例を示す図である。
図３には、１つの画素の拡大図を示している。
【００２２】
図３に示すように、１つの画素は以下の３つの画素領域に区分されている。
（１）高感度画素領域２１
（２）中感度画素領域２２
（３）低感度画素領域２３
【００２３】
高感度画素領域２１は画素の中心部に構成され、低感度画素領域２３は画素の辺近傍の内周部に高感度画素領域２１と中感度画素領域２２を囲むように構成され、中感度画素領域２２は、高感度画素領域２１と低感度画素領域２３の間に構成されている。
これら３つの画素領域の中心はいずれも画素全体の中心位置、すなわち図に示す画素中心３１の位置にあり、すべて領域の中心位置は一致する構成となっている。
【００２４】
画素には、１つのマイクロレンズを介した光が入射される。画素中心部の広い高感度画素領域２１にはより多くの光が入射することになり、周囲部になるほど照射光が弱まる。結果として、中心の高感度画素領域２１は、被写体からの光をより忠実に反映した光量を入射し、高感度を維持した出力を生成することができる。ただし、例えば被写体の輝度が高く入射光量が多い場合には飽和しやすくなる。
【００２５】
一方、画素の周辺部は、マイクロレンズを介して入射する光量は中心部に比較して低下する。この結果、低感度画素領域２３は、例えば被写体の輝度が高い場合でも飽和する可能性が低いという利点がある。
高感度画素領域２１と低感度画素領域２３の間に構成されている中感度画素領域２２は、高感度画素領域２１と低感度画素領域２３の特性の中間的な特性を有する。
【００２６】
本開示の撮像装置は、これら３つの異なる感度の画素領域から個別に出力値（画素値）を取得し、被写体輝度に応じて各出力の合成態様を変更して最終的な出力値、すなわち画素値を生成して出力する。
これらの３つの画素値を組み合わせて出力することで、低輝度〜高輝度までの広いダイナミックレンジの画素値を高精度な画素値として出力することができる。
なお、具体的な画素値算出処理例については後段において詳細に説明する。
【００２７】
本開示の画素構成の特徴の一つは、３つの異なる感度の画素領域、すなわち、高感度画素領域２１、中感度画素領域２２、低感度画素領域２３、これら３つの画素領域の中心が一致することである。
これら３つの画素領域の中心は、いずれも画素全体の中心位置、すなわち図に示す画素中心３１の位置にあり、すべての領域の中心位置が一致する。
この結果、３つの画素領域の全てにおいて撮影される被写体位置が一致することになる。
【００２８】
最終的な出力画素値は、３つの画素領域の画素値のいずれか、または合成処理によって算出するが、本開示の構成では、各感度画素領域の中心が一致しており、すべての感度画素領域が同じ被写体位置画像を撮影することができる。従って、３つの画素領域の画素値のいずれか、または合成処理によって算出される画素値は、すべて１つの被写体位置に対応する画素値となる。結果として、偽色やアーティファクトが発生することなく高品質な画像を出力することができる。
【００２９】
本開示の画素構成との比較例として、先に従来技術として説明した特許文献１（特開２００４−０７９７４７号公報）に記載の六角形の画素の画素分割構成例を図４に示す。
特許文献１に記載の撮像素子４０は、六角形の画素４１によって構成されている。画素４１は図４に示すように六角形の画素の端部の一部の狭領域を低感度画素領４４（従感光領域）とし、残りの広い領域を高感度画素領域４３（主感光領域）とした構成を持つ。
【００３０】
しかし、この構成では、高感度画素領域４３（主感光領域）の中心位置は図に示す高感度画素中心４７の位置であり、低感度画素領４４（従感光領域）の中心位置は図に示す低感度画素中心４８の位置となる。すなわち、高感度画素領域４３（主感光領域）と、低感度画素領４４（従感光領域）の中心位置は異なる位置となる。結果として高感度画素領域４３（主感光領域）と、低感度画素領４４（従感光領域）では撮影される被写体位置がずれるという問題が発生する。
【００３１】
最終的な出力画素値は、主感光領域と従感光領域との合成処理によって算出するが、図４を参照して説明したようにこれらの各領域が異なる被写体領域の画像に相当すると、本来、異なる画素値の合成を行うことになる。結果として１つの正しい被写体位置に対応する画素値を算出することができず、偽色やアーティファクトを発生しやすくなる。
【００３２】
これに対して、本開示の撮像装置の撮像素子における画素は、３つの異なる感度の画素領域、すなわち、高感度画素領域２１、中感度画素領域２２、低感度画素領域２３、これら３つの画素領域の中心を一致させた構成としているため、３つの画素領域の全てにおいて撮影される被写体位置が一致する。その結果、偽色やアーティファクトが発生することのない高品質な画像を出力することが可能となる。
【００３３】
次に、図５を参照して本開示の撮像素子の断面構成と入射光の例について説明するる
図５の下部には、１つのマイクロレンズ１１とフィルタ１２と１つの画素１３の断面構成を示している。
画素１３は、先に図３を参照して説明した３つの感度領域を有する画素である。すなわち、中心部に高感度画素領域２１、その周囲に中感度画素領域２２、最外周に低感度画素領域２３が構成されている。
【００３４】
被写体撮影光である光は、マイクロレンズ１１を介してフィルタ１２を通過し、画素１３に入射する。
光は、マイクロレンズ１１によって集光され、主に画素の中心部に集められて画素に入射する。
【００３５】
本開示の画素１３は、図に示すように以下のような特徴（ポイント）を有する。
（ポイント１）各感度画素領域の中心が一致する。
（ポイント２）集光率の高い中心部に高感度画素領域を配置することで高感度画素領域の感度を高めることができる。
（ポイント３）低感度画素領域を周辺部に配置することで、低感度画素領域の集光量が下がり、より飽和しにくい。
（ポイント４）中感度画素領域も配置可能。
【００３６】
これらの特徴（ポイント）について説明する。
（ポイント１）は、各感度画素領域の中心が一致した構成であることである。
この構成により、各感度画素の撮影被写体位置を一致させることが可能となる。
【００３７】
（ポイント２）は、集光率の高い中心部に高感度画素領域を配置することで高感度画素領域において、より高感度の画像を撮影することができるということである。
【００３８】
（ポイント３）は、低感度画素領域を周辺部に配置することで、低感度画素領域の集光量が下がり、より飽和しにくいということである。結果として高輝度画像の撮影時にも、飽和レベルに達しない、被写体輝度を反映可能な忠実な画素値を出力することができる。
【００３９】
（ポイント４）は、中感度画素領域も配置可能であるということである。すなわち、中感度画素領域も配置することで、高感度画素領域と低感度画素領域の中間的な特性を持つ画素値データを出力することができる。
【００４０】
本開示の撮像装置の画素は上記の特徴を有している。
本開示の撮像装置では、３つの異なる感度画素領域の画素値を組み合わせて最終的な出力画素値を算出する。この処理により、低輝度〜高輝度まで、輝度レベルを忠実に再現したハイダイナミックレンジ画像を出力することが可能となる。
【００４１】
［３．本開示の撮像装置における画素値算出処理について］
次に、図６以下を参照して本開示の撮像装置における画素値算出処理例について説明する。
【００４２】
図３や図５を参照して説明したように、本開示の撮像装置の撮像素子の画素は、以下の３つの画素領域を有する。
（１）高感度画素領域２１
（２）中感度画素領域２２
（３）低感度画素領域２３
これらの３つの画素領域の中心位置は全て画素の中心部に設定され、一致する構成となっている。
【００４３】
本開示の構成では、上記３つの異なる感度の画素領域において、個別に入射光量に応じた電荷が蓄積されるが、１つの画素からの出力値は１つであり、３つの異なる感度画素領域の各々の蓄積電荷に基づいて、最終的に１つの画素値が算出されて出力されることになる。
【００４４】
具体的な画素値の出力構成について、図６以下を参照して説明する。
図６は、上記３つの異なる感度画素領域の蓄積電荷量に基づいて、最終的な１つの画素値を出力する出力制御部７０等の詳細構成例を示す図である。
【００４５】
図６には、撮像装置の以下の構成要素を示している。
（ａ）高感度画素領域２１、中感度画素領域２２、低感度画素領域２３、これらの３つの画素領域を有する画素５０
（ｂ）ゲート制御部６０
（ｃ）出力制御部７０
（ｄ）信号処理部８０
【００４６】
画素５０の高感度画素領域２１、中感度画素領域２２、低感度画素領域２３、これらの３つの画素領域には、各々個別のＰＤ（フォトダイオード）が装着され、それぞれの画素領域での入射光量に応じた電荷を出力する。
ＰＤｈ５１は、高感度画素領域２１における入射光量に応じた電荷を出力する。
ＰＤｍ５２は、中感度画素領域２２における入射光量に応じた電荷を出力する。
ＰＤｌ５３は、低感度画素領域２３における入射光量に応じた電荷を出力する。
【００４７】
これらのＰＤ（フォトダイオード）５１〜５３の出力は、それぞれ、出力制御部７０に構成された個別のゲート回路Ｔｘｈ７１、Ｔｘｎ７２、Ｔｘｌ７３を介してＦＤ（フローティングディフュージョン）７４に入力される。なお、撮影処理の前処理としてリセット回路（ＲＳＴ）７５により、ＦＤ（フローティングディフュージョン）７４はリセットされる。
【００４８】
リセット処理後の撮影によってＰＤ（フォトダイオード）５１〜５３の出力電荷がゲート回路Ｔｘｈ７１、Ｔｘｎ７２、Ｔｘｌ７３を介してＦＤ（フローティングディフュージョン）７４に入力される。
ＦＤ（フローティングディフュージョン）７４は、ＰＤ（フォトダイオード）５１〜５３の出力に基づく電荷を電圧に変換して、電圧値に基づいてトランジスタ（ＴＲ）７６を動作させ、セレクタ回路（ＳＥＬ）７７を介して出力値（Ｒｅａｄｏｕｔ）７８を出力する。出力値（Ｒｅａｄｏｕｔ）７８は信号処理部８０に入力され、その他の画素の画素値を結合して１つの画像が生成される。
なお、出力値（Ｒｅａｄｏｕｔ）７８は、ＦＤ（フローティングディフュージョン）７４に供給される電荷に応じた出力となる。
【００４９】
ここで、ゲート回路Ｔｘｈ７１、Ｔｘｎ７２、Ｔｘｌ７３は、ゲート制御部６０によってＯＮ／ＯＦＦ制御が行われる。
図７は、ゲート制御部６０による各ゲートのＯＮ／ＯＦＦ制御設定例を示した図である。
【００５０】
ゲート制御部６０は、画素５０を構成する高感度画素領域２１、中感度画素領域２２、および低感度画素領域２３各々が飽和レベルに達するか否かを検出し、各画素領域の飽和レベルをしきい値として、ゲート回路Ｔｘｈ７１、Ｔｘｎ７２、Ｔｘｌ７３各々のＯＮ／ＯＦＦ設定を変更する制御を行う。
【００５１】
例えば、画素値レベルが、
（Ｌ１）０〜高感度画素領域飽和レベルの場合、
（１）高感度画素領域２１対応のゲート回路Ｔｘｈ＝ＯＮ、
（２）中感度画素領域２２対応のゲート回路Ｔｘｍ＝ＯＮ、
（３）低感度画素領域２３対応のゲート回路Ｔｘｌ＝ＯＮ、
このように高感度画素領域２１、中感度画素領域２２、低感度画素領域２３対応のすべてのゲート回路をＯＮとして、実効画素面積を最大として得られる画素値を出力画素値とする。
【００５２】
また、画素値レベルが、
（Ｌ２）高感度画素領域飽和レベル〜中感度画素領域飽和レベルの場合、
（１）高感度画素領域２１対応のゲート回路Ｔｘｈ＝ＯＦＦ（飽和値）、
（２）中感度画素領域２２対応のゲート回路Ｔｘｍ＝ＯＮ、
（３）低感度画素領域２３対応のゲート回路Ｔｘｌ＝ＯＮ、
このように中感度画素領域２２と低感度画素領域２３対応のゲート回路をＯＮとして、中感度画素領域２２の画素値と低感度画素領域２３の画素値の合成結果（加算値）を出力とする。なお、高感度画素領域２１は飽和しているので画素値は一定となる。ここでは、中低感度の２つの値が加算されて出力される。マイクロレンズを通して入ってくるフォトンで高感度に吸収されなかった量が中低感度画素に配分されることになる。
【００５３】
さらに、例えば、画素値レベルが、
（Ｌ３）中感度画素領域飽和レベル〜低感度画素飽和レベルの場合、
（１）高感度画素領域２１対応のゲート回路Ｔｘｈ＝ＯＦＦ（飽和値）、
（２）中感度画素領域２２対応のゲート回路Ｔｘｍ＝ＯＦＦ（飽和値）、
（３）低感度画素領域２３対応のゲート回路Ｔｘｌ＝ＯＮ、
このように低感度画素領域２３対応のゲート回路をＯＮとして低感度画素領域２３の画素値を出力画素値とする。なお、高中感度で吸収されなかったフォトンが低感度画素に入力される。低感度画素領域２３は画素の最外部に位置し、マイクロレンズでの集光が弱い領域であり、飽和しにくい。高中感度画素は飽和しているため、一定値が出力される。
【００５４】
これらのゲート回路制御の結果として、出力制御部７０の出力値（Ｒｅａｄｏｕｔ）、すなわち画素値は、被写体輝度に対応して図８に示すように変化する。
図８に示すグラフは、横軸が輝度（照度）、縦軸が出力画素値（Ｌｏｇ）として、輝度（照度）の変化に伴う出力画素値（Ｌｏｇ）を示したグラフである。
【００５５】
グラフは、輝度に応じて異なる出力を連結した構成となる。
（１）輝度（照度）＝０〜高感度画素飽和レベルの場合、
高感度画素領域２１の画素値のみが選択出力される。
（２）輝度（照度）＝高感度画素飽和レベル〜中感度画素飽和レベルの場合、
高感度画素領域２１の画素値（飽和値）と中感度画素の画素値の加算値が出力される。
（３）輝度（照度）＝中感度画素飽和レベル〜低感度画素飽和レベルの場合、
高感度画素領域２１の画素値（飽和値）と中感度画素の画素値（飽和値）と低感度画素の画素値の加算値が出力される。
【００５６】
なお、撮像素子の画素の感度は６０ｄＢ＝１０００倍程度であり、
３つの画素領域の画素値の合成処理によって、６０ｄＢ×３＝１８０ｄＢの画素値を再現することが可能となる。
具体的には、例えば３つの画素の画素値の合成処理によって、以下の各出力を得ることができる。
（１）高感度画素領域２１のみを使用＝高感度画素領域２１の画素値＝０．０１〜１０（ルクス（Ｌｘ））
（２）高感度画素領域２１と中感度画素領域２２を使用＝１０〜１０，０００（ルクス（Ｌｘ））
（３）高感度画素領域２１と中感度画素領域２２と低感度画素領域２３を使用＝１０，０００〜１０，０００，０００（ルクス（Ｌｘ））
図８に示すグラフの右端上部の輝度が１０，０００，０００（ルクス（Ｌｘ））に相当する輝度レベルとなる。
【００５７】
このように、本開示の撮像装置は、１つの画素を複数の異なる感度の画素領域に分割して、輝度に応じて出力値を制御することで、低輝度〜高輝度の広いダイナミックレンジの画像を生成して出力することが可能となる。
【００５８】
さらに、先に説明したように、本開示の画素に構成される３つの異なる感度の画素領域は、全て、中心位置が画素全体の中心部に位置する構成であり、各画素の出力を合成して１つの画素値を算出する場合、各感度の画素領域に入射する光に対応する被写体位置がすべて一致する。従って、異なる感度の複数の画素領域の画素値の合成処理が、同じ被写体位置の画素値となり、色ずれやアーティファクト等が発生せず、高品質な画像を出力することが可能となる。
【００５９】
［４．射出瞳補正について］
次に、本開示の撮像装置の一構成例として、射出瞳補正を考慮した撮像装置の構成例について説明する。
【００６０】
本開示の撮像素子は、先に図１他を参照して説明したように画素単位のマイクロレンズを配置した構成を持つ。このような撮像素子においては入射光が撮像素子の中央部では画面に対して垂直となり、周辺側ほど垂直から角度をもった斜め光へ変化する。
すなわち、撮像素子の画素面上への光の入射角は、その画素位置によって変わってくる。
【００６１】
このように、画素位置によって入射光の入射角が変化してしまうと、撮像素子の中央部と、周辺部では入力光の強度や質に変化が発生し、画像全体の均一性が失われる。このように撮像素子の位置による光の入射角の変化による各画素に対する入力光の変化を低減する補正として射出瞳補正を行う。
【００６２】
射出瞳補正の具体的な処理は、撮像素子の周辺部に近い位置ほどマイクロレンズの中心と画素の中心をずらして配置する処理である。
この処理により、撮像素子の周辺部において発生する斜め入射光を受光画素の中心に近い位置に入射させることが可能となる。
【００６３】
図９を参照して、射出瞳補正の具体例について説明する。
図９（１），（２）は、いずれも撮像素子の周辺部の画素の１つの断面構成を示す図である。
図９（１）は、射出瞳補正を行っていない場合の入射光の例である。
図９（１）に示す構成では、マイクロレンズ１１、フィルタ１２、画素１３の中心がすべて一致している。
【００６４】
前述したように、撮像素子の中央部では画面に対して垂直な入射光でも、周辺側では斜め光へ変化する。図に示す光はこの斜め光を示している。
図９（１）に示すように斜め光がマイクロレンズ１１に入射して通過し、画素１３に入射する位置は、画素１３の中心から大きく外れた領域となってしまう。
【００６５】
このように画素の端部領域に光が入射してしまうと、高感度画素領域２１より中感度画素領域２２や低感度画素領域２３の方が、より高い強度の光を入射してしまう可能性がある。
このような状態が発生すると、先に図８を参照して説明した画素値算出を行っても精度の高い画素値を算出して出力することができなくなる可能性がある。
【００６６】
このような事態を防止するため射出瞳補正を行う。すなわち、撮像素子の周辺部にいくに連れてマイクロレンズの中心と画素の中心をずらして配置する。
図９（２）がこの射出瞳補正を実行した後の画素の設定例である。
図９（２）に示す構成では、マイクロレンズ１１とフィルタ１２の中心と、画素１３の中心をずらした設定としている。
【００６７】
このようにマイクロレンズ１１と画素１３の中心をずらした設定とすることで、斜め光がマイクロレンズ１１に入射して通過して画素１３に入射する場合、光の入射位置を画素１３の中心に近い位置に変更することが可能となる。
このような処理により、撮像素子全体において各画素に対する入射光の位置を各画素のほぼ中心位置に設定する制御が可能となり、画素位置に応じた入射光の変化量を低減することができる。
【００６８】
この射出瞳補正を行うことで、撮像素子を構成する全ての画素に対する光の入射態様が均一化される。この結果、先に図６〜図８を参照して説明した出力画素値の算出処理により、低輝度〜高輝度の広いダイナミックレンジの高精度な画素値からなる画像を生成して出力することが可能となる。
【００６９】
［５．その他の実施例について］
次に、図１０以下を参照してその他の実施例について説明する。
以下の実施例について、順次、説明する。
（１）画素の区分領域の変更例
（２）欠陥画素の検出構成例
（３）赤外光（ＩＲ）を用いたセンシング機能適用構成例
（４）積層化構成における支持基盤の構成について
【００７０】
（１）画素の区分領域の変更例
まず、画素の区分領域の変更例について説明する。
先に図３を参照して説明した画素の構成は、１つの画素を以下の３つの画素領域に区分した構成である。
（１）高感度画素領域２１
（２）中感度画素領域２２
（３）低感度画素領域２３
【００７１】
高感度画素領域２１は画素の中心部に構成され、低感度画素領域２３は画素の周辺部に構成され、中感度画素領域２２は、高感度画素領域２１と低感度画素領域２３の間に構成されている。
これら３つの画素領域の中心はいずれも画素全体の中心位置、すなわち図３に示す画素中心３１の位置にあり、すべて一致する。
【００７２】
１つの画素の区分領域の設定例は、図３に示す構成以外にもさまざまな構成が可能である。
図１０に示す画素の構成は、先に図３を参照して説明した画素と同様、１つの画素を以下の３つの画素領域に区分した構成である。
（１）高感度画素領域２１
（２）中感度画素領域２２
（３）低感度画素領域２３
【００７３】
ただし、図１０に示す各感度の画素領域の面積が、
高感度画素領域２１＞中感度画素領域２２＞低感度画素領域２３
このような設定としている。
すなわち、高感度画素領域２１が最も広い面積を有し、次に中感度画素領域２２が広く、低感度画素領域２３が最も狭い面積を有する。
このような設定とすることで、各感度画素領域の受光量を以下のような設定とすることができる。
高感度画素領域２１＞中感度画素領域２２＞低感度画素領域２３
【００７４】
図１１に示す例は、画素領域を円形とした例である。先に図３を参照して説明した構成と同様、１つの画素を以下の３つの画素領域に区分した構成である。
（１）高感度画素領域２１
（２）中感度画素領域２２
（３）低感度画素領域２３
【００７５】
本例では、中心部の円領域を高感度画素領域２１とし、最外周の環状領域を低感度画素領域２３とし、その間に中感度画素領域２２を構成している。
このような構成としてもよい。
【００７６】
図１２に示す例は、１つの画素を以下の２つの画素領域に区分した構成である。
（１）高感度画素領域２１
（２）低感度画素領域２３
この例では、中感度画素領域がないが、高感度画素領域の画素値と低感度画素領域の画素値の２つの画素値を合成することで、広いダイナミックレンジの画素値を出力することができる。
【００７７】
（２）欠陥画素の検出構成例
次に、欠陥画素の検出構成例について説明する。本開示の撮像装置の画素は、先に図３他を参照して説明したように、１つの画素を以下の３つの画素領域に区分した構成である。
（１）高感度画素領域２１
（２）中感度画素領域２２
（３）低感度画素領域２３
【００７８】
これらの画素の画素中心は一致し、また、各感度画素の感度は、基本的に予め設計された固定値に設定される。この各感度画素の感度情報を例えば撮像装置内のメモリに保存し、実際の撮影時に外れ値の発生の有無を検出する。検出したら故障と判定する。本開示の感度対応の分割領域を持つ画素を有する構成では、このような欠陥画素の検出を各領域単位で行うことが可能となる。
【００７９】
（３）赤外光（ＩＲ）を用いたセンシング機能適用構成例
先に図２を参照して説明したフィルタ構成において、図２（ｃ）を参照して説明したＲＧＢＩＲフィルタは、赤外光の撮影が可能な構成である。
一方、本開示の撮像装置の画素構成は、
（１）高感度画素領域２１
（２）中感度画素領域２２
（３）低感度画素領域２３
これらの３つの異なる感度の画素領域を有する。
【００８０】
一般的に赤外光の光強度は弱いため、ＲＧＢＩＲフィルタを利用してセンシング処理を行う場合、ＩＲ画素では、中感度画素領域２２や、低感度画素領域２３の出力は参照せず、高感度画素領域２１の出力値のみを利用するといった画素単位の選択的な感度画素領域の利用が可能である。
【００８１】
また、フィルタとしてＲＧＢＷフィルタを用いる構成では、Ｗ画素の入射光量が他の画素に比較して大きくなるが、低感度画素領域は飽和する可能性が低いため、有効な画素値を出力できる可能性が高まることになる。
【００８２】
（４）積層化構成における支持基盤の構成について
本開示の図１に示すマイクロレンズ１１、フィルタ１２、画素１３の構成は、半導体製造プロセスにおいて一体的に製造することが可能である。
例えば支持基盤上に画素を形成し、その上にフィルタ、さらに最上部にマイクロレンズを形成する。
支持基板内、あるいは支持基板と画素の間に、各種の信号処理回路や認識処理回路、メモリ等を構成することが可能となる。
このような構成とすることで、装置全体の小型化、および集積化が実現される。
【００８３】
［６．撮像装置の全体構成例について］
最後に、図１３を参照して撮像装置１００の全体構成例について説明する。
図１３に示す撮像装置１００は、マイクロレンズ１０１、撮像素子１０２、ＡＤ変換部１０３、フレームメモリ１０４、信号処理部（信号処理ＬＳＩ）１０５、メモリ１０６、表示部（ＬＣＤ／ＥＶＦ）１０７、記録部１０８、操作部１０９、制御部１１０を有する。
【００８４】
操作部１０９は、例えばレリーズボタン（シャッターボタン）や、撮影態様、撮影モードの設定、表示部１０７の表示画像の設定などのユーザ入力を行うための操作部である。
なお、表示部１０７をタッチパネル形式としてユーザ操作部として利用することも可能である。
【００８５】
制御部１１０は、撮像素子１０２〜記録部１０８に対する制御信号や同期信号を入力し、各構成部の処理の実行タイミングの制御等、様々な処理制御を実行する。
例えば、撮像素子１０２の処理タイミングを規定する同期信号の出力制御や、表示部１０７の表示画像の切り換えタイミングを規定する同期信号の出力制御等を実行する。
制御部１１０は、具体的には、図示しない記憶部に格納されたプログラムに従った処理を実行するＣＰＵ等によって構成される。
プログラムは、例えば、画像撮影、画像記録、画像表示処理の制御プログラム、同期信号出力制御プログラム等によって構成される。
【００８６】
マイクロレンズ１０１を介して入射される光は撮像素子１０２に入射し、光電変換による画像データを出力する。なお、撮像素子１０２は、先に図６を参照して説明した画素５０の他、出力制御部７０、ゲート制御部６０も含む構成である。撮像素子１０２の出力画像に基づいて生成される画像データは、表示部１０７に表示され、また記録部１０８に格納される。
例えば、撮像素子１０２からの出力画像はＡＤ変換部１０３に入力される。ＡＤ変換部１０３は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を、フレームメモリ１０４に格納する。
【００８７】
フレームメモリ１０４に格納された画像は、順次、信号処理部（信号処理ＬＳＩ）１０５に出力される。
【００８８】
信号処理部１０５は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行する。
信号処理部１０５は、表示部１０７に表示するための表示用画像、または、記録部１０８に格納するための記録用画像の少なくともいずれかを生成してメモリ１０６に格納する。
【００８９】
表示部１０７は、メモリ１０６に格納された表示用画像を表示する。表示部１０７は、例えばＬＣＤやＥＶＦ等によって構成され、撮影者が確認することができる。
また、記録部１０８は、メモリ１０６に格納された記録用画像を格納する。
【００９０】
［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【００９１】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  撮像素子を構成する各画素に個別のマイクロレンズが設けられ、
前記撮像素子の各画素は、
画素中央部の高感度画素領域と、
前記高感度画素領域を囲むように構成された低感度画素領域を有し、
前記高感度画素領域と前記低感度画素領域の中心位置は一致する構成である撮像装置。
【００９２】
（２）  前記撮像素子の各画素は、さらに、
前記高感度画素領域と前記低感度画素領域の間に中感度画素領域を有し、
前記中感度画素領域の中心位置は、前記高感度画素領域と前記低感度画素領域の中心位置に一致する構成である（１）に記載の撮像装置。
【００９３】
（３）  前記高感度画素領域、および前記低感度画素領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行う構成である（１）または（２）に記載の撮像装置。
【００９４】
（４）  前記高感度画素領域、前記中感度画素領域、および前記低感度画素領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行う構成である（２）に記載の撮像装置。
【００９５】
（５）  前記撮像素子の各画素に構成される複数の異なる感度画素領域の各々は、
感度の高い領域ほど面積が大きい設定である（１）〜（４）いずれかに記載の撮像装置。
【００９６】
（６）  前記撮像装置は、
画素対応の画素値を算出する出力制御部を有し、
前記出力制御部は、
複数の異なる感度の画素領域各々に対応して設定されたフォトダイオード（ＰＤ）の出力の合成処理により、画素対応の画素値を算出する（１）〜（５）いずれかに記載の撮像装置。
【００９７】
（７）  前記出力制御部は、
複数の異なる感度の画素領域各々に対応して設定されたフォトダイオード（ＰＤ）の出力の各々について、画素値の算出に利用するか否かの切り替え制御を実行して、画素値算出処理を実行する（６）に記載の撮像装置。
【００９８】
（８）  前記出力制御部は、
前記複数の異なる感度の画素領域各々が飽和レベルに達したか否かに応じて、前記切り替え制御を実行する（７）に記載の撮像装置。
【００９９】
（９）  前記出力制御部は、
前記高感度画素領域が飽和レベルに達した場合、前記高感度画素領域以外の低感度画素領域、または中感度画素領域対応のフォトダイオード（ＰＤ）の出力を利用した画素値算出処理を実行する（８）に記載の撮像装置。
【０１００】
（１０）  前記撮像素子は、
撮像素子中心部から離間した周辺領域の画素の画素中心と画素対応のマイクロレンズの中心をずらした構成を有する（１）〜（９）いずれかに記載の撮像装置。
【０１０１】
（１１）  前記撮像装置は、
前記マイクロレンズと前記撮像素子間にカラーフィルタを有する構成である（１）〜（１０）いずれかに記載の撮像装置。
【０１０２】
（１２）  前記カラーフィルタは、
ＲＧＢ配列、またはＲＧＢ配列にＷ（ホワイト）フィルタを混在させたＲＧＢＷ配列、またはＲＧＢ配列に赤外光（ＩＲ）フィルタを混在させたＲＧＢＩＲ配列のいずれかである（１１）に記載の撮像装置。
【０１０３】
（１３）  撮像素子を構成する各画素に個別のマイクロレンズが設けられ、
前記撮像素子の各画素は、
画素中央部の高感度画素領域と、
前記高感度画素領域を囲むように構成された低感度画素領域を有し、
前記高感度画素領域と前記低感度画素領域の中心位置は一致する構成である撮像素子。
【０１０４】
（１４）  前記撮像素子の各画素は、さらに、
前記高感度画素領域と前記低感度画素領域の間に中感度画素領域を有し、
前記中感度画素領域の中心位置は、前記高感度画素領域と前記低感度画素領域の中心位置に一致する構成である（１３）に記載の撮像素子。
【０１０５】
（１５）  前記高感度画素領域、および前記低感度画素領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行う構成である（１３）または（１４）記載の撮像素子。
【０１０６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【産業上の利用可能性】
【０１０７】
以上、説明したように、本開示の一実施例の構成によれば、撮像素子の各画素を、中心位置を一致させた複数の異なる感度画素領域に分割し、各領域の出力に基づいてハイダイナミックレンジ画像を生成する装置が実現される。
具体的には、例えば、各画素対応のマイクロレンズを介して撮影光を入射する撮像素子を有する。撮像素子の各画素は、画素中央部の高感度画素領域と、画素の辺近傍の内周部に高感度画素領域を囲むように構成された低感度画素領域を有し、高感度画素領域と低感度画素領域の中心位置は一致する構成を有する。さらに、高感度画素領域と低感度画素領域の間に中感度画素領域を有する構成としてもよい。各領域は、各々個別のフォトダイオード（ＰＤ）を有し、各領域単位で個別の受光量対応の電荷出力を行い、これらを合成してハイダイナミックレンジ画像を生成する。
これらの処理により、撮像素子の各画素を、中心位置を一致させた複数の異なる感度画素領域に分割し、各領域の出力に基づいてハイダイナミックレンジ画像を生成する装置が実現される。
【符号の説明】
【０１０８】
１１  マイクロレンズ
１２  フィルタ
１３  画素
２１  高感度画素領域
２２  中感度画素領域
２３  低感度画素領域
５０  画素
６０  ゲート制御部
７０  出力制御部
８０  信号処理部
１００  撮像装置
１０１  マイクロレンズ
１０２  撮像素子
１０３  ＡＤ変換部
１０４  フレームメモリ
１０５  信号処理部
１０６  メモリ
１０７  表示部
１０８  記録部
１０９  操作部
１１０  制御部
【図１】
2022002229.tif 000003
【図２】
2022002229.tif 000004
【図３】
2022002229.tif 000005
【図４】
2022002229.tif 000006
【図５】
2022002229.tif 000007
【図６】
2022002229.tif 000008
【図７】
2022002229.tif 000009
【図８】
2022002229.tif 000010
【図９】
2022002229.tif 000011
【図１０】
2022002229.tif 000012
【図１１】
2022002229.tif 000013
【図１２】
2022002229.tif 000014
【図１３】
2022002229.tif 000015