(57)【要約】【課題】低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像する。【解決手段】撮像素子の中には焦点検出用の画素が埋め込まれ、位相差検出部１１を構成する。レンズ制御部１２は、位相差信号１０１に基づいて撮像レンズを光軸方向に前後に移動させて、焦点合わせを行なう。撮像部１３は、１回の撮像で、高露光量の画像信号１０３と低露光量の画像信号１０４を含んだ１フレームを出力する。画像合成部１４は、高露光量の画像信号１０３と低露光量の画像信号１０４を合成してＨＤＲ画像１０５を生成する。【選択図】  図１
2015169722.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズと、
被写体撮像画素と焦点検出画素を含み、前記撮像レンズにより集光された光を光電変換する撮像素子と、
マイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
を具備する撮像装置。
【請求項２】
前記撮像素子に含まれる第１の焦点検出画素及び第２の焦点検出画素がそれぞれ入射光を光電変換して得られる画像信号の位相差を検出する位相差検出部と、
前記位相差に基づいて前記撮像レンズの焦点位置を制御するレンズ制御部と、
をさらに備える請求項１に記載の撮像装置。
【請求項３】
前記被写体撮像画素に入射する光量を制御する絞り開口部をさらに備える、
請求項１に記載の撮像装置。
【請求項４】
被写体撮像画素毎に露光量を制御して、露光条件が異なる複数の撮像画像を生成する、
請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記露光条件が異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備える、
請求項４に記載の撮像装置。
【請求項６】
前記画像合成部は、前記撮像素子で生成される高露光画像と低露光画像を合成して、高ダイナミック・レンジの画像を生成する、
請求項５に記載の撮像装置。
【請求項７】
前記画像合成部は、前記撮像素子で生成される高露光画像と中露光画像、低露光画像を合成して、高ダイナミック・レンジの画像を生成する、
請求項５に記載の撮像装置。
【請求項８】
前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備える、
請求項６又は７のいずれかに記載の撮像装置。
【請求項９】
前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させる、
請求項８に記載の撮像装置。
【請求項１０】
前記焦点検出画素によって検出された焦点位置に従って、前記被写体撮像画素を用いて露光条件が異なる複数の撮像画像を光電変換によって生成し、前記露光条件が異なる複数の撮像画像を合成して高ダイナミック・レンジの画像を生成する、
請求項１乃至９のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像する撮像装置に関する。
【背景技術】
【０００２】
撮像素子（イメージセンサー）の高ビット化、ディスプレイでの高ビット対応などによって、画像の高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）化が進んでいる。ＨＤＲ画像は、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達し、現実世界をリアルに表現することができる。ＨＤＲ画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。
【０００３】
ＨＤＲ技術の応用分野として、撮像素子（ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｅｔａｌ  Ｏｘｙｄｅ  Ｓｅｍｉｃｏｎｃｕｄｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｏｐｌｅｄ  Ｄｅｖｉｃｅ）センサー）からキャプチャーした画像を用いた機器やデバイス、ディジタル・スチル・カメラ、動画用カムコーダー、医療用画像カメラ、監視カメラ、ディジタル・シネマ撮影用カメラ、両眼画像カメラ、ディスプレイなどを挙げることができる。
【０００４】
低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像するさまざまの技術が提案されている。
【０００５】
例えば、露光量の異なる複数の撮像画像からＨＤＲ画像を合成する撮像装置について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、複数のフレームから１フレームのＨＤＲ画像を合成する場合、以下のような問題点がある。
【０００６】
（１）複数のフレーム分のメモリーが必要
（２）複数のフレームの撮影と処理のための遅延時間
（３）動被写体でのＭｏｔｉｏｎ  Ｂｌｕｒ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本明細書で開示する技術の目的は、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像することができる、優れた撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
撮像レンズと、
被写体撮像画素と焦点検出画素を含み、前記撮像レンズにより集光された光を光電変換する撮像素子と、
マイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
を具備する撮像装置である。
【０００９】
本願の請求項２に記載の技術によれば、請求項１に記載の撮像装置は、前記撮像素子に含まれる第１の焦点検出画素及び第２の焦点検出画素がそれぞれ入射光を光電変換して得られる画像信号の位相差を検出する位相差検出部と、前記位相差に基づいて前記撮像レンズの焦点位置を制御するレンズ制御部をさらに備えている。
【００１０】
本願の請求項３に記載の技術によれば、請求項１に記載の撮像装置は、前記被写体撮像画素に入射する光量を制御する絞り開口部をさらに備えている。
【００１１】
本願の請求項４に記載の技術によれば、請求項１乃至３のいずれかに記載の撮像装置は、被写体撮像画素毎に露光量を制御して、露光条件が異なる複数の撮像画像を生成するように構成されている。
【００１２】
本願の請求項５に記載の技術によれば、請求項４に記載の撮像装置は、前記露光条件が異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備えている。
【００１３】
本願の請求項６に記載の技術によれば、請求項５に記載の撮像装置の前記画像合成部は、前記撮像素子で生成される高露光画像と低露光画像を合成して、高ダイナミック・レンジの画像を生成するように構成されている。
【００１４】
本願の請求項７に記載の技術によれば、請求項５に記載の撮像装置の前記画像合成部は、前記撮像素子で生成される高露光画像と中露光画像、低露光画像を合成して、高ダイナミック・レンジの画像を生成するように構成されている。
【００１５】
本願の請求項８に記載の技術によれば、請求項６又は７のいずれかに記載の撮像装置は、前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備えている。
【００１６】
本願の請求項９に記載の技術によれば、請求項８に記載の撮像装置の前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させるように構成されている。
【００１７】
本願の請求項１０に記載の技術によれば、請求項１乃至９のいずれかに記載の撮像装置は、前記焦点検出画素によって検出された焦点位置に従って、前記被写体撮像画素を用いて露光条件が異なる複数の撮像画像を光電変換によって生成し、前記露光条件が異なる複数の撮像画像を合成して高ダイナミック・レンジの画像を生成するように構成されている。
【発明の効果】
【００１８】
本明細書で開示する技術によれば、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像することができる、優れた撮像装置を提供することができる。
【００１９】
本明細書で開示する技術を適用する撮像装置は、焦点検出及び調整と高ダイナミック・レンジの画像生成を１フレーム内で行なうので、焦点位置の不一致のない高ダイナミック・レンジの画像を生成することができる。また、複数のフレームから高ダイナミック・レンジの画像を生成する場合の、メモリー、遅延、動被写体のＭｏｔｉｏｎ  Ｂｌｕｒといった問題を解決することができる。
【００２０】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
【００２１】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００２２】
【図１】図１は、本明細書で開示する技術を適用した撮像装置１０の構成を模式的に示した図である。
【図２】図２は、撮像部１３で用いられる撮像素子内の画素配列の一例を示した図である。
【図３】図３は、第１の焦点検出画素Ｓ１の構造を示した図である。
【図４】図４は、第２の焦点検出画素Ｓ２の構造を示した図である。
【図５】図５は、撮像素子におけるピンと状態と位相差との関係を説明するための図である。
【図６】図６は、撮像素子におけるピンと状態と位相差との関係を説明するための図である。
【図７】図７は、被写体撮像画素７０で高露光量での光電変換を行なう様子を示した図である
【図８】図８は、被写像撮像画素８０で低露光量での光電変換を行なう様子を示した図である。
【図９】図９は、高露光画像と低露光画像を同時に撮影したときの撮像画像を例示した図である。
【図１０】図１０は、Ｌ成分画素の補間処理を行なう様子を示した図である。
【図１１】図１１は、Ｈ成分画素の補間処理を行なう様子を示した図である。
【図１２】図１２は、Ｌ成分画素及びＨ成分画素の両方について補間処理を行なって、原画像と同一解像度のＬ成分画像とＨ成分画像が生成される様子を示した図である。
【図１３】図１３は、被写像撮像画素８０で中露光量での光電変換を行なう様子を示した図である。
【図１４】図１４は、高露光画像と中露光画像、低露光画像を同時に撮影したときの撮像画像を例示した図である。
【図１５】図１５は、Ｌ成分画素、Ｍ成分画素、及びＨ成分画素の各々について補間処理を行なって、原画像と同一解像度のＬ成分画像とＭ成分画像、Ｈ成分画像が生成される様子を示した図である。
【発明を実施するための形態】
【００２３】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００２４】
最近のディジタル・カメラは、一般に、自動焦点合わせ（ＡＦ：Ａｕｔｏ  Ｆｏｃｕｓ）技術が導入されている。例えば、撮像素子の中に焦点検出用の画素を埋め込み、撮像レンズの瞳分割を行なう複数の位相差検出によって焦点位置合わせを行なう焦点調整装置について提案がなされている（例えば、特許文献２を参照のこと）。
【００２５】
ここで、露光量の異なる複数の撮像画像からＨＤＲ画像を合成する撮像装置（前述）に自動焦点合わせ機能を適用した場合について考察してみる。
【００２６】
高露光量の画像フレームと、低露光量の画像フレームとをあらかじめキャプチャーしておき、これらの画像を合成することでＨＤＲ画像を生成する。高露光量の画像フレームと、低露光量の画像フレームをそれぞれキャプチャーする際、別々に焦点合わせを行なう。すなわち、複数の画像フレームを用いてＨＤＲ画像生成を行なうとともに、画像フレーム毎に焦点検出及び調整を行なう。このような場合、例えば入力画像中に高速で動く物体があると、本来同じ被写体画像であるにも拘わらず、隣接するフレーム間で焦点位置が両フレームで大きく異なってしまうことが想定される
【００２７】
このため、別フレームである高露光量の画像フレームと低露光量の画像フレームとで別々に焦点合わせを行なってから合成すると、動物体の被写体画像の焦点位置の不一致により、違和感のあるＨＤＲ合成画像が生成される可能性が高くなる。
【００２８】
そこで、本明細書で開示する技術では、焦点検出及び調整と、ＨＤＲ画像生成を１フレーム内で行なうことで、焦点位置の不一致のない高ダイナミック・レンジの画像を生成するようにする。
【００２９】
図１には、本明細書で開示する技術を適用した撮像装置１０の構成を模式的に示している。図示の撮像装置１０は、位相差検出部１１と、レンズ制御部１２と、撮像部１３と、画像合成部１４を備えている。
【００３０】
後述するように、撮像部１３で用いられる撮像素子の中には焦点検出用の画素が埋め込まれており、位相差検出部１１を構成する。撮像部１３並びに位相差検出部１１には、被写体の光（入力画像）１００が入射する。
【００３１】
位相差検出部１１は、入力画像１００に対し、位相差信号１０１を出力する。レンズ制御部１２は、位相差信号１０１に基づいて、撮像部１３内の撮像レンズ（図１には図示しない）を光軸方向に前後に移動させて、焦点合わせを行なう。
【００３２】
撮像部１３は、１回の撮像で、高露光量の画像信号１０３と低露光量の画像信号１０４を含んだ１フレームを出力する。そして、画像合成部１４は、高露光量の画像信号１０３と低露光量の画像信号１０４を合成して、１フレームすなわち１回の撮像で、ＨＤＲ画像１０５を生成する。
【００３３】
図２には、撮像部１３で用いられる撮像素子内の画素配列の一例を示している。図示の例は、ベイヤー配列をベースとし、Ｒ成分検出画素とＧ成分検出画素が交互に配置された行と、Ｇ成分検出画素とＢ成分検出画素が交互に配置された行が繰り返される。Ｒ、Ｇ、Ｂの各成分検出画素の上には、それぞれＲ、Ｇ、Ｂのカラー・フィルターが付加されている。但し、本明細書で開示する技術はベイヤー配列に限定されない。
【００３４】
上述したように、撮像部１３で用いられる撮像素子の中には、焦点検出用の画素が埋め込まれている。図２に示す例では、Ｇ成分検出画素の一部が第１の焦点検出画素Ｓ１で置き換えられた第１の焦点検出画素の行２０１と、Ｇ成分検出画素の一部が第２の焦点検出画素Ｓ２に置き換えられた第２の焦点検出画素の行２０２が、通常の撮像画素の行２０３、２０４の間に挟まれるように配設されている。焦点検出画素Ｓ１、Ｓ２は、Ｒ、Ｇ、Ｂの位置の画素とは光電特性が異なる。通常の（一般的なベイヤー配列の）撮像画素の行では、総画素数Ｎに対し、Ｇの解像度はＮ／２、Ｒ及びＢの解像度はＮ／４になるが、第１及び第２の焦点検出画素の行では、Ｒ、Ｇ、Ｂいずれも解像度はＮ／４になる。
【００３５】
図３には、第１の焦点検出画素Ｓ１の構造を示している。但し、同図上は第１の焦点検出画素Ｓ１を上から眺めた図、同図下は第１の焦点検出画素Ｓ１の断面図である。
【００３６】
第１の焦点検出画素Ｓ１の光入射側にはマイクロ・レンズ３１が形成されている。参照番号３２はマイクロ・レンズ３１を形成するための平面を構成する平滑層であり、高透過率を有し、入射光が低屈折で通過する。参照番号３４は、第１の焦点検出画素Ｓ１の光電変換領域であり、入射した光量に応じた電気信号に変換する。参照番号３３は、遮光層であり、第１の焦点検出画素Ｓ１の光電変換領域３４の中心Ｏに対して一方向に偏った、絞り開口部３３Ａを有する。
【００３７】
また、図４には、第２の焦点検出画素Ｓ２の構造を示している。但し、同図上は第２の焦点検出画素Ｓ２を上から眺めた図、同図下は第２の焦点検出画素Ｓ２の断面図である。
【００３８】
第２の焦点検出画素Ｓ２の光入射側にはマイクロ・レンズ４１が形成されている。参照番号４２はマイクロ・レンズ４１を形成するための平面を構成する平滑層であり、高透過率を有し、入射光が低屈折で通過する。参照番号４４は、第２の焦点検出画素Ｓ２の光電変換領域であり、入射した光量に応じた電気信号に変換する。参照番号４３は、遮光層であり、第２の焦点検出画素Ｓ２の光電変換領域４４の中心Ｏに対して一方向に偏った、絞り開口部４３Ａを有する。絞り開口部４３Ａは、第１の焦点検出画素Ｓ１の絞り開口部３３Ａとは逆方向に偏っているものとする。
【００３９】
図３及び図４に示したような構造によれば、撮像光学系を第１の焦点検出画素Ｓ１から見た場合と、第２の焦点検出画素Ｓ２から見た場合とで、撮像光学系の瞳が対称に分割されたことと等価になる。
【００４０】
撮像光学系が被写体に対してピントが合っている状態では、第１の焦点検出画素Ｓ１の行２０１と第２の焦点検出画素Ｓ２の行２０２からそれぞれ得られる出力（画像信号）は、互いに一致する。
【００４１】
これに対し、撮像光学系のピントがずれている場合は、第１の焦点検出画素Ｓ１の行２０１と第２の焦点検出画素Ｓ２の行２０２からそれぞれ得られる画像信号には位相差が生じる。そして、この位相差の方向は、前ピント状態と後ピント状態では逆になる。
【００４２】
図２〜図４に示した撮像素子におけるピンと状態と位相差との関係について、図５、図６を参照しながら説明する。但し、撮像面上で離間して配置されている第１の焦点検出画素Ｓ１と第２の焦点検出画素を（図２を参照のこと）、図５、図６では、図面の簡素化のため、隣接させて描くとともに、焦点検出画素Ｓ１、Ｓ２以外の画素を省略している。
【００４３】
撮像素子の撮像面の前面には、レンズ・アレイが、撮像レンズの焦点面に対して光軸方向に間隔を空けて配置されている。レンズ・アレイは、マイクロ・レンズを２次元平面上に交互に配置して構成される。そして、各画素に対して１個のマイクロ・レンズを設置しているものとする。
【００４４】
被写体上の特定点からの光束は、第１の焦点検出画素Ｓ１に対応する分割瞳を使い、第１の焦点検出画素Ｓ１に入射する光束Ｌ１と、第２の焦点検出画素Ｓ２に対応する分割瞳を使い、第２の焦点検出画素Ｓ２に入射する光束Ｌ２とに分割される。これら２つの光束は、被写体上の同一点から入射している。したがって、撮像光学系のピントが合った状態では、図５に示すように、各画素Ｓ１、Ｓ２にそれぞれ対応するマイクロ・レンズを通過して、撮像素子上の１点に到達する。この場合、第１の焦点検出画素Ｓ１を含む行と、第２の焦点検出画素Ｓ２を含む行とから、それぞれ得られる画像信号は一致する。
【００４５】
一方、図６に示すように、ｘだけピントがずれている状態では、光束Ｌ１、Ｌ２のマイクロ・レンズへの入射角の変化分だけ各光束Ｌ１、Ｌ２の到達位置が互いにずれる。この結果、第１の焦点検出画素Ｓ１を含む行と、第２の焦点検出画素Ｓ２を含む行からそれぞれ得られる画像信号には位相差が生じる。
【００４６】
以上の原理を利用することで、図１の位相差検出部１１において位相差信号１０１が出力される。
【００４７】
位相差検出部１１は、入力画像１００に対して、図２で示したようなベイヤー配列から成る撮像素子において光電変換された画像のうち、第１の焦点検出画素Ｓ１と第２の焦点検出画素Ｓ２で位相差信号１０１を検出する。レンズ制御部１２は、位相差信号１０１によって、図５の撮像レンズ５０又は図６の撮像レンズ６０を光軸方向に前後に移動させて焦点合わせを行なう。例えば、図６に示したように位相差が存在してピントがずれているのを検出した後に、レンズ制御によってピント合わせを行なった結果、図５に示すように焦点が合うことになる。
【００４８】
そして、焦点合わせを終了すると、レンズ制御部１２は、焦点合わせが終了したことを通知するために制御信号１０２を、撮像部１３に出力する。撮像部１３は、入力画像１００に対して、図２に示したベイヤー配列の画素のうち、焦点検出画素Ｓ１、Ｓ２以外の、被写体画像撮像のための撮像素子（Ｒ，Ｇ，Ｂ）で光電変換された画像を出力する。
【００４９】
ここで、１０３は高い露光量で光電変換された画像、１０４は低い露光量で光電変換された画像であり、これらの画像の生成手段について以下述べる。
【００５０】
被写体画像撮像のための撮像素子で露光量を制御しながら光電変換を行なう仕組みについて、図７及び図８を参照しながら説明する。
【００５１】
図７には、被写体撮像画素７０で高露光量での光電変換を行なう様子を示している。マイクロ・レンズ７１を介して入光した光線が平滑層７２を通過した後、遮光層７３に達する。ここでは、絞り開口部７３Ａの開口率に応じて絞りが決まり、図示のように高露光量の場合には開口率が高く制御される。
【００５２】
また、図８には、被写体撮像画素８０で低露光量での光電変換を行なう様子を示している。マイクロ・レンズ８１を介して入光した光線が平滑層８２を通過した後、遮光層８３に達する。ここでは、絞り開口部８３Ａの開口率に応じて絞りが決まり、図示のように低露光量の場合には開口率が低く制御される。
【００５３】
以上の操作によって、撮像素子の画素単位に光電変換時の露光量を制御することができる。その結果、撮像部１３は、１回の撮像で、高露光量の画像信号１０３と低露光量の画像信号１０４を含んだ１フレームを出力する。
【００５４】
次に、画像合成部１４は、高露光量の画像信号１０３と低露光量の画像信号１０４を合成して、１フレームすなわち１回の撮像で、ＨＤＲ画像１０５を生成し出力する。生成されたＨＤＲ画像１０５は、白飛びや黒潰れなどが生じない画像である。
【００５５】
なお、露光特性が異なる複数の画像を合成して高ダイナミック・レンジの画像を生成するための幾つかの方法が既に当業界で知られており、画像合成部１４におけるＨＤＲ画像の合成は、特定の方法には限定されない。一般には、高い露光量の画像での白飛び画像を低減し、低い露光量での黒潰れを解消しながら、且つ画像全体のダイナミック・レンジが上がるような画像処理を施す方法が知られている。
【００５６】
なお、焦点検出画素Ｓ１、Ｓ２は、Ｒ、Ｇ、Ｂの位置の画素とは光電特性が異なるため、被写体撮像用には用いられない。このため、図２から分かるように、撮像フレームのうち焦点検出画素Ｓ１、Ｓ２の部分の画素の情報が欠けてしまう。
【００５７】
図２に示した例では、ベイヤー配列のうち、Ｇ成分検出画素の一部が焦点検出画素Ｓ１、Ｓ２に置き換えられている。したがって、周辺のＧ画素の情報から焦点検出画素Ｓ１、Ｓ２の画素の情報を補填する方法が考えられる。
【００５８】
また、撮像部１３から出力する１フレームの画像は高露光画素信号と低露光画素信号を含むことから、ダイナミック・レンジが向上する。しかしながら、１フレームに含まれる高露光画像並びに低露光画像はともに、原画像に対して解像度が２分の１の画像に低下する。
【００５９】
図９には、撮像部１３が１フレーム９０１で高露光画像と低露光画像を同時に撮影したときの撮像画像を例示している。１フレームに高露光画素信号と低露光画素信号を含むことから、ダイナミック・レンジが向上する。しかしながら、１フレームに含まれる高露光画像並びに低露光画像はともに、原画像に対して解像度が２分の１の画像に低下することが、図９からも理解できよう。ダイナミック・レンジは向上するが、解像度が落ちるのは、これが理由である。
【００６０】
そこで、撮像素子から出力される撮像画像に対し、隣接するＬ成分画素同士の補間処理（例えば、平均値算出）によって、本来はＨ成分画素のある位置に新たなＬ成分画素Ｌ１、Ｌ２を生成する。これによって、実際には存在しないＬ成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。図１０には、Ｌ成分画素の補間処理を行なう様子を示している。
【００６１】
また、Ｈ成分画素についても同様に、図１１に示すように、隣接するＨ成分画素同士の補間処理（例えば、平均値算出）によって、本来はＬ成分画素のある位置に新たなＨ成分画素Ｈ１、Ｈ２を生成する。これによって、実際には存在しないＨ成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。
【００６２】
図１０及び図１１に示したように、Ｌ成分画素及びＨ成分画素の両方について、他の成分の画素位置に、隣接する同一成分の画素同士の補間処理を行なうと、図１２に示すように、原画像と同一解像度のＬ成分画像１２０１とＨ成分画像１２０２が生成される。
【００６３】
画像合成部１４は、この２枚の画像１２０１、１２０２を合成して、白飛びや黒潰れなどが生じない、高ダイナミック・レンジの画像を生成することができる。但し、露光特性が異なる複数の画像を合成して高ダイナミック・レンジの画像を生成するための幾つかの方法が既に当業界で知られており、本明細書で開示する技術は特定の方法には限定されない。一般には、高い露光量の画像での白飛び画像を低減し、低い露光量での黒潰れを解消しながら、且つ画像全体のダイナミック・レンジが上がるような画像処理を施す方法が知られている。
【００６４】
図７、図８では、被写体撮像画素で高露光量及び低露光量で光電変換を行なう例をそれぞれ示した。さらに、中露光量で光電変換を行なうことで、撮像部１３は、高露光量の画像信号と低露光量の画像信号に加え、中露光量の画像信号を含んだ１フレームを出力することができる。
【００６５】
図１３には、被写体撮像画素１３０で中露光量での光電変換を行なう様子を示している。マイクロ・レンズ１３１を介して入光した光線が平滑層１３２を通過した後、遮光層１３３に達する。ここでは、絞り開口部１３３Ａの開口率に応じて絞りが決まり、図示のように中露光量の場合には開口率が中間に制御される。
【００６６】
この場合、画像合成部１４は、高露光量の画像信号と低露光量の画像信号に加え、中露光量の画像信号を合成して、より高ダイナミック・レンジの画像を生成することができる。
【００６７】
また、図１４には、撮像部１３が１フレーム１４０１で高露光画像と中露光画像、低露光画像を同時に撮影したときの撮像画像を例示している。１フレームに高露光画素信号と中露光画素信号、低露光画素信号を含むことから、ダイナミック・レンジは図９に示した場合よりもさらに向上する。しかしながら、１フレームに含まれる高露光画像並びに低露光画像はともに、原画像に対して解像度が３分の１の画像に低下することが、図１４からも理解できよう。ダイナミック・レンジは向上するが、解像度が落ちるのは、これが理由である。
【００６８】
そこで、撮像画像に対し、Ｌ成分画素と、Ｍ成分画素、Ｈ成分画素の各々について、他の成分の画素位置に、隣接する同一成分の画素同士の補間処理を行なう。これによって、実際には存在しない他の成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。図１５には、Ｌ成分画素、Ｍ成分画素、及びＨ成分画素の各々について補間処理を行なって、原画像と同一解像度のＬ成分画像１５０１とＭ成分画像１５０２、Ｈ成分画像１５０３が生成される様子を示している。
【００６９】
画像合成部１４は、これら３枚の画像１５０１、１５０２、１５０３を合成して、白飛びや黒潰れなどが生じない、さらに高ダイナミック・レンジの画像を生成することができる。但し、露光特性が異なる複数の画像を合成して高ダイナミック・レンジの画像を生成するための幾つかの方法が既に当業界で知られており、本明細書で開示する技術は特定の方法には限定されない。
【００７０】
以上説明してきたように、本実施形態によれば、撮像素子に埋め込んだ焦点検出用の画素を用いて焦点合わせを行ないながら、同時に被写体画像撮像用の画素を用いて高ダイナミック・レンジ画像の生成を１フレーム以内に行なうので、複数フレームを用いて高ダイナミック・レンジ画像を生成する方法に比べて、フレーム・メモリーを節約できるのでハードウェア・コストの低減という効果がある。また、１フレーム以内で処理が完結するので、遅延時間が低減できるという効果もある。
【先行技術文献】
【特許文献】
【００７１】
【特許文献１】特開２０１３−２５５３０１号公報
【特許文献２】特開２０１４−２９３５３号公報
【産業上の利用可能性】
【００７２】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７３】
本明細書で開示する技術は、静止画並びに動画のいずれの高ダイナミック・レンジの画像を撮影する際にも適用することができる。
【００７４】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【００７５】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）撮像レンズと、
被写体撮像画素と焦点検出画素を含み、前記撮像レンズにより集光された光を光電変換する撮像素子と、
マイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
を具備する撮像装置。
（２）前記撮像素子に含まれる第１の焦点検出画素及び第２の焦点検出画素がそれぞれ入射光を光電変換して得られる画像信号の位相差を検出する位相差検出部と、
前記位相差に基づいて前記撮像レンズの焦点位置を制御するレンズ制御部と、
をさらに備える上記（１）に記載の撮像装置。
（３）前記被写体撮像画素に入射する光量を制御する絞り開口部をさらに備える、
上記（１）に記載の撮像装置。
（４）被写体撮像画素毎に露光量を制御して、露光条件が異なる複数の撮像画像を生成する、
上記（１）乃至（３）のいずれかに記載の撮像装置。
（５）前記露光条件が異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備える、
上記（４）に記載の撮像装置。
（６）前記画像合成部は、前記撮像素子で生成される高露光画像と低露光画像を合成して、高ダイナミック・レンジの画像を生成する、
上記（５）に記載の撮像装置。
（７）前記画像合成部は、前記撮像素子で生成される高露光画像と中露光画像、低露光画像を合成して、高ダイナミック・レンジの画像を生成する、
上記（５）に記載の撮像装置。
（８）前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備える、
上記（６）又は（７）のいずれかに記載の撮像装置。
（９）前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させる、
上記（８）に記載の撮像装置。
（１０）前記焦点検出画素によって検出された焦点位置に従って、前記被写体撮像画素を用いて露光条件が異なる複数の撮像画像を光電変換によって生成し、前記露光条件が異なる複数の撮像画像を合成して高ダイナミック・レンジの画像を生成する、
上記（１）乃至（９）のいずれかに記載の撮像装置。
【符号の説明】
【００７６】
１０…撮像装置
１１…位相差検出部、１２…レンズ制御部
１３…撮像部、１４…画像合成部
３１…マイクロ・レンズ、３２…平滑層
３３…遮光層、３３Ａ…絞り開口部、３４…光電変換領域
４１…マイクロ・レンズ、４２…平滑層
４３…遮光層、４３Ａ…絞り開口部、４４…光電変換領域
７０…被写体撮像画素、７１…マイクロ・レンズ、７２…平滑層
７３…遮光層、７３Ａ…絞り開口部、７４…光電変換領域
８０…被写体撮像画素、８１…マイクロ・レンズ、８２…平滑層
８３…遮光層、８３Ａ…絞り開口部、８４…光電変換領域
【図１】
2015169722.tif 000003
【図２】
2015169722.tif 000004
【図３】
2015169722.tif 000005
【図４】
2015169722.tif 000006
【図５】
2015169722.tif 000007
【図６】
2015169722.tif 000008
【図７】
2015169722.tif 000009
【図８】
2015169722.tif 000010
【図９】
2015169722.tif 000011
【図１０】
2015169722.tif 000012
【図１１】
2015169722.tif 000013
【図１２】
2015169722.tif 000014
【図１３】
2015169722.tif 000015
【図１４】
2015169722.tif 000016
【図１５】
2015169722.tif 000017