(57)【要約】【課題】低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像する。【解決手段】レンズ・アレイ３０２は、低露光レンズの特性を持つＬレンズと高露光レンズの特性を持つＨレンズという２種類のマイクロ・レンズを２次元平面上に交互に配置して構成され、撮像素子３０１の１画素に対して１個のマイクロ・レンズを設置する。ＬレンズとＨレンズの撮像画像が各々、撮像素子３０１上の画素に入力して、光電変換が行なわれる。Ｈ画素からは高露光画素信号１０３、Ｌ画素からは低露光画素信号１０４がそれぞれ出力される。【選択図】  図３
2015181213.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
露光条件が異なるマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されて、各マイクロ・レンズが出力する光を前記撮像素子の撮像面に結像させるレンズ・アレイと、
を具備する撮像装置。
【請求項２】
前記撮像素子から出力される露光条件の異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備える、
請求項１に記載の撮像装置。
【請求項３】
前記レンズ・アレイは、低露光レンズ特性を持つマイクロ・レンズと高露光レンズ特性を持つマイクロ・レンズを含み、
前記撮像素子は、前記低露光レンズ特性及び前記高露光レンズ特性を持つ各マイクロ・レンズの出力光をそれぞれ光電変換して低露光画像と高露光画像を撮影し、
前記画像合成部は、前記低露光画像と前記高露光画像を合成して高ダイナミック・レンジの画像を生成する、
請求項２に記載の撮像装置。
【請求項４】
前記レンズ・アレイは、露光レンズ特性が異なる３種類以上のマイクロ・レンズを含み、
前記撮像素子は、露光レンズ特性毎のマイクロ・レンズの出力光をそれぞれ光電変換して露光条件が異なる３種類以上の画像を撮影し、
前記画像合成部は、前記露光条件が異なる３種類以上の撮像画像を合成して高ダイナミック・レンジの画像を生成する、
請求項２に記載の撮像装置。
【請求項５】
前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備える、
請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させる、
請求項５に記載の撮像装置。
【請求項７】
前記マイクロ・レンズは、対応する露光条件に合わせた光量を制御するための絞りを備える、
請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
前記撮像素子のｍ×ｎ個の画素がそれぞれ割り当てられた複数のマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データを合成する画像合成部と、
を具備する撮像装置。
【請求項９】
前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像を生成する、
請求項８に記載の撮像装置。
【請求項１０】
前記画像合成部は、各マイクロ・レンズを通過する左眼用の光線を受光する画素から読み出した画像データに基づいて左眼用画像を合成するとともに、右眼用の光線を受光する画素から読み出した画像データに基づいて右眼用画像を合成する、
請求項８に記載の撮像装置。
【請求項１１】
前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、露光条件の異なる複数の画像を同時に生成する、
請求項８に記載の撮像装置。
【請求項１２】
前記画像合成部は、各マイクロ・レンズを通過する光を受光するｍ×ｎ個の画素のうち、低露光条件に設定された画素から読み出した画像データに基づいて低露光画像を生成するとともに、高露光条件に設定された画素から読み出した画像データに基づいて高露光画像を前記低露光画像と同時に生成する、
請求項１１に記載の撮像装置。
【請求項１３】
前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像と、低露光画像及び高露光画像を同時に生成する、
請求項８に記載の撮像装置。
【請求項１４】
前記画像合成部は、同時に生成した低露光画像と高露光画像を合成して、高ダイナミック・レンジ画像を生成する、
請求項１１乃至１３のいずれかに記載の撮像装置。
【請求項１５】
前記撮像素子は、水平方向及び垂直方向に沿って格子状に正方配列した画素群を、受光面内において所定の角度だけ回転した状態で配設する、
請求項８に記載の撮像装置。
【請求項１６】
それぞれの露光条件に合わせた光量となるように各画素の露光時間を制御する、
請求項１１乃至１３のいずれかに記載の撮像装置。
【請求項１７】
それぞれの露光条件に合わせた光量となるように各画素に入射する光の絞り量を制御する、
請求項１１乃至１３のいずれかに記載の撮像装置。
【請求項１８】
前記画像合成部で生成した画像をエンコードしてコード・ストリームを出力するエンコード部をさらに備える、
請求項１３に記載の撮像装置。
【請求項１９】
指示情報に基づいてステレオ画像又は高ダイナミック・レンジ画像のいずれを生成するかを選択し、
前記エンコード部は、ステレオ画像を生成することが選択されたときにはステレオ画像のエンコード結果を出力し、高ダイナミック・レンジ画像を生成することが選択されたときには高ダイナミック・レンジ画像のエンコード結果を出力する、
請求項１８に記載の撮像装置。
【請求項２０】
前記エンコード部は、高ダイナミック・レンジ画像をエンコードする際に、高ダイナミック・レンジ画像をトーン・マッピングするトーン・マッピング部と、トーン・マッピングした後の画像をエンコードする第１のエンコーダー部と、前記第１のエンコーダー部によるエンコード結果をデコードするデコーダー部と、前記デコーダー部によるデコード結果を逆トーン・マッピングする逆トーン・マッピング部と、元の高ダイナミック・レンジ画像と逆トーン・マッピングした画像の差分を計算する差分計算部と、前記差分計算部による差分画像をエンコードする第２のエンコーダー部を備える、
請求項１９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像する撮像装置に関する。
【背景技術】
【０００２】
撮像素子（イメージセンサー）の高ビット化、ディスプレイでの高ビット対応などによって、画像の高ダイナミック・レンジ（ＨＤＲ：Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）化が進んでいる。ＨＤＲ画像は、最大明度色と最低明度色の間のコントラスト比が例えば１００００：１以上に達し、現実世界をリアルに表現することができる。ＨＤＲ画像は、陰影をリアルに表現できる、露出をシミュレーションできる、眩しさを表現できるなどの利点がある。
【０００３】
ＨＤＲ技術の応用分野として、撮像素子（ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ｅｔａｌ  Ｏｘｙｄｅ  Ｓｅｍｉｃｏｎｃｕｄｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｏｐｌｅｄ  Ｄｅｖｉｃｅ）センサー）からキャプチャーした画像を用いた機器やデバイス、ディジタル・スチル・カメラ、動画用カムコーダー、医療用画像カメラ、監視カメラ、ディジタル・シネマ撮影用カメラ、両眼画像カメラ、ディスプレイなどを挙げることができる。
【０００４】
低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像するさまざまの技術が提案されている。
【０００５】
例えば、露光量の異なる複数の撮像画像からＨＤＲ画像を合成する撮像装置について提案がなされている（例えば、特許文献１を参照のこと）。しかしながら、複数のフレームから１フレームのＨＤＲ画像を合成する場合、以下のような問題点がある。
【０００６】
（１）複数のフレーム分のメモリーが必要
（２）複数のフレームの撮影と処理のための遅延時間
（３）動被写体でのＭｏｔｉｏｎ  Ｂｌｕｒ
【０００７】
また、露光値に対応する透明度が異なるセルの２次元アレイからなるマスク板を画像センシング・デバイスの前に置いて、１フレーム内で画素毎に露出が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して高ダイナミック・レンジの画像信号を生成する撮像装置について提案がなされている（例えば、特許文献２を参照のこと）。
【０００８】
他方、１フレームから特性又は撮像条件が異なる画像信号を得る技術として、Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ（ＬＦＰ）技術が知られている。ＬＦＰを用いた撮像装置は、撮像レンズとイメージ・センサーの間にレンズ・アレイを配置したものである。被写体からの入射光線は、レンズ・アレイにおいて各視点の光線に分離された後に、イメージ・センサーで受光される。そして、イメージ・センサーから得られる画素データを用いて、同時刻に多視点の画像を生成する（例えば、特許文献３、非特許文献１を参照のこと）。
【０００９】
ＬＰＦ技術は、レンズ・アレイを用いて視点分割して、１フレーム内に複数の視点の画像を生成する。具体的には、ＬＦＰ技術を用いた撮像装置では、レンズ・アレイの１つのレンズを通過した光線は、イメージ・センサー上のｍ×ｎ画素（但し、ｍ、ｎはそれぞれ１以上の整数とする）の画素において受光される。すなわち、各レンズに対応する画素数（ｍ×ｎ個）分の視点画像を得ることができる。ＬＦＰ技術を用いた撮像装置のこのような特徴を利用すれば、位相差の異なる他視点のうち、左方向と右方向の各視点における視差画像を生成することができる。つまり、両眼視差を使ったストレオ画像視が可能になる。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本明細書で開示する技術の目的は、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像することができる、優れた撮像装置を提供することにある。
【課題を解決するための手段】
【００１１】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
露光条件が異なるマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されて、各マイクロ・レンズが出力する光を前記撮像素子の撮像面に結像させるレンズ・アレイと、
を具備する撮像装置である。
【００１２】
本願の請求項２に記載の技術によれば、請求項１に記載の撮像装置は、前記撮像素子から出力される露光条件の異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備えている。
【００１３】
本願の請求項３に記載の技術によれば、請求項２に記載の撮像装置の前記レンズ・アレイは、低露光レンズ特性を持つマイクロ・レンズと高露光レンズ特性を持つマイクロ・レンズを含んでいる。そして、前記撮像素子は、前記低露光レンズ特性及び前記高露光レンズ特性を持つ各マイクロ・レンズの出力光をそれぞれ光電変換して低露光画像と高露光画像を撮影し、前記画像合成部は、前記低露光画像と前記高露光画像を合成して高ダイナミック・レンジの画像を生成するように構成されている。
【００１４】
本願の請求項４に記載の技術によれば、請求項２に記載の撮像装置の前記レンズ・アレイは、露光レンズ特性が異なる３種類以上のマイクロ・レンズを含んでいる。そして、前記撮像素子は、露光レンズ特性毎のマイクロ・レンズの出力光をそれぞれ光電変換して露光条件が異なる３種類以上の画像を撮影し、前記画像合成部は、前記露光条件が異なる３種類以上の撮像画像を合成して高ダイナミック・レンジの画像を生成するように構成されている。
【００１５】
本願の請求項５に記載の技術によれば、請求項１乃至４に記載の撮像装置は、前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備えている。
【００１６】
本願の請求項６に記載の技術によれば、請求項５に記載の撮像装置の前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させるように構成されている。
【００１７】
本願の請求項７に記載の技術によれば、請求項１乃至６に記載の撮像装置の前記マイクロ・レンズは、対応する露光条件に合わせた光量を制御するための絞りを備えている。
【００１８】
また、本願の請求項８に記載の技術は、
撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
前記撮像素子のｍ×ｎ個の画素がそれぞれ割り当てられた複数のマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データを合成する画像合成部と、
を具備する撮像装置である。
【００１９】
本願の請求項９に記載の技術によれば、請求項８に記載の撮像装置の前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像を生成するように構成されている。
【００２０】
本願の請求項１０に記載の技術によれば、請求項８に記載の撮像装置の前記画像合成部は、各マイクロ・レンズを通過する左眼用の光線を受光する画素から読み出した画像データに基づいて左眼用画像を合成するとともに、右眼用のように構成されている。
【００２１】
本願の請求項１１に記載の技術によれば、請求項８に記載の撮像装置の前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、露光条件の異なる複数の画像を同時に生成するように構成されている。
【００２２】
本願の請求項１２に記載の技術によれば、請求項１１に記載の撮像装置の前記画像合成部は、各マイクロ・レンズを通過する光を受光するｍ×ｎ個の画素のうち、低露光条件に設定された画素から読み出した画像データに基づいて低露光画像を生成するとともに、高露光条件に設定された画素から読み出した画像データに基づいて高露光画像を前記低露光画像と同時に生成するように構成されている。
【００２３】
本願の請求項１３に記載の技術によれば、請求項８に記載の撮像装置の前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像と、低露光画像及び高露光画像を同時に生成するように構成されている。
【００２４】
本願の請求項１４に記載の技術によれば、請求項１１乃至１３のいずれかに記載の撮像装置の前記画像合成部は、同時に生成した低露光画像と高露光画像を合成して、高ダイナミック・レンジ画像を生成するように構成されている。
【００２５】
本願の請求項１５に記載の技術によれば、請求項８に記載の撮像装置の前記撮像素子は、水平方向及び垂直方向に沿って格子状に正方配列した画素群を、受光面内において所定の角度だけ回転した状態で配設している。
【００２６】
本願の請求項１６に記載の技術によれば、請求項１１乃至１３のいずれかに記載の撮像装置は、それぞれの露光条件に合わせた光量となるように各画素の露光時間を制御するように構成されている。
【００２７】
本願の請求項１７に記載の技術によれば、請求項１１乃至１３のいずれかに記載の撮像装置は、それぞれの露光条件に合わせた光量となるように各画素に入射する光の絞り量を制御するように構成されている。
【００２８】
本願の請求項１８に記載の技術によれば、請求項１３に記載の撮像装置は、前記画像合成部で生成した画像をエンコードしてコード・ストリームを出力するエンコード部をさらに備えている。
【００２９】
本願の請求項１９に記載の技術によれば、請求項１８に記載の撮像装置は、指示情報に基づいてステレオ画像又は高ダイナミック・レンジ画像のいずれを生成するかを選択し、前記エンコード部は、ステレオ画像を生成することが選択されたときにはステレオ画像のエンコード結果を出力し、高ダイナミック・レンジ画像を生成することが選択されたときには高ダイナミック・レンジ画像のエンコード結果を出力するように構成されている。
【００３０】
本願の請求項２０に記載の技術によれば、請求項１９に記載の撮像装置の前記エンコード部は、高ダイナミック・レンジ画像をエンコードする際に、高ダイナミック・レンジ画像をトーン・マッピングするトーン・マッピング部と、トーン・マッピングした後の画像をエンコードする第１のエンコーダー部と、前記第１のエンコーダー部によるエンコード結果をデコードするデコーダー部と、前記デコーダー部によるデコード結果を逆トーン・マッピングする逆トーン・マッピング部と、元の高ダイナミック・レンジ画像と逆トーン・マッピングした画像の差分を計算する差分計算部と、前記差分計算部による差分画像をエンコードする第２のエンコーダー部を備えている。
【発明の効果】
【００３１】
本明細書で開示する技術によれば、低ダイナミック・レンジの撮像素子を用いて高ダイナミック・レンジの画像を撮像することができる、優れた撮像装置を提供することができる。
【００３２】
本明細書で開示する技術によれば、低ダイナミック・レンジの撮像素子を用いた１フレームの画像から高ダイナミック・レンジの画像を生成するので、複数のフレームから高ダイナミック・レンジの画像を生成する場合の、メモリー、遅延、動被写体のＭｏｔｉｏｎ  Ｂｌｕｒといった問題を解決することができる。
【００３３】
本明細書で開示する技術によれば、撮像素子の前面にＬＦＰ技術におけるレンズ・アレイを配置し、レンズ・アレイの各マイクロ・レンズを通過する光線を異なる露光条件で出力するように制御して、同時刻に露光条件の異なる複数の露光画像を得ると、これらを合成することによって１フレーム内で高ダイナミック・レンジの画像を生成することができる。本明細書で開示する技術によれば、高ダイナミック・レンジの画像を生成する処理が１フレームで完結するので、フレーム・メモリーを節約することができ、また、遅延時間が短くなることから動被写体のＭｏｔｉｏｎ  Ｂｌｕｒといった問題も解決することができる。さらに、本明細書で開示する技術によれば、ＬＦＰの原理から、両名視差を利用したステレオ画像を生成することができる。
【００３４】
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
【００３５】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３６】
【図１】図１は、本明細書で開示する技術の第１の実施例に係る撮像装置１００を概念的に示した図である。
【図２】図２は、本明細書で開示する技術の第１の実施例に係る撮像装置の変形例２００を概念的に示した図である。
【図３】図３は、図１に示した撮像部１０１の構成例を示した図である。
【図４】図４は、撮像素子３０１の撮像面４０１を示した図である。
【図５】図５は、Ｌ成分画素の補間処理を行なう様子を示した図である。
【図６】図６は、Ｈ成分画素の補間処理を行なう様子を示した図である。
【図７】図７は、Ｌ成分画素及びＨ成分画素の両方について補間処理を行なって、原画像と同一解像度のＬ成分画像とＨ成分画像が生成される様子を示した図である。
【図８】図８は、図２に示した撮像部２０１の構成例を示した図である。
【図９】図９は、撮像素子２０１の撮像面９０１を示した図である。
【図１０】図１０は、Ｌ成分画素、Ｍ成分画素、及びＨ成分画素の各々について補間処理を行なって、原画像と同一解像度のＬ成分画像とＭ成分画像、Ｈ成分画像が生成される様子を示した図である。
【図１１】図１１は、絞り窓（絞り量を小さくして、画素を高露光量に設定した場合）を例示した図である。
【図１２】図１２は、絞り窓（絞り量を中程度にして、対応する画素を中露光量に設定した場合）を例示した図である。
【図１３】図１３は、絞り窓（絞り量を大きくして、対応する画素を低露光量に設定した場合）を例示した図である。
【図１４】図１４は、本明細書で開示する技術の第２の実施例に係る撮像装置１４００の全体構成を示した図である。
【図１５】図１５は、レンズ・アレイ１４０２と撮像素子１４０３との配置例を示した図である。
【図１６】図１６は、撮像素子１４０３の画素配列（斜め配列）を示した図である。
【図１７】図１７は、通常の正方配列をした画素配列例を示した図である。
【図１８】図１８は、斜め配列した画素群から視差画像の画像データを読み出す様子を示した図である。
【図１９】図１９は、正方配列した画素群から視差画像の画像データを読み出す様子を示した図である。
【図２０】図２０は、ＬＦＰ技術を適用し、各マイクロ・レンズが左右視差分離を行なう撮像素子の構成例（正方配列の場合）を示した図である。
【図２１】図２１は、ＬＦＰ技術を適用し、斜め配列した撮像素子の各画素の分割画素からマイクロ・レンズの左右視差分離により視差画像を取得する仕組みを説明するための図である。
【図２２】図２２は、図２１に示した撮像素子の画素配列を概念的に示した図である。
【図２３】図２３は、ＬＦＰ技術を適用し、斜め配列した撮像素子の２×２個の画素の各分割画素からマイクロ・レンズの左右視差分離により視差画像を取得する仕組みを説明するための図である。
【図２４】図２４は、ＬＦＰ技術を適用し、斜め配列した撮像素子の各画素の分割画素から低露光時間（Ｓｅ）及び長露光時間（Ｌｅ）の画像データを取得する仕組みを説明するための図である。
【図２５】図２５は、ＬＦＰ技術を適用し、斜め配列した撮像素子の２×２個の画素の各分割画素から低露光時間（Ｓｅ）及び長露光時間（Ｌｅ）の画像データを取得する仕組みを説明するための図である。
【図２６】図２６は、ＬＦＰ技術を適用し、斜め配列した撮像素子から高ダイナミック・レンジのステレオ画像を取得する仕組みを説明するための図である。
【図２７】図２７は、図２６の変形例を示した図である。
【図２８】図２８は、高ダイナミック・レンジ画像を圧縮する画像圧縮装置２８００の構成例を示した図である。
【図２９】図２９は、画像圧縮装置２８００から出力される圧縮画像を復号する画像復号装置２９００の構成例を示した図である。
【図３０】図３０は、高ダイナミック・レンジのステレオ画像を圧縮する画像圧縮装置３０００の構成例を示した図である。
【図３１】図３１は、画像圧縮装置３０００から出力される圧縮ステレオ画像を復号する画像復号装置３１００の構成例を示した図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【実施例１】
【００３８】
図１には、本明細書で開示する技術の第１の実施例に係る撮像装置１００を概念的に示している。
【００３９】
撮像部１０１は、１回の撮像で、高露光量の画像信号１０３と低露光量の画像信号１０４を含んだ１フレームを出力する。そして、画像合成部１０２は、高露光量の画像信号１０３と低露光量の画像信号１０４を合成して、１フレームすなわち１回の撮像で、ＨＤＲ画像を生成する。高露光量、低露光量といった露光条件の相違は、画素毎の露光時間や露光時の絞り窓の絞り量などで制御することができる。
【００４０】
また、図２には、本明細書で開示する技術の第１の実施例に係る撮像装置の変形例２００を概念的に示している。
【００４１】
撮像部２０１は、１回の撮像で、高露光量の画像信号２０３と低露光量の画像信号２０４と中露光量の画像信号２０５を含んだ１フレームを出力する。そして、画像合成部２０２は、高露光量の画像信号２０３と低露光量の画像信号２０４と中露光量の画像信号２０５を合成して、１フレームすなわち１回の撮像で、ＨＤＲ画像を生成する。高露光量、低露光量といった露光条件の相違は、画素毎の露光時間や露光時の絞り窓の絞り量などで制御することができる。
【００４２】
１フレームから特性又は撮像条件が異なる画像信号を得る技術として、Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ（ＬＦＰ）技術が知られている。ＬＦＰを用いた撮像装置は、撮像レンズとイメージ・センサーの間にレンズ・アレイを配置したものである。被写体からの入射光線は、レンズ・アレイにおいて各視点の光線に分離された後に、イメージ・センサーで受光される。そして、イメージ・センサーから得られる画素データを用いて、同時刻に多視点の画像を生成する（例えば、特許文献３、非特許文献１）。
【００４３】
ＬＰＦ技術は、レンズ・アレイを用いて視点分割して、１フレーム内に複数の視点の画像を生成する。これに対し、第１の実施例では、撮像部１０１（若しくは、２０１）の撮像素子面の前面にレンズ・アレイを配置する点では従来のＬＰＦと同様であるが、露光特性の異なるマイクロ・レンズを組み合わせたレンズ・アレイを用いることで、１フレームで露光量の異なる画像を生成する点で相違する。そして、本実施形態では、露光量の異なる画像を合成することで、１フレームからＨＤＲ画像を生成することができる。
【００４４】
図３には、図１に示した撮像部１０１の構成例を示している。図示のように、撮像部１０１は、ＬＦＰ技術を適用して構成されており、撮像素子３０１の撮像面の前面には、レンズ・アレイ３０２が配置されている。レンズ・アレイ３０２は、マイクロ・レンズを２次元平面上に交互に配置して構成され、撮像レンズ３０３の焦点面に対して光軸方向に間隔を空けて配置されている。具体的には、レンズ・アレイ３０２は、撮像レンズ３０３の焦点面（結像面）に配置され、また、レンズ・アレイ３０２のマイクロ・レンズの焦点位置に撮像素子３０１が配設されている。
【００４５】
本実施例では、レンズ・アレイ３０２は、低露光レンズの特性を持つＬレンズと高露光レンズの特性を持つＨレンズという２種類のマイクロ・レンズを２次元平面上に交互に配置して構成される。そして、撮像素子３０１の１画素に対して１個のマイクロ・レンズを設置する（すなわち、画素とマイクロ・レンズが１対１に対応する）という構成であり、各画素には、対応するマイクロ・レンズを通過した光が照射される。したがって、ＬレンズとＨレンズの撮像画像が各々、撮像素子３０１上の画素に入力して、光電変換が行なわれる。その結果、Ｈレンズの通過光が照射されたＨ画素からは高露光画素信号１０３され、Ｌレンズの通過光が照射されたＬ画素からは低露光画素信号１０４が出力される。
【００４６】
図４には、撮像素子３０１の撮像面４０１を示している。図示のように、２次元平面上ではＨ画素とＬ画素が水平及び垂直方向に交互に配置されている。１フレームに高露光画素信号と低露光画素信号を含むことから、ダイナミック・レンジが向上する。しかしながら、１フレームすなわち１回の撮影で撮像素子３０１から得られる高露光画像並びに低露光画像はともに、原画像に対して解像度が２分の１の画像に低下することが、図４からも理解できよう。ダイナミック・レンジは向上するが、解像度が落ちるのは、これが理由である。
【００４７】
そこで、撮像部１０１内では、撮像素子３０１から出力される撮像画像に対し、隣接するＬ成分画素同士の補間処理（例えば、平均値算出）によって、本来はＨ成分画素のある位置に新たなＬ成分画素Ｌ１、Ｌ２を生成する。これによって、実際には存在しないＬ成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。図５には、Ｌ成分画素の補間処理を行なう様子を示している。
【００４８】
また、Ｈ成分画素についても同様に、図６に示すように、隣接するＨ成分画素同士の補間処理（例えば、平均値算出）によって、本来はＬ成分画素のある位置に新たなＨ成分画素Ｈ１、Ｈ２を生成する。これによって、実際には存在しないＨ成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。
【００４９】
図５及び図６に示したように、Ｌ成分画素及びＨ成分画素の両方について、他の成分の画素位置に、隣接する同一成分の画素同士の補間処理を行なうと、図７に示すように、原画像と同一解像度のＬ成分画像７０１とＨ成分画像７０２が生成される。
【００５０】
画像合成部１０２は、この２枚の画像７０１、７０２を合成して、白飛びや黒潰れなどが生じない、高ダイナミック・レンジの画像を生成することができる。但し、露光特性が異なる複数の画像を合成して高ダイナミック・レンジの画像を生成するための幾つかの方法が既に当業界で知られており、本実施例は特定の画像合成方法には限定されない。一般には、高い露光量の画像での白飛び画像を低減し、低い露光量での黒潰れを解消しながら、且つ、画像全体のダイナミック・レンジが上がるような画像処理を施す方法が知られている。
【００５１】
図１及び図３に示した例では、２種類の露光特性を持つレンズ・アレイ３０２を用いて２種類の露光条件で撮影した画像を生成して、高ダイナミック・レンジの画像を合成する。さらに３種類以上の露光条件で撮影した画像を生成すれば、さらに高品位な高ダイナミック・レンジの画像を合成するためには、有効である。
【００５２】
図８には、図２に示した撮像部２０１の構成例を示している。図示のように、撮像部２０１の撮像素子８０１の撮像面の前面には、レンズ・アレイ８０２が配置されている。レンズ・アレイ８０２は、マイクロ・レンズを２次元平面上に交互に配置して構成され、撮像レンズ８０３の焦点面に対して光軸方向に間隔を空けて配置されている。具体的には、レンズ・アレイ８０２は、撮像レンズ８０１の焦点面（結像面）に配置され、また、レンズ・アレイ８０２のマイクロ・レンズの焦点位置に撮像素子８０１が配設されている。
【００５３】
本実施例では、レンズ・アレイ８０２は、低露光レンズの特性を持つＬレンズと、高露光レンズの特性を持つＨレンズと、中露光レンズの特性を持つＭレンズという３種類のマイクロ・レンズを２次元平面上に交互に配置して構成される。そして、撮像素子８０１の１画素に対して１個のマイクロ・レンズを設置する（すなわち、画素とマイクロ・レンズが１対１に対応する）という構成であり、各画素には、対応するマイクロ・レンズを通過した光が照射される。したがって、ＬレンズとＨレンズとＭレンズの撮像画像が各々、撮像素子８０１上の画素に入力して、光電変換が行なわれる。その結果、Ｈレンズの通過光が照射されたＨ画素からは高露光画素信号２０３され、Ｌレンズの通過光が照射されたＬ画素からは低露光画素信号２０４が出力され、Ｍレンズの通過光が照射されたＭ画素からは中露光画素信号２０５が出力される。
【００５４】
図９には、撮像素子２０１の撮像面９０１を示している。図示のように、２次元平面上ではＨ画素とＭ画素とＬ画素が水平及び垂直方向に順に配置されている。１フレームに高露光画素信号と中露光画素信号と低露光画素信号を含むことから、ダイナミック・レンジは図４に示した例よりもさらに向上する。しかしながら、１フレームすなわち１回の撮影で撮像素子８０１から得られる高露光画像、中露光画像、並びに低露光画像はともに、原画像に対して解像度が３分の１の画像に低下することが、図９からも理解できよう。
【００５５】
そこで、撮像部２０１内では、撮像素子８０１から出力される撮像画像に対し、Ｌ成分画素と、Ｍ成分画素、Ｈ成分画素の各々について、他の成分の画素位置に、隣接する同一成分の画素同士の補間処理を行なう。これによって、実際には存在しない他の成分画素であるが隣接画素は値が類似していることが多いので、補填する効果は高く、本手段によって入力画像の元の解像度も維持できる。図１０には、Ｌ成分画素、Ｍ成分画素、及びＨ成分画素の各々について補間処理を行なって、原画像と同一解像度のＬ成分画像１００１とＭ成分画像１００２、Ｈ成分画像１００３が生成される様子を示している。
【００５６】
画像合成部２０２は、これら３枚の画像１００１、１００２、１００３を合成して、白飛びや黒潰れなどが生じない、さらに高ダイナミック・レンジの画像を生成することができる。但し、露光特性が異なる複数の画像を合成して高ダイナミック・レンジの画像を生成するための幾つかの方法が既に当業界で知られており、本実施例は特定の画像合成方法には限定されない。
【００５７】
なお、レンズ・アレイ３０２、８０２の各マイクロ・レンズの露光条件の設定には各種の手法が考えられる。レンズの前面にフィルターを置いて光の透過率を制御する手法や、メカニカル的に難しいが、マイクロ・レンズの前面にメカニカル・シャッターを配置して、シャッター速度の制御によって露光量を決める手段などを挙げることができる。シャッター速度を速めれば光量が減るので低露光になりＬ成分画像が得られる。他方、シャッター速度を遅くすれば光量が増えるので高露光になりＨ成分画像が得られる。
【００５８】
また、レンズ・アレイ８０２（若しくは３０２）を構成する個々のマイクロ・レンズの外周に絞り窓を配置し、対応する画素の露光特性に応じた絞り量にそれぞれ設定することで、比較的容易で且つ効果的に露光条件を設定することができる。図１１には、絞り量を小さくして、対応する画素を高露光量に設定した場合を例示している。また、図１２には、絞り量を中程度にして、対応する画素を中露光量に設定した場合を例示している。また、図１３には、絞り量を大きくして、対応する画素を低露光量に設定した場合を例示している。これは、実際の一眼レフカメラでの絞りと原理的には同じである。図示の絞り窓を微細加工によりマイクロ・レンズ毎に取り付けることで実現することができる。
【００５９】
以上説明してきたように、本実施例に係る撮像装置は、撮像素子の撮像素子の前面に、マイクロ・レンズを２次元平面上に配置して構成されたレンズ・アレイが配置されている。各マイクロ・レンズはそれぞれ撮像素子の１画素と１対一に対応し、且つ、異なる露光条件が設定されているので、この撮像装置は、同時刻に露光条件の異なる複数の撮像画像を生成し、これら撮像画像から高ダイナミック・レンジの画像を合成することができる。従来は、複数の時刻のフレームをあらかじめキャプチャーしてから合成していたのに対し（例えば、特許文献１を参照のこと）、本実施例では１フレーム内で処理が完結するので、フレーム・メモリーを節約でき、遅延時間が短くなるという効果がある。
【実施例２】
【００６０】
図１４には、本明細書で開示する技術の第２の実施例に係る撮像装置１４００の全体構成を示している。図示の撮像装置１４００は、ＬＦＰ技術を適用して構成されており、撮像レンズ１４０１と、レンズ・アレイ１４０２と、撮像素子１４０３と、画像処理部１４０４と、撮像素子駆動部１４０５と、制御部１４０６を備えている。撮像装置１４００は、被写体１４１０を撮影して、所定の画像処理を施すことにより、画像データＤoutを出力する。
【００６１】
撮像レンズ１４０１は、被写体１４１０を撮像するための主レンズであり、例えば、ビデオカメラやスチルカメラで使用される一般的な光学レンズにより構成されている。撮像レンズ１４０１の光入射側又は光出射側（図示の例では光入射側）には、開口絞り１４０７が配設されている。この開口絞り１４０７の開口形状（例えば、円形状）に相似形となる被写体１４１０の像が、撮像素子１４０３上に、レンズ・アレイ１４０２の各マイクロ・レンズの結像領域毎に形成される。
【００６２】
レンズ・アレイ１４０２は、複数のマイクロ・レンズが例えばガラス基板上などの２次元平面上に配置して構成されたものである。レンズ・アレイ１４０２は、撮像レンズ３０１の焦点面（結像面）に配置され、また、レンズ・アレイ１４０２のマイクロ・レンズの焦点位置に撮像素子１４０３が配設されている。各マイクロ・レンズは、例えば個体レンズや液晶レンズ、回折レンズなどにより構成されている。詳細は後述するが、レンズ・アレイ１４０２におけるマイクロ・レンズの２次元配列は、撮像素子１４０３における画素配列に対応している。
【００６３】
撮像素子１４０３は、レンズ・アレイ１４０２を介して受光した光線を光電変換して、撮像データＤ０を出力する。撮像素子１４０３は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を利用して構成され、複数の画素がマトリックス上に配列された構造を持つ。
【００６４】
レンズ・アレイ１４０２の各マイクロ・レンズを通過した光線はそれぞれ、撮像素子１４０３のｍ×ｎ個（例えば、２×２個）の画素のブロックで受光されるようになっている。すなわち、１つのマイクロ・レンズにｍ×ｎ個の画素のブロックが割り当てられている。言い換えれば、レンズ・アレイ１４０２により、各マイクロ・レンズに割り当てられた画素数（＝撮像素子１４０３の全画素数／レンズ・アレイ１４０２のレンズ数）分の視点分離が可能である。
【００６５】
ここで言う視点分離とは、撮像レンズ１４０１を通過した光線が撮像レンズ１４０１のどの位置（領域）を通過してきたものかを、その方向性を含めて、撮像素子１４０３の画素単位で記憶しておくことである。図１５には、レンズ・アレイ１４０２と撮像素子１４０３との配置例を示している。図示の例では、１つのマイクロ・レンズ１４０２ａに対して、撮像素子１４０３上の３×３画素が割り当てられ、１つのマイクロ・レンズ１４０２ａを通過した光線が３×３画素で受光されるようになっている。したがって、合計９個の視点に分離されることになる。
【００６６】
分離する視点数が大きくなると視差画像における角度分解能が高くなる一方、１つのマイクロ・レンズに割り当てられる画素数が少なくなるに従って視差画像における２次元解像度が高くなる。すなわち、視差画像の角度分解能と２次元解像度はトレードオフの関係にある。図１５に示した例では、合計９個の視点分離が可能であるが、オリジナルの入力画像に対して９分の１の解像度に落ちてしまう。
【００６７】
画像処理部１４０４は、撮像素子１４０３で得られた撮像データＤ０に対して、所定の画像処理を施し、出力画像データＤoutとして、本実施例では視差画像あるいは高ダイナミック・レンジ画像を出力する。視差画像や高ダイナミック・レンジの画像を生成する画像処理の詳細については、後述に譲る。
【００６８】
撮像素子駆動部１４０５は、撮像素子１４０３を駆動して、その受光動作の制御を行なう。
【００６９】
制御部１４０６は、例えばマイクロ・コンピューターなどにより構成され、画像処理部１４０４及び撮像素子駆動部１４０５の動作の制御を行なう。
【００７０】
次に、撮像素子１４０３における画素配列について説明する。図１６には、本実施例における撮像素子１４０３の画素配列例を示している。但し、図面の簡素化のため、１つのマイクロ・レンズに割り当てられる２×２個の画素のみを抽出して示している。
【００７１】
図１６に示す例では、撮像素子１４０３は、受光面内において、水平方向Ａ及び垂直方向Ｂのそれぞれに対して斜めとなる２方向、例えば４５°をなす２方向Ｃ及びＤに沿って、１辺の長さａの正方形状の画素Ｐを２次元配列（以下、単に「斜め配列」とする）した構造となっている。図１７には、比較として、複数の画素Ｐを、水平方向Ａ及び垂直方向Ｂに沿って格子状に配列した、通常の画素配列例（以下、単に「正方配列」とする）を示しておく。但し、図面の簡素化のため、１つのマイクロ・レンズに割り当てられる２×２個の画素のみを抽出して示している。
【００７２】
言い換えると、図１６に示した斜め配列は、図１７に示した正方配列された複数の画素Ｐを、受光面内において所定の角度（この場合は４５°）だけ回転した状態で配設したものである。また、図１２に示した撮像素子１４０３の斜め配列に対応して、レンズ・アレイ１４０２についても、水平方向Ａ及び垂直方向Ｂに対して所定の角度（この場合は４５°）だけ回転した２方向に沿ってマイクロ・レンズを２次元配列した平面構成となる。なお、撮像素子１４０３の受光面側にはカラー・フィルターが配設されるが、このカラー・フィルターの色配列の構成例については、例えば特許文献３を参照されたい。
【００７３】
図１７に示した正方配列では、１辺の長さａの正方形状の画素Ｐを水平方向Ａ及び垂直方向Ｂに沿って２次元配置させているので、画素Ｐのピッチｄ１は画素Ｐの１辺の長さａと等しくなる（すなわち、ｄ１＝ａ）。但し、ピッチｄ１は、隣り合う画素の中心Ｍ１同士の間の水平方向Ａ及び垂直方向Ｂにおける距離とする。
【００７４】
一方、図１６に示した斜め配列では、画素Ｐの画素サイズ自体は同じ（すなわち、１辺が長さａ）であるが、水平方向Ａ及び垂直方向Ｂを基準にした場合の画素Ｐのピッチｄは正方配列の場合のピッチｄ１の１／√２倍に縮小される。これにより、水平方向Ａ及び垂直方向Ｂにおける画素ピッチが狭くなる（ｄ＜ｄ１）。但し、ピッチｄは、隣り合う画素の中心Ｍ１同士の間の水平方向Ａ及び垂直方向Ｂにおける距離とする。
【００７５】
要するに、図１４並びに図１６に示した撮像装置１４００の構成例では、撮像レンズ１４０１と撮像素子１４０３の間に、各マイクロ・レンズに２×２個の画素を割り当てたレンズ・アレイ１４０２を配置しているので、被写体１４１０の光線を、互いに視点の異なる光線ベクトルとして受光することができる。また、撮像素子１４０３における画素Ｐの配列を、図１６に示した斜め配列とすることで、同一サイズの画素を水平方向Ａ及び垂直方向Ｂに沿って２次元配列した正方配列の場合と比べ、水平方向Ａ及び垂直方向Ｂにおける画素ピッチを狭くすることができる。一般に、画像の解像度は、斜め方向よりも水平、垂直方向において人間の眼によって認識され易い。したがって、斜め配列とすることによって、正方配列と比較して、見かけの画素数（２次元解像度）を向上させることができる。すなわち、見かけの解像度の低下を抑制室、示唆についての情報を取得することが可能となる。
【００７６】
本実施例に係る撮像装置１４００によれば、ＬＦＰ技術の原理から、レンズ・アレイ１４０２の各マイクロ・レンズでは被写体１４１０の光線を互いに視点の異なる光線ベクトルを受光することができる。したがって、取得した視差画像を、例えば両眼視差を有するステレオ画像として利用することができる。通常のステレオ画像の撮影では、左目用のカメラと右目用のカメラの２台を用いて両眼視差のある視差画像を取得する。これに対し、本実施例に係る撮像装置１４００は、ＬＦＰ技術の原理とマイクロ・レンズを用いた視差画像の生成によって、１台だけで容易にステレオ画像を取得することができる。また、上述したように、各視差画像の解像度の低下も少ない。
【００７７】
次に、撮像装置１４００において視差画像を生成する場合の、具体的な画像データの読み出しと生成方法について説明する。
【００７８】
図１８には、斜め配列した画素群から視差画像の画像データを読み出す様子を示している。また、図１９には、比較として、正方配列した画素群から視差画像の画像データを読み出す様子を示している。但し、各図において、着目する一つのマイクロ・レンズに割り当てられた２×２個の各画素には、便宜上、１〜４の番号で示すことにする。
【００７９】
図１９に示した正方配列の場合には、光軸対象となる左右の視差画像を得るためには、上下の画素間、すなわち、図１９中の１と３の画素同士、及び、２と４の画素同士を積分して視差画像を生成する。このため、同じマイクロ・レンズに割り当てられた４個の画素１〜４のすべてから画像データを読み出す必要がある。この場合、マイクロ・レンズ毎に２つの読み出しラインＲａ、Ｒｂを必要とする。
【００８０】
これに対し、図１８に示した斜め配列の場合には、マイクロ・レンズ毎に画素２と画素３の画像データを読み出すことにより、光軸対象となる左右の視差画像を生成することができる。画像データを読み出す画素２と画素３は同じライン上に配置されていることから、１つの読み出しラインＲａにおいて読み出しを行なえばよく、したがって、正方配列に比べて高速に画像データを読み出すことが可能となる。また、斜め配列の場合には、積分処理が不要であるので、被写体震度の深い視差画像を得ることができる。なお、図１８では、左右の視差画像を例に挙げて説明したが、上下２つの視差画像を生成する場合についても同様である。この場合には、マイクロ・レンズ毎に画素１と画素４の画像データを１つの読み出しラインで読み出せばよい。
【００８１】
しかしながら、図１８に示した斜め配列の場合、画素２と画素３から画像データを読み出して左右の視差画像を生成する場合、上方向の画素１とした方向の画素４の画像データが未使用のままで、無駄になってしまうという問題がある。同様に、画素１と画素４から画像データを読み出して上下の視差画像を生成する場合も、左方向の画素２と右方向の画素３の画像データが未使用のままとなる。
【００８２】
このような一部の画像データが未使用のままとなり無駄となるという問題を解決するために、図１４や図１６に示したような、１つのマイクロ・レンズに複数（ｍ×ｎ個）の画素を割り当てる構成に代えて、図２０に示すように、１つのマイクロ・レンズに水平方向に隣接する２画素のうち左側の画素の右半分と右側の画素の左半分を割り当てて、各マイクロ・レンズが左右視差分離を行なうという撮像素子の構成を用いることが考えられる。
【００８３】
図２０において、レンズ・アレイ１４０２の１つのマイクロ・レンズＭＬ１は、被写体１４１０の光線を、左眼の視点及び右眼の視点それぞれの光線ベクトルとして受光すると、水平方向に隣接する対応２画素のうち左側の画素の右半分に左眼用の像を結像するとともに、右側の画素の左半分に右眼用の像を結像する。画素毎に、左半分から左眼用の画像データが読み出されるとともに、右半分から右眼用の画像データが読み出されるので、未使用の画像データがなく、無駄がない。図２０に示す、マイクロ・レンズで左右視差分離を行なう構成では、水平解像度は２分の１になるが、サイド・バイ・サイド（ＳＢＳ）記録方式と合致することで有用性がある。図２０中、Ｌはステレオ画像における左（Ｌｅｆｔ）を示し、Ｒはステレオ画像における右（Ｒｉｇｈｔ）を示す。光学特性によっては、ＬとＲが逆転するケースもあり、その場合はＬとＲを入れ替えて捉えることで対応可能である。図２０に示す構成では、２×２の配列になるように、色フィルター・アレイが形成されている。
【００８４】
なお、図２０では、理解を容易にするために撮像素子１４０３の画素を正方配列にした構成例を示している。画素を斜め配列にした構成については、後述に譲る。また、マイクロ・レンズが左右ではなく上下視差分離を行なう構成にしたい場合には、図示を省略するが、１つのマイクロ・レンズに上下方向に隣接する２画素のうち上側の画素の下半分と下側の画素の上半分を割り当てるようにすればよい。
【００８５】
図２０に示した撮像素子において、画素アレイ部２０１０は、正方配列で、且つ、ベイヤー配列の色フィルター・アレイが配設されている。Ｒ画素（ＰＣＲ）２０１１、Ｇ画素（ＰＣＧ）２０１２、Ｇ画素（ＰＣＧ）２０１３、Ｂ画素（ＰＣＢ）２０１４、Ｒ画素（ＰＣＲ）２０１５、Ｇ画素（ＰＣＧ）２０１６、…が、２×２のベイヤー配列となるように、色フィルター・アレイ２００３が形成されている。第１行にＧ画素（ＰＣＧ）２０１２、Ｂ画素（ＰＣＢ）２０１４、Ｇ画素（ＰＣＢ）２０１６、…が配置され、第２行にＲ画素（ＰＣＲ）２０１１、Ｇ画素（ＰＣＧ）２０１３、Ｒ画素（ＰＣＲ）２０１５、…が配置されている。図２０では、画素アレイ部２０１０の一部のみを示しているが、図示しない部分でも、Ｂ画素の水平方向（Ｘ方向）に、隣接のベイヤー配列のＧ画素が配置され、Ｇ画素の水平方向（Ｘ方向）に、隣接のベイヤー配列のＲ画素が配置されている。
【００８６】
また、図２０に示す例では、Ｒ画素（ＰＣＲ）２０１１、Ｇ画素（ＰＣＧ）２０１２、Ｇ画素（ＰＣＧ）２０１３、Ｂ画素（ＰＣＢ）２０１４、Ｒ画素（ＰＣＲ）２０１５、Ｇ画素（ＰＣＧ）２０１６、…は、それぞれ水平方向（Ｘ方向）に２分割されている。
【００８７】
Ｒ画素（ＰＣＲ）２０１１は、画素ＤＰＣ−ＡＲ１とＤＰＣ−ＢＲ１の２の分割画素を含んで構成されている。そして、分割画素ＤＰＣ−ＡＲ１はステレオ画像のＲ用に割り当てられ、分割画素ＤＰＣ−ＢＲ１はステレオ画像のＬ用に割り当てられている。Ｒ画素（ＰＣＲ）２０１５についても同様である。
【００８８】
また、Ｇ画素（ＰＣＧ）２０１２は、画素ＤＰＣ−ＡＧ１とＤＰＣ−ＢＧ１の２の分割画素を含んで構成されている。そして、分割画素ＤＰＣ−ＡＧ１はステレオ画像のＲ用に割り当てられ、分割画素ＤＰＣ−ＢＧ１はステレオ画像のＬ用に割り当てられている。Ｇ画素（ＰＣＧ）２０１３並びにＧ画素（ＰＣＧ）２０１６についても同様である。
【００８９】
また、Ｂ画素（ＰＣＢ）２０１４は、画素ＤＰＣ−ＡＢ１とＤＰＣ−ＢＢ１の２の分割画素を含んで構成されている。そして、分割画素ＤＰＣ−ＡＢ１はステレオ画像のＲ用に割り当てられ、分割画素ＤＰＣ−ＢＢ１はステレオ画像のＬ用に割り当てられている。
【００９０】
図２０に示す画素配列では、同一列（Ｙ方向の配列）の各分割画素は、同一のステレオ画像のＲ用又はＬ用に割り当てられている。
【００９１】
半導体基板２００１には、遮光部（ＢＬＤ）や配線が形成され、その上層に色フィルター・アレイ２００３が形成され、さらに色フィルター・アレイ２００３の上層にオンチップ・レンズ・アレイ２００５が形成されている。オンチップ・レンズ・アレイ２００５の各オンチップ・レンズ（ＯＣＬ）は、画素アレイ部２０１０における各分割画素に対応するように行列状に形成されている。そして、オンチップ・レンズ・アレイ２００５の光入射側に対向して、マイクロ・レンズが２次元配列されたレンズ・アレイ１４０２が配設されている。
【００９２】
図２０に示す例では、１つのマイクロ・レンズ（ＭＬ）に水平方向に隣接する２画素のうち左側の画素の右半分と右側の画素の左半分を割り当てて、各マイクロ・レンズが左右視差分離を行なうように構成されている。また、同じマイクロ・レンズを共有する画素は同色ではなく異色となるように色フィルター・アレイ２００３が配置されている。
【００９３】
例えば、第１のマイクロ・レンズＭＬ１は、第１行において、Ｇ画素（ＰＣＧ）２０１２のステレオ画像のＬ用分割画素ＤＰＣ−ＢＧ１と、これに隣接するＢ画素（ＰＣＢ）２０１４のステレオ画像のＲ用分割画素ＤＰＣ−ＡＢ１とで共有するように配置されている。同様に、第１のマイクロ・レンズＭＬ１は、第２行において、Ｒ画素（ＰＣＧ）２０１１のステレオ画像のＬ用分割画素ＤＰＣ−ＢＲ１と、これに隣接するＧ画素（ＰＣＢ）２０１３のステレオ画像のＲ用分割画素ＤＰＣ−ＡＧ１とで共有するように配置されている。
【００９４】
また、第２のマイクロ・レンズＭＬ２は、第１行において、Ｂ画素（ＰＣＢ）２０１４のステレオ画像のＬ用分割画素ＤＰＣ−ＢＢ１と、これに隣接するＧ画素（ＰＣＧ）２０１６のステレオ画像のＲ用分割画素ＤＰＣ−ＡＧ１とで共有するように配置されている。同様に、第２のマイクロ・レンズＭＬ２は、第２行において、Ｇ画素（ＰＣＧ）２０１３のステレオ画像のＬ用分割画素ＤＰＣ−ＢＧ１と、これに隣接するＲ画素（ＰＣＲ）２０１５のステレオ画像のＲ用分割画素ＤＰＣ−ＡＲ１とで共有するように配置されている。
【００９５】
図２０には、撮像素子１４０３の画素を正方配列にした構成例を示した。これに対し、図２１には、画素を水平方向（Ｘ方向）及び垂直方向（Ｙ方向）のそれぞれに対して斜めとなる２方向、例えば４５°をなす２方向に沿って、正方形状の画素を斜め配列した撮像素子１４０３の構造を示している。なお、図面の簡素化のため、色フィルター・アレイの配列を省略して描いている。
【００９６】
斜め配列された各画素は、それぞれ水平方向（Ｘ方向）に２分割されている。そして、各画素の左側の分割画素はステレオ画像のＬ用に、右側の分割画素はステレオ画像のＲ用に、それぞれ割り当てられている。また、図２１に示す画素配列では、同一列（Ｙ方向の配列）の各分割画素は、同一のステレオ画像のＲ用又はＬ用に割り当てられている。すなわち、斜め配列した画素を左右に２分割することで、左右の２視差を検出することができる。
【００９７】
図２１に示すような、斜め配列の撮像素子の各単位画素は、例えば図２２に示すように、少なくとも受光機能（マイクロ・レンズ並びにオンチップ・レンズを含む）を含む第１の画素部２２０１と、第１の画素部に対向するように形成され、少なくとも検出機能を含む第２の画素部２２０２が積層するように構成される。第１の画素部２２０１は斜め配列として形成され、第２の画素部２２０２は正方配列として形成される。第１の画素部２２０１の行配列及び列配列と、第２の画素部２２０２の行配列及び列配列は互いに対応するように形成されている。例えば、第１の画素部２２０１がオンチップ・レンズを含み、第２の画素部２２０２が検出素子とともに配線層及びフォト・ダイオードを含む。あるいは、第１の画素部２２０１がオンチップ・レンズとともに色フィルターを含み、第２の画素部２２０２が検出素子とともに配線層及びフォト・ダイオードを含む。あるいは、第１の画素部２２０１が、オンチップ・レンズとともに色フィルター及びフォト・ダイオードを含み、第２の画素部２２０２が検出素子とともに配線層を含むという構成も挙げられる。
【００９８】
斜め配列された第１の画素部２２０１の各画素は、正方配列された第２の画素部２２０２の対応する行の隣接する２列に跨るように、例えばＹ方向からＸ方向に４５°だけ回転された状態で形成されている。そして、第１の画素部２２０１の各画素は、Ｙ軸を中心に左右に２分割された３角形状の分割画素ＤＰＣ１とＤＰＣ２を含むように構成され、各分割画素ＤＰＣ１は第２の画素部２２０２の隣接する２列の左側の列に配置され、ＤＰＣ２は右側の列に配置される。また、同色の２つの分割画素ＤＰＣ１とＤＰＣ２に跨って共有するように、１つのマイクロ・レンズ（ＭＬ）が配置されている。そして、一方の分割画素ＤＰＣ１はステレオ画像のＬ用に割り当てられ、他方の分割画素ＤＰＣ２はステレオ画像のＲ用に割り当てられている。第１の画素部２２０１の各画素に含まれるＬ用及びＲ用の各分割画素ＤＰＣ１とＤＰＣ２の同色の画像データは、第２の画素部２２０２側の隣接する２列の画素から読み出すことができ、その仕組みは図２０に示した撮像素子と同様である。
【００９９】
図２１に示した斜め配列の撮像素子の場合には、マイクロ・レンズ毎にステレオ画像のＬ用の分割画素とステレオ画像のＲ用の分割画素の画像データを読み出すことにより、光軸対象となる左右の視差画像を生成することができる。また、画像データを読み出すＬ用及びＲ用の分割画素は同じライン上に配置されていることから、１つの読み出しラインにおいて読み出しを行なえばよく、したがって、正方配列に比べて高速に画像データを読み出すことが可能となる。また、斜め配列の場合には、積分処理が不要であるので、被写体震度の深い視差画像を得ることができる。さらに、Ｌ用及びＲ用の分割画素から画像データを読み出して左右の視差画像を生成する場合、未使用の画像データはない。すなわち、無駄な画素配列がなく、ステレオ化による解像度の低下を抑制することができる。
【０１００】
図２１に示した撮像素子（画素アレイ部）の構成例では、１つのマイクロ・レンズに１個の画素を割り当て、且つ、各画素を左右に２分割した構造であり、両眼視差のある視差画像を効率的に取得することができる。この変形例として、１つのマイクロ・レンズに複数の画素を割り当て、且つ、各画素を左右に２分割した構造にすると、多視差の画像を包含する視差画像を効率的に取得することができる。
【０１０１】
図２３には、斜め４５°に斜め配列された画素配列において、１つのマイクロ・レンズに２×２個の画素を割り当てた様子を示している。なお、図面の簡素化のため、色フィルター・アレイの配列を省略して描いている。
【０１０２】
図示を省略するが、図２３に示す撮像素子も、各単位画素は、少なくとも受光機能（マイクロ・レンズ並びにオンチップ・レンズを含む）を含む第１の画素部と、第１の画素部に対向するように形成され、少なくとも検出機能を含む第２の画素部が積層するように構成される。第１の画素部は斜め配列として形成され、第２の画素部は正方配列として形成される。
【０１０３】
第１の画素部の行配列及び列配列と、第２の画素部の行配列及び列配列は互いに対応するように形成されている。斜め配列された第１の画素部の各画素は、正方配列された第２の画素部の対応する行の隣接する２列に跨るように、例えばＹ方向からＸ方向に４５°だけ回転された状態で形成されている。そして、第１の画素部の各画素は、Ｙ軸を中心に左右に２分割された３角形状の分割画素を含むように構成され、各分割画素は第２の画素部の隣接する２列の左右それぞれの列に配置される。また、同色の２×２個の画素に跨って共有するように、１つのマイクロ・レンズ（ＭＬ）が配置されている。第１の画素部の各画素に含まれる各分割画素の画像データは、第２の画素部側の隣接する２列の画素から読み出すことができ、その仕組みは図２０に示した撮像素子と同様である。
【０１０４】
図２３に示す撮像素子（画素アレイ部）の構成例では、１つのマイクロ・レンズに割り当てられた２×２個の画素は、Ｙ軸を中心として図中左側半分の各分割画素がステレオ画像のＬ用に割り当てられ、右側半分の各分割画素がステレオ画像のＲ用に割り当てられている。但し、図２３は、撮像素子を斜め配列した場合のステレオ画像の一例であり、他の構成例も多数存在する。
【０１０５】
図２３において、斜め４５°に斜め配列された２×２個の画素の左側半分から読み出されたすべての画像データを積分処理するとともに右側半分から読み出されたすべての画像データを積分処理することによって、左右の視差画像を取得することができる。また、任意の２個以上のＬ用の分割画素から読み出した画像データと、任意の２個以上のＲ用の分割画素から読み出した画像データとを組み合わせて処理して、３視差以上の多視差画像を取得することもできる。
【０１０６】
図２３において、各分割画素から読み出された画像データの処理（合成）方法は任意である。最大で、（Ｌ1，Ｒ1）、（Ｌ2，Ｒ2）、（Ｌ3，Ｒ3）、（Ｌ4，Ｒ4）という８視差画像を生成することができる。また、（Ｌ1，Ｒ1）と（Ｌ2，Ｒ2）、及び、（Ｌ3，Ｒ3）と（Ｌ4，Ｒ4）という２組の分割画素の組み合わせにより、４視差画像を生成することができる。勿論、すべての分割画素の画像データを使用する必要はなく、一部の分割画素の画像データを未使用のままとした画像処理方法も考え得る。
【０１０７】
図２３に示した撮像素子（画素アレイ部）の構成例によれば、図２１に示した構成例よりも多くの視差画像を得ることができる。その反面、解像度が低下することも十分留意すべきである。
【実施例３】
【０１０８】
これまでは、ＬＦＰ技術を適用した撮像装置１４００で、左右の両眼視差を利用してステレオ画像を生成する方法について説明してきた。ＬＦＰ技術を適用した同様の撮像装置１４００を用いて、高ダイナミック・レンジ（ＨＤＲ）画像を生成することもできる。以下では、ＬＦＰ技術を適用した撮像装置１４００を用いてＨＤＲ画像を生成する実施例について説明する。
【０１０９】
図２１には、画素を水平方向（Ｘ方向）及び垂直方向（Ｙ方向）のそれぞれに対して斜めとなる２方向、例えば４５°をなす２方向に沿って、正方形状の画素を斜め配列した撮像素子１４０３の構造を示した。斜め配列された各画素はそれぞれ、Ｙ軸を中心に水平方向（Ｘ方向）すなわち左右に２分割された３角形状の分割画素を含んでおり、第２の実施例では、各画素の左側の分割画素はステレオ画像のＬ用に、右側の分割画素はステレオ画像のＲ用に、それぞれ割り当てることにより、両眼の視差画像を取得する。
【０１１０】
これに対し、本実施例では、図２４に示すように、各画素の左側の分割画素からステレオ画像のＬ用の画像データを読み出す代わりに、短時間露光（Ｓｈｏｒｔ  Ｅｘｐｏｓｕｒｅ：Ｓｅ）を行ない、また、右側の分割画素からステレオ画像のＲ用の画像データを読み出す代わりに、長時間露光（Ｌｏｎｇ  Ｅｘｐｏｓｕｒｅ：Ｌｅ）を行なう。既に述べたように、露光特性が異なる複数の画像を合成してＨＤＲ画像を生成するための幾つかの方法が当業界で知られている。本実施例では、短時間露光（Ｓｅ）などの低露光量で露光した分割画素、長時間露光（Ｌｅ）などの高露光量で露光した分割画素の各々から得られる画像データを、マイクロ・レンズ単位で合成することにより、ＨＤ画像を生成することができる。
【０１１１】
また、図２３には、斜め配列された画素配列において、１つのマイクロ・レンズに２×２個の画素を割り当てた撮像素子１４０３の構造を示した。斜め配列された各画素は、それぞれ水平方向（Ｘ方向）すなわち左右に２分割された３角形状の分割画素を含む。第２の実施例では、１つのマイクロ・レンズに割り当てられた２×２個の画素のうち、Ｙ軸を中心として図中左側半分の各分割画素をステレオ画像のＬ用に割り当てるとともに、右側半分の各分割画素をステレオ画像のＲ用に割り当てることにより、両眼の視差画像を取得する。
【０１１２】
これに対し、本実施例では、図２５に示すように、各２×２個の画素のＹ軸を中心として左側半分の各分割画素からステレオ画像のＬ用の画像データを読み出す代わりに、第２の画素部の対応画素で短時間露光（Ｓｅ）を行ない、また、Ｙ軸を中心として右側半分の各分割画素からステレオ画像のＲ用の画像データを読み出す代わりに、第２の画素部の対応画素で長時間露光（Ｌｅ）を行なう。既に述べたように、露光特性が異なる複数の画像を合成してＨＤＲ画像を生成するための幾つかの方法が当業界で知られている。本実施例では、短時間露光（Ｓｅ）などの低露光量で露光した画素、並びに、長時間露光（Ｌｅ）などの高露光量で露光した画素の各々から得られる画像データを、マイクロ・レンズ単位で合成することにより、ＨＤ画像を生成することができる。
【０１１３】
なお、図２４並びに図２５では図示を省略したが、短時間露光（Ｓｅ）と短時間露光（Ｓｅ）の他に、中露光時間（Ｍｉｄｄｌｅ  Ｅｘｐｏｓｕｒｅ：Ｍｅ）で中露光を行なう分割画素をさらにも受けて、中露光量の画像データを取得し、露光特性の異なる３種類の画像データをマイクロ・レンズ単位で合成することにより、ＨＤ画像を生成するようにしてもよい。
【０１１４】
また、異なる複数種類の露光特性の画像データを得るために、分割画素毎の露光時間の相違を設定する以外に、図１１〜図１３に示したような絞り量の調整をオンチップ・レンズ毎に行なう方法も考えられる。
【０１１５】
さらに、ＬＦＰ技術を適用した撮像装置１４００において、マイクロ・レンズによる左右視差分離と、露光時間などによる複数の露光特性の設定を同時に行うことで、
【０１１６】
図２６には、ＬＦＰ技術を適用し、斜め配列した撮像素子から高ダイナミック・レンジのステレオ画像を取得する仕組みを示している。撮像素子の各単位画素は、少なくとも受光機能（マイクロ・レンズ並びにオンチップ・レンズを含む）を含む第１の画素部と、第１の画素部に対向するように形成され、少なくとも検出機能を含む第２の画素部が積層するように構成される。そして、第１の画素部は斜め配列として形成され、第２の画素部は正方配列として形成される（同上）。
【０１１７】
第１の画素部の行配列及び列配列と、第２の画素部の行配列及び列配列は互いに対応するように形成されている。斜め配列された第１の画素部の各画素は、正方配列された第２の画素部の対応する行の隣接する２列に跨るように、例えばＹ方向からＸ方向に４５°だけ回転された状態で形成されている。そして、第１の画素部の各画素は、Ｙ軸を中心に左右に２分割された３角形状の分割画素を含むように構成され、各分割画素は第２の画素部の隣接する２列の左右それぞれの列に配置される。また、同色の２×２個の画素に跨って共有するように、１つのマイクロ・レンズ（ＭＬ）が配置されている。第１の画素部の各画素に含まれる各分割画素の画像データは、第２の画素部側の隣接する２列の画素から読み出すことができ、その仕組みは図２０に示した撮像素子と同様である。
【０１１８】
図２６に示す撮像素子（画素アレイ部）の構成例では、１つのマイクロ・レンズに割り当てられた２×２個の画素は、Ｙ軸を中心として図中左側半分の各分割画素がステレオ画像のＬ用に割り当てられ、右側半分の各分割画素がステレオ画像のＲ用に割り当てられている。但し、図２６は、撮像素子を斜め配列した場合のステレオ画像の一例であり、他の構成例も多数存在する。
【０１１９】
また、各２×２個の画素のＹ軸を中心として左側半分の各分割画素に対応する第２の画素部の画素では、それぞれ短時間露光（Ｓｅ）を行なう。また、Ｙ軸を中心として右側半分の各分割画素に対応する第２の画素部の画素では、それぞれ長時間露光（Ｌｅ）を行なう。
【０１２０】
図２６に示す例では、各２×２個の画素内、すなわち、１つのマイクロ・レンズ内には、以下に示す４つの異なる条件の画像データがある。
【０１２１】
ＬＬｅ：Ｌｅｆｔ＋Ｌｏｎｇ  Ｅｘｐｏｓｕｒｅ  （左画像で長時間露光）
ＬＳｅ：Ｌｅｆｔ＋Ｓｈｏｒｔ  Ｅｘｐｏｓｕｒｅ  （左画像で短時間露光）
ＲＬｅ：Ｒｉｇｈｔ＋Ｌｏｎｇ  Ｅｘｐｏｓｕｒｅ  （右画像で長時間露光）
ＲＳｅ：Ｒｉｇｈｔ＋Ｓｈｏｒｔ  Ｅｘｐｏｓｕｒｅ  （右画像で短時間露光）
【０１２２】
既に述べたように、露光特性が異なる複数の画像を合成してＨＤＲ画像を生成するための幾つかの方法が当業界で知られている。１つのマイクロ・レンズ内に上記の４条件の画像データがある場合、ＬＬｅとＬＳｅの画像データを合成することで、左画像の高ダイナミック・レンジ画像を生成することができる。また、ＲＬｅとＲＳｅの画像データを合成することで、右画像の高ダイナミック・レンジ画像を生成することができる。
【０１２３】
なお、図２６は、高ダイナミック・レンジの視差画像を得るための１つの構成例であり、本明細書で開示する技術はこれに限定されるものではない。図２７には、高ダイナミック・レンジの視差画像を得る他の構成例を示している。いずれの構成にせよ、１つのマイクロ・レンズ内で、ＬＬｅとＬＳｅの画像データを合成することで、左画像の高ダイナミック・レンジ画像を生成するとともに、ＲＬｅとＲＳｅの画像データを合成することで、右画像の高ダイナミック・レンジ画像を生成することができる。
【０１２４】
また、画素の露光条件の設定には、上述したような露光時間を制御する方法以外にも、各種の方法が考えられる。レンズの前面にフィルターを設置して光の透過率を制御する方法（レンズ自体の光の透過率を制御する方法を含む）、レンズ（マイクロ・レンズ又はオンチップ・レンズ）の前面にメカニカル・シャッターを設置して、シャッター・スピードの制御によって露光量を決める方法などが挙げられる。シャッター速度を速くすれば、光量が減るので、上記の短時間露光Ｓｅに相当し、低露光量成分の画像データが得られる。他方、シャッター速度を遅くすれば、光量が増えるので、上記の長時間露光Ｌｅに相当し、高露光量成分の画像データが得られる。
【０１２５】
また、レンズ（マイクロ・レンズ又はオンチップ・レンズ）の外周に図１１〜図１３に示したような絞り窓を設置する方法は、比較的容易で、且つ、効果が高い。絞り窓は、例えばレンズ毎に微細加工して取り付けることができるが、実際の一眼レフカメラで使用される絞りと同じ原理である。図１１に示したように絞り解放のときには、高露光なので上記の長時間露光Ｌｅに相当する。他方、図１３に示したように絞りを閉じたときには、低露光なので上記の短時間露光Ｓｅに相当する。
【実施例４】
【０１２６】
これまで、ＬＦＰ技術を適用した撮像装置で高ダイナミック・レンジ画像や視差画像を生成する方法について説明してきた。通常、画像は情報量が多い。したがって、画像圧縮によって情報量を削減するのが一般的である。特に動画像の場合、画像圧縮は必須である。
【０１２７】
図２８には、高ダイナミック・レンジ画像を圧縮する画像圧縮装置２８００の構成例を示している。図示の画像圧縮装置２８００は、例えば画像処理部１４０４の後段に配設され、画像処理部１４０４から出力される非圧縮の画像データＤoutを所定の圧縮率で圧縮処理する。図示の画像圧縮装置２８００は、トーン・マッピング部２８０１と、第１のエンコーダー部２８０２と、デコーダー部２８０３と、逆トーン・マッピング部２８０４と、差分計算部２８０５と、第２のエンコーダー部２８０６を備えている。画像圧縮装置２８００は、トーン・マッピングを行なうことで低ビット深度画像を作成し、その復号画像と原画像との差分をさらに別の符号化器で符号化するという２段構成の符号化方法を採用している。
【０１２８】
画像圧縮装置２８００に入力されるデータ２８１１は、高ダイナミック・レンジの画像であり、例えば８ビット以上の高ビット深度及び小数点精度で表現されることを想定している。高ビット深度画像を符号化する方法については、数多の提案がなされている。例えば、トーン・マッピングを用いてビット深度を変換する処理が当業界で知られている。本実施例では、トーン・マッピング部２８０１は、入力された高ダイナミック・レンジ画像２８１１をトーン・マッピングして、８ビットの画像２８１２に変換する。したがって、後続の第１のエンコーダー部２８０２は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの８ビット深度の画像に対応するエンコード処理を適用する。
【０１２９】
デコーダー部２８０３は、第１のエンコーダー部２８０２のエンコード結果２８１３に対し、第１のエンコーダー部２８０２によるエンコード処理の逆変換に相当するデコード処理を行なって、デコード画像２８１４を得る。第１のエンコーダー部２８０２によるエンコード処理とデコーダー部２８０３によるデコード処理が可逆方式であれば、エンコード前の８ビット画像２８１２とデコード後の画像２８１４は完全に一致するが、通常は圧縮率向上のために非圧縮を行なうので両者は一致しない（デコード後の画像２８１４は、エンコード前の画像２８１２よりも劣化した画像になる）。
【０１３０】
逆トーン・マッピング部２８０４は、デコーダー部２８０３によるデコード後の画像２８１４に対して、トーン・マッピング部２８０１によるトーン・マッピング処理の逆変換に相当する逆トーン・マッピング処理を行なう。
【０１３１】
上述したように、第１のエンコーダー部２８０２におけるエンコード処理は非圧縮方式なので、逆トーン・マッピング部２８０４により逆トーン・マッピングした画像２８１５は、入力画像２８１１とは一致しない。差分計算部２８０５は、逆トーン・マッピング部２８０４により逆トーン・マッピングした画像２８１５と入力画像２８１１との差分を計算して、差分画像２８１６を出力する。
【０１３２】
第２のエンコーダー部２８０６は、差分画像２８１６に対してエンコード処理を行ない、エンコード結果２８１７を出力する。
【０１３３】
したがって、画像圧縮装置２８００全体としては、例えば通常の８ビット深度画像対応の、第１のエンコーダー部２８０２のエンコード結果２８１３と、高ダイナミック・レンジ画像との差分画像（すなわち、エンコードの誤差に対する）のエンコード結果２８１７の２つを出力することになる。
【０１３４】
この利点としては、例えば既存の８ビット深度の画像にのみ対応可能な機器と、高ダイナミック・レンジまで対応可能な機器の双方に対して圧縮画像を提供することができることが挙げられる（但し、ここで言う「機器」は、画像ビューワーや各種ソフトウェア、ハードウェアを含むものとする）。
【０１３５】
画像圧縮装置２８００は、既存の８ビット深度の画像にのみ対応可能な機器に対しては、第１のエンコーダー部２８０２のエンコード結果２８１３のみを出力すればよい。また、画像圧縮装置２８００は、高ダイナミック・レンジまで対応可能な機器に対しては、第１のエンコーダー部２８０２によるエンコード結果２８１３と、第２のエンコーダー部２８０６による差分画像のエンコード結果２８１７の２つを出力すればよい。すなわち、画像圧縮装置２８００は、既存の８ビット深度の画像対応の画像圧縮装置に対する後方互換性を有していると言える。
【０１３６】
後方互換性は非常に大きな利点である。何故ならば、ＪＰＥＧやＭＰＥＧなどの８ビット対応のソフトウェアやディジタルカメラ、カメラ付き多機能端末などが既に大量に普及しているからである。
【０１３７】
また、図２９には、画像圧縮装置２８００から出力される圧縮画像を復号する画像復号装置２９００の構成例を示している。図示の画像復号装置２９００は、第１のデコーダー部２９０１と、逆トーン・マッピング部２９０２と、第２のデコーダー部２９０３と、加算計算部２９０４を備え、第１のエンコーダー部２８０２による高ダイナミック・レンジ画像のエンコード結果２８１３と第２のエンコーダー部２８０６による差分画像のエンコード結果２８１７の２つを入力するように構成されており、高ダイナミック・レンジまで対応可能である。
【０１３８】
第１のデコーダー部２９０１は、画像圧縮装置２８００側の第１のエンコーダー部２８０２によるエンコード結果を入力２９１１とし、第１のエンコーダー部２８０２によるエンコード処理の逆変換に相当するデコード処理を行なって、デコード画像２９１２を得る。
【０１３９】
逆トーン・マッピング部２９０２は、第１のデコーダー部２９０１によるデコード後の画像２９１２に対して、画像圧縮装置２８００側のトーン・マッピング部２８０１によるトーン・マッピング処理の逆変換に相当する逆トーン・マッピング処理を行なって、逆トーン・マッピング画像２９１３を出力する。
【０１４０】
一方、第２のデコーダー部２９０３は、画像圧縮装置２８００側の第２のエンコーダー部２８０６によるエンコード結果を入力２９１４とし、第２のエンコーダー部２８０６によるエンコード処理の逆変換に相当するデコード処理を行なって、デコード画像２９１５を得る。
【０１４１】
上述したように、画像圧縮装置２８００側でのエンコード処理は非圧縮方式なので、逆トーン・マッピング部２９０２により逆トーン・マッピングした画像２９１３は、画像圧縮装置２８００に入力された元の高ダイナミック・レンジ画像２８１１とは一致しない。加算計算部２９０４は、逆トーン・マッピング部２９０２により逆トーン・マッピングした画像２９１３に、第２のデコーダー部２９０３によるデコード結果２９１５であるエンコードの誤差成分を加算して、元の状態により近い高ダイナミック・レンジ画像２９１６を生成して、画像復号装置２９００の出力とする。
【０１４２】
続いて、高ダイナミック・レンジのステレオ画像の圧縮処理について説明する。ステレオ画像の圧縮方式については、例えば、Ｈ．２６４／ＡＶＣを拡張する形で、多視点映像符号化（ＭＶＣ：Ｍｕｌｔｉｖｉｅｗ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）規格として既に標準化され、ブルーレイ・ディスクでのステレオ画像表示などでも実用化されている。本実施例でも、このような国際規格を用いればよい。
【０１４３】
図３０には、高ダイナミック・レンジ画像を圧縮する画像圧縮装置３０００の他の構成例を示している。図示の画像圧縮装置３０００は、トーン・マッピングを行なうことで低ビット深度画像を作成し、その復号画像と原画像との差分をさらに別の符号化器で符号化するという２段構成の符号化方法を採用しており（同上）、トーン・マッピング部３００１と、第１のエンコーダー部３００２と、デコーダー部３００３と、逆トーン・マッピング部３００４と、差分計算部３００５と、第２のエンコーダー部３００６を備えている。また、画像圧縮装置３０００は、高ダイナミック・レンジのステレオ画像を所定の圧縮率で圧縮処理するように構成されている。
【０１４４】
トーン・マッピング部３００１は、入力された左右の高ダイナミック・レンジ画像３０１１Ｌ及び３０１１Ｒを別々にトーン・マッピングして、それぞれ例えば８ビットの画像３０１２Ｌ及び３０１２Ｒに変換する。トーン・マッピング部３００１は、左右の画像３０１１Ｌ及び３０１１Ｒに対して、特に異なるトーン・マッピングの手法を用いる必要はない。
【０１４５】
第１のエンコーダー部３００２は、左右のトーン・マッピング画像３０１２Ｌ及び３０１２Ｒに対して、例えば所定の規格に則ったエンコード処理を適用して、各々のエンコード画像３０１３Ｌ及び３０１３Ｒを出力する。
【０１４６】
デコーダー部３００３は、第１のエンコーダー部３００２の左右のエンコード画像３０１３Ｌ及び３０１３Ｒに対し、第１のエンコーダー部２８０２によるエンコード処理の逆変換に相当するデコード処理をそれぞれ行なって、左右のデコード画像３０１４Ｌ及び３０１４Ｒを得る。第１のエンコーダー部３００２によるエンコード処理とデコーダー部３００３によるデコード処理が可逆方式であれば、エンコード前の左右の画像３０１２Ｌ及び３０１２Ｒとデコード後の左右の画像３０１４Ｌ及び３０１４Ｒはそれぞれ完全に一致するが、通常は圧縮率向上のために非圧縮を行なうので両者は一致しない（デコード後の画像３０１４Ｌ及び３０１４Ｒは、エンコード前の画像３０１２Ｌ及び３０１２Ｒよりも劣化した画像になる）。
【０１４７】
逆トーン・マッピング部３００４は、デコーダー部３００３によるデコード後の画像３０１４Ｌ及び３０１４Ｒに対して、トーン・マッピング部３００１によるトーン・マッピング処理の逆変換に相当する逆トーン・マッピング処理をそれぞれ行なう。
【０１４８】
上述したように、第１のエンコーダー部３００２におけるエンコード処理は非圧縮方式なので、逆トーン・マッピング部３００４により逆トーン・マッピングした左右の画像３０１５Ｌ及び３０１５Ｒは、左右の入力画像３０１１Ｌ及び３０１１Ｒとは一致しない。差分計算部３００５は、逆トーン・マッピング部２８０４により逆トーン・マッピングした左右の画像３０１５Ｌ及び３０１５Ｒと左右の入力画像３０１１Ｌ及び３０１１Ｒ１との差分をそれぞれ計算して、左右の差分画像３０１６Ｌ及び３０１６Ｒを出力する。
【０１４９】
第２のエンコーダー部３００６は、左右の差分画像３０１６Ｌ及び３０１６Ｒに対してエンコード処理をそれぞれ行ない、エンコード画像３０１７Ｌ及び３０１７Ｒを出力する。
【０１５０】
したがって、画像圧縮装置３０００全体としては、例えば通常の８ビット深度画像対応の、第１のエンコーダー部３００２による左右のエンコード画像３０１３Ｌ及び３０１３Ｒと、左右それぞれの高ダイナミック・レンジ画像との差分画像（すなわち、エンコードの誤差に対する）のエンコード画像３０１７Ｌ及び３０１７Ｒの２通りを出力することになる。
【０１５１】
この利点としては、例えば既存の８ビット深度の画像にのみ対応可能な機器と、高ダイナミック・レンジまで対応可能な機器の双方に対して圧縮画像を提供することができること、すなわち後方互換性を有することが挙げられる（同上）。
【０１５２】
また、図３１には、画像圧縮装置３０００から出力される圧縮ステレオ画像を復号する画像復号装置３１００の構成例を示している。図示の画像復号装置３１００は、第１のデコーダー部３１０１と、逆トーン・マッピング部３１０２と、第２のデコーダー部３１０３と、加算計算部３１０４を備え、第１のエンコーダー部３００２による高ダイナミック・レンジのステレオ画像のエンコード結果３０１３と第２のエンコーダー部３００６による左右の差分画像のエンコード結果３０１７の２つを入力するように構成されており、高ダイナミック・レンジまで対応可能である。
【０１５３】
第１のデコーダー部３１０１は、画像圧縮装置３０００側の第１のエンコーダー部３００２による左右のエンコード画像３１１１Ｌ及び３１１１Ｒを入力し、第１のエンコーダー部３００２によるエンコード処理の逆変換に相当するデコード処理をそれぞれ行なって、左右のデコード画像３１１２Ｌ及び３１１２Ｒを得る。
【０１５４】
逆トーン・マッピング部３１０２は、第１のデコーダー部３１０１による左右のデコード画像３１１２Ｌ及び３１１２Ｒに対して、画像圧縮装置３０００側のトーン・マッピング部３００１によるトーン・マッピング処理の逆変換に相当する逆トーン・マッピング処理をそれぞれ行なって、左右の逆トーン・マッピング画像３１１３Ｌ及び３１１３Ｒを出力する。
【０１５５】
一方、第２のデコーダー部３１０３は、画像圧縮装置３０００側の第２のエンコーダー部３００６による左右のエンコード画像３１１４Ｌ及び３１１４Ｒを入力し、第２のエンコーダー部３００６によるエンコード処理の逆変換に相当するデコード処理を行なって、左右のデコード画像３１１５Ｌ及び３１１５Ｒを得る。
【０１５６】
上述したように、画像圧縮装置３０００側でのエンコード処理は非圧縮方式なので、逆トーン・マッピング部３１０２から出力される左右の逆トーン・マッピング画像３１１３Ｌ及び３１１３Ｒは、画像圧縮装置３０００に入力された元の高ダイナミック・レンジのステレオ画像３０１１Ｌ及び３０１１Ｒとは一致しない。加算計算部３１０４は、逆トーン・マッピング部３１０２により逆トーン・マッピングした左右の画像３１１３Ｌ及び３１１３Ｒに、第２のデコーダー部３１０３による左右のデコード画像３１１５Ｌ及び３１１５Ｒをそれぞれ加算して、元の状態により近い高ダイナミック・レンジのステレオ画像３１１６Ｌ及び３１１６Ｒを生成して、画像復号装置３１００の出力とする。
【０１５７】
撮像装置１４００の内部に画像圧縮装置を組み込んで、生成した画像をエンコードして、コード・ストリームを出力するように構成することもできる。実施例３として説明したように、１台の撮像装置１４００は、ステレオ画像を生成することも、高ダイナミック・レンジ画像を生成することもできる。
【０１５８】
また、撮像装置１４００を、ユーザーや外部機器などからの指示情報に基づいて、ステレオ画像又は高ダイナミック・レンジ画像を選択的に生成できるように構成することもできる。高ダイナミック・レンジ画像を生成する旨の指示情報が入力されたときには、撮像装置１４００に組み込まれた画像圧縮装置は、図２８に示したような動作特性で振る舞って、高ダイナミック・レンジ画像のエンコード結果を出力すればよい。他方、ステレオ画像を生成する旨の指示情報が入力されたときには、撮像装置１４００に組み込まれた画像圧縮装置は、図３０に示したような動作特性で振る舞って、ステレオ画像のエンコード結果を出力すればよい。
【先行技術文献】
【特許文献】
【０１５９】
【特許文献１】特開２０１３−２５５２０１号公報
【特許文献２】特許第４４９４６９０号公報
【特許文献３】特開２０１０−１５４４９３号公報
【非特許文献】
【０１６０】
【非特許文献１】Ｒｅｎ．Ｎｇ外著“Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ”（Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−０２）
【産業上の利用可能性】
【０１６１】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１６２】
本明細書で開示する技術は、静止画並びに動画のいずれの高ダイナミック・レンジの画像を撮影する際にも適用することができる。また、本明細書で開示する技術は、多視点画像又は高ダイナミック・レンジの画像の撮影、並びに、多視点画像と高ダイナミック・レンジの画像を組み合わせた撮影に適用することができる。
【０１６３】
本明細書で開示する技術の第３の実施例に係る撮像装置は、同時刻に多視点の画像を生成することができるＬＦＰ技術を応用して、各画素の露光条件を変えることで、高ダイナミック・レンジ画像を生成することができる。また、多視点の画像を生成することを利用して、ステレオ画像も同時に生成することができる。
【０１６４】
さらに第４の実施例では、撮像装置の後段に画像圧縮装置を備えることで、本来大きなデータ・サイズになる高ダイナミック・レンジ画像（並びに、高ダイナミック・レンジのステレオ画像）のデータ量を大幅に削減しながら、高画質を維持することができる。
【０１６５】
また、第２の実施例では、撮像素子の画素の２次元配列を例えば水平方向及び垂直方向のそれぞれに対して４５°だけ斜めにした斜め配列にする（すなわち、ハニカム構造化する）ことで、正方配列では画像データが未使用で無駄になっていた画素を有効利用することができ、解像度の低下を防止することができる。
【０１６６】
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１６７】
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
露光条件が異なるマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されて、各マイクロ・レンズが出力する光を前記撮像素子の撮像面に結像させるレンズ・アレイと、
を具備する撮像装置。
（２）前記撮像素子から出力される露光条件の異なる複数の撮像画像を合成して、高ダイナミック・レンジの画像を生成する画像合成部をさらに備える、
上記（１）に記載の撮像装置。
（３）前記レンズ・アレイは、低露光レンズ特性を持つマイクロ・レンズと高露光レンズ特性を持つマイクロ・レンズを含み、
前記撮像素子は、前記低露光レンズ特性及び前記高露光レンズ特性を持つ各マイクロ・レンズの出力光をそれぞれ光電変換して低露光画像と高露光画像を撮影し、
前記画像合成部は、前記低露光画像と前記高露光画像を合成して高ダイナミック・レンジの画像を生成する、
上記（２）に記載の撮像装置。
（４）前記レンズ・アレイは、露光レンズ特性が異なる３種類以上のマイクロ・レンズを含み、
前記撮像素子は、露光レンズ特性毎のマイクロ・レンズの出力光をそれぞれ光電変換して露光条件が異なる３種類以上の画像を撮影し、
前記画像合成部は、前記露光条件が異なる３種類以上の撮像画像を合成して高ダイナミック・レンジの画像を生成する、
上記（２）に記載の撮像装置。
（５）前記撮像素子で結像した後に、露光条件が異なる各撮像画像について、露光条件が同じ隣接画素値を用いて他の露光条件の画素位置の画素を補間して解像度を向上させる補間手段をさらに備える、
上記（１）乃至（４）のいずれかに記載の撮像装置。
（６）前記補間手段は、露光条件が異なる各撮像画像を前記の画素補間により入力画像と同一の解像度に向上させる、
上記（５）に記載の撮像装置。
（７）前記マイクロ・レンズは、対応する露光条件に合わせた光量を制御するための絞りを備える、
上記（１）乃至（６）のいずれかに記載の撮像装置。
（８）撮像レンズと、
前記撮像レンズにより集光された光を光電変換する撮像素子と、
前記撮像素子のｍ×ｎ個の画素がそれぞれ割り当てられた複数のマイクロ・レンズを２次元平面上に配列して構成され、前記撮像素子の撮像面の前面に離間して配置されたレンズ・アレイと、
前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データを合成する画像合成部と、
を具備する撮像装置。
（９）前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像を生成する、
上記（８）に記載の撮像装置。
（１０）前記画像合成部は、各マイクロ・レンズを通過する左眼用の光線を受光する画素から読み出した画像データに基づいて左眼用画像を合成するとともに、右眼用の光線を受光する画素から読み出した画像データに基づいて右眼用画像を合成する、
上記（８）に記載の撮像装置。
（１１）前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、露光条件の異なる複数の画像を同時に生成する、
上記（８）に記載の撮像装置。
（１２）前記画像合成部は、各マイクロ・レンズを通過する光を受光するｍ×ｎ個の画素のうち、低露光条件に設定された画素から読み出した画像データに基づいて低露光画像を生成するとともに、高露光条件に設定された画素から読み出した画像データに基づいて高露光画像を前記低露光画像と同時に生成する、
上記（１１）に記載の撮像装置。
（１３）前記画像合成部は、前記レンズ・アレイの各マイクロ・レンズを通過した光を受光するｍ×ｎ個の画素のうち少なくとも一部の画像データに基づいて、ステレオ画像と、低露光画像及び高露光画像を同時に生成する、
上記（８）に記載の撮像装置。
（１４）前記画像合成部は、同時に生成した低露光画像と高露光画像を合成して、高ダイナミック・レンジ画像を生成する、
上記（１１）乃至（１３）のいずれかに記載の撮像装置。
（１５）前記撮像素子は、水平方向及び垂直方向に沿って格子状に正方配列した画素群を、受光面内において所定の角度だけ回転した状態で配設する、
上記（８）に記載の撮像装置。
（１６）それぞれの露光条件に合わせた光量となるように各画素の露光時間を制御する、
上記（１１）乃至（１３）のいずれかに記載の撮像装置。
（１７）それぞれの露光条件に合わせた光量となるように各画素に入射する光の絞り量を制御する、
上記（１１）乃至（１３）のいずれかに記載の撮像装置。
（１８）前記画像合成部で生成した画像をエンコードしてコード・ストリームを出力するエンコード部をさらに備える、
上記（１３）に記載の撮像装置。
（１９）指示情報に基づいてステレオ画像又は高ダイナミック・レンジ画像のいずれを生成するかを選択し、
前記エンコード部は、ステレオ画像を生成することが選択されたときにはステレオ画像のエンコード結果を出力し、高ダイナミック・レンジ画像を生成することが選択されたときには高ダイナミック・レンジ画像のエンコード結果を出力する、
上記（１８）に記載の撮像装置。
（２０）前記エンコード部は、高ダイナミック・レンジ画像をエンコードする際に、高ダイナミック・レンジ画像をトーン・マッピングするトーン・マッピング部と、トーン・マッピングした後の画像をエンコードする第１のエンコーダー部と、前記第１のエンコーダー部によるエンコード結果をデコードするデコーダー部と、前記デコーダー部によるデコード結果を逆トーン・マッピングする逆トーン・マッピング部と、元の高ダイナミック・レンジ画像と逆トーン・マッピングした画像の差分を計算する差分計算部と、前記差分計算部による差分画像をエンコードする第２のエンコーダー部を備える、
上記（１９）に記載の撮像装置。
【符号の説明】
【０１６８】
１００…撮像装置、１０１…撮像部、１０２…画像合成部
２００…撮像装置、２０１…撮像部、２０２…画像合成部
３０１…撮像素子、３０２…レンズ・アレイ、３０３…撮像レンズ
８０１…撮像素子、８０２…レンズ・アレイ、８０３…撮像レンズ
１４００…撮像装置、１４０１…撮像レンズ、１４０２…レンズ・アレイ
１４０３…撮像素子、１４０４…画像処理部、１４０５…撮像素子駆動部
１４０６…制御部、１４０７…開口絞り、１４１０…被写体
２８００…画像圧縮装置、２８０１…トーン・マッピング部
２８０２…第１のエンコーダー部、２８０３…デコーダー部
２８０４…逆トーン・マッピング部、２８０５差分計算部
２８０６…第２のエンコーダー部
２９００…画像復号装置、２９０１…第１のデコーダー部
２９０２…逆トーン・マッピング部、２９０３…第２のデコーダー部
２９０４…加算計算部
３０００…画像圧縮装置、３００１…トーン・マッピング部
３００２…第１のエンコーダー部、３００３…デコーダー部
３００４…逆トーン・マッピング部、３００５差分計算部
３００６…第２のエンコーダー部
３１００…画像復号装置、３１０１…第１のデコーダー部
３１０２…逆トーン・マッピング部、３１０３…第２のデコーダー部
３１０４…加算計算部
【図１】
2015181213.tif 000003
【図２】
2015181213.tif 000004
【図１４】
2015181213.tif 000005
【図１５】
2015181213.tif 000006
【図１６】
2015181213.tif 000007
【図１７】
2015181213.tif 000008
【図１８】
2015181213.tif 000009
【図１９】
2015181213.tif 000010
【図２１】
2015181213.tif 000011
【図２２】
2015181213.tif 000012
【図２３】
2015181213.tif 000013
【図２４】
2015181213.tif 000014
【図２５】
2015181213.tif 000015
【図２６】
2015181213.tif 000016
【図２７】
2015181213.tif 000017
【図２８】
2015181213.tif 000018
【図２９】
2015181213.tif 000019
【図３０】
2015181213.tif 000020
【図３１】
2015181213.tif 000021
【図３】
2015181213.tif 000022
【図４】
2015181213.tif 000023
【図５】
2015181213.tif 000024
【図６】
2015181213.tif 000025
【図７】
2015181213.tif 000026
【図８】
2015181213.tif 000027
【図９】
2015181213.tif 000028
【図１０】
2015181213.tif 000029
【図１１】
2015181213.tif 000030
【図１２】
2015181213.tif 000031
【図１３】
2015181213.tif 000032
【図２０】
2015181213.tif 000033