(57)【要約】  本願に開示された撮像装置は、レンズおよび絞りを有するレンズ光学系と、レンズ光学系を通過した光が入射する撮像素子Ｎと、レンズ光学系と撮像素子Ｎとの間に配置され、レンズ光学系の光軸に垂直な平面における行方向に延びる光学要素Ｍ１が前記平面における列方向に複数配列されたアレイ状光学素子Ｋとを備える。撮像素子Ｎは、行方向に配列された複数の第１の画素Ｐ１と、複数の第１の画素Ｐ１と列方向に隣接した位置に、行方向に配列された複数の第２の画素Ｐ２とを有する複数の画素群Ｐｇ１〜Ｐｇ３を含み、複数の画素群Ｐｇ１〜Ｐｇ３は列方向に配列され、複数の光学要素Ｍ１間の境界位置は、複数の画素群Ｐｇ１〜Ｐｇ３間の対応する境界位置に対して列方向にそれぞれオフセットしている。
2013051186.tif 000002
【特許請求の範囲】
【請求項１】
レンズおよび絞りを有するレンズ光学系と、
前記レンズ光学系を通過した光が入射する撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置され、前記レンズ光学系の光軸に垂直な平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子とを備え、
前記撮像素子は、前記列方向に配列された複数の画素群であって、各画素群が、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群を含み、、
前記複数の光学要素間の境界位置は、前記複数の画素群間の対応する境界位置に対して、前記列方向にそれぞれオフセットしている、撮像装置。
【請求項２】
前記複数の光学要素間の境界位置は、前記複数の画素群によって構成される撮像面の中心から周辺において、前記複数の画素群間の対応する境界位置に対してそれぞれ前記列方向にオフセットしている、請求項１に記載の撮像装置。
【請求項３】
前記アレイ状光学素子の各光学要素は、前記複数の画素群の１つに対応するように配置されている請求項２に記載の撮像装置。
【請求項４】
前記各画素群において、前記複数の第１の画素のそれぞれと、これに前記列方向に隣接する第２の画素とには、被写体における同じ部分からの光が入射する、請求項３に記載の撮像装置。
【請求項５】
前記アレイ状光学素子は、レンチキュラレンズである、請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記アレイ状光学素子は、前記撮像素子上に形成されている、請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、
前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されている、請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記レンズ光学系は像側テレセントリック光学系であって、
前記複数の光学要素間の境界位置と前記複数の画素群の境界位置とのオフセット量は、前記列方向における前記光軸からの距離によらず等しい、請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記レンズ光学系は像側非テレセントリック光学系であって、
前記複数の光学要素間の境界位置と前記複数の画素群の境界位置とのオフセット量は、前記列方向における前記光軸からの距離によって異なる、請求項１から７のいずれかに記載の撮像装置。
【請求項１０】
前記アレイ状光学素子の前記列方向の位置を制御する駆動機構をさらに備え、
前記駆動機構によって、前記オフセット量を調整し得る請求項８または９に記載の撮像装置。
【請求項１１】
前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部をさらに備え、
前記複数の第１の画素に供給される光の量は前記複数の第２の画素に供給される光の量のＡ倍（Ａ＞１）であり、
前記信号処理部は、各画素群において、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、これに隣接する前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、
前記画素値Ｖ１が飽和していない場合には、前記画素値Ｖ１を出力し、
前記画素値Ｖ１が飽和している場合には、前記第２の画素における前記画素値Ｖ２にＡを乗じた値を出力する処理を行う、請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
前記信号処理部は、前記複数の第１の画素および前記複数の第２の画素のそれぞれについて、前記処理を行う、請求項１１に記載の撮像装置。
【請求項１３】
請求項１から１０のいずれかに記載の撮像装置と、
前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部とを備えるシステムであって、
前記複数の第１の画素に供給される光の量は前記複数の第２の画素に供給される光の量のＡ倍（Ａ＞１）であり、
前記信号処理部は、各画素群において、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、これに隣接する前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、
前記画素値Ｖ１が飽和していない場合には、前記画素値Ｖ１を出力し、
前記画素値Ｖ１が飽和している場合には、前記第２の画素における前記画素値Ｖ２にＡを乗じた値を出力する処理を行うシステム。
【請求項１４】
請求項１から１２のいずれかに記載の撮像装置または請求項１３に記載のシステムを複数備える測距装置。
【請求項１５】
所定の平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子と、
前記列方向に配列された複数の画素群であって、各画素群が、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群と
を備え、
アレイ状光学素子は、前記複数の光学要素間の境界位置が、前記複数の画素群間の対応する境界位置に対して、前記列方向にそれぞれオフセットするように前記複数の画素群に対して配置されている、撮像素子。
【請求項１６】
前記複数の光学要素間の境界位置は、前記複数の画素群によって構成される撮像面の中心から周辺において、前記複数の画素群間の対応する境界位置に対してそれぞれ前記列方向にオフセットしている、請求項１５に記載の撮像素子。
【請求項１７】
前記アレイ状光学素子の各光学要素は、前記複数の画素群の１つに対応するように配置されている請求項１６に記載の撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、カメラ等の撮像装置、撮像装置を用いたシステム及び測距装置に関する。
【背景技術】
【０００２】
高ダイナミックレンジ画像を取得する技術として、対数変換型の撮像素子を設ける方法や、２つの撮像素子を用いて、露光量を異ならせて撮影を行い、２つの画像を合成する方法が知られている。また、時分割で露光時間の異なる画像を得て、これらを合成する方法が知られている。【０００３】
特許文献１には、対数変換型の撮像装置において、画素毎の感度の不均一性を補正するために、各画素の撮像データから、メモリに記憶された均一光照射時の撮像データを減算する方法が開示されている。【０００４】
特許文献２には、プリズムによって光路を分割し、２つの撮像素子によって撮影条件（露光量）を変えて撮像を行う方法が開示されている。【０００５】
また、時分割で露光時間の異なる画像を得て、これらを合成する方法では、時分割で被写体を撮影するため、被写体が動いている場合には、時間差による画像のズレが生じ、画像の連続性が乱れるという課題が生じる。特許文献３には、このような方式における画像のズレを補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−３０３５０号公報
【特許文献２】特開２００９−３１６８２号公報
【特許文献３】特開２００２−１０１３４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の方法では、画素毎に画素信号を対数変換する回路が必要となるため、画素サイズを小さくすることができない。また、特許文献１に開示される方法では、画素毎の感度の不均一性を補正するための補正用データを記録しておく手段が必要となり、コストアップとなってしまう。【０００８】
また、特許文献２の方法では、撮像素子が２つ必要となるため、撮像装置が大型化し、大幅なコストアップとなってしまう。【０００９】
特許文献３では、画像のズレを補正する技術が開示されているものの、あらゆる動体に対して時間差による画像のズレを完全に補正することは原理的に困難である。【００１０】
本願の限定的ではない例示的なある実施形態は、１つの撮像素子を用いて複数の画像情報を同時に取得し、動画対応可能な高ダイナミックレンジ画像を生成する撮像装置、これを用いたシステムおよび測距装置を提供する。
【課題を解決するための手段】
【００１１】
本発明の一態様である撮像装置は、レンズおよび絞りを有するレンズ光学系と、前記レンズ光学系を通過した光が入射する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記レンズ光学系の光軸に垂直な平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子とを備え、前記撮像素子は、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群を含み、前記複数の画素群は前記列方向に配列され、前記複数の光学要素間の境界位置は、前記複数の画素群間の対応する境界位置に対してそれぞれオフセットしている。【００１２】
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
【発明の効果】
【００１３】
本発明の一態様に係る撮像装置によれば、第２の画素に供給される光の量（露光量）を第１の画素に供給される光の量（露光量）よりも少なくすることにより、検出できる量よりも多い光が第１の画素に供給された場合（第１の画素の画素値が飽和している場合）においても、第２の画素において検出された値を用いて、被写体の正確な明るさを算出することができる。一方、第１の画素によって検出できる範囲内の光が第１の画素に供給された場合（第１の画素の画素値が飽和していない場合）には、第１の画素によって検出される値を用いることができる。これにより、単一の撮像系を用いた１回の撮像によって、高ダイナミックレンジ画像を取得することができる。本発明の一態様では、対数変換型等の特殊な撮像素子を用いる必要がなく、また、複数の撮像素子を必要としない。
【図面の簡単な説明】
【００１４】
【図１】（ａ）は、本発明による撮像装置Ａの実施の形態１を示す模式図である。（ｂ）は、（ａ）に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す模式図である。
【図２】本発明の実施の形態１におけるアレイ状光学素子Ｋの斜視図である。
【図３】（ａ）は、図１（ｂ）に示すアレイ状光学素子Ｋと撮像素子Ｎ（モノクロ撮像素子）の画素との位置関係を示す図である。（ｂ）は、図１（ｂ）に示すアレイ状光学素子Ｋと撮像素子Ｎ（カラー撮像素子）の画素との位置関係を示す図である。
【図４】本発明による撮像装置Ａの実施の形態１を示す断面図である。
【図５】（ａ）は、本発明の実施の形態１におけるアレイ状光学素子Ｋを通過した光線が撮像素子Ｎの撮像面Ｎｉ上の画素に到達する様子を示す光線追跡シミュレーションの図である。（ｂ）は、撮像面Ｎｉで撮像したシミュレーション画像であり、（ｃ）はシミュレーション画像の偶数列を抽出し奇数列を補完して生成した画像であり、（ｄ）はシミュレーション画像の奇数列を抽出し偶数列を補完して生成した画像である。
【図６】（ａ）は、本発明の実施の形態１におけるアレイ状光学素子Ｋを通過した光線が撮像素子Ｎに到達する様子を示す光線追跡シミュレーションの図である。（ｂ）は、撮像素子Ｎで撮像したシミュレーション画像であり、（ｃ）はシミュレーション画像の偶数列を抽出し奇数列を補完して生成した画像であり、（ｄ）はシミュレーション画像の奇数列を抽出し偶数列を補完して生成した画像である。
【図７】本発明の実施の形態１におけるダイナミックレンジの高い画像を生成するフローチャートである。
【図８】（ａ）および（ｂ）は、本発明の実施の形態２におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。
【図９】レンズ光学系Ｌが像側非テレセントリック光学系の場合におけるアレイ状光学素子Ｋと撮像素子Ｎとを示す断面図である。
【図１０】（ａ）は、本発明の実施の形態３において、光軸近傍外において第１の画素に入射する光の量と第２の画素に入射する光の量との比が、光軸近傍における比と異なる場合の撮像面の近傍を拡大して示す図である。（ｂ）は、光軸近傍外において第１の画素に入射する光の量と第２の画素に入射する光の量との比が、光軸近傍の比と等しい場合の撮像面の近傍を拡大して示す図である。
【図１１】本発明の実施の形態４におけるアレイ状光学素子Ｋの駆動機構の断面図である。
【図１２】（ａ）は、本発明の実施の形態４において、アレイ状光学素子Ｋの光学要素間の境界位置のそれぞれが、前記撮像素子の画素間の境界位置に対してオフセットしてない状態において、アレイ状光学素子Ｋを通過した光線が撮像素子Ｎに到達する様子を示す光線追跡シミュレーションの図である。（ｂ）は、撮像素子Ｎで撮像したシミュレーション画像であり、（ｃ）はシミュレーション画像の偶数列を抽出し奇数列を補完して生成した画像であり、（ｄ）はシミュレーション画像の奇数列を抽出し偶数列を補完して生成した画像である。
【図１３】本発明による実施の形態５における測距装置の概略図である。
【発明を実施するための形態】
【００１５】
本発明の一態様の概要は以下のとおりである。
【００１６】
本発明の一態様である撮像装置は、レンズおよび絞りを有するレンズ光学系と、前記レンズ光学系を通過した光が入射する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記レンズ光学系の光軸に垂直な平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子とを備え、前記撮像素子は、前記列方向に配列された複数の画素群であって、各画素群が、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群を含み、前記複数の光学要素間の境界位置は、前記複数の画素群間の対応する境界位置に対して、前記列方向にそれぞれオフセットしている。
【００１７】
前記複数の光学要素間の境界位置は、前記複数の画素群によって構成される撮像面の中心から周辺において、前記複数の画素群間の対応する境界位置に対してそれぞれ前記列方向にオフセットしていてもよい。
【００１８】
前記アレイ状光学素子の各光学要素は、前記複数の画素群の１つに対応するように配置されていてもよい。
【００１９】
前記各画素群において、前記複数の第１の画素のそれぞれと、これに前記列方向に隣接する第２の画素とには、被写体における同じ部分からの光が入射してもよい。
【００２０】
前記アレイ状光学素子は、レンチキュラレンズであってもよい。
【００２１】
前記アレイ状光学素子は、前記撮像素子上に形成されていてもよい。
【００２２】
撮像装置は、前記アレイ状光学素子と前記撮像素子との間に設けられたマイクロレンズをさらに備え、前記アレイ状光学素子は、前記マイクロレンズを介して前記撮像素子上に形成されていてもよい。
【００２３】
前記レンズ光学系は像側テレセントリック光学系であって、前記複数の光学要素間の境界位置と前記複数の画素群の境界位置とのオフセット量は、前記列方向における前記光軸からの距離によらず等しくてもよい。
【００２４】
前記レンズ光学系は像側非テレセントリック光学系であって、前記複数の光学要素間の境界位置と前記複数の画素群の境界位置とのオフセット量は、前記列方向における前記光軸からの距離によって異なっていてもよい。
【００２５】
撮像装置は、前記アレイ状光学素子の前記列方向の位置を制御する駆動機構をさらに備え、前記駆動機構によって、前記オフセット量を調整してもよい。
【００２６】
撮像装置は、前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部をさらに備え、前記複数の第１の画素に供給される光の量は前記複数の第２の画素に供給される光の量のＡ倍（Ａ＞１）であり、前記信号処理部は、各画素群において、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、これに隣接する前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、前記画素値Ｖ１が飽和していない場合には、前記画素値Ｖ１を出力し、前記画素値Ｖ１が飽和している場合には、前記第２の画素における前記画素値Ｖ２にＡを乗じた値を出力する処理を行ってもよい。
【００２７】
前記信号処理部は、前記複数の第１の画素および前記複数の第２の画素のそれぞれについて、前記処理を行ってもよい。
【００２８】
本発明の他の一態様であるシステムは、上記いずれかに記載の撮像装置と、前記複数の第１の画素において得られた複数の画素値および前記複数の第２の画素において得られた複数の画素値を用いて画像を生成する信号処理部とを備えるシステムであって、前記複数の第１の画素に供給される光の量は前記複数の第２の画素に供給される光の量のＡ倍（Ａ＞１）であり、前記信号処理部は、各画素群において、前記複数の第１の画素のうちの１つである画素Ｐ１において得られた画素値Ｖ１と、これに隣接する前記複数の第２の画素のうちの１つである画素Ｐ２において得られた画素値Ｖ２とを読み込み、前記画素値Ｖ１が飽和していない場合には、前記画素値Ｖ１を出力し、前記画素値Ｖ１が飽和している場合には、前記第２の画素における前記画素値Ｖ２にＡを乗じた値を出力する処理を行う。
【００２９】
本発明の他の一態様である測距装置は、上記いずれかに記載の撮像装置またはシステムを複数備える。
【００３０】
本発明の他の一態様である撮像素子は、所定の平面における行方向に延びる光学要素が前記平面における列方向に複数配列されたアレイ状光学素子と、前記列方向に配列された複数の画素群であって、各画素群が、前記行方向に配列された複数の第１の画素と、前記複数の第１の画素と列方向に隣接した位置に、前記行方向に配列された複数の第２の画素とを有する複数の画素群とを備え、アレイ状光学素子は、前記複数の光学要素間の境界位置が、前記複数の画素群間の対応する境界位置に対して、前記列方向にそれぞれオフセットするように前記複数の画素群に対して配置されている。
【００３１】
前記複数の光学要素間の境界位置は、前記複数の画素群によって構成される撮像面の中心から周辺において、前記複数の画素群間の対応する境界位置に対してそれぞれ前記列方向にオフセットしていてもよい。
【００３２】
前記アレイ状光学素子の各光学要素は、前記複数の画素群の１つに対応するように配置されていてもよい。
【００３３】
以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。
【００３４】
（実施の形態１）
図１（ａ）は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、撮像素子Ｎと、レンズ光学系Ｌと撮像素子Ｎとの間の領域のうちレンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、第１の信号処理部Ｃとを備える。信号処理部Ｃは撮像装置Ａの外部に設けられていてもよい。
【００３５】
レンズ光学系Ｌは、被写体（図示せず）からの光束Ｒが入射する絞りＳと、絞りＳを通過した光が入射するレンズＬｍとから構成されている。また、レンズ光学系Ｌは像側テレセントリック光学系である。
【００３６】
アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。
【００３７】
図１（ａ）において、光束Ｒは、絞りＳ、レンズＬｍ、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉに到達する。
【００３８】
図１（ｂ）は、図１（ａ）に示す部分Ｇ（アレイ状光学素子Ｋおよび撮像素子Ｎ）を拡大して示す模式図である。アレイ状光学素子Ｋは、図２に示す斜視図のような形状を有する。アレイ状光学素子Ｋは、典型的には、レンズ光学系の光軸に垂直な平面に沿って配置されている。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、横方向（行方向）に細長く延びる複数の光学要素Ｍ１が縦方向（列方向）に配置されている。それぞれの光学要素Ｍ１の断面（縦方向）は、撮像素子Ｎ側に突出した曲面の形状を有する。このように、アレイ状光学素子Ｋは、レンチキュラレンズの構成を有する。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。
【００３９】
撮像素子Ｎは、その撮像面Ｎｉに、縦方向（列方向）に配列された複数の画素群Ｐｇ１、Ｐｇ２、Ｐｇ３によって構成される。画素群Ｐｇ１、Ｐｇ２、Ｐｇ３のそれぞれは、複数の第１の画素Ｐ１および第２の画素Ｐ２を有する。
【００４０】
図１（ｂ）に示すように、各光学要素Ｍ１は画素群Ｐｇ１、Ｐｇ２、Ｐｇ３の1つに対応し、アレイ状光学素子Ｋの各光学要素Ｍ１間の境界位置Ｍｂは、撮像素子Ｎ上の撮像面Ｎｉの画素群Ｐｇ間の境界位置Ｎｂに対してΔｓだけオフセットしている。光学要素Ｍ１間の境界位置Ｍｂは、隣接する２つの光学要素Ｍ１のそれぞれを構成する曲面が接続された部分である。境界位置Ｍｂは、例えば、横方向（行方向）に延びる直線である。撮像面Ｎｉにおける画素群Ｐｇ１と画素群Ｐｇ２との境界位置Ｎｂは、画素群Ｐｇ１における第１の画素Ｐ１と、画素群Ｐｇ２における第２の画素Ｐ２とから等距離の位置である。境界位置Ｎｂは、例えば、横方向（行方向）に延びる直線である。撮像面Ｎｉの表面にマイクロレンズアレイＭｓが設けられている場合、境界位置Ｎｂは、マイクロレンズアレイＭｓにおける各レンズの縦方向（列方向）の境界位置Ｍｃと一致していてもよい。
【００４１】
図示していないが、レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）から撮像面周辺部（光軸およびその近傍外）にわたって、アレイ状光学素子Ｋの各光学要素Ｍ１の境界位置Ｍｂが画素群Ｐｇ間の境界位置Ｎｂに対して縦方向（列方向）にオフセットしている。撮像面中心部におけるオフセット量と撮像面周辺部におけるオフセット量は同じである。すなわち、撮像面の全体で、各光学要素Ｍ１の境界位置Ｍｂが対応する画素群Ｐｇ間の境界位置Ｎｂに対して縦方向（列方向）にオフセットしており、オフセット量は、光軸からの距離によらず等しい。このような構成により、光束Ｒは撮像面Ｎｉ上の画素Ｐ１に入射する光の量と、画素Ｐ２に入射する光の量とを異ならせて入射させることができる。また、本実施形態では、光束Ｒの集光効率を高めるために、撮像素子Ｎの撮像面Ｎｉ上の画素Ｐ１、Ｐ２の表面を覆うようにマイクロレンズアレイＭｓを設ける。アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータは、適切な値に設定される。
【００４２】
図３（ａ）、（ｂ）は、アレイ状光学素子Ｋの各光学要素Ｍ１と撮像素子Ｎ上の画素群Ｐｇとの位置関係を示す図である。図３（ａ）、（ｂ）は、光軸Ｖに沿った方向に、各光学要素Ｍ１および画素群Ｐｇを平面（光軸Ｖと垂直な平面）視した場合の配置を示している。図３（ａ）は、全ての画素が単色の輝度情報を検出するモノクロ撮像素子の場合の図であり、図３（ｂ）は、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の３色の輝度情報を検出するカラー撮像素子の場合の図である。
【００４３】
撮像面Ｎｉには、画素が行列状に配置されている。画素は、画素Ｐ１および画素Ｐ２に区別できる。縦方向（列方向）において、画素Ｐ１と画素Ｐ２とは交互に配置されている。１行の画素Ｐ１と１行の画素Ｐ２とが、画素群Ｐｇを構成している。また、撮像素子がカラー撮像素子である図３（ｂ）においては、横方向（行方向）において、赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ）の画素が繰り返し配列されている。
【００４４】
複数の光学要素Ｍ１が、縦方向（列方向）に配置されている。複数の光学要素Ｍ１は、１行の画素Ｐ１および１行の画素Ｐ２から構成される２行の画素から構成される複数の画素群Ｐｇとそれぞれ対応している。複数の光学要素Ｍ１は、複数の対応する画素群Ｐｇに対して縦方向（列方向）にオフセットして配置されている。なお、図３（ａ）、（ｂ）に示すように、平面視して、第１の画素Ｐ１と、光学要素の境界位置Ｍｂとは重なっている。
【００４５】
画素群Ｐｇ内において上下に配置される画素には、被写体における同じ部分からの光が入射する。本実施形態では、アレイ状光学素子Ｋの各光学要素Ｍ１間の境界位置と撮像素子Ｎ上の撮像面Ｎｉの画素間の境界位置とのオフセット量Δｓによって、画素Ｐ１、Ｐ２に入射する光の量の比を調整することができる。
【００４６】
図１（ａ）に示す第１の信号処理部Ｃは、複数の画素Ｐ１において得られる画素値（例えば階調値）と、複数の画素Ｐ２において得られる画素値とに基づいて画像を生成する。
【００４７】
前述の通り、オフセット量Δｓにより、画素Ｐ１と画素Ｐ２に入射する光の量の比を調整することができる。ここで、画素Ｐ２に入射する光の量が画素Ｐ１に入射する光の量よりも多くなるようにオフセット量Δｓを設定すると、検出できる量よりも多い光が画素Ｐ２に供給された場合（画素Ｐ２の画素値が飽和している場合）においても、画素Ｐ１において検出された値を用いて、被写体の正確な明るさを算出することができる。一方、画素Ｐ２によって検出できる範囲内の光が画素Ｐ２に供給された場合（画素Ｐ２の画素値が飽和していない場合）には、画素Ｐ２によって検出される値を用いることができる。得られた画素値の具体的な処理は、後に詳述する。
【００４８】
次に、具体的にダイナミックレンジの高い画像を取得する方法について説明する。
【００４９】
図４は、実施の形態１における撮像装置Ａを示す断面図である。図４において図１（ａ）と同じ構成要素には、図１（ａ）と同じ符号を付している。図４においてはアレイ状光学素子Ｋ（図１（ａ）等に示す）の図示は省略しているが、図４の領域Ｈには、実際には、アレイ状光学素子Ｋが含まれている。領域Ｈは、図１（ｂ）に示す構成を有する。
【００５０】
表１および表２は、図４に示す撮像装置Ａの光学系Ｌの設計データである。表１および表２において、Ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面の面中心間隔（ｍｍ）、ｎｄはレンズもしくはフィルタのｄ線の屈折率、νｄは各光学素子のｄ線のアッベ数を示している。また、表１、表２の面番号において、Ｒ１面とＲ２面は、それぞれ図４のレンズＬｍの物体側の面と像側の面である。また、非球面形状は、面頂点の接平面から光軸方向の距離をｘ、光軸からの高さをｈとして、ｒを近軸曲率半径、ｋを円錐定数、Ａm（ｍ＝４，６，８，１０）を第ｍ次の非球面係数としたとき（数１）で表される。
【数１】
2013051186.tif 000003
【００５１】
【表１】
2013051186.tif 000004
【００５２】
【表２】
2013051186.tif 000005
【００５３】
次に本実施の形態の光線追跡シミュレーションと取得される画像について説明する。
【００５４】
図５（ａ）は、アレイ状光学素子Ｋを通過した光線が撮像素子上の画素に到達する様子を示す光線追跡シミュレーションの図であり、アレイ状光学素子Ｋの複数の光学要素間の境界位置のそれぞれを、撮像素子の画素間の境界位置に対して画素ピッチの１／４だけオフセットさせている。このような構成により、図１（ｂ）で示した模式図のように、撮像面Ｎｉ上の画素Ｐ１に入射する光の量と、画素Ｐ２に入射する光の量とを異ならせて入射させることができる。
【００５５】
図５（ｂ）は、図５（ａ）に示すアレイ状光学素子Ｋと撮像面Ｎｉ上の画素の位置関係において、絞りＳから４ｍ離れた位置に１００ｍｍ×１００ｍｍの平面上に“Ｇ”の文字を描いた被写体を配置した場合の撮像面Ｎｉ上で得られるシミュレーション画像である。図５（ｂ）の撮像画像は、図５（ａ）に示す撮像素子Ｎ上の画素ピッチを３．７５μｍとし、アレイ状光学素子Ｋの光学要素Ｍ１のピッチを７．５μｍに設定し、シミュレーションにより求めたものである。
【００５６】
図５（ｂ）の撮像画像では、アレイ状光学素子Ｋの複数の光学要素間の境界位置と撮像素子の画素間の境界位置とのオフセットの作用で明暗の縞が出現している。図５（ｃ）は、図５（ｂ）のシミュレーション画像の偶数列を抽出し、奇数列を補完して生成した画像であり、図５（ｄ）は、図５（ｂ）のシミュレーション画像の奇数列を抽出し、偶数列を補完して生成した画像である。図５（ｃ）と図５（ｄ）の画像の明るさの比は、約２：１である。
【００５７】
また、アレイ状光学素子Ｋの複数の光学要素間の境界位置のそれぞれを、撮像素子の画素間の境界位置に対して画素ピッチの１／２だけオフセットすると、画像の明るさの比をさらに拡大させることができる。
【００５８】
図６（ａ）は、図５（ａ）と同様にアレイ状光学素子Ｋを通過した光線が撮像素子上の画素に到達する様子を示す光線追跡シミュレーションの図であり、アレイ状光学素子Ｋの複数の光学要素間の境界位置のそれぞれを、撮像素子の画素間の境界位置に対して画素ピッチの１／２だけオフセットさせている。
【００５９】
図６（ｂ）の撮像画像では、アレイ状光学素子Ｋの複数の光学要素間の境界位置と撮像素子の画素間の境界位置とのオフセットの作用で明暗の縞が出現しており、図５（ｂ）よりも明暗の縞のコントラストが強くなっていることがわかる。図６（ｃ）は、図６（ｂ）のシミュレーション画像の偶数列を抽出し、奇数列を補完して生成した画像であり、図６（ｄ）は、図６（ｂ）のシミュレーション画像の奇数列を抽出し、偶数列を補完して生成した画像である。図６（ｃ）と図６（ｄ）の画像の明るさの比は、約３：１である。
【００６０】
図５と図６の例では、画像の明るさの比が約２：１および約３：１となる例について示したが、アレイ状光学素子Ｋと撮像面Ｎｉ間との距離やアレイ状光学素子のレンズ形状を制御することにより、画像の明るさの比をさらに大きくすることができる。
【００６１】
このように、本実施の形態では、露光量の異なる２つの画像を同時に取得することができる。
【００６２】
図７は、画素Ｐ１の画素値と画素Ｐ２の画素値からダイナミックレンジの高い画像を生成するフローチャートである。図７に示される処理は、図１（ａ）の信号処理部Ｃにて実行される。画素Ｐ１と画素Ｐ２の画素値は８ビット（２５６階調）として説明する。
【００６３】
まず、画素Ｐ１の画素値と画素Ｐ２の画素値をそれぞれ撮像素子から読み込む（Ｓ１０１）。ここで、画素Ｐ１と画素Ｐ２の画素値は、それぞれＶ１、Ｖ２とする。続いて画素Ｐ１が飽和しているかどうかを判定する（Ｓ１０２）。画素値は、８ビットであるため、画素値が２５５である場合に飽和していると判定され、画素値が２５５未満の場合に飽和していないと判定される。画素Ｐ１が飽和していない場合（Ｓ１０２でＮｏ）は、出力値ＶｏをＶ１とする（Ｓ１０３）。一方、画素Ｐ１が飽和している場合（Ｓ１０２でＹｅｓ）は、出力値Ｖｏを、Ｖ２に、画素Ｐ１への入射光量と画素Ｐ２への入射光量の比Ａを乗じた値とする（Ｓ１０４）。この入射光量の比Ａは、アレイ状光学素子Ｋの設計値（アレイ状光学素子Ｋが有する複数の光学要素間の境界位置と撮像素子の画素間の境界位置とのオフセット量Δｓ、アレイ状光学素子Ｋと撮像面Ｎｉ間との距離やアレイ状光学素子のレンズ形状など）から、シミュレーションにより算出してもよいし、実際に測定して求めてもよい。製品出荷前に予め算出又は測定した入射光量比を記憶部に記憶させて、撮影ごとに使用する。記憶部は、図１（ａ）に示す信号処理部Ｃの内部または外部に設けられる。以上の演算を全ての画素Ｐ１とＰ２について実行することにより、高ダイナミックレンジの画像情報を生成することができる。
【００６４】
また、前述の通り、画素Ｐ１が飽和している場合は画素Ｐ２に前述した入射光量の比Ａ（Ａ＞１）を乗じた値が出力値となるが、Ａ＞１であるため、生成された画像の各画素値は８ビットよりも大きくなる。生成された８ビットよりも大きい画素値の画像を、例えば８ビットのディスプレイに表示させるには、ダイナミックレンジを圧縮する必要がある。圧縮時に画素値をそのまま比例して圧縮すると暗部の画素情報が欠落するため、対数変換やテーブル変換等によって暗部の階調性を維持しつつダイナミックレンジを圧縮することが望ましい。
【００６５】
また、表１および表２に示す撮像装置の光学系は、像側テレセントリック光学系である。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１に到達する光束と画素Ｐ２に到達する光の量の比を一定に保つことができる。
【００６６】
本実施の形態１では、レンズＬｍは１枚のレンズで構成されているが、レンズＬｍは複数群、または複数枚のレンズから構成されていてもよい。
【００６７】
上述したように、信号処理部Ｃは撮像装置Ａの外部に設けられていてもよい。この場合、撮像装置と信号処理部からなるシステムによって図１に示す撮像装置Ａと同様の処理が行われ、高ダイナミックレンジ画像を取得することができる。
【００６８】
（実施の形態２）
本実施の形態２は、アレイ状光学素子を撮像面上に形成したという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。
【００６９】
図８（ａ）および（ｂ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。本実施形態では、複数の光学要素Ｍｄを有するアレイ状光学素子Ｋが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。アレイ状光学素子Ｋはレンチキュラレンズで構成されている。撮像面Ｎｉには、実施の形態１等と同様に、画素Ｐが行列状に配置されている。実施の形態１と同様に、各光学要素Ｍｄ間の境界位置は、撮像素子Ｎ上の撮像面Ｎｉの画素間の境界位置に対してΔｓだけオフセットしている。また、図８（ｂ）は、本実施形態の変形例を示す図である。図８（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズアレイＭｓが形成され、マイクロレンズアレイＭｓの表面上にアレイ状光学素子が積層されている。図８（ｂ）に示す構成では、図８（ａ）の構成よりも集光効率を高めることができる。
【００７０】
実施の形態１のようにアレイ状光学素子が撮像素子と分離していると、アレイ状光学素子と撮像素子との位置合せが難しくなるが、本実施の形態２のように、アレイ状光学素子を撮像素子上に形成する構成にすることにより、ウエハプロセスにて位置合せが可能になるため、位置合せが容易となり、位置合せ精度も増すことができる。
【００７１】
（実施の形態３）
本実施の形態３は、光学系が像側非テレセントリック光学系であるという点と、レンズ光学系Ｌの撮像面周辺部（光軸およびその近傍外）に配置されたアレイ状光学素子Ｋの複数の光学要素間の境界位置のオフセット量が、レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）に配置された前記複数の光学要素間の境界位置のオフセット量よりも異なる量だけオフセットしているという点で実施の形態１と異なる。
【００７２】
図９は、レンズ光学系Ｌが像側非テレセントリック光学系の場合におけるアレイ状光学素子Ｋと撮像素子Ｎとを示す断面図である。図９において、レンズ光学系Ｌの光軸に最も近いのは画素群Ｐｇ２であり、画素群Ｐｇ２が、「レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）」に配置されている。それ以外の画素群Ｐｇ１、Ｐｇ３が、「レンズ光学系Ｌの撮像面周辺部（光軸およびその近傍外）」に配置されている。図９に示すように、縦方向（列方向）におけるオフセット量の大きさは、Δｓ１、Δｓ２、Δｓ、Δｓ３、Δｓ４の順に小さい。光学要素Ｍ１への光線の入射位置が光軸よりも上の位置においては、オフセット量（Δｓ１、Δｓ２）を、光軸に近い位置のオフセット量Δｓよりも小さく設定する。一方、光学要素Ｍ１への光線の入射位置が光軸よりも下の位置においては、オフセット量（Δｓ３、Δｓ４）を、光軸に近い位置のオフセット量Δｓよりも大きく設定する。  図１０（ａ）は、レンズ光学系Ｌが像側非テレセントリック光学系の場合における、レンズ光学系Ｌの撮像面周辺部（光軸およびその近傍外）を拡大して示す図である。図１０（ａ）においては、光学要素Ｍ１の境界位置と画素群Ｐｇとの境界位置とのオフセット量Δｓを、像側テレセントリック光学系のオフセット量Δｓ（または像側非テレセントリック光学系における撮像面中心部（光軸およびその近傍）のオフセット量）と同様としている。図１０（ａ）に示すように、レンズ光学系Ｌが非テレセントリック光学系の場合には、撮像面の周辺部では、光線が斜めに入射するため、レンズ光学系Ｌの撮像面周辺部（光軸およびその近傍外）に配置されたアレイ状光学素子Ｋの複数の光学要素間の境界位置のオフセット量が、レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）に配置された前記複数の光学要素間の境界位置のオフセット量と同じであると、画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量との比が、レンズ光学系の撮像面中心部（光軸およびその近傍）における画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量との比と異なってしまう。
【００７３】
一方、画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量の比は実施の形態１で示したように、アレイ状光学素子Ｋの複数の光学要素間の境界位置と撮像素子の画素間の境界位置とのオフセット量によって制御することができる。従って、画像周辺部においてアレイ状光学素子に光線が斜入射する場合において、前述のオフセット量を画像中心部のオフセット量と異ならせることにより、画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量の比が同等になるように設定することができる。ここで、画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量の比を同等になるときのオフセット量をΔｓ’とすると、アレイ状光学素子への光線の入射位置が図１０（ｂ）のように光軸よりも下方にある場合は、オフセット量Δｓ’を図１０（ａ）で示したΔｓよりも大きくなるように設定する。一方、アレイ状光学素子への光線の入射角が図１０（ｃ）のように光軸よりも上方にある場合は、オフセット量Δｓ’を図１０（ａ）で示したΔｓよりも小さくなるように設定する。アレイ状光学素子への光線の入射角は像高によって異なるため、オフセット量を像高に応じて適切に設定し、オフセット量を光軸からの距離によって異ならせることにより、全ての画像領域において画素Ｐ１に到達する光の量と画素Ｐ２に到達する光の量の比を同等にすることができる。
【００７４】
像側非テレセントリック光学系は、像側テレセントリック光学系に比べて光学長を短くできるので、撮像装置を小型化することができる。
【００７５】
（実施の形態４）
本実施の形態４は、アレイ状光学素子のレンズ光学系の光軸に垂直な方向の位置を制御する駆動機構を備える点で実施の形態１と異なる。
【００７６】
図１１は、実施の形態４におけるアレイ状光学素子Ｋの位置を制御する駆動機構の断面図である。図１１において、基板Ｊの上には撮像素子Ｎが実装されている。アレイ状光学素子Ｋの両端（アレイ状光学素子Ｋおよび撮像素子Ｎの縦方向（列方向）の両端）は、それぞれ、保持部材Ｈによって、撮像素子Ｎと対向した状態で保持されている。２つの保持部材Ｈのうちの一方は第１のシャフトＥ１に接続され、他方は、圧力コイルバネＴを介して第２のシャフトＥ２に接続されている。第１のシャフトＥ１は基板Ｊに実装されたシャフトガイドＦ１によってガイドされ、圧電アクチュエータＺの変位によって、保持部材Ｈに保持されたアレイ状光学素子Ｋを移動させる。圧電アクチュエータＺは、基板Ｊに実装された保持部材Ｄによって片面を固定されている。第２のシャフトＥ２は、基板Ｊに実装されたシャフトホルダーＦ２に保持されている。第２のシャフトＥ２が接続されている保持部材Ｈにはガイド穴が設けられている。ガイド穴内には圧力コイルバネＴが設けられ、ガイド穴内において圧力コイルバネＴは第２のシャフトＥ２に接続されている。
【００７７】
次に圧電アクチュエータＺによるアレイ状光学素子Ｋの位置制御について説明する。圧電アクチュエータＺは、電圧を印加することにより矢印の方向に変位する。圧電アクチュエータＺは保持部材Ｄによって片面を固定されているため、電圧印加時の変位により、シャフトＥ１を押し、アレイ状光学素子Ｋを保持する保持部材Ｈを押すため、アレイ状光学素子のレンズ光学系の光軸に垂直な方向の位置を変化させることができる。また、電圧の印加を解除すると、保持部材ＨとシャフトＥ１の間に設置された圧縮コイルバネＴの反発力により、元の位置に戻される。
【００７８】
前述の変位量は、圧電アクチュエータＺに印加する電圧によって制御できるため、実施の形態１で示した図１（ｂ）に示すオフセット量Δｓの値を自由に制御することができ、同時に取得される２つの画像の明るさの比を制御することができる。
【００７９】
また、オフセット量Δｓを０とすることも可能であり、このような場合、図１２（ａ）の光線追跡シミュレーションのように、撮像面Ｎｉ上の画素Ｐ１に入射する光の量と、画素Ｐ２に入射する光の量と同じ量で入射させることができる。
【００８０】
図１２（ｂ）は、オフセット量Δｓが０である場合の撮像面Ｎｉ上で得られるシミュレーション画像である。図１２（ｂ）のシミュレーション画像では、撮像面Ｎｉ上の画素Ｐ１に入射する光の量と、画素Ｐ２に入射する光の量と同じ量であるため、実施の形態１のように明暗の縞が出現していない。
【００８１】
図１２（ｃ）は、図１２（ｂ）のシミュレーション画像の偶数列を抽出し奇数列を補完して生成した画像であり、図１２（ｄ）は、図１２（ｂ）のシミュレーション画像の奇数列を抽出し偶数列を補完して生成した画像である。図１２（ｃ）と図１２（ｄ）の画像の明るさの比は、１：１である。
【００８２】
このように、アレイ状光学素子のレンズ光学系の光軸に垂直な方向の位置を制御する駆動により、撮影シーンに応じて２つの画像の露光量の比を任意に変更することが可能となる。
【００８３】
（実施の形態５）
本実施の形態５は、実施の形態１に示す撮像装置（またはシステム）を複数用いた測距装置である。図１３は撮像装置を２つ用いた測距装置の概略図である。図１３において、各符号は図４と同じである。本実施の形態では、アレイ状光学素子をレンチキュラとし、測距装置の基線方向Ｂに対して各撮像装置のレンチキュラの光学要素の配列方向Ｑを直交させている。測距装置では、視差をパターンマッチングすることにより抽出し、抽出した視差を用いて三角測量の原理により被写体までの距離を算出する。従って、測距装置の基線方向Ｂに対してレンチキュラの光学要素の配列方向Ｑを直交させることで、測距装置の基線方向Ｂに対してレンチキュラの光学要素の配列方向Ｑを同一にした場合に比べて、視差抽出の分解能を上げることができる。
【００８４】
本実施の形態の測距装置により、高ダイナミックレンジの環境下において、画像の白とびや黒つぶれを減少させることができ、従来の撮像装置では白とびや黒つぶれしていた領域においても測距することが可能となる。
【００８５】
（その他の実施の形態）
レンズ光学系Ｌは、像側テレセントリック光学系でもよいし、像側非テレセントリック光学系でもよい。像側非テレセントリック光学系の場合、撮像面の周辺部では、光線が斜めに入射するため、隣接画素に光が漏れてクロストークが発生しやすい。このことから、実施の形態３のように、撮像面中心部と撮像面周辺部とで、アレイ状光学素子Ｋの各光学要素Ｍ１、Ｍｄの画素境界値に対するオフセット量を異ならせているが、必ずしもオフセット量を異ならせる必要は無い。レンズ光学系Ｌの撮像面中心部（光軸およびその近傍）から撮像面周辺部（光軸およびその近傍外）にわたって、アレイ状光学素子の各光学要素Ｍ１、Ｍｄが画素間の境界位置に対してオフセットしていることによって、隣接画素に対して入射する光量を異ならせていればよい。
【産業上の利用可能性】
【００８６】
本願に開示された撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また、自動車の周辺監視用および乗員監視用の撮像装置、セキュリティ用の撮像装置、および測距装置の用途にも応用できる。
【符号の説明】
【００８７】
Ａ                          撮像装置
Ｌ                          レンズ光学系
Ｌｍ                        レンズ
Ｓ                          絞り
Ｋ                          アレイ状光学素子
Ｎ                          撮像素子
Ｎｉ                        撮像面
Ｍｓ                        撮像素子上のマイクロレンズアレイ
Ｍ１、Ｍｄ                  光学要素
Ｐ１、Ｐ２                  画素
Ｃ                          信号処理部
Ｄ                          保持部材
Ｅ１、Ｅ２                  シャフト
Ｆ１                        シャフトガイド
Ｆ２                        シャフトホルダー
Ｊ                          基板
Ｔ                          圧力コイルバネ
Ｚ                          圧電アクチュエータ
Ｐｇ                        画素群
【図１】
2013051186.tif 000006
【図２】
2013051186.tif 000007
【図３】
2013051186.tif 000008
【図４】
2013051186.tif 000009
【図５】
2013051186.tif 000010
【図６】
2013051186.tif 000011
【図７】
2013051186.tif 000012
【図８】
2013051186.tif 000013
【図９】
2013051186.tif 000014
【図１０】
2013051186.tif 000015
【図１１】
2013051186.tif 000016
【図１２】
2013051186.tif 000017
【図１３】
2013051186.tif 000018
【国際調査報告】
2013051186.tif 000019
2013051186.tif 000020
2013051186.tif 000021
2013051186.tif 000022