(57)【要約】【課題】複数種の偏光情報を有する複数種の視差画像を利用して高精度の距離計測を行う。【解決手段】被写体Ａからの光を集光する撮像レンズ７と、該撮像レンズ７により集光された光を撮像する撮像素子１０と、該撮像素子１０と撮像レンズ７との間に配置されたマイクロレンズアレイ９と、撮像素子１０により取得された情報を用いて被写体Ａまでの距離を算出する距離算出手段１６とを備え、マイクロレンズアレイ９が、入射された光を集光して撮像素子１０の撮像面にそれぞれ結像させるとともに偏光状態の異なる複数種のマイクロレンズ９ａをその光軸に交差する方向にアレイ状に配列してなり、距離算出手段１６が、撮像素子１０により取得された情報の周波数成分に応じて偏光状態毎に重みを付けたマッチング処理を行って距離を算出する撮像装置１を提供する。【選択図】図１
2014074690.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を集光する撮像レンズと、
該撮像レンズにより集光された光を撮像する撮像素子と、
該撮像素子と前記撮像レンズとの間に配置されたマイクロレンズアレイと、
前記撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、
前記マイクロレンズアレイが、入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させるとともに偏光状態の異なる複数種のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、
前記距離算出手段が、前記撮像素子により取得された情報の周波数成分に応じて偏光状態毎に重みを付けたマッチング処理を行って距離を算出する撮像装置。
【請求項２】
前記撮像素子が、その撮像面の各前記マイクロレンズに対応する領域に複数のカラーフィルタを配列してなるカラー撮像素子である請求項１に記載の撮像装置。
【請求項３】
被写体からの光を集光する撮像レンズと、
該撮像レンズにより集光された光を複数の偏光成分毎に撮像する偏光撮像素子と、
該偏光撮像素子と前記撮像レンズとの間に配置されたマイクロレンズアレイと、
前記偏光撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、
前記マイクロレンズアレイが、入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させる複数のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、
前記距離算出手段が、前記偏光撮像素子により取得された情報の周波数成分に応じて偏光状態毎に重みを付けたマッチング処理を行って距離を算出する撮像装置。
【請求項４】
前記マイクロレンズアレイが、波長透過率の異なる複数種のマイクロレンズを光軸に交差する方向にアレイ状に配列してなる請求項３に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
従来、視差画像を用いた距離計測を可能とする撮像方法が知られている（例えば、特許文献１参照。）。
この方法は、１回の撮像で複数種の偏光情報を有する視差画像を取得して偏光解析を行うこととしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−８６７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法では、複数種の偏光情報を有する複数種の視差画像を取得するが、偏光情報の種類によっては有用な情報を含んでいないものもあり、単に偏光情報を利用するというだけでは、高精度に距離計測を行うことができないという不都合がある。
【０００５】
本発明は、上述した事情に鑑みてなされたものであって、複数種の偏光情報を有する複数種の視差画像を利用して高精度の距離計測を行うことができる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を撮像する撮像素子と、該撮像素子と前記撮像レンズとの間に配置されたマイクロレンズアレイと、前記撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、前記マイクロレンズアレイが、入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させるとともに偏光状態の異なる複数種のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記距離算出手段が、前記撮像素子により取得された情報の周波数成分に応じて偏光状態毎に重みを付けたマッチング処理を行って距離を算出する撮像装置を提供する。
【０００７】
本態様によれば、撮像レンズによって集光された被写体からの光が各マイクロレンズを通過する際に異なる偏光状態の光となって集光され、撮像素子の撮像面に結像されることにより、マイクロレンズ毎に偏光状態が異なりかつ視差を有する被写体の複数の像が取得される。したがって、距離算出手段によって、視差を有する複数の画像のマッチング処理を行うことにより、撮像レンズ、マイクロレンズおよび撮像素子の位置関係を用いて、被写体までの距離を算出することができる。
【０００８】
この場合において、距離算出手段では、撮像素子により取得された情報の周波数成分に応じて偏光状態毎に重みを付けてマッチング処理を行うので、全ての偏光状態を均等に扱うのではなく、よりテクスチャ情報が多く含まれる偏光状態の重みを大きくしてマッチング処理を行うことができ、マッチング精度を向上して、距離を精度よく算出することができる。
【０００９】
上記態様においては、前記撮像素子が、その撮像面の各前記マイクロレンズに対応する領域に複数のカラーフィルタを配列してなるカラー撮像素子であってもよい。
このようにすることで、各マイクロレンズに対応して取得される画像毎に、複数の色情報を備えた画像が取得でき、被写体までの距離の算出と同時に、カラー画像も取得することができる。
【００１０】
また、本発明の他の態様は、被写体からの光を集光する撮像レンズと、該撮像レンズにより集光された光を複数の偏光成分毎に撮像する偏光撮像素子と、該偏光撮像素子と前記撮像レンズとの間に配置されたマイクロレンズアレイと、前記偏光撮像素子により取得された情報を用いて前記被写体までの距離を算出する距離算出手段とを備え、前記マイクロレンズアレイが、入射された光を集光して前記撮像素子の撮像面にそれぞれ結像させる複数のマイクロレンズをその光軸に交差する方向にアレイ状に配列してなり、前記距離算出手段が、前記偏光撮像素子により取得された情報の周波数成分に応じて偏光状態毎に重みを付けたマッチング処理を行って距離を算出する撮像装置を提供する。
【００１１】
本態様によれば、撮像レンズによって集光された被写体からの光が各マイクロレンズによって集光され、偏光撮像素子の撮像面に結像されることにより、マイクロレンズ毎に視差を有し、かつ、複数の偏光状態を有する被写体の複数の像が取得される。したがって、距離算出手段によって、視差を有する複数の画像のマッチング処理を行うことにより、撮像レンズ、マイクロレンズおよび撮像素子の位置関係を用いて、被写体までの距離を算出することができる。
【００１２】
この場合において、距離算出手段では、偏光撮像素子により取得された情報の周波数成分に応じて偏光状態毎に重みを付けてマッチング処理を行うので、全ての偏光状態を均等に扱うのではなく、よりテクスチャ情報が多く含まれる偏光状態の重みを大きくしてマッチング処理を行うことができ、マッチング精度を向上して、距離を精度よく算出することができる。
【００１３】
上記態様においては、前記マイクロレンズアレイが、波長透過率の異なる複数種のマイクロレンズを光軸に交差する方向にアレイ状に配列してなっていてもよい。
このようにすることで、撮像レンズによって集光された被写体からの光が各マイクロレンズを通過する際に異なる色情報を付与される。したがって、各マイクロレンズに対応して取得される画像毎に、異なる色情報を備えた画像が取得でき、被写体までの距離の算出と同時に、カラー画像も取得することができる。
【発明の効果】
【００１４】
本発明によれば、複数種の偏光情報を有する複数種の視差画像を利用して高精度の距離計測を行うことができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る撮像装置を示す全体構成図である。
【図２】図１の撮像装置に備えられたマイクロレンズアレイの一例を示す正面図である。
【図３】図１の撮像装置に備えられた距離情報算出部を示すブロック図である。
【図４】図２のマイクロレンズアレイの作用を説明する側面図である。
【図５】図２のマイクロレンズアレイに対応する撮像素子の領域に取得される偏光状態および色情報を示す図である。
【図６】図１の撮像装置の信号処理部における補間後の画像信号を示す図である。
【図７】図５の変形例を示す図である。
【図８】図１の撮像装置の変形例であって、図４と同様の側面図である。
【図９】図８のマイクロレンズアレイに対応する撮像素子の領域に取得される偏光状態および色情報を示す図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態に係る撮像装置について図面を参照して以下に説明する。
本実施形態に係る撮像装置１は、図１に示されるように、被写体Ａを撮像する撮像部２と、該撮像部２により取得された画像信号を処理する画像処理部３と、撮像部２を制御する撮像制御部４と、画像処理部３および撮像制御部４を制御する制御部５と、該制御部５に対して外部信号を入力するＩ／Ｆ部６とを備えている。
【００１７】
撮像部２は、被写体Ａ側から順に、被写体Ａに対向して配置される撮像レンズ７と、該撮像レンズ７を通過した光の光束径を決定する開口絞り８と、撮像レンズ７の後側焦点位置に形成される実像Ｂに対して光軸方向に被写体Ａから遠ざかる方向に間隔をあけて配置されたマイクロレンズアレイ９と、該マイクロレンズアレイ９に対してさらに光軸方向に間隔をあけて配置され、マイクロレンズアレイ９を通過した光を撮像する撮像素子１０とを備えている。
【００１８】
撮像レンズ７にはＡＦモータ１１が接続されている。撮像レンズ７は、撮像制御部４からの指令信号に応じてＡＦモータ１１が駆動させられることにより、光軸方向に移動させられて、被写体Ａに前側焦点を一致させるようになっている。なお、図１中、撮像レンズ７は単一のレンズとして表示しているが、実際には、光軸方向に配列された複数のレンズからなり、少なくとも１つのレンズがＡＦモータ１１によって光軸方向に移動させられるようになっている。
【００１９】
開口絞り８には開度調節モータ１２が接続されている。開口絞り８は、撮像制御部４からの指令信号に応じて開度調節モータ１２が駆動させられることにより、開度が調節されて、入射光量が調節されるようになっている。
【００２０】
マイクロレンズアレイ９は、図２に示されるように、複数のマイクロレンズ９ａを直径方向に配列することにより構成されている。マイクロレンズ９ａは、波長透過率の異なる色フィルタが備えられており、それ以外の光学性能は同一のものである。各マイクロレンズ９ａは、例えば、図２に示されるように、それぞれ赤色（Ｒ１，Ｒ２，Ｒ３，Ｒ４）、緑色（Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６）、および青色（Ｂ１，Ｂ２）を透過する波長透過率を有する色フィルタが付されたものが、例えばベイヤ配列に従って配列されている。
【００２１】
図４に示されるように、被写体からの光は撮像レンズによって集光され、各マイクロレンズによって撮像素子の撮像面上の各マイクロレンズに対応する領域に結像されるようになっている。さらに具体的には、各マイクロレンズ９ａに対応する領域は、例えば、図５に示されるように、３×３＝９個の画素を備えている。
【００２２】
撮像素子は、４つの偏光成分のいずれかの光を通過させる偏光フィルタを各画素に備え、偏光フィルタが隣接する画素毎に通過させる偏光成分を異ならせるように配列された偏光撮像素子である。図５を用いて説明すると、Rｒｕｉ（ｉ＝１〜４）、Ｒｖｊ（ｊ＝１，２）、Ｒｈｋ（ｋ＝１，２）、Ｒｒｄ１は４つの偏光状態を持つＲの画素、Ｇｒｕｉ（ｉ＝１，２）、Ｇｖｊ（ｊ＝１〜４）、Ｇｈ１、Ｇｒｄｌ（ｌ＝１，２）は４つの偏光状態を持つＧの画素である。
【００２３】
画像処理部３は、図１に示されるように、撮像素子１０により検出された画像信号をディジタル信号に変換するＡ／Ｄ変換器１３と、ディジタル信号に変換された画像信号を一時的に格納するバッファ１４と、バッファ１４に格納された単板状態の画像信号を処理して１２板状態の画像信号を生成する信号処理部１５と、信号処理部１５により生成された画像信号を用いて、撮像レンズ７から被写体Ａまでの距離情報を算出する距離情報算出部１６と、信号処理部１５により処理された信号から１枚の画像信号を生成する再構成部１７と、出力部１８を備えている。
【００２４】
信号処理部１５は、制御部５からの指令信号に基づいてバッファ１４上の単板状態の画像信号を読み込み、以下の処理を行う。
まず、偏光状態に対しては、Rの領域において、Ｒｒｕ１，Ｒｒｕ２，Ｒｒｕ３，Ｒｒｕ４の偏光状態が同じ４つの画素を用いて、公知のバイリニアもしくはバイキュービックの補間処理を行い、他の偏光状態の画素を補間する。また、Ｒｖ１，Ｒｖ２およびＲｈ１，Ｒｈ２についても同様に２つの画素を用いて補間処理を行う。Rｒｄ１に関しては、この画素の情報を他の偏光状態の画素に割り当てる。
Ｇ，Ｂの領域についても同様の処理を行い、１つの画素に対して４つの偏光状態が存在する信号を生成する。
【００２５】
次に、色信号に対しては、図５の場合、同じ色信号の３×３の領域単位で色の補間処理を行う。例えば、Ｇ信号の領域で同じ偏光状態の３×３の領域に対して平均化処理を行う。具体的には、Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５，Ｇ６の３×３の領域で平均化処理を行う。平均化処理後のＧ信号をｇｉ（ｉ＝１〜６）とすると、Ｂ１の領域におけるＧ信号ｇＢ１はＢ１の領域近傍の４つの領域の信号を用いて式（１）のように算出される。
ｇＢ１＝（ｇ１＋ｇ３＋ｇ４＋ｇ５）／４          （１）
他の信号に対しても同様の処理を行う。
【００２６】
色の補間処理の結果、１つの画素に対して４つの偏光状態およびＲＧＢ信号の情報が割り当てられ、全部で１２板の画像信号となる。
距離情報算出部１６においては、信号処理部１５において生成された１２板の画像信号を用いて距離情報の算出が行われる。
【００２７】
距離情報算出部１６は、図３に示されるように、信号処理部１５から送られてきた１２板の画像信号を一時的に格納するバッファ１９と、該バッファ１９に格納された画像信号を用いてマッチング処理を行うマッチング部２０と、該マッチング部２０により求められた座標値を用いて、撮像レンズ７から被写体Ａまでの距離をマイクロレンズ９ａ毎に算出する距離算出部２１とを備えている。
【００２８】
図１に示される本実施形態に係る撮像装置１では、マイクロレンズ９ａ毎に視差情報が得られるため、マッチング部２０においては、近傍のマイクロレンズ９ａに対応する画素領域に対してマッチング処理が行われる。図６は補間後の画像信号を示しており、Ｍ１ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における画像信号で、ｉ＝（ｒｐ１，ｒｐ２，ｒｐ３，ｒｐ４，ｇｐ１，ｇｐ２，ｇｐ３，ｇｐ４，ｂｐ１，ｂｐ２，ｂｐ３，ｂｐ４）となる。ここで、ｒ，ｇ，ｂはそれぞれ色情報、ｐ１，ｐ２，ｐ３，ｐ４はそれぞれ偏光状態を示している。
【００２９】
マッチング部２０は、隣り合うマイクロレンズ９ａの信号Ｍ２ｉ（ｕ，ｖ）に対して、式（２）に示すマッチング評価値Ｓを用いてマッチング処理を行う。ここで、Ｍ２ｉ（ｕ，ｖ）は座標（ｕ，ｖ）における画像信号である。マッチング処理は、式（２）のマッチング評価値Ｓが最小となる座標（ｕ，ｖ）を探索する処理である。マッチング処理は、座標（ｘ，ｙ）および（ｕ，ｖ）の近傍領域で行い、例えば、２×２の領域でマッチング評価値Ｓが最小となる（ｕ，ｖ）を探索することにより行われる。
【００３０】
【数１】
2014074690.tif 000003
【００３１】
式（２）は、説明を簡単にするためにＧ信号のみについて標記している。式（２）において符号αｉは重み付け係数を表している。重み付け係数を用いることで、ある偏光状態のマッチング評価値Ｓへの寄与を大きくすることができる。
本実施形態においては、ある偏光状態の画像信号の輝度情報に対して画素毎にエッジ量を算出し、そのエッジ量に基づいて重み付け係数を算出する。
【００３２】
エッジ量が多い場合に、その画素にはテクスチャ成分が多く含まれているため、重み付け係数を大きくする。エッジ量が少ない場合、テクスチャ成分をほとんど含んでいないため重み付け係数を小さくするようになっている。
【００３３】
マッチング部２０におけるマッチング処理の結果、得られた座標値は、距離算出部２１に送られ、下式（３）によって撮像レンズ７と被写体Ａとの距離Ｚが算出される。
【００３４】
Ｚ＝ｚ／Ｍ＝２ｆΦ（ｘ−ｕ）            （３）
ここで、ｆはマイクロレンズ９ａの焦点距離、Φはマイクロレンズ９ａの有効径、ｘ，ｕは２つの画素領域間で対応する画素のｘ方向の座標値である。
【００３５】
距離算出部２１において算出された距離情報は出力部１８へ転送される。
一方、再構成部１７では信号処理部１５で処理された画像信号から１枚の画像信号が作成され、出力部１８に出力される。
図４を用いて説明すると、マイクロレンズ９ａを通過した領域Ｄ１，Ｄ２の画像信号を抽出して被写体Ａの画像信号を生成する。この場合、被写体Ａは撮像レンズ７の端部から被写体Ａを観測した画像信号となる。領域Ｄ１，Ｄ２以外の領域を抽出して画像信号を生成すると、撮像レンズ７の異なる場所から観測した画像信号を生成することができる。
【００３６】
すなわち、抽出する領域の位置によって撮像レンズ７の様々な場所を通過した複数の視差の画像信号を生成することができる。
画像信号はある偏光状態のＲＧＢ信号でもよいし、４つの偏光状態を平均したＲＧＢ信号でもよい。上記処理により、１枚の画像信号が生成される。
【００３７】
このように構成された本実施形態に係る撮像装置１の作用について以下に説明する。
本実施形態に係る撮像装置１を用いて、被写体Ａと撮像レンズ７との間の距離Ｚを計測するには、Ｉ／Ｆ部６を介してＩＳＯ感度、露出などの撮像条件を設定した後、図示しないシャッタボタンを半押しにすることにより、プリ撮像モードに入る。被写体Ａからの光は撮像レンズ７を介して撮像部２内に入り、実像Ｂを結像した後にマイクロレンズアレイ９によって集光され撮像素子１０により撮像される。撮像素子１０により取得された画像信号は、Ａ／Ｄ変換器１３によってディジタル信号に変換された後、バッファ１４に転送される格納される。
【００３８】
バッファ１４内に格納された画像信号は撮像制御部４に送られる。撮像制御部４は、送られてきた画像信号中の輝度レベルを用いて開口絞り８の開度調節モータ１２を制御し、撮像素子１０における電子シャッタ速度を制御する。また、撮像制御部４は、撮像レンズ７のＡＦモータ１１を制御して、画像信号から所定領域におけるコントラスト値を算出し、該コントラスト値が最大となるように撮像レンズ７を所定の焦点距離に設定する。
【００３９】
この状態で、シャッタボタンを全押しすることにより、本撮像が行われる。本撮像は、撮像制御部４において求められた焦点距離および露光条件に基づいて行われ、取得された画像信号は、Ａ／Ｄ変換器１３によってディジタル信号に変換され、バッファ１４に転送されて格納される。その後、バッファ１４内の画像信号は信号処理部１５に転送される。
【００４０】
信号処理部１５においては、バッファ１４内から転送されてきた単板状態の画像信号に対し、偏光状態および色信号を補間する処理を施し、１つの画素に対して４つの偏光状態およびＲＧＢ信号の情報が割り当てられた１２板の画像信号が生成される。生成された画像信号は距離情報算出部１６に転送される。
【００４１】
距離情報算出部１６においては、信号処理部１５から送られてきた画像信号がバッファ１９内に格納される。そして、バッファ１９内に格納された画像信号に対して、マッチング部２０において、被写体Ａに対するマッチング処理が行われ、複数の視差画像に対する対応する座標値が算出される。
【００４２】
この場合において、マッチング部２０においては、画素毎にエッジ量が算出され、エッジ量の大きさに基づいて重み付け係数αｉが設定され、設定された重み付け係数αｉを用いて、マッチング評価値Ｓが算出され、マッチング評価値Ｓが最小となる座標が探索されることによりマッチング処理が行われる。
【００４３】
本実施形態に係る撮像装置によれば、エッジ量の大きさが大きいほど大きく設定された重み付け係数αｉを用いてマッチング評価値Ｓが算出されるので、テクスチャ成分が多く含まれた画素の情報が大きな重みをもって評価される。その結果、マッチング処理の精度が向上し、その結果を用いて行われる距離の算出も高精度に行うことができるという利点がある。
【００４４】
また、本実施形態に係る撮像装置１によれば、１回の撮像で偏光情報および色情報を取得することができ、偏光情報および色情報を用いた処理が可能となり、高精度な距離計測を行うことができる。また、距離計測と同時にカラー画像を取得することができるという利点もある。
【００４５】
なお、本実施形態においては、マイクロレンズに波長透過率の異なる色フィルタを備えることとして、距離計測と同時にカラー画像を取得可能としたが、この構成は必須ではない。色フィルタを備えないこととすれば、取得される情報は複数の偏光状態を有する視差画像となるため、画素毎にエッジ量を算出して重み付けを行うことで、高精度の距離計測を行うことができる点に変わりはない。
【００４６】
また、本実施形態においては、各マイクロレンズに対応する領域に３×３＝９個の画素が存在する場合を例示して説明したが、これに代えて、図７に示されるように、各マイクロレンズ９ａに対応する領域に４×４＝１６個の画素が存在する場合には、Ｒ，Ｇ，Ｂの領域それぞれに４種類の偏光状態の画素が４つ存在することになる。この場合も上記と同様に偏光状態が同じ４つの画素を用いて公知のバイリニアもしくはバイキュービックの補間処理を行い他の偏光状態の画素を補間することにすればよい。
【００４７】
また、本実施形態においては、各マイクロレンズ９ａに波長透過率の異なる色フィルタを設け、撮像素子として偏光撮像素子を採用したが、これに代えて、図８に示されるように、各マイクロレンズ９ａに異なる偏光状態の光を通過させる偏光フィルタを設け、撮像素子としては、色フィルタがベイヤ配列されたカラー撮像素子を採用することにしてもよい。
【００４８】
このようにすることで、例えば、各マイクロレンズに対応する領域に３×３＝９個の画素が存在する場合には、図９に示されるような情報が取得される。
図９において、Ｒｒｕｉ（ｉ＝１〜４）、Ｇｒｕｊ（ｊ＝１〜４）、Ｂｒｕ１は３個の色情報を持つ同一の偏光状態の画素となる。
【００４９】
この場合、マイクロレンズ９ａ毎に色情報の補間を行い、次に、マイクロレンズ９ａの領域毎に偏光状態の補間処理を行えばよい。補間処理は上記と同様である。
これにより、上記と同様の１２板の画像信号が生成され、これに基づいて距離計測を行うことができる。
【符号の説明】
【００５０】
Ａ  被写体
１  撮像装置
７  撮像レンズ
９  マイクロレンズアレイ
９ａ  マイクロレンズ
１０  撮像素子
１６  距離情報算出部（距離算出手段）
【図１】
2014074690.tif 000004
【図２】
2014074690.tif 000005
【図３】
2014074690.tif 000006
【図４】
2014074690.tif 000007
【図５】
2014074690.tif 000008
【図６】
2014074690.tif 000009
【図７】
2014074690.tif 000010
【図８】
2014074690.tif 000011
【図９】
2014074690.tif 000012