(57)【要約】  偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部２１および第２の撮像部２２との間に、偏光特性を持たない画素で構成された第３の撮像部２３を設ける。デプスマップ生成部５１は、第１の撮像部２１で生成された第１の画像と第２の撮像部２２で生成された第２の画像を用いたマッチング処理で第１の撮像部の視点のデプスマップを生成する。法線マップ生成部５２は、第１の画像の偏光状態に基づき法線マップを生成する。マップ統合部は、デプスマップと法線マップの統合処理を行い、さらに高精度のデプスマップを生成する。視点変換部は、マップ統合部５５で生成されたデプスマップを第３の撮像部２３の視点のマップに変換する。画質や輝度の低下のない画像と、この画像に対応した高精度なデプスマップを生成できる。
2016136086.tif 000002
【特許請求の範囲】
【請求項１】
偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部および第２の撮像部と、
偏光特性を持たない画素で構成されて、前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部と
を備える撮像装置。
【請求項２】
前記第１の撮像部と前記第２の撮像部と前記第３の撮像部は、縦横方向が一致しており、前記第３の撮像部の光軸位置が前記第１の撮像部と前記第２の撮像部の光軸位置を結ぶ線上の位置となるように設けた
請求項１記載の撮像装置。
【請求項３】
前記第１の撮像部と前記第２の撮像部と前記第３の撮像部は、互いの光軸方向が平行となるように設けた
請求項１記載の撮像装置。
【請求項４】
前記第１の撮像部と前記第２の撮像部と前記第３の撮像部は、入射瞳が光軸方向に対して直交する同一線上の位置となるように設けた
請求項１記載の撮像装置。
【請求項５】
前記第３の撮像部は、前記第１の撮像部と前記第２の撮像部よりも高画素数である
請求項１記載の撮像装置。
【請求項６】
前記第１の撮像部と前記第２の撮像部は、前記第３の撮像部の両側に固定して設ける
請求項１記載の撮像装置。
【請求項７】
前記第１の撮像部と前記第２の撮像部は、前記第３の撮像部に着脱可能に取り付けられたアダプタに設けられており、
前記アダプタまたは前記第３の撮像部のいずれかに、前記第１の撮像部と前記第２の撮像部の縦横方向を、前記第３の撮像部と一致させる位置調整機構を設けた
請求項１記載の撮像装置。
【請求項８】
前記第１の撮像部および前記第２の撮像部と、前記第１の撮像部で生成された画像と前記第２の撮像部で生成された画像を用いる本体部との間で、通信を行う通信部を備える
請求項７記載の撮像装置。
【請求項９】
偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部で生成された第１の画像と前記第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いて生成されたデプスマップと前記第１の撮像部で生成された第１の画像の偏光状態に基づいた法線マップとを統合処理した統合デプスマップ生成するマップ統合部と、
前記マップ統合部で生成された統合デプスマップを、偏光特性を持たない画素で構成されて前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換する視点変換部と、
を備える画像処理装置。
【請求項１０】
偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部で生成された第１の画像と、前記第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いてマッチング処理を行い、前記第１の撮像部の視点のデプスマップを生成するデプスマップ生成部と、
前記第１の撮像部で生成された第１の画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、
前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行い、統合マップを生成するマップ統合部と、
前記マップ統合部で生成された統合マップ、または前記デプスマップ生成部で生成されたデプスマップと法線マップ生成部で生成された法線マップを、偏光特性を持たない画素で構成されて前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換する視点変換部と
を備える画像処理装置。
【請求項１１】
前記視点変換部は、前記デプスマップ生成部で生成されたデプスマップと法線マップ生成部で生成された法線マップを、前記第３の撮像部の視点のマップに変換する
請求項１０記載の画像処理装置。
【請求項１２】
前記法線マップ生成部は、前記偏光方向が３方向以上の前記第１の画像の輝度に基づいて前記法線マップを生成する
請求項１０記載の画像処理装置。
【請求項１３】
前記マップ統合部は、前記デプスマップで示されたデプス値と前記法線マップに基づいて判別した表面形状から、前記デプスマップで示されていないデプス値を算出する
請求項１０記載の画像処理装置。
【請求項１４】
デプスマップを高画素数のマップに変換するマップ変換部をさらに備え、
前記第３の撮像部は、前記第１の撮像部と前記第２の撮像部よりも高画素数であり、
前記マップ変換部は、前記統合処理後で前記第３の撮像部の視点のデプスマップを、
前記第３の撮像部で生成される画像に対応したデプスマップに変換する
請求項１０記載の画像処理装置。
【請求項１５】
前記第１の画像と前記第２の画像はカラー画像であり、
前記法線マップ生成部は、前記第１の画像から反射成分の分離または抽出を行い、分離後または抽出後の画像の偏光状態に基づいて法線マップを生成する
請求項１０記載の画像処理装置。
【請求項１６】
前記第１の画像と前記第２の画像は白黒画像である
請求項１０に記載の画像処理装置。
【請求項１７】
マップ統合部で、偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部で生成された第１の画像と前記第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いて生成されたデプスマップと前記第１の撮像部で生成された第１の画像の偏光状態に基づいた法線マップとを統合処理した統合デプスマップ生成することと、
視点変換部で、前記生成された統合デプスマップを、偏光特性を持たない画素で構成されて前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換すること
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、撮像装置と画像処理装置と画像処理方法に関し、画質や輝度の低下を抑えた画像と高精度のデプスマップを生成できるようにする。
【背景技術】
【０００２】
近年、３Ｄプリンタの低価格化等に伴い、３次元形状を手軽に取得する手段が求められている。【０００３】
被写体の３次元形状を取得する手段としては、アクティブ方式とパッシブ方式が存在する。アクティブ方式は、例えば光を被写体に照射して、被写体からの反射光に基づき３次元形状を取得する方式であり、消費電力や部品コスト等から手軽な方式ではない。このアクティブ方式に対してパッシブ方式は、被写体に光を照射することなく３次元形状を取得する方式であり、アクティブ方式に比べて手軽な方式である。パッシブ方式では、例えばステレオカメラを用いて画像間の対応を求めることでデプスマップを生成する手法や、複数の方向の偏光画像を取得して法線マップを生成する手法が用いられている。【０００４】
パッシブ方式において、ステレオカメラを用いる手法では被写体の平坦部のデプスが取得できないという問題が知られている。また、複数の方向の偏光画像を用いる手法では、被写体の相対的な表面形状は取得できるが絶対的な距離を取得できないことが知られている。さらに、複数の方向の偏光画像を用いる手法では、被写体の法線の方位角に１８０度の不定性があることが知られている。そこで、特許文献１では、ステレオカメラの個々のカメラに搭載されている固体撮像素子の各画素に偏光方向の異なる偏光子を配置することで、ステレオカメラによるデプスマップの取得と偏光イメージングによる法線マップの取得を同時に行う。さらに、特許文献１では、デプスマップを参照することで法線マップの持つ１８０度の不定性の解決および絶対的な距離の取得が可能とされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００９／１４７８１４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、固体撮像素子の各画素に配置された偏光子の偏光方向が４方向である場合、特定の方向の偏光画像の画素数は元々の固体撮像素子の画素数の１／４となってしまい画質が低下する。また，各画素に偏光子が貼られているため、測距は可能であるが固体撮像素子に到達する光量が低下して取得される画像が暗くなってしまう。【０００７】
そこで、この技術では、画質や輝度の低下のない画像と高精度なデプスマップを生成できる撮像装置と画像処理装置と画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、
偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部および第２の撮像部と、
偏光特性を持たない画素で構成されて、前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部と
を備える撮像装置にある。【０００９】
この技術では、偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部および第２の撮像部と、偏光特性を持たない画素で構成されて、第１の撮像部と第２の撮像部との間に設けられた第３の撮像部が設けられる。第１の撮像部と第２の撮像部と第３の撮像部は、縦横方向が一致しており、第３の撮像部の光軸位置が第１の撮像部と第２の撮像部の光軸位置を結ぶ線上の位置となるように設けられている。また、第１の撮像部と第２の撮像部と第３の撮像部は、例えば入射瞳が光軸方向に対して直交する同一線上の位置となるように設けられる。【００１０】
また、第１の撮像部と第２の撮像部が第３の撮像部に着脱可能に取り付けられる例えばアダプタに設けられている場合、アダプタまたは第３の撮像部のいずれかに、第１の撮像部と第２の撮像部の縦横方向を、第３の撮像部の縦横方向に一致させる位置調整機構が設けられる。また、第１の撮像部と第２の撮像部が前記第１の画像と前記第２の画像を用いる本体部と通信を行うことができるように通信部が設けられる。さらに、第３の撮像部は、第１の撮像部と第２の撮像部よりも高画素数とされる。【００１１】
この技術の第２の側面は、
偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部で生成された第１の画像と前記第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いて生成されたデプスマップと前記第１の撮像部で生成された第１の画像の偏光状態に基づいた法線マップとを統合処理した統合デプスマップ生成するマップ統合部と、
前記マップ統合部で生成された統合デプスマップを、偏光特性を持たない画素で構成されて前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換する視点変換部と、
を備える画像処理装置にある。【００１２】
また、第３の側面は、
偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部で生成された第１の画像と、前記第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いてマッチング処理を行い、前記第１の撮像部の視点のデプスマップを生成するデプスマップ生成部と、
前記第１の撮像部で生成された第１の画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、
前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行い、統合マップを生成するマップ統合部と、
前記マップ統合部で生成された統合マップ、または前記デプスマップ生成部で生成されたデプスマップと法線マップ生成部で生成された法線マップを、偏光特性を持たない画素で構成されて前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換する視点変換部と
を備える画像処理装置にある。【００１３】
この技術では、偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部で生成された第１の画像と、第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いてマッチング処理を行い、第１の撮像部の視点のデプスマップが生成される。また、第１の撮像部で生成された第１の画像の偏光状態に基づいて、例えば偏光方向が３方向以上の第１の画像の輝度に基づいて法線マップが生成される。【００１４】
デプスマップ生成部で生成されたデプスマップと法線マップ生成部で生成された法線マップは、デプスマップで示されたデプス値と法線マップに基づいて判別した被写体の表面形状から、デプスマップで示されていないデプス値を算出する統合処理が行われて、デプスマップ生成部で生成されたデプスマップ以上の精度であるデプスマップが生成される。【００１５】
また、マップ統合部で生成されたデプスマップ、またはデプスマップ生成部で生成されたデプスマップと法線マップ生成部で生成された法線マップを、偏光特性を持たない画素で構成された第３の撮像部の視点のマップに変換する視点変換処理が行われて、第３の撮像部の視点である高精度のデプスマップが生成される。【００１６】
さらに、デプスマップを高画素数のマップに変換するマップ変換部が設けられて、第３の撮像部が、第１の撮像部と第２の撮像部よりも高画素数である場合、統合処理後で第３の撮像部の視点であるデプスマップがマップ変換部によって第３の撮像部で生成される画像の解像度に対応したデプスマップに変換される。また、第１と第２の画像がカラー画像である場合、第１の画像から反射成分の分離または反射成分の抽出が行われて、分離後または抽出後の画像の偏光状態に基づいて法線マップの生成が行われる。また、第１と第２の画像は白黒画像であってもよい。【００１７】
この技術の第４の側面は、
マップ統合部で、偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部で生成された第１の画像と前記第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いて生成されたデプスマップと前記第１の撮像部で生成された第１の画像の偏光状態に基づいた法線マップとを統合処理した統合デプスマップ生成することと、
視点変換部で、前記生成された統合デプスマップを、偏光特性を持たない画素で構成されて前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換すること
を含む画像処理方法にある。
【発明の効果】
【００１８】
この技術によれば、偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部および第２の撮像部と、偏光特性を持たない画素で構成されて、第１の撮像部と第２の撮像部との間に第３の撮像部が設けられる。また、第１の撮像部で生成された第１の画像と、第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いたマッチング処理によって、第１の撮像部の視点のデプスマップが生成される。また、第１の撮像部で生成された第１の画像の偏光状態に基づいて法線マップが生成されて、生成されたデプスマップと法線マップの統合処理で、高精度のデプスマップが生成される。また、統合処理後のデプスマップ、または統合処理前のデプスマップと法線マップが、第１の撮像部と第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換される。このため、画質や輝度の低下のない画像と、この画像に対応した高精度なデプスマップを生成できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１９】
【図１】撮像装置の構成を示すブロック図である。
【図２】第１の撮像部と第２の撮像部と第３の撮像部の位置関係を示した図である。
【図３】第３の撮像部を第１の撮像部と第２の撮像部との間に設けた場合と外側に設けた場合の動作の違いを説明するための図である。
【図４】第１の撮像部と第２の撮像部と第３の撮像部の理想的な配置を模式的に示した図である。
【図５】第１の撮像部と第２の撮像部と第３の撮像部の光軸方向がばらつきを生じた場合を説明するための図である。
【図６】レンズ部に絞りが設けられた撮像部を用いる場合の配置を例示した図である。
【図７】第１の撮像部と第２の撮像部と第３の撮像部の具体的配置を例示した図である。
【図８】第１の撮像部と第２の撮像部と第３の撮像部の具体的配置の他の例を示した図である。
【図９】アダプタを介して第３の撮像部のレンズ部に第１の撮像部と第２の撮像部が取り付けられた場合を示した図である。
【図１０】第１の撮像部と第２の撮像部で用いられる偏光子の構成を例示した図である。
【図１１】第３の撮像部で用いられるカラーフィルタの画素配置を例示した図である。
【図１２】画像処理部の第１の実施の形態の構成を示した図である。
【図１３】被写体までの距離の算出を説明するための図である。
【図１４】偏光画像の輝度変化を説明するための図である。
【図１５】輝度と偏光角の関係（拡散反射の場合）を例示した図である。
【図１６】偏光度と天頂角と関係（拡散反射の場合）を例示した図である。
【図１７】マップの統合処理を説明するための図である。
【図１８】視点変換を説明するための図である。
【図１９】第１の実施の形態の処理動作を示すフローチャートである。
【図２０】デプスマップの生成動作を示すフローチャートである。
【図２１】画像処理部の第２の実施の形態の構成を示した図である。
【図２２】第２の実施の形態の動作を示すフローチャートである。
【図２３】画像処理部の第３の実施の形態の構成を示した図である。
【図２４】撮像部と法線ベクトルの座標系の関係を示した図である。
【図２５】第３の実施の形態の動作を示すフローチャートである。
【図２６】第１の撮像部と第２の撮像部の他の構成を例示した図である。
【図２７】色差の算出を説明するための図である。
【図２８】ＨＳＶ空間を用いて鏡面反射成分を除去する処理を説明するための図である。
【図２９】輝度と偏光角の関係（鏡面反射の場合）を示した図である。
【図３０】偏光度と天頂角と関係（拡散反射の場合）を例示した図である。
【図３１】車両制御システムの概略構成を例示したブロック図である。
【図３２】撮像装置の設置例を示した図である。
【発明を実施するための形態】
【００２０】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像装置について
２．撮像部の配置と構成
３．画像処理部の構成と動作
３−１．第１の実施の形態の構成と動作
３−２．第２の実施の形態の構成と動作
３−３．第３の実施の形態の構成と動作
４．撮像部と画像処理部の他の実施の形態
５．適用例
【００２１】
＜１．撮像装置について＞
図１は、本技術の撮像装置の構成を示すブロック図である。撮像装置１０は、第１の撮像部２１と第２の撮像部２２と第３の撮像部２３、および画像処理部５０を有している。  第１の撮像部２１と第２の撮像部２２は、偏光特性を有した画素を複数の偏光方向毎に設けて構成されており、偏光画像の画像信号を生成して画像処理部５０に出力する。第３の撮像部２３は、偏光特性を持たない画素で構成されており、無偏光画像の画像信号を生成して画像処理部５０に出力する。画像処理部５０は、第１の撮像部２１と第２の撮像部２２で生成された偏光画像からデプスマップを生成する。また、画像処理部５０は、生成したデプスマップを第３の撮像部２３で生成された無偏光画像に対応するデプスマップに変換する。画像処理部５０は、第１の撮像部２１と第２の撮像部２２および第３の撮像部２３と一体に設けられてもよく、第１の撮像部２１と第２の撮像部２２および第３の撮像部２３とは別個に設けられてもよい。
【００２２】
＜２．撮像部の配置と構成＞
図２は、第１の撮像部と第２の撮像部と第３の撮像部の位置関係を示している。なお、図２の（ａ）は上側方向から見た場合を示しており、図２の（ｂ）は正面方向から見た場合を示している。
【００２３】
偏光子が配置されていない第３の撮像部２３は、偏光子が配置されている第１の撮像部２１と第２の撮像部２３との間に設けられている。第１の撮像部２１と第２の撮像部２２と第３の撮像部２３は、縦横方向が一致しており、例えば第３の撮像部の光軸位置が第１の撮像部と第２の撮像部の光軸位置を結ぶ線上の位置となるように設けられている。
【００２４】
図３は、第３の撮像部を第１の撮像部と第２の撮像部との間に設けた場合と外側に設けた場合の動作の違いを説明するための図である。図３の（ａ）に示すように、第３の撮像部２３が第１の撮像部２１と第２の撮像部２２との外側に設けられると、第３の撮像部２３で撮像可能な領域ＡＲ３は、第１の撮像部２１と第２の撮像部２２の撮像画像では物体Ｍの陰となる。したがって、後述するように第１の撮像部２１の視点のデプスマップを第３の撮像部２３の視点とする視点変換を行った場合、領域ＡＲ３のデプス値は無効となる。しかし、図３の（ｂ）に示すように、第３の撮像部２３を第１の撮像部２１と第２の撮像部２２との間に設けると、第３の撮像部２３で撮像可能な領域は、第１の撮像部２１と第２の撮像部２２のいずれか一方の撮像部で撮像可能となる。したがって、第１の撮像部２１と第２の撮像部２２は、第３の撮像部２３で所望の被写体を撮像する際に、第３の撮像部２３の撮像範囲が第１の撮像部２１と第２の撮像部２２のいずれかで撮像できるように画角等を設定する。このように第１の撮像部と第２の撮像部と第３の撮像部を配置すれば、第３の撮像部２３で撮像される領域のデプス値を、第１の撮像部２１または第２の撮像部２２で生成された偏光画像から算出できるようになる。したがって、後述するように所望の被写体のデプスマップを精度よく生成できる。また、第３の撮像部を第１の撮像部と第２の撮像部との間に設けることで、オクルージョンの発生を最小限に抑えることができる。
【００２５】
図４は、第１の撮像部と第２の撮像部と第３の撮像部の理想的な配置を模式的に示している。なお、説明を簡単とするため、撮像部をピンホールカメラとする。また、ピンホールを通過して、固体撮像素子の撮像面と直交する軸を撮像部の光軸とする。
【００２６】
第１の撮像部２１と第２の撮像部２２と第３の撮像部２３は、撮像部の中心位置（ピンホール位置）が各撮像部の光軸に対して直交する同一直線上に並ぶように配置することが好ましい。
【００２７】
また、撮像部の中心位置が同一直線上となるように配置すれば、第１の撮像部と第２の撮像部と第３の撮像部の光軸方向がばらつきを生じても、光軸方向が一致している場合に相当する画像を生成できる。図５の（ａ）は、第１の撮像部と第２の撮像部と第３の撮像部の光軸方向がばらつきを生じた場合を例示している。この場合、第１の撮像部２１の光軸方向と第３の撮像部２３の光軸方向の角度差を回転角として、第１の撮像部２１の中心位置を基準として幾何変換を行う。また、第２の撮像部２１の光軸方向と第３の撮像部２３の光軸方向の角度差を回転角として、第２の撮像部２１の中心位置を基準として幾何変換を行う。このような処理を行えば、図５の（ｂ）に示すように、第１の撮像部２１と第２の撮像部２２と第３の撮像部２３の光軸が平行で、各撮像部の中心位置が光軸に対して直交する同一直線上に並ぶように配置された状態で撮像された画像に変換できる。
【００２８】
図６は、レンズ部に絞りが設けられた撮像部を用いる場合の配置を例示している。図６の（ａ）は、レンズ部２０１に絞り２０２が設けられており、絞り２０２の入射側が入射瞳である。このようなレンズ部が第１の撮像部２１と第２の撮像部２２と第３の撮像部２３に設けられている場合、図６の（ｂ）に示すように、入射瞳の位置が一致するように配置する。
【００２９】
図７は、第１の撮像部と第２の撮像部と第３の撮像部の具体的配置を例示している。第３の撮像部２３は、レンズ部２３１と固体撮像素子（図示せず）等で構成されている。レンズ部２３１の前面左側（右側）には第１の撮像部２１が設けられており、前面右側（左側）には第２の撮像部２２が設けられている。このように、レンズ部２３１の前面左右に撮像部を設けて、第１の撮像部と第２の撮像部と第３の撮像部を図２に示す位置関係とする。
【００３０】
図８は、第１の撮像部と第２の撮像部と第３の撮像部の具体的配置の他の例を示している。第３の撮像部２３は、レンズ部２３１と固体撮像素子（図示せず）等で構成されている。この例では、アダプタ３１がレンズ部２３１に着脱可能とされており、アダプタ３１の側面に、第１の撮像部２１と第２の撮像部２２が突出して設けられている。また、第１の撮像部２１と第２の撮像部２２は、アダプタ３１がレンズ部２３１に装着されたとき、第１の撮像部と第２の撮像部と第３の撮像部が図２に示す位置関係となるように配置されている。
【００３１】
アダプタ３１は、例えばレンズ部２３１にアダプタ３１を固定するための固定リングと、固定リングに対して固定リングの周方向に回転可能に保持された可動リングを用いて構成されている。可動リングには、可動リングの回転軸を基準として、対角位置に第１の撮像部２１と第２の撮像部２２が固定されている。
【００３２】
図９は、アダプタを介して第３の撮像部のレンズ部に第１の撮像部と第２の撮像部が取り付けられた場合を示している。レンズ部２３１の操作時等において、レンズ部２３１に取り付けられたアダプタ３１が、レンズ部２３１の光軸を中心として回転すると、図９の（ａ）に示すように、第１の撮像部２１と第２の撮像部２２の縦横方向は、第３の撮像部２３の縦横方向と異なる方向となる場合が生じる。したがって、第１の撮像部２１と第２の撮像部２２で生成される画像は、第３の撮像部２３で生成される画像に対して傾きを生じた画像となってしまう。このため、図９の（ｂ）に示すように、例えばアダプタ３１に位置調整機構３３を設けて、アダプタ３１が回転しても、第１の撮像部２１と第２の撮像部２２の縦横方向が第３の撮像部２３の縦横方向と一致する状態を維持するように可動リングを回転させる。位置調整機構３３は、例えば可動リングを固定リングの周方向に駆動する駆動部、レンズ部２３１と可動リングとの位置関係を検出する位置検出センサ等を用いて構成する。駆動部は、位置検出センサの検出結果に基づき、第３の撮像部２３に対して第１の撮像部２１と第２の撮像部２２の縦横方向が一致する状態を保持するように可動リングを駆動する。このようなアダプタを用いれば、第３の撮像部は既存のレンズを利用できるようになる。
【００３３】
さらに、図８に示すように、第１の撮像部２１と第２の撮像部２２を設けたアダプタ３１には、第１の撮像部２１と第２の撮像部２２と、第１の撮像部で生成された画像と第２の撮像部で生成された画像を用いる本体部との間で通信を行う通信部３５を設ける。通信部３５は、例えば本体部４０に設けられている通信部４５と通信を行い、第１の撮像部２１と第２の撮像部２２で生成された偏光画像の画像信号を本体部４０に設けられている画像処理部に供給する。なお、通信部４５は、本体部４０に限らず第３の撮像部２３に設けられてもよい。この場合、第１の撮像部２１と第２の撮像部２２は、第３の撮像部２３を介して画像処理部と通信を行う。また、通信部３５と通信部４５との通信方式は、特に限定する必要はなく例えばＷｉＦｉ規格またはＢｌｕｅｔｏｏｔｈ（登録商標）規格等に対応した通信方式を用いればよい。
【００３４】
次に、第１の撮像部と第２の撮像部および第３の撮像部の構成について説明する。第１の撮像部と第２の撮像部および第３の撮像部は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）等の固体撮像素子を用いて構成されている。また、第１の撮像部と第２の撮像部では偏光子が設けられて、後述するように、偏光方向と輝度変化の関係を示す偏光モデル式を偏光画像から算出できるように、偏光特性を有した画素を複数の偏光方向毎に設けている。
【００３５】
図１０は、第１の撮像部と第２の撮像部で用いられる偏光子の構成を例示している。第１の撮像部２１で用いる偏光子２１１と第２の撮像部２２で用いる偏光子２２１は、例えば２×２画素単位の領域で異なる４つの偏光方向の画素値が得られるように構成されている。なお、図１０では、偏光方向をハッチングの線方向で示している。第１の撮像部と第２の撮像部で用いられる固体撮像素子では、カラーフィルタが設けられておらず、第１の撮像部と第２の撮像部は、無彩色偏光画像（白黒偏光画像）の画像信号を生成して画像処理部５０に出力する。
【００３６】
図１１は、第３の撮像部で用いられるカラーフィルタの画素配置を例示している。第３の撮像部で用いられる固体撮像素子には、カラーフィルタ２３５が設けられており、例えば赤色画素（Ｒ）と緑色画素（Ｇ）と青色画素（Ｂ）がベイヤー配列とされている。第３の撮像部は、三原色の無偏光画像の画像信号を生成して画像処理部５０に出力する。また、第３の撮像部の画素数は、第１の撮像部と第２の撮像部と同等であってもよく、第１の撮像部と第２の撮像部よりも高画素数であってもよい。
【００３７】
＜３．画像処理部の構成と動作＞
画像処理部は、第１の撮像部と第２の撮像部で生成された偏光画像からデプスマップを生成する処理を行う。また、画像処理部は、生成したデプスマップを第３の撮像部で生成された無偏光画像に対応するデプスマップに変換する処理を行う。
【００３８】
＜３−１．第１の実施の形態の構成と動作＞
図１２は、画像処理部の第１の実施の形態の構成を示している。撮像装置１０の画像処理部５０は、デプスマップ生成部５１と法線マップ生成部５２、マップ統合部５５、統合マップ視点変換部５６を有している。
【００３９】
デプスマップ生成部５１は、第１の撮像部２１によって生成された偏光画像と、第１の撮像部２１とは視点位置が異なる第２の撮像部２２によって生成された偏光画像に基づきステレオマッチング処理を行い、画素毎にデプス値を格納したデプスマップを生成する。デプスマップ生成部５１は、生成したデプスマップをマップ統合部５５へ出力する。
【００４０】
デプスマップ生成部５１は、第１の撮像部２１と第２の撮像部２２から供給された偏光画像のそれぞれからマッチング処理に用いるマッチング画像を生成する。上述のように、第１の撮像部２１と第２の撮像部２２から供給された偏光画像は複数の偏光方向の画像であり、被写体の同一位置の画像は偏光方向が異なる場合がある。したがって、デプスマップ生成部５１は、偏光方向の違いに影響されることなくマッチング処理を行うことができるように、マッチング画像を生成する。デプスマップ生成部５１は、例えば第１の撮像部２１と第２の撮像部２２から供給されたそれぞれの偏光画像に対してフィルタ処理を行い無偏光画像を生成する。デプスマップ生成部５１は、図１０に示す偏光子が用いられている場合、２画素×２画素の平均化フィルタ処理を行い、４方向の偏光方向の画素値の平均値を算出することで無偏光画像の画素値を生成する。デプスマップ生成部５１は、第１の撮像部２１と第２の撮像部２２から供給された偏光画像のフィルタ処理を行うことにより得られた無偏光画像をマッチング画像とする。また、デプスマップ生成部５１は、第１の撮像部２１と第２の撮像部２２から供給された偏光画像のフィルタ処理を行うことにより得られた無偏光画像に対してエッジ抽出処理を行い、得られたそれぞれのエッジ抽出画像をマッチング画像としてもよい。このようなエッジ抽出画像をマッチング画像として用いる場合、デプスマップ生成部５１は、輝度レベルの違いによる影響を受けることなくマッチング処理を行うことができる。
【００４１】
さらに、デプスマップ生成部５１は、マッチング画像を用いてマッチング処理を行う。マッチング手法は、領域ベースマッチングや特徴ベースマッチング、テンプレートマッチングなどいずれの手法を用いてもよい。デプスマップ生成部５１は、マッチング処理を実行して、対応画素位置のずれ量に基づき、各画素位置における被写体までの距離（以下「デプス値」という）を算出する。図１３は、被写体までの距離の算出を説明するための図である。なお、図１３は、第１の撮像部２１と第２の撮像部２２を同じ姿勢で左右に配置した場合を例示している。ここで、左側の撮像部を基準撮像部として右側の撮像部を参照撮像部とする。また、撮像部の基準位置の間隔（ベース長）を「ＬＢ」、撮像部の焦点距離を「ｆ」とする。この場合、基準撮像部における被写体の位置ＸＬに対して、参照撮像部における被写体の位置ＸＲが「Ｌｄ」だけずれると、被写体までの距離「Ｚｐ」は、式（１）に基づいて算出できる。
【００４２】
【数１】
2016136086.tif 000003
【００４３】
デプスマップ生成部５１は、法線マップ生成部５２で法線マップの生成を行う撮像画像について算出した距離（デプス値）を撮像画像の画素に対応付けてデプスマップを生成する。デプスマップ生成部５１は、例えば法線マップ生成部５２で第１の撮像部２１で生成された偏光画像を用いて法線マップを生成する場合、第１の撮像部２１の視点のデプスマップを生成してマップ統合部５５へ出力する。
【００４４】
法線マップ生成部５２は、偏光方向が異なる複数方向の偏光画像から法線マップを生成する。なお、法線マップの法線情報は、法線情報を積分することで被写体の表面形状を取得できる情報であり、被写体の表面形状は相対値であって被写体までの距離に関する情報を含んでいない。
【００４５】
法線マップ生成部５２は、第１の撮像部２１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成する。図１４は、偏光画像の輝度変化を説明するための図である。図１４に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、偏光板ＰＬを介して被写体ＯＢを撮像部ＣＭで撮像する。この場合、撮像部ＣＭで生成される偏光画像は、偏光板ＰＬの回転に応じて被写体ＯＢの輝度が変化することが知られている。ここで、偏光板ＰＬを回転させたときの最も高い輝度をＩdmax，最も低い輝度をＩdminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面方向としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｘｙ平面上の角度を偏光角υpolとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。
【００４６】
図１５は、輝度と偏光角の関係（拡散反射の場合）を例示しており、最大輝度Ｉdmaxが観測されたときの偏光角υpolを方位角φdとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉdpolの変化、すなわち偏光角の違いによって生じる所定の輝度変化を示す偏光モデル式は、式（２）のように表すことができる。
【００４７】
【数２】
2016136086.tif 000004
【００４８】
式（２）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉdmaxと最小輝度dＩminおよび方位角φdが変数となる。したがって、法線マップ生成部５２は、変数が３つであることから、偏光方向が３方向以上の偏光画像の輝度を用いて式（２）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す偏光モデル式に基づき最大輝度となる方位角φdを判別する。
【００４９】
また、物体表面法線を極座標系で表現して、法線情報を方位角φdと天頂角θdとする。なお、天頂角θdはｚ軸から法線に向かう角度、方位角φdは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉdminと最大輝度Ｉdmaxを用いても式（３）の演算を行うことで偏光度ρdを算出できる。
【００５０】
【数３】
2016136086.tif 000005
【００５１】
偏光度と天頂角と関係（拡散反射の場合）は、フレネルの式から例えば図１６に示す特性を有することが知られており、図１６に示す特性から偏光度ρdに基づいて天頂角θdを判別できる。なお、図１６に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。
【００５２】
したがって、法線マップ生成部５２は、偏光方向が３方向以上の偏光画像に基づき、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求めて、最大輝度となる方位角φdを判別する。また、法線マップ生成部５２は、輝度と偏光角の関係から得た最大輝度と最小輝度を用いて偏光度ρdを算出して、偏光度と天頂角の関係を示す特性曲線に基づき、算出した偏光度ρdに対応する天頂角θdを判別する。このように、法線マップ生成部５２は、偏光方向が３方向以上の偏光画像に基づき、被写体の法線情報（方位角φdと天頂角θd）を画素位置毎に求めて法線マップを生成する。法線マップ生成部５２は、生成した法線マップをマップ統合部５５へ出力する。
【００５３】
また、第１の撮像部と第２の撮像部は、２×２画像単位の領域で異なる４つの偏光方向の画素値が得られるように構成されており、カラーフィルタが設けられておらず無彩色偏光画像が生成される。したがって、空間解像度が高くカラーフィルタを設けた場合に比べて感度の高い偏光画像を得ることが可能となり、精度のよい法線マップをマップ統合部５５へ出力できる。なお、図１２では、第１の撮像部２１で生成された偏光画像を用いて法線マップを生成したが第２の撮像部２１で生成された偏光画像を用いて法線マップを生成してもよい。この場合、上述のように、デプスマップ生成部５１は、第２の撮像部２２の視点のデプスマップを生成してマップ統合部５５へ出力する。
【００５４】
マップ統合部５５は、デプスマップ生成部５１で生成されたデプスマップと法線マップ生成部５２で生成された法線マップの統合処理を行い、デプスマップ生成部５１で生成されたデプスマップ以上の精度を有したデプスマップを生成する。マップ統合部５５は、例えばデプスマップにおいてデプス値が取得できていない場合、法線マップで示された被写体の表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体の表面形状を辿る。マップ統合部５５は、表面形状を辿ることで、デプス値が得られていない画素に対応するデプス値を算出する。また、マップ統合部５５は、推定したデプス値をデプスマップ生成部５１から供給されたデプスマップに含めることで、デプスマップ生成部５１から供給されたデプスマップ以上の精度を有するデプスマップを生成する。マップ統合部５５は、統合処理後のデプスマップを統合マップ視点変換部５６へ出力する。
【００５５】
図１７は、マップの統合処理を説明するための図である。なお、説明を簡単とするため、例えば１ラインについての統合処理について説明する。図１７の（ａ）に示すように、第１の撮像部２１と第２の撮像部２２によって被写体ＯＢの撮像を行い、デプスマップ生成部５１で図１７の（ｂ）に示すデプスマップ、法線マップ生成部５２で図１７の（ｃ）に示す法線マップが得られたとする。また、デプスマップでは、例えば左端の画素に対するデプス値が「２（メートル）」であり、「×」で示す他の画素ではデプス値が格納されていないとする。マップ統合部５５は、法線マップに基づき、被写体ＯＢの表面形状を推定する。ここで、左端から２番目の画素は、この画素の法線方向に基づき、左端の画素に対応する被写体面から第１の撮像部２１と第２の撮像部２２の方向に近づく傾斜面に相当していることが判別できる。したがって、マップ統合部５５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から２番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、マップ統合部５５は、推定したデプス値をデプスマップに格納する。左端から３番目の画素は、この画素の法線方向に基づき第１の撮像部２１と第２の撮像部２２と対向する面に相当していることが判別できる。したがって、マップ統合部５５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から３番目の画素のデプス値を推定して、例えば「１（メートル）」とする。また、マップ統合部５５は、推定したデプス値をデプスマップに格納する。左端から４番目の画素は、左端から３番目の画素に対応する被写体面から第１の撮像部２１と第２の撮像部２２から離れる方向の傾斜面に相当していることが判別できる。したがって、マップ統合部５５は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から４番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、マップ統合部５５は、推定したデプス値をデプスマップに格納する。同様に左端から５番目の画素のデプス値を推定して、例えば「２（メートル）」としてデプスマップに格納する。
【００５６】
このように、マップ統合部５５は、デプスマップと法線マップの統合処理を行い、デプスマップの持つデプス値を起点として法線マップに基づき表面形状を辿ることで、デプス値を推定する。したがって、マップ統合部５５は、デプスマップ生成部５１で生成された図１７の（ｂ）に示すデプスマップで一部のデプス値が欠損していても、欠損しているデプス値を補うことが可能となる。したがって、図１７の（ｂ）に示すデプスマップ以上の精度である図１７の（ｄ）に示すデプスマップを生成できる。
【００５７】
統合マップ視点変換部５６は、マップ統合部５５から供給された統合後のデプスマップの視点変換を行う。マップ統合部５５から供給されたデプスマップは、第１の撮像部２１（または第２の撮像部２２）で生成される画像の各画素に対応するデプス値を示しており、第３の撮像部２３で生成される画像に対応していない。したがって、統合マップ視点変換部５６は、マップ統合部５５から供給された統合後のデプスマップを、第３の撮像部２３の視点のデプスマップに変換する視点変換を行う。
【００５８】
図１８は、視点変換を説明するための図である。例えば第１の撮像部２１で生成された画像の画素（ｕ，ｖ）に対応するデプスを「ｄ」とする。また、第１の撮像部２１の焦点距離を「ｆ」とする。
【００５９】
第１の撮像部２１の中心をワールド座標系Ｗにおける原点と考えると、画素（ｕ，ｖ）が対応するワールド座標系の点ＰＡの位置（Ｘ，Ｙ，Ｚ）は、式（４）〜式（６）から算出できる。
Ｘ＝ｕ＊ｄ／ｆ      ・・・（４）
Ｙ＝ｖ＊ｄ／ｆ      ・・・（５）
Ｚ＝ｄ              ・・・（６）
【００６０】
ここで、第１の撮像部２１に対する第３の撮像部２３の回転を回転行列ＲＭ、第１の撮像部２１に対する第３の撮像部２３の並進を並進ベクトルｔとする。また、第３の撮像部２３の焦点距離を「ｆ’」とする。この場合、点ＰＡが投影される第３の撮像部２３の画像平面上における画素（ｕ’,ｖ’)は、式（７）に基づいて得られる（Ｘ’，Ｙ’，Ｚ’）を用いて式（８）（９）から算出できる。したがって、画素（ｕ’,ｖ’)が画素（ｕ，ｖ）に対応するデプス「ｄ」となる。
【００６１】
【数４】
2016136086.tif 000006
【００６２】
以上の計算を全ての画素に対して実行することにより、第１の撮像部２１の視点のデプスマップを第３の撮像部２３の視点のデプスマップに変換できる。
【００６３】
なお、第１の撮像部２１と第３の撮像部２３は、予め所定の回転量および並進量となるように設置する。また、第１の撮像部２１と第３の撮像部２３の設置後に、例えば「Zhengyou Zhang, “A Flexible New Technique for Camera Calibration,” IEEE Trans. Pattern Anal. Mach. Intell. (PAMI), 22(11): 1330-1334, 2000.」等で開示されている手法を用いて、回転量および並進量を取得するようにしてもよい。
【００６４】
また、画像処理部５０は、生成したデプスマップを第３の画像と関係付けて（例えば第３の画像の属性情報等として）、第３の画像とともに記録媒体に記録または外部機器等に出力してもよい。
【００６５】
図１９は、第１の実施の形態の処理動作を示すフローチャートである。ステップＳＴ１で画像処理部５０は、第１の画像を取得する。画像処理部５０は、第１の撮像部２１で生成された複数の偏光方向の偏光画像を第１の画像として取得する。また、ステップＳＴ２で画像処理部５０は、第２の画像を取得する。画像処理部５０は、第２の撮像部２２で生成された複数の偏光方向の偏光画像を第２の画像として取得する。ステップＳＴ３で画像処理部５０は、第３の画像を取得する。画像処理部５０は、第３の撮像部２３で生成された無偏光の画像を第３の画像として取得する。
【００６６】
ステップＳＴ４で画像処理部５０は、デプスマップを生成する。図２０は、デプスマップの生成動作を示すフローチャートである。ステップＳＴ１１で画像処理部５０のデプスマップ生成部５１は、第１の画像から無偏光画像を生成する。デプスマップ生成部５１は、第１の画像と第２の画像との間での輝度レベルの違いをなくすために、第１の画像に対して例えば平均化フィルタ処理等を行い無偏光画像を生成してステップＳＴ１２に進む。
【００６７】
ステップＳＴ１２で画像処理部５０のデプスマップ生成部５１は、第２の画像から無偏光画像を生成する。デプスマップ生成部５１は、上述のように第１の画像と第２の画像との間での輝度レベルの違いをなくすために、第２の画像に対して例えば平均化フィルタ処理等を行い無偏光画像を生成してステップＳＴ１３に進む。
【００６８】
ステップＳＴ１３で画像処理部５０のデプスマップ生成部５１は、マッチング処理を行う。デプスマップ生成部５１は、ステップＳＴ１１とステップＳＴ１２で生成した無偏光画像を用いてマッチング処理を行う。また、マッチング処理では、無偏光画像に対してエッジ抽出処理を行うことにより得られた画像を用いても、輝度レベルの違いによる影響のないマッチング処理を行うことができる。デプスマップ生成部５１は、マッチング処理結果に基づき、第１の画像の画素毎にデプス値を示すデプスマップを生成して図１９のステップＳＴ５に進む。
【００６９】
ステップＳＴ５で画像処理部５０は法線マップを生成する。画像処理部５０の法線マップ生成部５２は、第１の画像を用いて画素毎に方位角φｄと天頂角θdを判別して法線マップを生成してステップＳＴ６に進む。
【００７０】
ステップＳＴ６で画像処理部５０はマップの統合処理を行う。画像処理部５０のマップ統合部５５は、デプスマップで示されたデプス値と法線マップで示された被写体の表面形状に基づき、デプス値が得られている画素を起点として表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部５５は、推定したデプス値をデプスマップに含めることで、ステップＳＴ４で生成されたデプスマップよりも高精度のデプスマップを生成してステップＳＴ７に進む。
【００７１】
ステップＳＴ７で画像処理部５０は視点変換処理を行う。画像処理部５０の統合マップ視点変換部５６は、ステップＳＴ６で生成された第１の画像の視点である高精度のデプスマップを、第３の画像の視点のデプスマップに変換する。
【００７２】
以上のように、第１の実施の形態によれば、マッチング処理ではデプス値の取得が困難な被写体領域についても、複数の偏光方向の偏光画像に基づいて生成された法線マップを用いてデプス値の推定が可能となる。したがって、デプスマップ生成部２５で生成されたデプスマップ以上の精度を有した高精度のデプスマップ、すなわち被写体領域の画素毎にデプス値が格納されたデプスマップを生成できる。
【００７３】
さらに、視点変換が行われて、例えば第１の画像の視点である高精度のデプスマップが、第３の画像の視点のデプスマップに変換される。したがって、偏光子を設けたことによる画質や輝度の低下を生じていない第３の画像と、この第３の画像に対応した高精度のデプスマップを生成できるようになる。
【００７４】
＜３−２．第２の実施の形態の構成と動作＞
次に、高精細な撮像画像を生成できるように第３の撮像部として、第１の撮像部や第２の撮像部よりも高画素数の固体撮像素子を用いる場合について説明する。
【００７５】
図２１は、画像処理部の第２の実施の形態の構成を示している。撮像装置１０の画像処理部５０は、デプスマップ生成部５１と法線マップ生成部５２、マップ統合部５５、統合マップ視点変換部５６、アップサンプリング部５７を有している。デプスマップ生成部５１、法線マップ生成部５２、マップ統合部５５および統合マップ視点変換部５６は、上述の第１の実施の形態と同様な処理を行う。
【００７６】
デプスマップ生成部５１は、第１の撮像部２１によって生成された偏光画像と、第１の撮像部２１とは視点位置が異なる第２の撮像部２２によって生成された偏光画像に基づきステレオマッチング処理を行い、画素毎にデプス値を格納したデプスマップを生成する。デプスマップ生成部５１は、生成したデプスマップをマップ統合部５５へ出力する。
【００７７】
法線マップ生成部５２は、偏光方向が異なる複数方向の偏光画像から法線マップを生成する。例えば、第１の撮像部２１で生成された偏光画像から法線マップを生成して、マップ統合部５５へ出力する。
【００７８】
マップ統合部５５は、デプスマップ生成部５１で生成されたデプスマップと法線マップ生成部５２で生成された法線マップの統合処理を行い、デプスマップ生成部５１で生成されたデプスマップ以上の精度を有したデプスマップを生成する。マップ統合部５５は、統合後のデプスマップを統合マップ視点変換部５６へ出力する。
【００７９】
統合マップ視点変換部５６は、マップ統合部５５から供給されたデプスマップの視点変換を行い、マップ統合部５５から供給された例えば第１の撮像部２１の視点のデプスマップを第３の撮像部２３の視点のデプスマップに変換する。統合マップ視点変換部５６は、視点変換後のデプスマップをアップサンプリング部５７へ出力する。
【００８０】
アップサンプリング部５７は、統合マップ視点変換部５６から供給されたデプスマップに対してアップサンプリング処理を行い、第３の撮像部２３で生成される高画素数の撮像画像に対応した解像度のデプスマップを生成する。アップサンプリング部５７は、例えば「Johannes Kopf and Michael F. Cohen and Dani Lischinski and Matt Uyttendaele, “Joint Bilateral Upsampling,” ACM Transactions on Graphics (Proceedings of SIGGRAPH 2007)」で開示されている手法を用いて、高画素数である第３の画像をガイドにして第３の画像よりも低画素数のデプスマップをアップサンプリングして、第３の画像の画素毎にデプス値を示すデプスマップを生成する。また、アップサンプリング部５７は、他の手法例えばバイリニアフィルタを用いたアップサンプリング等の手法を用いて、第３の画像に対応した画素数のデプスマップを生成してもよい。
【００８１】
なお、画像処理部５０は、生成したデプスマップを第１の画像や第２の画像よりも高画素数である第３の画像と関係付けて（例えば第３の画像の属性情報等として）、第３の画像とともに記録媒体に記録または外部機器等に出力してもよい。
【００８２】
図２２は、第２の実施の形態の動作を示すフローチャートである。ステップＳＴ２１で画像処理部５０は、第１の画像を取得する。画像処理部５０は、第１の撮像部２１で生成された複数の偏光方向の偏光画像を第１の画像として取得する。また、ステップＳＴ２２で画像処理部５０は、第２の画像を取得する。画像処理部５０は、第２の撮像部２２で生成された複数の偏光方向の偏光画像を第２の画像として取得する。ステップＳＴ２３で画像処理部５０は、第３の画像を取得する。画像処理部５０は、第３の撮像部２３で生成された無偏光の画像を第３の画像として取得する。
【００８３】
ステップＳＴ２４で画像処理部５０はデプスマップを生成する。画像処理部５０のデプスマップ生成部５１は、図１９のステップＳＴ４と同様に、第１の画像と第２の画像から第１の画像に対応したデプスマップを生成してステップＳＴ２５に進む。
【００８４】
ステップＳＴ２５で画像処理部５０は法線マップを生成する。画像処理部５０の法線マップ生成部５２は、図１９のステップＳＴ５と同様に、第１の画像を用いて画素毎に方位角φdと天頂角θdを判別して法線マップを生成してステップＳＴ２６に進む。
【００８５】
ステップＳＴ２６で画像処理部５０はマップの統合処理を行う。画像処理部５０のマップ統合部５５は、図１９のステップＳＴ６と同様に、ステップＳＴ２４で生成されたデプスマップよりも高精度のデプスマップを生成してステップＳＴ２７に進む。
【００８６】
ステップＳＴ２７で画像処理部５０は視点変換処理を行う。画像処理部５０の統合マップ視点変換部５６は、図１９のステップＳＴ７と同様に、ステップＳＴ２６で生成された第１の画像の視点の高精度のデプスマップを、第３の画像の視点のデプスマップに変換してステップＳＴ２８に進む。
【００８７】
ステップＳＴ２８で画像処理部５０はアップサンプリング処理を行う。画像処理部５０のアップサンプリング部５７は、統合マップ視点変換部５６から供給されたデプスマップに対してアップサンプリング処理を行い、第３の撮像部で生成される撮像画像に対応したデプスマップを生成する。
【００８８】
以上のように、第２の実施の形態によれば、マッチング処理ではデプス値の取得が困難な被写体領域についても、複数の偏光方向の偏光画像に基づいて生成された法線マップを用いてデプス値の推定が可能となる。したがって、第１の実施の形態と同様に、デプスマップ生成部５１で生成されたデプスマップ以上の精度を有した高精度のデプスマップ、すなわち被写体領域の画素毎にデプス値が格納されたデプスマップを生成できる。また、視点変換が行われて、例えば第１の画像の視点である高精度のデプスマップが、第３の画像の視点のデプスマップに変換されるので、第３の画像に対応した高精度のデプスマップを生成できる。
【００８９】
さらに、第２の実施の形態では、視点変換後のデプスマップに対してアップサンプリング処理が行われて、高画素数の第３の画像の画素毎にデプス値を示すデプスマップが生成される。このため、偏光子を設けたことによる画質や輝度の低下を生じていない高画素数の第３の画像と、この第３の画像に対応した画素数である高精度のデプスマップを生成できるようになる。
【００９０】
また、高画素数化により画素サイズが小さくなると、良好な画質の偏光画像の取得が困難となり、偏光子も安価で容易に構成することができない。しかし、第２の実施の形態では、第３の撮像部のような高画素数の固体撮像素子を第１の撮像部と第２の撮像部で用いることなく、第３の画像に対応した画素数である高精度のデプスマップを生成できるので、撮像装置を安価に提供することが可能となる。
【００９１】
＜３−３．第３の実施の形態の構成と動作＞
上述の第１および第２の実施の形態では、マップ統合後のデプスマップに対して視点変換を行っているが、視点変換はマップ統合前に行うことも可能である。次に第３の実施の形態としてマップ統合前に視点変換を行う場合について説明する。
【００９２】
図２３は、画像処理部の第３の実施の形態の構成を示している。撮像装置１０の画像処理部５０は、デプスマップ生成部５１と法線マップ生成部５２、デプスマップ視点変換部５３、法線マップ視点変換部５４、マップ統合部５５を有している。デプスマップ生成部５１、法線マップ生成部５２、マップ統合部５５は、上述の第１の実施の形態と同様な処理を行う。
【００９３】
デプスマップ生成部５１は、第１の撮像部２１によって生成された偏光画像と、第１の撮像部２１とは視点位置が異なる第２の撮像部２２によって生成された偏光画像に基づきステレオマッチング処理を行う。デプスマップ生成部５１は、ステレオマッチング処理を行うことにより第１の撮像部２１の視点の画素毎にデプス値を格納したデプスマップを生成して、デプスマップ視点変換部５３と法線マップ視点変換部５４へ出力する。
【００９４】
法線マップ生成部５２は、偏光方向が異なる複数方向の偏光画像から法線マップを生成する。例えば、第１の撮像部２１で生成された偏光画像から法線マップを生成して、デプスマップ視点変換部５３と法線マップ視点変換部５４へ出力する。
【００９５】
デプスマップ視点変換部５３は、上述の統合マップ視点変換部５６と同様な処理を行い、デプスマップ生成部５１から供給された第１の撮像部２１の視点のデプスマップを第３の撮像部２３の視点のデプスマップに変換する。統合マップ視点変換部５６は、視点変換後のデプスマップをマップ統合部５５へ出力する。
【００９６】
法線マップ視点変換部５４は、法線マップ生成部５２から供給された例えば第１の撮像部２１の視点の法線マップを第３の撮像部２３の視点の法線マップに変換する。
【００９７】
図２４は、撮像部と法線ベクトルの座標系の関係を示している。ここで、撮像部２１の光軸方向をｚ軸方向、横方向（例えば水平方向）をｘ軸方向として、法線方向を示す法線ベクトルＮを式（１０）とすると、方位角φdと天頂角θdと法線ベクトルの成分は式（１１）（１２）に示す関係となる。
【００９８】
【数５】
2016136086.tif 000007
【００９９】
したがって、法線マップ視点変換部５４は、式（１３）に基づき法線ベクトルの視点変換を行う。ここで、回転行列ＲＭは式（７）と等しい回転行列である。
【０１００】
【数６】
2016136086.tif 000008
【０１０１】
また、法線マップ視点変換部５４は、第１の撮像部２１の視点の法線マップにおける法線ベクトルの視点変換を行った画素が、第３の撮像部２３の視点の法線マップの何れの画素位置に対応するか算出する。法線マップ視点変換部５４は、例えば第１の撮像部２１の中心をワールド座標系Ｗにおける原点としたときの画素（ｕ，ｖ）が対応するワールド座標系の点ＰＡを位置（Ｘ，Ｙ，Ｚ）として、この位置（Ｘ，Ｙ，Ｚ）の点ＰＡが投影される第３の撮像部２３の法線マップ上における画素（ｕ’,ｖ’)の位置を、回転行列と画素（ｕ，ｖ）のデプス値を用いて算出する。
【０１０２】
法線マップ視点変換部５４は、このような法線ベクトルの視点変換と第３の撮像部２３の法線マップ上で対応する画素位置の算出を、第１の撮像部２１の視点の法線マップの各画素に対して実行する。したがって、第１の撮像部２１の視点の法線マップは、法線マップ視点変換部５４によって第３の撮像部２３の視点の法線マップに変換される。なお、画素（ｕ，ｖ）のデプス値は、デプスマップ生成部５１で生成されたデプスマップから取得する。
【０１０３】
法線マップ視点変換部５４は、視点変換後の法線ベクトルから視点変換後の方位角と天頂角を示す法線マップを生成してマップ統合部５５へ出力する。
【０１０４】
マップ統合部５５は、デプスマップ視点変換部５３によって第３の撮像部２３の視点に変換されたデプスマップと法線マップ視点変換部５４によって第３の撮像部２３の視点に変換された法線マップの統合処理を行う。マップ統合部５５は、マップの統合処理を行うことで、デプスマップ視点変換部５３によって生成された第３の撮像部２３の視点のデプスマップ以上の精度を有したデプスマップを生成する。
【０１０５】
図２５は、第３の実施の形態の動作を示すフローチャートである。ステップＳＴ３１で画像処理部５０は、第１の画像を取得する。画像処理部５０は、第１の撮像部２１で生成された複数の偏光方向の偏光画像を第１の画像として取得する。また、ステップＳＴ３２で画像処理部５０は、第２の画像を取得する。画像処理部５０は、第２の撮像部２２で生成された複数の偏光方向の偏光画像を第２の画像として取得する。ステップＳＴ３３で画像処理部５０は、第３の画像を取得する。画像処理部５０は、第３の撮像部２３で生成された無偏光の画像を第３の画像として取得する。
【０１０６】
ステップＳＴ３４で画像処理部５０はデプスマップを生成する。画像処理部５０のデプスマップ生成部５１は、図１９のステップＳＴ４と同様に、第１の画像と第２の画像から第１の画像に対応したデプスマップを生成してステップＳＴ３６に進む。
【０１０７】
ステップＳＴ３５で画像処理部５０は法線マップを生成する。画像処理部５０の法線マップ生成部５２は、図１９のステップＳＴ５と同様に、第１の画像を用いて画素毎に方位角φdと天頂角θdを判別して法線マップを生成してステップＳＴ３７に進む。
【０１０８】
ステップＳＴ３６で画像処理部５０はデプスマップ視点変換処理を行う。画像処理部５０のデプスマップ視点変換部５３は、図１９のステップＳＴ７と同様に、ステップＳＴ３４で生成された第１の画像の視点であるデプスマップを、第３の画像の視点であるデプスマップに変換してステップＳＴ３８に進む。
【０１０９】
ステップＳＴ３７で画像処理部５０は法線マップ視点変換処理を行う。画像処理部５０の法線マップ視点変換部５４は、デプスマップで示されたデプス値に基づき、ステップＳＴ３５で生成された法線マップを第１の画像の視点から第３の画像の視点である法線マップに変換してステップＳＴ３８に進む。
【０１１０】
ステップＳＴ３８で画像処理部５０はマップの統合処理を行う。画像処理部５０のマップ統合部５５は、図１９のステップＳＴ６と同様に、ステップＳＴ３７で生成された法線マップを用いて、ステップＳＴ３６で生成されたデプスマップよりも高精度のデプスマップを生成する。
【０１１１】
以上のように、第３の実施の形態によれば、マッチング処理ではデプス値の取得が困難な被写体領域についても、複数の偏光方向の偏光画像に基づいて生成された法線マップを用いてデプス値の推定が可能となる。したがって、第１の実施の形態と同様に、デプスマップ生成部５１で生成されたデプスマップ以上の精度を有した高精度のデプスマップ、すなわち被写体領域の画素毎にデプス値が格納されたデプスマップを生成できる。また、視点変換が行われて、例えば第１の画像の視点であるデプスマップと法線マップが第３の画像の視点のデプスマップと法線マップに変換されたのち統合されるので、第３の画像の視点の高精度のデプスマップを生成できる。
【０１１２】
＜４．撮像部と画像処理部の他の実施の形態＞
ところで、上述の実施の形態では、図１０に示す偏光子を用いて無彩色偏光画像を生成する場合について説明したが、第１の撮像部と第２の撮像部でカラーの偏光画像を生成すれば、被写体の反射成分を考慮して法線マップを生成できる。
【０１１３】
図２６は、第１の撮像部と第２の撮像部の他の構成を例示している。なお、第１と第２の撮像部は、等しい構成とされている。撮像部２１（２２）は、同一偏光方向の複数の画素を同一偏光画素ブロックとして、同一偏光画素ブロックに各色の画素を含めた構成として偏光画像を生成する。例えば図２６の（ａ）のように、撮像部２１（２２）は、偏光方向が等しい２×２画素単位を同一偏光画素ブロックとする。また、撮像部２１（２２）は、偏光方向が互いに異なる４つの同一偏光画素ブロックからなる４×４画素の偏光パターン単位ブロックを画素の行方向と列方向に繰り返し設けた偏光子を用いる。なお、図２６の（ａ）では、偏光方向をハッチングの線方向で示している。
【０１１４】
撮像部２１（２２）のカラーフィルタは、例えば図２６の（ｂ）に示すように、赤色画素Ｒと緑色画素Ｇと青色画素Ｂが２×２画素のサイズで、色配列がベイヤー配列とされている。なお、赤色画素と緑色画素と青色画素からなる４×４画素の画素ブロックを色パターン単位画素ブロックとする。撮像部２１では、図２６の（ｃ）に示すように、偏光パターン単位ブロックに対して色パターン単位ブロックが行方向と列方向にそれぞれ１画素分の位置差を有している。したがって、１つの同一偏光画素ブロックには１つの赤色画素Ｒと１つの青色画像Ｂおよび２つの緑色画素Ｇが含まれる。また、同一色の２×２画素の画素ブロックには４つの偏光方向の画素が含まれる。
【０１１５】
法線マップ生成部５２は、例えば鏡面反射の影響を軽減するため、偏光画像から鏡面反射成分を除去する。鏡面反射は、撮像シーンにおいて支配的な光源が原因となって発生している。また、撮像部２１（２２）でホワイトバランスの調整を行うと、ホワイトバランスの調整では照明の色に合わせてゲインを調整するため、鏡面反射を発生させる照明の色は無彩色になっていると考えられる。この場合、照明の色を表すＲＧＢ値は同じ値となり、色差を求めることで鏡面反射成分を除去することが可能となる。法線マップ生成部５２は、ホワイトバランス補正が行われた偏光画像から式（１４）に基づき、図２７に示すように同一偏光画素ブロック毎すなわち黒丸印の位置毎に色差Ｉ'υpolを求める。法線マップ生成部５２は、このような処理を同一偏光画素ブロック毎に、赤色画素の画素値Ｒυpolと緑色画像の画素値Ｇυpolと青色画素の画素値Ｂυpolを用いて行い、鏡面反射成分が除去された画像である拡散反射成分のみの偏光画像を生成する。なお、図２７の（ｂ）に示すように色配列がベイヤー配列で構成されている場合、緑色画素の画素値Ｇυpolは、例えば２つの緑色画素の画素値Ｇυ1，Ｇυ2の平均値とする。
【０１１６】
【数７】
2016136086.tif 000009
【０１１７】
また、法線マップ生成部５２は、例えば、光源が白色であるという仮定のもとで光源による鏡面反射成分が除かれた偏光画像を生成する。鏡面反射成分の除去では文献「D.Miyazaki, R.Tan, K.Hara, and K.Ikeuchi. Polarization-based inverse rendering from a single view.Proceedings of International Conference on Computer Vision, pages 982-987,2003」等に開示されている手法を用いてもよい。すなわち、式（１５）に基づき色空間をＲＧＢ空間からＭ空間に変換して式（１６）に基づき鏡面反射成分が除去された画像を生成する。鏡面反射成分が除去された画像を式（１７）に基づきＭ空間からＲＧＢ空間に戻すことで、鏡面反射成分が除かれた偏光画像を生成できる。
【０１１８】
【数８】
2016136086.tif 000010
【０１１９】
さらに、法線マップ生成部５２は、文献「社団法人 情報処理学会 研究報告 2006-CVIM-155.2006/9/9. 二色性反射モデルに基づくリアルタイム鏡面反射成分除去.肥後智明、宮崎大輔、池内克史」等に記載されている手法を用いて鏡面反射成分を除去してもよい。この手法では、ＨＳＶ空間に射影したときに一つの色相（hue）空間において、拡散反射成分は彩度(saturation)と輝度(intensity）が比例の関係にあることを利用する。図２８はＨＳＶ空間を用いて鏡面反射成分を除去する処理を説明するための図である。法線マップ生成部５２は、ＲＧＢ空間を変換した図２８の（ａ）に示すＨＳＶ空間を用いて、色相毎に彩度と輝度の関係を図２８の（ｂ）のようにプロットする。また、法線マップ生成部５２は、図２８の（ｃ）に示すように、近似された直線ＬＡに対して、輝度が予め設定した所定量より高い成分を鏡面反射成分として除去する。
【０１２０】
法線マップ生成部５２は、鏡面反射が除去された偏光画像すなわち拡散反射成分のみを示す偏光画像から法線情報を生成する。
【０１２１】
さらに法線マップ生成部５２は、鏡面反射成分を含めて法線マップを生成してもよい。図２９は、輝度と偏光角の関係（鏡面反射の場合）を示している。なお、図２９の（ａ）は、鏡面反射における輝度と偏光角の関係を示しており、図２９の（ｂ）に拡散反射における輝度と偏光角の関係を比較のために示している。
【０１２２】
鏡面反射の場合、最小輝度Ｉsminが観測されたときの偏光角υpolを方位角φsとする。このような定義を行うと、図１４に示すように偏光板ＰＬを回転させたときに観測される輝度Ｉspol、すなわち偏光角の違いによって生じる所定の輝度変化を示す偏光モデル式は、式（１８）のように表すことができる。
【０１２３】
【数９】
2016136086.tif 000011
【０１２４】
式（１８）では、偏光角υpolが偏光画像の生成時に明らかであり、最大輝度Ｉsmaxと最小輝度Ｉsminおよび方位角φsが変数となる。したがって、法線マップ生成部５２は、変数が３つであることから、偏光方向が３方向以上の偏光画像の輝度を用いて式（１８）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最小輝度となる方位角φsを判別する。
【０１２５】
また、物体表面法線を極座標系で表現して、法線情報を方位角φsと天頂角θsとする。なお、天頂角θsはｚ軸から法線に向かう角度、方位角φsは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉsminと最大輝度Ｉsmaxを用いても式（１９）の演算を行うことで偏光度ρsを算出できる。
【０１２６】
【数１０】
2016136086.tif 000012
【０１２７】
偏光度と天頂角と関係（鏡面反射の場合）は、図３０に示す特性を有することが知られており、図３０に示す特性から偏光度ρsに基づいて天頂角を１または２つ判別できる。なお、図３０に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。また、図３０では、２つの天頂角θs1，θs2が判別された場合を例示している。
【０１２８】
さらに、法線マップ生成部５２は、拡散反射成分から算出した方位角φdと天頂角θdおよび鏡面反射成分から算出した方位角φsと天頂角θsを統合して、統合後の方位角φdsと天頂角θdsを示す法線マップを生成する。法線マップ生成部５２は、統合処理として、例えば取得した方位角と天頂角をそれぞれ平均化する。具体的には式（２０）に基づいて統合処理を行い方位角φdsを生成する。また、法線マップ生成部５２では天頂角θsが２つ判別される場合があるので、式（２１）または式（２２）に基づいて統合処理を行い天頂角θdsを生成する。
【０１２９】
【数１１】
2016136086.tif 000013
【０１３０】
また、法線マップ生成部５２は、拡散反射と鏡面反射のいずれが支配的であるかに応じた重み付けで、拡散反射成分から算出した方位角φdと天頂角θdおよび鏡面反射成分から算出した方位角φsと天頂角θsを統合してもよい。重み付けは、例えば輝度の振幅を用いて振幅が大きい方を選択する。また、フィッティング誤差を用いて、誤差が少ない方を選択することで統合処理を行う。フィッティング誤差は、式（２）または式（１８）に示す関数へのフィッティングを行った場合における関数値と偏光画像の輝度との差であり、例えば偏光方向毎の関数値と輝度との誤差の積算値または平均値等を用いる。
【０１３１】
輝度の振幅を用いて統合処理を行う場合、法線マップ生成部５２は、反射成分毎の輝度の振幅を算出して振幅が大きい方を選択することで、方位角と天頂角を統合する。また、鏡面反射成分においては、２つの天頂角が判別される場合があるため、拡散反射成分について求めた天頂角に近い方を選択する。式（２３）は拡散反射における振幅Ａdの算出式、式（２４）は鏡面反射における振幅Ａsの算出式を示している。
Ａd  ＝  Ｉdmax−Ｉdmin      ・・・（２３）
Ａs  ＝  Ｉsmax−Ｉsmin      ・・・（２４）
【０１３２】
法線マップ生成部５２は、式（２５）に示すように、拡散反射成分における振幅と鏡面反射成分における振幅を用いた重み付けで統合処理を行い、方位角φdsを生成する。また、法線マップ生成部５２は、式（２６）（２７）に示すように、拡散反射成分における振幅と鏡面反射成分における振幅を用いた重み付けで統合を行い、天頂角θdsを生成する。
【０１３３】
【数１２】
2016136086.tif 000014
【０１３４】
また、法線マップ生成部５２は、法線情報の統合として拡散反射成分の偏光画像から生成した法線情報と鏡面反射成分の偏光画像から生成した法線情報の何れかを選択してもよい。ここで、法線情報統合部３８は、拡散反射と鏡面反射の何れか支配的である反射の法線情報を選択する。法線情報統合部３８は、例えば、偏光角の違いによって生じる輝度変化の大きい反射を支配的であるとして、拡散反射成分の振幅Ａdと鏡面反射成分の振幅Ａsのいずれか振幅が大きい方の法線情報を選択する。また、法線情報統合部３８は、偏光角の違いによって生じる所定の輝度変化に対する誤差の少ない反射が支配的であるとして、拡散反射成分のフィッティング誤差と鏡面反射成分のフィッティング誤差のいずれか誤差が少ない方の法線情報を選択する。また、法線情報統合部３８は、周囲の法線情報との誤差を判別して、誤差が少ない方の法線情報を選択してもよい。また、法線情報統合部３８は、これらの方法を組み合わせて法線情報の選択を行ってもよく、他の方法も組み合わせて法線情報の選択を行うようにしてもよい。さらに、鏡面反射成分の法線情報が選択されて、上述のように２つの天頂角θs1，θs2が判別されている場合、法線情報統合部３８は、拡散反射成分の法線情報で示された天頂角θdとの角度差が少ない方の天頂角を、天頂角θs1，θs2から選択する。すなわち、カラー偏光画像を用いれば、反射成分を考慮して精度のよい法線マップを生成できるようになる。
【０１３５】
このように構成される撮像装置では、例えば鏡面反射を生じないような撮像環境の場合や空間解像度の高い法線マップを生成する場合、白黒偏光画像を用いることで精度よく法線マップを生成できる。また、例えば晴天の屋外のように鏡面反射を生じやすい撮像環境の場合は、カラー偏光画像を用いて鏡面反射成分を考慮した処理を行うことで精度よく法線マップを生成できる。
【０１３６】
なお、上述のフローチャートで示した処理は、ステップ順に処理を行う順序処理に限らず、パイプライン処理や並列処理で行ってもよい。また、カラーフィルタは上述のように原色系に限らず補色系のカラーフィルタを用いてもよい。
【０１３７】
＜５．適用例＞
次に、撮像装置および画像処理装置（画像処理方法）の適用例について説明する。図３１は、この技術の撮像装置と画像処理装置を用いた車両制御システムの概略構成を例示したブロック図である。車両制御システム９０は、通信ネットワーク９２０を介して接続された複数の制御部や検出部を備える。図３１に示した例では、車両制御システム９０は、駆動系制御部９３１、ボディ系制御部９３２、バッテリ制御部９３３、車外情報検出部９３４、無線通信部９３５および統合制御部９４０を備える。通信ネットワーク９２０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）またはＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。また、統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。
【０１３８】
各制御部は、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラムまたは各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。
【０１３９】
駆動系制御部９３１は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御部９３１は、内燃機関または駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構として機能する。また、駆動系制御部９３１は、車両の制動力を発生させる制動装置等の制御装置としての機能、ＡＢＳ（Antilock  Brake  System）またはＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０１４０】
駆動系制御部９３１には、車両状態検出部９３１１が接続される。車両状態検出部９３１１には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数または走行速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御部９３１は、車両状態検出部９３１１から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置またはブレーキ装置等を制御する。
【０１４１】
ボディ系制御部９３２は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御部９３２は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカーまたはフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御部９３２には、鍵を代替する携帯機から発信される電波または各種スイッチの信号が入力され得る。ボディ系制御部９３２は、これらの電波または信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１４２】
バッテリ制御部９３３は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池９３３１を制御する。例えば、バッテリ制御部９３３には、二次電池９３３１を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧またはバッテリの残存容量等の情報が入力される。バッテリ制御部９３３は、これらの信号を用いて演算処理を行い、二次電池９３３１の温度調節制御またはバッテリ装置に備えられた冷却装置等の制御を行う。
【０１４３】
車外情報検出部９３４は、車両制御システム９０を搭載した車両の外部の情報を検出する。車外情報検出部９３４には、この技術の撮像装置と画像処理装置を利用する。
【０１４４】
図３２は、撮像装置の設置例を示した図である。撮像部２１，２２，２３を用いて構成される撮像装置２０は、例えば、車両８０のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像装置２０-Ａおよび車室内のフロントガラスの上部に備えられる撮像装置２０-Ｂは、主として車両８０の前方の画像を取得する。サイドミラーに備えられる撮像装置２０-Ｃ，２０-Ｄは、主として車両８０の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置２０-Ｅは、主として車両８０の後方の画像を取得する。なお、図３２には、それぞれの撮像装置２０-Ａ乃至２０-Ｅの撮影範囲の一例を示している。撮像範囲ＡＲ-ａは、フロントノーズに設けられた撮像装置２０-Ａの撮像範囲を示し、撮像範囲ＡＲ-ｃ，ＡＲ-ｄは、それぞれサイドミラーに設けられた撮像装置２０-Ｃ，２０-Ｄの撮像範囲を示し、撮像範囲ＡＲ-ｅは、リアバンパまたはバックドアに設けられた撮像装置２０-Ｅの撮像範囲を示す。
【０１４５】
図３１に戻り、車外情報検出部９３４は、車両の周辺領域を撮像して偏光画像と無偏光画像を取得する。また、車外情報検出部９３４は、取得した偏光画像から車両制御等に利用可能な情報、例えば無偏光画像に対応した高精度なデプスマップを生成する。
【０１４６】
無線通信部９３５は、ＤＳＲＣ（登録商標）（Dedicated Short Range Communication）等の無線通信網を介して車外、例えば他車両や道路状況等を管理する管理センタと通信を行い、受信した情報を統合制御部９４０に出力する。また、無線通信部９３５は車外情報検出部９３４で取得した情報を他車両や管理センタ等へ送信してもよい。なお、無線通信部９３５は、無線ＬＡＮの無線通信網、３Ｇ，ＬＴＥ，４Ｇなどの携帯電話用の無線通信網等の無線通信網を介して管理センタとの通信を行ってもよい。また、無線通信部９３５は、全地球測位システム（GNSS：Global Navigation Satellite System）の信号等を受信して測位を行い、測位結果を統合制御部９４０へ出力してもよい。
【０１４７】
統合制御部９４０には、入力部９５１、音声出力部９５２、表示部９５３が接続されている。入力部９５１は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチまたはレバー等、搭乗者によって入力操作され得る装置によって実現される。入力部９５１は、搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御部９４０に出力する。
【０１４８】
音声出力部９５２は、統合制御部９４０からの音声信号に基づいた音声を出力することで、車両の搭乗者に対して聴覚的に情報を通知する。表示部９５３は、統合制御部９４０からの画像信号に基づいて画像表示を行い、車両の搭乗者に対して視覚的に情報を通知する。
【０１４９】
統合制御部９４０は、ＣＰＵ(Central Processing Unit)，ＲＯＭ(Read Only Memory)，ＲＡＭ(Random Access Memory)等を有している。ＲＯＭ（Read  Only  Memory）は、ＣＰＵ(Central Processing Unit)により実行される各種プログラムを記憶する。ＲＡＭ（Random  Access  Memory）は、各種パラメータ、演算結果またはセンサ値等の情報を記憶する。ＣＰＵは、ＲＯＭに記憶されている各種プログラムを実行して、入力部９５１からの入力信号および通信ネットワーク９２０を介した各制御部や車外情報検出部および無線通信部との通信によって取得した情報、およびＲＡＭに記憶されている情報等に応じて車両制御システム９０内の動作全般を制御する。また、統合制御部９４０は、車両の搭乗者に対して、聴覚的に通知する情報を示す音声信号を生成して音声出力部９５２へ出力して、視覚的に情報を通知する画像信号を生成して表示部９５３へ出力する。また、統合制御部９４０は、無線通信部９３５を用いて他車両や管理センタ等の車外に存在する様々な機器と通信を行う。また、統合制御部９４０は、ＲＯＭまたはＲＡＭに記憶されている地図情報と無線通信部９３５から取得した測位結果に基づき、車両の走行支援を行う。
【０１５０】
なお、図３１に示した例において、通信ネットワーク９２０を介して接続された少なくとも二つの制御部が一つの制御部として一体化されてもよい。あるいは、個々の制御部が、複数の制御部により構成されてもよい。さらに、車両制御システム９０が、図示されていない別の制御部を備えてもよい。また、上記の説明において、いずれかの制御部が担う機能の一部または全部を、他の制御部に持たせてもよい。つまり、通信ネットワーク９２０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御部で行われるようになってもよい。
【０１５１】
このような車両制御システムにおいて、本技術の撮像装置および画像処理装置を用いるようにすれば、画質や輝度の低下を抑えた周辺画像と、この周辺画像に対応する高精度のデプスマップを得ることができる。したがって、画質や輝度の低下を抑えた周辺画像とこの周辺画像に対応するデプスマップを用いることで、例えば精度よく被写体認識を行うことが可能となり、被写体認識結果に基づいて安全な走行を行える車両制御システムを構築できる。
【０１５２】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１５３】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１５４】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１５５】
また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【０１５６】
なお、本技術の撮像装置は以下のような構成も取ることができる。
（１）  偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部および第２の撮像部と、
偏光特性を持たない画素で構成されて、前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部と
を備える撮像装置。
（２）  前記第１の撮像部と前記第２の撮像部と前記第３の撮像部は、縦横方向が一致しており、前記第３の撮像部の光軸位置が前記第１の撮像部と前記第２の撮像部の光軸位置を結ぶ線上の位置となるように設けた（１）に記載の撮像装置。
（３）  前記第１の撮像部と前記第２の撮像部と前記第３の撮像部は、互いの光軸方向が平行となるように設けた（１）または（２）に記載の撮像装置。
（４）  前記第１の撮像部と前記第２の撮像部と前記第３の撮像部は、入射瞳が光軸方向に対して直交する同一線上の位置となるように設けた（１）乃至（３）のいずれかに記載の撮像装置。
（５）  前記第３の撮像部は、前記第１の撮像部と前記第２の撮像部よりも高画素数である（１）乃至（４）のいずれかに記載の撮像装置。
（６）  前記第１の撮像部と前記第２の撮像部は、前記第３の撮像部の両側に固定して設ける（１）乃至（５）のいずれかに記載の撮像装置。
（７）  前記第１の撮像部と前記第２の撮像部は、前記第３の撮像部に着脱可能に取り付けられたアダプタに設けられており、
前記アダプタまたは前記第３の撮像部のいずれかに、前記第１の撮像部と前記第２の撮像部の縦横方向を、前記第３の撮像部の縦横方向に一致させる位置調整機構を設けた（１）乃至（５）のいずれかに記載の撮像装置。
（８）  前記第１の撮像部および前記第２の撮像部と、前記第１の撮像部で生成された画像と前記第２の撮像部で生成された画像を用いる本体部との間で、通信を行う通信部を備える（７）に記載の撮像装置。
【０１５７】
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部で生成された第１の画像と、前記第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いてマッチング処理を行い、前記第１の撮像部の視点のデプスマップを生成するデプスマップ生成部と、
前記第１の撮像部で生成された第１の画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、
前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行い、統合マップを生成するマップ統合部と、
前記マップ統合部で生成された統合マップ、または前記デプスマップ生成部で生成されたデプスマップと法線マップ生成部で生成された法線マップを、偏光特性を持たない画素で構成されて前記第１の撮像部と前記第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換する視点変換部と
を備える画像処理装置。
（２）  前記視点変換部は、前記デプスマップ生成部で生成されたデプスマップと法線マップ生成部で生成された法線マップを、前記第３の撮像部の視点のマップに変換する（１）に記載の画像処理装置。
（３）  前記法線マップ生成部は、前記偏光方向が３方向以上の前記第１の画像の輝度に基づいて前記法線マップを生成する（１）または（２）に記載の画像処理装置。
（４）  前記マップ統合部は、前記デプスマップで示されたデプス値と前記法線マップに基づいて判別した表面形状から、前記デプスマップで示されていないデプス値を算出する（１）乃至（３）の何れかに記載の画像処理装置。
（５）  デプスマップを高画素数のマップに変換するマップ変換部をさらに備え、
前記第３の撮像部は、前記第１の撮像部と前記第２の撮像部よりも高画素数であり、
前記マップ変換部は、前記統合処理後で前記第３の撮像部の視点のデプスマップを、
前記第３の撮像部で生成される画像に対応したデプスマップに変換する（１）乃至（４）の何れかに記載の画像処理装置。
（６）  前記第１の画像と前記第２の画像はカラー画像であり、
前記法線マップ生成部は、前記第１の画像から反射成分の分離または抽出を行い、分離後または抽出後の画像の偏光状態に基づいて法線マップを生成する（１）乃至（５）の何れかに記載の画像処理装置。
（７）  前記第１の画像と前記第２の画像は白黒画像である（１）乃至（５）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１５８】
この技術の撮像装置と画像処理装置と画像処理方法では、偏光特性を有した画素を複数の偏光方向毎に設けて構成された第１の撮像部および第２の撮像部と、偏光特性を持たない画素で構成されて、第１の撮像部と前記第２の撮像部との間に第３の撮像部が設けられる。また、第１の撮像部で生成された第１の画像と、第１の撮像部と等しい構成の第２の撮像部で生成された第２の画像とを用いたマッチング処理によって、第１の撮像部の視点のデプスマップが生成される。また、第１の撮像部で生成された第１の画像の偏光状態に基づいて法線マップが生成されて、生成されたデプスマップと法線マップの統合処理で、さらに高精度のデプスマップが生成される。また、統合処理後のデプスマップ、または統合処理前のデプスマップと法線マップが、第１の撮像部と第２の撮像部との間に設けられた第３の撮像部の視点のマップに変換される。このため、画質や輝度の低下のない画像と、この画像に対応した高精度なデプスマップを生成できるようになる。したがって、被写体の３次元形状を取得する機器等に適している。
【符号の説明】
【０１５９】
１０・・・撮像装置
２１，２２，２３・・・撮像部
２５・・・デプスマップ生成部
３１・・・アダプタ
３３・・・位置調整機構
３５，４５・・・通信部
４０・・・本体部
５０・・・画像処理部
５１・・・デプスマップ生成部
５２・・・法線マップ生成部
５３・・・デプスマップ視点変換部
５４・・・法線マップ視点変換部
５５・・・マップ統合部
５６・・・統合マップ視点変換部
５７・・・アップサンプリング部
２０１，２３１・・・レンズ部
２０２・・・絞り
２１１・・・偏光子
２３５・・・カラーフィルタ
【図１】
2016136086.tif 000015
【図２】
2016136086.tif 000016
【図３】
2016136086.tif 000017
【図４】
2016136086.tif 000018
【図５】
2016136086.tif 000019
【図６】
2016136086.tif 000020
【図７】
2016136086.tif 000021
【図８】
2016136086.tif 000022
【図９】
2016136086.tif 000023
【図１０】
2016136086.tif 000024
【図１１】
2016136086.tif 000025
【図１２】
2016136086.tif 000026
【図１３】
2016136086.tif 000027
【図１４】
2016136086.tif 000028
【図１５】
2016136086.tif 000029
【図１６】
2016136086.tif 000030
【図１７】
2016136086.tif 000031
【図１８】
2016136086.tif 000032
【図１９】
2016136086.tif 000033
【図２０】
2016136086.tif 000034
【図２１】
2016136086.tif 000035
【図２２】
2016136086.tif 000036
【図２３】
2016136086.tif 000037
【図２４】
2016136086.tif 000038
【図２５】
2016136086.tif 000039
【図２６】
2016136086.tif 000040
【図２７】
2016136086.tif 000041
【図２８】
2016136086.tif 000042
【図２９】
2016136086.tif 000043
【図３０】
2016136086.tif 000044
【図３１】
2016136086.tif 000045
【図３２】
2016136086.tif 000046
【国際調査報告】
2016136086.tif 000047
2016136086.tif 000048
2016136086.tif 000049
2016136086.tif 000050