(57)【要約】【課題】高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できるようにする。【解決手段】  デプスマップ生成部１５は、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップを生成する。法線マップ生成部１７は、第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する。マップ統合部１９は、生成されたデプスマップと法線マップの統合処理を行い、生成されたデプスマップ以上の精度のデプスマップを生成しつつ、画素数の減らない画像を取得する。【選択図】        図１
2015114307.tif 000002
【特許請求の範囲】
【請求項１】
偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップを生成するデプスマップ生成部と、
前記デプスマップ生成部により生成された第１の画像または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、
前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行うマップ統合部と
を有する画像処理装置。
【請求項２】
前記法線マップ生成部は、前記偏光方向が３方向以上の偏光画像の輝度に基づいて前記法線マップを生成する
請求項１記載の画像処理装置。
【請求項３】
前記マップ統合部は、前記デプスマップで示されたデプス値と前記法線マップに基づいて判別した形状から、前記デプスマップで示されていないデプス値を推定する
請求項２記載の画像処理装置。
【請求項４】
前記第１の画像は、前記偏光方向が３方向以上の画素を含む前記第１の撮像部によって生成された画像であり、
前記第２の画像は、偏光特性を持たない画素で構成された前記第２の撮像部によって生成された画像であり、
前記法線マップ生成部は、前記第１の画像に基づき法線マップを生成する
請求項３記載の画像処理装置。
【請求項５】
前記デプスマップ生成部は、第１の画像から無偏光画像を生成して、前記無偏光画像と前記第２の画像を用いて前記マッチング処理を行う
請求項４に記載の画像処理装置。
【請求項６】
前記デプスマップ生成部は、前記無偏光画像と前記第２の画像のそれぞれに対してエッジ抽出を行い、前記無偏光画像のエッジ抽出画像と前記第２の画像のエッジ抽出画像を用いて前記マッチング処理を行う
請求項５に記載の画像処理装置。
【請求項７】
前記第２の画像は、全画素に同色のカラーフィルタが設けられた前記第２の撮像部、または前記カラーフィルタが設けられていない前記第２の撮像部によって生成された画像であり、
前記デプスマップ生成部は、第２の画像から生成した無偏光画像を用いて前記マッチング処理を行う
請求項４に記載の画像処理装置。
【請求項８】
前記第１の画像は、偏光特性を有した画素からなる第１の画素群と、前記第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の前記第１の撮像部で生成された画像であり、
前記第２の画像は、前記第１の画素群と対応する位置で偏光方向が前記第１の画像とは異なる画素からなる第３の画素群と、前記第２の画素群と対応する位置で前記第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成の前記第２の撮像部で生成された画像である
請求項３記載の画像処理装置。
【請求項９】
前記デプスマップ生成部は、前記第１の画像における前記第２の画素群の画像と、前記第２の画像における前記第４画素群の画像とを用いることにより、偏光方向が等しい画像間または偏光特性を持たない画像間で前記マッチング処理を行う
請求項８に記載の画像処理装置。
【請求項１０】
前記第１の画像と前記第２の画像の視差量に基づき、前記第１の画像における前記第１の画素群の画像と、前記第２の画像における前記第３画素群の画像の位相を一致させて、偏光方向が複数方向の偏光画像を生成する画像位相調整部をさらに有し、
前記法線マップ生成部は、前記画像位相調整部で生成された偏光画像の偏光状態に基づいて法線マップを生成する
請求項８に記載の画像処理装置。
【請求項１１】
前記第２の画素群と前記第４の画素群が偏光特性を持たない画像である場合、前記第１の画素群と前記第３の画素群の偏光方向は合わせて３方向以上の画像とする
請求項８記載の画像処理装置。
【請求項１２】
前記画像位相調整部は、前記第２の画素群と前記第４の画素群が偏光特性を持たない画像である場合、前記第１の画素群の画像を用いた補間処理によって前記第２の画素群の画像を生成し、前記第３の画素群の画像を用いた補間処理によって前記第４の画素群の画像を生成して、補間後の画像を用いて前記偏光画像を生成する
請求項８に記載の画像処理装置。
【請求項１３】
前記第１と第３の画素群は所定色の画素であり、前記第２と第４の画素群は、他の色の画素である
請求項８記載の画像処理装置。
【請求項１４】
前記法線マップ生成部は、前記デプスマップ生成部で生成されたデプスマップを用いて前記法線マップの生成を行う
請求項３に記載の画像処理装置。
【請求項１５】
前記第１の画像を生成する第１の撮像部と前記第２の画像を生成する第２の撮像部をさらに有する
請求項１記載の画像処理装置。
【請求項１６】
前記第１の撮像部と前記第２の撮像部の何れか一方が設けられた外部装置と通信を行い、前記外部装置に設けられた撮像部で生成された画像を取得する通信部と、
前記外部装置に設けられた撮像部とは異なる他方の撮像部をさらに有する
請求項１記載の画像処理装置。
【請求項１７】
デプスマップ生成部で、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理を行いデプスマップを生成する工程と、
法線マップ生成部で、前記生成された第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する工程と、
マップ統合部で、前記デプスマップと前記法線マップの統合処理を行う工程と
を含む画像処理方法。
【請求項１８】
偏光方向が異なる画素を含む画素構成の第１の撮像部と、
前記第１の撮像部と画素構成が異なる第２の撮像部と、
前記第１の撮像部により生成された第１の画像と前記第２の撮像部より生成された第２の画像とを用いて、画像処理を行う画像処理部と
を備える撮像装置。
【請求項１９】
前記第１の撮像部は、偏光特性を有した画素からなる第１の画素群と、前記第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成であり、
前記第２の撮像部は、前記第１の画素群と対応する位置で偏光方向が前記第１の画像とは異なる画素からなる第３の画素群と、前記第２の画素群と対応する位置で前記第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成である
請求項１８に記載の撮像装置。
【請求項２０】
偏光方向が異なる画素を含む画素構成の第１の撮像部と、前記第１の撮像部により生成された第１の画像を送信する送信部とを備える画像処理装置から、前記第１の画像を受信する受信部と、
前記第１の撮像部と画素構成が異なる第２の撮像部と、
前記受信部により受信成された第１の画像と前記第２の撮像部より生成された第２の画像とを用いて、画像処理を行う画像処理部と
を備える画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像処理装置と画像処理方法および撮像装置に関し、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できるようにする。
【背景技術】
【０００２】
近年、３Ｄプリンタの低価格化等に伴い、３次元形状を手軽に取得する手段が求められている。
【０００３】
被写体の３次元形状を取得する手段としては、アクティブ方式とパッシブ方式が存在する。アクティブ方式は、例えば光を被写体に照射して、被写体からの反射光に基づき３次元形状を取得する方式であり、消費電力や部品コスト等から手軽な方式ではない。このアクティブ方式に対してパッシブ方式は、被写体に光を照射することなく３次元形状を取得する方式であり、アクティブ方式に比べて手軽な方式である。パッシブ方式では、例えばステレオカメラを用いて画像間の対応を求めることでデプスマップを生成する手法や、複数の方向の偏光画像を取得して法線マップを生成する手法が用いられている。
【０００４】
パッシブ方式において、ステレオカメラを用いる手法では被写体の平坦部のデプスが取得できないという問題が知られている。また、複数の方向の偏光画像を用いる手法では、被写体の相対的な表面形状は取得できるが絶対的な距離を取得できないことが知られている。さらに、複数の方向の偏光画像を用いる手法では、被写体の法線の方位角に１８０度の不定性があることが知られている。そこで、特許文献１では、ステレオカメラの個々のカメラに搭載されているイメージセンサの各画素に偏光方向の異なる偏光フィルタを配置することで、ステレオカメラによるデプスマップの取得と偏光イメージングによる法線マップの取得を同時に行う。さらに、特許文献１では、デプスマップを参照することで法線マップの持つ１８０度の不定性の解決および絶対的な距離の取得が可能とされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２００９／１４７８１４号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、特許文献１は、４つの画素を画像単位として、この４つの画素に偏光方向が異なる偏光子をそれぞれ設ける構成を用いている。したがって、このような構成では、特定の偏光方向の偏光画像の画素数は元々のイメージセンサの画素数の（１／４）となってしまい、高精度のデプスマップを生成することができない。また，画素数が減ることで通常の画像としての品質も低下する。
【０００７】
そこで、この技術では、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できる画像処理装置と画像処理方法および撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この技術の第１の側面は、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップを生成するデプスマップ生成部と、前記デプスマップ生成部により生成された第１の画像または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行うマップ統合部とを有する画像処理装置にある。
【０００９】
この技術では、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いてマッチング処理によってデプスマップが生成される。例えば第１の画像は、偏光方向が３方向以上の画素を含む第１の撮像部によって生成された画像であり、第２の画像は、偏光特性を持たない画素で構成された第２の撮像部によって生成された画像である場合、第１の画像から無偏光画像が生成されて、この無偏光画像と第２の画像のそれぞれのエッジ抽出画像を用いてマッチング処理が行われる。
【００１０】
第１の画像は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の第１の撮像部で生成された画像であり、第２の画像は、第１の画素群と対応する位置で偏光方向が第１の画像とは異なる偏光方向の画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい偏光方向の画素または偏光特性を持たない画素からなる第４の画素群とで構成された画素構成の第２の撮像部で生成された画像である場合、第１の画像における第２の画素群の画像と、第２の画像における第４画素群の画像とを用いることにより、偏光方向が等しい画像間または偏光特性を持たない画像間でマッチング処理が行われる。
【００１１】
また、第１または第２の画像の少なくとも何れかの偏光方向が３方向以上の偏光画像の偏光状態に基づいて法線マップが生成される。例えば、第１の画像は、偏光方向が３方向以上の画素を含む第１の撮像部によって生成された画像である場合、第１の画像に基づき法線マップが生成される。
【００１２】
第１の画像は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の第１の撮像部で生成された画像であり、第２の画像は、第１の画素群と対応する位置で偏光方向が第１の画像とは異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成の第２の撮像部で生成された画像である場合、第１の画像と第２の画像の視差量に基づき、第１の画像における第１の画素群の画像と、第２の画像における第３画素群の画像の位相を一致させて、偏光方向が複数方向の偏光画像が生成されて、この偏光画像の偏光状態に基づいて法線マップが生成される。
【００１３】
また、第２の画素群と第４の画素群が偏光特性を持たない画像である場合、第１の画素群の画像を用いた補間処理によって第２の画素群の画像を生成し、第３の画素群の画像を用いた補間処理によって第４の画素群の画像を生成して、補間後の画像を用いて偏光画像が生成される。
【００１４】
さらに、生成されたデプスマップと法線マップの統合処理が行われて、デプスマップで示されたデプス値と法線マップに基づいて判別した形状から、デプスマップで示されていないデプス値が算出されて、生成されたデプスマップ以上の精度のデプスマップが生成される。
【００１５】
また、第１の画像を生成する第１の撮像部と第２の画像を生成する第２の撮像部は、画像処理装置に設けられてもよく、また、第１の撮像部と第２の撮像部の何れか一方を外部装置に設けて、外部装置に設けられた撮像部で生成された画像を通信によって画像処理装置が取得するようにしてもよい。
【００１６】
この技術の第２の側面は、デプスマップ生成部で、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理を行いデプスマップを生成する工程と、法線マップ生成部で、前記生成された第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する工程と、マップ統合部で、前記デプスマップと前記法線マップの統合処理を行う工程とを含む画像処理方法にある。
【００１７】
この技術の第３の側面は、偏光方向が異なる画素を含む画素構成の第１の撮像部と、前記第１の撮像部と画素構成が異なる第２の撮像部と、前記第１の撮像部により生成された第１の画像と前記第２の撮像部より生成された第２の画像とを用いて、画像処理を行う画像処理部とを備える撮像装置にある。
【００１８】
この技術の第４の側面は、偏光方向が異なる画素を含む画素構成の第１の撮像部と、前記第１の撮像部により生成された第１の画像を送信する送信部とを備える画像処理装置から、前記第１の画像を受信する受信部と、前記第１の撮像部と画素構成が異なる第２の撮像部と、前記受信部により受信成された第１の画像と前記第２の撮像部より生成された第２の画像とを用いて、画像処理を行う画像処理部とを備える画像処理装置にある。
【発明の効果】
【００１９】
この技術によれば、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップが生成される。また、第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップが生成される。さらに、生成されたデプスマップと法線マップの統合処理が行われる。したがって、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００２０】
【図１】画像処理装置の機能構成を示すブロック図である。
【図２】第１の実施の形態の構成を例示した図である。
【図３】撮像部を構成するイメージセンサの画素構成を例示した図である。
【図４】被写体までの距離の算出を説明するための図である。
【図５】偏光画像の生成動作を説明するための図である。
【図６】輝度と偏光角の関係を例示した図である。
【図７】偏光度と天頂角と関係を例示した図である。
【図８】第１の実施の形態の処理動作を示すフローチャートである。
【図９】デプスマップ生成部の処理動作を示すフローチャートである。
【図１０】マップの統合処理を説明するための図である。
【図１１】第１の変形例における撮像部を構成するイメージセンサの画素構成を例示した図である。
【図１２】第１の変形例におけるデプスマップ生成部の処理動作を示すフローチャートである。
【図１３】第２の変形例の構成を例示した図である。
【図１４】法線マップ生成処理部の動作を説明するための図である。
【図１５】第２の変形例の処理動作を示すフローチャートである。
【図１６】第２の実施の形態の構成を例示した図である。
【図１７】撮像部を構成するイメージセンサの画素構成を例示した図である。
【図１８】撮像部から供給された画像と補間処理後の画像を示した図である。
【図１９】位相調整処理を説明するための図である。
【図２０】第２の実施の形態の処理動作を示すフローチャートである。
【図２１】デプスマップの生成処理を示すフローチャートである。
【図２２】多偏光画像の生成処理を示すフローチャートである。
【図２３】第１の変形例における撮像部を構成するイメージセンサの画素構成を例示した図である。
【図２４】第２の変形例における撮像部を構成するイメージセンサの画素構成を例示した図である。
【図２５】第３の実施の形態の外観を例示した図である。
【図２６】第３の実施の形態の構成を例示した図である。
【発明を実施するための形態】
【００２１】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理装置について
２．第１の実施の形態
２−１．第１の実施の形態の構成と動作
２−２．第１の実施の形態の第１の変形例
２−３．第１の実施の形態の第２の変形例
３．第２の実施の形態
３−１．第２の実施の形態の構成と動作
３−２．第２の実施の形態の第１の変形例
３−３．第２の実施の形態の第２の変形例
４．第３の実施の形態
【００２２】
＜１．画像処理装置について＞
図１は、本技術の画像処理装置の機能構成を示すブロック図である。画像処理装置１０は、デプスマップ生成部１５と法線マップ生成部１７およびマップ統合部１９を有している。
【００２３】
デプスマップ生成部１５は、多視点画像からデプスマップを生成する。多視点画像は、偏光特性の異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像に基づく無偏光画像と、第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像に基づく無偏光画像を用いる。また、デプスマップ生成部１５は、第１の画像に基づく偏光画像と、この偏光画像と偏光方向が等しい第２の画像に基づく偏光画像を用いてもよい。デプスマップ生成部１５は、例えば右視点の無偏光画像と左視点の無偏光画像、または、偏光方向が等しい右視点の偏光画像と左視点の偏光画像を用いてマッチング処理を行い、画素毎にデプス値を格納したデプスマップを生成する。デプスマップ生成部１５は、生成したデプスマップをマップ統合部１９へ出力する。
【００２４】
法線マップ生成部１７は、複数方向の偏光画像から法線マップを生成する。複数方向の偏光画像は、後述するように偏光方向が３方向以上である偏光画像である。法線マップ生成部１７は、偏光特性の異なる画素を含む画素構成の第１の撮像部によって生成された偏光方向が３方向以上である画素で構成された第１の画像を用いる。また、法線マップ生成部１７は、偏光特性の異なる画素を含む画素構成の第１の撮像部によって生成された偏光方向が複数の画素を含む第１の画像と、第１の撮像部と画素構成が異なる第２の撮像部によって生成された偏光方向が第１の画像とは異なる複数の画素を含む第２の画像を用いる。法線マップ生成部１７は、偏光方向が３方向以上である偏光画像を用いて、画素毎に法線情報を格納した法線マップを生成する。なお、法線マップの法線情報は、法線情報を積分することで被写体の表面形状を取得できる情報であり、被写体の表面形状は相対値であって被写体までの距離に関する情報を含んでいない。法線マップ生成部１７は、生成した法線マップをマップ統合部１９へ出力する。また、法線マップ生成部１７は、デプスマップ生成部１５で生成されたデプスマップを用いることで、後述するように１８０度の不定性が解決されている法線マップを生成してもよい。
【００２５】
マップ統合部１９は、デプスマップ生成部１５で生成されたデプスマップと法線マップ生成部１７で生成された法線マップの統合処理を行い、デプスマップ生成部１５で生成されたデプスマップ以上の精度を有したデプスマップを生成する。マップ統合部１９は、例えばデプスマップにおいてデプス値が取得できていない場合、法線マップを利用してデプス未取得領域に対応する被写体の表面形状を判別する。マップ統合部１９は、判別した表面形状と取得済みのデプス値に基づきデプス未取得領域のデプス値を推定することで、デプスマップ生成部１５で生成されたデプスマップ以上の精度を有したデプスマップを生成する。
【００２６】
＜２．第１の実施の形態＞
次に画像処理装置の第１の実施の形態について説明する。第１の実施の形態では、第１の撮像部が偏光特性の異なる画素を含む画素構成であり、第１の撮像部と画素構成が異なる第２の撮像部が偏光特性を有していない画素で構成されている場合について説明する。
【００２７】
＜２−１．第１の実施の形態の構成と動作＞
図２は、第１の実施の形態の構成を例示している。画像処理装置２０は、撮像部２１，２２、デプスマップ生成部２５、法線マップ生成部２７、マップ統合部２９を有している。撮像部２１，２２は、ステレオカメラに相当しており、画像処理装置２０と別個に設けられてもよい。
【００２８】
撮像部２１は、偏光特性の異なる画素を含む画素構成である第１の撮像部に相当する。また、撮像部２２は、偏光特性を有していない画素で構成されている第２の撮像部に相当する。
【００２９】
図３は、撮像部を構成するイメージセンサの画素構成を例示している。なお、図３はイメージセンサの一部を示している。また、図３の（Ａ）は撮像部２１を構成するイメージセンサ２１０の画素構成、図３の（Ｂ）は撮像部２２を構成するイメージセンサ２２０の画素構成を示している。
【００３０】
撮像部２１のイメージセンサ２１０は、各画素に偏光フィルタが配置された構成とされている。例えば、図３の（Ａ）に示すように、イメージセンサ２１０の偏光フィルタは、偏光方向（偏光方向を矢印で示す）が４方向とされており、撮像部２１では、４方向の偏光画像が得られる。撮像部２１は、生成した偏光画像をデプスマップ生成部２５と法線マップ生成部２７へ出力する。
【００３１】
撮像部２２のイメージセンサ２２０は、偏光フィルタが配置されていない単一色（例えば白色）の画素で構成されている。例えば、図３の（Ｂ）に示すように、イメージセンサ２２０は、偏光フィルタが配置されておらず、撮像部２２では無偏光画像が得られる。撮像部２２は、生成した無偏光画像をデプスマップ生成部２５へ出力する。
【００３２】
デプスマップ生成部２５は、前処理部２５１、デプスマップ生成処理部２５５を有している。
【００３３】
前処理部２５１は、撮像部２１から供給された偏光画像と撮像部２２から供給された無偏光画像のそれぞれからマッチング処理に用いるマッチング画像を生成する。上述のように、撮像部２１から供給された画像は、偏光フィルタを透過した偏光画像であるため、偏光フィルタが配置されていないイメージセンサを用いて撮像部２２で生成された無偏光画像に比べて輝度が低下している。したがって、前処理部２５１は、輝度レベルの違いに対応したマッチング処理を行うことができるように、マッチング画像を生成する。前処理部２５１は、撮像部２１から供給された偏光画像に対してフィルタ処理を行い無偏光画像を生成する。前処理部２５１は、例えば２画素×２画素の平均化フィルタ処理を行い、４方向の偏光方向の画素値の平均値を算出することで無偏光画像の画素値を生成できる。
【００３４】
次に、前処理部２５１は、撮像部２１から供給された偏光画像のフィルタ処理を行うことにより得られた無偏光画像と、撮像部２２から供給された無偏光画像に対して、エッジ抽出処理を行いそれぞれのエッジ抽出画像を生成する。前処理部２５１は、生成したそれぞれのエッジ抽出画像をマッチング画像としてデプスマップ生成処理部２５５へ出力する。このように、前処理部２５１は、エッジ抽出画像をマッチング画像として用いることから、輝度レベルの違いによる影響を受けることなくマッチング処理をデプスマップ生成処理部２５５で行うことができるようになる。
【００３５】
デプスマップ生成処理部２５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。マッチング手法は、領域ベースマッチングや特徴ベースマッチングテンプレートマッチングなど何れの手法を用いてもよい。デプスマップ生成処理部２５５は、マッチング処理を実行して、対応画素位置のずれ量に基づき各画素位置における被写体までの距離（以下「デプス値」という）を算出する。図４は、被写体までの距離の算出を説明するための図である。なお、図４は、撮像部２１と撮像部２２を同じ姿勢で左右に配置した場合を例示している。ここで、左側の撮像部を基準撮像部として右側の撮像部を参照撮像部とする。また、撮像部の基準位置の間隔（ベース長）を「ＬＢ」、撮像部の焦点距離を「ｆ」とする。この場合、基準撮像部における被写体の位置ＸＬに対して、参照撮像部における被写体の位置ＸＲが「Ｌｄ」だけずれると、被写体までの距離「Ｚｐ」は、式（１）に基づいて算出できる。
【００３６】
【数１】
2015114307.tif 000003
【００３７】
デプスマップ生成処理部２５５は、算出した距離（デプス値）を撮像画像の画素に対応付けてデプスマップを生成する。デプスマップ生成処理部２５５は、生成したデプスマップをマップ統合部２９へ出力する。
【００３８】
法線マップ生成部２７は、法線マップ生成処理部２７５を有している。法線マップ生成処理部２７５は、撮像部２１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成する。図５は、偏光画像の生成動作を説明するための図である。図５に示すように、光源ＬＴを用いて被写体ＯＢの照明を行い、偏光板ＰＬを介して被写体ＯＢを撮像部ＣＭで撮像する。この場合、撮像部ＣＭで生成される偏光画像は、偏光板ＰＬの回転に応じて被写体ＯＢの輝度が変化することが知られている。ここで、偏光板ＰＬを回転させたときの最も高い輝度をＩmax，最も低い輝度をＩminとする。また、２次元座標におけるｘ軸とｙ軸を偏光板ＰＬの平面方向としたとき、偏光板ＰＬを回転させたときのｘ軸に対するｘｙ平面上の角度を偏光角υとする。偏光板ＰＬは、１８０度回転させると元の偏光状態に戻り１８０度の周期を有している。また、拡散反射のモデルの場合、最大輝度Ｉmaxが観測されたときの偏光角υを方位角φとする。このような定義を行うと、偏光板ＰＬを回転させたときに観測される輝度Ｉは式（２）のように表すことができる。なお、図６は、輝度と偏光角の関係を例示している。
【００３９】
【数２】
2015114307.tif 000004
【００４０】
式（２）では、偏光角υが偏光画像の生成時に明らかであり、最大輝度Ｉmaxと最小輝度Ｉminおよび方位角φが変数となる。したがって、法線マップ生成処理部２７５は、変数が３つであることから、偏光方向が３方向以上の偏光画像の輝度を用いて式（２）に示す関数へのフィッティングを行い、輝度と偏光角の関係を示す関数に基づき最大輝度となる方位角φを判別する。
【００４１】
また、物体表面法線を極座標系で表現して、法線情報を方位角φと天頂角θとする。なお、天頂角θはｚ軸から法線に向かう角度、方位角φは、上述のようにｘ軸に対するｙ軸方向の角度とする。ここで、偏光板ＰＬを回転して得られた最小輝度Ｉminと最大輝度Ｉmaxを用いても式（３）の演算を行うことで偏光度ρを算出できる。
【００４２】
【数３】
2015114307.tif 000005
【００４３】
偏光度と天頂角と関係は、フレネルの式から例えば図７に示す特性を有することが知られており、図７に示す特性から偏光度ρに基づいて天頂角θを判別できる。なお、図７に示す特性は例示であって、被写体の屈折率に依存して特性は変化する。
【００４４】
したがって、法線マップ生成処理部２７５は、偏光方向が３方向以上の偏光画像に基づき、偏光方向と偏光画像の輝度から輝度と偏光角の関係を求めて、最大輝度となる方位角φを判別する。また、法線マップ生成処理部２７５は、輝度と偏光角の関係から得た最大輝度と最小輝度を用いて偏光度ρを算出して、偏光度と天頂角の関係を示す特性曲線に基づき、算出した偏光度ρに対応する天頂角θを判別する。このように、法線マップ生成処理部２７５は、偏光方向が３方向以上の偏光画像に基づき、被写体の法線情報（方位角φと天頂角θ）を画素位置毎に求めて法線マップを生成する。法線マップ生成処理部２７５は、生成した法線マップをマップ統合部２９へ出力する。
【００４５】
マップ統合部２９は、デプスマップと法線マップの統合処理を行う。マップ統合部２９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップ生成部２５から供給されたデプスマップに含めることで、デプスマップ生成部２５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。
【００４６】
図８は、第１の実施の形態の処理動作を示すフローチャートである。ステップＳＴ１で撮像部２１は、第１の画像を生成する。撮像部２１は、複数の偏光方向の偏光画像を第１の画像として生成する。また、ステップＳＴ２で撮像部２２は、第２の画像の生成を行う。撮像部２２は、無偏光画像を第２の画像として生成する。
【００４７】
ステップＳＴ３でデプスマップ生成部２５は、デプスマップを生成する。図９は、デプスマップ生成部の処理動作を示すフローチャートである。
【００４８】
ステップＳＴ１１でデプスマップ生成部２５は、無偏光画像を生成する。デプスマップ生成部２５の前処理部２５１は、第１の画像すなわち複数の偏光方向の偏光画像に対して平均化フィルタ処理等を行い、無偏光画像を生成する。
【００４９】
ステップＳＴ１３でデプスマップ生成部２５は、エッジ抽出処理を行う。デプスマップ生成部２５の前処理部２５１は、第２の画像である撮像部２２で生成された無偏光画像と、ステップＳＴ１１で生成した無偏光画像に対してエッジ抽出処理を行い、マッチング画像を生成する。デプスマップ生成部２５は、このようにエッジ抽出処理を行うことで、第１の画像と第２の画像の輝度レベルの違いによる影響のないマッチング画像を生成できる。
【００５０】
ステップＳＴ１４でデプスマップ生成部２５は、マッチング処理を行う。デプスマップ生成部２５のデプスマップ生成処理部２５５は、第１の画像から生成したマッチング画像と第２の画像から生成したマッチング画像を用いて、マッチング処理を行う。さらに、デプスマップ生成部２５は、マッチング処理結果に基づき、画素毎にデプス値を示すデプスマップを生成する。
【００５１】
図８のステップＳＴ４で法線マップ生成部２７は、法線マップを生成する。法線マップ生成部２７は第１の画像を用いて、画素毎に方位角φと天頂角θを判別して法線マップを生成する。
【００５２】
ステップＳＴ５でマップ統合部２９は、マップの統合処理を行う。マップ統合部２９は、デプスマップで示されたデプス値と法線マップで示された被写体表面形状に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップに含める。
【００５３】
図１０は、マップの統合処理を説明するための図である。なお、説明を簡単とするため、例えば１ラインについての統合処理について説明する。図１０の（Ａ）に示すように、撮像部２１，２２によって被写体ＯＢの撮像を行い、デプスマップ生成部２５で図１０の（Ｂ）に示すデプスマップ、法線マップ生成部２７で図１０の（Ｃ）に示す法線マップが得られたとする。また、デプスマップでは、例えば左端の画素に対するデプス値が「２（メートル）」であり、「×」で示す他の画素ではデプス値が格納されていないとする。マップ統合部２９は、法線マップに基づき、被写体ＯＢの表面形状を推定する。ここで、左端から２番目の画素は、この画素の法線方向に基づき、左端の画素に対応する被写体面から撮像部２１，２２の方向に近づく傾斜面に相当していることが判別できる。したがって、マップ統合部２９は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から２番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、マップ統合部２９は、推定したデプス値をデプスマップに格納する。左端から３番目の画素は、この画素の法線方向に基づき撮像部２１，２２と対向する面に相当していることが判別できる。したがって、マップ統合部２９は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から３番目の画素のデプス値を推定して、例えば「１（メートル）」とする。また、マップ統合部２９は、推定したデプス値をデプスマップに格納する。左端から４番目の画素は、左端から３番目の画素に対応する被写体面から撮像部２１，２２と離れる方向の傾斜面に相当していることが判別できる。したがって、マップ統合部２９は、左端の画素を起点として被写体ＯＢの表面形状を辿ることにより左端から４番目の画素のデプス値を推定して、例えば「１．５（メートル）」とする。また、マップ統合部２９は、推定したデプス値をデプスマップに格納する。同様に左端から５番目の画素のデプス値を推定して、例えば「２（メートル）」としてデプスマップに格納する。
【００５４】
このように、マップ統合部２９は、デプスマップと法線マップの統合処理を行い、デプスマップの持つデプス値を起点として法線マップに基づき表面形状を辿ることで、デプス値を推定する。したがって、マップ統合部２９は、デプスマップ生成部２５で生成された図１０の（Ｂ）に示すデプスマップで一部のデプス値が欠損していても、欠損しているデプス値を補うことが可能となる。したがって、図１０の（Ｂ）に示すデプスマップ以上の精度である図１０の（Ｄ）に示すデプスマップを生成できる。
【００５５】
以上のように、第１の実施の形態によれば、マッチング処理ではデプス値の取得が困難な被写体領域についても、複数の偏光方向の偏光画像に基づいて生成された法線マップを用いてデプス値の推定が可能となる。したがって、デプスマップ生成部２５で生成されたデプスマップ以上の精度を有した高精度のデプスマップ、すなわち被写体領域の画素毎にデプス値が格納されたデプスマップを生成できる。また、４つの画素を画像単位とした処理を行うことなく高精度のデプスマップを生成できることから、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できる。
【００５６】
＜２−２．第１の実施の形態の第１の変形例＞
上述の実施の形態では、撮像部２２において単一色の画素で構成されたイメージセンサを用いる構成を例示したが、複数色の画素で構成されたイメージセンサを用いる構成としてもよい。次に、第１の実施の形態の第１変形例として、赤色と青色と緑色の画素がベイヤー配列とされているイメージセンサを撮像部２２で用いる場合について説明する。なお、画像処理装置の構成は、図２と同様な構成とする。
【００５７】
図１１は、第１の変形例における撮像部を構成するイメージセンサの画素構成を例示している。なお、図１１はイメージセンサの一部を示している。また、図１１の（Ａ）は撮像部２１を構成するイメージセンサ２１０の画素構成、図１１の（Ｂ）は撮像部２２を構成するイメージセンサ２２１の画素構成を示している。なお、「Ｒ」は赤色画素、「Ｇ」は緑色画素、「Ｂ」は青色画素であることを示している。
【００５８】
撮像部２１のイメージセンサ２１０は、各画素に偏光フィルタが配置された構成とされている。例えば、図３の（Ａ）に示すように、イメージセンサ２１０の偏光フィルタは、偏光方向（偏光方向を矢印で示す）が４方向とされており、撮像部２１では、４方向の偏光画像が得られる。撮像部２１は、生成した偏光画像をデプスマップ生成部２５と法線マップ生成部２７へ出力する。
【００５９】
撮像部２２のイメージセンサ２２１は、例えば、図１１の（Ｂ）に示すように、偏光フィルタが配置されておらず、三原色の画素（Ｒ，Ｇ，Ｂ）がベイヤー配列とされた構成とされており、撮像部２２では無偏光画像が得られる。撮像部２２は、生成した無偏光画像をデプスマップ生成部２５へ出力する。
【００６０】
デプスマップ生成部２５は、前処理部２５１、デプスマップ生成処理部２５５を有している。
【００６１】
前処理部２５１は、撮像部２１から供給された偏光画像と撮像部２２から供給された無偏光画像のそれぞれからマッチング処理に用いるマッチング画像を生成する。上述のように、撮像部２１から供給された画像は、偏光フィルタを透過した偏光画像であるため、偏光フィルタが配置されていないイメージセンサを用いて撮像部２２で生成された無偏光画像に比べて輝度が低下している。したがって、前処理部２５１は、輝度レベルの違いに対応したマッチング処理を行うことができるように、マッチング画像を生成する。前処理部２５１は、撮像部２１から供給された偏光画像に対してフィルタ処理を行い無偏光画像を生成する。前処理部２５１は、例えば２画素×２画素の平均化フィルタ処理を行い、４方向の偏光方向の画素値の平均値を算出することで無偏光画像の画素値を生成できる。
【００６２】
次に、前処理部２５１は、撮像部２２で用いられているイメージセンサ２２１が三原色の画素をベイヤー配列とした構成であることから、デモザイク処理を行い輝度画像を生成する。前処理部２５１は、撮像部２１から供給された偏光画像のフィルタ処理後の無偏光画像と、撮像部２２から供給された無偏光画像に対してデモザイク処理を行うことにより得た輝度画像に対してエッジ抽出処理を行い、それぞれのエッジ抽出画像を生成する。前処理部２５１は、生成したそれぞれのエッジ抽出画像をマッチング画像としてデプスマップ生成処理部２５５へ出力する。このように、前処理部２５１は、エッジ抽出画像をマッチング画像として用いることから、輝度レベルの違いによる影響を受けることなくマッチング処理をデプスマップ生成処理部２５５で行うことができるようになる。
【００６３】
デプスマップ生成処理部２５５は、上述のようにマッチング画像を用いてマッチング処理を行いデプスマップを生成する。また、法線マップ生成部２７は、上述のように撮像部２１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成する。
【００６４】
マップ統合部２９は、デプスマップと法線マップの統合処理を行う。マップ統合部２９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップ生成部２５から供給されたデプスマップに含めることで、デプスマップ生成部２５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。
【００６５】
図１２は、第１の変形例におけるデプスマップ生成部の処理動作を示すフローチャートである。ステップＳＴ２１でデプスマップ生成部２５は、無偏光画像を生成する。デプスマップ生成部２５の前処理部２５１は、第１の画像すなわち複数の偏光方向の偏光画像に対して平均化フィルタ処理等を行い、無偏光画像を生成する。
【００６６】
ステップＳＴ２２でデプスマップ生成部２５は、輝度画像を生成する。デプスマップ生成部２５の前処理部２５１は、第２の画像である撮像部２２で生成された無偏光の三原色画像に対してデモザイク処理を行い輝度画像を生成する。
【００６７】
ステップＳＴ２３でデプスマップ生成部２５は、エッジ抽出処理を行う。デプスマップ生成部２５の前処理部２５１は、ステップＳＴ２１で生成した無偏光画像とステップＳＴ２２で生成した輝度画像に対してエッジ抽出処理を行い、マッチング画像を生成する。デプスマップ生成部２５は、このようにエッジ抽出処理を行うことで、第１の画像と第２の画像の輝度差の影響のないマッチング画像を生成できる。
【００６８】
ステップＳＴ２４でデプスマップ生成部２５は、マッチング処理を行う。デプスマップ生成部２５のデプスマップ生成処理部２５５は、第１の画像から生成したマッチング画像と第２の画像から生成したマッチング画像を用いて、マッチング処理を行う。さらに、デプスマップ生成部２５は、マッチング処理結果に基づき、デプス値を示すデプスマップを生成する。
【００６９】
このような処理を行えば、撮像部２２において、三原色の画素（Ｒ，Ｇ，Ｂ）をベイヤー配列とした構成のイメージセンサを用いる場合でも、高精度のデプスマップを生成することができる。
【００７０】
＜２−３．第１の実施の形態の第２の変形例＞
上述の実施の形態における法線マップ生成部２７は、複数の偏光方向の偏光画像を用いて法線マップを生成している。上述のように、偏光板ＰＬは１８０度回転させると元の偏光状態に戻り、輝度変化は１８０度の周期を有しており、いわゆる１８０度の不定性を有することが知られている。そこで、第２の変形例では、デプスマップを用いて１８０度の不定性を除去する場合について説明する。
【００７１】
図１３は、第２の変形例の構成を例示している。画像処理装置２０は、撮像部２１，２２、デプスマップ生成部２５、法線マップ生成部２７、マップ統合部２９を有している。撮像部２１，２２は、ステレオカメラに相当しており、画像処理装置２０と別個に設けられてもよい。
【００７２】
撮像部２１は、偏光特性の異なる画素を含む画素構成である第１の撮像部に相当する。また、撮像部２２は、偏光特性を有していない画素で構成されている第２の撮像部に相当する。撮像部２１は、例えば図３の（Ａ）または図１１の（Ａ）に示す構成のイメージセンサを用いる。撮像部２２は、例えば図３の（Ｂ）または図１１の（Ｂ）に示す構成のイメージセンサを用いる。
【００７３】
デプスマップ生成部２５は、前処理部２５１、デプスマップ生成処理部２５５を有している。前処理部２５１は、撮像部２１から供給された偏光画像と撮像部２２から供給された無偏光画像のそれぞれから上述のようにマッチング処理に用いるマッチング画像を生成する。デプスマップ生成処理部２５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。デプスマップ生成処理部２５５は、生成したデプスマップを法線マップ生成部２７とマップ統合部２９へ出力する。
【００７４】
法線マップ生成部２７は、法線マップ生成処理部２７６を有している。法線マップ生成処理部２７６は、法線マップ生成処理部２７５と同様な処理を行い、撮像部２１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成する。また、法線マップ生成処理部２７６は、デプスマップに基づき被写体の勾配方向を判別して法線マップの生成を行い、１８０度の不定性を除去する。
【００７５】
図１４は、法線マップ生成処理部の動作を説明するための図である。図１４の（Ａ）に示す被写体ＯＢを撮像部２１で撮像して法線マップを生成する場合、偏光方向の回転に応じた輝度変化は１８０度の周期を有している。したがって、例えば図１４の（Ｂ）に示すように被写体ＯＢの上半分の領域ＧＡでは法線方向（矢印で示す）が正しい方向となり、下半分の領域ＧＢでは法線方向が逆方向となるおそれがある。ここで、デプスマップに基づき被写体ＯＢの勾配方向の判別を法線マップ生成処理部２７６で行うと、法線マップ生成処理部２７６は、被写体ＯＢが撮像部２１の方向に突出した形状であることを判別できる。また、法線マップ生成処理部２７６は、被写体ＯＢが撮像部２１の方向に突出した形状であることから、図１４の（Ｂ）に示す下半分の領域ＧＢの法線方向は逆方向であることを判別できる。したがって、法線マップ生成処理部２７６は、下半分の領域ＧＢの法線方向を逆方向とすることで、図１４の（Ｃ）に示すように、１８０度の不定性を除去した正しい法線マップを生成できる。
【００７６】
マップ統合部２９は、デプスマップと法線マップの統合処理を行う。マップ統合部２９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップ生成部２５から供給されたデプスマップに含めることで、デプスマップ生成部２５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。
【００７７】
図１５は、第２の変形例の処理動作を示すフローチャートである。ステップＳＴ３１で撮像部２１は、第１の画像を生成する。撮像部２１は、複数の偏光方向の偏光画像を第１の画像として生成する。また、ステップＳＴ３２で撮像部２２は、第２の画像を生成する。撮像部２２は、無偏光画像を第２の画像として生成する。
【００７８】
ステップＳＴ３３でデプスマップ生成部２５は、デプスマップを生成する。デプスマップ生成部２５は、無偏光画像の生成および無偏光画像に基づきマッチング画像の生成を行う。また、デプスマップ生成部２５は、マッチング画像を用いてマッチング処理を行い、マッチング処理結果に基づき、デプス値を示すデプスマップを生成する。
【００７９】
ステップＳＴ３４で法線マップ生成部２７は、法線マップを生成する。法線マップ生成部２７は第１の画像とデプスマップに基づき、１８０度の不定性を除去した法線マップを生成する。
【００８０】
ステップＳＴ３５でマップ統合部２９は、マップの統合処理を行う。マップ統合部２９は、デプスマップで示されたデプス値と法線マップで示された被写体表面形状に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部２９は、推定したデプス値をデプスマップに含める。
【００８１】
このように、第２の変形例によれば、１８０度の不定性を除去して、正しい法線マップを生成することが可能となり、高精度のデプスマップを正しく生成できる。なお、第２の変形例では、法線マップ生成処理部２７６で正しい法線マップを生成してマップ統合部２９へ出力したが、マップ統合部２９で１８０度の不定性の除去を行うようにしてもよい。例えばマップ統合部２９は、デプスマップに基づき被写体の勾配方向を判別して、判別結果に基づき上述の法線マップ生成処理部２７５で生成された法線マップの法線方向を正しい方向に修正してからマップの統合処理を行うようにしてもよい。
【００８２】
＜３．第２の実施の形態について＞
次に画像処理装置の第２の実施の形態について説明する。第２の実施の形態において、第１の画像は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の第１の撮像部で生成された画像とする。第２の画像は、第１の画素群と対応する位置で偏光方向が第１の画像と異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成の第２の撮像部で生成された画像とする。また、第２の実施の形態では、第１の画像における第２の画素群の画像と、第２の画像における第４画素群の画像とを用いることにより、偏光方向が等しい画像間または偏光特性を持たない画像間でマッチング処理を行いデプスマップを生成する。さらに、第２の画素群と第４の画素群が偏光特性を持たない画像である場合、第１の画素群と第３の画素群の偏光方向は合わせて３方向以上の偏光画像として、法線マップを生成する。
【００８３】
＜３−１．第２の実施の形態の構成と動作＞
図１６は、第２の実施の形態の構成を例示している。画像処理装置３０は、撮像部３１，３２、デプスマップ生成部３５、法線マップ生成部３７、マップ統合部３９を有している。撮像部３１，３２は、ステレオカメラに相当しており、画像処理装置３０と別個に設けられてもよい。
【００８４】
撮像部３１は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成である第１の撮像部に相当する。また、撮像部３２は、第１の画素群と対応する位置で偏光方向が第１の画像とは異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成である第２の撮像部に相当する。
【００８５】
図１７は、撮像部を構成するイメージセンサの画素構成を例示している。なお、図１７はイメージセンサの一部を示している。また、図１７の（Ａ）は撮像部３１を構成するイメージセンサ３１０の画素構成、図１７の（Ｂ）は撮像部３２を構成するイメージセンサ３２０の画素構成を示している。
【００８６】
撮像部３１のイメージセンサ３１０は、無偏光の画素と複数の偏光方向の偏光フィルタを設けた画素が混在した構成とされている。例えば、図１７の（Ａ）に示すように、イメージセンサ３１０には、１ラインおきに無偏光の画素ラインが設けられている。また、偏光フィルタを設けたラインでは、異なる２種類の偏光方向（偏光方向を矢印で示す）の画素が交互に設けられている。したがって、撮像部３１では、第１の画素群である２方向の偏光方向の画素と第２の画素群である無偏光の画素からなる画像が得られる。撮像部３１は、生成した画像をデプスマップ生成部３５と法線マップ生成部３７へ出力する。
【００８７】
撮像部３２のイメージセンサ３２０は、無偏光の画素と複数の偏光方向の偏光フィルタを設けた画素が混在した構成とされている。例えば、図１７の（Ｂ）に示すように、イメージセンサ３２０には、イメージセンサ３１０と同様に無偏光の画素ラインが設けられている。また、偏光フィルタを設けたラインでは、撮像部３１のイメージセンサ３１０とは異なる２種類の偏光方向（偏光方向を矢印で示す）の画素が交互に設けられている。したがって、撮像部３２では、撮像部３１と異なる２方向の偏光方向である第３の画素群の画素と第４の画素群である無偏光の画素からなる画像が得られる。撮像部３２は、生成した画像をデプスマップ生成部３５と法線マップ生成部３７へ出力する。すなわち、図１７の場合、偏光方向が４方向の偏光画像が法線マップ生成部３７へ出力されることになる。
【００８８】
デプスマップ生成部３５は、前処理部３５１、デプスマップ生成処理部３５５を有している。
【００８９】
前処理部３５１は、撮像部３１，３２から供給された画像から無偏光部分の画像を抽出して、マッチング処理に用いるマッチング画像としてデプスマップ生成処理部３５５へ出力する。
【００９０】
デプスマップ生成処理部３５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。デプスマップ生成処理部３５５は、上述のデプスマップ生成処理部２５５と同様にマッチング処理を実行して、対応画素位置のずれ量に基づき各画素位置における被写体までの距離（デプス値）を算出する。また、デプスマップ生成処理部３５５は、無偏光部分の画素について算出したデプス値を用いてデプス補間処理を行い、偏光フィルタが設けられている画素のデプス値を算出する。デプスマップ生成処理部３５５は、デプス値を撮像画像の画素に対応付けてデプスマップを生成する。デプスマップ生成処理部３５５は、算出したデプス値を撮像画像の画素に対応付けてデプスマップを生成する。デプスマップ生成処理部３５５は、生成したデプスマップを法線マップ生成部３７とマップ統合部３９へ出力する。
【００９１】
法線マップ生成部３７は、画像位相調整部３７１と法線マップ生成処理部３７５を有している。
【００９２】
画像位相調整部３７１は、デプスマップ生成部３５から出力されたデプスマップをディスパリティマップに変換する。画像位相調整部３７１は、デプスマップで示された画素毎のデプス値に基づき視差量を判別してディスパリティマップを生成する。なお、デプスマップ生成部３５ではマッチング処理によって画素位置にずれ量を画素毎に算出していることから、画像位相調整部３７１は、デプスマップ生成部３５から画素毎のずれ量を取得してディスパリティマップを生成してもよい。
【００９３】
また、画像位相調整部３７１は、撮像部３１と撮像部３２から供給された画像のそれぞれに対して、偏光画像が得られていない無偏光画像のラインの画像補間処理を行い、偏光方向が異なる複数の方向の画素からなる偏光画像をそれぞれ生成する。図１８は、撮像部から供給された画像と補間処理後の画像を示している。なお、図１８の（Ａ）は、撮像部３１から供給された画像の偏光方向を示しており、図１８の（Ｂ）は補間処理後の画像の偏光方向を示している。画像位相調整部３７１は、上側や下側に隣接する偏光画像の画素を用いて補間を行い、例えば上側に隣接する画素の画素値と下側に隣接する画素の画素値の平均値を無偏光画像の画素位置の画素値として、偏光方向が２方向の画素からなる偏光画像を生成する。画像位相調整部３７１は、撮像部３２から供給された画像に対しても同様に画像補間処理を行い、撮像部３１から供給された画像とは偏光方向が異なる２方向の画素からなる偏光画像を生成する。
【００９４】
さらに、画像位相調整部３７１は、ディスパリティマップに基づき、撮像部３１からの画像に対する補間処理後の偏光画像と撮像部３２からの画像に対する補間処理後の偏光画像の位相を一致させる。図１９は位相調整処理を説明するための図である。図１９の（Ａ）は撮像部３１から供給された画像の補間処理後における偏光画像の一部を示している。図１９の（Ｂ）は撮像部３２から供給された画像の補間処理後における偏光画像の一部を示している。図１９の（Ｃ）はディスパリティマップの一部を例示している。なお、ディスパリティマップのディスパリティ値（視差量）は、デプスマップのデプス値と一対一に対応しており、上述のように２つの撮像部の基準位置の間隔「ＬＢ」と撮像部の焦点距離「ｆ」から容易に双方向で変換可能である。視差量は、被写体の同じ部分に対応する撮像部３１から供給された画像上の画素と撮像部３２から供給された画像上の画素の関係を示している。撮像部３２から供給された画像上における例えば画素Ｐg2（図示せず）に対応する撮像部３１から供給された画像上の画素Ｐg1（図示せず）は、ディスパリティマップの視差量を参照することで判別できる。ここで、視差量の値が「２（画素）」であるとすると、画素Ｐg2よりも２画素右側に位置する画素Ｐg1が被写体の同じ部分に対応する。したがって、画像位相調整部３７１は、ディスパリティマップを参照して、撮像部３２から供給された補間処理後の画像の位相を調整して、撮像部３１から供給された補間処理後の画像と画像の位相が一致している図１９の（Ｄ）に示す位相一致画像を生成する。ここで、ディスパリティマップが図１９の（Ｃ）に示す値である場合、上半分が「１（画素）」であり下半分が「２（画素）」である。したがって、画像位相調整部３７１は、撮像部３２から供給された補間処理後の画像の上半分を「１（画素）」だけ右にずらす処理と、下半分を「２（画素）」だけ右にずらす処理を行い、位相を一致させた画像を生成する。
【００９５】
画像位相調整部３７１は、以上のような処理を行い偏光方向が異なる２方向の偏光画像と、この画像と位相が一致しており偏光方向が異なる２方向の偏光画像を生成して法線マップ生成処理部３７５へ出力する。すなわち、画像位相調整部３７１は、被写体の視差の影響が除かれた多偏光画像を法線マップ生成処理部３７５へ出力する。
【００９６】
法線マップ生成処理部３７５は、画像位相調整部３７１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成して、マップ統合部３９へ出力する。
【００９７】
マップ統合部３９は、デプスマップと法線マップの統合処理を行う。マップ統合部３９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部３９は、推定したデプス値をデプスマップ生成部３５から供給されたデプスマップに含めることで、デプスマップ生成部３５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。
【００９８】
図２０は、第２の実施の形態の処理動作を示すフローチャートである。ステップＳＴ４１で撮像部３１は、第１の画像を生成する。撮像部３１は、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群からなる第１の画像を生成する。また、ステップＳＴ４２で撮像部３２は、第１の画素群と対応する位置で偏光方向が第１の画像と異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群からなる第２の画像を生成する。
【００９９】
ステップＳＴ４３でデプスマップ生成部３５はデプスマップを生成する。図２１はデプスマップの生成処理を示すフローチャートである。ステップＳＴ５１でデプスマップ生成部３５は、第２と第４の画素群を用いてデプスマップを生成する。デプスマップ生成部３５は、第２と第４の画素群の画像を用いてマッチング処理を行い、画素毎に被写体までの距離（デプス値）を算出してデプスマップを生成する。
【０１００】
ステップＳＴ５２でデプスマップ生成部３５は、デプス補間処理を行う。デプスマップ生成部３５は、第２（第４）の画素群の画素について算出したデプス値を用いた補間処理によって、第１（第３）の画素群の画素についてのデプス値を算出する。このように、デプスマップ生成部３５は、デプス補間処理を行うことで第１（第３）の画素群および第２（第４）の画素群の画素毎にデプス値を示すデプスマップを生成する。
【０１０１】
図２０のステップＳＴ４４で法線マップ生成部３７は多偏光画像を生成する。図２２は多偏光画像の生成処理を示すフローチャートである。ステップＳＴ６１で法線マップ生成部３７はディスパリティマップを生成する。法線マップ生成部３７は、図２０のステップＳＴ４３で生成したデプスマップをディスパリティマップに変換する。なお、法線マップ生成部３７は、ディスパリティマップ生成時に行われたマッチング処理によって得られた画素位置毎のずれ量を用いてもよい。
【０１０２】
ステップＳＴ６２で法線マップ生成部３７は画像補間処理を行う。法線マップ生成部３７は、撮像部３１から供給された第１の画像と撮像部３２から供給された第２の画像のそれぞれに対して、偏光画像が得られていない無偏光画像の画素位置に対して画像補間処理を行い偏光画像を生成する。
【０１０３】
ステップＳＴ６３で法線マップ生成部３７は画像位相調整を行う。法線マップ生成部３７は、ディスパリティマップに基づき画像の移動を行い、第１の画像に対する補間処理後の偏光画像と第２の画像に対する補間処理後の偏光画像における画像の位相を一致させて、視差の影響を除いた多偏光画像を生成する。
【０１０４】
図２０のステップＳＴ４５で法線マップ生成部３７は法線マップを生成する。法線マップ生成部３７は、ステップＳＴ４４で生成された多偏光画像に基づき法線マップを生成する。
【０１０５】
ステップＳＴ４６でマップ統合部３９は、マップの統合処理を行う。マップ統合部３９は、デプスマップで示されたデプス値と法線マップで示された被写体表面形状に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部３９は、推定したデプス値をデプスマップに含める。
【０１０６】
以上のように、第２の実施の形態によれば、例えば第１の撮像部と第２の撮像部のそれぞれで偏光画像を生成する場合でも、デプスマップ生成部３５でデプスマップを生成することが可能となる。また、法線マップ生成部３７では、画像の位相合わせを行い視差の影響を除いた多偏光画像に基づき法線マップを生成することが可能となる。したがって、生成されたデプスマップと法線マップと統合することで、デプスマップ生成部３５で生成されたデプスマップ以上の精度を有した高精度のデプスマップ、すなわち被写体領域の画素毎にデプス値が格納されたデプスマップを生成できる。また、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できる
【０１０７】
さらに、撮像部３１のイメージセンサおよび撮像部３２のイメージセンサの画素には、最大で偏光方向が２方向の平均化フィルタのみが行われるため、平均化フィルタの影響を抑えて高精度のデプスマップを生成できる。
【０１０８】
＜３−２．第２の実施の形態の第１の変形例＞
上述の実施の形態では、撮像部３１，３２において単一色の画素で構成されたイメージセンサを用いる構成を例示したが、複数色の画素で構成されたイメージセンサを用いる構成としてもよい。次に、第２の実施の形態の第２変形例として、赤色と青色と緑色の画素がベイヤー配列とされているイメージセンサを撮像部３１，３２で用いる場合について説明する。なお、画像処理装置の構成は、図１６と同様な構成する。
【０１０９】
図２３は、第１の変形例における撮像部を構成するイメージセンサの画素構成を例示している。なお、図２３はイメージセンサの一部を示している。また、図２３の（Ａ）は撮像部３１を構成するイメージセンサ３１１の画素構成、図２３の（Ｂ）は撮像部３２を構成するイメージセンサ３２１の画素構成を示している。なお、「Ｒ」は赤色画素、「Ｇ」は緑色画素、「Ｂ」は青色画素であることを示している。
【０１１０】
撮像部３１のイメージセンサ３１１は、赤色と青色と緑色の画素がベイヤー配列とされており、所定色の画素例えば緑画素に偏光フィルタが配置された構成とされている。図２３の（Ａ）に示すように、イメージセンサ３１１の偏光フィルタは、異なる２種類の偏光方向（偏光方向を矢印で示す）とされている。撮像部３１は、第１の画素群である２方向の偏光方向の画素（緑色）および第２の画素群の無偏光の画素（赤色と青色）の画像からなる第１の画像を生成して、デプスマップ生成部３５と法線マップ生成部３７へ出力する。
【０１１１】
撮像部３２のイメージセンサ３２１は、赤色と青色と緑色の画素がベイヤー配列とされており、緑画素に偏光フィルタが配置された構成とされている。例えば、図２３の（Ｂ）に示すように、イメージセンサ３２１の偏光フィルタは、イメージセンサ３１１と異なる２種類の偏光方向（偏光方向を矢印で示す）とされている。撮像部３２は、撮像部３１と異なる２方向の偏光方向の第３の画素群である画素（緑色）および第４の画素群の無偏光の画素（赤色と青色）の画像からなる第２の画像を生成して、デプスマップ生成部３５と法線マップ生成部３７へ出力する。
【０１１２】
デプスマップ生成部３５は、前処理部３５１、デプスマップ生成処理部３５５を有している。前処理部３５１は、撮像部３１と撮像部３２から供給された画像の無偏光画像を用いてマッチング処理に用いるマッチング画像を生成する。例えば赤色画素または青色画素のみを用いて画像補間処理を行い、赤色または青色のマッチング画像を生成する。デプスマップ生成処理部３５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。
【０１１３】
法線マップ生成部３７は、画像位相調整部３７１と法線マップ生成処理部３７５を有している。
【０１１４】
画像位相調整部３７１は、デプスマップ生成部３５から出力されたデプスマップをディスパリティマップに変換する。画像位相調整部３７１は、デプスマップで示された画素毎のデプス値に基づき視差量を判別してディスパリティマップを生成する。なお、デプスマップ生成部３５ではマッチング処理によって画素毎にずれ量を算出していることから、画像位相調整部３７１は、デプスマップ生成部３５から画素毎のずれ量を取得してディスパリティマップを生成してもよい。
【０１１５】
画像位相調整部３７１は、撮像部３１と撮像部３２から供給された画像のそれぞれに対して、偏光画像を用いて無偏光画像の画像補間処理を行い、偏光方向が異なる複数の方向の画素からなる偏光画像をそれぞれ生成する。さらに画像位相調整部３７１は、ディスパリティマップに基づき、撮像部３１からの画像に対する補間処理後の偏光画像と撮像部３１からの画像に対する補間処理後の偏光画像の位相を一致させて、被写体の視差の影響が除かれた多偏光画像を生成する。画像位相調整部３７１は、生成した多偏光画像を法線マップ生成処理部３７５へ出力する。
【０１１６】
法線マップ生成処理部３７５は、画像位相調整部３７１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成して、マップ統合部３９へ出力する。
【０１１７】
マップ統合部３９は、デプスマップと法線マップの統合処理を行う。マップ統合部３９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部３９は、推定したデプス値をデプスマップ生成部３５から供給されたデプスマップに含めることで、デプスマップ生成部３５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。
【０１１８】
このように、第１の変形例によれば、複数色の画素で構成されたイメージセンサを用いる場合でも、デプスマップ生成部３５でデプスマップを生成することが可能となる。また、法線マップ生成部３７では、画像の位相合わせを行い視差の影響を除いた多偏光画像に基づき法線マップを生成することが可能となる。したがって、生成されたデプスマップと法線マップと統合することで、デプスマップ生成部３５で生成されたデプスマップ以上の精度を有したデプスマップを生成できる。
【０１１９】
＜３−３．第２の実施の形態の第２の変形例＞
次に、第２の実施の形態の第２の変形例として、撮像部３１から供給された第１の画像の第１の画素群と撮像部３２から供給された第２の画像の第３の画素群との偏光方向が異なり、第１の画像の第２の画素群と第２の画像の第４の画素群の偏光方向が、第１および第２の画素群とは異なる偏光方向で互いに等しい場合について説明する。なお、画像処理装置の構成は、図１６と同様な構成する。
【０１２０】
図２４は、第２の変形例における撮像部を構成するイメージセンサの画素構成を例示している。なお、図２４はイメージセンサの一部を示している。また、図２４の（Ａ）は撮像部３１を構成するイメージセンサ３１２の画素構成、図２４の（Ｂ）は撮像部３２を構成するイメージセンサ３２２の画素構成を示している。
【０１２１】
撮像部３１のイメージセンサ３１２は、各画素に偏光フィルタが配置された構成とされている。例えば、図２４の（Ａ）に示すように、イメージセンサ３１２の偏光フィルタは、異なる２種類の偏光方向（偏光方向を矢印で示す）とされている。また、同じラインの画素は偏光方向が等しく構成されている。撮像部３１は、１つの偏光方向の第１の画素群のラインと他の偏光方向の第２の画素群のラインからなる第１の画像を生成して、デプスマップ生成部３５と法線マップ生成部３７へ出力する。
【０１２２】
撮像部３２のイメージセンサ３２２は、各画素に偏光フィルタが配置された構成とされている。例えば、図２４の（Ｂ）に示すように、イメージセンサ３２２の偏光フィルタは、イメージセンサ３１２と等しい偏光方向（偏光方向を矢印で示す）と異なる偏光方向とされている。また、同じラインの画素は偏光方向が等しく構成されている。撮像部３２は、撮像部３１と異なる偏光方向の第３の画素群のラインと撮像部３１の第２の画素群と等しい偏光方向の第４の画素群のラインからなる第２の画像を生成して、デプスマップ生成部３５と法線マップ生成部３７へ出力する。したがって、図２４の場合には、偏光方向が３方向の偏光画像が法線マップ生成部３７へ供給される。なお、図２４では、イメージセンサ３１２，３２２において、等しい偏光方向が右上方向である場合を例示している。
【０１２３】
デプスマップ生成部３５は、前処理部３５１、デプスマップ生成処理部３５５を有している。前処理部３５１は、撮像部３１と撮像部３２から供給された画像を用いてマッチング処理に用いるマッチング画像を生成する。前処理部３５１は、撮像部３１と撮像部３２で偏光方向が等しい画素の画像のみを用いて画像補間処理を行いマッチング画像を生成する。デプスマップ生成処理部３５５は、マッチング画像を用いてマッチング処理を行いデプスマップを生成する。
【０１２４】
法線マップ生成部３７は、画像位相調整部３７１と法線マップ生成処理部３７５を有している。
【０１２５】
画像位相調整部３７１は、撮像部３１と撮像部３２の位置の違いによって視差を生じることから、視差の影響が除かれた偏光画像を生成する。画像位相調整部３７１は、デプスマップ生成部３５から出力されたデプスマップをディスパリティマップに変換する。画像位相調整部３７１は、デプスマップで示された画素毎のデプス値に基づき視差量を判別してディスパリティマップを生成する。なお、デプスマップ生成部３５ではマッチング処理によって画素毎にずれ量を算出していることから、画像位相調整部３７１は、デプスマップ生成部３５から画素毎のずれ量を取得してディスパリティマップを生成してもよい。
【０１２６】
また、画像位相調整部３７１は、ディスパリティマップに基づき、撮像部３１からの偏光画像と撮像部３２からの偏光画像の位相を一致させて、被写体の視差の影響が除かれた多偏光画像を法線マップ生成処理部３７５へ出力する。
【０１２７】
法線マップ生成処理部３７５は、画像位相調整部３７１から供給された複数の偏光方向の偏光画像に基づき法線マップを生成して、マップ統合部３９へ出力する。
【０１２８】
マップ統合部３９は、デプスマップと法線マップの統合処理を行う。マップ統合部３９は、法線マップで示された被写体表面形状とデプスマップで示されたデプス値に基づき、デプス値が得られている画素を起点として被写体表面形状を辿ることにより、デプス値が得られていない画素に対応するデプス値を推定する。また、マップ統合部３９は、推定したデプス値をデプスマップ生成部３５から供給されたデプスマップに含めることで、デプスマップ生成部３５から供給されたデプスマップ以上の精度を有するデプスマップを生成する。
【０１２９】
このように、第２の変形例によれば、撮像部３１から供給された画像が複数の偏光方向の画像であり、撮像部３２から供給された画像が撮像部３１と等しい偏光方向と異なる偏光方向の画像である場合でも、デプスマップを生成することが可能となる。また、法線マップ生成部３７では、画像の位相合わせを行い視差の影響を除いた多偏光画像に基づき法線マップを生成することが可能となる。したがって、生成されたデプスマップと法線マップと統合することで、デプスマップ生成部３５で生成されたデプスマップ以上の精度を有したデプスマップを生成できる。
【０１３０】
さらに、第２の実施の形態においても第１の実施の形態と同様に、デプスマップを用いて１８０度の不定性を除去して法線マップの生成してもよい。１８０度の不定性を除去することで、第２の実施の形態においても、精度よくデプスマップを生成できるようになる。
【０１３１】
＜４．第３の実施の形態＞
上述の第１および第２の実施の形態では、画像処理装置に複数の撮像部が設けられている構成について例示したが、撮像部は分離可能な構成であってもよい。
【０１３２】
図２５は、第３の実施の形態の外観を例示している。なお、図２５では、画像処理装置として例えばスマートフォンを用いている。
【０１３３】
画像処理装置４０は、略長方形のケース状に形成され外筐４０１の内部に、図示せずも信号処理部、通信部、制御部等を有している。また、外筐４０１の一方の面（表面）に表示パネル４０２が設けられている。表示パネル４０２はタッチパネルを用いて構成されており表示パネル４０２の所定の各位置を操作することにより各種機能が実行される。外筐４０１の他方の面（裏面）に撮像部４２が設けられている。
【０１３４】
撮像装置５０は、円筒状に形成された外筒部５０１の内部に、図示せずも撮像光学系、撮像部、信号処理部、通信部、制御部等を有している。外筒部５０１の前端部には円環状のコントロールリング５０２が設けられている。撮像装置５０は、コントロールリング５０２の回転に応じてフォーカス位置やズーム位置を変更する。また、外筒部５０１の側面にはズームボタン５０３とシャッターボタン５０４が設けられている。
【０１３５】
撮像装置５０には、画像処理装置４０と撮像装置５０を一体的に取り付けるための取付機構部６０が設けられている。取付機構部６０には、取付部材６１が設けられており、矢印ＦＡ方向に移動可能に構成されている。ユーザは、取付部材６１を矢印ＦＡ方向に移動させて画像処理装置４０の外筐４０１に係止させて、撮像装置５０を画像処理装置４０の例えば裏面側に一体的に固定する。このように撮像装置５０を画像処理装置４０に一体的に固定することで、撮像部４２と撮像装置５０でステレオ画像を生成することが可能となる。また、ユーザは、画像処理装置４０の外筐４０１に係止されている取付部材６１を、係止方向に対して逆方向に移動させて、画像処理装置４０と撮像装置５０を分離する。
【０１３６】
図２６は、第３の実施の形態の構成を例示している。画像処理装置４０は、撮像部４２と通信部４３、デプスマップ生成部４５、法線マップ生成部４７、マップ統合部４９を有している。また、撮像装置５０は、撮像部５１と通信部５３を有している。
【０１３７】
画像処理装置４０の撮像部４２は、例えば第１の実施の形態の撮像部２２や第２の実施の形態の撮像部３２に相当する。撮像部４２が撮像部２２に相当する場合、撮像部４２は生成した画像をデプスマップ生成部４５へ出力する。また、撮像部４２が撮像部３２に相当する場合、撮像部４２は生成した画像をデプスマップ生成部４５と法線マップ生成部４７へ出力する。
【０１３８】
撮像装置５０の撮像部５１は、例えば第１の実施の形態の撮像部２１や第２の実施の形態の撮像部３１に相当する。撮像部５１は生成した画像を通信部５３へ出力する。通信部５３は、ＮＦＣ(Near Field Communication)通信やＷｉ−Ｆｉ通信等の無線通信を行うことができるように構成されている。通信部５３は、撮像部５１で生成された画像を画像処理装置４０へ送信する。
【０１３９】
画像処理装置４０の通信部４３は、撮像装置５０の通信部５３と同様に構成されている。通信部４３は、撮像装置５０の通信部５３から送信された無線信号を受信して、撮像装置５０から送信された画像をデプスマップ生成部４５と法線マップ生成部４７へ出力する。
【０１４０】
デプスマップ生成部４５は、第１の実施の形態のデプスマップ生成部２５や第２の実施の形態のデプスマップ生成部３５と同様な処理を行い、デプスマップを生成してマップ統合部４９へ出力する。
【０１４１】
法線マップ生成部４７は、第１の実施の形態の法線マップ生成部２７や第２の実施の形態の法線マップ生成部３７と同様な処理を行い、法線マップを生成してマップ統合部４９へ出力する。
【０１４２】
マップ統合部４９は、第１の実施の形態のマップ統合部２９や第２の実施の形態のマップ統合部３９と同様な処理を行い、デプスマップと法線マップに基づき、デプスマップ生成部４５で生成されたデプスマップ以上の精度を有するデプスマップを生成して出力する。
【０１４３】
このような第３の実施の形態によれば、撮像部が分離可能な構成でも、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できる。したがって、例えばスマートフォン等の情報処理装置に偏光方向が３方向以上の偏光画像を生成する撮像装置を取り付けて、高精度のデプスマップを生成可能とすることで、既存の情報処理装置の機能を拡張できる。
【０１４４】
また、上述の実施の形態の一部構成を用いて撮像装置を構成してもよい。例えば、撮像装置は、偏光特性の異なる画素を含む画素構成の第１の撮像部と、第１の撮像部と画素構成が異なる第２の撮像部、および第１の撮像部によって生成された第１の画像と第２の撮像部によって生成された第２の画像を用いて画像処理を行う画像処理部を備える構成とする。また、撮像装置は、例えば第１の撮像部の画素構成を、偏光特性を有した画素からなる第１の画素群と、第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成とする。また、第２の撮像部の画素構成は、第１の画素群と対応する位置で偏光方向が第１の画像とは異なる画素からなる第３の画素群と、第２の画素群と対応する位置で第２の画素群と等しい構成の画素からなる第４の画素群とで構成された画素構成とする。このように撮像装置を構成すれば、高精度のデプスマップを生成しつつ画素数の減らない画像を取得するために用いる処理対象の画像を容易に生成できる。なお、撮像装置の画像処理部で上述のようにデプスマップや法線マップの生成およびデプスマップと法線マップの統合処理を行うようにすれば、撮像装置から高精度のデプスマップおよび画素数の減らない画像を出力することが可能となる。また、この撮像装置と同様に画像処理装置を構成してもよい。
【０１４５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１４６】
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１４７】
また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１４８】
なお、本技術の画像処理装置は以下のような構成も取ることができる。
（１）  偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップを生成するデプスマップ生成部と、
前記デプスマップ生成部により生成された第１の画像または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップを生成する法線マップ生成部と、
前記デプスマップ生成部で生成されたデプスマップと前記法線マップ生成部で生成された法線マップの統合処理を行うマップ統合部とを有する画像処理装置。
（２）  前記法線マップ生成部は、前記偏光方向が３方向以上の偏光画像の輝度に基づいて前記法線マップを生成する（１）に記載の画像処理装置。
（３）  前記マップ統合部は、前記デプスマップで示されたデプス値と前記法線マップに基づいて判別した形状から、前記デプスマップで示されていないデプス値を推定する（１）または（２）の何れかに記載の画像処理装置。
（４）  前記第１の画像は、前記偏光方向が３方向以上の画素を含む前記第１の撮像部によって生成された画像であり、
前記第２の画像は、偏光特性を持たない画素で構成された前記第２の撮像部によって生成された画像であり、
前記法線マップ生成部は、前記第１の画像に基づき法線マップを生成する（１）乃至（３）の何れかに記載の画像処理装置。
（５）  前記デプスマップ生成部は、第１の画像から無偏光画像を生成して、前記無偏光画像と前記第２の画像を用いて前記マッチング処理を行う（４）に記載の画像処理装置。
（６）  前記デプスマップ生成部は、前記無偏光画像と前記第２の画像のそれぞれに対してエッジ抽出を行い、前記無偏光画像のエッジ抽出画像と前記第２の画像のエッジ抽出画像を用いて前記マッチング処理を行う（５）に記載の画像処理装置。
（７）  前記第２の画像は、全画素に同色のカラーフィルタが設けられた前記第２の撮像部、または前記カラーフィルタが設けられていない前記第２の撮像部によって生成された画像であり、
前記デプスマップ生成部は、第２の画像から生成した無偏光画像を用いて前記マッチング処理を行う（４）乃至（６）の何れかに記載の画像処理装置。
（８）  前記第１の画像は、偏光特性を有した画素からなる第１の画素群と、前記第１の画素群と異なる偏光方向の画素または偏光特性を持たない画素からなる第２の画素群とで構成された画素構成の前記第１の撮像部で生成された画像であり、
前記第２の画像は、前記第１の画素群と対応する位置で偏光方向が前記第１の画像とは異なる偏光方向の画素からなる第３の画素群と、前記第２の画素群と対応する位置で前記第２の画素群と等しい偏光方向の画素または偏光特性を持たない画素からなる第４の画素群とで構成された画素構成の前記第２の撮像部で生成された画像である（３）に記載の画像処理装置。
（９）  前記デプスマップ生成部は、前記第１の画像における前記第２の画素群の画像と、前記第２の画像における前記第４画素群の画像とを用いることにより、偏光方向が等しい画像間または偏光特性を持たない画像間で前記マッチング処理を行う（８）に記載の画像処理装置。
（１０）  前記第１の画像と前記第２の画像の視差量に基づき、前記第１の画像における前記第１の画素群の画像と、前記第２の画像における前記第３画素群の画像の位相を一致させて、偏光方向が複数方向の偏光画像を生成する画像位相調整部をさらに有し、
前記法線マップ生成部は、前記画像位相調整部で生成された偏光画像の偏光状態に基づいて法線マップを生成する（８）または（９）の何れかに記載の画像処理装置。
（１１）  前記第２の画素群と前記第４の画素群が偏光特性を持たない画像である場合、前記第１の画素群と前記第３の画素群の偏光方向は合わせて３方向以上の画像とする（８）乃至（１０）の何れかに記載の画像処理装置。
（１２）  前記画像位相調整部は、前記第２の画素群と前記第４の画素群が偏光特性を持たない画像である場合、前記第１の画素群の画像を用いた補間処理によって前記第２の画素群の画像を生成し、前記第３の画素群の画像を用いた補間処理によって前記第４の画素群の画像を生成して、補間後の画像を用いて前記偏光画像を生成する（８）乃至（１１）の何れかに記載の画像処理装置。
（１３）  前記第１と第３の画素群は所定色の画素であり、前記第２と第４の画素群は、他の色の画素である（８）乃至（１２）の何れかに記載の画像処理装置。
（１４）  前記法線マップ生成部は、前記デプスマップ生成部で生成されたデプスマップを用いて前記法線マップの生成を行う（３）乃至（１３）の何れかに記載の画像処理装置。
（１５）  前記第１の画像を生成する第１の撮像部と前記第２の画像を生成する第２の撮像部をさらに有する（１）乃至（１４）の何れかに記載の画像処理装置。
（１６）  前記第１の撮像部と前記第２の撮像部の何れか一方が設けられた外部装置と通信を行い、前記外部装置に設けられた撮像部で生成された画像を取得する通信部と、
前記外部装置に設けられた撮像部とは異なる他方の撮像部をさらに有する（１）乃至（１５）の何れかに記載の画像処理装置。
【産業上の利用可能性】
【０１４９】
この技術の画像処理装置と画像処理方法および撮像装置では、偏光方向が異なる画素を含む画素構成の第１の撮像部によって生成された第１の画像と、前記第１の撮像部と画素構成が異なる第２の撮像部によって生成された第２の画像とを用いたマッチング処理によって、デプスマップが生成される。また、第１または第２の画像の少なくとも何れかの偏光画像の偏光状態に基づいて法線マップが生成される。さらに、生成されたデプスマップと法線マップの統合処理が行われる。このため、高精度のデプスマップを生成しつつ、画素数の減らない画像を取得できるようになる。したがって、被写体の３次元形状を取得する機器等に適している。
【符号の説明】
【０１５０】
１０，２０，３０，４０・・・画像処理装置、１５，２５，３５，４５・・・デプスマップ生成部、１７，２７，３７，４７・・・法線マップ生成部、１９，２９，３９，４９・・・マップ統合部、２１，２２，３１，３２，４２，５１・・・撮像部、４３，５３・・・通信部、５０・・・撮像装置、５３・・・通信部、６０・・・取付機構部、６１・・・取付部材、２１０，２２０，２２１，３１０，３１１，３１２，３２０，３２１，３２２・・・イメージセンサ、２５１，３５１・・・前処理部、２５５，３５５・・・デプスマップ生成処理部、２７５，２７６，３７５・・・法線マップ生成処理部、３７１・・・画像位相調整部、３７５・・・法線マップ生成処理部、４０１・・・外筐、４０２・・・表示パネル、５０１・・・外筒部、５０２・・・コントロールリング、５０３・・・ズームボタン、５０４・・・シャッターボタン
【図１】
2015114307.tif 000006
【図２】
2015114307.tif 000007
【図３】
2015114307.tif 000008
【図４】
2015114307.tif 000009
【図５】
2015114307.tif 000010
【図６】
2015114307.tif 000011
【図７】
2015114307.tif 000012
【図８】
2015114307.tif 000013
【図９】
2015114307.tif 000014
【図１０】
2015114307.tif 000015
【図１１】
2015114307.tif 000016
【図１２】
2015114307.tif 000017
【図１３】
2015114307.tif 000018
【図１４】
2015114307.tif 000019
【図１５】
2015114307.tif 000020
【図１６】
2015114307.tif 000021
【図１７】
2015114307.tif 000022
【図１８】
2015114307.tif 000023
【図１９】
2015114307.tif 000024
【図２０】
2015114307.tif 000025
【図２１】
2015114307.tif 000026
【図２２】
2015114307.tif 000027
【図２３】
2015114307.tif 000028
【図２４】
2015114307.tif 000029
【図２５】
2015114307.tif 000030
【図２６】
2015114307.tif 000031