(57)【要約】互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合に、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制され、異なる画像を構成する光の偏光方向の設計に自由度があり、光量の均等性がある複数の画像を生成することができる撮像装置及び撮像方法を提供する。撮像装置（１）は、撮像光学系（１０）と、第１の瞳領域（Ｅ１）及び第２の瞳領域（Ｅ２）を透過する光の偏光方向を揃える第１の偏光子と、円又は楕円偏光に変換する波長板（１４）と、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する画素ユニットを複数有する撮像素子（１００）と、画像生成部と、を備える。
2020110595.tif 000002
【特許請求の範囲】
【請求項１】
第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
前記第２の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、
前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
を備える撮像装置。
【請求項２】
第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、
前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向の光を透過させる第３の偏光子と、
前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、
前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、
を備える撮像装置。
【請求項３】
前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
を備える請求項１又は２に記載の撮像装置。
【請求項４】
第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１の瞳領域及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、
前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、
前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、
前記第２の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、
前記第３の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向、前記第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を透過させる第４の偏光子と、
前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、
前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、
を備える撮像装置。
【請求項５】
前記第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、
前記第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、
前記第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、
を備える請求項４に記載の撮像装置。
【請求項６】
前記波長板は、１／４波長板である請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記第１の偏光子は、ｓ偏光を遮光する請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記第２の偏光子は、前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向と直交する前記第２の偏光方向の光を透過させる請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像素子は、前記画素ユニットが偏光素子を備える画素により構成されている請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
前記撮像素子は、前記画素を構成するフォトダイオードとマイクロレンズとの間に前記偏光素子を有する請求項９に記載の撮像装置。
【請求項１１】
第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
前記第２の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
を含む撮像方法。
【請求項１２】
第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向を、第３の偏光子により、透過させるステップと、
前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
を含む撮像方法。
【請求項１３】
第１の瞳領域、前記第１の瞳領域とは異なる第２の瞳領域、及び前記第１の瞳領域及び前記第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
前記第２の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向及び前記第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
前記第３の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向、前記第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を、第４の偏光子により、透過させるステップと、
前記第１の瞳領域、前記第２の瞳領域、及び前記第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、前記第１の画素、前記第２の画素、及び前記第３の画素の画素信号に混信除去処理を施し、前記混信除去処理後の前記画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像、前記第２の瞳領域を透過する光に対応する第２の画像、及び前記第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、
を含む撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関し、特に１つの撮像素子で複数の画像を独立に取得する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来より、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。【０００３】
例えば特許文献１には、互いに異なる２つの偏光方向の光をそれぞれ異なる画素で受光し、独立した２つの画像を取得する技術が提案されている。特許文献１に記載された受光素子は偏光板の偏光子を透過した光をそれぞれ透過させる検光子アレイを備えており、受光素子が受光した異なる偏光方向の光に対応する各画像が生成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１６９０９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、特許文献１に記載された技術では、互いに異なる偏光方向の光に対応する画像がそれぞれ生成されているが、偏光方向を一度も揃えることなく、偏光方向が異なる２種の光が生成されている。具体的には、特許文献１では、先ずレンズを透過した光を２種の偏光方向をそれぞれ透過させる偏光板に透過させることにより、互いに異なる偏光方向を有する２種の光が生成される。そして、互いに異なる偏光方向を有する２種の光は、それぞれ検光子を透過して受光素子により受光されている。したがって、特許文献１に記載された撮像装置では、一度も偏光方向が揃えられること無く、偏光方向が異なる２種の光が生成され、その光に基づいた各画像が生成されている。【０００６】
このように、一度も偏光方向を揃えること無く生成された異なる偏光方向の光に基づいて、画像が生成される場合には以下のような問題が発生することがある。【０００７】
例えば水面を撮影する際に、偏光フィルタを用いてブリュスター角で撮影することによりｓ偏光を遮蔽する技術が知られている。しかし、始めから異なる偏光方向の光を生成する場合には、一方の偏光方向はｓ偏光を遮蔽する方向に合わせることができるが、他方の偏光方向はｓ偏光を遮蔽する方向に合わせることができない。【０００８】
また、分光反射率比を利用して果物の糖度を推定する技術が知られているが、一度も偏光方向を揃えることなく、異なる偏光方向の光に基づく画像が用いられると、上手く分光反射率比が算出されない場合がある。具体的には、一度も偏光方向を揃えることなく得られた、異なる偏光方向の光に基づく画像は、被写体の光沢が大きな部分に関しては、鏡面反射光の成分が大きく正しい分光反射率比が得られない。【０００９】
また例えば視差画像を生成する場合には、偏光方向が一度も揃えられていないと、画像間で見え方が異なってしまい視差量の誤検出が発生する場合がある。具体的には、光沢を有する被写体に関して、互いに異なる偏光方向の光に基づいて視差画像を生成した場合には、一方の画像ではブリュスター角に合致した領域では光沢が抑えられた画像が取得されるが、他方の画像では光沢が抑えられていない画像が取得される。その結果、両画像の見え方に大きな差異が発生し、視差量の誤検出が発生する場合がある。【００１０】
一方で、入射する光の偏光方向を直線偏光にして一度揃えた後に（以下の説明では揃えられた偏光方向を第１の偏光方向と記載する）、異なる複数の偏光方向の光を生成して画像を得ることが考えられる。この場合に、異なる複数の偏光方向の光を生成する際の偏光方向に制限が加えられてしまう場合がある。具体的には、一度揃えられた偏光方向と直交するような偏光方向は遮光されてしまうので、第１の偏光方向と直交する偏光方向を有する光により画像を生成することはできない。また、第１の偏光方向と、直交する角度に近い角度では透過する光量が少なくなってしまうので、直交する角度に近い偏光方向を有する光により画像を生成することは好ましくない。さらに、複数の画像を構成する光の光量は、第１の偏光方向との関係で増減してしまうので、得られる複数の画像において光量の均等性を維持することが困難となる。【００１１】
本発明はこのような事情に鑑みてなされたもので、その目的は、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合に、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制され、得られる画像を構成する光の偏光方向の設計に自由度があり、光量の均等性がある複数の画像を生成することができる撮像装置及び撮像方法を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するための本発明の一の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第１の偏光子で第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第２の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。【００１３】
本態様によれば、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向が第１の偏光子により第１の偏光方向に揃えられるので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本態様によれば、波長板により、第１の偏光方向に揃えられた直線偏光が円又は楕円偏光に変換されるので、得られる画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる画像の光量は偏光方向に依存せずに光量の均等性がある画像を得ることができる。【００１４】
本発明の他の態様である撮像装置は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第１の偏光子で第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向の光を透過させる第３の偏光子と、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子と、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成する画像生成部と、を備える。【００１５】
本態様によれば、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向が第１の偏光子により第１の偏光方向に揃えられるので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本態様によれば、波長板により、第１の偏光方向に揃えられた直線偏光が円又は楕円偏光に変換されるので、得られる画像を構成する各光の偏光方向を直交させることが可能であり、得られる画像の光量は偏光方向に依存せずに光量の均等性がある画像を得ることができる。また、本態様では、第２の偏光方向と第３の偏光方向とが直交し、且つ第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを有するので、理想的には第２の偏光方向の光と第３の偏光方向の光に対応する信号が混ざることなく混信除去処理を行う必要がない。よって、本態様は混信除去処理を行わなくても適切な第１の画像及び第２の画像を得ることができる。【００１６】
好ましくは、撮像装置は、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、を備える。【００１７】
本発明の他の態様である撮像装置は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１の瞳領域及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を第１の偏光方向に揃える第１の偏光子と、第１の偏光子で第１の偏光方向に揃えられた直線偏光を円又は楕円偏光に変換する波長板と、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を透過させる第２の偏光子と、第２の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を透過させる第３の偏光子と、第３の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向、第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を透過させる第４の偏光子と、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子と、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成する画像生成部と、を備える。【００１８】
本態様によれば、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向が第１の偏光子により第１の偏光方向に揃えられるので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本態様によれば、波長板により、第１の偏光方向に揃えられた直線偏光が円又は楕円偏光に変換されるので、得られる画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる画像の光量は偏光方向に依存せずに光量の均等性がある画像を得ることができる。【００１９】
好ましくは、撮像装置は、第１の瞳領域を透過する光のうち、第１の波長帯域の光を透過させる第１の波長フィルタと、第２の瞳領域を透過する光のうち、第２の波長帯域の光を透過させる第２の波長フィルタと、第３の瞳領域を透過する光のうち、第３の波長帯域の光を透過させる第３の波長フィルタと、を備える。【００２０】
好ましくは、波長板は、１／４波長板である。【００２１】
好ましくは、第１の偏光子は、ｓ偏光を遮光する。【００２２】
好ましくは、第２の偏光子は、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向と直交する第２の偏光方向の光を透過させる。【００２３】
好ましくは、撮像素子は、画素ユニットが偏光素子を備える画素により構成されている。【００２４】
好ましくは、撮像素子は、画素を構成するフォトダイオードとマイクロレンズとの間に偏光素子を有する。【００２５】
本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第１の偏光子で第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第２の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素と第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。【００２６】
本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第１の偏光子で第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向を、第３の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。【００２７】
本発明の他の態様である撮像方法は、第１の瞳領域、第１の瞳領域とは異なる第２の瞳領域、及び第１の瞳領域及び第２の瞳領域とは異なる第３の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第１の偏光子で第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第２の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向及び第２の偏光方向とは異なる第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第３の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向、第２の偏光方向、及び第３の偏光方向とは異なる第４の偏光方向の光を、第４の偏光子により、透過させるステップと、第１の瞳領域、第２の瞳領域、及び第３の瞳領域を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する撮像素子の、第１の画素、第２の画素、及び第３の画素の画素信号に混信除去処理を施し、混信除去処理後の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像、第２の瞳領域を透過する光に対応する第２の画像、及び第３の瞳領域を透過する光に対応する第３の画像を生成するステップと、を含む。
【発明の効果】
【００２８】
本発明によれば、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向が第１の偏光子により第１の偏光方向に揃えられるので、互いに異なる偏光方向を有する光に基づいて異なる画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができ、又、波長板により、第１の偏光方向に揃えられた直線偏光が円又は楕円偏光に変換されるので、得られる画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる画像の光量は偏光方向に依存せずに光量の均等性がある画像を得ることができる。
【図面の簡単な説明】
【００２９】
【図１】図１は、撮像装置の概略構成を示す図である。
【図２】図２は、第１の偏光フィルタの概略構成を示す正面図である。
【図３】図３は、波長板の概略構成を説明する図である。
【図４】図４は、第２の偏光フィルタの概略構成を示す正面図である。
【図５】図５は、第１の偏光方向、第２の偏光方向、第３の偏光方向の一例を示す図である。
【図６】図６は、撮像素子の概略構成を示す図である。
【図７】図７は、１画素の概略構成を示す断面図である。
【図８】図８は、２種類の偏光素子の配列パターンの一例を示す図である。
【図９】図９は、偏光素子の１ユニットの構成を示す図である。
【図１０】図１０は、撮像素子の画素の配列の一例を示す図である。
【図１１】図１１は、信号処理部の概略構成を示すブロック図である。
【図１２】図１２は、画像生成の概念図である。
【図１３】図１３は、行列Ａの算出の例を説明する図である。
【図１４】図１４は、行列Ａの算出の例を説明する図である。
【図１５】図１５は、行列Ａの算出の例を説明する図である。
【図１６】図１６は、撮像方法の処理フローを示したフローチャートである。
【図１７】図１７は、撮像装置の概略構成を示す図である。
【図１８】図１８は、波長フィルタの概略構成を示す正面図である。
【図１９】図１９は、撮像装置の概略構成を示す図である。
【図２０】図２０は、撮像光学系の概念的な瞳領域Ｅを示す正面図である。
【図２１】図２１は、行列Ａの算出の例を説明する図である。
【図２２】図２２は、行列Ａの算出の例を説明する図である。
【図２３】図２３は、撮像方法の処理フローを示したフローチャートである。
【図２４】図２４は、撮像装置の概略構成を示す図である。
【発明を実施するための形態】
【００３０】
以下、添付図面に沿って本発明の好ましい実施の形態について詳説する。
【００３１】
＜第１の実施形態＞
図１は、第１の実施形態の撮像装置１の概略構成を示す図である。本実施形態では、互いに異なる２つの偏光方向（第２の偏光方向２６及び第３の偏光方向２８）を利用して、独立な２枚の画像を取得する。
【００３２】
同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ（第１の偏光子）１２、波長板１４、第２の偏光フィルタ（第２の偏光子及び第３の偏光子）１６、撮像素子１００、及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、第１の偏光フィルタ１２を透過した光の偏光方向である第１の偏光方向２４、波長板１４により変換された円偏光２５、第２の偏光フィルタ１６を透過した光の偏光方向である第２の偏光方向２６及び第３の偏光方向２８が撮像光学系１０の瞳領域Ｅと共に、それぞれ第１の偏光フィルタ１２、波長板１４、及び第２の偏光フィルタ１６の下方に示されている。
【００３３】
被写体２０が反射する光は、あらゆる方向の偏光方向２２を含んでいる。この光は撮像光学系１０で捉えられる。撮像光学系１０の瞳領域Ｅは、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２で構成される。第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２は、任意に決定することができる。例えば、図１に示すように、瞳領域Ｅを鉛直方向に２分割し、一方を第１の瞳領域Ｅ１とし他方を第２の瞳領域Ｅ２としてもよい。この場合には、第１の瞳領域Ｅ１を透過した光に基づく画像と、第２の瞳領域Ｅ２を透過した光に基づく画像とで視差画像を得ることができる。また例えば、瞳領域Ｅを鉛直方向に直交する水平方向に２分割し、一方を第１の瞳領域Ｅ１とし、他方を第２の瞳領域Ｅ２としてもよい。
【００３４】
第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光は、瞳位置又は瞳位置の近傍に設けられた第１の偏光フィルタ（第１の偏光子）１２に入射し透過する。第１の偏光フィルタ１２を透過した第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光は、第１の偏光方向２４に揃えられた直線偏光となる。その後、第１の偏光方向２４に揃えられた直線偏光は、波長板１４により円偏光２５に変換される。そして、第２の偏光フィルタ１６により、瞳領域Ｅの半分の半瞳領域（第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２）毎に、第２の偏光方向２６の光及び第３の偏光方向２８の光が透過させられる。その後、撮像素子１００により、第２の偏光方向２６の光と第３の偏光方向２８の光が受光される。
【００３５】
〔第１の偏光フィルタ〕
図２は、第１の偏光フィルタ１２の概略構成を示す正面図である。第１の偏光フィルタ１２は、第１の偏光子の機能を有し、図１に示すように撮像光学系１０の瞳位置又はその近傍に備えられる。そして、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える。例えば第１の偏光フィルタ１２は、ｓ偏光を遮光するように偏光透過軸が設けられた偏光フィルタが用いられる。第１の偏光フィルタ１２にｓ偏光を遮光する偏光フィルタが用いられることにより、水面等の反射光により得られる複数の画像の見え方が反射光により異なることを抑制することができる。なお、第１の偏光フィルタ１２の偏光透過軸は符号Ａａで示されている。
【００３６】
〔波長板〕
図３は、波長板１４の概略構成を説明する図である。波長板１４は、第１の偏光方向２４を有する直線偏光Ｌ１が入射され、円偏光２５を出射する。波長板１４は、直線偏光Ｌ１を円偏光２５に変換して出射する。波長板１４としては、１／４λ板が使用される。第１の偏光方向２４と光学軸３１とのなす角が４５°である場合には、波長板１４から出射される光は円偏光２５となる。また、第１の偏光方向２４を有する直線偏光Ｌ１と波長板１４の光学軸３１とのなす角が４５°でない場合には、波長板１４は楕円偏光を出射する。波長板１４によって、第１の偏光方向２４を有する直線偏光Ｌ１が円偏光２５に変換されることによって、第２の偏光フィルタ１６の偏光方向の設計の自由度が向上する。すなわち、第２の偏光フィルタ１６において、第１の偏光方向２４と直交する偏光方向、又は直交に近い偏光方向を透過するように設計しても、第２の偏光フィルタ１６に入射する光の遮光又は光量の極端な減少を抑制することができ、第２の偏光フィルタ１６の偏光方向の設計の自由度が向上する。ここで直交に近いとは、直交から±２０°、好ましくは±１０°以内の範囲でずれていることをいう。また、波長板１４により直線偏光Ｌ１が円偏光２５に変換されることにより、得られる光量の偏光方向の依存性がなくなり得られる複数の画像の光量の均等性を保持することが可能となる。
【００３７】
〔第２の偏光フィルタ〕
図４は、第２の偏光フィルタ１６の概略構成を示す正面図である。第２の偏光フィルタ１６は、第２の偏光子及び第３の偏光子の機能を有する。第２の偏光フィルタ１６の第２の偏光子の機能を有する部分は、第１の瞳領域Ｅ１を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向２４とは異なる第２の偏光方向２６の光を透過させる。また、第２の偏光フィルタ１６の第３の偏光子の機能を有する部分は、第２の瞳領域Ｅ２を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向２４及び第２の偏光方向２６とは異なる第３の偏光方向２８の光を透過させる。なお、第２の偏光フィルタ１６の偏光透過軸は、符号Ａｂ及び符号Ａｃで示されている。
【００３８】
図５は、第１の偏光方向２４、第２の偏光方向２６、第３の偏光方向２８の一例を示す図である。
【００３９】
偏光方向は、光軸Ｌと直交するＸＹ平面において、第１の偏光フィルタ１２の偏光透過軸（Ａａ）がＸ軸と成す角度Φ（方位角）、第２の偏光フィルタ１４の偏光透過軸（Ａｂ）及び偏光透過軸（Ａｃ）がＸ軸と成す角度Φ（方位角）によって表わされる。図５に示すように第１の偏光フィルタ１２は、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。また、第２の偏光フィルタ１６は、第１の瞳領域Ｅ１ではその偏光透過軸ＡｂとＸ軸の成す角度Φｂが９０°（方位角９０°）の光を透過し、且つ第２の瞳領域Ｅ２ではその偏光透過軸ＡｃとＸ軸の成す角度Φｂが３０°（方位角３０°）の光を透過する構成とされる。これにより、第１の偏光方向２４はＸ軸と成す角度が０°となり、第２の偏光方向２６はＸ軸と成す角度が９０°となり、第３の偏光方向２８はＸ軸と成す角度が３０°となる。なお、図示した場合では、第１の偏光方向２４と直交する第２の偏光方向２６を採用することができる。
【００４０】
〔撮像素子〕
図６は、撮像素子１００の概略構成を示す図であり、撮像素子１００の一部を分解し、拡大して示した図である。図７は、１画素（図６の破線部）の概略構成を示す断面図である。
【００４１】
図６に示すように、撮像素子１００は、ピクセルアレイ層１１０、偏光素子アレイ層１２０及びマイクロレンズアレイ層１３０を有する。
【００４２】
ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、ｘ軸方向及びｙ軸方向に沿って規則的に配置される。
【００４３】
偏光素子アレイ層１２０は、ピクセルアレイ層１１０とマイクロレンズアレイ層１３０との間に備えられる。偏光素子アレイ層１２０は、２種類の偏光素子１２２Ａ及び１２２Ｂを二次元的に配列して構成される。各偏光素子１２２Ａ及び１２２Ｂは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。したがって、１つのフォトダイオード１１２には、２種類の偏光素子１２２Ａ、１２２Ｂのうちいずれか１つが備えられる。
【００４４】
図８は、２種類の偏光素子の配列パターンの一例を示す図である。
【００４５】
同図に示すように、２種類の偏光素子１２２Ａ及び１２２Ｂは、ｘ軸方向及びｙ軸方向に沿って、所定の順序で規則的に配列される。
【００４６】
図８に示す例では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂの順で繰り返し配置される行と、第２の偏光素子１２２Ｂ、第１の偏光素子１２２Ａの順で繰り返し配置される行とを交互に配置して、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを所定のパターンで規則的に配列している。このように配列される第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、２種類の偏光素子（第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂ）を１つずつ含んだ２個一組の偏光素子が１つのユニットを構成し、このユニットが、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
【００４７】
図９は、偏光素子の１ユニットの構成を示す図である。
【００４８】
同図に示すように、１ユニットＵは、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂを１つずつ含んで構成される。
【００４９】
上記のように、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂは、互いに偏光方向が異なる。本実施形態では、第１の偏光素子１２２Ａは、方位角＋０°の光を透過する構成とされる。第２の偏光素子１２２Ｂは、方位角＋４５°の光が透過する構成とされる。したがって、第１の偏光素子１２２Ａが備えられたフォトダイオード１１２は、方位角＋０°の光（直線偏光）を受光する。第２の偏光素子１２２Ｂが備えられたフォトダイオード１１２は、方位角＋４５°の光（直線偏光）を受光する。
【００５０】
マイクロレンズアレイ層１３０は、多数のマイクロレンズ１３２を二次元的に配列して構成される。各マイクロレンズ１３２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１３２は、撮像光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
【００５１】
図１０は、撮像素子１００の画素の配列の一例を示す図である。
【００５２】
各画素には、第１の偏光素子１２２Ａ又は第２の偏光素子１２２Ｂが備えられる。第１の偏光素子１２２Ａが備えられた画素（図中Ａの画像）を第１の画素１０２Ａ、第２の偏光素子１２２Ｂが備えられた画素（図中Ｂの画像）を第２の画素１０２Ｂとする。撮像素子１００は、第１の画素１０２Ａ及び第２の画素１０２Ｂを１つずつ含んだ２個一組の画素を１つのユニットとし、このユニットを複数有する。この２個一組の画素のユニットを画素ユニットＵ（ｘ，ｙ）とする。図１０に示すように、画素ユニットＵ（ｘ，ｙ）は、ｘ軸方向及びｙ軸方向に沿って、規則的に配列される。
【００５３】
〔信号処理部〕
信号処理部２００は、撮像素子１００から出力される信号を処理して、第１の瞳領域Ｅ１を透過した光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過した光に対応する第２の画像を生成する。
【００５４】
図１１は、信号処理部２００の概略構成を示すブロック図である。
【００５５】
同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ、及び係数記憶部２００Ｃを含む。
【００５６】
アナログ信号処理部２００Ａは、撮像素子１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（例えば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
【００５７】
画像生成部２００Ｂは、デジタル信号に変換後の画素信号に所定の信号処理を施して、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光に対応した画像を生成する。
【００５８】
図１２は、画像生成の概念図である。
【００５９】
各画素ユニットＵ（ｘ，ｙ）には、第１の画素１０２Ａ及び第２の画素１０２Ｂが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１の画素１０２Ａ及び第２の画素１０２Ｂの画素信号を分離して抽出することにより、２つの画像（第１の画像及び第２の画像）が生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１の画素１０２Ａから画素信号を抽出して構成される第１の画像と、各画素ユニットＵ（ｘ，ｙ）の第２の画素１０２Ｂの画素信号を抽出して構成される第２の画像が生成される。
【００６０】
ところで、上記のように、第１の画素１０２Ａで受光される光は、第２の偏光方向２６の光（第１の瞳領域Ｅ１を透過した光）及び第３の偏光方向２８の光（第２の瞳領域Ｅ２を透過した光）が含まれる。また、第２の画素１０２Ｂで受光される光は、第２の偏光方向２６の光（第１の瞳領域Ｅ１を透過した光）及び第３の偏光方向２８の光（第２の瞳領域Ｅ２を透過した光）が含まれる。すなわち、第１の画素１０２Ａ及び第２の画素１０２Ｂにおいては、第２の偏光方向２６の光と第３の偏光方向２８の光とが混信して入射される。
【００６１】
このため、画像生成部２００Ｂは、混信（クロストーク）を除去する処理（混信除去処理）を行って、第１の瞳領域Ｅ１を透過する光に対応する第１の画像、及び第２の瞳領域Ｅ２を透過する光に対応する第２の画像を生成する。混信除去処理は、次のように行われる。
【００６２】
いま、第１の画素１０２Ａで得られる画素信号（信号値）をｘ１、第２の画素１０２Ｂで得られる画素信号をｘ２とする。各画素ユニットＵ（ｘ，ｙ）からは、２個の画素信号ｘ１、ｘ２が得られる。画像生成部２００Ｂは、この２個の画素信号ｘ１、ｘ２から、行列Ａを用いた下記の式１によって、第２の偏光方向２６、第３の偏光方向２８に対応した画素信号Ｘ１、Ｘ２を算出し、混信を除去する。
【００６３】
【数１】
2020110595.tif 000003
【００６４】
【数２】
2020110595.tif 000004
【００６５】
以下、上記式１によって、第２の偏光方向２６の光、第３の偏光方向２８の光に対応する画像の画素信号Ｘ１、Ｘ２を算出できる理由、すなわち、混信を除去できる理由について説明する。
【００６６】
第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過した光が、第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される割合（混信量（混信比率ともいう））は、偏光方向（第２の偏光方向２６及び第３の偏光方向２８）と、第１の画素１０２Ａ、第２の１０２Ｂに備えられた第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向との関係から一意に定まる。
【００６７】
いま、第２の偏光方向２６の光が第１の画素１０２Ａで受光される割合をｂ１１、第３の偏光方向２８の光が第１の画素１０２Ａで受光される割合をｂ１２とすると、Ｘ１、Ｘ２、とｘ１との間には、次の関係が成り立つ。
【００６８】
ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＝ｘ１…（式２）
また、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される割合をｂ２１、第３の偏光方向２８の光が第２の画素１０２Ｂで受光される割合をｂ２２とすると、Ｘ１、Ｘ２とｘ２との間には、次の関係が成り立つ。
【００６９】
ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＝ｘ２…（式３）
Ｘ１及びＸ２について、式２及び式３の連立方程式を解くことで、元の画像の画素信号、すなわち、第２の偏光方向２６の光の画像、第３の偏光方向２８の光の画像の画素信号Ｘ１、Ｘ２を取得できる。
【００７０】
ここで、上記の連立方程式は、行列Ｂを用いた下記の式４で表わすことができる。
【００７１】
【数３】
2020110595.tif 000005
【００７２】
【数４】
2020110595.tif 000006
【００７３】
Ｘ１、Ｘ２は、両辺に行列Ｂの逆行列Ｂ−１をかけることで算出される。
【００７４】
【数５】
2020110595.tif 000007
【００７５】
【数６】
2020110595.tif 000008
【００７６】
このように、第１の瞳領域Ｅ１を透過する光で得られる画像の画素信号Ｘ１、第２の瞳領域Ｅ２を透過する光で得られる画像の画素信号Ｘ２は、第２の偏光方向２６の光、第３の偏光方向２８の光が第１の画素１０２Ａ、及び第２の画素１０２Ｂで受光される量に基づいて、第１の画素１０２Ａ、第２の画素１０２Ｂの画素信号ｘ１、ｘ２から算出できる。
【００７７】
上記式１における行列Ａは、行列Ｂの逆行列Ｂ−１である（Ａ＝Ｂ−１）。したがって、行列Ａの各要素ａｉｊ（ｉ＝１、２；ｊ＝１、２）は、行列Ｂの逆行列Ｂ−１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１、２；ｊ＝１、２）は、第２の偏光方向２６の光及び第３の偏光方向２８の光が第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される量（混信量）である。
【００７８】
すなわち、１行目の要素ｂ１１は、第２の偏光方向２６の光が第１の画素１０２Ａで受光される量（混信量）、要素ｂ１２は、第３の偏光方向２８の光が第１の画素１０２Ａで受光される量である。
【００７９】
また、２行目の要素ｂ２１は、第２の偏光方向２６の光が第２の画素１０２Ｂで受光される量、要素ｂ２２は、第３の偏光方向２８の光が第２の画素１０２Ｂで受光される量である。この行列Ｂの逆行列Ｂ−１は存在する。したがって、行列Ｂの逆行列Ｂ−１を求めることで、行列Ａの各要素を求めることができる。
【００８０】
第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光が各画素１０２Ａ及び１０２Ｂで受光される割合（混信量）については、第１の瞳領域Ｅ１を透過した光と第２の瞳領域Ｅ２を透過した光の偏光方向と第１の画素１０２Ａ及び第２の画素１０２Ｂで受光される光の偏光方向の角度差の余弦（ｃｏｓ）の二乗によって求められる。したがって、たとえば、第１の瞳領域Ｅ１（又は第２の瞳領域Ｅ２）を透過した光（直線偏光）の偏光方向（方位角）をα、第ｉ画素で受光される光の偏光方向（方位角）をβとすると、割合は、ｃｏｓ２（｜α−β｜）で算出される。
【００８１】
図１３から図１５は、上述した行列Ａの算出の例を説明する図である。図１３から図１５では、第１の瞳領域Ｅ１を透過する光の第２の偏光方向２６、及び第２の瞳領域Ｅ２を通過する光の第３の偏光方向２８が示されている（（Ａ）で図示）。また、図１３から図１５では、第１の偏光素子１２２Ａ及び第２の偏光素子１２２Ｂの偏光方向が示されている（（Ｂ）で図示）。
【００８２】
図１３に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過する。
【００８３】
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００となる。
【００８４】
【数７】
2020110595.tif 000009
【００８５】
この行列Ｂの逆行列Ｂ−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．３３３３、ａ１２＝０、ａ２１＝−２．４８８０、ａ２２＝２．００００となる。
【００８６】
【数８】
2020110595.tif 000010
【００８７】
係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ−１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
【００８８】
図１４に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１３５°の光を透過する。
【００８９】
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ２１＝０．０６７０、ｂ２２＝０．５０００となる。
【００９０】
【数９】
2020110595.tif 000011
【００９１】
この行列Ｂの逆行列Ｂ−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．５３９６、ａ１２＝−２．３０９４、ａ２１＝−０．２０６３、ａ２２＝２．３０９４となる。
【００９２】
【数１０】
2020110595.tif 000012
【００９３】
係数記憶部２００Ｃは、この行列Ｂの逆行列Ｂ−１として求めた２行２列の行列Ａの各要素を係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
【００９４】
図１５に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向９０°の光を透過する。図１５に示した場合では、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）が直交する場合である。また、第１の瞳領域Ｅ１を透過する光が有する偏光方向（第２の偏光方向２６）と第１の偏光素子１２２Ａの偏光方向が同じであり、第２の瞳領域Ｅ２を透過する光が有する偏光方向（第３の偏光方向２８）と第２の偏光素子１２２Ｂの偏光方向が同じである。
【００９５】
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝１．００００、ｂ１２＝０．００００、ｂ２１＝０．００００、ｂ２２＝１．００００となる。
【００９６】
【数１１】
2020110595.tif 000013
【００９７】
すなわちこの場合には、理想的に混信が起こらない場合である。このように、混信が起こらない場合には、混信除去処理を行わずに、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られる信号から各画像を生成することができる。すなわち、第１の瞳領域Ｅ１の画素信号Ｘ１は第１の画素１０２Ａの画素信号ｘ１であり、第２の瞳領域Ｅ２の画素信号Ｘ２は第１の画素１０２Ａの画素信号ｘ２である。
【００９８】
画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ユニットＵ（ｘ，ｙ）から得られる２個の画素信号ｘ１、ｘ２から、上記式１によって、第２の偏光方向２６の光及び第３の偏光方向２８の光に対応した２個の画素信号Ｘ１、Ｘ２を算出し、第２の偏光方向２６の光、及び第３の偏光方向２８の光の画像を生成する。画像生成部２００Ｂは、演算部の一例である。
【００９９】
画像生成部２００Ｂで生成された第２の偏光方向２６、第３の偏光方向２８に対応する画像は、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
【０１００】
図１６は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。
【０１０１】
先ず、第１の偏光フィルタ１２により、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ１０）。次に、第１の偏光方向２４に揃えられた直線偏光を、波長板１４により円偏光２５に変換する（ステップＳ１１）。その後、第１の瞳領域Ｅ１を透過する光のうち、第２の偏光フィルタ１６により、第２の偏光方向２６の光を透過させる（ステップＳ１２）。また、第２の瞳領域Ｅ２を透過する光のうち、第２の偏光フィルタ１６により第３の偏光方向２８の光を透過させる（ステップＳ１３）。その後、第１の瞳領域Ｅ１を透過した光及び第２の瞳領域Ｅ２を透過した光を、第１の画素１０２Ａ及び第２の画素１０２Ｂにより受光する（ステップＳ１４）。そして、画像生成部２００Ｂは、第１の画素１０２Ａ及び第２の画素１０２Ｂから得られた画素信号に対して混信除去処理を行う（ステップＳ１５）。なお、第２の偏光方向２６と第３の偏光方向２８とが直交する場合であり、且つ第１の偏光素子１２２Ａの偏光方向が第２の偏光方向２６に対応し、第２の偏光素子１２２Ｂの偏光方向が第３の偏光方向２８に対応する場合には、混信が理想的に発生しなく混信除去処理は行われなくてもよい。次に、画像生成部２００Ｂは、混信除去処理後の第１の画素１０２Ａの画素信号及び第２の画素１０２Ｂの画素信号に基づいて第１の画像及び第２の画像を生成する（ステップＳ１６）。
【０１０２】
以上で説明した本実施形態によれば、互いに異なる２種の偏光方向を有する光に基づいて異なる２つの画像を生成する場合であっても、一度第１の偏光フィルタ１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本実施態様によれば、第１の偏光フィルタ１２により偏光方向が揃えられた直線偏光が波長板１４により円偏光又は楕円偏光に変換されるので、得られる複数の画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる複数の画像の光量は、画像を構成する各光の偏光方向に依存せずに光量の均等性がある画像を得ることができる。
【０１０３】
＜第２の実施形態＞
次に、本発明の第２の実施形態に関して説明する。本実施形態では、波長フィルタ（バンドパスフィルタ）４０を備え、各波長帯域の画像を独立に得ることができる。
【０１０４】
図１７は、本実施形態の撮像装置１の概略構成を示す図である。なお、図１で既に説明を行った箇所は、同じ符号を付し説明は省略する。
【０１０５】
同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ１２、波長板１４、波長フィルタ４０、第２の偏光フィルタ１６、撮像素子１００及び信号処理部２００を備える。なお、波長フィルタ４０を設ける位置は、波長板１４と第２の偏光フィルタ１６との間に限定されるものではなく、第１の瞳領域Ｅ１を透過する光と第２の瞳領域Ｅ２を透過する光とを適切に入射させることができる位置であれば特に限定されるものではない。波長フィルタ４０を透過した光は、第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域を有する光となる（波長フィルタ４０の下方に図示）。
【０１０６】
図１８は、波長フィルタ４０の概略構成を示す正面図である。
【０１０７】
波長フィルタ４０は、例えば第１の瞳領域Ｅ１と第２の瞳領域Ｅ２とで異なる波長帯域の光を透過させる。具体的には、第１の瞳領域Ｅ１に対応する領域４４と、第２の瞳領域Ｅ２に対応する領域４６とでは異なる波長帯域の光を透過させる。このような波長フィルタ４０を備えることにより、第１の瞳領域Ｅ１を透過する光に対応する第１の画像は、領域４４で透過した波長帯域（第１の波長帯域）の光に基づく画像となり、第２の瞳領域Ｅ２を透過する光に対応する第２の画像は、領域４６で透過した波長帯域（第２の波長帯域）の光に基づく画像となる。なお、図１８では撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１及び第２の瞳領域Ｅ２に２分割される場合の波長フィルタ４０の例を示しており、波長フィルタ４０は第１の波長フィルタ（第１の波長帯域）及び第２の波長フィルタ（第２の波長帯域）を一体的に備える。後で説明する撮像光学系１０の瞳領域Ｅが、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３に分割される場合（第３の実施形態）には、３つの異なる波長帯域（第１の波長帯域、第２の波長帯域、及び第３の波長帯域）を透過させる波長フィルタ４０が使用される。また、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタを一体的に備える波長フィルタ４０が使用されてもよいし、第１の波長フィルタ、第２の波長フィルタ、及び第３の波長フィルタがそれぞれ別体として設けられてもよい。このようにして得られた複数の波長帯域の画像は、分光反射率比を利用して果実の糖度検査、食物の生育検査、水質検査等に好適に応用される。
【０１０８】
以上で説明した本実施形態によれば、異なる波長帯域の画像を独立に生成することができ、且つ受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。
【０１０９】
＜第３の実施形態＞
次に、本発明の第３の実施形態に関して説明する。本実施形態では、互いに異なる３つの偏光方向（第２の偏光方向２６、第３の偏光方向２８、第４の偏光方向３０）を利用して、独立に３枚の画像を取得する。
【０１１０】
図１９は、第３の実施形態の撮像装置１の概略構成を示す図である。なお、図１及び図１７で既に説明を行った箇所は、同じ符号を付し説明を省略する。
【０１１１】
同図に示すように、本実施形態の撮像装置１は、撮像光学系１０、第１の偏光フィルタ１２、波長板１４、波長フィルタ４０、第２の偏光フィルタ１６、撮像素子１００、及び信号処理部２００を備える。また、同図には、被写体２０で反射された自然光の偏光方向２２、第１の偏光フィルタ１２を透過した光の偏光方向である第１の偏光方向２４、波長板１４により変換された円偏光２５、第２の偏光フィルタ１６を透過した光の偏光方向である第２の偏光方向２６、第３の偏光方向２８、及び第４の偏光方向３０が示されている。なお、互いに異なる３つの偏光方向を利用して独立に３枚の画像を取得する場合にも、上記で説明した２枚の画像を取得する場合の手法を適用して混信除去処理及び画像生成が同様に行われる。
【０１１２】
図２０は、撮像光学系１０の概念的な瞳領域Ｅを示す正面図である。
【０１１３】
本実施形態の瞳領域Ｅは、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３で構成されている。例えば、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３は、瞳領域Ｅを角度１２０°で３等分した領域である。
【０１１４】
図２１及び図２２は、上述した行列Ａの算出の例を説明する図である。図２１及び図２２では、第１の瞳領域Ｅ１を透過する光の第２の偏光方向２６、第２の瞳領域Ｅ２を通過する光の第３の偏光方向２８、及び第３の瞳領域Ｅ３を通過する光の第４の偏光方向３０が示されている（（Ａ）で図示）。また、図２１及び図２２では、第１の偏光素子１２２Ａ、第２の偏光素子１２２Ｂ、及び第３の偏光素子１２２Ｃの偏光方向が示されている（（Ｂ）で図示）。なお、本実施形態での撮像素子１００は、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光を受光する、互いに異なる偏光方向の光を受光する第１の画素、第２の画素、及び第３の画素を一組とする画素ユニットを複数有する。
【０１１５】
図２１に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向４５°の光を透過し、第３の偏光素子１２２Ｃは偏光方向９０°の光を透過する。
【０１１６】
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．００００、ｂ１３＝０．７５００、ｂ２１＝０．９３３０、ｂ２２＝０．５０００、ｂ２３＝０．０６７０、ｂ３１＝０．２５００、ｂ３２＝１．００００、ｂ３３＝０．２５００となる。
【０１１７】
【数１２】
2020110595.tif 000014
【０１１８】
この行列Ｂの逆行列Ｂ−１（行列Ａ）は存在し、その各要素は、ａ１１＝０．０８９３、ａ１２＝１．１５４７、ａ１３＝−０．５７７４、ａ２１＝−０．３３３３、ａ２２＝０．００００、ａ２３＝１．００００、ａ３１＝１．２４４０、ａ３２＝−１．１５４７、ａ３３＝０．５７７４となる。
【０１１９】
【数１３】
2020110595.tif 000015
【０１２０】
図２２に示す場合では、第１の瞳領域Ｅ１を透過する光は撮像素子１００に偏光方向３０°を有して直線偏光として入射し、第２の瞳領域Ｅ２を透過する光は撮像素子１００に偏光方向９０°を有して直線偏光として入射し、第３の瞳領域Ｅ３を透過する光は撮像素子１００に偏光方向１５０°を有して直線偏光として入射する。また、第１の偏光素子１２２Ａは偏光方向６０°の光を透過し、第２の偏光素子１２２Ｂは偏光方向１５０°の光を透過し、第３の偏光素子１２２Ｃは偏光方向１０５°の光を透過する。
【０１２１】
したがって、この場合上述した行列Ｂの各要素は、ｂ１１＝０．７５００、ｂ１２＝０．７５００、ｂ１３＝０．００００、ｂ２１＝０．２５００、ｂ２２＝０．２５００、ｂ２３＝１．００００、ｂ３１＝０．０６７０、ｂ３２＝０．９３３０、ｂ３３＝０．５０００となる。
【０１２２】
【数１４】
2020110595.tif 000016
【０１２３】
この行列Ｂの逆行列Ｂ−１（行列Ａ）は存在し、その各要素は、ａ１１＝１．２４４０、ａ１２＝０．５７７４、ａ１３＝−１．１５４７、ａ２１＝０．０８９３、ａ２２＝−０．５７７４、ａ２３＝１．１５４７、ａ３１＝−０．３３３３、ａ３２＝１．００００、ａ３３＝０．００００となる。
【０１２４】
【数１５】
2020110595.tif 000017
【０１２５】
図２３は、撮像装置１を使用した撮像方法の処理フローを示したフローチャートである。
【０１２６】
先ず、第１の偏光フィルタ１２により、第１の瞳領域Ｅ１、第２の瞳領域Ｅ２、及び第３の瞳領域Ｅ３を透過する光の偏光方向を第１の偏光方向２４に揃える（ステップＳ２０）。次に、第１の偏光方向２４に揃えられた直線偏光を、波長板１４により円偏光２５に変換する（ステップＳ２１）。その後、第２の偏光フィルタ１６により、第１の瞳領域Ｅ１を透過する光のうち第２の偏光方向２６の光を透過させる（ステップＳ２２）。また、第２の偏光フィルタ１６により、第２の瞳領域Ｅ２を透過する光のうち第３の偏光方向２８の光を透過させる（ステップＳ２３）。また、第２の偏光フィルタ１６により、第３の瞳領域Ｅ３を透過する光のうち第４の偏光方向３０の光を透過させる（ステップＳ２４）。その後、撮像素子１００により、第１の瞳領域Ｅ１を透過した光、第２の瞳領域Ｅ２を透過した光、及び第３の瞳領域Ｅ３を透過した光を受光する（ステップＳ２５）。その後、画像生成部２００Ｂは混信除去処理を行う（ステップＳ２６）。そして、画像生成部２００Ｂは、第１の画像、第２の画像、及び第３の画像を生成する（ステップＳ２７）。
【０１２７】
以上で説明した本実施形態によれば、互いに異なる３種の偏光方向を有する光に基づいて独立に３つの画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本実施態様によれば、第１の偏光フィルタ１２により偏光方向が揃えられた直線偏光が円偏光又は楕円偏光に変換されるので、得られる複数の画像を構成する各光の偏光方向を任意の方向に設計することが可能である。また、得られる複数の画像の光量は、画像を構成する各光の偏光方向に依存せずに光量の均等性がある画像を得ることができる。
【０１２８】
＜その他の例＞
図２４は、上記で説明した第１の実施形態の変形例の撮像装置１の概略構成を示す図である。なお図１で説明した箇所は、同じ符号付して説明を省略する。
【０１２９】
本例の撮像装置１では、波長板１４が撮像光学系１０の前（被写体２０側）に配置されている。このように、波長板１４と撮像光学系１０との位置は入れ替えることができる。このように、波長板１４を撮像光学系１０の前に配置することにより、波長板１４により円偏光２５に変換された光を撮像光学系１０に透過させることができる。
【０１３０】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１３１】
１        ：撮像装置
１０      ：撮像光学系
１２      ：第１の偏光フィルタ
１４      ：波長板
１６      ：第２の偏光フィルタ
２０      ：被写体
４０      ：波長フィルタ
１００    ：撮像素子
１０２Ａ  ：第１の画素
１０２Ｂ  ：第２の画素
１１０    ：ピクセルアレイ層
１１２    ：フォトダイオード
１２０    ：偏光素子アレイ層
１２２Ａ  ：第１の偏光素子
１２２Ｂ  ：第２の偏光素子
１２２Ｃ  ：第３の偏光素子
１３０    ：マイクロレンズアレイ層
１３２    ：マイクロレンズ
２００    ：信号処理部
２００Ａ  ：アナログ信号処理部
２００Ｂ  ：画像生成部
２００Ｃ  ：係数記憶部
【図１】
2020110595.tif 000018
【図２】
2020110595.tif 000019
【図３】
2020110595.tif 000020
【図４】
2020110595.tif 000021
【図５】
2020110595.tif 000022
【図６】
2020110595.tif 000023
【図７】
2020110595.tif 000024
【図８】
2020110595.tif 000025
【図９】
2020110595.tif 000026
【図１０】
2020110595.tif 000027
【図１１】
2020110595.tif 000028
【図１２】
2020110595.tif 000029
【図１３】
2020110595.tif 000030
【図１４】
2020110595.tif 000031
【図１５】
2020110595.tif 000032
【図１６】
2020110595.tif 000033
【図１７】
2020110595.tif 000034
【図１８】
2020110595.tif 000035
【図１９】
2020110595.tif 000036
【図２０】
2020110595.tif 000037
【図２１】
2020110595.tif 000038
【図２２】
2020110595.tif 000039
【図２３】
2020110595.tif 000040
【図２４】
2020110595.tif 000041
【手続補正書】
【提出日】令和3年6月10日(2021.6.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１２
【補正方法】変更
【補正の内容】
【請求項１２】
第１の瞳領域、及び前記第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、前記第１の瞳領域及び前記第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、
前記第１の偏光子で前記第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、
前記第１の瞳領域を透過する前記円又は楕円偏光に変換された光のうち、前記第１の偏光方向とは異なり且つ前記第２の偏光方向とは直交する第３の偏光方向の光を、第３の偏光子により、透過させるステップと、
前記第１の瞳領域及び前記第２の瞳領域を透過する光を受光する、前記第２の偏光方向の光を受光する第１の画素と前記第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、前記第１の画素及び前記第２の画素の画素信号に基づいて、前記第１の瞳領域を透過する光に対応する第１の画像及び前記第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、
を含む撮像方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
ここで、特許文献１に記載された技術では、互いに異なる偏光方向の光に対応する画像がそれぞれ生成されているが、偏光方向を一度も揃えることなく、偏光方向が異なる２種の光が生成されている。具体的には、特許文献１では、先ずレンズを透過した光を２種の偏光方向を有する光をそれぞれ透過させる偏光板に透過させることにより、互いに異なる偏光方向を有する２種の光が生成される。そして、互いに異なる偏光方向を有する２種の光は、それぞれ検光子を透過して受光素子により受光されている。したがって、特許文献１に記載された撮像装置では、一度も偏光方向が揃えられること無く、偏光方向が異なる２種の光が生成され、その光に基づいた各画像が生成されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また例えば視差画像を生成する場合には、偏光方向が一度も揃えられていないと、画像間で見え方が異なってしまい視差量の誤検出が発生する場合がある。具体的には、光沢を有する被写体に関して、互いに異なる偏光方向の光に基づいて視差画像を生成した場合には、一方の画像ではブリュスター角に合致した領域では光沢が抑えられるが、他方の画像では光沢が抑えられていない。その結果、両画像の見え方に大きな差異が発生し、視差量の誤検出が発生する場合がある。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
本発明の他の態様である撮像方法は、第１の瞳領域、及び第１の瞳領域とは異なる第２の瞳領域で構成される瞳領域を有する撮像光学系の、第１の瞳領域及び第２の瞳領域を透過する光の偏光方向を、第１の偏光子により、第１の偏光方向に揃えるステップと、第１の偏光子で第１の偏光方向に揃えられた直線偏光を、波長板により、円又は楕円偏光に変換するステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なる第２の偏光方向の光を、第２の偏光子により、透過させるステップと、第１の瞳領域を透過する円又は楕円偏光に変換された光のうち、第１の偏光方向とは異なり且つ第２の偏光方向とは直交する第３の偏光方向の光を、第３の偏光子により、透過させるステップと、第１の瞳領域及び第２の瞳領域を透過する光を受光する、第２の偏光方向の光を受光する第１の画素と第３の偏光方向の光を受光する第２の画素とを一組とする画素ユニットを複数有する撮像素子の、第１の画素及び第２の画素の画素信号に基づいて、第１の瞳領域を透過する光に対応する第１の画像及び第２の瞳領域を透過する光に対応する第２の画像を生成するステップと、を含む。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
偏光方向は、光軸Ｌと直交するＸＹ平面において、第１の偏光フィルタ１２の偏光透過軸（Ａａ）がＸ軸と成す角度Φａ（方位角）、第２の偏光フィルタ１６の偏光透過軸（Ａｂ）及び偏光透過軸（Ａｃ）がＸ軸と成す角度Φｂ及びΦｃ（方位角）によって表わされる。図５に示すように第１の偏光フィルタ１２は、その偏光透過軸ＡａとＸ軸の成す角度Φａが０°（方位角０°）の光を透過する構成とされる。また、第２の偏光フィルタ１６は、第１の瞳領域Ｅ１ではその偏光透過軸ＡｂとＸ軸の成す角度Φｂが９０°（方位角９０°）の光を透過し、且つ第２の瞳領域Ｅ２ではその偏光透過軸ＡｃとＸ軸の成す角度Φｂが３０°（方位角３０°）の光を透過する構成とされる。これにより、第１の偏光方向２４はＸ軸と成す角度が０°となり、第２の偏光方向２６はＸ軸と成す角度が９０°となり、第３の偏光方向２８はＸ軸と成す角度が３０°となる。なお、図示した場合では、第１の偏光方向２４と直交する第２の偏光方向２６を採用することができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
各画素ユニットＵ（ｘ，ｙ）には、第１の画素１０２Ａ及び第２の画素１０２Ｂが１つずつ含まれる。したがって、各画素ユニットＵ（ｘ，ｙ）から第１の画素１０２Ａ及び第２の画素１０２Ｂの画素信号を分離して抽出することにより、２つの画像（第１の画像及び第２の画像）が生成される。すなわち、各画素ユニットＵ（ｘ，ｙ）の第１の画素１０２Ａから画素信号を抽出して構成される第１の画像と、各画素ユニットＵ（ｘ，ｙ）の第２の画素１０２Ｂから画素信号を抽出して構成される第２の画像が生成される。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
いま、第１の画素１０２Ａで得られる画素信号（信号値）をｘ１、第２の画素１０２Ｂで得られる画素信号をｘ２とする。各画素ユニットＵ（ｘ，ｙ）からは、２個の画素信号ｘ１、ｘ２が得られる。画像生成部２００Ｂは、この２個の画素信号ｘ１、ｘ２から、行列Ａを用いた下記の式１によって、第２の偏光方向２６、第３の偏光方向２８の光に対応した画素信号Ｘ１、Ｘ２を算出し、混信を除去する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
画像生成部２００Ｂで生成された第２の偏光方向２６、第３の偏光方向２８の光に対応する画像は、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
以上で説明した本実施形態によれば、互いに異なる２種の偏光方向を有する光に基づいて異なる２つの画像を生成する場合であっても、一度第１の偏光フィルタ１２により瞳領域Ｅの偏光が揃えられるので、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本実施形態によれば、第１の偏光フィルタ１２により偏光方向が揃えられた直線偏光が波長板１４により円偏光又は楕円偏光に変換されるので、得られる複数の画像を構成する各光の偏光方向を任意の方向に設計することが可能であり、得られる複数の画像の光量は、画像を構成する各光の偏光方向に依存せずに光量の均等性がある画像を得ることができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
以上で説明した本実施形態によれば、互いに異なる３種の偏光方向を有する光に基づいて独立に３つの画像を生成する場合であっても、受光される光の偏光方向が異なることを起因とした見え方の違いが抑制された画像を生成することができる。また、本実施形態によれば、第１の偏光フィルタ１２により偏光方向が揃えられた直線偏光が円偏光又は楕円偏光に変換されるので、得られる複数の画像を構成する各光の偏光方向を任意の方向に設計することが可能である。また、得られる複数の画像の光量は、画像を構成する各光の偏光方向に依存せずに光量の均等性がある画像を得ることができる。
【国際調査報告】
2020110595.tif 000042
2020110595.tif 000043
2020110595.tif 000044
2020110595.tif 000045