(57)【要約】【課題】撮像姿勢が変化しても、適切に偏光成分を分離できるようにし、適切に分離された偏光成分の画像を撮像できるようにする。【解決手段】ジャイロセンサ５３が、入射光の光軸を中心とした傾きを検出する。信号処理部５４の制御部５４ａが、ジャイロセンサ５３で検出した傾きに応じて光の偏光軸をねじらせて透過させるようにTN型液晶層７１を駆動させるように制御する。撮像素子５２が、GH型液晶層７２，７３を透過した偏光成分が抽出された光を検出する。本技術は、カメラに適用することができる。【選択図】図２
2015026937.tif 000002
【特許請求の範囲】
【請求項１】
入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、
前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、
前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、
前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、
前記偏光分離素子層を透過した光を検出する撮像素子と
を含む撮像装置。
【請求項２】
前記偏光子層は、ツイストネマティック型液晶層を含む
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記傾き検出素子で検出した傾きに応じて、前記ツイストネマティック型液晶層のネマティック液晶分子群のねじれ角度を略０度乃至２７０度の間の角度で制御する
請求項１に記載の撮像装置。
【請求項４】
前記ツイストネマティック型液晶層に印加電圧を加えるマトリクス状の配線をさらに含む
請求項３に記載の撮像装置。
【請求項５】
前記配線は、少なくとも１以上の画素数からなる、複数の領域に分割するように前記マトリクス状に配設される
請求項４に記載の撮像装置。
【請求項６】
前記撮像素子で検出した画像に対して差分、強調、および補正処理を施す適正化処理部をさらに含み、
少なくとも１色の輝度への関与が大きな色の画素を含み、少なくとも３色よりも多くの配色画素からなる画素配列において、
前記制御部は、前記輝度への関与が大きな色の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させ、
前記適正化処理部は、前記偏光子層が駆動された状態で撮像された、前記輝度への関与が大きな色の画素により撮像された偏光画像と、前記少なくとも３色よりも多くの配色画素のうち、前記輝度への関与が大きな色の画素を除く画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する
請求項５に記載の撮像装置。
【請求項７】
水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素と青色画素とが一方の対角線上に配置され、前記一方の対角線とは異なる他方の対角線上に第１の緑色画素および第２の緑色画素が配置される市松状の画素配列において、
前記制御部は、前記第２の緑色画素の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させ、
前記適正化処理部は、前記偏光子層が駆動された状態で撮像された、前記第２の緑色画素からなる偏光画像と、前記赤色画素、前記青色画素、および前記第１の緑色画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する
請求項６に記載の撮像装置。
【請求項８】
水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素、青色画素、緑色画素および白色画素が配置される画素配列において、
前記制御部は、前記白色画素の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させ、
前記適正化処理部は、前記偏光子層が駆動された状態で撮像された、前記白色画素からなる偏光画像と、前記赤色画素、前記青色画素、および前記緑色画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する
請求項６に記載の撮像装置。
【請求項９】
水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素と青色画素とが一方の対角線上に配置され、前記一方の対角線とは異なる他方の対角線上に第１の緑色画素および第２の緑色画素が配置される市松状の画素配列において、
前記制御部は、前記第１および前記第２の緑色画素の画素領域に対応する前記偏光分離子層を相互が直交する方向に駆動させると共に、前記偏光子を駆動させ、
前記適正化処理部は、前記第１の緑色画素、前記赤色画素、および青色画素からなる第１の偏光画像と、前記第２の緑色画素、前記赤色画素、および青色画素からなる第２の偏光画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する
請求項６に記載の撮像装置。
【請求項１０】
前記偏光分離素子は、ゲストホスト型液晶を含む
請求項１に記載の撮像装置。
【請求項１１】
前記制御部は、前記複数の偏光分離素子である複数のゲストホスト型液晶のうち、少なくとも１のゲストホスト型液晶を駆動させる
請求項１０に記載の撮像装置。
【請求項１２】
前記複数の偏光分離素子は、偏光軸が直交する２の偏光分離素子である
請求項１に記載の撮像装置。
【請求項１３】
前記撮像素子で検出した画像に対して差分、強調、および補正処理を施す適正化処理部をさらに含む
請求項１に記載の撮像装置。
【請求項１４】
前記偏光子は、前記撮像素子の画素上に構成するオンチップレンズよりも低屈折率の透明層を設けた撮像素子における前記低屈折率の透明層の前段に配設される
請求項１に記載の撮像装置。
【請求項１５】
前記偏光分離素子はワイヤグリッド型偏光子を含む
請求項１に記載の撮像装置。
【請求項１６】
入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、
前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、
前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、
前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、
前記偏光分離素子層を透過した光を検出する撮像素子と
を含む撮像装置の撮像方法であって、
前記傾き検出素子が、前記入射光の光軸を中心とした傾きを検出し、
前記制御部が、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御し、
前記撮像素子が、前記偏光分離素子層を透過した光を検出する
撮像方法。
【請求項１７】
入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、
前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、
前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、
前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、
前記偏光分離素子層を透過した光を検出する撮像素子と
を含む撮像装置を制御するコンピュータに、
前記傾き検出素子に、前記入射光の光軸を中心とした傾きを検出させ、
前記制御部に、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御させ、
前記撮像素子に、前記偏光分離素子層を透過した光を検出させる
ステップを含む処理を実行させるようにするプログラム。
【請求項１８】
入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、
前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、
前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、
前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、
前記偏光分離素子層を透過した光を検出する撮像素子と
を含むカメラシステムおよびカメラ本体。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置および撮像方法、並びにプログラムに関し、特に、撮像姿勢が変化しても、適切に偏光成分を分離できるようにし、適切に分離された偏光成分の画像を撮像できるようにした撮像装置および撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、偏光成分を抽出する技術を応用したものとして、除去したい偏光成分を吸収または反射する偏光フィルタを手作業または自動機構で機械的にカメラの光路中に挿抜することで所望とする偏光成分を抽出し、抽出した所望とする偏光成分からなる画像を撮像する技術が利用されていた。
【０００３】
また、物理的な偏光子を設け、直交する偏光成分の画像を撮像するために偏光子を電気的に回転させる技術も利用されていた。
【０００４】
しかしながら、挿抜動作や回転動作を実現するための機械的な制御による偏光成分の抽出技術においては、装置構成が大型化してしまうため、電気的に偏光成分を抽出する技術が提案されている。
【０００５】
この電気的に偏光成分を抽出する技術を応用するものとして、特定の偏光成分のみを吸収するGH（ゲストホスト）型液晶（二色性液晶ともいう）を用いた偏光制御素子により透過率を制御することで無偏光な自然光画像に対して調光撮像する技術が提案されている（特許文献１参照）。この偏光制御素子は、２層のGH型液晶がそれぞれの偏光成分での偏光軸が直交するように配置されたものであり、２枚のGH型液晶のオンオフの切り替えにより、撮像素子の外光入射側から入射した光のうちのいずれかの偏光成分のみを透過させるものである。
【０００６】
また、このGH型液晶を用いた技術として、１層のGH型液晶にて一種の偏光成分にのみCF（Color Filter）として作用させることで、ND（Neutral Density）フィルタや任意の偏光を検出する素子を実現する技術も提案されている（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００５−１７３４９３号公報
【特許文献２】特開平０５−０４８０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、上述した特許文献１の技術を適用したカメラの場合、任意の偏光成分を撮像するとき、カメラが傾いてしまうと被写体（自然界）の偏光方位が、カメラの偏光方位とずれてしまうことにより、所定の偏光成分の吸収がうまくいかず、所定の偏光成分の光のみを抽出することができないことがあった。
【０００９】
より詳細には、図１の上段のカメラ１１で示されるように、水平方向に適切な撮像姿勢で配置されている場合（カメラ方位が適切な場合）、水平方向の偏光成分のみを透過させたいとき、垂直方向の偏光成分を吸収するGH型液晶ＧＨ１をオフ（吸収ｏｎ）とし、水平方向の偏光成分を吸収するGH型液晶ＧＨ２をオン（吸収ｏｆｆ）とする。これにより、被写体入射光の、水平方向の偏光成分は、GH型液晶ＧＨ１，ＧＨ２のいずれにも吸収されないので、透過することになる。このため、水平方向の偏光成分からなる画像Ｐｈ１は、そのまま水平方向の偏光成分からなる透過光である画像Ｐｈ１１として抽出される。
【００１０】
一方、被写体入射光の、垂直方向の偏光成分は、GH型液晶ＧＨ１により吸収されることになるので、透過することができず、垂直方向の偏光成分からなる画像Ｐｖ１は、光が遮光された透過光である画像Ｐｖ１１として抽出される。
【００１１】
結果として、垂直方向の偏光成分からなる画像Ｐｖ１１は遮光された状態となり、実質的に、水平方向の偏光成分からなる画像Ｐｈ１１のみが抽出されることになる。
【００１２】
しかしながら、図１の下段のカメラ１１’で示されるように、水平方向に対して、例えば、４５度傾いた状態の撮像姿勢で配置されている場合（カメラ方位が４５度傾いた場合）、垂直方向の偏光成分を吸収するGH型液晶ＧＨ１をオフ（吸収ｏｎ）とし、水平方向の偏光成分を吸収するGH型液晶ＧＨ２をオン（吸収ｏｆｆ）しても、GH型液晶ＧＨ１，ＧＨ２はいずれも４５度傾いているため、被写体入射光の、水平方向の偏光成分は、GH型液晶ＧＨ１において一部は吸収されるものの、一部は透過することになる。このため、水平方向の振幅の光からなる画像Ｐｈ１は、GH型液晶ＧＨ１により偏光成分が一部減光された透過光である画像Ｐｈ１１’として抽出される。
【００１３】
一方、被写体入射光の、垂直方向の振幅の光も、GH型液晶ＧＨ１により一部が吸収されることになるが、一部は透過することになるので、垂直方向の偏光成分からなる画像Ｐｖ１も、GH型液晶ＧＨ１により偏光成分の一部減光された透過光である画像Ｐｖ１１’として抽出される。
【００１４】
結果として、垂直方向の偏光成分からなる光の暗い画像Ｐｖ１１’と、水平方向の振幅成分からなる光の暗い画像Ｐｈ１１’とが抽出されることにより、全体として暗い画像となるのみ（減光画像となるのみ）で、特定の偏光成分からなる画像を抽出することができないことがあった。
【００１５】
また、除去したい偏光成分を吸収または反射する偏光フィルタを機械的にカメラの光路中に挿抜する構成とすることも考えられるが、この場合、直交する２種の偏光フィルタを高速で動作させる必要があるため、偏光成分を取得する際に速度の限界があった。
【００１６】
さらに、機械的機構が必要となるのでサイズが大きくなり、重くなる恐れがあった。また、カメラが傾いた際、減光すべき偏光成分が十分に減光できなくなるうえ、同時に検出すべき偏光成分の信号レベルが減少する。
【００１７】
また、カメラが傾いた場合、精度の高い検出を実現するにはカメラの傾きに応じて偏光方向を回転させる偏光フィルタを用意し挿抜する必要があるので、機械的機構を更に追加するか偏光方位の異なる非常に多種の偏光フィルタを用意する必要があった。
【００１８】
さらに、特許文献２に記載の技術においては、１層のGH型液晶にて一種の偏光成分にのみCF（Color Filter）として作用をさせているため、カラーフィルタとして機能するが、減衰できない偏光成分が残存するのでNDフィルタや任意の偏光を検出する素子を実現できない恐れがあった。
【００１９】
また、GH型液晶層を２層に増やし、更にNDフィルタとして機能したとしても減光すべき偏光成分が十分に減光できなくなるうえ、同時に検出すべき偏光成分の信号レベルが減少する。
【００２０】
本技術は、このような状況に鑑みてなされたものであり、特に、カメラ方位が変化しても、適切に偏光成分を分離できるようにし、適切に分離された偏光成分の画像を撮像できるようにするものである。
【課題を解決するための手段】
【００２１】
本技術の一側面の撮像装置は、入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、前記偏光分離素子層を透過した光を検出する撮像素子とを含む。
【００２２】
前記偏光子層には、ツイストネマティック型液晶層を含ませるようにすることができる。
【００２３】
前記制御部には、前記傾き検出素子で検出した傾きに応じて、前記ツイストネマティック型液晶層のネマティック液晶分子群のねじれ角度を略０度乃至２７０度の間の角度で制御させるようにすることができる。
【００２４】
前記ツイストネマティック型液晶層に印加電圧を加えるマトリクス状の配線をさらに含ませるようにすることができる。
【００２５】
前記配線は、少なくとも１以上の画素数からなる、複数の領域に分割するように前記マトリクス状に配設されるようにすることができる。
【００２６】
前記撮像素子で検出した画像に対して差分、強調、および補正処理を施す適正化処理部をさらに含ませるようにすることができ、少なくとも１色の輝度への関与が大きな色の画素を含み、少なくとも３色よりも多くの配色画素からなる画素配列において、前記制御部は、前記輝度への関与が大きな色の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させ、前記適正化処理部は、前記偏光子層が駆動された状態で撮像された、前記輝度への関与が大きな色の画素により撮像された偏光画像と、前記３色の画素のうち、前記輝度への関与が大きな色の画素を除く画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する。
【００２７】
水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素と青色画素とが一方の対角線上に配置され、前記一方の対角線とは異なる他方の対角線上に第１の緑色画素および第２の緑色画素が配置される市松状の画素配列であって、前記制御部には、前記第２の緑色画素の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させるようにすることができ、前記適正化処理部には、前記偏光子層が駆動された状態で撮像された、前記第２の緑色画素からなる偏光画像と、前記赤色画素、前記青色画素、および前記第１の緑色画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成させるようにすることができる。
【００２８】
水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素、青色画素、緑色画素および白色画素が配置される画素配列において、前記制御部には、前記白色画素の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させ、前記適正化処理部には、前記偏光子層が駆動された状態で撮像された、前記白色画素からなる偏光画像と、前記赤色画素、前記青色画素、および前記緑色画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成させるようにすることができる。
【００２９】
水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素と青色画素とが一方の対角線上に配置され、前記一方の対角線とは異なる他方の対角線上に第１の緑色画素および第２の緑色画素が配置される市松状の画素配列であって、前記制御部には、前記第１および前記第２の緑色画素の画素領域に対応する前記偏光分離子層を相互が直交する方向に駆動させると共に、前記偏光子を駆動させ、前記適正化処理部には、前記第１の緑色画素、前記赤色画素、および青色画素からなる第１の偏光画像と、前記第２の緑色画素、前記赤色画素、および青色画素からなる第２の偏光画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成させるようにすることができる。
【００３０】
前記偏光分離素子には、ゲストホスト型液晶を含ませるようにすることができる。
【００３１】
前記制御部には、前記複数の偏光分離素子である複数のゲストホスト型液晶のうち、少なくとも１のゲストホスト型液晶を駆動させるようにすることができる。
【００３２】
前記複数の偏光分離素子は、偏光軸が直交する２の偏光分離素子とすることができる。
【００３３】
前記撮像素子で検出した画像に対して差分、強調、および補正処理を施す適正化処理部をさらに含ませるようにすることができる。
【００３４】
前記偏光子は、前記撮像素子の画素上に構成するオンチップレンズよりも低屈折率の透明層を設けた撮像素子における前記低屈折率の透明層の前段に配設されるようにすることができる。
【００３５】
前記偏光分離素子にはワイヤグリッド型偏光子を含ませるようにすることができる。
【００３６】
本発明の一側面の撮像方法は、入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、前記偏光分離素子層を透過した光を検出する撮像素子とを含む撮像装置の撮像方法であって、前記傾き検出素子が、前記入射光の光軸を中心とした傾きを検出し、前記制御部が、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御し、前記撮像素子が、前記偏光分離素子層を透過した光を検出する。
【００３７】
本発明の一側面のプログラムは、入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、前記偏光分離素子層を透過した光を検出する撮像素子とを含む撮像装置を制御するコンピュータに、前記傾き検出素子に、前記入射光の光軸を中心とした傾きを検出させ、前記制御部に、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御させ、前記撮像素子に、前記偏光分離素子層を透過した光を検出させるステップを含む処理を実行させるようにする。
【００３８】
本技術の一側面のカメラシステムおよびカメラ本体は、入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、前記偏光分離素子層を透過した光を検出する撮像素子とを含む。
【００３９】
本技術の一側面においては、傾き検出素子により前記入射光の光軸を中心とした傾きが検出され、制御部により前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層が駆動されるように制御され、撮像素子により前記偏光分離素子層を透過した光が検出される。
【発明の効果】
【００４０】
本技術の一側面によれば、適切に偏光成分を分離できるようにし、適切に分離された偏光成分の画像を撮像することが可能となる。
【図面の簡単な説明】
【００４１】
【図１】従来の撮像装置によるカメラ方位が変化した場合の偏光成分の抽出動作を説明する図である。
【図２】本技術のカメラの構成例を示す図である。
【図３】偏光制御素子の詳細な構成例を説明する図である。
【図４】図２のカメラによる偏光成分抽出処理を説明するフローチャートである。
【図５】図２のカメラによる偏光成分抽出処理を説明する図である。
【図６】図２のカメラによる偏光成分抽出処理により撮像された画像を説明する図である。
【図７】図２のカメラによる偏光成分抽出処理により撮像された画像を説明する図である。
【図８】オンチップレンズと偏光制御素子とを一体化した構成例を説明する図である。
【図９】偏光制御素子を撮像素子の複数の画素からなる複数の領域単位に分割して構成する例を説明する図である。
【図１０】偏光制御素子を撮像素子のＲＧＢ画素１組毎に分割して構成する例を説明する図である。
【図１１】偏光制御素子を撮像素子の１画素毎に分割して構成する例を説明する図である。
【図１２】第２の緑色画素のみに水平偏光処理を加えて得られる偏光画像と、その他の画素より得られる通常画像とから白飛びおよび黒つぶれのない処理画像を生成する例を説明する図である。
【図１３】白色画素のみに水平偏光処理を加えて得られる偏光画像と、その他の画素より得られる通常画像とから白飛びおよび黒つぶれのない処理画像を生成する例を説明する図である。
【図１４】第１および第２の緑色画素に偏光処理を加えて、赤色画素、青色画素、および第１の緑色画素から得られる第１の偏光画像と、赤色画素、青色画素、および第１の緑色画素から得られる第２の偏光画像とから白飛びおよび黒つぶれのない処理画像を生成する例を説明する図である。
【図１５】TN型液晶の前段にカラーフィルタとオンチップレンズを設ける例を説明する図である。
【図１６】TN型液晶とGH型液晶との間にカラーフィルタとオンチップレンズを設ける例を説明する図である。
【図１７】偏光分離構造層を用いた例を説明する図である。
【図１８】偏光分離構造層の種別を説明する図である。
【図１９】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００４２】
以下、発明を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．  第１の実施の形態（基本構成の偏光制御素子に関する一例）
２．  第２の実施の形態（偏光制御素子とオンチップレンズとを一体化した一例）
３．  第３の実施の形態（偏光制御素子を複数の画素からなる領域毎に分割して制御できるようにした一例）
４．  第４の実施の形態（偏光制御素子をRGBの画素の1組毎に分割して制御できるようにした一例）
５．  第５の実施の形態（偏光制御素子を１画素毎に分割して制御できるようにした一例）
６．  第６の実施の形態（赤緑青色の市松配列において第１の緑色画素のみを偏光制御して得られる偏光画像と、それ以外の通常画像とから処理画像を生成する一例）
７．  第７の実施の形態（赤緑青白色の２画素×２画素の配列において白色画素のみを偏光制御して得られる偏光画像と、それ以外の通常画像とから処理画像を生成する一例）
８．  第８の実施の形態（赤緑青色の市松配列において第１および第２の緑色画素を偏光制御して第１の緑色、赤色、および青色より得られる第１の偏光画像と、第２の緑色、赤色、および青色より得られる第２の偏光画像とから処理画像を生成する一例）
９．  第９の実施の形態（偏光制御素子の最前段にオンチップレンズおよびカラーフィルタを構成する一例）
１０．  第１０の実施の形態（偏光制御素子のTN型液晶とGH型液晶の間にオンチップレンズおよびカラーフィルタを構成する一例）
１１．  第１１の実施の形態（偏光制御素子に偏光分離構造層を適用する一例）
【００４３】
［１．  第１の実施の形態］
［本技術のカメラの構成例］
図２は、本技術を適用したカメラの構成例を示している。図２で示されるカメラ４１は、本体の撮像姿勢（カメラ方位）を検出し、検出した撮像姿勢（カメラ方位）に基づいて、偏光成分の偏光軸を回転させて検出すべき偏光成分の光を適切に検出し、適切に検出した偏光成分の光からなる画像を撮像する。
【００４４】
カメラ４１は、光学系ブロック５１、撮像素子５２、ジャイロセンサ５３、信号処理部５４、記録部５５、表示部５６、および操作部５７を備えている。
【００４５】
光学系ブロック５１は、撮像レンズ６１，６２、および偏光制御素子６３より構成されている。撮像レンズ６１，６２は、光学レンズからなり、被写体の焦点位置を調整して入射光を偏光制御素子６３に透過させる。尚、図２においては、撮像レンズ６１，６２からなる２枚構成である例が示されているが、それ以外の枚数から構成されるようにしてもよい。また、図２においては、撮像レンズ６１，６２は、凸レンズより構成されている例が示されているが、それ以外のレンズを組み合わせるようにしてもよく、例えば、凹レンズを含めた構成とするようにしてもよい。
【００４６】
偏光制御素子６３は、TN（Twist Nematic：ツイストネマティック）型液晶層７１、GH（Guest Host：ゲストホスト）型液晶層７２，７３を備えており、撮像素子５２の前段に設けられている。また、偏光制御素子６３のTN（Twist Nematic）型液晶層７１、GH型液晶層７２，７３の各層の間には、ITO（Indium Tin Oxide：インジウム錫酸化物）電極層８１−１乃至８１−４が設けられており各層の動作を制御する。
【００４７】
TN型液晶層７１は、ITO電極層８１−１乃至８１−２に印加される電圧に応じて、ツイストネマティック液晶の分子群の方位が、ねじれ角度を略９０乃至２７０度の範囲で回転するようになされており、入射光全体の偏光方位を液晶分子の回転量に応じて回転させる。TN型液晶層７１は、液晶表示装置などでも使用されるものであり、この場合TN型液晶層７１の両面に偏光子が構成され、この偏光子により挟まれた状態で使用されるが、ここではTN型液晶層７１が単体で使用される。
【００４８】
GH型液晶層７２は、二色性色素からなる色素分子（ゲスト）が液晶分子（ホスト）に溶解された構成のものである。GH型液晶層７２のゲストは、ホストにそって配向する特性を有している。このため、ゲストである色素分子は、液晶に電圧を印加しないと入射光に対してホストである液晶分子が面内に配向した状態で、液晶分子に平行な偏光成分を吸収し、液晶に電圧を印可することで液晶分子が面内に垂直に配向した状態で透過させる。
【００４９】
より詳細には、図３の左部で示されるように、液晶分子を制御するための電極１０１，１０２により電圧が印加されていない場合、液晶分子１１２−１乃至１１２−３が、水平方向に維持される状態になり、色素分子１１１−１乃至１１１−３も同様の方向に維持されることになるため、GH型液晶層７２は、偏光成分を吸収して透過しない状態となる。これに対して、図３の右部で示されるように、液晶分子を制御するための電極１０１，１０２により電圧が印加された場合、液晶分子１１２−１乃至１１２−３が、垂直方向に維持される状態になり、色素分子１１１−１乃至１１１−３も同様の方向に維持されることになるため、GH型液晶層７２は、偏光成分を透過させる。尚、ここでいう二色性とは、光の進行方向や偏光方向により吸収に２種類の差がある性質を表している。
【００５０】
撮像素子５２は、CCD（Charge Coupled Device）やCMOS（Complementary Metal-Oxide Semiconductor）などからなり、光学系ブロック５１を介して透過してきた光を光電変換により電気信号に変換し、電気信号からなる画像信号として信号処理部５４に供給する。
【００５１】
ジャイロセンサ５３は、カメラ４１の本体の向きであるカメラ方位を特定するための角速度を検出し、信号処理部５４に供給する。
【００５２】
信号処理部５４は、制御部５４ａおよび適正化部５４ｂを備えており、キーボードや操作ボタンなどが操作されることにより操作部５７より供給されてくる操作信号に基づいて、カメラ４１の動作の全体を制御する。また、信号処理部５４は、撮像素子５２より供給されてきた画像信号をHDD（Hard Disc Drive）やSSD（Solid State Drive）などからなる記録部５５に記憶させる。さらに、信号処理部５４は、撮像素子５２より供給されてきた画像信号をLCD（Liquid Crystal Display）などからなる表示部５６に表示させる。
【００５３】
制御部５４ａは、ジャイロセンサ５３より供給されてくるカメラ４１の本体の角速度の情報に基づいて、今現在のカメラ４１の姿勢を求めて、カメラの方向や姿勢である撮像姿勢（カメラ方位）を特定する。さらに、制御部５４ａは、特定したカメラ４１の撮像姿勢（カメラ方位）の情報に基づいて、光学系ブロック５１におけるTN液晶層７１の偏光方向のねじれ角度を調整することにより、撮像する被写体（自然界）の偏光方位がGH型液晶層７２，７３の方位と常に一定となるように保って、画像を撮像するように制御する。
【００５４】
適正化部５４ｂは、撮像素子５２より供給されてくる画像信号に対して、前景、または背景といった各種の差分処理、エッジ強調などの強調処理、および色補正などの補正処理といった各種の処理を施す。
【００５５】
［偏光成分検出処理］
次に、図４のフローチャートを参照して、図２のカメラ４１による偏光成分検出処理について説明する。
【００５６】
この処理は、例えば、操作部５７が使用者により操作されて、撮像が指示されると開始される。この指示に基づいて、ステップＳ１１において、ジャイロセンサ５３が、カメラ４１の本体の撮像姿勢を示すカメラ方位を特定するための角速度を検出し、信号処理部５４に供給する。信号処理部５４の制御部５４ａは、この角速度の情報に基づいてカメラ方位を特定する。
【００５７】
ステップＳ１２において、制御部５４ａは、特定したカメラ方位の情報に基づいて、TN型液晶層７１による偏光成分の偏光方位が、カメラ方位が水平状態である場合に対応するようにねじれ回転させるべき角度を求め、その角度に対応する駆動量を算出する。
【００５８】
ステップＳ１３において、制御部５４ａは、TN型液晶層７１を算出した駆動量で駆動させるために必要とされる電圧で、ITO電極層８１−１，８１−２を印加する。この処理によりTN型液晶層７１は、ジャイロセンサ５３で検出されたカメラ方位に対応する角度だけ、偏光成分の偏光方位をねじれ回転させて光を透過させて、GH型液晶層７２，７３に入射させる。
【００５９】
ステップＳ１４において、制御部５４ａは、ITO電極層８１−２乃至８１−４に所定の電圧を印加することによりGH型液晶層７２，７３のそれぞれをオンまたはオフの状態に制御して、TN型液晶層７１を透過することにより、偏光成分の偏光方位が回転された光のうち、それぞれの偏光方位の光を透過、または吸収する。
【００６０】
ステップＳ１５において、撮像素子５２は、GH型液晶層７２，７３を透過してくる光を受光することで検出すると共に、検出した光を光電変換により電気信号に変換することで、全体として画像信号を生成し、信号処理部５４に出力する。信号処理部５４の制御部５４ａは、撮像素子５２より供給されてくる画像信号を表示部５６に表示する。または、制御部５４ａは、撮像素子５２より供給されてくる画像信号を記録部５５に記録させる。この際、適正化部５４ｂは、適宜、必要な処理を画像信号に施す。
【００６１】
すなわち、以上の処理をまとめると、図５で示されるように、ステップＳ１１の処理により、ジャイロセンサ５３がカメラ４１のカメラ方位を特定するための角速度を検出して信号処理部５４に供給する。例えば、カメラ４１が、水平方向に対して４５度傾いている場合、ジャイロセンサ５３は、４５度に対応する角速度を検出結果として信号処理部５４に供給する。
【００６２】
そして、ステップＳ１２の処理により、信号処理部５４の制御部５４ａは、カメラ方位を特定し、カメラ方位に対応する角度だけ偏光成分の偏光方向を回転させる角度を特定し、その角度に対応するTN型液晶層７１の駆動量を特定する。すなわち、４５度傾いている場合については、制御部５４ａは、ジャイロセンサ５３の検出結果に基づいて、TN型液晶層７１の駆動量として４５度だけ偏光成分の偏光方向を回転させるための駆動量を特定する。
【００６３】
ステップＳ１３の処理により、制御部５４ａは、特定した駆動量でTN型液晶層７１を駆動させるための電圧を、ITO電極層８１−１，８１−２に印加させる。この処理により、図５で示されるように、水平方向の偏光方向を備えた画像Ｐｈ１０１は、TN型液晶層７１を透過することにより、偏光方向が４５度回転した画像Ｐｈ１０１’としてGH型液晶層７２，７３に入射される。同様に、図５で示されるように、垂直方向の偏光方向を備えた画像Ｐｖ１０１は、TN型液晶層７１を透過することにより、偏光方向が４５度回転した画像Ｐｖ１０１’としてGH型液晶層７２，７３に入射される。
【００６４】
例えば、GH型液晶層７２が垂直方向の偏光方向の偏光成分の透過、または吸収を制御し、GH型液晶７３が水平方向の偏光方向の偏光成分の透過、または吸収を制御する場合、水平方向の偏光方向を備えた偏光成分の光のみを透過させるものとする場合、ステップＳ１４の処理は以下のような処理となる。すなわち、制御部５４ａは、ITO電極層８１−２，８１−３を制御して、GH型液晶層７２への印加電圧をオフに制御して、垂直方向の偏光成分を吸収させるように制御すると共に、ITO電極層８１−３，８１−４を制御して、GH型液晶７３への印加電圧をオンに制御して、水平方向の偏光成分を透過させるように制御する。
【００６５】
この処理により、偏光方向が４５度回転した画像Ｐｈ１０１’は、カメラ方向に対応して偏光方向の偏光成分が回転しているので、垂直方向の偏光方向の偏光成分の透過または吸収を制御するGH型液晶７２がオフ（吸収ｏｎ）であっても、制御される偏光方向がGH型液晶７２に直交するため、透過されることになる。また、画像Ｐｈ１０１’は、カメラ方向に対応して偏光方向の偏光成分が回転しているので、水平方向の偏光方向の偏光成分の透過または吸収を制御するGH型液晶層７３がオン（吸収ｏｆｆ）であることから、透過されることになる。結果として、画像Ｐｈ１０１’は、GH型液晶層７２，７３のいずれにおいても吸収されることなく画像Ｐｈ１０１’’として透過する。
【００６６】
一方、偏光方向が４５度回転した画像Ｐｖ１０１’は、カメラ方向に対応して偏光方向の偏光成分が回転しているので、垂直方向の偏光方向の偏光成分の透過または吸収を制御するGH型液晶層７２がオフ（吸収ｏｎ）であることから、ほぼ１００％吸収されることになる。また、画像Ｐｖ１０１’は、カメラ方向に対応して偏光方向の偏光成分が回転しているが、水平方向の偏光方向の偏光成分の透過または吸収を制御するGH型液晶７３がオン（吸収ｏｆｆ）であることから透過するが、例えオフ（吸収ｏｎ）であっても、制御される偏光方向が直交するため、透過されることになる。結果として、画像Ｐｖ１０１’は、GH型液晶７３において吸収されることにより、真っ暗に近い画像Ｐｖ１０１’’として透過する。
【００６７】
このように、ステップＳ１５の処理により、画像Ｐｈ１０１’’，Ｐｖ１０１’’の合成画像が撮像素子５２により受光され、対応する画像信号が検出されることになる。尚、図５の例においては、上述したように、画像Ｐｖ１０１’’がほぼ真っ暗な画像となるため、実質的には、画像Ｐｈ１０１’’で示されるように、所望とする偏光成分の画像信号が検出されることになる。
【００６８】
この場合、画像Ｐｈ１０１’’，Ｐｖ１０１’’の偏光方向は、いずれもカメラ４１が傾いた方向に４５度だけ回転した画像であるため、撮像された画像の実空間における偏光方向は、いずれも水平方向、および垂直方向に補正されることになるので、図５における画像Ｐｈ１１１，Ｐｖ１１１が現実空間上の偏光方向の画像として抽出される。尚、画像Ｐｈ１１１，Ｐｖ１１１は、白黒の縞模様により偏光方向のみが示された画像として表記されている。
【００６９】
撮像により記録された画像信号は偏光成分の情報を有しており、例えば、図６の左部で示されるように、屋外で窓ガラスを撮影すると通常は空などの明かりが窓ガラスで反射する成分があるため室内が見え難い画像となる。しかしながら、図６の右部で示されるように、Ｐ偏光成分だけを撮像した画像（Ｓ偏光を除去した画像）では窓ガラスでの表面反射成分が除去されるため通常の撮像では得られない情報を取得することが可能となる。同様な現象は、水面を観察する際に偏光サングラスを使用することで水面での表面反射成分を除去することで水中を見易くする技術などにより一般的に知られている。
【００７０】
また、図７の左部で示されるように、晴れて明るい日や雨で濡れた日の道路表面においては、表面反射成分により白線、危険表示、または速度表示などの路面表示が白飛びするような場合がある。この表面反射成分は、偏光依存性があるため、図２のカメラ４１を用いて、表面反射成分となる偏光成分を除去するように撮像することで、図７の右部で示されるように、白線、危険表示、または速度表示などの路面表示を適切に撮像することが可能となる。
【００７１】
以上の処理により、カメラ４１が撮像タイミングにおいて傾くようなことがあっても、カメラ４１の傾いた方向に応じたカメラ方向に対応付けて偏光方向を回転するようにしているので、現実空間の偏光方向に対して適切な偏光成分の画像を撮像することが可能となる。
【００７２】
また、上述のように白飛びするような領域が発生する場合、従来の技術では白飛びしている反射部分が見えるレベルまでの輝度を十分に低減して露出を合わせるといった技術が一般的であった。ところが、輝度レベルを低減して露出を合わせるようにすると、白飛びした領域以外の領域の暗所が黒つぶれしてしまうことがあった。一般的な上述の技術を適用しようとした場合、明部に合わせた露出から暗所に合わせて黒つぶれしない画像まで露出を変えた複数枚の画像を撮像し、撮像後に信号処理で合成することで暗所から明所まで確認できる画像を得る方法（HDR：高ダイナミックレンジ）がある。
【００７３】
これはCCDやCMOSの固体撮像素子を用いたカメラで撮像した画角内に明るい空と建物の影などが同時に写る場合、実際の被写体が有する暗所と明所の輝度差が大きいと撮像素子５２の感度と飽和信号量から十分なダイナミックレンジを得られずに、明所に露出を合わせると暗所が黒つぶれし、暗所に露出を合わせると明所が白飛びする。そこで、これらの黒つぶれおよび白飛びする領域に対して、黒つぶれおよび白飛びが発生しないように露出を変えた複数画像を取得し、合成することで暗所から明所まで確認できる画像を得る方法である。
【００７４】
しかしながら、複数枚の画像を合成する必要があるため、それぞれ異なる時間の画像が合成されることから画像にずれが生じ、画質が低下することがあった。また動画を撮像する際にはリアルタイムで処理をする必要から、少なくとも倍以上のフレームレートで撮像し、画像合成をする必要があり、処理構成そのものも複雑になる上、画質の低減を招く恐れがあった。
【００７５】
これに対して、本技術では一方の偏光成分のみを撮像することで被写体の表面反射成分を除去した画像を取得することが可能となる。また、本技術では露出による輝度レベルの制御では十分に分離できない輝度情報を、偏光成分を制御することで分離して得られる輝度情報を用いることにより、本来得られない輝度情報を得ることが可能となる。
【００７６】
従って、従来のHDRに本技術を組み合わせるように、例えば、適正化部５４ｂを機能させるようにすることで、従来のHDRでは得られない被写体の輝度情報を得ることが可能になる。
【００７７】
［第２の実施の形態］
以上においては、撮像素子５２の前段に偏光制御素子６３を設ける例について説明してきたが、例えば、偏光制御素子６３は、オンチップレンズとカラーフィルタとを一体化して備える構成としてもよい。すなわち、図８で示されるように、偏光制御素子６３は、さらに、オンチップレンズ９１、およびカラーフィルタ９２を設けており、それらを含めた一体化された構造とされている。
【００７８】
より詳細には、図８で示されるように、撮像素子５２と偏光制御素子６３との間に各画素単位でオンチップレンズ９１、およびカラーフィルタ９２が設けられている。このオンチップレンズ９１は、その屈折率ｎ１が、オンチップレンズ９１と偏光制御素子６３との間の空間（透明層）９３における屈折率ｎ２よりも小さい場合（ｎ１＜ｎ２の場合）、図８で示されるように凸レンズとして構成される。一方、このオンチップレンズ９１は、その屈折率ｎ１が、屈折率ｎ２よりも大きい場合（ｎ１＞ｎ２の場合）、図示しないが凹レンズとして構成される。
【００７９】
［第３の実施の形態］
以上においては、撮像素子５２の全領域に対して同一の偏光方向に対して制御されるTN型液晶層７１、GH型液晶層７２，７３、オンチップレンズ９１、およびカラーフィルタ９２が設けられる構成について説明してきたが、例えば、図９で示されるように、撮像素子５２の領域を複数の領域Ｚ１乃至Ｚ３（これ以上の領域数に分割するようにしてもよい）に分割して、それぞれの領域毎にGH型液晶層７２，７３のオンまたはオフを個別に制御できる構成とするようにしてもよい。すなわち、この場合、ITO電極層８１−１乃至８１−４については、それぞれ領域Ｚ１乃至Ｚ３に対応するように個別にマトリクス状に配設された構成とされている。このような構成により、領域Ｚ１乃至Ｚ３のそれぞれが個別に制御され、領域毎にTN型液晶層７１による偏光方向の回転角度を調整することが可能になると共に、GH型液晶層７２，７３のオンまたはオフを個別に制御することが可能となる。
【００８０】
図９の構成においては、撮像に当たり、信号処理部５４の制御部５４ａが、撮像素子５２の検出結果である輝度情報を取得して、高輝度となる領域に対しては特定の偏光成分のみの抽出をオンにすると共に、低輝度の領域に対しては特定の偏光成分のみの抽出をオフにする。このような処理により、例えば、図６の左部で示される画像におけるフロントガラスが撮像されている領域や、図７の左部で示される画像における車道となっている領域などの白飛びが生じている領域に対してのみ、特定の偏光成分を抽出するようにして、それ以外の領域においては、通常状態で撮像することで、処理が不要な暗部に対して過度の処理を避けることが可能となり、不要な輝度信号量の低下を回避（黒つぶれを回避）しつつ必要な情報からなる画像として撮像することが可能となる。
【００８１】
［第４の実施の形態］
図９において、撮像素子５２における複数の画素からなる複数の領域Ｚ１乃至Ｚ３に分割して、領域毎に特定の偏光成分のみを抽出させるようにする例について説明してきたが、さらに、図１０で示されるように、画素Ｐ１乃至Ｐ９（これ以外の画素数であってもよい）のそれぞれの画素単位（１組となるRGBの単位）で特定の偏光成分のみを抽出させるようにしてもよい。この場合については、ITO電極層８１−１乃至８１−４は、それぞれ１組のRGB画素Ｐ１乃至Ｐ９において個別にマトリクス状に配設されるため、１組のRGB画素単位で制御され、これにより１組のRGB画素の単位毎にTN型液晶層７１による偏光方向の回転角度を調整することが可能になると共に、GH型液晶層７２，７３のオンまたはオフを個別に制御することが可能となる。
【００８２】
このような構成により、より高精度に白飛びや黒つぶれを抑制しつつ、必要な情報からなる画像として撮像することが可能となる。尚、偏光制御素子６３の厚みに対して画素の寸法が小さくなると斜め入射光に対しては検出精度の低下が生じる恐れがあるので画素寸法を大きくするか、偏光制御素子６３の厚みを薄くすることで検出精度の低下を抑制することが可能となる。
【００８３】
［第５の実施の形態］
以上においては、１組のRGB画素の画素Ｐ１乃至Ｐ９にTN型液晶層７１による偏光方向の回転角度を調整することが可能になる例について説明してきたが、例えば、図１１で示されるように、完全に１画素毎に偏光成分のみを抽出させるようにしてもよい。すなわち、図１１の場合については、ITO電極層８１−１乃至８１−４が、それぞれ画素Ｐｉｘ１乃至Ｐｉｘ３のそれぞれについて個別にマトリクス状に配設されるため、１画素単位でTN型液晶層７１による偏光方向の回転角度を調整することが可能になると共に、GH型液晶層７２，７３のオンまたはオフを個別に制御することが可能となる。
【００８４】
このようにすることで、さらにより高精度に白飛びや黒つぶれを抑制しつつ、必要な情報からなる画像として撮像することが可能となる。
【００８５】
［第６の実施の形態］
以上においては、１画素単位で偏光方向の回転を調整する例について説明してきたが、これを応用することで、これまでにない画像を撮像できるようにしてもよい。
【００８６】
すなわち、図１２の左部で示されるように、赤色画素Ｒ、緑色画素Ｇ１，Ｇ２、および青色画素Ｂが市松配列されている場合、制御部５４ａは、緑色画素Ｇ２のみに水平偏光処理を掛けるようにし、その他の赤色画素Ｒ、第１の緑色画素Ｇ１、および青色画素Ｂについては通常状態で撮像させる。このようにすることで、図１２の中央部で示されるように、赤色画素Ｒ、第２の緑色画素Ｇ１、および青色画素Ｂにより撮像される通常状態で撮像された画素からなる通常画像Ｐ１と、水平偏光処理がなされた緑色画素Ｇ２により撮像される偏光画像Ｐ２とが撮像される。
【００８７】
この場合、適正化部５４ｂは、この通常画像Ｐ１と偏光画像Ｐ２のそれぞれの対応する位置の画素について、アクティビティの高い画素（隣接画素間の画素値の差分が大きな画素、または、各画素についてその周辺領域における隣接画素間の差分和が大きな画素）により構成される画像を処理画像Ｐ３として生成する。このようにして生成される処理画像Ｐ３は、白飛びや黒つぶれといったアクティビティの低い領域が実質的に排除された、画像内に必要な情報を多く含む画像となる。また、通常画像Ｐ１と偏光画像Ｐ２とは同時に撮像されるので、画像上における矛盾も生じない。結果として、通常は解像度に使われる画素を有効に利用して、解像度を低減させることなく、輝度信号を適切に補正した、従来では得られない画像を撮像することが可能となる。
【００８８】
［第７の実施の形態］
以上においては、第１および第２の緑色画素、赤色画素、並びに青色画素の２画素×２画素における市松配列について、第２の緑色画素Ｇ２のみで水平偏光制御した上で得られる画像を偏光画像Ｐ２として撮像し、同時にそれ以外のそれ以外の赤色画素Ｒ、緑色画素Ｇ１、および青色画素Ｂを通常状態で得られる画像を通常画像Ｐ１として撮像した上で、それぞれの画素のうち、アクティビティの高い画素からなる処理画像Ｐ３を生成する例について説明した。しかしながら、配色については、上述した緑色画素、赤色画素、および青色画素に限らず、その他の色の画素配列であっても、輝度に影響する色の画素について偏光制御をすることで同様の効果を得ることができる。すなわち、例えば、図１３の左部で示されるように、第２の緑色画素に代えて、白色画素を配置するようにし、白色画素について偏光制御することで偏光画像Ｐ２’を撮像すると共に、赤色画素、青色画素、および緑色画素で通常画像Ｐ１’を撮像するようにし、これらを利用して、処理画像Ｐ３’を得ることで、同様の効果を得ることができる。
【００８９】
すなわち、制御部５４ａは、白色画素Ｗのみに水平偏光処理を掛けるようにし、その他の赤色画素Ｒ、緑色画素Ｇ、および青色画素Ｂについては通常状態で撮像させる。このようにすることで、図１３の中央部で示されるように、赤色画素Ｒ、緑色画素Ｇ、および青色画素Ｂにより撮像される通常状態で撮像された画素からなる通常画像Ｐ１’と、水平偏光処理がなされた白色画素Ｗにより撮像される偏光画像Ｐ２’とが撮像される。
【００９０】
この場合、適正化部５４ｂは、この通常画像Ｐ１’と偏光画像Ｐ２’のそれぞれの対応する位置の画素について、アクティビティの高い画素により構成される画像を処理画像Ｐ３’として生成する。このようにして生成される処理画像Ｐ３’は、白飛びや黒つぶれといったアクティビティの低い領域が実質的に排除された、画像内に必要な情報を多く含む画像となる。また、通常画像Ｐ１’と偏光画像Ｐ２’とは同時に撮像されるので、画像上における矛盾も生じない。結果として、通常は解像度と輝度に使われる画素を有効に利用して、解像度を低減させることなく、輝度信号を適切に補正した、従来では得られない画像を撮像することが可能となる。尚、上述したように、偏光画像を得るための偏光処理を加える色の画素については、緑色画素や白色画素に限るものではなく、輝度への影響が大きな色の画素であれば、その他の色の画素であってもよい。また、配色についても、赤色画素、緑色画素、および青色画素、または、赤色画素、緑色画素、青色画素、および白色画素といったもののみならず、クリアビット配列、Ｘ−Ｔｒａｎｓ配列、またはヘキサ配列などその他の色の画素配色であってもよいものである。また、配色についても、赤色画素、緑色画素、青色画素、および白色画素のように、加法混合３原色や、さらに白色を加える色画素の配色のみならず、例えば、シアン、マゼンダ、イエローといった減法混合の３原色の色画素を含む配色を利用するようにしてもよい。
【００９１】
［第８の実施の形態］
以上においては、市松状の画素配列のうち第２の緑色画素Ｇ２のみ、または、白色画素Ｗで水平偏光制御した上で得られる画像を偏光画像Ｐ２（または画像Ｐ２’）として撮像し、同時に、それ以外の赤色画素Ｒ、緑色画素Ｇ１（Ｇ）、および青色画素Ｂを通常状態で得られる画像を通常画像Ｐ１（または画像Ｐ１’）として撮像した上で、それぞれの画素のうち、アクティビティの高い画素からなる処理画像Ｐ３（またはＰ３’）を生成する例について説明した。しかしながら、例えば、図１４で示されるように、第１および第２の緑色画素Ｇ１，Ｇ２について、それぞれ垂直方向および水平方向に偏光制御を加え、赤色画素Ｒ、および青色画素Ｂについては通常撮像した上で、赤色画素Ｒ，第１の緑色画素Ｇ１，青色画素Ｂからなる垂直偏光処理された偏光画像Ｐ１１と、赤色画素Ｒ，第２の緑色画素Ｇ２，青色画素Ｂからなる水平偏光処理された偏光画像Ｐ１２とを生成するようにしてもよい。
【００９２】
すなわち、制御部５４ａは、第１および第２の緑色画素Ｇ１，Ｇ２について、それぞれに垂直偏光制御および水平偏光制御を加え、赤色画素Ｒ、および青色画素Ｂについては通常撮像した上で、赤色画素Ｒ，第１の緑色画素Ｇ１，青色画素Ｂによる第１の偏光画像Ｐ１１と、赤色画素Ｒ，第２の緑色画素Ｇ２，青色画素Ｂによる第２の偏光画像Ｐ１２とを撮像させる。
【００９３】
そして、適正化部５４ｂは、この第１および第２の偏光画像Ｐ１１，Ｐ１２のそれぞれの対応する位置の画素におけるアクティビティを比較して、アクティビティの高い画素を抽出した画素により構成される画像を、偏光画像を用いた処理画像Ｐ１３として求める。この結果、水平方向、および垂直方向のそれぞれについて偏光制御された第１および第２の偏光画像Ｐ１１，Ｐ１２に基づいて、処理画像を生成することが可能となるので、解像度を低減させることなく、輝度信号を適切に補正した、従来では得られない画像を撮像することが可能となる。
【００９４】
［第９の実施の形態］
以上においては、オンチップレンズ９１およびカラーフィルタ９２は、撮像素子５２と偏光制御素子６３との間に設けられる例について説明してきたが、TN型液晶層７１が、GH型液晶層７２，７３の前段に設けられていればよいので、それ以外の構成でもよく、例えば、図１５で示されるように、偏光制御素子６３の前段に設けるようにしてもよい。
【００９５】
［第１０の実施の形態］
同様に、例えば、図１６で示されるように、オンチップレンズ９１およびカラーフィルタ９２は、TN型液晶層７１とGH型液晶層７２との間に設けるようにしてもよい。この場合、TN型液晶層７１、GH型液晶層７２，７３に加えて、オンチップレンズ９１、カラーフィルタ９２、および空間（透明層）９３を含めた全体が一体として偏光制御素子６３を構成する。また、TN型液晶層７１は、ITO電極層８１−１，８１−２−１により制御され、GH型液晶層７２は、ITO電極層８１−２−２，８１−３により制御される。
【００９６】
［第１１の実施の形態］
以上においては、偏光成分を分離するにあたり、水平方向成分および垂直方向成分を抽出するGH型液晶層７２，７３を設ける例について説明してきたが、偏光成分を分離することができれば、これ以外の構成であってもよい。例えば、図１７で示されるように、GH型液晶層７２，７３に代えて、ワイヤグリッド型の偏光子からなる偏光分離構造層１７１を設けるようにしてもよい。
【００９７】
ここで、偏光分離構造層１７１を構成するワイヤグリッド型の偏光子とは、偏光子の格子方向に対して平行方向の偏光成分が吸収および反射され、垂直方向の偏光成分を透過し撮像素子で検出されるようにするものである。偏光分離構造層１７１は、例えば、図１８左部の偏光分離構造層１７１ａで示されるように、格子状に複数の画素からなる複数の領域毎、または画素毎に水平方向、および垂直方向の偏光方向を検出する領域、または画素を特定する構成のものがある。また、図１８の右部の偏光分離構造層１７１ｂで示されるように、帯状に複数の画素からなる複数の領域毎、または画素毎に水平方向、および垂直方向の偏光方向を検出する領域、または画素を特定する構成のものがある。
【００９８】
偏光分離構造層１７１は、GH型液晶層７２，７３と異なり、ワイヤグリッドが固定されているため常に偏光検出撮像となる。また、偏光分離構造層１７１は、ワイヤグリッドがGH型液晶層７２，７３に比べて薄くしやすいため、画素毎に配列した際には斜め入射光に対する影響を低減することが可能となる。尚、ワイヤグリッド型の偏光子を用いた偏光分離構造層については、特開２０１２−５４８５６号公報を参照されたい。
【００９９】
また、上述した第１の実施の形態乃至第１１の実施の形態におけるカメラ４１においても、GH型液晶層７２，７３に代えて、偏光分離構造層１７１を設けるようにしてもよい。さらに、以上においては、GH型液晶層７２，７３やワイヤグリッドからなる偏光分離構造層１７１などの直交する偏光成分を抽出する構成について説明してきたが、異なる偏光成分が検出できればよいので、異なる偏光成分を２以上の抽出できるGH型液晶層７２，７３やワイヤグリッドからなる偏光分離構造層１７１を用いるようにしてもよい。
【０１００】
以上のごとく、本技術によれば、カメラ４１の傾きに応じて自然界の偏光を回転させ任意の偏光成分を抽出する撮像、および、調光撮像が可能となる。また、主光線入射角が面内で異なる際にTN型液晶層の駆動量を領域ごとに分割制御することで面内の偏光回転量を補正し、偏光状態の面内均一性を保つことが可能となる。
【０１０１】
また、２層のGH型液晶層にて、それぞれＰ偏光とＳ偏光を分離するように構成し（逆も可）、個別に駆動することで自然界の任意の偏光成分の画像が検出可能となる。さらに、２層のGH型液晶層の両方を駆動することでNDフィルタとして調光撮像することが可能となる。また、検出した１種または２種偏光成分画像を用いて、白飛びを抑制しつつ、黒つぶれを抑制するように適切に組み合わせて処理することで、画像を適正化して、被写体を弁別した画像を取得することが可能となる。
【０１０２】
さらに、撮像素子上に偏光制御素子を設けるようにすることで、画素毎またはエリア毎にフィルタの効果を得ることが可能となる。また、画素毎または領域毎に２層のGH型液晶層を同時駆動することで、空や水面や光源などの部分高輝度部の減光を実現することが可能となる。
【０１０３】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１０４】
図１９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１０５】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１０６】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０７】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１０８】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１０９】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１１０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１２】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１１３】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１４】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１５】
また、本技術は、以下のような構成も取ることができる。
（１）  入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、
前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、
前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、
前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、
前記偏光分離素子層を透過した光を検出する撮像素子と
を含む撮像装置。
（２）  前記偏光子層は、ツイストネマティック型液晶層を含む
（１）に記載の撮像装置。
（３）  前記制御部は、前記傾き検出素子で検出した傾きに応じて、前記ツイストネマティック型液晶層のネマティック液晶分子群のねじれ角度を略０度乃至２７０度の間の角度で制御する
（１）に記載の撮像装置。
（４）  前記ツイストネマティック型液晶層に印加電圧を加えるマトリクス状の配線をさらに含む
（３）に記載の撮像装置。
（５）
前記配線は、少なくとも１以上の画素数からなる、複数の領域に分割するように前記マトリクス状に配設される
（４）に記載の撮像装置。
（６）  前記撮像素子で検出した画像に対して差分、強調、および補正処理を施す適正化処理部をさらに含み、
少なくとも１色の輝度への関与が大きな色の画素を含み、少なくとも３色よりも多くの配色画素からなる画素配列において、
前記制御部は、前記輝度への関与が大きな色の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させ、
前記適正化処理部は、前記偏光子層が駆動された状態で撮像された、前記輝度への関与が大きな色の画素により撮像された偏光画像と、前記３色の画素のうち、前記輝度への関与が大きな色の画素を除く画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する
（５）に記載の撮像装置。
（７）  水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素と青色画素とが一方の対角線上に配置され、前記一方の対角線とは異なる他方の対角線上に第１の緑色画素および第２の緑色画素が配置される市松状の画素配列において、
前記制御部は、前記第２の緑色画素の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させ、
前記適正化処理部は、前記偏光子層が駆動された状態で撮像された、前記第２の緑色画素からなる偏光画像と、前記赤色画素、前記青色画素、および前記第１の緑色画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する
（６）に記載の撮像装置。
（８）  水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素、青色画素、緑色画素および白色画素が配置される画素配列において、
前記制御部は、前記白色画素の画素領域に対応する前記偏光分離子層、および前記偏光子層を駆動させ、
前記適正化処理部は、前記偏光子層が駆動された状態で撮像された、前記白色画素からなる偏光画像と、前記赤色画素、前記青色画素、および前記緑色画素により撮像された通常画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する
（６）に記載の撮像装置。
（９）  水平方向および垂直方向に２画素ずつ構成される単位で、赤色画素と青色画素とが一方の対角線上に配置され、前記一方の対角線とは異なる他方の対角線上に第１の緑色画素および第２の緑色画素が配置される市松状の画素配列において、
前記制御部は、前記第１および前記第２の緑色画素の画素領域に対応する前記偏光分離子層を相互が直交する方向に駆動させると共に、前記偏光子を駆動させ、
前記適正化処理部は、前記第１の緑色画素、前記赤色画素、および青色画素からなる第１の偏光画像と、前記第２の緑色画素、前記赤色画素、および青色画素からなる第２の偏光画像とから、それぞれの対応する位置の画素のうち、アクティビティの高い方の画素からなる画像を処理画像として生成する
（６）に記載の撮像装置。
（１０）  前記偏光分離素子は、ゲストホスト型液晶を含む
（１）に記載の撮像装置。
（１１）  前記制御部は、前記複数の偏光分離素子である複数のゲストホスト型液晶のうち、少なくとも１のゲストホスト型液晶を駆動させる
（１０）に記載の撮像装置。
（１２）  前記複数の偏光分離素子は、偏光軸が直交する２の偏光分離素子である
（１）に記載の撮像装置。
（１３）  前記撮像素子で検出した画像に対して差分、強調、および補正処理を施す適正化処理部をさらに含む
（１）に記載の撮像装置。
（１４）  前記偏光子は、前記撮像素子の画素上に構成するオンチップレンズよりも低屈折率の透明層を設けた撮像素子における前記低屈折率の透明層の前段に配設される
請求項１に記載の撮像装置。
（１５）  前記偏光分離素子はワイヤグリッド型偏光子を含む
請求項１に記載の撮像装置。
（１６）  入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、
前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、
前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、
前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、
前記偏光分離素子層を透過した光を検出する撮像素子と
を含む撮像装置の撮像方法であって、
前記傾き検出素子が、前記入射光の光軸を中心とした傾きを検出し、
前記制御部が、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御し、
前記撮像素子が、前記偏光分離素子層を透過した光を検出する
撮像方法。
（１７）  入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、
前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、
前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、
前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、
前記偏光分離素子層を透過した光を検出する撮像素子と
を含む撮像装置を制御するコンピュータに、
前記傾き検出素子に、前記入射光の光軸を中心とした傾きを検出させ、
前記制御部に、前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御させ、
前記撮像素子に、前記偏光分離素子層を透過した光を検出させる
ステップを含む処理を実行させるようにするプログラム。
（１８）  入射光を所定の方向の偏光軸の光に偏光して透過させる複数の偏光分離素子が、前記偏光軸が交差するように構成された偏光分離素子層と、
前記偏光分離素子層の前段において、複数の偏光軸の光の、それぞれの偏光軸を所定の傾きにねじらせて透過させる偏光子層と、
前記入射光の光軸を中心とした傾きを検出する傾き検出素子と、
前記傾き検出素子で検出した傾きに応じて前記光の偏光軸をねじらせて透過させるように前記偏光子層を駆動させるように制御する制御部と、
前記偏光分離素子層を透過した光を検出する撮像素子と
を含むカメラシステムおよびカメラ本体。
【符号の説明】
【０１１６】
４１  カメラ，  ５１  光学系ブロック，  ５２  撮像素子，  ５３  ジャイロセンサ，  ５４  信号処理部，  ５５  記録部，  ５６  表示部，  ５７  操作部，  ６１，６２  レンズ，  ６３  偏光制御素子，  ７１  TN型液晶層，  ７２，７３  GH型液晶層，  ８１−１乃至８１−４  電極層，  ９１  オンチップレンズ，  ９２  カラーフィルタ
【図１】
2015026937.tif 000003
【図２】
2015026937.tif 000004
【図３】
2015026937.tif 000005
【図４】
2015026937.tif 000006
【図５】
2015026937.tif 000007
【図６】
2015026937.tif 000008
【図７】
2015026937.tif 000009
【図８】
2015026937.tif 000010
【図９】
2015026937.tif 000011
【図１０】
2015026937.tif 000012
【図１１】
2015026937.tif 000013
【図１２】
2015026937.tif 000014
【図１３】
2015026937.tif 000015
【図１４】
2015026937.tif 000016
【図１５】
2015026937.tif 000017
【図１６】
2015026937.tif 000018
【図１７】
2015026937.tif 000019
【図１８】
2015026937.tif 000020
【図１９】
2015026937.tif 000021