(57)【要約】【課題】異なる偏光状態毎の画像の解像度を上げる撮像装置、プログラム、及び方法を提供する。【解決手段】偏光状態が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニットを有する偏光フィルタ部と、前記複数の偏光フィルタをそれぞれ透過した光をそれぞれ受光する複数の画素を有する撮像部と、同一の偏光状態の光を受光した画素の偏光画素値に基づいて、他の偏光状態の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する算出部とを備える。【選択図】図１
2010087905.tif 000002
【特許請求の範囲】
【請求項１】
偏光状態が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニットを有する偏光フィルタ部と、
前記複数の偏光フィルタをそれぞれ透過した光をそれぞれ受光する複数の画素を有する撮像部と、
同一の偏光状態の光を受光した画素の偏光画素値に基づいて、他の偏光状態の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する算出部と
を備える撮像装置。
【請求項２】
異なる色の光をそれぞれ透過する複数の色フィルタをそれぞれ含む複数の色フィルタユニットを有する色フィルタ部
をさらに備え、
前記色フィルタは、
前記偏光フィルタユニットが含む前記複数の偏光フィルタをそれぞれ透過する偏光状態が異なる光を透過し、
前記算出部は、
前記同一の偏光状態の同一の色の光を受光した画素の偏光画素値に基づいて、前記他の偏光状態の前記同一の色の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する
請求項１に記載の撮像装置。
【請求項３】
異なる色の光をそれぞれ透過する複数の色フィルタをそれぞれ含む複数の色フィルタユニットを有する色フィルタ部
をさらに備え、
前記偏光フィルタは、
前記色フィルタユニットが含む前記複数の色フィルタをそれぞれ透過する色が異なる光を透過し、
前記同一の偏光状態の同一の色の光を受光した画素の偏光画素値に基づいて、前記他の偏光状態の前記同一の色の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する
請求項１に記載の撮像装置。
【請求項４】
前記算出部は、
前記同一の偏光状態の同一の色の光を受光した画素の偏光画素値に基づいて、他の色の光を受光した画素における前記同一の色及び前記同一の偏光状態の偏光画素値を算出する
請求項２又は３に記載の撮像装置。
【請求項５】
偏光状態が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニットを有する偏光フィルタ部と、
前記複数の偏光フィルタをそれぞれ透過した光をそれぞれ受光する複数の画素を有する撮像部と
を備えたコンピュータを、
同一の偏光状態の光を受光した画素の偏光画素値に基づいて、他の偏光状態の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する算出部
として機能させるプログラム。
【請求項６】
偏光状態が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニットを有する偏光フィルタ部と、
前記複数の偏光フィルタをそれぞれ透過した光をそれぞれ受光する複数の画素を有する撮像部と
を備えたコンピュータが画像を処理する方法であって、
同一の偏光状態の光を受光した画素の偏光画素値に基づいて、他の偏光状態の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する算出工程
を備える方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、プログラム、方法に関する。
【背景技術】
【０００２】
従来、特許文献１に示すように、撮像素子に、異なる偏光方向の光を透過する偏光子領域を有する偏光素子アレイが知られている。また、特許文献２に示すように、偏光方向が異なる偏光フィルタが撮像素子に配設されている。
【特許文献１】特開２００７−０８６７２０号公報
【特許文献２】特開２００８−０２６３５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記特許文献１及び２によれば、偏光方向の異なるそれぞれの画像の解像度が低下してしまうという問題がある。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、撮像装置であって、偏光状態が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニットを有する偏光フィルタ部と、前記複数の偏光フィルタをそれぞれ透過した光をそれぞれ受光する複数の画素を有する撮像部と、同一の偏光状態の光を受光した画素の偏光画素値に基づいて、他の偏光状態の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する算出部とを備える。
【０００５】
異なる色の光をそれぞれ透過する複数の色フィルタをそれぞれ含む複数の色フィルタユニットを有する色フィルタ部をさらに備えてもよく、前記色フィルタは、前記偏光フィルタユニットが含む前記複数の偏光フィルタがそれぞれ透過する偏光状態が異なる光を透過してもよく、前記算出部は、前記同一の偏光状態の同一の色の光を受光した画素の偏光画素値に基づいて、前記他の偏光状態の前記同一の色の光を受光した画素における前記同一の偏光状態の偏光画素値を算出してもよい。
【０００６】
前記算出部は、前記同一の偏光状態の同一の色の光を受光した画素の偏光画素値に基づいて、他の色の光を受光した画素における前記同一の色及び前記同一の偏光状態の偏光画素値を算出してもよい。
【０００７】
上記課題を解決するために、本発明の第２の態様においては、プログラムであって、偏光状態が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニットを有する偏光フィルタ部と、前記複数の偏光フィルタをそれぞれ透過した光をそれぞれ受光する複数の画素を有する撮像部とを備えたコンピュータを、同一の偏光状態の光を受光した画素の偏光画素値に基づいて、他の偏光状態の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する算出部として機能させる。
【０００８】
上記課題を解決するために、本発明の第３の態様においては、偏光状態が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニットを有する偏光フィルタ部と、前記複数の偏光フィルタをそれぞれ透過した光をそれぞれ受光する複数の画素を有する撮像部とを備えたコンピュータが画像を処理する方法であって、同一の偏光状態の光を受光した画素の偏光画素値に基づいて、他の偏光状態の光を受光した画素における前記同一の偏光状態の偏光画素値を算出する算出工程を備える。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための最良の形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１１】
第１の実施の形態
図１は、第１の実施の形態にかかる撮像装置１００の構成の一例を示す。撮像装置１００は、偏光フィルタ部１０１、撮像部１０２、算出部１０３、及び表示部１０４を備える。
【００１２】
偏光フィルタ部１０１は、異なる偏光方向の光を透過する。撮像部１０２は、ＣＣＤ等の撮像素子、撮像素子駆動ドライバ、ＡＤ変換器等を有する。撮像素子は、偏光フィルタ部１０１を透過した光を受光する複数の画素を有するそして、画素は受光した光の光量に応じた電荷量（画素値）を蓄積する。本明細書では、この画素値を偏光画素値と呼ぶ。撮像素子駆動ドライバは、画素に蓄積された偏光画素値を読み出してＡＤ変換器に出力する。ＡＤ変換器は、各画素で受光された光の偏光画素値をデジタル信号に変換する。ＡＤ変換器は、変換したデジタル信号の偏光画素値を算出部に出力する。
【００１３】
算出部１０３は、ＡＤ変換器から出力された各画素のデジタル信号の偏光画素値を取得する。算出部１０３は、取得した各偏光画素値のうち、同一の偏光方向の光を受光した画素の偏光画素値に基づいて、他の偏光方向の光を受光した画素における該同一の偏光方向の偏光画素値を算出する。つまり、ある偏光方向の光ではなく他の偏光方向の光を受光した画素で、仮に、該ある偏光方向の光を受光した場合の偏光画素値を、該ある偏光方向の光を実際に受光した画素の偏光画素値に基づいて算出する。そして、算出部１０３は、ＡＤ変換器から出力された各画素の偏光画素値と算出した偏光画素値から、偏光方向毎の画像を生成する。そして、算出部１０３は、生成した偏光方向毎の画像を表示部１０４に出力する。算出部１０３は、ＣＰＵ等の画像処理装置によって実現される。また、このＣＰＵは、撮像素子駆動ドライバを制御する。
【００１４】
表示部１０４は、液晶などのディスプレイと表示制御部を含む。表示制御部は、取得した偏光方向毎の画像をディスプレイに表示させる。この画像表示の方法は、画像を１枚ずつ表示させるようにしてもよい。また、画像をマルチ表示させるようにしてもよい。ＣＰＵ等の画像処理装置によって表示制御部を実現してもよい。
【００１５】
図２は、偏光フィルタ部１０１の構成を示す。偏光状態が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニット１０６を有する。つまり、偏光フィルタユニット１０６は、偏光方向が異なる光をそれぞれ透過する偏光フィルタを有する。そして、偏光フィルタ部１０１は、この偏光フィルタユニット１０６を複数有する。ここでは、偏光方向が異なる偏光フィルタとして、縦方向の直線偏光の偏光フィルタ１１０と、斜め右方向の直線偏光の偏光フィルタ１１１と、斜め左方向の直線偏光フィルタ１１２と、横方向の直線偏光の偏光フィルタ１１１とがある。また、偏光フィルタ１１０と偏光フィルタ１１３とは偏光方向が互いに直交している。また、偏光フィルタ１１１と偏光フィルタ１１２とは偏光方向が互いに直交している。なお、それぞれの偏光フィルタは互いに直交しなくてもよい。また、それぞれの偏光フィルタの一部が互いに偏光方向が直交していてもよい。
【００１６】
具体的には、偏光フィルタユニット１０６ａは、偏光フィルタ１１０ａ、偏光フィルタ１１１ａ、偏光フィルタ１１２ａ及び偏光フィルタ１１３ａを有しており、偏光フィルタユニット１０６ｂは、偏光フィルタ１１０ｂ、偏光フィルタ１１１ｂ、偏光フィルタ１１２ｂ、及び偏光フィルタ１１３ｂを有している。また、偏光フィルタユニット１０６ｃは、偏光フィルタ１１０ｃ、偏光フィルタ１１１ｃ、偏光フィルタ１１２ｃ、及び偏光フィルタ１１３ｃを有しており、偏光フィルタユニット１０６ｄは、偏光フィルタ１１０ｄ、偏光フィルタ１１１ｄ、偏光フィルタ１１２ｄ、及び偏光フィルタ１１３ｄを有している。
【００１７】
また、それぞれの偏光フィルタを透過したそれぞれの光を撮像素子の画素が受光する。つまり、偏光フィルタと画素とは１対１応に対応付けられており、ある偏光フィルタを透過した偏光方向の光を、該ある偏光フィルタに対応する画素が受光する。
【００１８】
なお、偏光フィルタの偏光方向及び偏光フィルタユニット１０６に対する偏光フィルタの配置等は、図２に限定されるものではなく、例えば、直線偏光の偏光フィルタの変わりに、円偏光の偏光フィルタを用いてもよい。また、偏光フィルタユニット１０６は偏光方向が異なる４つの偏光フィルタを有するようにしたが、４つではなく、２、３つ等の偏光方向が異なる偏光フィルタを有するようにしてもよい。なお、説明の便宜上、偏光フィルタユニットにそれぞれ別の符号を付しており、また、同一の偏光方向を有する偏光フィルタにそれぞれ別の符号を付している。
【００１９】
次に、図２を用いて算出部１０３の偏光画素値の算出方法を詳しく説明する。図２では、それぞれの偏光方向の光は、偏光フィルタ１１０と、偏光フィルタ１１１と、偏光フィルタ１１２と、偏光フィルタ１１３とに対応するそれぞれの画素でしか受光されない。したがって、この場合は、それぞれの偏光方向の画像の解像度は、撮像素子の解像度の１／４となる。そこで、それぞれの画素における、それぞれの偏光方向の偏光画素値を、それぞれの偏光方向の光を実際に受光した画素の偏光画素値に基づいて算出する。つまり、それぞれの画素におけるそれぞれの偏光方向の偏光画素値分布を求める。
【００２０】
ここでは代表して、それぞれの偏光方向のうち、縦方向の偏光方向の偏光画素値の算出を例にとって偏光画素値の算出例を説明する。偏光画素値の算出は、偏光フィルタ１１０を透過した光を受光していないそれぞれの画素から所定距離以内にあり、且つ、偏光フィルタ１１０を透過した光を受光した画素の偏光画素値に基づいて、偏光フィルタ１１０を透過した光を受光していないそれぞれの該画素における、縦方向の偏光画素値を算出する。例えば、縦方向の偏光画素値の算出対象となる画素を偏光フィルタ１１３ａに対応する画素として、所定距離を１画素の距離とした場合には、偏光フィルタ１１０を透過した光を受光した画素であり、且つ、該算出対象の該画素から１画素の距離以内にある、偏光フィルタ１１０ａ、偏光フィルタ１１０ｂ、偏光フィルタ１１０ｃ及び偏光フィルタ１１０ｄに対応する画素の偏光画素値に基づいて、該算出対象の画素における縦方向の偏光方向の偏光画素値を算出することになる。ここで、ｎ画素離れた画素とは、算出対象となる画素の上下左右方向にｎ画素離れた画素を含むことはもちろんのこと、斜め方向にｎ画素離れた画素も含む。
【００２１】
また、偏光フィルタ１１０を透過した光を受光していないそれぞれの画素から所定方向に所定距離以内にあり、且つ、偏光フィルタ１１０を透過した光を受光した画素の偏光画素値に基づいて算出してもよい。例えば、縦方向の偏光画素値の算出対象なる画素を偏光フィルタ１１１ａに対応する画素として、所定距離を１画素の距離、所定方向を左右方向とした場合には、偏光フィルタ１１０を透過した光を受光した画素であり、且つ、該算出対象となる画素から左右方向に1画素の距離以内にある、偏光フィルタ１１０ａ、及び偏光フィルタ１１０ｂに対応する画素の偏光画素値に基づいて、該算出対象となる画素における縦方向の偏光方向の偏光画素値を算出することになる。また、例えば、縦方向の偏光画素値の算出対象となる画素を偏光フィルタ１１３ａに対応する画素として、所定距離を１画素の距離、所定方向を斜め左上及び斜め右下方向とした場合には、偏光フィルタ１１０を透過した光を受光した画素であり、且つ、該算出対象となる画素から斜め左上及び斜め右下方向に1画素の距離以内にある、偏光フィルタ１１０ａ、及び偏光フィルタ１１０ｄに対応する画素に基づいて、該算出対象となる画素における縦方向の偏光方向の偏光画素値を算出することになる。
【００２２】
図３は、ある複数の画素において算出された縦方向の偏光画素値のグラフを示す。詳しくは、図３は、偏光フィルタ１１１を透過した光を受光した画素をそれぞれ算出対象の画素として、該算出対象となるそれぞれの画素から左右方向に所定距離以内にあり、且つ、偏光フィルタ１１０を透過した光を受光した画素の偏光画素値に基づいて、該算出対象となるそれぞれの画素における縦方向の偏光方向の偏光画素値のグラフを示す。図３のグラフは、横軸が画素の位置を示しており、縦方向が偏光画素値を示している。また、黒点は、偏光フィルタ１１０に対応する画素が実際に受光した偏光画素値を示しており、白点は、算出された偏光画素値を示している。図３を見るとわかるように、偏光フィルタ１１１に対応する画素は、偏光フィルタ１１０に対応する画素の間にあるので、縦方向の偏光方向の光を実際に受光した偏光画素値のそれぞれの間に算出された偏光画素値がある。
【００２３】
このように、偏光フィルタ１１０に対応する画素が実際に受光した偏光画素値に基づいて、縦方向の偏光方向の光を受光していない画素における偏光画素値を算出する。また、図３に示すグラフにおいて、算出対象となる画素の偏光画素値の算出に用いられる偏光フィルタ１１０に対応する画素の範囲を決める所定距離を１画素の距離とすると、偏光画素値の算出精度が落ちる。例えば、左右方向に１画素とすると、算出対象となる画素の偏光画素値は、左右にある偏光フィルタ１１０にそれぞれ対応する画素の偏光画素値に基づいて算出されることになるので、図３のグラフに示すような滑らかな曲線ではなくカクカクしたグラフ、つまり折り線グラフのようになる。したがって、所定距離は２画素以上の方が好ましい。
【００２４】
また、算出対象となる画素の偏光画素値の算出に用いられる偏光フィルタ１１０に対応する画素の範囲を決める所定方向を多くした方向が、より精度よく偏光画素値を求めることができる。また、複数の方向毎に算出対象となる画素から最も近い偏光フィルタ１１０に対応する画素の偏光画素値に基づいて、該算出対象となる画素における偏光画素値を算出するようにしてもよい。また、算出対象となる画素の位置に応じて、偏光フィルタ１１０を透過した光を受光した画素の偏光画素値を重み付けして算出対象となる画素の偏光画素値を算出してもよい。この重み付けは、例えば、算出対象となる画素に一番近い偏光フィルタ１１０に対応する画素の偏光画素値の重み付けを最も大きくしてもよい。
【００２５】
また、偏光フィルタ１１０に対応する画素が実際に受光した偏光画素値に基づいて、スプライン関数により図３に示すような近似曲線を生成した後、該生成した近似曲線に基づいて、縦方向の偏光方向の光を受光していない偏光フィルタ１１１に対応する画素における縦方向の偏光方向の偏光画素値を割り当てるようにしてもよい。この生成した近似曲線が縦方向の偏光方向の各画素の偏光画素値分布となる。
【００２６】
また、実際に受光したある偏光方向の偏光画素値に基づいて、該ある偏光方向の光を実際に受光した画素における、ある偏光方向の偏光画素値も一緒に算出するようにしてもよい。つまり、実際に受光した偏光画素値を修正するようにしてもよい。算出されたある偏光方向の各画素の偏光画素値分布が滑らかになるように修正または補正する。
【００２７】
以上のように、偏光フィルタ１１０に対応する画素以外の画素における縦方向の偏光方向の偏光画素値を算出する。また、上述した偏光フィルタ１１０に対応する画素以外の画素における縦方向の偏光方向の偏光画素値の算出の方法と同様に、偏光フィルタ１１１に対応する画素以外の画素における斜め右方向の偏光方向の偏光画素値を算出してよい。また、偏光フィルタ１１２に対応する画素以外における斜め左方向の偏光方向の偏光画素値も、偏光フィルタ１１３に対応する画素以外における横方向の偏光方向の偏光画素値も同様に算出してよい。
【００２８】
第２の実施の形態
図４は、第２の実施の形態にかかる撮像装置１００の構成の一例を示す。撮像装置１００は、偏光フィルタ部１０１、撮像部１０２、算出部１０３、表示部１０４、及び色フィルタ部１０５を備える。なお、第１の実施の形態で説明した構成と同様の構成については同じ符号をする。また、第１の実施の形態と異なる部分だけを説明する。
【００２９】
偏光フィルタ部１０１は、図２で示した構成を有しているが、説明の便宜上、偏光フィルタユニット１０６ａ、偏光フィルタユニット１０６ｂ、偏光フィルタユニット１０６ｃ、偏光フィルタユニット１０６ｄのそれぞれが複数設けられているものとする。つまり、偏光フィルタユニット１０６ａと偏光フィルタユニット１０６ｂとが横方向に交互に配置された列と、偏光フィルタユニット１０６ｃと偏光フィルタユニット１０６ｄとが横方向に交互に配列された列とが、縦方向に交互に配列されているものとする。
【００３０】
色フィルタ部１０５は、偏光フィルタ部と撮像部との間に設けられる。色フィルタ部１０５は、異なる色の光をそれぞれ透過する複数の色フィルタをそれぞれ含む複数の色フィルタユニット１０７を有する。つまり、色フィルタユニット１０７は、異なる色の光をそれぞれ透過する色フィルタを有する。そして、色フィルタ部は、この色フィルタユニット１０７を複数有する。また、色フィルタ部１０５のそれぞれの色フィルタは、偏光フィルタユニット１０６が含む複数の偏光フィルタをそれぞれ透過する偏光方向が異なる光を透過するように設けられている。
【００３１】
算出部１０３は、同一の偏光方向の同一の色の光を受光した画素の偏光画素値に基づいて、他の偏光方向の該同一の色の光を受光した画素における該同一の偏光方向の偏光画素値を算出する。また、算出部１０３は、同一の偏光方向の同一の色の光を受光した画素の偏光画素値に基づいて、他の色の光を受光した画素における該同一の色及び該同一の偏光方向の偏光画素値を算出する。
【００３２】
図５は、偏光フィルタ部１０１と色フィルタ部１０５との対応関係を示す。色フィルタ部１０５の色フィルタユニット１０７は、赤色を透過するＲフィルタと、緑色を透過するＧフィルタと、青色の光を透過するＢフィルタとを有する。なお、色フィルタユニット１０７は、Ｒ、Ｇ、Ｂのそれぞれを透過する原色系の色フィルタではなく、例えば、シアン（Ｃｙ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、グリーン（Ｇ）の補色系の色フィルタであってもよく、他の色フィルタであってもよい。
【００３３】
図５を見るとわかるように、偏光フィルタユニット１０６ａを透過した光は、Ｒの色フィルタ１２０に入射する。このとき、偏光フィルタユニット１０６ａの偏光フィルタ１１０ａを透過した光は、Ｒの色フィルタ１２０の偏光フィルタ１１０ａに対応する領域に入射する。また、偏光フィルタ１１１ａを透過した光は、Ｒの色フィルタ１２０の偏光フィルタ１１１ａに対応する領域に入射する。また、偏光フィルタ１１２ａを透過した光は、Ｒの色フィルタ１２０の偏光フィルタ１１２ａに対応する領域に入射する。また、偏光フィルタ１１３ａを透過した光は、Ｒの色フィルタ１２０の偏光フィルタ１１３ａに対応する領域に入射する。
【００３４】
また、同様に、偏光フィルタユニット１０６ｂを透過した光は、Ｇの色フィルタ１２１に入射する。また、偏光フィルタユニット１０６ｃを透過した光は、Ｇの色フィルタ１２２に入射する。また、偏光フィルタユニット１０６ｄを透過した光は、Ｂの色フィルタ１２３に入射する。このときも、各偏光フィルタユニットの偏光フィルタ１１１、偏光フィルタ１１２、偏光フィルタ１１３を透過したそれぞれの光は、色フィルタの該偏光フィルタ１１１、偏光フィルタ１１２、偏光フィルタ１１３に対応する領域にそれぞれ入射する。
【００３５】
偏光フィルタ部１０１と色フィルタ部１０５とがこのような構成を有することにより、偏光フィルタ１１０ａに対応する画素で受光する光は、赤色の縦方向の偏光方向の光となり、偏光フィルタ１１０ｂに対応する画素で受光する光は緑色の縦方向の偏光方向の光となる。また、偏光フィルタ１１０ｃに対応する画素で受光する光は緑色の縦方向の偏光方向の光となり、偏光フィルタ１１０ｄに対応する画素で受光する光は青色の縦方向の偏光方向の光となる。
【００３６】
また、偏光フィルタ１１１ａに対応する画素で受光する光は、赤色の斜め右方向の偏光方向の光となり、偏光フィルタ１１１ｂに対応する画素で受光する光は緑色の斜め右方向の偏光方向の光となる。また、偏光フィルタ１１１ｃに対応する画素で受光する光は緑色の斜め右方向の偏光方向の光となり、偏光フィルタ１１１ｄに対応する画素で受光する光は青色の斜め右方向の偏光方向の光となる。
【００３７】
また、偏光フィルタ１１２ａに対応する画素で受光する光は、赤色の斜め左方向の偏光方向の光となり、偏光フィルタ１１２ｂに対応する画素で受光する光は緑色の斜め左方向の偏光方向の光となる。また、偏光フィルタ１１２ｃに対応する画素で受光する光は緑色の斜め左方向の偏光方向の光となり、偏光フィルタ１１２ｄに対応する画素で受光する光は青色の斜め左方向の偏光方向の光となる。
【００３８】
また、偏光フィルタ１１３ａに対応する画素で受光する光は、赤色の横方向の偏光方向の光となり、偏光フィルタ１１３ｂに対応する画素で受光する光は緑色の横方向の偏光方向の光となる。また、偏光フィルタ１１３ｃに対応する画素で受光する光は緑色の横方向の偏光方向の光となり、偏光フィルタ１１３ｄに対応する画素で受光する光は青色の横方向の偏光方向の光となる。
【００３９】
次に、図５を用いて、算出部１０３の偏光画素値の算出方法について詳しく説明する。図５では、縦方向の偏光方向のそれぞれの色の光は、偏光フィルタ１１０ａ〜ｄに対応するそれぞれ画素でしか受光されない。また、斜め右方向方の偏光方向のそれぞれの色の光は、偏光フィルタ１１１ａ〜ｄに対応するそれぞれの画素でしか受光されない。また、斜め左方向の偏光方向のそれぞれの色の光は、偏光フィルタ１１２ａ〜ｄに対応するそれぞれの画素でしか受光されない。また、横方向の偏光方向のそれぞれの色の光は、偏光フィルタ１１３ａ〜ｄに対応するそれぞれの画素でしか受光されない。したがって、それぞれの偏光方向のそれぞれの色の画像の解像度は、撮像素子の解像度の１／１６となる。そこで、それぞれの画素における、それぞれの偏光方向のそれぞれの色の偏光画素値を、それぞれの偏光方向のそれぞれの色の光を受光した画素の偏光画素値に基づいて算出する。つまり、それぞれの画素における、それぞれの偏光方向のそれぞれの色の偏光画素値分布を求める。
【００４０】
ここでは代表して、それぞれの偏光方向のうち、縦方向の偏光方向の赤色の偏光画素値の算出例を説明する。この偏光画素値の算出は、偏光フィルタ１１０ａを透過していないそれぞれの画素から所定距離以内にあり、且つ、偏光フィルタ１１０ａを透過した光を受光した画素の偏光画素値に基づいて、偏光フィルタ１１０ａを透過していないそれぞれの該画素における、赤色の縦方向の偏光方向の偏光画素値を算出する。また、偏光フィルタ１１０ａを透過していないそれぞれの画素から所定距離以内にあり、且つ、偏光フィルタ１１０ａを透過した光を受光した画素の偏光画素値に基づいて、偏光フィルタ１１０ａを透過していないそれぞれの該画素における、赤色の縦方向の偏光方向の偏光画素値を算出してもよい。
【００４１】
また、算出対象となる画素の位置に応じて、偏光フィルタ１１０を透過した光を受光した画素の偏光画素値を重み付けして算出対象となる画素の偏光画素値を算出してもよい。この重み付けは、例えば、算出対象となる画素に一番近い偏光フィルタ１１０に対応する画素の偏光画素値の重み付けを最も大きくしてもよい。
【００４２】
図６は、ある複数の画素において算出された赤色の縦方向の偏光画素値のグラフを示す。詳しくは、図６は、偏光フィルタ１１１ａ、偏光フィルタ１１０ｂ及び偏光フィルタ１１１ｂにそれぞれ対応する画素を算出対象の画素として、該算出対象となるそれぞれの画素から左右方向に所定距離以内にあり、且つ、偏光フィルタ１１０ａに対応する画素の偏光画素値に基づいて、算出対象となるそれぞれの画素の赤色の縦方向の偏光方向の偏光画素値のグラフを示す。図６のグラフは、横軸が画素の位置を示しており、縦方向が偏光画素値を示している。また、黒点は、偏光フィルタ１１０ａに対応する画素が実際に受光した偏光画素値を示しており、白点は、算出された偏光画素値を示している。図６を見ると、偏光フィルタ１１０ａに対応する画素の間には、偏光フィルタ１１１ａ、偏光フィルタ１１０ｂ、及び偏光フィルタ１１１ｂに対応する３つの画素があるので、実際に受光した偏光画素値の間に算出されている偏光画素値が３つある。
【００４３】
このように、偏光フィルタ１１０ａに対応する画素が実際に受光した偏光画素値に基づいて、赤色の縦方向の偏光方向の光を受光していない画素における、赤色の縦方向の偏光方向の偏光画素値を算出する。また、算出対象となる画素の偏光画素値の算出に用いられる偏光フィルタ１１０ａに対応する画素の範囲を決める所定距離を２画素以上としたほうが、偏光画素値の算出精度が上がる。また、算出対象となる画素の偏光画素値の算出に用いられる偏光フィルタ１１０に対応する画素の範囲を決める所定方向を多くした方向が、より精度よく偏光画素値を求めることができる。
【００４４】
また、偏光フィルタ１１０ａに対応する画素が実際に受光した偏光画素値に基づいて、スプライン関数により図６に示すような近似曲線を生成した後、該生成した近似曲線に基づいて、赤色の縦方向の偏光方向の光を受光していない偏光フィルタ１１１ａ、偏光フィルタ１１０ｂ、及び偏光フィルタ１１１ｂにそれぞれ対応する画素における縦方向の偏光方向の偏光画素値を割り当てるようにしてもよい。この生成した近似曲線が縦方向の偏光方向の各画素の偏光画素値分布となる。
【００４５】
また、実際に受光した該ある色のある偏光方向の偏光画素値に基づいて、該ある色の該ある偏光方向以外の光を受光した画素における、該ある色の該ある偏光方向の偏光画素値を算出するようにしたが、該ある色の該ある偏光方向の光を実際に受光した画素における、該ある色のある偏光方向の偏光画素値も一緒に算出するようにしてもよい。つまり、実際に受光した偏光画素値を修正するようにしてもよい。算出された該ある色の該ある偏光方向の各画素の偏光画素値分布が滑らかになるように算出又は修正する。
【００４６】
上述した方法により、ある色のある偏光方向の光を受光した偏光画素値に基づいて、該ある色の該ある偏光方向の光を受光していない画素における、該ある色の該ある偏光方向の偏光画素値を求めることができる。これにより、それぞれの色のそれぞれの偏光方向の偏光画素値を得ることができ、それぞれの色のそれぞれの偏光方向の画像の解像度を上げることができる。
【００４７】
なお、同一の偏光方向の同一の色の光を受光した画素の偏光画素値に基づいて、他の偏光方向の該同一の色の光を受光した画素における、該同一の偏光方向の偏光画素値を算出するようにしてもよい。例えば、縦方向の偏光方向の赤色の光を受光した画素の偏光画素値に基づいて、他の偏光方向の赤色の光を受光した画素における、縦方向の偏光方向の赤色の偏光画素値を算出する。このように、それぞれ偏光方向が異なる同一の色の光を受光した画素の偏光画素値に基づいて、該同一の光を受光した画素における、同一の色の異なるそれぞれの偏光方向の偏光画素値を算出する。
【００４８】
この偏光画素値の算出は、ある偏光方向以外の偏光方向のある色の光を受光したそれぞれの画素から所定距離以内にあり、且つ、該ある偏光方向の該ある色の光を受光した画素の偏光画素値に基づいて、該ある偏光方向以外の偏光方向の該ある色の光を受光したそれぞれの画素における、該ある偏光方向の該ある色の偏光画素値を算出してもよい。例えば、赤色の縦方向以外の偏光方向の光を受光したそれぞれの画素から所定距離以内にあり、且つ、偏光フィルタ１１０ａに対応する画素の偏光画素値に基づいて、赤色の縦方向以外の偏光方向の光を受光したそれぞれの該画素における、縦方向の偏光方向の赤色の偏光画素値を算出する。
【００４９】
また、偏光画素値の算出は、ある偏光方向以外の偏光方向のある色の光を受光したそれぞれの画素から所定方向に所定距離以内にあり、且つ、該ある偏光方向の該ある色の光を受光した画素の偏光画素値に基づいて、該ある偏光方向以外の偏光方向の該ある色の光を受光したそれぞれの画素における、該ある偏光方向の該ある色の偏光画素値を算出してもよい。例えば、赤色の縦方向以外の偏光方向の光を受光したそれぞれの画素から所定方向に所定距離以内にあり、且つ、偏光フィルタ１１０ａに対応する画素の偏光画素値に基づいて、赤色の縦方向以外の偏光方向の光を受光した、偏光フィルタ１１１ａ、偏光フィルタ１１２ａ、及び偏光フィルタ１１３ａにそれぞれ対応する該画素における、縦方向の偏光方向の赤色の偏光画素値を算出する。これによっても、画像の解像度を上げることができる。
【００５０】
また、同一の偏光方向の同一の色の光を受光した画素の偏光画素値に基づいて、他の色の光を受光した画素における、該同一の色の該同一の偏光方向の偏光画素値を算出するようにしてもよい。例えば、縦方向の赤色の光を受光した画素の偏光画素値に基づいて、他の色の光を受光した画素における、縦方向の赤色の偏光画素値を算出する。このように、それぞれ偏光方向が異なる同一の色の光を受光した画素の偏光画素値に基づいて、他の色の光を受光した画素における、該同一の色の異なるそれぞれの偏光方向の偏光画素値を算出する。
【００５１】
この偏光画素値の算出は、ある色以外の色の光を受光したそれぞれの画素から所定距離以内にあり、且つ、ある偏光方向の該ある色の光を受光した画素の偏光画素値に基づいて、該ある色以外の色の光を受光したそれぞれの画素における、該ある偏光方向の該ある色の偏光画素値を算出してもよい。例えば、赤色以外の光を受光したそれぞれの画素から所定距離以内にあり、且つ、偏光フィルタ１１０ａに対応する画素の偏光画素値に基づいて、赤色以外の光を受光したそれぞれの画素における、赤色の縦方向の偏光画素値を算出する。
【００５２】
また、偏光画素値の算出は、ある色以外の色の光を受光したそれぞれの画素から所定方向に所定距離以内にあり、且つ、ある偏光方向の該ある色の光を受光した画素の偏光画素値に基づいて、該ある色以外の色の光を受光したそれぞれの画素における、該ある偏光方向の該ある色の偏光画素値を算出してもよい。例えば、赤色以外の光を受光したそれぞれの画素から所定方向に所定距離以内にあり、且つ、偏光フィルタ１１０ａに対応する画素の偏光画素値に基づいて、赤色以外の光を受光したそれぞれの画素における、赤色の縦方向の偏光画素値を算出する。これによっても画像の解像度を上げることができる。
【００５３】
変形例
上記第２の実施の形態を以下のように変形してもよい。
【００５４】
（１）図７は、変形例における、偏光フィルタ部１０１、色フィルタ部１０５との対応関係を示す。偏光フィルタ部１０１は、偏光方向が異なる光をそれぞれ透過する複数の偏光フィルタをそれぞれ含む複数の偏光フィルタユニット１０８を備える。偏光フィルタユニット１０８は、縦方向の偏光方向の光を透過する偏光フィルタ１３０と、斜め右方向の偏光方向の光を透過する偏光フィルタ１３１と、斜め左方向の偏光方向の光を透過する偏光フィルタ１３２と、横方向の偏光方向の光を透過する偏光フィルタ１３０とを有する。また、色フィルタ部１０５は、異なる色の光をそれぞれ透過する複数の色フィルタをそれぞれ含む複数の色フィルタユニット１０９を備える。色フィルタユニット１０９は、赤色の光を透過するＲの色フィルタ１４０と、緑色の光を透過するＧの色フィルタ１４１及びＧの色フィルタ１４２と、青色の光を透過するＢの色フィルタ１４３とを有する。
【００５５】
ここで、第２の実施の形態と異なる点は、偏光フィルタ１３０を透過した光が色フィルタユニット１０９ａに入射する。このとき、偏光フィルタ１３０をそれぞれ透過した光は、色フィルタユニット１０９ａの対応する領域にある色フィルタに入射する。また、偏光フィルタ１３１を透過した光が色フィルタユニット１０９ｂに入射する。このとき、偏光フィルタ１３１をそれぞれ透過した光は、色フィルタユニット１０９ｂの対応する領域にある色フィルタに入射する。同様に、偏光フィルタ１３２と、偏光フィルタ１３３とをそれぞれ透過した光も、色フィルタユニット１０９ｃと、色フィルタユニット１０９ｄのそれぞれ対応する色フィルタに入射する。
【００５６】
また、本変形例では、撮像素子のそれぞれの画素に対応して偏光フィルタが設けられているのではなく、撮像素子のそれぞれの画素に対応して色フィルタが設けられている。つまり、色フィルタと画素とは１対１応で設けられており、それぞれの色フィルタを透過した光を対応する画素がそれぞれ受光する。したがって、色フィルタ１４０ａに対応する画素は、赤色の縦方向の偏光方向の光を受光することになり、色フィルタ１４１ａ及び色フィルタ１４２ａに対応する画素は、緑色の縦方向の偏光方向の光を受光することになる。また、色フィルタ１４３ａに対応する画素は、青色の縦方向の偏光方向の光を受光することになる。
【００５７】
また、色フィルタ１４０ｂと、色フィルタ１４１ｂ及び色フィルタ１４２ｂと、及び色フィルタ１４３ｂとに対応するそれぞれの画素は、それぞれ斜め右方向のそれぞれ異なる色の光を受光することになる。また、色フィルタ１４０ｃと、色フィルタ１４１ｃ及び色フィルタ１４２ｃと、及び色フィルタ１４３ｃとに対応するそれぞれの画素は、それぞれ斜め左方向のそれぞれ異なる色の光を受光することになる。また、色フィルタ１４０ｄと、色フィルタ１４１ｄ及び色フィルタ１４２ｄと、及び色フィルタ１４３ｄとに対応するそれぞれの画素は、それぞれ横方向のそれぞれ異なる色の光を受光することになる。
【００５８】
本変形例での、算出部１０３の偏光画素値の算出方法は、第２の実施の形態と同様であり、ある偏光方向のある色の光を受光した画素の偏光画素値に基づいて、該ある偏光方向の該ある色の光を受光していない画素における、該ある偏光方向の該ある色の偏光画素値を算出する。また、ある偏光方向のある色の光を受光した画素の偏光画素値に基づいて、該ある偏光方向以外の偏光方向の該ある色の光を受光した画素における、該ある偏光方向の該ある色の光の偏光画素値を算出してもよい。また、ある偏光方向のある色の光を受光した画素の偏光画素値に基づいて、該ある色以外の色の光を受光した画素における、該ある偏光方向の該ある色の偏光画素値を算出してもよい。
【００５９】
（２）また、偏光フィルタ部１０１と色フィルタ部１０５との配置を逆にしてもよい。つまり、第２の実施の形態では、光が入射する側から順に偏光フィルタ部１０１と色フィルタ部１０５とを設けるようにしたが、光が入射する側から順に色フィルタ部１０５と偏光フィルタ部１０１とを設けるようにしてもよい。また、上記実施の形態では、偏光方向の変調のみのケースであったが、任意の偏光パラメータが変調しているケースであってもよい。例えば、偏光方向と位相差の両者が変調しているケースであってもよい。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【図面の簡単な説明】
【００６２】
【図１】第１の実施の形態にかかる撮像装置１００の構成の一例を示す。
【図２】偏光フィルタ部１０１の構成を示す。
【図３】ある複数の画素において算出された縦方向の偏光画素値のグラフを示す。
【図４】第２の実施の形態にかかる撮像装置１００の構成の一例を示す。
【図５】偏光フィルタ部１０１と色フィルタ部１０５との対応関係を示す。
【図６】ある複数の画素において算出された赤色の縦方向の偏光画素値のグラフを示す。
【図７】変形例における、偏光フィルタ部１０１、色フィルタ部１０５との対応関係を示す。
【符号の説明】
【００６３】
１００      撮像装置
１０１      偏光フィルタ部
１０２      撮像部
１０３      算出部
１０４      表示部
１０５      色フィルタ部
１０６      偏光フィルタユニット
１０７      色フィルタユニット
１０８      偏光フィルタユニット
１０９      色フィルタユニット
１１０      偏光フィルタ
１１１      偏光フィルタ
１１２      偏光フィルタ
１１３      偏光フィルタ
１２０      色フィルタ
１２１      色フィルタ
１２２      色フィルタ
１２３      色フィルタ
１３０      偏光フィルタ
１３１      偏光フィルタ
１３２      偏光フィルタ
１３３      偏光フィルタ
１４０      色フィルタ
１４１      色フィルタ
１４２      色フィルタ
１４３      色フィルタ
【図１】
2010087905.tif 000003
【図２】
2010087905.tif 000004
【図３】
2010087905.tif 000005
【図４】
2010087905.tif 000006
【図５】
2010087905.tif 000007
【図６】
2010087905.tif 000008
【図７】
2010087905.tif 000009