"各々が異なる視点画像に相当する異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第2偏光手段の前記第3偏光領域の透過光に基づく画像と、前記第2偏光手段の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置。前記画像補正部は、前記第2偏光手段の第3偏光領域と第4偏光領域に対応する画素である偏光領域画素PL画素と偏光領域画素隣接画素PL画素隣接画素の輝度を、前記全透過領域に対応する全透過領域画素N画素の輝度に合わせる輝度補正を実行する輝度補正部と、偏光領域画素PL画素単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する反射検出部と、偏光領域画素PL画素単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する勾配検出部と、前記反射情報と前記勾配情報に応じて参照画素を選択して、選択参照画素の画素値を適用して、前記偏光領域画素PL画素の画素値補間処理を実行する補間処理部を有する請求項1に記載の画像処理装置。前記補間処理部は、補間処理対象となる非偏光領域画素N画素の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある画素を参照画素とした補間処理を実行する請求項2に記載の画像処理装置。前記補間処理部は、補間処理対象となる非偏光領域画素N画素の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある非偏光領域画素N画素を参照画素とした補間処理を実行する請求項2に記載の画像処理装置。前記補間処理部は、補間処理対象となる偏光領域画素PL画素の反射情報が反射ありを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素N画素を参照画素として選択し、選択した参照画素を適用した補間処理を実行する請求項2に記載の画像処理装置。前記補間処理部は、補間処理対象となる偏光領域画素PL画素の反射情報が反射なしを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素N画素または偏光領域画素PL画素を参照画素として選択し、選択した参照画素を適用した補間処理を実行する請求項2に記載の画像処理装置。前記補間処理部は、前記第1偏光手段を光路上から外して撮影した2Dモードの撮影画像に対する補間処理に際して、補間処理対象となる偏光領域画素PL画素の反射情報が反射なしを示している場合には、偏光領域画素PL画素の補間処理を行うことなく前記輝度補正部における輝度補正が施された画素値を出力する請求項2に記載の画像処理装置。前記輝度補正部は、輝度補正対象となる偏光領域画素PL画素または偏光領域画素隣接画素PL画素隣接画素の近傍にある全透過領域画素N画素との輝度比率に対応するゲインを算出し、輝度補正対象画素に対して算出ゲインを乗じて輝度補正を実行する請求項2に記載の画像処理装置。前記反射検出部は、前記第2偏光手段の前記第3偏光領域の位置に対応する撮像素子の画素値と、前記第2偏光手段の前記第4偏光領域の位置に対応する撮像素子の画素値との差分を検出して、該差分に基づいて偏光領域画素PL画素の画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する請求項2に記載の画像処理装置。前記画像補正部は、前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する請求項1に記載の画像処理装置。前記インデックスは、画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む請求項10に記載の画像処理装置。画像処理装置において実行する画像処理方法であり、前記画像処理装置は、各々が異なる視点画像に相当する異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部が、前記第2偏光手段の前記第3偏光領域の透過光に基づく画像と、前記第2偏光手段の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出処理と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正処理と、前記視差検出処理において生成した視差情報を適用して、前記画像補正処理において生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成処理を実行する画像処理方法。画像処理装置において画像処理を実行させるプログラムであり、前記画像処理装置は、各々が異なる視点画像に相当する異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記プログラムは、前記画像処理部に、前記第2偏光手段の前記第3偏光領域の透過光に基づく画像と、前記第2偏光手段の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出処理と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正処理と、前記視差検出処理において生成した視差情報を適用して、前記画像補正処理において生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成処理を実行させるプログラム。ところで、上記の特許文献1特公平6-054991号公報に開示された技術にあっては、2つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならず、レンズ系において光の損失が発生し、また、装置の小型化が困難であるなどの問題がある。また、上記の特許文献2特開2004-309868号公報に開示された技術にあっては、レンズおよび偏光フィルタの組合せを2組、必要とし、装置の複雑化、大型化が免れない。本開示は、例えば上記の問題に鑑みてなされたものであり、1台の撮像装置によって撮影される画像に対する処理を実行して立体画像として観察可能な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。例えば、3次元画像表示に適用する画像の生成に利用される2次元画像の補間処理を実行する構成を有する画像処理装置、および画像処理方法、並びにプログラムを提供する。本開示の第1の側面は、各々が異なる視点画像に相当する異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第2偏光手段の前記第3偏光領域の透過光に基づく画像と、前記第2偏光手段の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記第2偏光手段の第3偏光領域と第4偏光領域に対応する画素である偏光領域画素PL画素と偏光領域画素隣接画素PL画素隣接画素の輝度を、前記全透過領域に対応する全透過領域画素N画素の輝度に合わせる輝度補正を実行する輝度補正部と、偏光領域画素PL画素単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する反射検出部と、偏光領域画素PL画素単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する勾配検出部と、前記反射情報と前記勾配情報に応じて参照画素を選択して、選択参照画素の画素値を適用して、前記偏光領域画素PL画素の画素値補間処理を実行する補間処理部を有する。さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、補間処理対象となる非偏光領域画素N画素の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある画素を参照画素とした補間処理を実行する。さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、補間処理対象となる非偏光領域画素N画素の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある非偏光領域画素N画素を参照画素とした補間処理を実行する。さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、補間処理対象となる偏光領域画素PL画素の反射情報が反射ありを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素N画素を参照画素として選択し、選択した参照画素を適用した補間処理を実行する。さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、補間処理対象となる偏光領域画素PL画素の反射情報が反射なしを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素N画素または偏光領域画素PL画素を参照画素として選択し、選択した参照画素を適用した補間処理を実行する。さらに、本開示の画像処理装置の一実施態様において、前記補間処理部は、前記第1偏光手段を光路上から外して撮影した2Dモードの撮影画像に対する補間処理に際して、補間処理対象となる偏光領域画素PL画素の反射情報が反射なしを示している場合には、偏光領域画素PL画素の補間処理を行うことなく前記輝度補正部における輝度補正が施された画素値を出力する。さらに、本開示の画像処理装置の一実施態様において、前記輝度補正部は、輝度補正対象となる偏光領域画素PL画素または偏光領域画素隣接画素PL画素隣接画素の近傍にある全透過領域画素N画素との輝度比率に対応するゲインを算出し、輝度補正対象画素に対して算出ゲインを乗じて輝度補正を実行する。さらに、本開示の画像処理装置の一実施態様において、前記反射検出部は、前記第2偏光手段の前記第3偏光領域の位置に対応する撮像素子の画素値と、前記第2偏光手段の前記第4偏光領域の位置に対応する撮像素子の画素値との差分を検出して、該差分に基づいて偏光領域画素PL画素の画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する。さらに、本開示の画像処理装置の一実施態様において、前記画像補正部は、前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する。さらに、本開示の画像処理装置の一実施態様において、前記インデックスは、画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む。さらに、本開示の第2の側面は、画像処理装置において実行する画像処理方法であり、前記画像処理装置は、各々が異なる視点画像に相当する異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部が、前記第2偏光手段の前記第3偏光領域の透過光に基づく画像と、前記第2偏光手段の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出処理と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正処理と、前記視差検出処理において生成した視差情報を適用して、前記画像補正処理において生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成処理を実行する画像処理方法にある。さらに、本開示の第3の側面は、画像処理装置において画像処理を実行させるプログラムであり、前記画像処理装置は、各々が異なる視点画像に相当する異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記プログラムは、前記画像処理部に、前記第2偏光手段の前記第3偏光領域の透過光に基づく画像と、前記第2偏光手段の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出処理と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正処理と、前記視差検出処理において生成した視差情報を適用して、前記画像補正処理において生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成処理を実行させるプログラムにある。なお、本開示のプログラムは、例えば、様々なプログラムコードを実行可能な情報処理装置やコンピュータシステムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータシステム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本開示の一実施例の構成によれば、3次元画像表示に適用する画像の生成に利用する2次元画像の補間処理を行う構成が提供される。一例として本開示の画像処理装置は、各々が異なる視点画像に相当する異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、第1偏光領域の透過光のみを透過させる第3偏光領域と、第2偏光領域の透過光のみを透過させる第4偏光領域と、第1、第2偏光領域の全透過光を透過させる全透過領域からなる第2偏光手段と、撮像素子と、撮像素子の出力信号に対する信号処理を実行する画像処理部を有する。本構成において、画像処理部は、撮像素子からの入力画像に対して、反射光の有無や勾配情報を適用した補正処理を実行して2次元画像を生成し、さらに第3偏光領域と第4偏光領域の各透過光に基づいて生成する視差情報を適用して2次元画像の画像変換を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する。本構成により、反射光や勾配情報を考慮した補間処理によってエラーの少ない2次元画像の生成が可能となり、高品質な2次元画像をベースとした2D3D変換処理によって、より高精度な3次元画像表示ようの左眼用画像と右眼用画像を生成することが可能となる。以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。1.本開示の画像処理装置の基本構成と処理例について2.補間処理の具体的処理例について2-1.2D画像撮影モードでの撮影画像に対する補間処理例2-2.3D画像撮影モードでの撮影画像に対する補間処理例12-3.3D画像撮影モードでの撮影画像に対する補間処理例22-4.3D画像撮影モードでの撮影画像に対する補間処理例33.本開示の構成のまとめ[1.本開示の画像処理装置の基本構成と処理例について]まず、本開示の画像処理装置の基本構成と処理例について説明する。図1は、画像処理装置の一例である撮像装置の構成を示している。図1Aに示す撮像装置10の撮影レンズ11を介して撮影被写体に対応する入射光が入力する。撮影レンズ11を介した入射光は、第1偏光部12、絞り13、結像レンズ14、第2偏光部15を介して撮像素子16に入力される。なお、図1Aは、撮像装置カメラ10を上から見た図、すなわち上面図である。図1Aの左下に撮像装置10と撮影者20の概略図と、XYZ座標軸を示しているように、図1Aの撮像装置の構成図は、撮像装置カメラ10を上から見た図である。図1Aの中央付近に示す点線縦ラインX軸に示すように、図1Aの上側が撮影者から見て右R側であり、図1Aの下側が撮影者から見て左L側となる。撮像素子16は、例えばCCD、CMOS等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部17に出力する。画像処理部17では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部18に格納する。画像処理部17の構成と処理の詳細については後述する。図1Aに示す構成において、第1偏光部12は、図1Bに示す構成を有し、第2偏光部15は、図1Cに示す構成を有する。第1偏光部12は、図1Bに示すように、左右に2分割されており、左半分の領域に垂直偏光領域12V、右半分の領域に水平偏光領域12H、これらの異なる偏光領域が構成されている。なお、これらの偏光領域は例えば偏光フィルタを用いて構成される。垂直偏光領域12Vは、垂直方向の偏波光のみを通過させ、垂直偏光領域12Vを通過した光は、垂直方向の偏波光となる。水平偏光領域12Hは、水平方向の偏波光のみを通過させ、水平偏光領域12Hを通過した光は、水平方向の偏波光となる。図1Bに示す重心点31は、垂直偏光領域12Vの重心位置である。この垂直偏光領域12Vの透過光は、重心点31を視点として観察した画像に相当する。同様に、図1Bに示す重心点32は、水平偏光領域12Hの重心位置である。この水平偏光領域12Hの透過光は、重心点32を視点として観察した画像に相当する。すなわち、垂直偏光領域12Vの重心位置である重心点31を視点として観察した画像は、左眼からの観察画像である左眼視点画像L画像に対応し、水平偏光領域12Hの重心位置である重心点32を視点として観察した画像は、右眼からの観察画像である右眼視点画像R画像に対応する。このように、第1偏光部12を透過する画像は、左右の2つの異なる視点画像を、それぞれ垂直偏波光と水平偏波光として透過させることになる。この2つの異なる視点画像、すなわち、左眼用画像に相当するL画像垂直偏波光、右眼用画像に相当するR画像水平偏波光、これらの光は、結像レンズ14を介して、第2偏光部15に到達する。なお、以下の説明において、右眼用画像は右眼画像、左眼用画像は左眼画像と簡略化して表記する。第2偏光部15は図1Cに示す構成を持つ。第2偏光部15は、図1Cに示すように、水平偏光領域15H、垂直偏光領域15V、全透過非偏光領域15A、これらの3種類の領域を上から順に繰り返し設定した構成を有する。水平偏光領域15Hは、水平方向の偏波光を選択的に透過して撮像素子16に水平偏波光のみを結像させる。垂直偏光領域15Vは、垂直方向の偏波光を選択的に透過して撮像素子16に垂直偏波光のみを結像させる。全透過非偏光領域15Aは、水平方向の偏波光も垂直方向の偏波光もすべて透過し、すべつの入射光を撮像素子16に結像させる。なお、第2偏光部15に設定される各偏光領域は、例えばワイヤグリッド偏光子を用いて構成される。微細なワイヤ例えばAlアルミ線を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。図2に、第2偏光部15と、第2偏光部15の透過光を受光する撮像素子16を重ねた図を示す。撮像素子16は、RGB配列ベイヤー配列を有する撮像素子を例として示している。図2に示す構成例は、第2偏光部15に設定される垂直偏光領域15Vと、水平偏光領域15Hは、撮像素子の2ライン単位で隣接して設定され、全透過非偏光領域15Aは12ライン単位で設定した例である。すなわち、a2ラインの垂直偏光領域15V、b2ラインの水平偏光領域15H、c12ラインの全透過非偏光領域15V、これらa~cの3種類の領域が、撮像素子16の縦方向Y方向に繰り返し設定される。水平偏光領域15Hは、水平方向の偏波光、すなわち、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光のみを選択的に透過して撮像素子16に右眼画像R画像を結像させる。垂直偏光領域15Vは、垂直方向の偏波光、すなわち、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光のみを選択的に透過して撮像素子16に左眼画像L画像を結像させる。全透過非偏光領域15Aは、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光と、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光との両画像を透過させる。この画像は、図1Bに示す重心点31と重心点32の中心位置である中心点33から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常の単眼カメラで撮影した通常画像と同様の画像となる。図2に示す構成例は、第2偏光部15の一構成例であり、垂直偏光領域15Vと、水平偏光領域15Hは、撮像素子の2ライン単位で隣接して設定され、全透過非偏光領域15Aは12ライン単位で設定した例である。第2偏光部15の構成としては、この他にも様々な構成が可能である。例えば図3に示すように、垂直偏光領域15Vと、水平偏光領域15Hをそれぞれ矩形領域に設定し、これらを交互に配置した構成も設定可能である。図4は、図3に示す第2偏光部とRGB配列の撮像素子16を重ねて示した図である。図4に示す例は、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hを設定し、これらを交互に配置している2行の領域、14行の全透過非偏光領域15A、これらを縦方向Y方向に繰り返して配置した構成である。本構成においては、2×2の4画素からなる矩形領域からなる水平偏光領域15Hは、水平方向の偏波光、すなわち、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光のみを選択的に透過して撮像素子16に右眼画像R画像を結像させる。2×2の4画素からなる矩形領域からなる垂直偏光領域15Vは、垂直方向の偏波光、すなわち、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光のみを選択的に透過して撮像素子16に左眼画像L画像を結像させる。全透過非偏光領域15Aは、Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光と、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光との両画像を透過させる。この画像は、図1Bに示す重心点31と重心点32の中心位置である中心点33から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない中心点33から観察した通常画像と同様の画像となる。図5は、図1に示す画像処理部17の詳細構成を説明する図である。撮像素子16は、図2~図4を参照して説明したように、a垂直偏光領域、b水平偏光領域、c全透過非偏光領域、これらの3種類の領域に区分され、それぞれの領域対応の信号を画像処理部17に入力する。なお、以下の説明において、撮像素子16におけるa垂直偏光領域とb水平偏光領域に対応する画素を、PLPolarized=偏光画素と呼ぶ。c全透過非偏光領域に対応する画素を、NNon-polarized非偏光画素と呼ぶ。撮像素子16の出力は、PL画素出力=垂直偏光領域と水平偏光領域対応画素の出力、N画素出力=全透過非偏光領域対応画素の出力これらの出力によって構成される。ここでは、図3、図4を参照して説明した第2偏光部15と撮像素子16の組み合わせ構成を持つ撮像素子16からPL画素出力とN画素出力を画像処理部17に出力した場合の処理例について説明する。すなわち、撮像素子16は、図4を参照して説明したように、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域と、14行の全透過非偏光領域15A、これらが縦方向Y方向に繰り返して配置された構成を持つ。図5に示す撮像素子16から出力される画素信号は、画像処理部17の偏光画素分離部51において、偏光領域画素PL画素と、非偏光領域画素N画素と、これらの各領域の画素出力の分離処理が実行される。偏光画素分離部51の分離処理によって分離されたN画素信号非偏光画素信号61は、画像補正部52に入力される。画像補正部52は、N画素信号非偏光画素信号61から欠落した画素領域、すなわち、PL画素領域の画素についての画素補間処理を実行する。具体的には、例えば、PL画素領域の画素値を、上下のN画素の画素値を参照して算出して設定する補間処理を実行する。この画素補間処理によって、画素値の欠落している全てのPL画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像2D-Raw画像62を生成する。補間画像2D-Raw画像62は各画素にRGBのいずれかの画素値の設定された画像である。画像補正部52の生成する補間画像2D-Raw画像62は、撮像素子16の構成画素の全ての画素にN画素信号非偏光画素信号が設定された画像となる。この画像は、図1Bに示す第1偏光部12の中心点33から観察した画像に相当する1枚の2D2次元Raw画像である。画像補正部52の生成した補間画像2D-Raw画像62は、デモザイク処理部53に入力される。デモザイク処理部53は、補間画像2D-Raw画像62に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の2次元画像に変換する。デモザイク処理は、全ての画素位置に全ての色信号、例えばRGBの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。デモザイク処理部53の生成した2D-RGB画像63は、視差画像生成部56に入力される。一方、偏光画素分離部51の分離処理によって生成されるもう1つの分離信号であるPL画素信号偏光画素信号65は、非偏光領域画素N画素の画素値を持たない、偏光領域画素PL画素の画素値のみからなる画像信号となる。このPL画素信号偏光画素信号65は、偏光画素補間処理部54に入力される。ここで説明する処理例は、図4を参照して説明した2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域と、14行の全透過非偏光領域15A、これらが縦方向Y方向に繰り返して配置された構成である。従って、偏光画素分離部51の分離処理によって生成されるPL画素信号偏光画素信号65は、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域が、縦方向に14行おきに設定された画像となる。偏光画素補間処理部54は、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域のみを処理対象として選択し、これらのPL画素領域について図6に示す処理を実行する。すなわち、偏光画素補間処理部54は、PL画素信号偏光画素信号65に含まれるPL画素領域について、すべてを垂直偏光領域15Vに対応する画素値を設定した左眼画像信号垂直偏光画像信号66a、すべてを水平偏光領域15Hに対応する画素値を設定した右眼画像信号水平偏光画像信号66b、これらの各画像を生成する。なお、図6に示す左眼画像信号垂直偏光画像信号66aは、PL画素信号偏光画素信号65に含まれるPL画素領域の水平偏光画素領域の画素値をリセット取り除き、近傍の垂直偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。同様に、図6に示す右眼画像信号水平偏光画像信号66bは、PL画素信号偏光画素信号65に含まれるPL画素領域の垂直偏光画素領域の画素値をリセット取り除き、近傍の水平偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。この結果、左眼画像信号垂直偏光画像信号66aに含まれる画素値の設定された画像は、図1Bに示す第1偏光部12の左側の重心点31から見た画像、すなわち左眼画像に対応する画像となる。同様に、右眼画像信号水平偏光画像信号66bに含まれる画素値の設定された画像は、図1Bに示す第1偏光部12の右側の重心点32から見た画像、すなわち右眼画像に対応する画像となる。このように、偏光画素補間処理部54は、PL画素信号偏光画素信号65に含まれるPL画素領域について、左眼画像、右眼画像のそれぞれ水平方向に欠落している情報を補間して入力画像と同等の水平画素数を持つ、左眼画像信号垂直偏光画像信号66a、右眼画像信号水平偏光画像信号66b、を生成する。偏光画素補間処理部54の生成したこれらの画像は、視差検出部55に入力される。視差検出部55は、水平画素数が入力画像と同等の画素数を有する図6に示す、左眼画像信号垂直偏光画像信号66a、右眼画像信号水平偏光画像信号66b、これらの2つの画像に対して、例えばブロックマッチング処理等を用いて、対応画素を比較し、被写体ずれ量を求めることにより視差情報としての被写体距離を検出する。すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。視差検出部55は、例えば各画素対応の被写体距離情報を持つデフスマップ67を生成して出力する。なお、デプスマップ67は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。具体的には、例えば、被写体距離が小カメラに近いの領域は高輝度、被写体距離が大カメラから遠いの領域は低輝度、視差検出部55は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部56に出力する。なお、偏光画素補間処理部54の生成する、左眼画像信号垂直偏光画像信号66a、右眼画像信号水平偏光画像信号66b、これらの画像は、図6に示すように、入力画像中のN画素非偏光画素領域については、画像信号を有していないが、視差検出部55は、これらの画素値を持たないN画素非偏光画素領域については、左眼画像信号垂直偏光画像信号66aに基づく補間画素値を設定した左眼画像と、右眼画像信号水平偏光画像信号66bに基づく補間画素値を設定した右眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。なお、画素値補間処理には、例えば線形補間処理等が利用可能である。視差画像生成部56は、デモザイク処理部53から出力される2次元画像である2D-RGB画像63と、視差検出部55から出力される視差情報としてのデプスマップ67を用いて、左眼画像L画像71と、右眼画像R画像72の2枚の画像を生成する。すなわち、2D-RGB画像63に対して、視差情報としてのデプスマップ67に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像L画像71と、右眼画像R画像72を生成して出力する。なお、この視差画像生成部56において実行する画像変換処理は、1枚の2次元画像2D画像に基づく画像変換により3次元画像表示に適用可能な左眼画像L画像71と、右眼画像R画像72を生成して出力する処理であり、一般的には例えば2D3D変換処理と呼ばれる処理である。1枚の2次元画像2D画像に基づく対する画像変換により3次元画像表示に適用可能な左眼画像L画像と、右眼画像R画像を生成する2D3D変換処理については、様々な処理が提案されており、視差画像生成部56においては、既存の手法を適用した2D3D変換処理を行う。具体的には、例えば、視差検出部55から出力される視差情報としてのデプスマップ67を用いて、2D-RGB画像63に対して視差に応じた画像シフト処理を実行して左眼画像L画像71と、右眼画像R画像72の2枚の画像を生成する。例えば本出願人の先の特許出願である特願2009-283080号に記載した構成を適用した2D3D変換を実行する構成としてもよい。このように、視差画像生成部56は、デモザイク処理部53から入力する2D-RGB画像63に対して、視差検出部55から入力するデプスマップ67を利用して被写体距離に応じた視差設定を実行する2D3D変換処理を実行して3D画像表示に適用する左眼図像L画像71、右眼画像R画像72を生成して画像出力部57を介して出力する。上述したように、図5に示す画像処理部17は、撮像素子16上に配置した偏光子に応じて取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得し、これらの画像に基づしいて視差情報としてのデプスマップを生成する。さらに、偏光子を配置しない画素によって通常の2次元画像を取得して、これらの情報から画像処理によって3D画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。なお、上述の実施例では、図1他を参照して説明した第1偏光部12が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる2つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。なお、第2偏光部15は、第1偏光部12の偏光領域の設定に対応させて、第1偏光部12に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。[2.補間処理の具体的処理例について]先に説明した図5に示す画像処理部17の画像補正部52は、偏光画素分離部51から入力する全透過画素からなるN画素非偏光画素信号61を入力し、N画素非偏光画素信号61に含まれないPL画素偏光画素領域の画素値を補間処理によって設定する処理を実行する。図7に示すように撮像装置10は、画像の撮影モードを、2D画像を撮影する2Dモード、3次元画像の表示に適用可能な左眼用画像と右眼用画像を撮影する3Dモード、これらの各モードの切り替えが可能な構成を持つ。図7に示すように、A3Dモードでは第1偏光部12が光路上に設定される。B2Dモードでは第1偏光部12が光路上から除去される。3Dモードで撮影された場合は、前述したように、PL画素偏光画素に以下の画像が撮影される。垂直偏光画素に左眼用画像図1Bの重心点31から見た画像、水平偏光画素に右眼用画像図1Bの重心点32から見た画像、これらの画像が撮影され、全透過画素であるN画素非偏光画素には、レンズ中央から見た画像図1Bの中心点33から見た画像、これらの画像が撮影される。一方、図7Bに示す2Dモードの設定では、第1偏光部12が光路上に存在しないので、第2偏光部15によって撮像素子16に対する入射光が制御されるのみとなる。この場合、PL画素偏光画素としての垂直偏光画素、水平偏光画素、N画素非偏光画素としての全透過画素はいずれも、レンズ中央から見た画像図1Bの中心点33から見た画像が撮影される。しかし、PL画素偏光画素としての垂直偏光画素、水平偏光画素の入射光量は、偏光処理によって、N画素非偏光画素の入射光より少なくなる。すなわち輝度の低下が発生することになる。これは3Dモードでの撮影処理においても同様である。先に図5参照して説明した画像補正部52は、偏光画素分離部51から入力する全透過画素からなるN画素非偏光画素信号61のみを入力し、N画素非偏光画素信号61に含まれないPL画素偏光画素領域の画素値を補間処理によって設定する処理を実行する処理例として説明した。以下において説明する実施例では、図8に示すように、画像補正部100は、偏光画素分離部51から、全画素信号81を入力する。すなわち、全透過画素からなるN画素非偏光画素信号PL画素偏光画素信号、これらの全信号を入力する。図8に示す画像補正部100は、このように撮像素子の生成信号をすべて入力して、補間画像2D-Raw画像62を生成する。以下、この画像補正部52の実行する複数の具体的な処理例について順次説明する。以下の各処理態様について、順次説明する。12D画像撮影モードでの撮影画像に対する補間処理例23D画像撮影モードでの撮影画像に対する補間処理例133D画像撮影モードでの撮影画像に対する補間処理例243D画像撮影モードでの撮影画像に対する補間処理例3[2-1.2D画像モードでの撮影画像に対する補間処理例]まず、撮像装置において2次元画像を撮影する2D画像撮影モードでの撮影画像に対する補間処理例について説明する。図8に示す画像補正部100の詳細構成を図9に示す。図9に示すように画像補正部100は、輝度補正部101、勾配検出部102、反射検出部103、補間処理部104、これらの構成を有する。画像補正部100は、前述したように、図8に示す偏光画素分離部51から、全画素信号81を入力する。すなわち、全透過画素からなるN画素非偏光画素信号PL画素偏光画素信号、これらの全信号を入力する。画像補正部100の輝度補正部101は、まず、全画素信号81に含まれるPL画素とPL画素隣接画素の輝度補正を行う。前述のように、PL画素偏光画素は第2偏光部15による偏光処理によって入射光量が制限され全透過画素であるN画素非偏光画素に比較して画素値輝度が低下する。さらに、PL画素に隣接するN画素も、周囲が全てN画素であるN画素に比較すると輝度が低下する傾向にある。これは、PL画素に隣接するN画素は、隣接画素PL画素からのもれ光が低下する影響と考えられる。従って、輝度補正部101は、全画素信号81に含まれるPL画素とPL画素隣接画素の輝度補正を行う。例えば、偏光領域画素PL画素と偏光領域画素隣接画素PL画素隣接画素の輝度を、全透過領域に対応する全透過領域画素N画素の輝度に合わせる輝度補正を実行する。具体的な処理例については後述する。輝度補正部101の生成した輝度補正画像121は、勾配検出部102、反射検出部103、補間処理部104に出力される。勾配検出部102は、輝度補正部101の生成した輝度補正画像121を入力して、補間対象画素であるPL画素各々について、PL画素の周囲にあるN画素領域の画素値に基づいて画素値の勾配方向の検出を行う。すなわち、偏光領域画素PL画素単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する。エッジ検出と同様の処理である。画素の変化率を以下の4方向の勾配係数として算出する。横勾配係数:Hgrad、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、これらの勾配係数を算出する。これらの勾配係数を含む勾配情報122は、補間処理部104に入力される。反射検出部103は、輝度補正部101の生成した輝度補正画像121を入力して、PL画素各々についてに反射光成分が含まれるか否かを判定する。PL画素偏光画素は、特定の偏波光、本例では垂直偏光または水平偏光を選択的に入射している。例えば水面やガラスの反射光は、特定方向の偏波光成分が強く表れる。このような反射光が撮影画像に含まれると、PL画素の水平偏光画素、あるいは垂直偏光画素の画素値の一方が高く他方が低くなるといった偏りが発生することがある。反射検出部103は、このような反射光が撮影画像中に含まれるか否かを判定する。判定処理の具体例については後述する。反射検出部103の検出した反射情報123は、補間処理部104に入力される。補間処理部104は、輝度補正部101の生成した輝度補正画像121、勾配検出部102の生成した勾配情報122、反射検出部103の検出した反射情報123、これらの画像と各情報を入力する。補間処理部104は、PL画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部102の生成した勾配情報122、反射検出部103の検出した反射情報123を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。なお、具体的処理例については後述する。この補間処理の結果として、図8に示す画像補正部100の出力である2D-Raw画像62が生成される。図10に、画像補正部100の実行する処理シーケンスを説明するフローチャートを示す。各ステップの処理について説明する。ステップS101において、2Dモード第1偏光部非設定として撮影した撮影画像SRaw画像を入力する。次に、ステップS102において、PL画素領域とPL画素近接領域の輝度補正処理により、輝度補正画像Tを生成する。この処理は、図9に示す輝度補正部101の実行する処理である。次に、ステップS103において、輝度補正画像Tに基づいて、画像勾配エッジ方向を検出する。この処理は、図9に示す勾配検出部102の実行する処理である。次に、ステップS104において、輝度補正画像に基づいて、反射光の有無を検出する。この処理は、図9に示す反射検出部103の実行する処理である。ステップS105において、反射検出なしと判定された画素PL画素については、そのまますなわち輝度補正された画素値をそのまま出力する。一方、ステップS105において、反射検出ありと判定された画素PL画素については、ステップS106において補正処理、具体的には、近傍のN画素を参照画素とした補間処理を行う。ステップS106における補間処理は、勾配検出部102の生成した勾配情報中、縦方向と右上がり方向と右下がり方向の3方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のN画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。図11以下を参照して、画像補正部100の実行する処理の具体例について説明する。図11は、画像補正部100の入力する画像Raw画像の例と画像の各画素の属性を判別するためのインデックスの設定例を示す図である。図11に示す画像は、先に図4を参照して説明したと同様の構成である。すなわち、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hを設定し、これらを交互に配置している2行のPL画素偏光画素領域、14行の全透過画素であるN画素非偏光画素領域15A、これらを縦方向Y方向に繰り返して配置した構成である。なお、3Dモードの設定とした場合には、垂直偏光領域15Vには左側の視点からの画像である左眼用画像、水平偏光領域15Hには右側の視点からの画像である右眼用画像が撮影される。2Dモードでは、いずれの偏光領域15V,15HにもN画素非偏光画素領域15Aと同様の視点、すなわちレンズ中心を視点とした画像が撮影される。ただし、光量は低下する。図11に示すように各画素にはX方向のインデックスX座標属性とY方向のインデックスY座標属性が設定される。X方向インデックス[xidxx]は、0~3のいずれかが各画素に対応して設定される。Y方向インデックス[yidxy]は、0~5のいずれかが各画素に対応して設定される。例えば、yidxy=0,5は、PL画素と隣接しないN画素、yidxy=1,4は、PL画素と隣接するN画素、yidxy=2,3は、PL画素、このように、インデックスの値に基づいて画素の属性が判別される。画素属性を示すインデックスの構成を図12に示す。図12に示すように、画素属性を示すインデックスには以下の種類がある。1X座標属性Xインデックス[xidxx]2Y座標属性Yインデックス[yidxy]3視点属性視点インデックス[epx,y]4色属性色インデックス[colorx,y]各属性インデックスの値と識別情報との対応関係は以下の通りである。1X座標属性Xインデックス[xidxx]xidxx=0,1:左眼画素を含む列の左眼画素または非偏光全透過画素xindxx=2,3:右眼画素を含む列の右眼画素または非偏光全透過画素2Y座標属性Yインデックス[yidxy]yindxy=0,5:偏光画素PL画素から離間した非偏光全透過画素yindxy=1,4:偏光画素PL画素に隣接した非偏光全透過画素yindxy=2,3:偏光画素PL画素3視点属性視点インデックス[epx,y]exx,y=0:全透過画素非偏光画素exx,y=-1:左眼画素縦偏光画素exx,y=1:右眼画素横偏光画素4色属性色インデックス[colorx,y]colorx,y=0:赤R画素colorx,y=1:緑G画素colorx,y=2:青B画素画像補正部100では、例えば、入力する処理対象画像の画素に対応してこれらのインデックスを設定し、このインデックス情報に基づく処理を実行する。図13は、1X座標属性Xインデックス[xidxx]2Y座標属性Yインデックス[yidxy]これらの各インデックスの設定例を説明する図である。基準座標として、例えば画像の左上端の画素をxbase,ybaseとして設定し、この基準点からの相対位置に基づいて、上記の各いんでっくすの設定を行う例を示している。画像補正部100では、入力する処理対象画像の画素に対する処理を実行する際に、画素に設定されたインデックス属性を判定して処理態様を決定して、順次処理を実行する。次に、図9に示す画像補正部100の各構成部において実行する処理の具体例について図14以下を参照して説明する。輝度補正部101の処理の具体例まず図14を参照して、図9に示す輝度補正部101の実行する輝度補正処理の具体例について説明する。この処理は、図10のフローチャートにおけるステップS102の処理に対応する。前述したように、輝度補正部101は、図8に示す偏光画素分離部51から、全画素信号81を入力する。すなわち、全透過画素からなるN画素非偏光画素信号PL画素偏光画素信号、これらの全信号を入力する。輝度補正部101は、全画素信号81に含まれるPL画素とPL画素隣接画素の輝度補正を行う。前述のように、PL画素偏光画素は第2偏光部15による偏光処理によって入射光量が制限され全透過画素であるN画素非偏光画素に比較して画素値輝度が低下する。さらに、PL画素に隣接するN画素も、周囲が全てN画素であるN画素に比較すると輝度が低下する傾向にある。これは、PL画素に隣接するN画素は、隣接画素PL画素からのもれ光が低下する影響と考えられる。従って、輝度補正部101は、全画素信号81に含まれるPL画素とPL画素隣接画素の輝度補正を行う。図14には、輝度補正部101の実行する輝度補正のシーケンスを説明するフローと、輝度補正処理の具体例を説明する図を示している。フローの各ステップの処理について説明する。まず、ステップS121において、輝度補正対象となるPL画素、またはPL画素隣接画素を順次選択する。図14の下に示す参考図において、輝度補正対象となるPL画素、またはPL画素隣接画素は、Y座標インデックス:yidxy=1~4の各画素である。ステップS122以下の処理は、ステップS121において選択された1つの画素ごとに順次、実行される。ステップ122において、選択画素の同一列の上下にある同一色でかつPL画素に隣接しない全透過非偏光画素を参照画素として選択して参照画素の画素値を取得する。例えば、図14の参考図において、Y座標インデックス:yidxy=1~2の各画素を補正対象画素とした場合、すなわち例えば図14の補正対象領域141に含まれる画素が選択されている場合、参照画素は、図に示す参照画素領域142と参照画素領域143から選択される。また、Y座標インデックス:yidxy=3~4の各画素を補正対象画素とした場合、すなわち例えば図14の補正対象領域151に含まれる画素が選択されている場合、参照画素は、図に示す参照画素領域152と参照画素領域153から選択される。選択画素の同一列の上下にある同一色でかつPL画素に隣接しない全透過非偏光画素を上下の参照領域から1つずつ選択して、それぞれの画素値を取得する。次に、ステップS123において、上下2つの参照画素の画素値に基づいて、補正対象画素との距離に応じた重みを乗算した重み付き平均値[VVLerp]を算出する。さらに、ステップS124において、重み付き平均値[VVLerp]と、補正対象画素の画素値[Sx,y]、に基づいて、ゲインGx,yを算出する。ゲインは以下の式に従って算出する。Gx,y=VVLerp/Sx,y最後にステップS125において、補正対象画素の画素値[Sx,y]に、ゲインGx,yを乗じて輝度補正画素値を算出する。これらの処理をすべてのPL画素とPL画素隣接画素において実行して、輝度補正を行い、PL画素とPL画素隣接画素の画素値として設定して、輝度補正画像Tを生成する。勾配検出部102の処理の具体例次に、図15を参照して、図9に示す勾配検出部102の実行する勾配検出処理の具体例について説明する。この処理は、図10のフローチャートにおけるステップS103の処理に対応する。前述したように、勾配検出部102は、輝度補正部101の生成した輝度補正画像121を入力して、補間対象画素であるPL画素各々について、PL画素の周囲にあるN画素領域の画素値に基づいて画素値の勾配方向の検出を行う。エッジ検出と同様の処理である。画素の変化率を以下の4方向の勾配係数として算出する。横勾配係数:Hgrad、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、これらの勾配係数を算出する。フローの各ステップの処理について説明する。まず、ステップS151において、補間処理の対象となるPL画素から処理対象画素を順次選択する。次に、選択画素について、ステップS152の処理を順次実行する。ステップS152では、選択画素近傍の上下にある同一色の全透過非偏光画素を参照画素として選択して、参照画素の画素値に基づく勾配検出処理を実行する。具体的には、N画素領域の参照画素の画素値を利用して以下の各勾配係数を算出する。横勾配係数:Hgrad縦勾配係数:Vgrad右上がり斜め勾配係数:Agrad右下がり勾配係数:Dgradこれらの4方向勾配係数を算出図15の下に示す参考図には、縦勾配係数:Vgradの算出例を示している。選択画素は、PL画素領域にあるG画素161であるとする。xidxx=3、yidxy=2のG画素161である。この選択画素、G画素161に対する縦勾配係数を算出する場合、例えば以下の処理を行う。選択画素の左の隣接列であるxidx=2のN画素領域の上下2つのG画素に基づいて輝度差を算出する。選択画素と同じ列のxidxx=3のN画素領域の上下2つのG画素に基づいて輝度差を算出する。選択画素の右の隣接列であるxidx=0のN画素領域の上下2つのG画素に基づいて輝度差を算出する。これらの3つの輝度差を算出し、これらを選択画素G画素161からの距離に応じた重みを設定して加算して縦方向の勾配係数Vgradを算出する。横勾配係数:Hgrad縦勾配係数:Vgrad右上がり斜め勾配係数:Agrad右下がり勾配係数:Dgradこれらの勾配係数は、参照画素の組み合わせを、それぞれの方向に応じて変更して求める。このように、ステップS152では、選択画素近傍の上下にある同一色の全透過非偏光画素を参照画素として選択して、参照画素の画素値に基づく勾配検出処理を実行する。反射検出部103の処理の具体例次に、図16以下を参照して、図9に示す反射検出部103の実行する反射検出処理の具体例について説明する。この処理は、図10のフローチャートにおけるステップS104の処理に対応する。前述したように、反射検出部103は、輝度補正部101の生成した輝度補正画像121を入力して、PL画素各々についてに反射光が含まれるか否かを判定する。フローの各ステップの処理について説明する。まず、ステップS161において、補間処理の対象となるPL画素から処理対象画素を順次選択する。次に、選択画素について、ステップS162の処理を順次実行する。ステップS162では、選択画素の行の横方向の近傍画素PL画素の画素値に基づく反射検出処理を実行する。具体的には、反射検出フィルタの適用処理を行う。前述したように、PL画素偏光画素は、特定の偏波光、本例では垂直偏光または水平偏光を選択的に入射している。例えば水面やガラスの反射光は、特定方向の偏波光成分が強く表れる。このような反射光が撮影画像に含まれると、PL画素の水平偏光画素、あるいは垂直偏光画素の画素値の一方が高く他方が低くなるといった偏りが発生することがある。図16参考図に示すように、垂直偏光領域と水平偏光領域において、明らかに偏光結果に起因する輝度差画素値の差が発生している場合には反射光が含まれると判定することができる。このような偏光に基づく輝度の偏りの有無を反射検出フィルタを利用して検出する。具体的な処理について、図17~図20を参照して説明する。反射検出フィルタを適用した反射検出処理は以下の処理手順に従って実行される。a.パラメータ:Hrefx,yの算出図17b.パラメータ:Hnorefx,yの算出図18c.パラメータ:refx,yとnorefx,yの算出図19d.反射有無判定結果refDetectx,yを決定図20まず、図17を参照してa.パラメータ:Hrefx,yの算出処理について説明する。反射検出フィルタとして、図17に示すような設定の2つのフィルタを利用する。すなわち、x方向にある7つの画素に乗算する係数として以下の係数の設定された2つのフィルタである。フィルタ0:1,-2,-3,4,3,-2,-1フィルタ1:-1,-2,3,4,-3,-2,1このような係数の設定された2種類のフィルタを適用する。図17に示すように、パラメータ:Hrefx,yを算出する場合、反射検出処理対象として選択されるPL画素の選択画素が、xidxx=0,2の場合には、図17a1に示すように、フィルタ1を適用してパラメータ:Hrefx,yを算出する。図17a1には選択画素が点線マルで示すR画素である場合のフィルタ適用処理を示している。この場合、R画素と、左側3画素、右側3画素の各画素値にフィルタ1の各係数を乗算して加算してパラメータ:Hrefx,yを算出する。また、反射検出処理対象として選択されるPL画素の選択画素が、xidxx=1,3の場合には、図17a2に示すように、フィルタ0を適用してパラメータ:Hrefx,yを算出する。図17a2には選択画素が点線マルで示すG画素である場合のフィルタ適用処理を示している。この場合、G画素と、左側3画素、右側3画素の各画素値にフィルタ0の各係数を乗算して加算してパラメータ:Hrefx,yを算出する。次に、図18を参照してb.パラメータ:Hnorefx,yの算出処理について説明する。反射検出フィルタは、図17を参照して説明したフィルタと同じフィルタを適用する。すなわち、x方向にある7つの画素に乗算する係数として以下の係数の設定された2つのフィルタである。フィルタ0:1,-2,-3,4,3,-2,-1フィルタ1:-1,-2,3,4,-3,-2,1このような係数の設定された2種類のフィルタを適用する。図18に示すパラメータ:Hnorefx,yの算出処理の場合は、図17を参照して説明したパラメータ:Hrefx,yの算出処理のフィルタ適用態様と逆のフィルタ適用処理を行う。すなわち、図18に示すように、パラメータ:Hnorefx,yを算出する場合、反射検出処理対象として選択されるPL画素の選択画素が、xidxx=0,2の場合には、図18b1に示すように、フィルタ0を適用してパラメータ:Hnorefx,yを算出する。図18b1には選択画素が点線マルで示すR画素である場合のフィルタ適用処理を示している。この場合、R画素と、左側3画素、右側3画素の各画素値にフィルタ0の各係数を乗算して加算してパラメータ:Hnorefx,yを算出する。また、反射検出処理対象として選択されるPL画素の選択画素が、xidxx=1,3の場合には、図18b2に示すように、フィルタ1を適用してパラメータ:Hnorefx,yを算出する。図18b2には選択画素が点線マルで示すG画素である場合のフィルタ適用処理を示している。この場合、G画素と、左側3画素、右側3画素の各画素値にフィルタ1の各係数を乗算して加算してパラメータ:Hnorefx,yを算出する。次に、図19を参照してc.パラメータ:refx,yとnorefx,yの算出処理について説明する。パラメータ:refx,yとnorefx,yは以下の式によって算出する。yidxy=2の場合、refx,y=Hrefx,yHrefx,y1norefx,y=Hnorefx,yHnorefx,y1yidxy=3の場合、refx,y=Hrefx,y-1Hrefx,ynorefx,y=Hnorefx,y-1Hnorefx,y図19参考図には、yidxy=2の場合の、refx,y=Hrefx,yHrefx,y1上記算出処理例を示している。PL行の2つの行におけるHrefの値の加算値を算出してrefx,yを算出する。次に、図20を参照してd.反射有無判定結果:refDetectx,yを決定処理について説明する。反射有無判定結果:refDetectx,yは、図19を参照して説明したパラメータ:refx,yとnorefx,yに基づく判定処理として実行される。具体的には、図20に示すように、refx,y≦norefx,yrefx,y≦norefx,y2refx,y≦refx,y2refx,y≦norefx,y-2refx,y≦refx,y-2これらのいずれかの条件式が成立する場合は、refDetectx,y=false、すなわち反射なしの画素と判定する。上記の条件式のいずれも成立しない場合は、refDetectx,y=true、すなわち反射ありの画素と判定する。図9に示す反射検出部103は、図17~図20を参照して説明した処理をPL画素の各々について実行し、下区PL画素かせ反射光を含むか否かを判定する。このPL画素対応の反射光の有無情報を図9に示す反射情報123として生成して補間処理部14に出力する。補間処理部104の処理の具体例次に、図21、図22を参照して、図9に示す補間処理部104の実行する補間処理の具体例について説明する。この処理は、図10のフローチャートにおけるステップS106の処理に対応する。補間処理部104は、図9を参照して説明したように、輝度補正部101の生成した輝度補正画像121、勾配検出部102の生成した勾配情報122、反射検出部103の検出した反射情報123、これらの画像と各情報を入力する。補間処理部104は、PL画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部102の生成した勾配情報122、反射検出部103の検出した反射情報123を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。この補間処理の結果として、図8に示す画像補正部100の出力である2D-Raw画像62が生成される。図21、図22に、補間処理部104の実行する補間処理のシーケンスを説明するフローチャートを示す。図21、図22に示すフローチャートの各ステップの処理について説明する。補間処理部104は、まず、ステップS171において、補間処理の対象となるPL画素から処理対象画素を順次選択する。次に、選択画素について、ステップS172以下の処理を順次実行する。ステップS172において、補間処理対象として選択した1つのPL画素に対応する反射情報、すなわち、図9に示す反射検出部103の生成した反射情報123の解析処理を実行する。具体的には、補間処理対象として選択した1つのPL画素の画素値に反射光が含まれるか否かを判定する。ステップS173において、選択画素に反射光が含まれると判定した場合は、ステップS174に進む。ステップS173において、選択画素に反射光が含まれないと判定した場合は、補間処理を実行することなく処理を終了する。この場合は、この反射光の含まれないPL画素については、輝度補正部101において輝度補正されたPL画素が出力されることになる。一方、ステップS173において、選択画素に反射光が含まれると判定した場合は、ステップS174に進み、N画素を参照画素として適用した補間処理を実行する。ステップS174では、補間処理対象として選択した1つのPL画素に対応する勾配情報、すなわち、勾配検出部102の生成した勾配情報122の解析処理を実行する。具体的には、勾配検出部102の生成した勾配情報122に含まれる以下の情報、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、これらの3つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向Dirを選択する。なお、勾配係数の高い方向は、画素値の変化率が高い方向である。補間処理部104は、これら3つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向Dirとして選択する。相関の高い方向Dirは画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。次に、ステップS175において、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、これら3つの勾配係数の比較に基づいて、右上がり斜め勾配係数:Agradが最小であり、右上斜め方向の相関が最も高いか否かを判定する。ステップS175において、右上斜め方向の相関が最も高いと判定した場合は、ステップS177に進む。それ以外の場合は、ステップS176に進む。ステップS175において、右上斜め方向の相関が最も高いと判定し、ステップS177に進むと、ステップS177において、選択された補間対象画素PL画素について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の右上斜め方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。一方、ステップS175において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップS176に進み、ステップS176において、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、これら3つの勾配係数の比較に基づいて、右下がり斜め勾配係数:Agradが最小であり、右下斜め方向の相関が最も高いか否かを判定する。ステップS176において、右下斜め方向の相関が最も高いと判定した場合は、ステップS178に進む。それ以外の場合は、ステップS179に進む。ステップS176において、右上斜め方向の相関が最も高いと判定し、ステップS178に進むと、ステップS178において、選択された補間対象画素PL画素について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の右下斜め方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。ステップS176において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップS179に進む。ステップS179では、選択された補間対象画素PL画素について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の縦方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。以上、2D画像モードでの撮影画像に対する補間処理例について説明した。この補間処理をまとめると、図8、図9に示す画像補正部100の実行する処理は以下のようにまとめることができる。aPL画素とPL画素隣接画素を、PL画素に隣接しないN画素と同様の輝度レベルに補正する輝度補正、b補間処理対象となるPL画素各々に対応する勾配情報の検出、c補間処理対象となるPL画素各々に反射光が含まれるか否かの反射情報の検出、d補間処理対象となるPL画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の3方向から選択された相関の高い方向のN画素を参照画素とした補間処理を行ったPL画素を出力、e補間処理対象となるPL画素が、反射光を含まない場合は、輝度補正を行ったPL画素を出力、画像補正部100は、これらの処理によって補間画像、すなわち図8に示す補間画像2D-Raw画像62を生成する。[2-23D画像モードでの撮影画像に対する補間処理例1]次に、3D画像撮影モードでの撮影画像に対する補間処理例1について説明する。先に、図7を参照して説明したように、撮像装置10は、画像の撮影モードを、2D画像を撮影する2Dモード、3次元画像の表示に適用可能な左眼用画像と右眼用画像を撮影する3Dモード、これらの各モードの切り替えが可能な構成を持つ。図7に示すように、A3Dモードでは第1偏光部12が光路上に設定される。B2Dモードでは第1偏光部12が光路上から除去される。3Dモードで撮影された場合は、前述したように、PL画素偏光画素に以下の画像が撮影される。垂直偏光画素に左眼用画像図1Bの重心点31から見た画像、水平偏光画素に右眼用画像図1Bの重心点32から見た画像、これらの画像が撮影され、全透過画素であるN画素非偏光画素には、レンズ中央から見た画像図1Bの中心点33から見た画像、これらの画像が撮影される。以下に説明する補間処理例は、3Dモードで撮影された画像に対する画像補正部100において実行する補間処理例である。なお、本実施例においても、撮像装置の全体構成は、図1に示す構成と同様の構成であり、画像処理部17の構成は図8に示す構成を持つ。画像処理部17の画像補正部100の構成は、先の[2-1.2D画像モードでの撮影画像に対する補間処理例]において説明した図9に示す構成と同様の構成である。図9に示すように画像補正部100は、輝度補正部101、勾配検出部102、反射検出部103、補間処理部104、これらの構成を有する。画像補正部100は、前述したように、図8に示す偏光画素分離部51から、全画素信号81を入力する。すなわち、全透過画素からなるN画素非偏光画素信号PL画素偏光画素信号、これらの全信号を入力する。本実施例において、画像補正部100の、輝度補正部101、勾配検出部102、反射検出部103、これらの実行する処理は、[2-1.2D画像モードでの撮影画像に対する補間処理例]において説明した処理と同様の処理となる。すなわち、a輝度補正部101が、PL画素とPL画素隣接画素を、PL画素に隣接しないN画素と同様の輝度レベルに補正する輝度補正処理を実行する。b勾配検出部102が、補間処理対象となるPL画素各々に対応する勾配情報の検出を実行する。c反射検出部103が、補間処理対象となるPL画素各々に反射光が含まれるか否かの反射情報の検出を実行する。ここまでの処理は、先に説明した[2-1.2D画像モードでの撮影画像に対する補間処理例]において説明した処理と同様の処理となる。補間処理部104における処理が先に説明した処理図20、図21を参照して説明した処理とは異なる処理となる。図23に、本実施例における画像補正部100の実行する処理シーケンスを説明するフローチャートを示す。ステップS201において、3Dモード第1偏光部設定として撮影した撮影画像SRaw画像を入力する。以下のステップS202~S205の処理は、先の[2-1.2D画像モードでの撮影画像に対する補間処理例]において図10を参照して説明したステップS102~S105の処理と同様の処理となる。すなわち、ステップS202において、PL画素領域とPL画素近接領域の輝度補正処理により、輝度補正画像Tを生成する。この処理は、図9に示す輝度補正部101の実行する処理である。次に、ステップS203において、輝度補正画像Tに基づいて、画像勾配エッジ方向を検出する。この処理は、図9に示す勾配検出部102の実行する処理である。次に、ステップS204において、輝度補正画像に基づいて、反射光の有無を検出する。この処理は、図9に示す反射検出部103の実行する処理である。ステップS205において、反射検出ありと判定された画素PL画素については、ステップS206において補正処理、具体的には、近傍のN画素を参照画素とした補間処理を行う。ステップS206における補間処理は、勾配検出部102の生成した勾配情報中、縦方向と右上がり方向と右下がり方向の3方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のN画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。この処理は、先の[2-1.2D画像モードでの撮影画像に対する補間処理例]において図10を参照して説明したステップS106の処理と同様の処理となる。一方、ステップS205において、反射検出なしと判定された画素PL画素については、ステップS207において補正処理、具体的には、近傍のN画素を参照画素とした補間処理を行う。ステップS207における補間処理は、勾配検出部102の生成した勾配情報中、縦方向と右上がり方向と右下がり方向、さらに横方向の4方向の勾配情報に応じて参照画素の設定方向を決定して行われる。具体的には勾配の小さい、すなわち画素値変化の少ない特定方向のN画素を参照画素として選択し、この特定方向の画素値を利用した補間処理、例えば線形補間処理を実行する。先の[2-1.2D画像モードでの撮影画像に対する補間処理例]において図10を参照して説明した処理では、反射光の検出されないPL画素については補間処理を実行することなく、輝度補正された画素をそのまま出力画素としていた。しかし、本実施例では、反射光の検出されないPL画素についても勾配情報に従って参照画素を決定して参照画素の画素値を利用した補間処理を実行する。この点が先の処理例とは異なっている。すなわち、補間処理部104において実行する補間処理態様が異なる。この補間処理部104の実行する補間処理について、図24~図26に示すフローチャートを参照して説明する。補間処理部104は、図9を参照して説明したように、輝度補正部101の生成した輝度補正画像121、勾配検出部102の生成した勾配情報122、反射検出部103の検出した反射情報123、これらの画像と各情報を入力する。補間処理部104は、PL画素領域の画素値の補正処理としての画素補間処理を実行する。この補間処理に際して、勾配検出部102の生成した勾配情報122、反射検出部103の検出した反射情報123を利用して、これらの情報に応じて決定される補間態様で、補間処理を行う。この補間処理の結果として、図8に示す画像補正部100の出力である2D-Raw画像62が生成される。図24~図26に示すフローチャートの各ステップの処理について説明する。補間処理部104は、まず、ステップS221において、補間処理の対象となるPL画素から処理対象画素を順次選択する。次に、選択画素について、ステップS222以下の処理を順次実行する。ステップS222において、補間処理対象として選択した1つのPL画素に対応する反射情報、すなわち、図9に示す反射検出部103の生成した反射情報123の解析処理を実行する。具体的には、補間処理対象として選択した1つのPL画素の画素値に反射光が含まれるか否かを判定する。ステップS223において、選択画素に反射光が含まれると判定した場合は、ステップS224に進む。ステップS223において、選択画素に反射光が含まれないと判定した場合は、ステップS241に進む。ステップS224以下の選択画素に反射光が含まれると判定した場合の補間処理は、先の[2-1.2D画像モードでの撮影画像に対する補間処理例]において図21、図22を参照して説明した処理と同様の処理となる。すなわち、ステップS223において、選択画素に反射光が含まれると判定した場合は、ステップS224に進み、補間処理対象として選択した1つのPL画素に対応する勾配情報、すなわち、勾配検出部102の生成した勾配情報122の解析処理を実行する。具体的には、勾配検出部102の生成した勾配情報122に含まれる以下の情報、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、これらの3つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向Dirを選択する。なお、勾配係数の高い方向は、画素値の変化率が高い方向である。補間処理部104は、これら3つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向Dirとして選択する。相関の高い方向Dirは画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。次に、ステップS225において、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、これら3つの勾配係数の比較に基づいて、右上がり斜め勾配係数:Agradが最小であり、右上斜め方向の相関が最も高いか否かを判定する。ステップS225において、右上斜め方向の相関が最も高いと判定した場合は、ステップS227に進む。それ以外の場合は、ステップS226に進む。ステップS225において、右上斜め方向の相関が最も高いと判定し、ステップS227に進むと、ステップS227において、選択された補間対象画素PL画素について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の右上斜め方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。一方、ステップS225において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップS226に進み、ステップS226において、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、これら3つの勾配係数の比較に基づいて、右下がり斜め勾配係数:Agradが最小であり、右下斜め方向の相関が最も高いか否かを判定する。ステップS226において、右下斜め方向の相関が最も高いと判定した場合は、ステップS228に進む。それ以外の場合は、ステップS229に進む。ステップS226において、右上斜め方向の相関が最も高いと判定し、ステップS228に進むと、ステップS228において、選択された補間対象画素PL画素について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の右下斜め方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。ステップS226において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップS229に進む。ステップS229では、選択された補間対象画素PL画素について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の縦方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。次に、図24に示すフローのステップS223において、補間対象画素としてのPL画素に反射光が含まれないと判定し、ステップS241に進んだ場合の処理について説明する。なお、この処理は、図23に示すフローのステップS207の処理、すなわち、補間対象画素としてのPL画素に反射光が含まれないと判定した場合の補間処理に対応する。図24に示すフローのステップS241では、補間処理対象として選択した1つのPL画素に対応する勾配情報、すなわち、勾配検出部102の生成した勾配情報122の解析処理を実行する。具体的には、勾配検出部102の生成した勾配情報122に含まれる以下の情報、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、さらに、横勾配係数:Hgrad、これらの4つの勾配係数の比較処理を実行する。これらの勾配係数を比較して、相関の高い方向Dirを選択する。なお、勾配係数の高い方向は、画素値の変化率が高い方向である。補間処理部104は、これら4つの勾配係数の比較によって、最も勾配係数の小さい方向を相関の高い方向Dirとして選択する。相関の高い方向Dirは画素値の変化率が小さい方向である。いわゆるエッジ方向に相当する。次に、図26に示すステップS242において、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、横勾配係数:Hgrad、これら4つの勾配係数の比較に基づいて、右上がり斜め勾配係数:Agradが最小であり、右上斜め方向の相関が最も高いか否かを判定する。ステップS242において、右上斜め方向の相関が最も高いと判定した場合は、ステップS251に進む。それ以外の場合は、ステップS243に進む。ステップS242において、右上斜め方向の相関が最も高いと判定し、ステップS251進むと、ステップS251において、選択された補間対象画素PL画素について、右上斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の右上斜め方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。一方、ステップS242において、右上斜め方向の相関が最も高いと判定されなかった場合は、ステップS243に進み、ステップS243において、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、横勾配係数:Hgrad、これら4つの勾配係数の比較に基づいて、右下がり斜め勾配係数:Agradが最小であり、右下斜め方向の相関が最も高いか否かを判定する。ステップS243において、右下斜め方向の相関が最も高いと判定した場合は、ステップS252に進む。それ以外の場合は、ステップS244に進む。ステップS243において、右上斜め方向の相関が最も高いと判定し、ステップS252に進むと、ステップS252において、選択された補間対象画素PL画素について、右下斜め方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の右下斜め方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。ステップS243において、右下斜め方向の相関が最も高いと判定されなかった場合は、ステップS244に進む。ステップS244において、縦勾配係数:Vgrad、右上がり斜め勾配係数:Agrad、右下がり斜め勾配係数:Dgrad、横勾配係数:Hgrad、これら4つの勾配係数の比較に基づいて、縦勾配係数:Vgradが最小であり、縦向の相関が最も高いか否かを判定する。ステップS244において、縦方向の相関が最も高いと判定した場合は、ステップS253に進む。それ以外の場合は、ステップS254に進む。ステップS244において、縦方向の相関が最も高いと判定し、ステップS253に進むと、ステップS253において、選択された補間対象画素PL画素について、縦方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色の画素であり、その補間対象画素PL画素の少なくとも最近接するN画素非偏光画素である。具体的には、例えば選択された補間対象画素PL画素の縦方向のラインに沿ったPL画素領域の上側のN画素領域と、下側のN画素領域の2つ以上の同一色の画素を参照画素として選択してこれらの参照画素の画素値を適用した線形補間処理を実行する。ステップS244において、縦方向の相関が最も高いと判定されなかった場合は、ステップS254に進む。すなわち、横方向の相関が最も高いと判定された場合である。この場合は、ステップS254において、選択された補間対象画素PL画素について、横方向の参照画素を利用した補間処理を実行する。なお、参照画素として選択される画素は、選択された補間対象画素PL画素と同一の色のPL画素となる。この横方向補間処理の具体例について図27を参照して説明する。図27には、補間対象画素となるPL画素の補間画素値:Lerpx,yを線形補間によって算出する式と、線形補間に適用する線型フィルタの例を示している。補間対象画素となるPL画素x,yの補間画素値:Lerpx,yは、例えば以下の式によって算出する。Lerpx,y=x2,y2x,yx-2,y/4この式は、補間対象画素の画素値と、補間対象画素の左右にある最近接の同一色の画素の画素値とを、1:2:1の重みを設定して加算して補間画素値を算出する式となっている。なお、図27のフィルタ設定例から理解されるように、例えば垂直偏光領域のG画素の補間処理に際しては、左右の水平偏光領域のG画素の画素値を参照画素として利用する。すなわち、本処理例では、PL画素の横方向補間を実行する場合は、左眼用画素の補間に際して、右眼用画素を参照画素とした補間を実行し、右眼用画素の補間に際して左眼用画素を参照画素とした補間処理を実行する構成としている。なお、この横方向補間が実行されるのは、反射光が含まれず、横方向の画素値の変化率が他の方向より小さい場合であり、横方向の相関が高いと判定される場合である。反射光が含まれないため、偏光方向の違う画素間での画素値差分が少ないと判断されるため、異なる偏光方向の画素を参照画素として処理を行っても誤った画素値の設定される可能性は少ない。以上、3D画像モードでの撮影画像に対する補間処理例1について説明した。この補間処理をまとめると、図8、図9に示す画像補正部100の実行する処理は以下のようにまとめることができる。aPL画素とPL画素隣接画素を、PL画素に隣接しないN画素と同様の輝度レベルに補正する輝度補正、b補間処理対象となるPL画素各々に対応する勾配情報の検出、c補間処理対象となるPL画素各々に反射光が含まれるか否かの反射情報の検出、d補間処理対象となるPL画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の3方向から選択された相関の高い方向のN画素を参照画素とした補間処理を行ったPL画素を出力、e補間処理対象となるPL画素が、反射光を含まない場合は、輝度補正と、さらに、縦方向、右上方向、右下方向、横方向の4方向から選択された相関の高い方向のN画素を参照画素とした補間処理を行ったPL画素を出力、画像補正部100は、これらの処理によって補間画像、すなわち図8に示す補間画像2D-Raw画像62を生成する。[2-33D画像モードでの撮影画像に対する補間処理例2]次に、3D画像撮影モードでの撮影画像に対する補間処理例2について説明する。以下に説明する例も3Dモードで撮影された画像に対して画像補正部100において実行する補間処理例である。なお、本実施例においても、撮像装置の全体構成は、図1に示す構成と同様の構成であり、画像処理部17の構成は図8に示す構成を持つ。画像処理部17の画像補正部100の構成は、図9に示す構成と同様の構成である。図9に示すように画像補正部100は、輝度補正部101、勾配検出部102、反射検出部103、補間処理部104、これらの構成を有する。画像補正部100は、前述したように、図8に示す偏光画素分離部51から、全画素信号81を入力する。すなわち、全透過画素からなるN画素非偏光画素信号PL画素偏光画素信号、これらの全信号を入力する。本実施例は、上述の[2-23D画像モードでの撮影画像に対する補間処理例1]における画像補正部100の輝度補正部100の処理のみを変更した実施例である。その他の処理、すなわち、勾配検出部102、反射検出部103、補間処理部104、これらの各構成部の処理は上述の[2-23D画像モードでの撮影画像に対する補間処理例1]において説明した処理と同様の処理となる。図28に、本実施例における画像補正部100の実行する処理シーケンスを説明するフローチャートを示す。ステップS301において、3Dモード第1偏光部設定として撮影した撮影画像SRaw画像を入力する。ステップS302において、PL画素領域とPL画素近接領域の輝度補正処理により、輝度補正画像Tを生成する。本処理例では、この輝度補正処理が先に説明した[2-23D画像モードでの撮影画像に対する補間処理例1]とは異なる処理となる。その他の処理、すなわちステップS303~307の処理は、先に[2-23D画像モードでの撮影画像に対する補間処理例1]の処理として説明した図23に示すフローのステップS203~S207の処理と同様の処理となる。本処理例における、ステップS302の輝度補正処理の詳細について、図29、図30を参照して説明する。図29に示すフローチャートは、図28に示すフローのステップS302の輝度補正処理の詳細シーケンスを説明するフローチャートである。各ステップの処理について説明する。図9に示す画像補正部100の輝度補正部101は、まず、ステップS321において、輝度補正対象とするPL画素またはPL画素隣接画素を1つ選択する。本処理例においても、輝度補正の対象画素は、前述の処理例と同様、PL画素とPL画素隣接画素である。ステップS322において、輝度補正対象として選択された画素x,yの近傍領域から、同一色で、かつ、隣接画素の設定条件が同一の画素を参照画素として選択する。この画素選択の具体例について図30を参照して説明する。図30には、輝度補正対象画素としてPL画素領域にあるG画素301を選択した場合の参照画素311~316の例を示している。参照画素311~316は、輝度補正対象として選択されたG画素301と同一色であり、かつ、隣接画素の設定条件が同一の画素である。すべG画素の垂直偏光画素であり、周囲の8画素の設定が同一である画素である。これらの画素を参照画素として選択する。次に、ステップS323において、選択した各参照画素について、上下の2つのN画素との画素値の差分比に基づくゲインPGainを各々算出する。このゲインPGainの算出処理は、先に、図14参考図を参照して説明したゲインの算出処理と同様の処理である。先に図14を参照して説明した処理では、補間対象画素の1つの画素に対するゲインのみを算出していたが、本処理例では、補間対象画素に加えて、その周囲の同一条件の6つの参照画素の計7つの画素に対応する7つのゲインPGainを算出する。次に、ステップS324において、ステップS323で算出した補間対象画素と、その周囲の同一条件の6つの参照画素の計7つの画素に対応する7つのゲインPGainから中央値メディアン値を算出する。この中央値を適応的ゲインAGainとする。最後にステップS325において、補正対象画素の画素値[Sx,y]に、適応的ゲインPGainを乗じて輝度補正画素値を算出する。これらの処理をすべてのPL画素とPL画素隣接画素において実行して、輝度補正を行い、PL画素とPL画素隣接画素の画素値として設定して、輝度補正画像Tを生成する。本処理例は、このように、PL画素とPL画素隣接画素の輝度補正にの際して、補正対象画素のみならず、周囲の同一条件の複数の画素を参照して個々の参照画素と周囲のN画素の画素値比率輝度比率に応じたゲインを求めたうえで、これらの複数のゲインの中央値を最終的に補間画素の輝度補正に適用するゲインとして算出する。このような処理により、補間画素あるいは補間画素の周囲のN画素に何等かのエラーが発生しているような場合にも、このエラーの影響を削減した輝度補正が可能となる。[2-4.3D画像撮影モードでの撮影画像に対する補間処理例3]次に、3D画像撮影モードでの撮影画像に対する補間処理例3について説明する。上述した3D画像撮影モードでの撮影画像に対する補間処理例、すなわち、3D画像モードでの撮影画像に対する補間処理例13D画像モードでの撮影画像に対する補間処理例2これらの処理例では、第2偏光部15の設定を図11を参照して説明した領域設定とした場合の撮影画像に対する処理として説明した。すなわち、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hを設定し、これらを交互に配置している2行のPL画素偏光画素領域、14行の全透過画素であるN画素非偏光画素領域15A、これらを縦方向Y方向に繰り返して配置した構成である。本開示の画像処理装置では、このような設定の偏光領域の設定された画像のみならず、その他の偏光領域が設定された画像に対しても適用可能である。例えば、偏光領域の設定として、図31に示す構成としてもよい。すなわち、4×4の16画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hを設定し、これらを交互に配置している4行のPL画素偏光画素領域、28行の全透過画素であるN画素非偏光画素領域15A、これらを縦方向Y方向に繰り返して配置した構成である。例えば図8、図9に示す画像補正部100は、このような設定の偏光領域を持つ撮影画像に対しても、上述した処理例と同様の処理を適用してPL画素の補間処理を実行することができる。具体的には、aPL画素とPL画素隣接画素を、PL画素に隣接しないN画素と同様の輝度レベルに補正する輝度補正、b補間処理対象となるPL画素各々に対応する勾配情報の検出、c補間処理対象となるPL画素各々に反射光が含まれるか否かの反射情報の検出、d補間処理対象となるPL画素が、反射光を含む場合は、輝度補正と、さらに、縦方向、右上方向、右下方向の3方向から選択された相関の高い方向のN画素を参照画素とした補間処理を行ったPL画素を出力、e補間処理対象となるPL画素が、反射光を含まない場合は、輝度補正と、さらに、縦方向、右上方向、右下方向、横方向の4方向から選択された相関の高い方向のN画素を参照画素とした補間処理を行ったPL画素を出力、画像補正部100は、これらの処理によって補間画像、すなわち図8に示す補間画像2D-Raw画像62を生成する。ただし、図31に示すように各画素の属性を判別するためのインデックスxindxx,yindxyは、偏光領域の設定変更に伴って変更される。図32に、画素属性を示すインデックスの設定例を示す。図32に示すように、画素属性を示すインデックスには以下の種類がある。1X座標属性Xインデックス[xidxx]2Y座標属性Yインデックス[yidxy]3視点属性視点インデックス[epx,y]4色属性色インデックス[colorx,y]各属性インデックスの値と識別情報との対応関係は以下の通りである。1X座標属性Xインデックス[xidxx]xidxx=0,1,2,3:左眼画素を含む列の左眼画素または非偏光全透過画素xindxx=4,5,6,7:右眼画素を含む列の右眼画素または非偏光全透過画素2Y座標属性Yインデックス[yidxy]yindxy=0,7:偏光画素PL画素から離間した非偏光全透過画素yindxy=1,6:偏光画素PL画素に隣接した非偏光全透過画素yindxy=2,3,4,5:偏光画素PL画素3視点属性視点インデックス[epx,y]exx,y=0:全透過画素非偏光画素exx,y=-1:左眼画素縦偏光画素exx,y=1:右眼画素横偏光画素4色属性色インデックス[colorx,y]colorx,y=0:赤R画素colorx,y=1:緑G画素colorx,y=2:青B画素画像補正部100では、例えば、入力する処理対象画像の画素に対応してこれらのインデックスを設定し、このインデックス情報に基づく処理を実行する。画像補正部100は、偏光領域の設定に応じて設定されるインデックスに応じて画素属性を判別して、上記のa~eの各処理を実行することで、PL画素とPL画素隣接画素の補間処理を行う。これらの処理は、偏光領域の設定態様を様々な形態に変更しても基本的な処理は同じである。ただし、参照画素の画素位置やフィルタ処理において適用するフィルタは画素配置に応じて適宜、変更することは必要である。なお、図9に示す画像補正部100における補間処理部104の実行する補間処理では、勾配情報と、反射光の有無に応じて、適用する参照画素の方向を選択する構成としている。反射光がある場合は、横方向、すなわちPL画素を参照画素として適用することを避け、その他の方向で最も相関の高い方向を参照画素方向として選択する。反射光がない場合は、横方向も含めて最も相関の高い方向を参照画素方向として選択する。なお、上記の実施例では、縦方向、横方向、右上がり方向、右下がり方向の4方向を勾配検出方向として設定したが、例えば、縦方向と横方向のみを勾配検出方向として設定して、反射情報と勾配情報に基づいて、これらの2つの方向から参照方向を選択する構成としてもよい。[3.本開示の構成のまとめ]以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。1各々が異なる視点画像に相当する異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第2偏光手段の前記第3偏光領域の透過光に基づく画像と、前記第2偏光手段の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置。2前記画像補正部は、前記第2偏光手段の第3偏光領域と第4偏光領域に対応する画素である偏光領域画素PL画素と偏光領域画素隣接画素PL画素隣接画素の輝度を、前記全透過領域に対応する全透過領域画素N画素の輝度に合わせる輝度補正を実行する輝度補正部と、偏光領域画素PL画素単位で各画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する反射検出部と、偏光領域画素PL画素単位で近傍画素の複数方向の画素値変化率に対応する勾配情報を生成する勾配検出部と、前記反射情報と前記勾配情報に応じて参照画素を選択して、選択参照画素の画素値を適用して、前記偏光領域画素PL画素の画素値補間処理を実行する補間処理部を有する前記1に記載の画像処理装置。3前記補間処理部は、補間処理対象となる非偏光領域画素N画素の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある画素を参照画素とした補間処理を実行する前記1または2に記載の画像処理装置。4前記補間処理部は、補間処理対象となる非偏光領域画素N画素の勾配情報に基づいて、勾配の小さい相関の高い方向を判定し、高相関方向にある非偏光領域画素N画素を参照画素とした補間処理を実行する前記1~3いずれかに記載の画像処理装置。5前記補間処理部は、補間処理対象となる偏光領域画素PL画素の反射情報が反射ありを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素N画素を参照画素として選択し、選択した参照画素を適用した補間処理を実行する前記1~4いずれかに記載の画像処理装置。6前記補間処理部は、補間処理対象となる偏光領域画素PL画素の反射情報が反射なしを示している場合には、前記勾配情報に基づいて相関の高い方向の非偏光領域画素N画素または偏光領域画素PL画素を参照画素として選択し、選択した参照画素を適用した補間処理を実行する前記1~5いずれかに記載の画像処理装置。7前記補間処理部は、前記第1偏光手段を光路上から外して撮影した2Dモードの撮影画像に対する補間処理に際して、補間処理対象となる偏光領域画素PL画素の反射情報が反射なしを示している場合には、偏光領域画素PL画素の補間処理を行うことなく前記輝度補正部における輝度補正が施された画素値を出力する前記1~6いずれかに記載の画像処理装置。8前記輝度補正部は、輝度補正対象となる偏光領域画素PL画素または偏光領域画素隣接画素PL画素隣接画素の近傍にある全透過領域画素N画素との輝度比率に対応するゲインを算出し、輝度補正対象画素に対して算出ゲインを乗じて輝度補正を実行する前記1~7いずれかに記載の画像処理装置。9前記反射検出部は、前記第2偏光手段の前記第3偏光領域の位置に対応する撮像素子の画素値と、前記第2偏光手段の前記第4偏光領域の位置に対応する撮像素子の画素値との差分を検出して、該差分に基づいて偏光領域画素PL画素の画素値に反射光成分が含まれるか否かの判定情報である反射情報を生成する前記1~8いずれかに記載の画像処理装置。10前記画像補正部は、前記撮像素子からの出力画像を構成する画素単位で、画素属性を示すインデックスを設定し、該インデックスに応じて処理を決定する前記1~9いずれかに記載の画像処理装置。11前記インデックスは、画素位置を示す座標属性と、視点位置を示す視点属性と、画素色を示す色属性を含む前記1~10いずれかに記載の画像処理装置。さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"