"各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみを透過させる第3偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像と、前記第2偏光手段の前記第3偏光領域の透過光に基づく第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像は、前記第1偏光手段の中心位置を視点とした通常画像であり、前記第2偏光手段の前記第3偏光領域の透過光に基づく第2視点画像は、記第1偏光手段の前記第1偏光領域または前記第2偏光領域のいずれか一方の重心位置を視点とした右眼用画像または左眼用画像であり、前記画像処理部は、前記第1視点画像である前記通常画像と、前記第2視点画像である右眼用画像または左眼用画像のいずれかの視点画像を適用して、前記第2視点画像と異なる第3視点画像としての左眼用画像または右眼用画像を生成し、前記第2視点画像と前記第3視点画像を適用して前記視差情報を生成する請求項1に記載の画像処理装置。前記画像処理部は、前記第1視点画像である前記通常画像の画素値から、前記第2視点画像である右眼用画像または左眼用画像の画素値を減算する処理により、前記第2視点画像と異なる第3視点画像としての左眼用画像または右眼用画像を生成する請求項2に記載の画像処理装置。前記画像処理部の生成する視差情報は、画像の被写体距離情報を反映したデプスマップであり、前記画像処理部は、デプスマップを適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する請求項1に記載の画像処理装置。前記第2偏光手段の第3偏光領域と全透過領域は、撮像素子平面の一方向である第1方向に複数画素単位で繰り返し設定された構成である請求項1に記載の画像処理装置。前記第2偏光手段の第3偏光領域は、ワイヤグリッド偏光子によって構成され、前記撮像素子の前記第1方向に直角な第2方向に延びるワイヤを有する構成である請求項5に記載の画像処理装置。前記画像処理部は、前記第2偏光手段の前記第3偏光領域の透過光に基づく前記第2視点画像である右眼用画像または左眼用画像のいずれかの視点画像の輝度レベルを、前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像の輝度レベルに合わせる輝度調整を実行し、該輝度調整後の前記第2視点画像を適用して前記視差情報を生成する請求項1に記載の画像処理装置。前記画像処理部は、前記第2偏光手段の前記全透過領域に対応する撮像素子の画素位置からの撮像素子出力に基づく画像に含まれない前記第3偏光領域対応画素位置の画素値を補間する補間処理部と、前記補間処理部の生成した補間画像のデモザイク処理により各画素位置に各色の画素値を設定して前記第1視点画像を生成するデモザイク処理部と、前記デモザイク処理部の生成した前記第1視点画像に対して、前記視差情報を適用した画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する請求項1に記載の画像処理装置。前記画像処理部の実行する画像変換処理は、2次元2D画像である前記第1視点画像に対して前記視差情報を適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である請求項1に記載の画像処理装置。前記画像処理部の実行する前記視差情報を適用した画像変換処理は、前記第1視点画像に対して被写体距離に応じた画像シフト処理を行うことで3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である請求項1に記載の画像処理装置。撮像手段の撮影画像に対する画像処理を実行する画像処理装置であり、前記撮像手段は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段の透過光に基づく画像を撮影する構成であり、前記画像処理装置は、前記第1偏光領域と前記第2偏光領域の全透過光からなる第1視点画像と、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみからなる第2視点画像を入力し、前記第1視点画像と、前記第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第2偏光手段の前記第3偏光領域の透過光に基づく視点画像と、前記第4偏光領域の透過光に基づく視点画像とを適用して被写体距離を反映した視差情報を生成し、該視差情報を適用して、前記第2偏光手段の前記全透過領域の透過光に基づく視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。画像処理装置において、撮像手段の撮影画像に対する画像処理を実行する画像処理方法であり、前記撮像手段は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段の透過光に基づく画像を撮影する構成であり、前記画像処理方法は、画像処理部において、前記第1偏光領域と前記第2偏光領域の全透過光からなる第1視点画像と、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみからなる第2視点画像を入力し、前記第1視点画像と、前記第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理方法。画像処理装置において、撮像手段の撮影画像に対する画像処理を実行させるプログラムであり、前記撮像手段は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段の透過光に基づく画像を撮影する構成であり、前記プログラムは、画像処理部に、前記第1偏光領域と前記第2偏光領域の全透過光からなる第1視点画像と、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみからなる第2視点画像を入力し、前記第1視点画像と、前記第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成させるプログラム。ところで、上記の特許文献1特公平6-054991号公報に開示された技術にあっては、2つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならず、レンズ系において光の損失が発生し、また、装置の小型化が困難であるなどの問題がある。また、上記の特許文献2特開2004-309868号公報に開示された技術にあっては、レンズおよび偏光フィルタの組合せを2組、必要とし、装置の複雑化、大型化が免れない。本開示は、例えば上記の問題に鑑みてなされたものであり、1台の撮像装置によって撮影される画像に対する処理を実行して立体画像として観察可能な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。本開示の第1の側面は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみを透過させる第3偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像と、前記第2偏光手段の前記第3偏光領域の透過光に基づく第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像は、前記第1偏光手段の中心位置を視点とした通常画像であり、前記第2偏光手段の前記第3偏光領域の透過光に基づく第2視点画像は、記第1偏光手段の前記第1偏光領域または前記第2偏光領域のいずれか一方の重心位置を視点とした右眼用画像または左眼用画像であり、前記画像処理部は、前記第1視点画像である前記通常画像と、前記第2視点画像である右眼用画像または左眼用画像のいずれかの視点画像を適用して、前記第2視点画像と異なる第3視点画像としての左眼用画像または右眼用画像を生成し、前記第2視点画像と前記第3視点画像を適用して前記視差情報を生成する。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記第1視点画像である前記通常画像の画素値から、前記第2視点画像である右眼用画像または左眼用画像の画素値を減算する処理により、前記第2視点画像と異なる第3視点画像としての左眼用画像または右眼用画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の生成する視差情報は、画像の被写体距離情報を反映したデプスマップであり、前記画像処理部は、デプスマップを適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記第2偏光手段の第3偏光領域と全透過領域は、撮像素子平面の一方向である第1方向に複数画素単位で繰り返し設定された構成である。さらに、本開示の画像処理装置の一実施態様において、前記第2偏光手段の第3偏光領域は、ワイヤグリッド偏光子によって構成され、前記撮像素子の前記第1方向に直角な第2方向に延びるワイヤを有する構成である。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記第2偏光手段の前記第3偏光領域の透過光に基づく前記第2視点画像である右眼用画像または左眼用画像のいずれかの視点画像の輝度レベルを、前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像の輝度レベルに合わせる輝度調整を実行し、該輝度調整後の前記第2視点画像を適用して前記視差情報を生成する。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記第2偏光手段の前記全透過領域に対応する撮像素子の画素位置からの撮像素子出力に基づく画像に含まれない前記第3偏光領域対応画素位置の画素値を補間する補間処理部と、前記補間処理部の生成した補間画像のデモザイク処理により各画素位置に各色の画素値を設定して前記第1視点画像を生成するデモザイク処理部と、前記デモザイク処理部の生成した前記第1視点画像に対して、前記視差情報を適用した画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の実行する画像変換処理は、2次元2D画像である前記第1視点画像に対して前記視差情報を適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の実行する前記視差情報を適用した画像変換処理は、前記第1視点画像に対して被写体距離に応じた画像シフト処理を行うことで3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である。さらに、本開示の第2の側面は、撮像手段の撮影画像に対する画像処理を実行する画像処理装置であり、前記撮像手段は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段の透過光に基づく画像を撮影する構成であり、前記画像処理装置は、前記第1偏光領域と前記第2偏光領域の全透過光からなる第1視点画像と、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみからなる第2視点画像を入力し、前記第1視点画像と、前記第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置にある。さらに、本開示の第3の側面は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第2偏光手段の前記第3偏光領域の透過光に基づく視点画像と、前記第4偏光領域の透過光に基づく視点画像とを適用して被写体距離を反映した視差情報を生成し、該視差情報を適用して、前記第2偏光手段の前記全透過領域の透過光に基づく視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置にある。さらに、本開示の第4の側面は、画像処理装置において、撮像手段の撮影画像に対する画像処理を実行する画像処理方法であり、前記撮像手段は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段の透過光に基づく画像を撮影する構成であり、前記画像処理方法は、画像処理部において、前記第1偏光領域と前記第2偏光領域の全透過光からなる第1視点画像と、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみからなる第2視点画像を入力し、前記第1視点画像と、前記第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理方法にある。さらに、本開示の第5の側面は、画像処理装置において、撮像手段の撮影画像に対する画像処理を実行させるプログラムであり、前記撮像手段は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段の透過光に基づく画像を撮影する構成であり、前記プログラムは、画像処理部に、前記第1偏光領域と前記第2偏光領域の全透過光からなる第1視点画像と、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみからなる第2視点画像を入力し、前記第1視点画像と、前記第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成させるプログラムにある。なお、本開示のプログラムは、例えば、様々なプログラムコードを実行可能な情報処理装置やコンピュータシステムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータシステム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本開示の一実施例の構成によれば、偏光性能の低下を発生させることなく複数の視点画像を取得して3次元画像表示用の画像を生成することが可能となる。具体的には、異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、第1偏光領域または第2偏光領域のいずれか一方の透過光のみを透過させる第3偏光領域と、第1偏光領域と第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、第2偏光手段の透過光を入力する撮像素子と、撮像素子の出力信号に対する信号処理を実行する画像処理部を有する。画像処理部は、第2偏光手段の全透過領域の透過光に基づく第1視点画像と、第2偏光手段の第3偏光領域の透過光に基づく第2視点画像を適用して被写体距離を反映した視差情報を生成し、視差情報を適用した第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する。本開示の一実施例の画像処理装置によれば、光学系の絞り面上を左右に分光するための偏光フィルタを配置し、ワイヤグリッド偏光子をイメージセンサ撮像面に配置することで画素毎に左右画像を取得するカメラ装置において、垂直方向のワイヤグリッド偏光子を不要とし、水平方向のワイヤグリッド偏光子のみを配置することにより、画素サイズの小さいイメージセンサでも高い偏光分離特性を実現することが可能となり、左右画像の間の視差分解能を維持することが可能となる。以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。1.画像処理装置の構成と処理例について実施例12.ワイヤグリッド偏光子の特性と問題点について3.短いワイヤ長のワイヤグリッド偏光子を省略した実施例について実施例24.右眼画像と通常画像から視差検出を行い、デプスマップを生成する実施例について実施例35.本開示の構成のまとめ[1.画像処理装置の構成と処理例について実施例1]図1以下を参照して本開示の実施例1としての画像処理装置の構成と処理例について説明する。図1は、画像処理装置の一例である撮像装置の構成を示している。図1Aに示す撮像装置10において、撮影レンズ11を介して撮影被写体に対応する入射光が入力する。撮影レンズ11を介した入射光は、第1偏光部12、絞り13、結像レンズ14、第2偏光部15を介して撮像素子16に入力される。なお、図1Aは、撮像装置カメラ10を上から見た図、すなわち上面図である。図1Aの左下に撮像装置10と撮影者20の概略図と、XYZ座標軸を示しているように、図1Aの撮像装置の構成図は、撮像装置カメラ10を上から見た図である。図1Aの中央付近に示す点線縦ラインX軸に示すように、図1Aの上側が撮影者から見て右R側であり、図1Aの下側が撮影者から見て左L側となる。撮像素子16は、例えばCCD、CMOS等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部17に出力する。画像処理部17では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部18に格納する。画像処理部17の構成と処理の詳細については後述する。図1Aに示す構成において、第1偏光部12は、図1Bに示す構成を有し、第2偏光部15は、図1Cに示す構成を有する。第1偏光部12は、図1Bに示すように、左右に2分割されており、左半分の領域に垂直偏光領域12V、右半分の領域に水平偏光領域12H、これらの異なる偏光領域が構成されている。なお、これらの偏光領域は例えば偏光フィルタを用いて構成される。垂直偏光領域12Vは、垂直方向の偏波光のみを通過させ、垂直偏光領域12Vを通過した光は、垂直方向の偏波光となる。水平偏光領域12Hは、水平方向の偏波光のみを通過させ、水平偏光領域12Hを通過した光は、水平方向の偏波光となる。図1Bに示す重心点31は、垂直偏光領域12Vの重心位置である。この垂直偏光領域12Vの透過光は、重心点31を視点として観察した画像に相当する。同様に、図1Bに示す重心点32は、水平偏光領域12Hの重心位置である。この水平偏光領域12Hの透過光は、重心点32を視点として観察した画像に相当する。すなわち、垂直偏光領域12Vの重心位置である重心点31を視点として観察した画像は、左眼からの観察画像である左眼視点画像L画像に対応し、水平偏光領域12Hの重心位置である重心点32を視点として観察した画像は、右眼からの観察画像である右眼視点画像R画像に対応する。このように、第1偏光部12を透過する画像は、左右の2つの異なる視点画像を、それぞれ垂直偏波光と水平偏波光として透過させることになる。この2つの異なる視点画像、すなわち、左眼用画像に相当するL画像垂直偏波光、右眼用画像に相当するR画像水平偏波光、これらの光は、結像レンズ14を介して、第2偏光部15に到達する。なお、以下の説明において、右眼用画像は右眼画像、左眼用画像は左眼画像と簡略化して表記する。第2偏光部15は図1Cに示す構成を持つ。第2偏光部15は、図1Cに示すように、水平偏光領域15H、垂直偏光領域15V、全透過非偏光領域15A、これらの3種類の領域を上から順に繰り返し設定した構成を有する。水平偏光領域15Hは、水平方向の偏波光を選択的に透過して撮像素子16に水平偏波光のみを結像させる。垂直偏光領域15Vは、垂直方向の偏波光を選択的に透過して撮像素子16に垂直偏波光のみを結像させる。全透過非偏光領域15Aは、水平方向の偏波光も垂直方向の偏波光もすべて透過し、すべつの入射光を撮像素子16に結像させる。なお、第2偏光部15に設定される各偏光領域は、例えばワイヤグリッド偏光子を用いて構成される。微細なワイヤ例えばAlアルミ線を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。図2に、第2偏光部15と、第2偏光部15の透過光を受光する撮像素子16を重ねた図を示す。撮像素子16は、RGB配列ベイヤー配列を有する撮像素子を例として示している。図2に示す構成例は、第2偏光部15に設定される垂直偏光領域15Vと、水平偏光領域15Hは、撮像素子の2ライン単位で隣接して設定され、全透過非偏光領域15Aは12ライン単位で設定した例である。すなわち、a2ラインの垂直偏光領域15V、b2ラインの水平偏光領域15H、c12ラインの全透過非偏光領域15V、これらa~cの3種類の領域が、撮像素子16の縦方向Y方向に繰り返し設定される。水平偏光領域15Hは、水平方向の偏波光、すなわち、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光のみを選択的に透過して撮像素子16に右眼画像R画像を結像させる。垂直偏光領域15Vは、垂直方向の偏波光、すなわち、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光のみを選択的に透過して撮像素子16に左眼画像L画像を結像させる。全透過非偏光領域15Aは、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光と、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光との両画像を透過させる。この画像は、図1Bに示す重心点31と重心点32の中心位置である中心点33から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常の単眼カメラで撮影した通常画像と同様の画像となる。図2に示す構成例は、第2偏光部15の一構成例であり、垂直偏光領域15Vと、水平偏光領域15Hは、撮像素子の2ライン単位で隣接して設定され、全透過非偏光領域15Aは12ライン単位で設定した例である。第2偏光部15の構成としては、この他にも様々な構成が可能である。例えば図3に示すように、垂直偏光領域15Vと、水平偏光領域15Hをそれぞれ矩形領域に設定し、これらを交互に配置した構成も設定可能である。図4は、図3に示す第2偏光部とRGB配列の撮像素子16を重ねて示した図である。図4に示す例は、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hを設定し、これらを交互に配置している2行の領域、14行の全透過非偏光領域15A、これらを縦方向Y方向に繰り返して配置した構成である。本構成においては、2×2の4画素からなる矩形領域からなる水平偏光領域15Hは、水平方向の偏波光、すなわち、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光のみを選択的に透過して撮像素子16に右眼画像R画像を結像させる。2×2の4画素からなる矩形領域からなる垂直偏光領域15Vは、垂直方向の偏波光、すなわち、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光のみを選択的に透過して撮像素子16に左眼画像L画像を結像させる。全透過非偏光領域15Aは、Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光と、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光との両画像を透過させる。この画像は、図1Bに示す重心点31と重心点32の中心位置である中心点33から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない中心点33から観察した通常画像と同様の画像となる。図5は、図1に示す画像処理部17の詳細構成を説明する図である。撮像素子16は、図2~図4を参照して説明したように、a垂直偏光領域、b水平偏光領域、c全透過非偏光領域、これらの3種類の領域に区分され、それぞれの領域対応の信号を画像処理部17に入力する。なお、以下の説明において、撮像素子16におけるa垂直偏光領域とb水平偏光領域に対応する画素を、PLPolarized=偏光画素と呼ぶ。c全透過非偏光領域に対応する画素を、NNon-polarized非偏光画素と呼ぶ。撮像素子16の出力は、PL画素出力=垂直偏光領域と水平偏光領域対応画素の出力、N画素出力=全透過非偏光領域対応画素の出力これらの出力によって構成される。ここでは、図3、図4を参照して説明した第2偏光部15と撮像素子16の組み合わせ構成を持つ撮像素子16からPL画素出力とN画素出力を画像処理部17に出力した場合の処理例について説明する。すなわち、撮像素子16は、図4を参照して説明したように、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域と、14行の全透過非偏光領域15A、これらが縦方向Y方向に繰り返して配置された構成を持つ。図5に示す撮像素子16から出力される画素信号は、画像処理部17の偏光画素分離部51において、偏光領域画素PL画素と、非偏光領域画素N画素と、これらの各領域の画素出力の分離処理が実行される。偏光画素分離部51の分離処理によって分離されたN画素信号非偏光画素信号61は、非偏光画素補間処理部52に入力される。非偏光画素補間処理部52は、N画素信号非偏光画素信号61から欠落した画素領域、すなわち、PL画素領域の画素についての画素補間処理を実行する。具体的には、例えば、PL画素領域の画素値を、上下のN画素の画素値を参照して算出して設定する補間処理を実行する。この画素補間処理によって、画素値の欠落している全てのPL画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像2D-Raw画像62を生成する。補間画像2D-Raw画像62は各画素にRGBのいずれかの画素値の設定された画像である。非偏光画素補間処理部52の生成する補間画像2D-Raw画像62は、撮像素子16の構成画素の全ての画素にN画素信号非偏光画素信号が設定された画像となる。この画像は、図1Bに示す第1偏光部12の中心点33から観察した画像に相当する1枚の2D2次元Raw画像である。非偏光画素補間処理部52の生成した補間画像2D-Raw画像62は、デモザイク処理部53に入力される。デモザイク処理部53は、補間画像2D-Raw画像62に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の2次元画像に変換する。デモザイク処理は、全ての画素位置に全ての色信号、例えばRGBの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。デモザイク処理部53の生成した2D-RGB画像63は、視差画像生成部56に入力される。一方、偏光画素分離部51の分離処理によって生成されるもう1つの分離信号であるPL画素信号偏光画素信号65は、非偏光領域画素N画素の画素値を持たない、偏光領域画素PL画素の画素値のみからなる画像信号となる。このPL画素信号偏光画素信号65は、偏光画素補間処理部54に入力される。ここで説明する処理例は、図4を参照して説明した2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域と、14行の全透過非偏光領域15A、これらが縦方向Y方向に繰り返して配置された構成である。従って、偏光画素分離部51の分離処理によって生成されるPL画素信号偏光画素信号65は、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域が、縦方向に14行おきに設定された画像となる。偏光画素補間処理部54は、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域のみを処理対象として選択し、これらのPL画素領域について図6に示す処理を実行する。すなわち、偏光画素補間処理部54は、PL画素信号偏光画素信号65に含まれるPL画素領域について、すべてを垂直偏光領域15Vに対応する画素値を設定した左眼画像信号垂直偏光画像信号66a、すべてを水平偏光領域15Hに対応する画素値を設定した右眼画像信号水平偏光画像信号66b、これらの各画像を生成する。なお、図6に示す左眼画像信号垂直偏光画像信号66aは、PL画素信号偏光画素信号65に含まれるPL画素領域の水平偏光画素領域の画素値をリセット取り除き、近傍の垂直偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。同様に、図6に示す右眼画像信号水平偏光画像信号66bは、PL画素信号偏光画素信号65に含まれるPL画素領域の垂直偏光画素領域の画素値をリセット取り除き、近傍の水平偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。この結果、左眼画像信号垂直偏光画像信号66aに含まれる画素値の設定された画像は、図1Bに示す第1偏光部12の左側の重心点31から見た画像、すなわち左眼画像に対応する画像となる。同様に、右眼画像信号水平偏光画像信号66bに含まれる画素値の設定された画像は、図1Bに示す第1偏光部12の右側の重心点32から見た画像、すなわち右眼画像に対応する画像となる。このように、偏光画素補間処理部54は、PL画素信号偏光画素信号65に含まれるPL画素領域について、左眼画像、右眼画像のそれぞれ水平方向に欠落している情報を補間して入力画像と同等の水平画素数を持つ、左眼画像信号垂直偏光画像信号66a、右眼画像信号水平偏光画像信号66b、を生成する。偏光画素補間処理部54の生成したこれらの画像は、視差検出部55に入力される。視差検出部55は、水平画素数が入力画像と同等の画素数を有する図6に示す、左眼画像信号垂直偏光画像信号66a、右眼画像信号水平偏光画像信号66b、これらの2つの画像に対して、例えばブロックマッチング処理等を用いて、対応画素を比較し、被写体ずれ量を求めることにより視差情報としての被写体距離を検出する。すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。視差検出部55は、例えば各画素対応の被写体距離情報を持つデフスマップ67を生成して出力する。なお、デプスマップ67は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。具体的には、例えば、被写体距離が小カメラに近いの領域は高輝度、被写体距離が大カメラから遠いの領域は低輝度、視差検出部55は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部56に出力する。なお、偏光画素補間処理部54の生成する、左眼画像信号垂直偏光画像信号66a、右眼画像信号水平偏光画像信号66b、これらの画像は、図6に示すように、入力画像中のN画素非偏光画素領域については、画像信号を有していないが、視差検出部55は、これらの画素値を持たないN画素非偏光画素領域については、左眼画像信号垂直偏光画像信号66aに基づく補間画素値を設定した左眼画像と、右眼画像信号水平偏光画像信号66bに基づく補間画素値を設定した右眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。なお、画素値補間処理には、例えば線形補間処理等が利用可能である。なお、偏光画素補間処理部54の生成する視差画像LR画像は、次段の視差検出部55においてデプスマップ67を生成するために用いられるのみであり、PL画素領域の視差が得られればよい。図6に示す各視点からの画像、すなわち、左眼画像信号垂直偏光画像信号66a、右眼画像信号水平偏光画像信号66b、これらの画像はRGBの各信号を設定した画像となっているが、偏光画素分離部51の出力するPL画素信号偏光画素信号65に含まれるG画素のみを用いて視差画像としてのL画像とR画像を生成してもよい。このG画素のみを用いた視差画像の生成処理例について図7を参照して説明する。G画素のみを用いた視差画像の生成処理は図7に示す以下の2つの補間処理ステップからなる。a補間処理ステップ1=偏光領域におけるG画素補間処理、b補間処理ステップ2=水平方向のG画素ライン行の設定処理、図7aは、a補間処理ステップ1=偏光領域におけるG画素補間処理この処理を示している。図7には、左眼画像信号垂直偏光画像信号を生成する処理例を示している。すなわち、偏光画素分離部51の生成するPL画素信号65に含まれる左眼画像信号垂直偏光画像信号に基づいて、撮像素子16の全画素領域に左眼画像信号に対応するG画素を設定する処理である。先に図3、図4を参照して説明したように、左眼用画像信号である垂直偏光領域15Vと、右眼用画像信号である水平偏光領域15Hは2×2の画素領域として繰り返し設定されている。図7aには、偏光領域の2行のみを示しており、2×2画素の左眼画像信号に対応する垂直偏光領域15Vと、2×2画素の右眼画像信号に対応する水平偏光領域15Hが交互に設定された画素領域を示している。まず、右眼用画像に対応する水平偏光領域15Hの画素値を削除して、ここに左眼画像信号に対応する垂直偏光領域15VにあるG画素の画素値に基づく補間画素値を設定する。例えば図7aに示す、G14、G23が補間処理によって生成されるG画素である。例えば、G14の画素値G14は、同一行の2つの左右にある左眼画像信号に対応する垂直偏光領域15Vにある最近接のG画素の画素値G12,G16を用いて以下の式で算出する。G14=1/2G12G16同様に、G23の画素値G23は、同一行の2つの左右にある垂直偏光領域15Vにある最近接のG画素の画素値G21,G25を用いて以下の式で算出する。G23=1/2G21G25このように、左眼用画像の生成時には、右眼用画像に対応する水平偏光領域15HのG画素設定位置に、左右の左眼用画像に対応する垂直偏光領域15VのG画素値に基づく線形補間処理を行う。この処理によって、2行の偏光画素領域の各列に左眼用画像に対応する1つのG画素の画素値が設定される。この各列に1つ設定されたG画素を1行のラインに設定する処理が図7bに示す処理である。すなわち、b補間処理ステップ2=水平方向のG画素ライン行の設定処理、この補間処理ステップ2である。図7bには、この補間処理ステップ2の処理例として、2つの手法手法1、手法2を示している。b1第1手法は、図7aに示すステップ1において設定した各列に1つあるG画素値を1つの行に並べる処理である。なお、偏光領域は2行単位で設定されているが、垂直2行に対して1行のG画素ラインとして出力する。b2第2手法は、図7aに示すステップ1において設定した各列に1つあるG画素値の隣接する2つのG画素値を用いて1つの新たなG画素値を算出して1行のG画素ラインを設定する処理である。例えば、図7bに示すように、b2に示す新たなG画素の画素値G1は、G1=1/2G21G12上記式に従って算出する。同様に、G2,G3,G4を図7aに示すステップ1において設定した隣接する2つのG画素値を用いて算出する。これら手法1または手法2のいずれかを行う補間処理ステップ2の実行により、偏光領域に対応する行の画素には、左眼視点画像に対応するG画素の設定が完了する。なお、図7は、左眼画像信号垂直偏光画像信号を生成する処理例を示しているが、右眼画像信号水平偏光画像信号の生成処理は、右眼画像信号水平偏光画像信号を利用して、垂直偏光領域15Vを補間対象領域とした補間処理を実行すればよい。この補間処理により、偏光領域の各行に右眼視点画像に対応するG画素の設定を行うことができる。このように、偏光画素補間処理部54は、偏光領域に左眼画像のG画素値を設定した補間画像、偏光領域に右眼画像のG画素値を設定した補間画像、これらの2つの補間画像を生成して視差検出部56に提供する構成としてもよい。視差検出部55は、このG画素のみからなる視差画像としての2つの補間画像を入力してデプスマップ67を生成する。この処理について、図8を参照して説明する。図7を参照して説明した偏光画素補間処理部54の実行する補間画像生成処理において生成される補間画像は、偏光領域に左眼画像のG画素値を設定した補間画像、偏光領域に右眼画像のG画素値を設定した補間画像、これらの補間画像である。視差検出部55は、まず、これらの補間画像を適用して偏光領域の各画素に対応する視差を算出して、視差に対応する被写体距離D:デプスを算出する。次に、この偏光領域のみのデプス情報を用いて、非偏光領域のデプスを推定するデ ゚プス補間処理を実行する。図8は、このデプス情報補間処理例を示す図である。図8に示すように、偏光領域に設定されたデプスD1,D2を用いて、非偏光領域の各に画素に対応するデプスを算出して設定する。図8の例では、説明を簡単にするために偏光領域が1行、非偏光領域が7行に設定された例を示しており、D1,D2がそれぞれ任意の列に対する偏光領域の画素に対応するデプス情報である。これらは、偏光画素補間処理部54の生成した、偏光領域に左眼画像のG画素値を設定した補間画像、偏光領域に右眼画像のG画素値を設定した補間画像、これらの補間画像によって算出されるデプス情報である。視差検出部55は、さらに、これらのデプス情報に基づいて、非偏光領域の各画素対応のデプスを推定して設定する。図8には、任意の列において偏光領域の2つの画素に対応するデプスD1,D2に基づいて算出する同じ列の9つのデプス情報D1~D9の算出処理例を示している。具体的には、例えば、以下のような算出処理を実行する。D1=D1D2=7/8D11/8D2D3=6/8D12/8D2::D8=1/8D17/8D2D9=D2このように、D1,D2を用いた拡大処理を行い、D1,D2からの距離に応じた重みを設定して各画素のデプスを推定したデプスマップを生成する。このようにして生成されたデプスマップ67が視差画像生成部56に提供される。ここで、図8の例では簡単のために偏光領域が1行、非偏光領域が7行として拡大処理について説明したが、図6で説明するように偏光領域が2行である場合、図7を用いて上述したように、偏光領域に対して1行のデプスマップが生成される。このデプスマップは、偏光領域の2行に対して仮想的に中央の行のデプスマップとなっているため、偏光領域の2行、および非偏光領域のk行に対して、図8での説明と同様にして距離に応じた重みを設定して各画素のデプスを推定したデプスマップを生成する。上述したように、偏光画素補間処理部54における視差情報算出用の補間画像生成処理、および、視差検出部55におけるデプスマップ67の生成処理としては様々な処理が適用可能である。次に、視差画像生成部56において実行する処理について説明する。視差画像生成部56は、デモザイク処理部53から出力される2次元画像である2D-RGB画像63と、視差検出部55から出力される視差情報としてのデプスマップ67を用いて、左眼画像L画像71と、右眼画像R画像72の2枚の画像を生成する。すなわち、2D-RGB画像63に対して、視差情報としてのデプスマップ67に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像L画像71と、右眼画像R画像72を生成して出力する。なお、この視差画像生成部56において実行する画像変換処理は、1枚の2次元画像2D画像に基づく画像変換により3次元画像表示に適用可能な左眼画像L画像71と、右眼画像R画像72を生成して出力する処理であり、一般的には例えば2D3D変換処理と呼ばれる処理である。視差画像生成部56において実行する2D3D変換処理の一例について、以下説明する。なお、2D3D変換処理については、様々な処理が提案されており、視差画像生成部56においては、以下に説明する処理に限らず、その他の既存の手法を適用した2D3D変換処理を行ってもよい。視差画像生成部56において実行する2D3D変換処理の1つの具体例について説明する。視差画像生成部56では、デプスマップ67を用いた2D3D変換処理により、デモザイク処理部53から入力した1つの画像、すなわち、2D-RGB画像63から、3次元画像表示に適用する右眼画像と左眼画像を生成する。視差画像生成部56は、デプスマップから得られる画素領域単位の被写体距離情報に応じた視差シフト量を設定した右眼画像と左眼画像を生成して画像出力部57を介して出力する。図9は、視差画像生成部56の一実施例の構成を示すブロック図である。視差画像生成部56は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで新たな視点の画像を生成する処理を行う。視差画像生成部56は、微分器81、ゲイン制御部82、非線形変換部83、および画像合成部84から構成される。微分器81は、視差画像生成部56に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号Hを生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向3タップの線形1次微分フィルタなどを用いる。なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号RGB等を処理対象データとして利用してもよい。ゲイン制御部82は、微分器81から出力される微分信号Hに、予め設定した規則に則った係数ゲイン係数を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号Hを生成する。非線形変換部83は、ゲイン制御部82から出力される補正微分信号Hを非線形的に変換し、視差強調信号Eとして画像合成部84に出力する。画像合成部84は、例えば処理対象画像としてのビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号H、または、この補正微分信号を非線形変換して生成した視差強調信号Eを適用して新たな視点の画像を生成する処理を行う。なお、図9に点線で示すように、非線形変換部83の変換処理を省略し、ゲイン制御部82で補正処理した補正微分信号Hを画像合成部84に直接入力して、画像合成部84が、補正微分信号を適用して新たな視点の画像を生成する構成としてもよい。次に、ゲイン制御部82の実行する処理について説明する。図10は、ゲイン制御部82の一実施例の構成を示すブロック図である。ゲイン制御部82では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の1画素ごとに、1つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。視差検出部55の生成するデプスマップ67から取得される情報である。ゲイン係数算出部91は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。乗算処理部92は、入力された微分信号の各画素について、ゲイン係数算出部91から出力された各画素に対するゲイン係数を、微分信号Hの振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号Hを出力する。図11は、ゲイン係数算出部91において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部91におけるゲイン係数の出力を示している。ゲイン係数算出部91は、入力された奥行き情報Inを、予め設定した関数fxにより変換して、ゲイン係数Outを出力する。このとき、関数fxは、様々な設定が利用可能である。関数fxの一例としては、例えば、fx=A×xただしAは定数上記式に示されるような線形一次関数を用いる。Aは予め設定した定数であり、様々な値に設定可能である。また、ゲイン係数算出部91における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。図11は、ゲイン係数算出部の入力値奥行き情報と、出力値ゲイン係数の対応例を示す図である。図11には3つの入力値奥行き情報とそれに対応する3つの出力値ゲイン係数の例を示している。入力値奥行き情報の例は、D1、D2、D3であり、ある3つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者ユーザあるいはカメラから被写体までの距離に対応する値である。奥行き=被写体距離はD1<D2<D3の順に、手前から奥へと深くユーザまたはカメラから遠くなっていくものとする。ここで、図11中、奥行き情報In=0の位置は生成した画像を3次元表示装置に表示した場合に表示画面上に知覚される点である。このとき出力値ゲイン係数の例は、G1、G2、G3であり、各々は図11中の関数fxに、D1、D2、D3の値を入力することで得られる値である。この例のように、ゲイン係数算出部91は、微分信号の各画素に応じたゲイン係数を出力する。図12は、ゲイン制御部82における微分信号の振幅値を制御する処理の一例を示している。図12には、a入力信号b微分信号c奥行き情報d補正後の微分信号これらの例を示している。図12aは、入力画像信号の一例である。図12bは、図12aの入力画像信号を微分処理した画像である。図12cは、図12aの入力画像信号に対応した奥行き情報であり、画像を3分割した各領域に奥行きの値を与えた簡易なものである。ここで、図12cの奥行き情報を示す画像信号には、上部から順に図11において定義した奥行き情報:D3、D2、D1D1<D2<D3の値が与えられているものとしている。このとき、図11において説明した奥行きとゲイン値の関係の通り、図12bの微分信号の各画素に乗じるゲイン値は、画像の上部から順に、G3、G2、G1G1<G2<G3となる。図12d補正後の微分信号は、図12cの奥行き情報に基づいたゲイン値を、図12bの微分信号の各画素に乗じた処理結果の一例である。図12d補正後の微分信号においては、画面上部ほど遠い領域ほど、大きなゲイン値が乗じられ、画面下部ほど近い領域ほど小さなゲイン値が乗じられる。この結果、画面上部ほど遠い領域ほど微分信号の振幅値が大きくなり、画面下部ほど近い領域ほど微分信号の振幅は小さくなる。2D3D変換処理を実行する視差画像生成部56は、このように距離に応じた振幅の異なる微分信号を用いて新たな視点画像を生成して出力する。次に、非線形変換部83の実行する処理について説明する。非線形変換部83は、ゲイン制御部82から出力される距離に応じてゲイン制御のなされた補正微分信号Hを非線形的に変換した視差強調信号Eを生成して画像合成部84に出力する。図13は、非線形変換部83において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部82から出力される距離に応じてゲイン制御補正のなされた微分信号であり輝度補正微分信号である。縦軸が、非線形変換部83における非線形変換処理後の出力を示している。非線形変換部83は、入力された補正微分信号Inを、予め規定した関数fxにより変換して、視差強調信号Outを出力する。すなわちOut=fInとする。このとき、関数fxは、様々な設定が利用可能である。関数fxの一例としては、例えば、fx=xγ上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。また、非線形変換部83における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。画像合成部84は、非線形変換部83から出力される視差強調信号と、視差画像生成部56に入力された2D画像とを合成して、新たな視点画像を生成する処理を行う。なお、図9に点線で示すように、非線形変換部83の変換処理を省略し、微分器81の生成した微分信号に対してゲイン制御部82が距離に応じたゲイン制御を行った補正微分信号Hを画像合成部84に直接入力する構成としてもよい。この場合は、画像合成部84は、奥行き被写体距離に応じてゲイン制御の施された補正微分信号Hを適用して新たな視点の画像を生成する処理を行う。次に画像合成部84の処理について説明する。画像合成部84は、処理対象画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して新たな視点の画像を生成する処理を行う。図14と図15は、画像合成部84において実行する画像合成処理の概念を示している。図14は、距離が大の画像領域奥行きが大きい画像領域図15は、距離が小の画像領域奥行きが小さい画像領域これらの各画像領域について、上から順に、a入力信号Sb微分信号Hc補正ゲイン制御後の補正微分信号Hd右シフト画像信号e左シフト画像信号これらの各信号を示している。図12のc奥行き情報に対応付けて説明すると、例えば、図14は図12cの画像上部の距離が大=D3の画像領域奥行きが大きい画像領域に対応する処理例である。一方、図15は図12cの画像下部の距離が小=D1の画像領域奥行きが小さい画像領域に対する処理例である。まず、図14に示す距離が大の画像領域奥行きが大きい画像領域における処理例について説明する。a入力信号Sは、ビデオデータの任意のフレームの任意の水平1ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する1つのラインを例示している。ライン位置x1からライン位置x2までの領域Aにおいて、輝度が次第に高くなる変化を示し、ライン位置x2~x3において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置x3からライン位置x4までの領域Bにおいて、輝度が次第に低くなる変化を示している。b微分信号Hは、a入力信号の微分結果である。この微分信号は、図9に示す視差画像生成部56の微分器81において生成される信号である。微分器81の生成する微分信号Hは、図14に示すとおり、a入力信号Sの輝度変化が正になる領域Aにおいて正の値をとり、a入力信号の輝度変化が負になる領域Bにおいて負の値をとる。c補正ゲイン制御後の微分信号Hは、図9に示す視差画像生成部56のゲイン制御部82において生成する信号であり、図14b微分信号を、奥行き情報に基づいて補正ゲイン制御した信号である。なお、図14に示す例は、距離が大例えば図11、図12cのD3の画像領域奥行きが大きい画像領域における処理例であり、図11、図12を参照して説明したようにより大きなゲインG3による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。図14cに示す点線が補正前の信号=b微分信号Hであり、図14cに示す実線が距離に応じた補正後の補正微分信号Hである。このように、補正微分信号Hは距離に応じたゲイン制御により、振幅がより大きく補正される。d右シフト画像信号、e左シフト画像信号は、図9に示す画像合成部84が生成する信号である。例えば図5に示す視差画像生成部56にデモザイク処理部53から入力する2D画像が、図14aに示す入力画像であるとした場合、この入力画像を右シフトすることで、d右眼画像信号を生成する。また、この入力画像を左シフトすることで、e左眼画像信号を生成する。具体的には、a入力信号Sと、c補正ゲイン制御後の補正微分信号Hを非線形変換部83において非線形変換した結果非線形変換部83の出力である視差強調信号Eとを合成することで、d右眼画像信号、または、e左眼画像信号を生成する。図14dに示す通り、大きなゲインG3によって補正が行われた補正微分信号Hを合成する場合、補正前の微分信号Hを合成する場合に比較して、右シフトが大きい画像信号が生成される。同様に、図14dでは、左シフト量が大きい画像信号が生成される。次に、図15に示す距離が小の画像領域奥行きが小さい画像領域における処理例について説明する。図15は図12cの画像下部の距離が小=D1の画像領域奥行きが小さい画像領域に対する処理例である。a入力信号と、b微分信号は、図14に示すa入力信号と、b微分信号と同様の信号である。b微分信号Hは、a入力信号Sの微分結果である。この微分信号は、図9に示す微分器81において生成される信号である。微分器81の生成する微分信号は、図15に示すとおり、a入力信号の輝度変化が正になる領域Aにおいて正の値をとり、a入力信号の輝度変化が負になる領域Bにおいて負の値をとる。c補正ゲイン制御後の補正微分信号Hは、図9に示すゲイン制御部82において生成する信号であり、図15b微分信号を、奥行き情報に基づいて補正ゲイン制御した信号である。図15に示す例は、距離が小例えば図11、図12cのD1の画像領域奥行きが大きい画像領域における処理例であり、図11、図12を参照して説明したように小さなゲインG1により微分信号の振幅は小さな振幅に補正される。図15cに示す点線が補正前の信号=b微分信号であり、図15cに示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。d右眼画像信号、e左眼画像信号は、図9に示す画像合成部84において生成する信号である。画像合成部84は、a入力信号Sと、c補正ゲイン制御後の補正微分信号Hを非線形変換部83において非線形変換した結果非線形変換部83の出力である視差強調信号Eとを合成してd右眼画像信号、またはe左眼画像信号を生成する。例えば図5に示す視差画像生成部56にデモザイク処理部53から入力する2D画像が、図15aに示す入力画像であるとした場合、この入力画像を右シフトすることで、d右眼画像信号を生成する。また、この入力画像を左シフトすることで、e左眼画像信号を生成する。図15dに示す通り、小さなゲインG1によって補正が行われた補正微分信号Hを合成する場合、補正前の微分信号Hを合成する場合に比較して、右シフト量が小さい画像信号が生成される。同様に、図14dでは、左シフト量が小さい画像信号が生成される。このように、視差画像生成部56は、表示画面よりも奥の方向に知覚されるような画像を生成する場合は、距離=大の場合は、振幅の大きい補正微分信号距離=小の場合は、振幅の小さい補正微分信号、これらの補正微分信号図14、図15のcを生成し、これらの補正微分信号またはその非線形変換結果である視差強調信号とa入力信号との合成処理により、入力画像と異なる視点からの観察画像に相当するd右眼画像信号、またはe左眼画像信号を生成する。このようなd右眼画像信号と、e左眼画像信号の生成処理の生成処理について、数式を用いて説明する。図14、図15のa入力信号に相当するビデオデータの輝度レベルをSとし、図14、図15のbに示す微分信号の信号レベルをHとする。また、ゲイン制御部82において行われる微分信号の補正結果としての補正微分信号の信号レベルをHてとする。なお、補正微分信号Hの生成の際、b微分信号Hに乗じるゲイン値Gは、奥行き情報Dをもとに予め設定された関数などから決定される。図14に示す距離が大の場合のゲイン値をG3、図15に示す距離が小の場合のゲイン値をG1、とする。図14、図15に示す例は、G3>1>G1の関係を想定している。図14、図15のc補正後の微分信号の信号レベルをHで表現すると、Hは上記ゲイン値G3、G1を用いて補正された信号として、以下の式によって示すことができる。図14に示す距離が大の場合の補正後微分信号Hは、H=G3×H図15に示す距離が小の場合の補正後微分信号Hは、H=G1×Hこれらの式によって算出された信号が、図14、図15のc補正後の微分信号の信号レベルHとなる。図14cに示す距離が大の場合において、実線で示す補正後微分信号Hと、点線で示す補正前微分信号=bを比較すると、実線で示す補正後微分信号Hは、点線で示す補正前微分信号よりも振幅が大きくなっている。一方、図15cに示す距離が小の場合において、実線で示す補正後微分信号Hと、点線で示す補正前微分信号=bを比較すると、実線で示す補正後微分信号Hは、点線で示す補正前微分信号よりも振幅が小さくなっている。これは、図14c、図15cに示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。すなわち、視差検出部55の出力するデプスマップにおける奥行き情報が大カメラからの距離が遠い画素については、b微分信号に対して大きなゲイン値を乗じて補正されて図14cに示す補正後微分信号が生成される。一方、視差検出部55の出力するデプスマップにおける奥行き情報が小カメラからの距離が近い画素については、b微分信号に対して小さなゲイン値を乗じて補正されて図15cに示す補正後微分信号が生成される。図14c、図15cに示す補正後の微分信号は、非線形変換部83において、例えば先に図13を参照して説明した設定で非線形変換処理が施され、視差強調信号Eが生成される。画像合成部84は、a入力信号に相当するビデオデータSと、c補正後の微分信号Hを非線形変換した視差強調信号Eを入力して、例えば以下の式により右シフト画像信号Right、または左シフト画像信号Leftを生成する。Right=S-ELeft=SEこれにより得られる信号が、図14d、図15dに実線で示す右シフト画像信号、および、図14e、図15eに示す左シフト画像信号である。一方、図14d,eと図15d,eに点線で示す信号は、c補正後の微分信号ではなく、補正前の微分信号、すなわちb微分信号Hを適用して非線形変換した視差強調信号Eを利用して生成した右シフト画像信号、および左シフト画像信号に相当する。すなわち、Right=S-ELeft=SEである。図14、図15のd右シフト画像信号、および、e左シフト画像信号に示す実線と点線を比較すると、図14に示す距離が大の場合は、d右シフト画像信号、e左シフト画像信号の両者とも、実線補正後微分信号が、点線補正前微分信号よりエッジ部信号の変化部が急峻になっており、a入力信号に比較して信号のシフトが大きくなっている。一方、図15に示す距離が小の場合は、d右シフト画像信号、e左シフト画像信号の両者とも、実線補正後微分信号が、点線補正前微分信号よりエッジ部が滑らかになっており、a入力信号に比較して信号のシフトが小さくなっている。このように、視差画像生成部56は、デモザイク処理部53から入力する2D-RGB画像63に対して、視差検出部55から入力するデプスマップ67を利用して被写体距離に応じた視差設定を実行する2D3D変換処理を実行して3D画像表示に適用する左眼図像L画像71、右眼画像R画像72を生成して画像出力部57を介して出力する。上述したように、図5に示す画像処理部17は、撮像素子16上に配置した偏光子に応じて取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得し、これらの画像に基づしいて視差情報としてのデプスマップを生成する。さらに、偏光子を配置しない画素によって通常の2次元画像を取得して、これらの情報から画像処理によって3D画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。なお、上述の実施例では、図1他を参照して説明した第1偏光部12が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる2つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。なお、第2偏光部15は、第1偏光部12の偏光領域の設定に対応させて、第1偏光部12に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。[2.ワイヤグリッド偏光子の特性と問題点について]先に説明したように、図1に示す第2偏光部15の偏光領域は、例えばワイヤグリッド偏光子を用いた構成とされる。ワイヤグリッド偏光子は、微細なワイヤ例えばAlアルミ線を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。このワイヤグリッド偏光子の偏光分離特性は、ワイヤの長さに影響し、ワイヤ長が短いと十分な偏光特性が発揮されない場合がある。従って、左眼用と右眼用の画像情報を視差検出可能な状態で取得するためには、図1に示す第2偏光部15に設定するワイヤグリッド偏光子のワイヤ長を一定以上に保つ必要がある。一方、コスト削減や小型化のためには固体撮像素子の光学サイズを小さくすることは必須であり、また、画素数を増やすためには1画素の大きさを小さくすることが求められる。しかしながら、画素の大きさを小さくすると、例えば先に説明した図2や、図4に示す画素配置においては、垂直方向のワイヤグリッド偏光子のワイヤ長は、必然的に短くなる。すなわち、例えば図2、図4に示す設定では、水平方向のワイヤグリッドのワイヤ長は、最大、撮像素子の横方向の長さまでに設定可能となるが、垂直方向のワイヤグリッド偏光子のワイヤ長は、必然的に最大2画素分の長さに制限されてしまう。このような短いワイヤを利用すると、偏光分離特性が悪化するという問題が発生することがある。偏光分離特性の低下を抑制するためにはワイヤ長を長くする必要があるが、例えば図2や図4に示すような2画素単位の垂直偏光領域15Vを、さらに長く例えば3画素以上の垂直偏光領域として設定するといった処理が必要となる。しかし、このような構成とすると、垂直方向の偏光領域画素PL画素の数が増加し、非偏光領域画素N画素の画素数が減少することになる。この結果、図5に示す非偏光画素補間処理部52において実行する補間性能が悪化し、生成可能な2次元画像の画質が低下するという問題を引き起こす。従って、図1C、図2を参照して説明した偏光領域の設定構成、図3、図4を参照して説明した偏光領域の設定構成、このような偏光領域の設定構成を用いた場合、a垂直方向の偏光領域画素PL画素における偏光分離特性の確保、b非偏光領域画素N画素の画素数の確保、上記a,bを両立させることが困難となるという問題が発生する。[3.短いワイヤ長のワイヤグリッド偏光子を省略した実施例について実施例2]以下では、本開示の画像処理装置の第2実施例として、上記の問題点を解決した構成、すなわち、撮像素子に設定する第2偏光部の短いワイヤ長のワイヤグリッド偏光子を省略した構成例について説明する。以下に説明する画像処理装置は、上述のワイヤグリッド偏光子の偏光分離特性を維持するという課題を解決するために、垂直方向のワイヤグリッド偏光子を不要とした構成を持つ。具体的には、図1に示す撮像装置における第2偏光部15に、垂直方向のワイヤグリッド偏光子を配置せず、水平方向のワイヤグリッド偏光子を配置した偏光領域PL画素領域と非偏光領域画素N画素のみを有する構成とする。このような構成とすることで偏光特性を悪化させることなく、また非偏光領域画素N画素の十分な画素数確保を実現する。以下に説明する構成例では、第2偏光部が垂直方向のワイヤグリッド偏光子の設定領域を持たず、水平方向のワイヤグリッド偏光子からなる偏光領域のみの構成となるため、ワイヤグリッド偏光子の配置領域からは左眼あるいは右眼のいずれか一方の視点画像が得られない。しかし、以下に説明する画像処理部の処理によって視差情報を生成するための左眼画像と右眼画像を生成して、これらの生成画像に基づいてデプスマップを生成する。さらに、十分な画素数を持つ非偏光領域画素N画素の画像の補間処理によって生成した高品質な2D画像に基づく2D3D変換処理を実行して、3D画像表示に適用する左眼画像L画像と右眼画像R画像を生成することを可能とする。図1を参照して説明した構成では、図1Bに示す第1偏光部12の垂直偏光領域12Vを透過する垂直偏波光は、図1Cに示す第2偏光部15の垂直偏光領域15Vを透過して、撮像素子の垂直偏光領域画素垂直PL画素=左眼画素L画素に到達する。図1Bに示す第1偏光部12の水平偏光領域12Hを透過する水平偏波光は、図1Cに示す第2偏光部15の水平偏光領域15Hを透過して、撮像素子の水平偏光領域画素水平PL画素=右眼画素R画素に到達する。この結果、左眼用画素に撮り込まれる画像は、図1Bに示す第1偏光部12の左半分の半円領域の透過光からなり、光軸中心となる視点が左半円領域の重心点31にある画像となる。また、右眼用画素に撮り込まれる画像は、図1Bに示す第1偏光部12の右半分の半円領域の透過光からなり、光軸中心となる視点が右半円領域の重心点32にある画像となる。一方、図1Cに示す第2偏光部15のワイヤグリッド偏光子を配置していない非偏光領域画素N画素には、図1Bに示す第1偏光部12の全体の透過光からなり、光軸中心となる視点が円の中心点33にある画像となる。なお。いずれも第1偏光部12の後段に設置された絞り13によって制限された領域の光のみが透過することになる。つまり、撮像素子16の非偏光領域画素N画素は、第1偏光部12の左半分の半円領域、第1偏光部12の右半分の半円領域、これらの2つの領域の透過光を加算した光を取得する。すなわち、撮像素子の水平偏光領域画素水平PL画素=右眼画素R画素の受光信号をPLR、撮像素子の垂直偏光領域画素垂直PL画素=左眼画素L画素の受光信号をPLL、撮像素子の非偏光領域画素N画素の受光信号をN、とすると、以下の関係式が成り立つ。N=PLRPLL式1本実施例における第2偏光部15の構成について、図16、図17を参照して説明する。なお、本実施例においても、撮像装置の全体構成は、図1に示す構成となる。ただし、第2偏光部15の構成と、画像処理部17の構成と処理が異なる。図16は、本実施例における撮像装置の第2偏光部15の構成を示している。第2偏光部15は、図16に示すように、水平偏光領域15H、全透過非偏光領域15A、これらの2つの領域を縦方向に繰り返し配置した構成を有する。図17は、第2偏光部15と、第2偏光部15の透過光を受光する撮像素子16を重ねた図である。撮像素子16は、RGB配列ベイヤー配列を有する撮像素子を例として示している。図17に示す構成例は、第2偏光部15に設定される水平偏光領域15Hは、撮像素子の2ライン単位で設定され、全透過非偏光領域15Aは10ライン単位で設定した例である。すなわち、a2ラインの水平偏光領域15H、b12ラインの全透過非偏光領域15V、これらa~bの2種類の領域が、撮像素子16の縦方向Y方向に繰り返し設定される。水平偏光領域15Hは、水平方向の偏波光、すなわち、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光のみを選択的に透過して撮像素子16に右眼画像R画像を結像させる。全透過非偏光領域15Aは、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光と、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光との両画像を透過させる。この画像は、図1Bに示す重心点31と重心点32の中心位置である中心点33から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常画像と同様の画像となる。この構成では、図2や図4を参照して説明した構成にあった垂直偏光領域15Vが設けられていない。すなわち、図17に示す例では、水平2ライン分の水平偏光領域15Hにのみ水平方向のワイヤグリッド偏光子が配置されている。水平方向のワイヤグリッドの場合、ワイヤ長は最大でイメージセンサの水平サイズまで延長することが可能であり、偏光分離特性を向上させることが可能である。図1に示す撮像装置10において、図16、図17を参照して説明した偏光領域が設定された第2偏光部15を利用して撮像した場合、撮像素子16には以下のような画像が各領域に撮り込まれる。水平偏光領域15H=図1Bに示す水平偏光領域12Hを透過した重心点32を視点とした右眼画像に相当するR画像水平偏波光。全透過非偏光領域15A=図1Bに示す水平偏光領域12Hと垂直偏光領域12Vを透過した中心点33から見た画像。すなわち、撮像素子の水平偏光領域画素水平PL画素=右眼画素R画素の受光信号をPLR、撮像素子の非偏光領域画素N画素の受光信号をN、とし、撮像素子によって受光されていない、垂直偏光領域画素垂直PL画素=左眼画素L画素の受光信号をPLL、とすると、以下の関係式が成り立つ。PLL=N-PLR式2すなわち、上記式2のように、左眼画像信号は、非偏光領域画素N画素の画像信号と右眼画像信号PLRから求めることができる。本実施例の撮像装置では図1に示す撮像装置100の画像処理部17において、上記関係式に従って、左眼画像信号を、非偏光領域画素N画素の画像信号と右眼画像信号PLRから算出して、この算出信号に基づいて視差情報としてのデプスマップを生成する。本実施例に係る撮像装置の全体構成は図1Aに示すと同様の構成である。ただし、第2偏光部15の構成と画像処理部17の構成と処理が異なる。第2偏光部15は、図16、図17を参照して説明したように、垂直方向のワイヤグリッド偏光子を有さず、水平方向のワイヤグリッド偏光子を、s行図17ではs=2を一単位として配置した偏光領域PL画素領域と、非偏光領域画素N画素をt行図17ではt=10を一単位として配置した非偏光領域N画素領域、これらを撮像素子の縦方向に繰り返し配置した構成である。このような構成とすることで偏光特性を悪化させることなく、また非偏光領域画素N画素の十分な画素数確保を実現している。撮像素子16には、以下の2つの画像が各領域で取得される。ワイヤグリッド偏光子が配置された偏光領域PL画素領域画素では、図1Bに示す第1偏光手段12の右側の水平偏光領域12Hを透過する重心点32を視点とした右眼画像を取得する。一方、ワイヤグリッド偏光子が配置されない画素である非偏光領域N画素領域画素では、図1Bに示す第1偏光手段12の左側の垂直偏光領域12Vと右側の水平偏光領域12Hの両方を透過する中心点33を視点とした通常画像を取得する。つまり、撮像素子16において、第2偏光部15のワイヤグリッド偏光子が配置された偏光領域PL画素領域画素は図1Bに示す重心点32を視点とした右眼画像を取得し、ワイヤグリッド偏光子が配置されない非偏光領域N画素領域画素は、図1Bに示す中心点33を視点とした通常画像を取得する。図18は、本実施例の画像処理部17の構成を示す図である。撮像素子16は、図16~図17を参照して説明したように、a水平偏光領域、b全透過非偏光領域、これらの2種類の領域に区分され、それぞれの領域対応の信号を画像処理部17に入力する。水平偏光領域に対応する撮像素子16の画素には、図1Bの第1偏光部12の重心点32を視点とした右眼画像が撮り込まれる。全透過非偏光領域に対応する撮像素子16の画素には、図1Bの第1偏光部12の中心点33を視点とした通常画像が撮り込まれる。なお、水平偏光領域に対応する撮像素子16の画素をPLR画素と呼ぶ。非偏光領域画素N画素に対応する撮像素子16の画素をN画素と呼ぶ。図18に示す撮像素子16から出力される画素信号は、画像処理部17の偏光画素分離部101において、偏光領域画素PLR画素と、非偏光領域画素N画素の各出力の分離処理が実行される。偏光画素分離部101の分離処理によって分離されたN画素信号非偏光画素信号121は、非偏光画素補間処理部102に入力される。非偏光画素補間処理部102は、N画素信号非偏光画素信号121から欠落した画素領域、すなわち、PLR画素領域の画素についての画素補間処理を実行する。具体的には、例えば、PLR画素領域の画素値を、上下のN画素の画素値を参照して算出して設定する補間処理を実行する。この画素補間処理によって、画素値の欠落している全てのPLR画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像2D-Raw画像122を生成する。画素補間処理としては、色毎に線形補間処理を行う方法や、色信号から生成した輝度の勾配に応じて補間方向を選択する方向選択型の補間処理を行う方法などを用いることが可能である。なお、Raw画像は各画素にRGBのいずれかの画素値の設定された画像である。非偏光画素補間処理部102の生成する補間画像2D-Raw画像122は、撮像素子16の構成画素の全ての画素にN画素信号非偏光画素信号が設定された画像となる。この画像は、図1Bに示す第1偏光部12の中心点33から観察した画像に相当する1枚の2D2次元Raw画像である。非偏光画素補間処理部102の生成した補間画像2D-Raw画像122は、デモザイク処理部103に入力される。デモザイク処理部103は、補間画像2D-Raw画像122に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の2次元画像に変換する。デモザイク処理は、全ての画素位置に全ての色信号、例えばRGBの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。デモザイク処理部103の生成した2D-RGB画像123は、視差画像生成部107に入力される。なお、N画素信号非偏光画素信号に基づいて生成される2D画像である2D-RGB画像123を構成する画素のRGB画素値をR0,B0,G0と表記する。一方、偏光画素分離部101の分離処理によって生成されるもう1つの分離信号であるPLR画素信号偏光画素信号125は、非偏光領域画素N画素の画素値を持たない、偏光領域画素PLR画素の画素値のみからなる画像信号となる。このPLR画素信号偏光画素信号125は、視差検出用右眼画像生成部偏光画素ゲイン調整部105に入力される。視差検出用右眼画像生成部偏光画素ゲイン調整部105は、さらに、偏光画素分離部101の生成したもう1つの分離信号であるN画素信号非偏光画素信号121も入力する。視差検出用右眼画像生成部偏光画素ゲイン調整部105は、PLR画素信号偏光画素信号125の輝度を調整し、N画素信号非偏光画素信号の輝度に合わせるゲイン調整処理を実行する。すなわち、PLR画素が、通常N画素とほぼ同一の平均および分布標準偏差となるように設定する。図19Aに示すように、撮像素子のPLR画素は、図1Bに示す第1偏光部12の水平偏光領域12Hの半円領域の透過信号であり、一方、撮像素子のN画素は、第1偏光部12の全体円領域の透過信号である。従って、図19Bに示すように、撮像素子のPLR画素とN画素とでは平均的な輝度レベルが異なる画像となる。視差検出用右眼画像生成部偏光画素ゲイン調整部105は、ワイヤグリッド偏光子が配置されたPLR画素の輝度レベルを調整し、例えば通常N画素の輝度レベルとほぼ同一の平均輝度および分布標準偏差を持つ調整処理を行う。この調整結果としてゲイン調整右眼画像126を生成して視差検出部106と、視差検出用左眼画像生成部104に出力する。ゲイン処理の詳細例については後段で説明する。なお、ワイヤグリッド偏光子が配置されたPLR画素のゲイン処理後のゲイン調整右眼画像126の画素値をR1,G1,B1と表記する。視差検出用左眼画像生成部104は、非偏光画素補間処理部102の生成した補間画像2D-Raw画像122と、視差検出用右眼画像生成部偏光画素ゲイン調整部105の生成したゲイン調整右眼画像126、これらを入力する。非偏光画素補間処理部102の生成した補間画像2D-Raw画像122の画素値をR0,G0,B0、視差検出用右眼画像生成部偏光画素ゲイン調整部105の生成したゲイン調整右眼画像126の画素値をR1,G1,B1、とする。視差検出用左眼画像生成部104は、先に説明した式2、すなわち、PLL=N-PLR式2ただし、撮像素子の水平偏光領域画素水平PL画素=右眼画素R画素の受光信号をPLR、撮像素子の非偏光領域画素N画素の受光信号をN、撮像素子によって受光されていない、垂直偏光領域画素垂直PL画素=左眼画素L画素の受光信号をPLL、である。上記式2に従って、非偏光画素補間処理部102の生成した補間画像2D-Raw画像122の画素値R0,G0,B0と、視差検出用右眼画像生成部偏光画素ゲイン調整部105の生成したゲイン調整右眼画像126の画素値R1,G1,B1とから、左眼画像の画素値R2,G2,B2を算出する。例えば、左眼画像の画素値R2を以下の式3に従って算出する。R2=2×R0-R1式3なお、上記式3において、2を乗算しているのは、ゲイン調整右眼画像126の画素値R1は、ゲイン調整後の輝度であり、先に説明した図19を参照して説明したゲイン調整により、半円領域からほぼ円領域の受光に相当する輝度レベルの調整が行われ、輝度レベルがほぼ2倍に調整されているためである。非偏光画素補間処理部102の生成した補間画像2D-Raw画像122の輝度R0を2倍して、ゲイン調整右眼画像126の画素値R1を減算することで、同様のゲイン調整された左眼画像の画素値R2を算出することが可能となる。他の色成分についても同様の減算処理を行い、左眼画像の画素値R2,G2,B2を算出する。図20を参照して視差検出用左眼画像生成部104の実行する処理の具体例について説明する。図20には、非偏光画素補間処理部102の生成する補間画像2D-Raw画像122視差検出用右眼画像生成部偏光画素ゲイン調整部105の生成するゲイン調整右眼画像126、これらを示している。視差検出用左眼画像生成部104は、これらの画像データを入力して、対応する画素位置、すなわち、水平偏光領域15Hに設定されたRGB画素値を用いて、上記式3に従って、左眼画像127の画素値R2,G2,B2を算出する。なお、図から明らかなように、左眼画像127の画素値R2,G2,B2の算出対象となる画素領域は、視差検出用右眼画像生成部偏光画素ゲイン調整部105の生成するゲイン調整右眼画像126に含まれる画素領域であり、水平偏光領域15Hの画素のみである。視差検出用左眼画像生成部104は、上記式3等に従い、補間画像2D-Raw画像122の画素値R0,G0,B0から、対応位置のゲイン調整右眼画像126の画素値R1,G1,B1を減算して、左眼画像127の画素値R2,G2,B2を算出する。視差検出用左眼画像生成部104の生成した左眼画像127は、視差検出部106に入力される。視差検出部106は、視差検出用右眼画像生成部偏光画素ゲイン調整部105の生成したゲイン調整右眼画像126と、視差検出用左眼画像生成部104の生成した左眼画像127、これらの2つの異なる視点画像を入力する。視差検出部106は、視差検出用右眼画像生成部偏光画素ゲイン調整部105の生成したゲイン調整右眼画像126と、視差検出用左眼画像生成部104の生成した左眼画像127、これらの2つの異なる視点画像に対して、例えばブロックマッチング処理等を用いて、対応する画素を求めることにより視差情報としての被写体距離を検出する。すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。視差検出部106は、例えば各画素対応の被写体距離情報を持つデフスマップ128を生成して出力する。なお、デプスマップ128は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。具体的には、例えば、被写体距離が小カメラに近いの領域は高輝度、被写体距離が大カメラから遠いの領域は低輝度、視差検出部106は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部107に出力する。なお、視差検出用右眼画像生成部偏光画素ゲイン調整部105の生成したゲイン調整右眼画像126と、視差検出用左眼画像生成部104の生成した左眼画像127、これらの画像は、図20に示すように、入力画像中のN画素非偏光画素領域については、画像信号を有していないが、視差検出部106は、ゲイン調整右眼画像126に基づいてN画素領域に右眼画像の補間画素値を設定した右眼画像と、視差検出用左眼画像生成部104の生成した左眼画像127に基づいてN画素領域に左眼画像の補間画素値を設定した左眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。なお、画素値補間処理には、例えば線形補間処理等が利用可能である。あるいは、本構成例においても、先に図7、図8を参照して説明した処理にしたがってデプスマップを生成してもよい。すなわち、視差検出部106は、先に図8を参照して説明したように偏光領域における距離情報デプス情報を非偏光領域に展開することで、全画素領域の距離情報デプス情報を持つデプスマップ128を生成する構成としてもよい。このように、視差検出部106は、2つの画像右眼画像と左眼画像から、それぞれの画像の対応する位置の水平方向のずれ量を検出し、デプスマップ128を出力する。なお、画像の対応位置の検出は、当該画素を含むブロックの差分絶対値和を最小にするブロックマッチング法や、生成画像1と生成画像2の同一ライン間のマッチングを最適化する動的計画法などの方法を用いる。視差画像生成部107は、デモザイク処理部103から出力される2次元画像である2D-RGB画像123と、視差検出部106から出力される視差情報としてのデプスマップ128を用いて、左眼画像L画像151と、右眼画像R画像152の2枚の画像を生成する。すなわち、2D-RGB画像123に対して、視差情報としてのデプスマップ128に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像L画像151と、右眼画像R画像152を生成して出力する。なお、この視差画像生成部107において実行する画像変換処理は、1枚の2次元画像2D画像に基づく画像変換により3次元画像表示に適用可能な左眼画像L画像151と、右眼画像R画像152を生成して出力する処理であり、先に図5を参照して説明した画像処理部17における視差画像生成部56と同様の2D3D変換処理を実行する。例えば、図9~図15を参照して説明した2D3D変換処理が適用可能である。なお、その他の既存の2D3D変換処理を行ってもよい。視差画像生成部107の生成した3D画像表示に適用可能な左眼画像L画像151と、右眼画像R画像152画像は画像出力部108を介して出力される。このように、本実施例では、撮像素子16上に配置されたワイヤグリッド偏光子によって取得される右眼用画像と、ワイヤグリッド偏光子が配置されない通常N画像との減算処理により生成される左眼用画像を用いて視差を検出することでデプスマップを生成する。この実施例2の構成では、図1に示す撮像装置における第2偏光部15に、垂直方向のワイヤグリッド偏光子を配置せず、水平方向のワイヤグリッド偏光子を配置した偏光領域PL画素領域と非偏光領域画素N画素のみを有する構成である。このような構成とすることで偏光特性を悪化させることなく、また非偏光領域画素N画素の十分な画素数確保が実現される。なお、上述の実施例では、図1他を参照して説明した第1偏光部12が、水平偏光領域を右側に設定し、垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる2つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。なお、第2偏光部15は、第1偏光部12の偏光領域の設定に対応させて、第1偏光部12に設定した偏光領域の1つの偏光部と同じ偏光領域を設定することが必要である。次に、図18に示す画像処理部17の視差検出用右眼画像生成部105において実行するゲイン処理の詳細について図21以下を参照して説明する。前述したように、視差検出用右眼画像生成部偏光画素ゲイン調整部105は、PLR画素信号偏光画素信号125の輝度を、N画素信号非偏光画素信号の輝度レベルに合わせるゲイン調整処理を実行する。撮像素子のPLR画素は、図1Bに示す第1偏光部12の水平偏光領域12Hの半円領域の透過信号であり、一方、撮像素子のN画素は、第1偏光部12の全体円領域の透過信号である。従って、図19に示すように、撮像素子のPLR画素はN画素に比較して輝度レベルが半分になるが、第1偏光部、および第2偏光部の特性などにより、必ずしも半分の輝度レベルになっていない。この輝度バラツキを補正するためにゲイン調整処理を実行する。視差検出用右眼画像生成部偏光画素ゲイン調整部105は、ワイヤグリッド偏光子が配置されたPLR画素の例えば平均輝度レベルを、通常N画素の平均輝度レベルとほぼ同一になるようにゲイン処理を行い、ゲイン調整右眼画像126を生成して視差検出部106と、視差検出用左眼画像生成部104に出力する。図21、図22を参照して、視差検出用右眼画像生成部偏光画素ゲイン調整部105の実行する調整処理の処理例1について説明する。処理例1は、N画素とPL画素に対して、色毎の画像全体の平均と標準偏差を求め、通常N画素の各色の平均、標準偏差と、PL画素の各色の平均、標準偏差が同じになるように正規化を行う。この処理によって、ワイヤグリッド偏光子が配置されたPLR画素が、通常N画素とほぼ同一の平均および分布標準偏差となるように設定する。具体的には、図21に示すように、非偏光画素N画素と、偏光画素PL画素について、色ごと[G,B,R]の3種、または、G画素を、R画素の隣接、もしくは、B画素の隣接で区別した、[Gr,Gb,B,R]の4種、これらの各画素について、画像全体の平均と標準偏差を求める。例えば、[Gr,Gb,B,R]の4種についての処理では、まず、非偏光画素N画素の各色[Gr,Gb,B,R]、すなわち、NGr、NGb、NB、NRそれぞれの平均と標準偏差を求める。同様に、偏光画素PLR画素の各色[Gr,Gb,B,R]、すなわち、PLRGr、PLRGb、PLRB、PLRR、これらの平均と標準偏差を求める。さらに、PLRGrとNGr、PLRGbとNGb、PLRBとNB、PLRRとNR、これらの各対応間で、平均と標準偏差が同じになるように正規化する。図22は、各色の平均、標準偏差の正規化処理の具体例を示す図である。図22aは、例えば、非偏光画素N画素の1つの色、例えば、NGr画素の平均と標準偏差の非偏光画素N画素実測データ201、偏光画素PLR画素の対応色であるPLRGr画素の平均と標準偏差の偏光画素実測データ202、これらの対比データを示している。視差検出用右眼画像生成部偏光画素ゲイン調整部105は、図22aに示す偏光画素実測データ202の平均と標準偏差を、非偏光画素N画素実測データ201に合わせる処理を行う。すなわち、図22bに示すように、まず、PLR画素の輝度平均をオフセット1として、オフセット1を減算する処理を行う。オフセット1の大きさをF1とすると、オフセット1減算後のPL画素の輝度IPL1は、次式で表わされる。ここで、IPLはPL画素の輝度値とする。IPL1=IPL-F1次に、PLR画素の輝度の標準偏差とN画素の輝度の標準偏差を合わせるためにゲイン値による乗算を行う。ここで、ゲイン値をEとすると、ゲイン調整後のPL画素の輝度IPL2は、次式で表わされる。IPL2=IPL1×E続いて、PLR画素の輝度平均をN画素の輝度平均に合わせるために、N画素の輝度平均であるオフセット2を加算する処理を行う。オフセット2の大きさをF2とすると、オフセット2加算後のPL画素の輝度IPL3は、次式で表わされる。IPL3=IPL2F2視差検出用右眼画像生成部偏光画素ゲイン調整部105は、例えばこの処理例1に従った処理を実行して、ワイヤグリッド偏光子が配置されたPLR画素の輝度を、通常N画素の輝度とほぼ同一の平均および分布標準偏差となるように設定する。次に、図23を参照して視差検出用右眼画像生成部偏光画素ゲイン調整部105の実行する処理の別の処理例である処理例2について説明する。処理例2は、以下の処理によって、ワイヤグリッド偏光子が配置されたPLR画素の画素値輝度を調整する。視差検出用右眼画像生成部偏光画素ゲイン調整部105は、偏光画素PLR画素から処理対象とする画素を1つずつ選択して処理を行う。一例として、図23に示す水平偏光領域15H内の1つの画素R24を処理対象とした場合の例について説明する。まず、非偏光領域から、処理対象画素R24の近接同色画素を選択する。すなわち、処理対象画素R24に最も近い同じ色成分Rに該当する非偏光領域画素N画素を選択する。本例では、図23に示すR04、およびR44が選択される。次に、選択した近接同色画素R04,R44との輝度比率E04、およびE44を次式にて算出する。E=IN/IPL式4上記式4において、INはN画素の輝度値、IPLはPL画素の輝度値、を表わしている。例えば、処理対象画素R24の輝度値R24、R04の輝度値をR04、R44の輝度値をR44とした場合、E04=R04/R24E44=R44/R24これらの輝度比率を算出する。以下、同様にして、周囲の隣接する同じ色成分同士の比率を計算する。例えば、R20とR00の比率E00、R20とR40の比率E40、R22とR02の比率E02、R22とR42の比率E42、R26とR06の比率E06、R26とR46の比率E46、これらの6つの比率を算出する。これに加え前記の2つの比率E04、E44を加えた8つの比率に対して、中央値の計算を行う。この中央値をゲイン値Eとして決定する。この処理例2によるゲイン処理後のPL画素の輝度IPL3は、次式で表わされる。IPL3=IPL×E式5ただし、IPL:ゲイン処理前のPL画素の輝度IPL3:ゲイン処理後のPL画素の輝度である。視差検出用右眼画像生成部偏光画素ゲイン調整部105は、偏光画素PLR画素から処理対象とする画素を1つずつ選択して、上記式5に従って、すべての、偏光画素PLR画素の輝度を調整する。なお、上述した処理例では、例えば処理対象画素R24の輝度を調整するために参照する画素として、図23に示すように7×5画素の参照領域301を設定した例を説明した。すなわち、参照領域301に含まれる4つのPL画素と、8つのN画素との輝度比率を算出して、ゲインEを求める処理例を説明したが、この参照領域の設定例は一例であり、さらに広い参照領域や狭い参照領域を設定する構成としてもよい。このように、処理例2においては、偏光画素PLR画素から処理対象とする画素を1つずつ選択して、参照領域に含まれる同一色の偏光画素PLR画素と、非偏光画素N画素の画素間の輝度比率を算出し、その中間値をゲインEとして、上記式5に従って、すべての、偏光画素PLR画素の輝度を調整する。この処理結果を図18に示すゲイン調整右眼画像126として視差検出部106に出力する。[4.右眼画像と通常画像から視差検出を行い、デプスマップを生成する実施例について実施例3]次に、上述した実施例2の画像処理装置の変形例として、右眼画像と通常画像から、左眼画像を生成せず、右眼画像と通常画像から視差検出を行い、デプスマップを生成する実施例について説明する。本実施例3における全体構成は、図1Aに示す撮像装置と同様の構成であり、第2偏光部15と撮像素子16は、上述の実施例2で説明した図16、図17に示す構成であり、水平偏光領域画素PLR画素と、非偏光領域画素N画素の繰り返し構成を持つ。上述の実施例2と異なる点は、画像処理部17の構成である。図24に本実施例に係る画像処理部17の構成例を示す。図24に示す画像処理部17と、先の実施例2において説明した図18に示す画像処理部17との差異は、図24に示す画像処理部17には、図18に示す視差検出用左眼画像生成部104がないことである。本実施例3においては、視差検出部106に、視差検出用右眼画像生成部105において生成したゲイン調整右眼画像126と、非偏光画素補間処理部102の生成した補間画像[2D-Raw画像]122を入力してこれらの2つの画像に基づいて視差検出を実行してデプスマップ128を生成する。その他の構成と処理は、前述の実施例2と同様である。この第3の実施例における視差検出部106は、視差検出用右眼画像生成部105において生成したゲイン調整右眼画像126と、非偏光画素補間処理部102の生成した補間画像[2D-Raw画像]122から、それぞれの画像の対応する画素位置の水平方向のずれ量を検出し、デプスマップとして出力する。画像の対応位置の検出は、当該画素を含むブロックの差分絶対値和を最小にするブロックマッチング法や、各画像の同一ライン間のマッチングを最適化する動的計画法などの方法を用いる。この実施例3では、右眼画像であるゲイン調整右眼画像126と、通常画像である補間画像[2D-Raw画像]122から、左眼画像を生成せずに直接的に視差検出を行いデプスマップを生成する。前述のとおり、通常画像は右眼画像と左眼画像を加算した画像であり、右眼画像と通常画像の間の視差は、右眼画像と左眼画像の視差の半分に相当する。従って、視差検出部106は、右眼画像であるゲイン調整右眼画像126と、通常画像である補間画像[2D-Raw画像]122から検出される視差の大きさを2倍に拡大してデプスマップ128として出力する。この視差検出部106の処理以外の処理は、前述の実施例2と同様である。この実施例3では、視差検出用の左眼画像の生成処理を省略可能であり、画像処理部の構成と処理が簡略化されるメリットがある。[5.本開示の構成のまとめ]以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。1各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光手段と、前記第1偏光手段の透過光を入射する第2偏光手段であり、前記第1偏光領域または前記第2偏光領域のいずれか一方の透過光のみを透過させる第3偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光手段と、前記第2偏光手段の透過光を入力する撮像素子と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記画像処理部は、前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像と、前記第2偏光手段の前記第3偏光領域の透過光に基づく第2視点画像を適用して被写体距離を反映した視差情報を生成し、該視差情報を適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。2前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像は、前記第1偏光手段の中心位置を視点とした通常画像であり、前記第2偏光手段の前記第3偏光領域の透過光に基づく第2視点画像は、記第1偏光手段の前記第1偏光領域または前記第2偏光領域のいずれか一方の重心位置を視点とした右眼用画像または左眼用画像であり、前記画像処理部は、前記第1視点画像である前記通常画像と、前記第2視点画像である右眼用画像または左眼用画像のいずれかの視点画像を適用して、前記第2視点画像と異なる第3視点画像としての左眼用画像または右眼用画像を生成し、前記第2視点画像と前記第3視点画像を適用して前記視差情報を生成する。3前記画像処理部は、前記第1視点画像である前記通常画像の画素値から、前記第2視点画像である右眼用画像または左眼用画像の画素値を減算する処理により、前記第2視点画像と異なる第3視点画像としての左眼用画像または右眼用画像を生成する前記1または2に記載の画像処理装置。4前記画像処理部の生成する視差情報は、画像の被写体距離情報を反映したデプスマップであり、前記画像処理部は、デプスマップを適用した前記第1視点画像の画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する前記1~3いずれかに記載の画像処理装置。5前記第2偏光手段の第3偏光領域と全透過領域は、撮像素子平面の一方向である第1方向に複数画素単位で繰り返し設定された構成である前記1~4いずれかに記載の画像処理装置。6前記第2偏光手段の第3偏光領域は、ワイヤグリッド偏光子によって構成され、前記撮像素子の前記第1方向に直角な第2方向に延びるワイヤを有する構成である前記1~5いずれかに記載の画像処理装置。7前記画像処理部は、前記第2偏光手段の前記第3偏光領域の透過光に基づく前記第2視点画像である右眼用画像または左眼用画像のいずれかの視点画像の輝度レベルを、前記第2偏光手段の前記全透過領域の透過光に基づく第1視点画像の輝度レベルに合わせる輝度調整を実行し、該輝度調整後の前記第2視点画像を適用して前記視差情報を生成する前記1~6いずれかに記載の画像処理装置。8前記画像処理部は、前記第2偏光手段の前記全透過領域に対応する撮像素子の画素位置からの撮像素子出力に基づく画像に含まれない前記第3偏光領域対応画素位置の画素値を補間する補間処理部と、前記補間処理部の生成した補間画像のデモザイク処理により各画素位置に各色の画素値を設定して前記第1視点画像を生成するデモザイク処理部と、前記デモザイク処理部の生成した前記第1視点画像に対して、前記視差情報を適用した画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する前記1~7に記載の画像処理装置。9前記画像処理部の実行する画像変換処理は、2次元2D画像である前記第1視点画像に対して前記視差情報を適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である前記1~8いずれかに記載の画像処理装置。10前記画像処理部の実行する前記視差情報を適用した画像変換処理は、前記第1視点画像に対して被写体距離に応じた画像シフト処理を行うことで3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である前記1~9いずれかに記載の画像処理装置。さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"