"撮像素子と、前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記入射光制御部は、左眼視点画像と右眼視点画像と、中央視点画像の3つの視点画像を取得する入射光制御構成を有し、前記画像処理部は、前記左眼視点画像と前記右眼視点画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの前記中央視点画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置。前記入射光制御部は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光部と、前記第1偏光部の透過光を入射する第2偏光部であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光部を有し、前記画像処理部は、前記第2偏光部の前記第3偏光領域の透過光に基づく画像と、前記第2偏光部の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する請求項1に記載の画像処理装置。前記第2偏光部の第3偏光領域および第4偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である請求項2に記載の画像処理装置。前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイを有し、前記画像処理部は、マイクロレンズ配置領域に対応する撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズの非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する請求項1に記載の画像処理装置。前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイと、前記マイクロレンズの配置領域に設定され、撮像素子に対する入射光の一部を遮光する遮光膜を有し、前記画像処理部は、マイクロレンズと遮光膜の配置領域に対応する撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズと遮光膜の非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する請求項1に記載の画像処理装置。前記撮像素子は、被写体距離を反映した視差情報を生成するための2つの異なる視点画像を取得する左右視点画像取得領域と、1つの視点からの撮影画像を生成する中央視点画像取得領域を有する請求項1に記載の画像処理装置。前記左右視点画像取得領域は、1色の画素によって構成され、前記画像処理部は、前記1色の画素によって構成された前記左右視点画像取得領域の出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部を有する請求項6に記載の画像処理装置。前記画像処理部は、前記撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報として、画像の被写体距離情報を反映したデプスマップを生成し、前記デプスマップを適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する請求項1に記載の画像処理装置。前記画像処理部は、前記撮像素子から取得する2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの取得画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する請求項1に記載の画像処理装置。前記視差画像生成部は、前記画像補正部の生成した2次元画像に対して、前記視差情報を適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理を実行する請求項9に記載の画像処理装置。前記画像処理部の実行する前記2D3D変換処理は、前記第1視点画像に対して被写体距離に応じた画像シフト処理を行うことで3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である請求項10に記載の画像処理装置。撮像素子と、前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記入射光制御部は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光部と、前記第1偏光部の透過光を入射する第2偏光部であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域からなる第2偏光部を有し、前記画像処理部は、前記第2偏光部の前記第3偏光領域の透過光に基づく画像と、前記第2偏光部の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像の欠損画素領域に画素値を設定する補間処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。前記第2偏光部の第3偏光領域および第4偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である請求項12に記載の画像処理装置。画像処理装置において、画像処理を実行する画像処理方法であり、画像処理部が、撮像素子からの出力信号の分離処理により、異なる視点からの観察画像に対応する複数の視点画像に分離する分離ステップと、前記分離ステップにおける分離処理により取得した2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出ステップと、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正ステップと、前記視差検出ステップにおいて生成した視差情報を適用して、前記画像補正ステップにおいて生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成ステップと、を実行する画像処理方法。画像処理装置において、画像処理を実行させるプログラムであり、画像処理部に、撮像素子からの出力信号の分離処理により、異なる視点からの観察画像に対応する複数の視点画像に分離させる分離ステップと、前記分離ステップにおける分離処理により取得した2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成させる視差検出ステップと、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成させる画像補正ステップと、前記視差検出ステップにおいて生成した視差情報を適用して、前記画像補正ステップにおいて生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成させる視差画像生成ステップと、を実行させるプログラム。ところで、上記の特許文献1特公平6-054991号公報に開示された技術にあっては、2つの偏光フィルタの出力を重ねて光路を一系統とすることによって、レンズ系を共通化させている。しかしながら、後段で右眼用画像及び左眼用画像を抽出するために更に偏光フィルタを設け、光路自体を再度分けて別々の偏光フィルタに入光させなければならず、レンズ系において光の損失が発生し、また、装置の小型化が困難であるなどの問題がある。また、上記の特許文献2特開2004-309868号公報に開示された技術にあっては、レンズおよび偏光フィルタの組合せを2組、必要とし、装置の複雑化、大型化が免れない。本開示は、例えば上記の問題に鑑みてなされたものであり、1台の撮像装置によって撮影される画像に対する処理を実行して立体画像として観察可能な画像を生成する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。本開示の第1の側面は、撮像素子と、前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記入射光制御部は、左眼視点画像と右眼視点画像と、中央視点画像の3つの視点画像を取得する入射光制御構成を有し、前記画像処理部は、前記左眼視点画像と前記右眼視点画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの前記中央視点画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記入射光制御部は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光部と、前記第1偏光部の透過光を入射する第2偏光部であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光部を有し、前記画像処理部は、前記第2偏光部の前記第3偏光領域の透過光に基づく画像と、前記第2偏光部の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。さらに、本開示の画像処理装置の一実施態様において、前記第2偏光部の第3偏光領域および第4偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である。さらに、本開示の画像処理装置の一実施態様において、前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイを有し、前記画像処理部は、マイクロレンズ配置領域に対応する撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズの非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。さらに、本開示の画像処理装置の一実施態様において、前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイと、前記マイクロレンズの配置領域に設定され、撮像素子に対する入射光の一部を遮光する遮光膜を有し、前記画像処理部は、マイクロレンズと遮光膜の配置領域に対応する撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズと遮光膜の非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。さらに、本開示の画像処理装置の一実施態様において、前記撮像素子は、被写体距離を反映した視差情報を生成するための2つの異なる視点画像を取得する左右視点画像取得領域と、1つの視点からの撮影画像を生成する中央視点画像取得領域を有する。さらに、本開示の画像処理装置の一実施態様において、前記左右視点画像取得領域は、1色の画素によって構成され、前記画像処理部は、前記1色の画素によって構成された前記左右視点画像取得領域の出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部を有する。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報として、画像の被写体距離情報を反映したデプスマップを生成し、前記デプスマップを適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部は、前記撮像素子から取得する2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの取得画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する。さらに、本開示の画像処理装置の一実施態様において、前記視差画像生成部は、前記画像補正部の生成した2次元画像に対して、前記視差情報を適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理を実行する。さらに、本開示の画像処理装置の一実施態様において、前記画像処理部の実行する前記2D3D変換処理は、前記第1視点画像に対して被写体距離に応じた画像シフト処理を行うことで3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である。さらに、本開示の第2の側面は、撮像素子と、前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記入射光制御部は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光部と、前記第1偏光部の透過光を入射する第2偏光部であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域からなる第2偏光部を有し、前記画像処理部は、前記第2偏光部の前記第3偏光領域の透過光に基づく画像と、前記第2偏光部の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像の欠損画素領域に画素値を設定する補間処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置にある。さらに、本開示の画像処理装置の一実施態様において、前記第2偏光部の第3偏光領域および第4偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である。さらに、本開示の第3の側面は、画像処理装置において、画像処理を実行する画像処理方法であり、画像処理部が、撮像素子からの出力信号の分離処理により、異なる視点からの観察画像に対応する複数の視点画像に分離する分離ステップと、前記分離ステップにおける分離処理により取得した2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出ステップと、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正ステップと、前記視差検出ステップにおいて生成した視差情報を適用して、前記画像補正ステップにおいて生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成ステップと、を実行する画像処理方法にある。さらに、本開示の第4の側面は、画像処理装置において、画像処理を実行させるプログラムであり、画像処理部に、撮像素子からの出力信号の分離処理により、異なる視点からの観察画像に対応する複数の視点画像に分離させる分離ステップと、前記分離ステップにおける分離処理により取得した2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成させる視差検出ステップと、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成させる画像補正ステップと、前記視差検出ステップにおいて生成した視差情報を適用して、前記画像補正ステップにおいて生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成させる視差画像生成ステップと、を実行させるプログラムにある。なお、本開示のプログラムは、例えば、様々なプログラムコードを実行可能な情報処理装置やコンピュータシステムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータシステム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本開示の一実施例の構成によれば、1枚の撮影画像に基づいて複数の視点画像を取得して3次元画像表示用の画像を生成することが可能となる。具体的には、例えば、異なる視点からの観察画像に対応する複数の視点画像を撮像素子に撮影させ、画像処理部において、撮像素子の出力信号を分離して、異なる視点からの観察画像に対応する複数の視点画像を取得し、取得した複数の視点画像に基づいて、3次元画像表示用の左眼用画像と右眼用画像を生成する。画像処理部は、撮像素子から得られる複数視点画像に基づいて視差情報を生成し、生成した視差情報を利用した2D3D変換処理によって3次元画像表示用の左眼用画像と右眼用画像を生成する。本構成により、1枚の撮影画像に基づいて複数の視点画像を取得して3次元画像表示用の画像を生成する構成が実現される。以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。1.画像処理装置の構成と処理の概要について2.フルグリッド型の第2偏光部の適用構成における画像処理について3.間引きグリッド型の第2偏光部の適用構成における画像処理について4.マイクロレンズを利用した複数視点画像の取得構成例について5.マイクロレンズと遮光膜を利用した複数視点画像の取得構成例について6.本開示の構成のまとめ[1.画像処理装置の構成と処理の概要について]図1以下を参照して本開示の画像処理装置の構成と処理の概要について説明する。図1は、画像処理装置の一例である撮像装置の構成を示している。図1Aに示す撮像装置10において、撮影レンズ11を介して撮影被写体に対応する入射光が入力する。撮影レンズ11を介した入射光は、第1偏光部12、絞り13、結像レンズ14、第2偏光部15を介して撮像素子16に入力される。なお、図1Aは、撮像装置カメラ10を上から見た図、すなわち上面図である。図1Aの左下に撮像装置10と撮影者20の概略図と、XYZ座標軸を示しているように、図1Aの撮像装置の構成図は、撮像装置カメラ10を上から見た図である。図1Aの中央付近に示す点線縦ラインX軸に示すように、図1Aの上側が撮影者から見て右R側であり、図1Aの下側が撮影者から見て左L側となる。撮像素子16は、例えばCCD、CMOS等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部17に出力する。画像処理部17では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部18に格納する。画像処理部17の構成と処理の詳細については後述する。図1Aに示す構成において、第1偏光部12は、図1Bに示す構成を有し、第2偏光部15は、図1Cに示す構成を有する。第1偏光部12は、図1Bに示すように、左右に2分割されており、左半分の領域に垂直偏光領域12V、右半分の領域に水平偏光領域12H、これらの異なる偏光領域が構成されている。なお、これらの偏光領域は例えば偏光フィルタを用いて構成される。垂直偏光領域12Vは、垂直方向の偏波光のみを通過させ、垂直偏光領域12Vを通過した光は、垂直方向の偏波光となる。水平偏光領域12Hは、水平方向の偏波光のみを通過させ、水平偏光領域12Hを通過した光は、水平方向の偏波光となる。図1Bに示す重心点31は、垂直偏光領域12Vの重心位置である。この垂直偏光領域12Vの透過光は、重心点31を視点として観察した画像に相当する。同様に、図1Bに示す重心点32は、水平偏光領域12Hの重心位置である。この水平偏光領域12Hの透過光は、重心点32を視点として観察した画像に相当する。すなわち、垂直偏光領域12Vの重心位置である重心点31を視点として観察した画像は、左眼からの観察画像である左眼視点画像L画像に対応し、水平偏光領域12Hの重心位置である重心点32を視点として観察した画像は、右眼からの観察画像である右眼視点画像R画像に対応する。このように、第1偏光部12を透過する画像は、左右の2つの異なる視点画像を、それぞれ垂直偏波光と水平偏波光として透過させることになる。この2つの異なる視点画像、すなわち、左眼用画像に相当するL画像垂直偏波光、右眼用画像に相当するR画像水平偏波光、これらの光は、結像レンズ14を介して、第2偏光部15に到達する。なお、以下の説明において、右眼用画像は右眼画像、左眼用画像は左眼画像と簡略化して表記する場合がある。第2偏光部15は図1Cに示す構成を持つ。第2偏光部15は、図1Cに示すように、水平偏光領域15H、垂直偏光領域15V、全透過非偏光領域15A、これらの3種類の領域を上から順に繰り返し設定した構成を有する。水平偏光領域15Hは、水平方向の偏波光を選択的に透過して撮像素子16に水平偏波光のみを結像させる。垂直偏光領域15Vは、垂直方向の偏波光を選択的に透過して撮像素子16に垂直偏波光のみを結像させる。全透過非偏光領域15Aは、水平方向の偏波光も垂直方向の偏波光もすべて透過し、すべつの入射光を撮像素子16に結像させる。なお、第2偏光部15に設定される各偏光領域は、例えばワイヤグリッド偏光子を用いて構成される。微細なワイヤ例えばAlアルミ線を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。図2に、第2偏光部15と、第2偏光部15の透過光を受光する撮像素子16を重ねた図を示す。撮像素子16は、RGB配列ベイヤー配列を有する撮像素子を例として示している。図2に示す構成例は、第2偏光部15に設定される垂直偏光領域15Vと、水平偏光領域15Hは、撮像素子の2ライン単位で隣接して設定され、全透過非偏光領域15Aは12ライン単位で設定した例である。すなわち、a2ラインの垂直偏光領域15V、b2ラインの水平偏光領域15H、c12ラインの全透過非偏光領域15V、これらa~cの3種類の領域が、撮像素子16の縦方向Y方向に繰り返し設定される。水平偏光領域15Hは、水平方向の偏波光、すなわち、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光のみを選択的に透過して撮像素子16に右眼画像R画像を結像させる。垂直偏光領域15Vは、垂直方向の偏波光、すなわち、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光のみを選択的に透過して撮像素子16に左眼画像L画像を結像させる。全透過非偏光領域15Aは、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光と、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光との両画像を透過させる。この画像は、図1Bに示す重心点31と重心点32の中心位置である中心点33から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない通常の単眼カメラで撮影した通常画像と同様の画像となる。図2に示す構成例は、第2偏光部15の一構成例であり、垂直偏光領域15Vと、水平偏光領域15Hは、撮像素子の2ライン単位で隣接して設定され、全透過非偏光領域15Aは12ライン単位で設定した例である。第2偏光部15の構成としては、この他にも様々な構成が可能である。例えば図3に示すように、垂直偏光領域15Vと、水平偏光領域15Hをそれぞれ矩形領域に設定し、これらを交互に配置した構成も設定可能である。図4は、図3に示す第2偏光部とRGB配列の撮像素子16を重ねて示した図である。図4に示す例は、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hを設定し、これらを交互に配置している2行の領域、14行の全透過非偏光領域15A、これらを縦方向Y方向に繰り返して配置した構成である。本構成においては、2×2の4画素からなる矩形領域からなる水平偏光領域15Hは、水平方向の偏波光、すなわち、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光のみを選択的に透過して撮像素子16に右眼画像R画像を結像させる。2×2の4画素からなる矩形領域からなる垂直偏光領域15Vは、垂直方向の偏波光、すなわち、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光のみを選択的に透過して撮像素子16に左眼画像L画像を結像させる。全透過非偏光領域15Aは、Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光と、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光との両画像を透過させる。この画像は、図1Bに示す重心点31と重心点32の中心位置である中心点33から見た画像に対応する画像となる。すなわち、偏光の影響による視点ずれのない中心点33から観察した通常画像と同様の画像となる。さらに、第2偏光部15の他の構成として例えば図5に示すように、全透過非偏光領域を設定せず、水平偏光領域15Hと、垂直偏光領域15Vをそれぞれ1行~複数行単位で設定し、これらを交互に配置した構成としてもよい。図6は、図5に示す第2偏光部とRGB配列の撮像素子16を重ねて示した図である。図6に示す例は、2行の領域を単位として、水平偏光領域15Hと、垂直偏光領域15Vとを設定し、これらを交互に配置している。すなわち、2行単位の水平偏光領域15Hと垂直偏光領域15Vを縦方向Y方向に繰り返して配置した構成である。本構成においては、2行の水平偏光領域15Hは、水平方向の偏波光、すなわち、図1Bに示す水平偏光領域12Hを透過した右眼画像に相当するR画像水平偏波光のみを選択的に透過して撮像素子16に右眼画像R画像を結像させる。また2行の垂直偏光領域15Vは、垂直方向の偏波光、すなわち、図1Bに示す垂直偏光領域12Vを透過した左眼画像に相当するL画像垂直偏波光のみを選択的に透過して撮像素子16に左眼画像L画像を結像させる。本構成では、全透過非偏光領域15Aが設定されていないので、図1Bに示す重心点31と重心点32の中心位置である中心点33から見た画像は取得されない。このように、第2偏光部15の構成は様々な構成とすることが可能である。この第2偏光部15の構成に応じて、図1Aに示す撮像装置10の画像処理部17においては、異なる処理が実行される。以下、第2偏光部15の構成に応じた複数の画像処理例について説明する。[2.フルグリッド型の第2偏光部の適用構成における画像処理について]まず、フルグリッド型の第2偏光部の適用構成における画像処理について説明する。なお、フルグリッド型の第2偏光部とは、図1Aに示す撮像素子16の前面に設定される第2偏光部15の全てに偏光用のワイヤグリッドが設定された構成である。すなわち、図5、図6を参照して説明した第2偏光部15を適用した構成である。撮像素子の全ての画素位置に対して、第2偏光部15には水平偏光または垂直偏光用のワイヤグリッドが設定されている。このフルグリッド型の第2偏光部を用いた場合、全透過非偏光領域は設定されない。従って、フルグリッド型の第2偏光部を適用した構成では、撮像素子16には、左眼用画像L画像と、右眼用画像R画像、これらの異なる2つの視点画像のみが撮り込まれる。図5、図6を参照して説明した構成、すなわち2行単位で水平偏光領域15Hと、垂直偏光領域15Vが設定された構成では、撮像素子16には、2行単位で、右眼用画像R画像[=水平偏光領域15Hの透過画像]左眼用画像L画像[=垂直偏光領域15Vの透過画像]これらの各画像が撮り込まれる。図1Aに示す撮像装置10に、このようなフルグリッド型の第2偏光部15を適用した構成における画像処理部17の構成と処理について、図7を参照して説明する。図7は、図1に示す画像処理部17の詳細構成を説明する図である。フルグリッド型の第2偏光部15を適用した構成では、撮像素子16には、左眼用画像L画像と右眼用画像R画像に対応する2つの視点画像のみが撮り込まれる。なお、以下の説明において、撮像素子16におけるa垂直偏光領域とb水平偏光領域に対応する画素を、PLPolarized=偏光画素と呼ぶ。c全透過非偏光領域に対応する画素を、NNon-polarized非偏光画素と呼ぶ。本実施例では、フルグリッド型の第2偏光部15を適用した構成であり、撮像素子16の出力は、PL画素出力=垂直偏光領域と水平偏光領域対応画素の出力、のみによって構成される。図7に示す撮像素子16から出力されるPL画素信号は、画像処理部17の画素分離部51において、右眼用画像R画像信号61[=水平偏光領域15Hの透過画像信号]左眼用画像L画像信号62[=垂直偏光領域15Vの透過画像信号]これらの2つの視点画像への分離処理が実行される。すなわち、図6を参照して説明したように2行単位で、水平偏光領域15Hと垂直変な光領域15Vが設定されている場合、画素分離部51は、2行単位で設定された水平偏光領域15Hのみからなる画像信号と、2行単位で設定された垂直偏光領域15Vのみからなる画像信号とに分離する処理を行う。画素分離部51の分離処理によって分離された各信号はそれぞれ以下の各補間処理部に入力される。水平偏光領域15Hの画像信号のみからなる右眼用画像R画像信号61は、右眼用画像R画像補間処理部52に入力される。垂直偏光領域15Vの画像信号のみからなる左眼用画像L画像信号62は、左眼用画像L画像補間処理部54に入力される。右眼用画像R画像補間処理部52は、画素分離部51から入力する右眼用画像R画像信号61に含まれない画素信号、すなわち垂直偏光領域15Vに対応する画素の画素値を、右眼用画像信号が撮り込まれている水平偏光領域15Hの画像信号を用いて補間処理を行い、全ての画素に右眼用画像R画像信号を設定した補間画像632D-RawR画像を生成して出力する。一方、左眼用画像L画像補間処理部54は、画素分離部51から入力する左眼用画像L画像信号62に含まれない画素信号、すなわち水平偏光領域15Hに対応する画素の画素値を、左眼用画像信号が撮り込まれている垂直偏光領域15Vの画像信号を用いて補間処理を行い、全ての画素に左眼用画像L画像信号を設定した補間画像642D-RawL画像を生成して出力する。なお、Raw画像とは、画素位置に1つの色情報例えばRGBのいずれか1つのみの色情報が設定された画像である。この色は撮像素子に設定されたカラーフィルタの設定によって決定される色である。Raw画像は後段のデモザイク処理、すなわち各画素位置に全ての画素値例えばRGBの各画素値を設定するデモザイク処理によって例えば表示装置に出力可能なカラー画像が生成される。右眼用画像R画像補間処理部52の実行する補間処理例について、図8を参照して説明する。図8には、a画素分離部51から入力する右眼用画像R画像信号61b右眼用画像R画像補間処理部52の生成する補間画像632D-RawR画像これらの各画像を示している。図8aに示すように、画素分離部51から入力する右眼用画像R画像信号61は、水平偏光領域15Hの画像信号に対応する右眼用画像信号のみからなり、垂直偏光領域15Vに対応する画素の画素値は設定されていない。右眼用画像R画像補間処理部52は、この画素値の設定されていない垂直偏光領域15Vに対応する画素の画素値を補間処理によって設定する。すなわち、右眼用画像信号が撮り込まれている水平偏光領域15Hの透過画像信号を用いて補間処理を行い、全ての画素に右眼用画像R画像信号を設定した図8bに示す補間画像632D-RawR画像を生成して出力する。具体的には、例えば、画素値の設定されない画素領域の画素値を、上下方向にある画素の画素値を適用した線形補間処理を行って算出して設定する。また、補間処理に際して、画素値の各方向の変化率、すなわちエッジ方向を考慮し、変化率の小さい方向にある画素の画素値の重みを大きく設定する方向選択型の補間処理を行う構成としてもよい。右眼用画像R画像補間処理部52の生成する補間画像632D-RawR画像は、図1Bに示す第1偏光部12の右半円の重心点32、すなわち、水平偏光領域12Hの重心位置を視点位置として撮影されたRaw画像、すなわち右視点から見た右眼用画像R画像に対応するRaw画像となる。一方、図7に示す左眼用画像L画像補間処理部54は、画素分離部51から入力する左眼用画像L画像信号62に含まれない画素信号を、左眼用画像信号が撮り込まれている垂直偏光領域15Vの画像信号を用いて補間処理を行い、全ての画素に左眼用画像L画像信号を設定した補間画像642D-RawL画像を生成して出力する。この補間画像642D-RawL画像は、図1Bに示す第1偏光部12の左半円の重心点31、すなわち、垂直偏光領域12Vの重心位置を視点位置として撮影されたRaw画像、すなわち左視点から見た左眼用画像L画像に対応するRaw画像となる。これらの2つの補間処理部の補間処理、すなわち、右眼用画像R画像補間処理部52の補間処理、左眼用画像L画像補間処理部54の補間処理、これらの補間処理によって、右眼用画像R画像に対応する補間画像632D-RawR画像、左眼用画像L画像に対応する補間画像642D-RawL画像、これらの2つの視点に対応するRaw画像が生成される。これらの2つのRaw画像は、撮像素子16の全ての画素位置に画素値が設定された2D2次元Raw画像である。各補間処理部52,54の生成した補間画像2D-Raw画像63,64は、デモザイク処理部53,54に入力される。右眼用画像R画像補間処理部52の生成した補間画像632D-RawR画像はデモザイク処理部53に入力される。左眼用画像L画像補間処理部54の生成した補間画像642D-RawL画像はデモザイク処理部54に入力される。デモザイク処理部53は、右視点から観察した右眼用画像に相当する補間画像2D-RawR画像63に対するデモザイク処理、およびその他のカメラ信号処理を行い、表示部等に出力可能な右視点からの観察画像に対応する2次元画像を生成する。前述したように、デモザイク処理は、全ての画素位置に全ての色信号、例えばRGBの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。一方、デモザイク処理部54は、左視点から観察した左眼用画像に相当する補間画像2D-RawL画像64に対するデモザイク処理、およびその他のカメラ信号処理を行い、表示部等に出力可能な左視点からの観察無画像に対応する2次元画像を生成する。デモザイク処理部53,54の生成した2つの異なる視点からの画像は、3次元3D画像表示に適用する以下の2つの異なる視点からの画像、すなわち、左眼用図像L画像71、右眼用画像R画像72、として画像出力部56を介して出力される。上述したように、図7に示す画像処理部17は、撮像素子16上に配置した偏光子に応じて画素単位で取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得する。さらに、これらの画像に基づく補間処理により、全ての画素位置に左視点からの観察画像に相当する画素値を設定した左眼用画像と、全ての画素位置に右視点からの観察画像に相当する画素値を設定した右眼用画像と、を生成する。これらの処理によって、1枚の撮影画像に基づいて、3D画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。なお、上述の実施例では、図1他を参照して説明した第1偏光部12が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる2つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。なお、第2偏光部15は、第1偏光部12の偏光領域の設定に対応させて、第1偏光部12に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。[3.間引きグリッド型の第2偏光部の適用構成における画像処理について]次に、間引きグリッド型の第2偏光部の適用構成における画像処理について説明する。なお、間引きグリッド型の第2偏光部とは、図1Aに示す撮像素子16の前面に設定される第2偏光部15の一部に偏光用のワイヤグリッドが設定された構成である。すなわち、水平偏光領域15Hと垂直偏光領域15Vを設定するとともに、偏光素子としてのワイヤグリッドを設定しない全透過非偏光領域15Aを設定した構成である。具体的には、例えば、図1C、図2を参照して説明したように、行単位で水平偏光領域15Hと垂直偏光領域15Vを設定するとともに、偏光素子としてのワイヤグリッドを設定しない全透過非偏光領域15Aを設定した構成である。あるいは、図3、図4を参照して説明したように、矩形領域の水平偏光領域15Hと垂直偏光領域15Vを設定するとともに、偏光素子としてのワイヤグリッドを設定しない全透過非偏光領域15Aを設定した構成などである。なお、間引きグリッド型の第2偏光部の構成としては、図1C、図2、図3、図4の構成以外の設定も可能であり、偏光領域と非偏光領域を有する偏光部を間引きグリッド型の偏光部として定義する。すなわち、間引きグリッド型の第2偏光部15は、a垂直偏光領域、b水平偏光領域、c全透過非偏光領域、これらの3種類の領域に区分され、それぞれの領域対応の信号を画像処理部17に入力する。なお、以下の説明において、撮像素子16におけるa垂直偏光領域とb水平偏光領域に対応する画素を、PLPolarized=偏光画素と呼ぶ。c全透過非偏光領域に対応する画素を、NNon-polarized非偏光画素と呼ぶ。撮像素子16の出力は、PL画素出力=垂直偏光領域と水平偏光領域対応画素の出力、N画素出力=全透過非偏光領域対応画素の出力これらの出力によって構成される。ここでは、図3、図4を参照して説明した第2偏光部15と撮像素子16の組み合わせ構成を持つ撮像素子16からPL画素出力とN画素出力を画像処理部17に出力した場合の処理例について説明する。すなわち、撮像素子16は、図4を参照して説明したように、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域と、14行の全透過非偏光領域15A、これらが縦方向Y方向に繰り返して配置された構成を持つ。図1Aに示す撮像装置10に、このような間引きグリッド型の第2偏光部15を適用した構成における画像処理部17の構成と処理について、図9を参照して説明する。図9は、図1に示す画像処理部17の詳細構成を説明する図である。本実施例において、図9に示す撮像素子16から出力される信号には、2×2の4画素からなる垂直偏光領域15Vの画素信号=偏光領域画素PL画素信号、2×2の4画素からなる水平偏光領域15Hの画素信号=偏光領域画素PL画素信号、全透過非偏光領域15Aの画素信号=非偏光領域画素N画素信号、これらの3種類の画素信号が含まれる。撮像素子16から出力される信号は、画像処理部17の画素分離部151において、偏光領域画素PL画素と、非偏光領域画素N画素と、これらの2つの出力への分離処理が実行される。画素分離部151の分離処理によって分離されたN画素信号非偏光画素信号161は、中央視点画像補間処理部152に入力される。中央視点画像補間処理部152は、N画素信号非偏光画素信号161から欠落した画素領域、すなわち、PL画素領域の画素についての画素補間処理を実行する。具体的には、例えば、PL画素領域の画素値を、上下のN画素の画素値を参照して算出して設定する補間処理を実行する。この画素補間処理によって、画素値の欠落している全てのPL画素領域の画素値を設定して、入力画像と同等の画素数を持つ補間画像2D-Raw画像162を生成する。補間画像2D-Raw画像162は各画素にRGBのいずれかの画素値の設定された画像である。中央視点画像補間処理部152の生成する補間画像2D-Raw画像162は、撮像素子16の構成画素の全ての画素にN画素信号非偏光画素信号が設定された画像となる。この画像は、図1Bに示す第1偏光部12の中心点33から観察した画像に相当する1枚の2D2次元Raw画像である。中央視点画像補間処理部152の生成した補間画像2D-Raw画像162は、デモザイク処理部153に入力される。デモザイク処理部153は、補間画像2D-Raw画像162に対するデモザイク処理、およびその他のカメラ信号処理を行い、通常の2次元画像に変換する。デモザイク処理は、全ての画素位置に全ての色信号、例えばRGBの各色の画素値を設定する処理であり、一般的なカメラにおいて行われる処理である。デモザイク処理部153の生成した2D-RGB画像163は、視差画像生成部156に入力される。一方、画素分離部151の分離処理によって生成されるもう1つの分離信号であるPL画素信号偏光画素信号165は、非偏光領域画素N画素の画素値を持たない、偏光領域画素PL画素の画素値のみからなる画像信号となる。このPL画素信号偏光画素信号165は、左右視点画像補間処理部154に入力される。ここで説明する処理例は、図4を参照して説明した2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域と、14行の全透過非偏光領域15A、これらが縦方向Y方向に繰り返して配置された構成である。従って、画素分離部151の分離処理によって生成されるPL画素信号偏光画素信号165は、2×2の4画素からなる矩形領域を単位として、垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域が、縦方向に14行おきに設定された画像となる。左右視点画像補間処理部154は、2×2の4画素からなる矩形領域を単位として垂直偏光領域15Vと、水平偏光領域15Hが交互に配置された2行の領域PL画素領域のみを処理対象として選択し、選択したPL画素を利用して、次段の視差検出部155においてデプスマップ167を生成するための視差画像、すなわち、左眼視点から観察した画像に対応する左眼用画像信号垂直偏光画像信号、右眼視点から観察した画像に対応する右眼用画像信号水平偏光画像信号、これらの視差画像166を生成する。左右視点画像補間処理部154における視差画像の生成処理例について図10を参照して説明する。左右視点画像補間処理部154は、図10に示すように、PL画素信号偏光画素信号165に含まれるPL画素領域について、すべてを垂直偏光領域15Vに対応する画素値を設定した左眼画像信号垂直偏光画像信号166a、すべてを水平偏光領域15Hに対応する画素値を設定した右眼画像信号水平偏光画像信号166b、これらの各画像を生成する。なお、図10に示す左眼画像信号垂直偏光画像信号166aは、PL画素信号偏光画素信号165に含まれるPL画素領域の水平偏光画素領域の画素値をリセット取り除き、近傍の垂直偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。同様に、図10に示す右眼画像信号水平偏光画像信号166bは、PL画素信号偏光画素信号165に含まれるPL画素領域の垂直偏光画素領域の画素値をリセット取り除き、近傍の水平偏光画素の画素値を用いて、これらのリセット画素の画素値を設定する画素値補間処理によって生成する。この結果、左眼画像信号垂直偏光画像信号166aに含まれる画素値の設定された画像は、図1Bに示す第1偏光部12の左側の重心点31から見た画像、すなわち左眼画像に対応する画像となる。同様に、右眼画像信号水平偏光画像信号166bに含まれる画素値の設定された画像は、図1Bに示す第1偏光部12の右側の重心点32から見た画像、すなわち右眼画像に対応する画像となる。このように、左右視点画像補間処理部154は、PL画素信号偏光画素信号165に含まれるPL画素領域について、左眼画像、右眼画像のそれぞれ水平方向に欠落している情報を補間して入力画像と同等の水平画素数を持つ、左眼画像信号垂直偏光画像信号166a、右眼画像信号水平偏光画像信号166b、を生成する。左右視点画像補間処理部154の生成したこれらの画像は、視差検出部155に入力される。視差検出部155は、水平画素数が入力画像と同等の画素数を有する図10に示す、左眼画像信号垂直偏光画像信号166a、右眼画像信号水平偏光画像信号166b、これらの2つの画像に対して、例えばブロックマッチング処理等を用いて、対応画素を比較し、被写体ずれ量を求めることにより視差情報としての被写体距離を検出する。すなわち、例えばブロックマッチング処理によって、左眼画像と右眼画像の画素間のずれを検出し、ずれ量に応じた被写体距離を算出する。視差検出部155は、例えば各画素対応の被写体距離情報を持つデフスマップ167を生成して出力する。なお、デプスマップ167は、画像の構成画素各々についての被写体距離情報を持つデータである。例えば被写体距離に応じた輝度値を設定した画像として構成される。具体的には、例えば、被写体距離が小カメラに近いの領域は高輝度、被写体距離が大カメラから遠いの領域は低輝度、視差検出部155は、このような画素値設定のなされたデプスマップを生成して、視差画像生成部156に出力する。なお、左右視点画像補間処理部154の生成する、左眼画像信号垂直偏光画像信号166a、右眼画像信号水平偏光画像信号166b、これらの画像は、図10に示すように、入力画像中のN画素非偏光画素領域については、画像信号を有していないが、視差検出部155は、例えばこれらの画素値を持たないN画素非偏光画素領域については、左眼画像信号垂直偏光画像信号166aに基づく補間画素値を設定した左眼画像と、右眼画像信号水平偏光画像信号166bに基づく補間画素値を設定した右眼画像を算出し、これらの画像間のマッチング処理によってすべての画素対応の距離情報を算出する。なお、画素値補間処理には、例えば線形補間処理等が利用可能である。なお、左右視点画像補間処理部154の生成する視差画像LR画像は、次段の視差検出部155においてデプスマップ167を生成するために用いられるのみであり、PL画素領域の視差が得られればよい。図10に示す各視点からの画像、すなわち、左眼画像信号垂直偏光画像信号166a、右眼画像信号水平偏光画像信号166b、これらの画像はRGBの各信号を設定した画像となっているが、画素分離部151の出力するPL画素信号偏光画素信号165に含まれるG画素のみを用いて視差画像としてのL画像とR画像を生成してもよい。このG画素のみを用いた視差画像の生成処理例について図11を参照して説明する。G画素のみを用いた視差画像の生成処理は図11に示す以下の2つの補間処理ステップからなる。a補間処理ステップ1=偏光領域におけるG画素補間処理、b補間処理ステップ2=水平方向のG画素ライン行の設定処理、図11aは、a補間処理ステップ1=偏光領域におけるG画素補間処理この処理を示している。図11には、左眼画像信号垂直偏光画像信号を生成する処理例を示している。すなわち、画素分離部151の生成するPL画素信号165に含まれる左眼画像信号垂直偏光画像信号に基づいて、撮像素子16の全画素領域に左眼画像信号に対応するG画素を設定する処理である。先に図3、図4を参照して説明したように、左眼用画像信号である垂直偏光領域15Vと、右眼用画像信号である水平偏光領域15Hは2×2の画素領域として繰り返し設定されている。図11aには、偏光領域の2行のみを示しており、2×2画素の左眼画像信号に対応する垂直偏光領域15Vと、2×2画素の右眼画像信号に対応する水平偏光領域15Hが交互に設定された画素領域を示している。まず、右眼用画像に対応する水平偏光領域15Hの画素値を削除して、ここに左眼画像信号に対応する垂直偏光領域15VにあるG画素の画素値に基づく補間画素値を設定する。例えば図11aに示す、G14、G23が補間処理によって生成されるG画素である。例えば、G14の画素値G14は、同一行の2つの左右にある左眼画像信号に対応する垂直偏光領域15Vにある最近接のG画素の画素値G12,G16を用いて以下の式で算出する。G14=1/2G12G16同様に、G23の画素値G23は、同一行の2つの左右にある垂直偏光領域15Vにある最近接のG画素の画素値G21,G25を用いて以下の式で算出する。G23=1/2G21G25このように、左眼用画像の生成時には、右眼用画像に対応する水平偏光領域15HのG画素設定位置に、左右の左眼用画像に対応する垂直偏光領域15VのG画素値に基づく線形補間処理を行う。この処理によって、2行の偏光画素領域の各列に左眼用画像に対応する1つのG画素の画素値が設定される。この各列に1つ設定されたG画素を1行のラインに設定する処理が図11bに示す処理である。すなわち、b補間処理ステップ2=水平方向のG画素ライン行の設定処理、この補間処理ステップ2である。図11bには、この補間処理ステップ2の処理例として、2つの手法手法1、手法2を示している。b1第1手法は、図11aに示すステップ1において設定した各列に1つあるG画素値を1つの行に並べる処理である。なお、偏光領域は2行単位で設定されているが、垂直2行に対して1行のG画素ラインとして出力する。b2第2手法は、図11aに示すステップ1において設定した各列に1つあるG画素値の隣接する2つのG画素値を用いて1つの新たなG画素値を算出して1行のG画素ラインを設定する処理である。例えば、図11bに示すように、b2に示す新たなG画素の画素値G1は、G1=1/2G21G12上記式に従って算出する。同様に、G2,G3,G4を図11aに示すステップ1において設定した隣接する2つのG画素値を用いて算出する。これら手法1または手法2のいずれかを行う補間処理ステップ2の実行により、偏光領域に対応する行の画素には、左眼視点画像に対応するG画素の設定が完了する。なお、図11は、左眼画像信号垂直偏光画像信号を生成する処理例を示しているが、右眼画像信号水平偏光画像信号の生成処理は、右眼画像信号水平偏光画像信号を利用して、垂直偏光領域15Vを補間対象領域とした補間処理を実行すればよい。この補間処理により、偏光領域の各行に右眼視点画像に対応するG画素の設定を行うことができる。このように、左右視点画像補間処理部154は、偏光領域に左眼画像のG画素値を設定した補間画像、偏光領域に右眼画像のG画素値を設定した補間画像、これらの2つの補間画像を生成して視差検出部156に提供する構成としてもよい。視差検出部155は、このG画素のみからなる視差画像としての2つの補間画像を入力してデプスマップ167を生成する。この処理について、図12を参照して説明する。図11を参照して説明した左右視点画像補間処理部154の実行する補間画像生成処理において生成される補間画像は、偏光領域に左眼画像のG画素値を設定した補間画像、偏光領域に右眼画像のG画素値を設定した補間画像、これらの補間画像である。視差検出部155は、まず、これらの補間画像を適用して偏光領域の各画素に対応する視差を算出して、視差に対応する被写体距離D:デプスを算出する。次に、この偏光領域のみのデプス情報を用いて、非偏光領域のデプスを推定するデ ゚プス補間処理を実行する。図12は、このデプス情報補間処理例を示す図である。図12に示すように、偏光領域に設定されたデプスD1,D2を用いて、非偏光領域の各に画素に対応するデプスを算出して設定する。図12の例では、説明を簡単にするために偏光領域が1行、非偏光領域が7行に設定された例を示しており、D1,D2がそれぞれ任意の列に対する偏光領域の画素に対応するデプス情報である。これらは、左右視点画像補間処理部154の生成した、偏光領域に左眼画像のG画素値を設定した補間画像、偏光領域に右眼画像のG画素値を設定した補間画像、これらの補間画像によって算出されるデプス情報である。視差検出部155は、さらに、これらのデプス情報に基づいて、非偏光領域の各画素対応のデプスを推定して設定する。図12には、任意の列において偏光領域の2つの画素に対応するデプスD1,D2に基づいて算出する同じ列の9つのデプス情報D1~D9の算出処理例を示している。具体的には、例えば、以下のような算出処理を実行する。D1=D1D2=7/8D11/8D2D3=6/8D12/8D2::D8=1/8D17/8D2D9=D2このように、D1,D2を用いた拡大処理を行い、D1,D2からの距離に応じた重みを設定して各画素のデプスを推定したデプスマップを生成する。このようにして生成されたデプスマップ167が視差画像生成部156に提供される。ここで、図12の例では簡単のために偏光領域が1行、非偏光領域が7行として拡大処理について説明したが、図10で説明するように偏光領域が2行である場合、図11を用いて上述したように、偏光領域に対して1行のデプスマップが生成される。このデプスマップは、偏光領域の2行に対して仮想的に中央の行のデプスマップとなっているため、偏光領域の2行、および非偏光領域のk行に対して、図12での説明と同様にして距離に応じた重みを設定して各画素のデプスを推定したデプスマップを生成する。上述したように、左右視点画像補間処理部154における視差情報算出用の補間画像生成処理、および、視差検出部155におけるデプスマップ167の生成処理としては様々な処理が適用可能である。次に、視差画像生成部156において実行する処理について説明する。視差画像生成部156は、デモザイク処理部153から出力される2次元画像である2D-RGB画像163と、視差検出部155から出力される視差情報としてのデプスマップ167を用いて、左眼画像L画像171と、右眼画像R画像172の2枚の画像を生成する。すなわち、2D-RGB画像163に対して、視差情報としてのデプスマップ167に基づいて被写体距離に応じた視差を設定する画像変換処理を実行して、左眼画像L画像171と、右眼画像R画像172を生成して出力する。なお、この視差画像生成部156において実行する画像変換処理は、1枚の2次元画像2D画像に基づく画像変換により3次元画像表示に適用可能な左眼画像L画像171と、右眼画像R画像172を生成して出力する処理であり、一般的には例えば2D3D変換処理と呼ばれる処理である。視差画像生成部156において実行する2D3D変換処理の一例について、以下説明する。なお、2D3D変換処理については、様々な処理が提案されており、視差画像生成部156においては、以下に説明する処理に限らず、その他の既存の手法を適用した2D3D変換処理を行ってもよい。視差画像生成部156において実行する2D3D変換処理の1つの具体例について説明する。視差画像生成部156では、デプスマップ167を用いた2D3D変換処理により、デモザイク処理部153から入力した1つの画像、すなわち、2D-RGB画像163から、3次元画像表示に適用する右眼画像と左眼画像を生成する。視差画像生成部156は、デプスマップから得られる画素領域単位の被写体距離情報に応じた視差シフト量を設定した右眼画像と左眼画像を生成して画像出力部157を介して出力する。図13は、視差画像生成部156の一実施例の構成を示すブロック図である。視差画像生成部156は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで新たな視点の画像を生成する処理を行う。視差画像生成部156は、微分器181、ゲイン制御部182、非線形変換部183、および画像合成部184から構成される。微分器181は、視差画像生成部156に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号Hを生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向3タップの線形1次微分フィルタなどを用いる。なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号RGB等を処理対象データとして利用してもよい。ゲイン制御部182は、微分器181から出力される微分信号Hに、予め設定した規則に則った係数ゲイン係数を乗じることで、微分信号の振幅値を制御するし、微分信号の補正信号である補正微分信号Hを生成する。非線形変換部183は、ゲイン制御部182から出力される補正微分信号Hを非線形的に変換し、視差強調信号Eとして画像合成部184に出力する。画像合成部184は、例えば処理対象画像としてのビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の補正微分信号H、または、この補正微分信号を非線形変換して生成した視差強調信号Eを適用して新たな視点の画像を生成する処理を行う。なお、図13に点線で示すように、非線形変換部183の変換処理を省略し、ゲイン制御部182で補正処理した補正微分信号Hを画像合成部184に直接入力して、画像合成部184が、補正微分信号を適用して新たな視点の画像を生成する構成としてもよい。次に、ゲイン制御部182の実行する処理について説明する。図14は、ゲイン制御部182の一実施例の構成を示すブロック図である。ゲイン制御部182では、入力された微分信号の振幅値を、同じく入力した奥行き情報を基に、その振幅値を制御する。なお、以下に説明する実施例では、奥行き情報は入力微分信号の1画素ごとに、1つの深さの値を有する、所謂デプスマップの形状で入力されるものとして説明していく。視差検出部155の生成するデプスマップ167から取得される情報である。ゲイン係数算出部191は、入力された各画素に対する奥行き情報を利用して、対応する画素に対するゲイン係数を出力する。乗算処理部192は、入力された微分信号の各画素について、ゲイン係数算出部191から出力された各画素に対するゲイン係数を、微分信号Hの振幅値に乗じる乗算処理を行い、結果として振幅値がゲイン制御された補正微分信号Hを出力する。図15は、ゲイン係数算出部191において実行する、ゲイン係数の決定方法の一例を示すものである。横軸が、入力信号であり奥行き情報である。縦軸が、ゲイン係数算出部191におけるゲイン係数の出力を示している。ゲイン係数算出部191は、入力された奥行き情報Inを、予め設定した関数fxにより変換して、ゲイン係数Outを出力する。このとき、関数fxは、様々な設定が利用可能である。関数fxの一例としては、例えば、fx=A×xただしAは定数上記式に示されるような線形一次関数を用いる。Aは予め設定した定数であり、様々な値に設定可能である。また、ゲイン係数算出部191における変換関数は、線形一次関数に限定するものではなく、また非線形的な変換を施しても構わない。奥行き情報は、微分信号の各画素に応じた値を入力し、各画素に応じたゲイン係数を出力するものとする。図15は、ゲイン係数算出部の入力値奥行き情報と、出力値ゲイン係数の対応例を示す図である。図15には3つの入力値奥行き情報とそれに対応する3つの出力値ゲイン係数の例を示している。入力値奥行き情報の例は、D1、D2、D3であり、ある3つの画素に対応した奥行きの値を想定する。なお、奥行きとは観察者ユーザあるいはカメラから被写体までの距離に対応する値である。奥行き=被写体距離はD1<D2<D3の順に、手前から奥へと深くユーザまたはカメラから遠くなっていくものとする。ここで、図15中、奥行き情報In=0の位置は生成した画像を3次元表示装置に表示した場合に表示画面上に知覚される点である。このとき出力値ゲイン係数の例は、G1、G2、G3であり、各々は図15中の関数fxに、D1、D2、D3の値を入力することで得られる値である。この例のように、ゲイン係数算出部191は、微分信号の各画素に応じたゲイン係数を出力する。図16は、ゲイン制御部182における微分信号の振幅値を制御する処理の一例を示している。図16には、a入力信号b微分信号c奥行き情報d補正後の微分信号これらの例を示している。図16aは、入力画像信号の一例である。図16bは、図16aの入力画像信号を微分処理した画像である。図16cは、図16aの入力画像信号に対応した奥行き情報であり、画像を3分割した各領域に奥行きの値を与えた簡易なものである。ここで、図16cの奥行き情報を示す画像信号には、上部から順に図15において定義した奥行き情報:D3、D2、D1D1<D2<D3の値が与えられているものとしている。このとき、図15において説明した奥行きとゲイン値の関係の通り、図16bの微分信号の各画素に乗じるゲイン値は、画像の上部から順に、G3、G2、G1G1<G2<G3となる。図16d補正後の微分信号は、図16cの奥行き情報に基づいたゲイン値を、図16bの微分信号の各画素に乗じた処理結果の一例である。図16d補正後の微分信号においては、画面上部ほど遠い領域ほど、大きなゲイン値が乗じられ、画面下部ほど近い領域ほど小さなゲイン値が乗じられる。この結果、画面上部ほど遠い領域ほど微分信号の振幅値が大きくなり、画面下部ほど近い領域ほど微分信号の振幅は小さくなる。2D3D変換処理を実行する視差画像生成部156は、このように距離に応じた振幅の異なる微分信号を用いて新たな視点画像を生成して出力する。次に、非線形変換部183の実行する処理について説明する。非線形変換部183は、ゲイン制御部182から出力される距離に応じてゲイン制御のなされた補正微分信号Hを非線形的に変換した視差強調信号Eを生成して画像合成部84に出力する。図17は、非線形変換部183において実行する非線形変換処理の一例を示している。横軸が、ゲイン制御部182から出力される距離に応じてゲイン制御補正のなされた微分信号であり輝度補正微分信号である。縦軸が、非線形変換部183における非線形変換処理後の出力を示している。非線形変換部183は、入力された補正微分信号Inを、予め規定した関数fxにより変換して、視差強調信号Outを出力する。すなわちOut=fInとする。このとき、関数fxは、様々な設定が利用可能である。関数fxの一例としては、例えば、fx=xγ上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。また、非線形変換部183における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。画像合成部184は、非線形変換部183から出力される視差強調信号と、視差画像生成部156に入力された2D画像とを合成して、新たな視点画像を生成する処理を行う。なお、図13に点線で示すように、非線形変換部183の変換処理を省略し、微分器181の生成した微分信号に対してゲイン制御部182が距離に応じたゲイン制御を行った補正微分信号Hを画像合成部184に直接入力する構成としてもよい。この場合は、画像合成部184は、奥行き被写体距離に応じてゲイン制御の施された補正微分信号Hを適用して新たな視点の画像を生成する処理を行う。次に画像合成部184の処理について説明する。画像合成部184は、処理対象画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して新たな視点の画像を生成する処理を行う。図18と図19は、画像合成部184において実行する画像合成処理の概念を示している。図18は、距離が大の画像領域奥行きが大きい画像領域図19は、距離が小の画像領域奥行きが小さい画像領域これらの各画像領域について、上から順に、a入力信号Sb微分信号Hc補正ゲイン制御後の補正微分信号Hd右シフト画像信号e左シフト画像信号これらの各信号を示している。図16のc奥行き情報に対応付けて説明すると、例えば、図18は図16cの画像上部の距離が大=D3の画像領域奥行きが大きい画像領域に対応する処理例である。一方、図19は図16cの画像下部の距離が小=D1の画像領域奥行きが小さい画像領域に対する処理例である。まず、図18に示す距離が大の画像領域奥行きが大きい画像領域における処理例について説明する。a入力信号Sは、ビデオデータの任意のフレームの任意の水平1ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する1つのラインを例示している。ライン位置x1からライン位置x2までの領域Aにおいて、輝度が次第に高くなる変化を示し、ライン位置x2~x3において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置x3からライン位置x4までの領域Bにおいて、輝度が次第に低くなる変化を示している。b微分信号Hは、a入力信号の微分結果である。この微分信号は、図13に示す視差画像生成部156の微分器181において生成される信号である。微分器181の生成する微分信号Hは、図18に示すとおり、a入力信号Sの輝度変化が正になる領域Aにおいて正の値をとり、a入力信号の輝度変化が負になる領域Bにおいて負の値をとる。c補正ゲイン制御後の微分信号Hは、図13に示す視差画像生成部156のゲイン制御部182において生成する信号であり、図18b微分信号を、奥行き情報に基づいて補正ゲイン制御した信号である。なお、図18に示す例は、距離が大例えば図15、図16cのD3の画像領域奥行きが大きい画像領域における処理例であり、図15、図16を参照して説明したようにより大きなゲインG3による補正処理が施され、微分信号の振幅はより大きな振幅に補正される。図18cに示す点線が補正前の信号=b微分信号Hであり、図18cに示す実線が距離に応じた補正後の補正微分信号Hである。このように、補正微分信号Hは距離に応じたゲイン制御により、振幅がより大きく補正される。d右シフト画像信号、e左シフト画像信号は、図13に示す画像合成部184が生成する信号である。例えば図9に示す視差画像生成部156にデモザイク処理部153から入力する2D画像が、図18aに示す入力画像であるとした場合、この入力画像を右シフトすることで、d右眼画像信号を生成する。また、この入力画像を左シフトすることで、e左眼画像信号を生成する。具体的には、a入力信号Sと、c補正ゲイン制御後の補正微分信号Hを非線形変換部183において非線形変換した結果非線形変換部183の出力である視差強調信号Eとを合成することで、d右眼画像信号、または、e左眼画像信号を生成する。図18dに示す通り、大きなゲインG3によって補正が行われた補正微分信号Hを合成する場合、補正前の微分信号Hを合成する場合に比較して、右シフトが大きい画像信号が生成される。同様に、図18dでは、左シフト量が大きい画像信号が生成される。次に、図19に示す距離が小の画像領域奥行きが小さい画像領域における処理例について説明する。図19は図16cの画像下部の距離が小=D1の画像領域奥行きが小さい画像領域に対する処理例である。a入力信号と、b微分信号は、図18に示すa入力信号と、b微分信号と同様の信号である。b微分信号Hは、a入力信号Sの微分結果である。この微分信号は、図13に示す微分器181において生成される信号である。微分器181の生成する微分信号は、図19に示すとおり、a入力信号の輝度変化が正になる領域Aにおいて正の値をとり、a入力信号の輝度変化が負になる領域Bにおいて負の値をとる。c補正ゲイン制御後の補正微分信号Hは、図13に示すゲイン制御部182において生成する信号であり、図19b微分信号を、奥行き情報に基づいて補正ゲイン制御した信号である。図19に示す例は、距離が小例えば図15、図16cのD1の画像領域奥行きが大きい画像領域における処理例であり、図15、図16を参照して説明したように小さなゲインG1により微分信号の振幅は小さな振幅に補正される。図19cに示す点線が補正前の信号=b微分信号であり、図19cに示す実線が距離に応じた補正後の信号である。このように、距離に応じたゲイン制御により、振幅がより小さく補正される。d右眼画像信号、e左眼画像信号は、図13に示す画像合成部184において生成する信号である。画像合成部184は、a入力信号Sと、c補正ゲイン制御後の補正微分信号Hを非線形変換部183において非線形変換した結果非線形変換部183の出力である視差強調信号Eとを合成してd右眼画像信号、またはe左眼画像信号を生成する。例えば図9に示す視差画像生成部156にデモザイク処理部153から入力する2D画像が、図19aに示す入力画像であるとした場合、この入力画像を右シフトすることで、d右眼画像信号を生成する。また、この入力画像を左シフトすることで、e左眼画像信号を生成する。図19dに示す通り、小さなゲインG1によって補正が行われた補正微分信号Hを合成する場合、補正前の微分信号Hを合成する場合に比較して、右シフト量が小さい画像信号が生成される。同様に、図18dでは、左シフト量が小さい画像信号が生成される。このように、視差画像生成部156は、表示画面よりも奥の方向に知覚されるような画像を生成する場合は、距離=大の場合は、振幅の大きい補正微分信号距離=小の場合は、振幅の小さい補正微分信号、これらの補正微分信号図18、図19のcを生成し、これらの補正微分信号またはその非線形変換結果である視差強調信号とa入力信号との合成処理により、入力画像と異なる視点からの観察画像に相当するd右眼画像信号、またはe左眼画像信号を生成する。このようなd右眼画像信号と、e左眼画像信号の生成処理の生成処理について、数式を用いて説明する。図18、図19のa入力信号に相当するビデオデータの輝度レベルをSとし、図18、図19のbに示す微分信号の信号レベルをHとする。また、ゲイン制御部182において行われる微分信号の補正結果としての補正微分信号の信号レベルをHてとする。なお、補正微分信号Hの生成の際、b微分信号Hに乗じるゲイン値Gは、奥行き情報Dをもとに予め設定された関数などから決定される。図18に示す距離が大の場合のゲイン値をG3、図19に示す距離が小の場合のゲイン値をG1、とする。図18、図19に示す例は、G3>1>G1の関係を想定している。図18、図19のc補正後の微分信号の信号レベルをHで表現すると、Hは上記ゲイン値G3、G1を用いて補正された信号として、以下の式によって示すことができる。図18に示す距離が大の場合の補正後微分信号Hは、H=G3×H図19に示す距離が小の場合の補正後微分信号Hは、H=G1×Hこれらの式によって算出された信号が、図18、図19のc補正後の微分信号の信号レベルHとなる。図18cに示す距離が大の場合において、実線で示す補正後微分信号Hと、点線で示す補正前微分信号=bを比較すると、実線で示す補正後微分信号Hは、点線で示す補正前微分信号よりも振幅が大きくなっている。一方、図19cに示す距離が小の場合において、実線で示す補正後微分信号Hと、点線で示す補正前微分信号=bを比較すると、実線で示す補正後微分信号Hは、点線で示す補正前微分信号よりも振幅が小さくなっている。これは、図18c、図19cに示す補正後微分信号が異なるゲイン値を乗じて生成されるためである。すなわち、視差検出部155の出力するデプスマップにおける奥行き情報が大カメラからの距離が遠い画素については、b微分信号に対して大きなゲイン値を乗じて補正されて図18cに示す補正後微分信号が生成される。一方、視差検出部155の出力するデプスマップにおける奥行き情報が小カメラからの距離が近い画素については、b微分信号に対して小さなゲイン値を乗じて補正されて図19cに示す補正後微分信号が生成される。図18c、図19cに示す補正後の微分信号は、非線形変換部183において、例えば先に図11を参照して説明した設定で非線形変換処理が施され、視差強調信号Eが生成される。画像合成部184は、a入力信号に相当するビデオデータSと、c補正後の微分信号Hを非線形変換した視差強調信号Eを入力して、例えば以下の式により右シフト画像信号Right、または左シフト画像信号Leftを生成する。Right=S-ELeft=SEこれにより得られる信号が、図18d、図19dに実線で示す右シフト画像信号、および、図18e、図19eに示す左シフト画像信号である。一方、図18d,eと図19d,eに点線で示す信号は、c補正後の微分信号ではなく、補正前の微分信号、すなわちb微分信号Hを適用して非線形変換した視差強調信号Eを利用して生成した右シフト画像信号、および左シフト画像信号に相当する。すなわち、Right=S-ELeft=SEである。図18、図19のd右シフト画像信号、および、e左シフト画像信号に示す実線と点線を比較すると、図18に示す距離が大の場合は、d右シフト画像信号、e左シフト画像信号の両者とも、実線補正後微分信号が、点線補正前微分信号よりエッジ部信号の変化部が急峻になっており、a入力信号に比較して信号のシフトが大きくなっている。一方、図19に示す距離が小の場合は、d右シフト画像信号、e左シフト画像信号の両者とも、実線補正後微分信号が、点線補正前微分信号よりエッジ部が滑らかになっており、a入力信号に比較して信号のシフトが小さくなっている。このように、視差画像生成部156は、デモザイク処理部153から入力する2D-RGB画像163に対して、視差検出部155から入力するデプスマップ167を利用して被写体距離に応じた視差設定を実行する2D3D変換処理を実行して3D画像表示に適用する左眼図像L画像171、右眼画像R画像172を生成して画像出力部157を介して出力する。上述したように、図9に示す画像処理部17は、撮像素子16上に配置した偏光子に応じて取得される異なる視点からの画像、すなわち左眼用、右眼用の画像を取得し、これらの画像に基づしいて視差情報としてのデプスマップを生成する。さらに、偏光子を配置しない画素によって通常の2次元画像を取得して、これらの情報から画像処理によって3D画像表示に適用する高精細な左眼用画像と右眼用画像を出力する。なお、上述の実施例では、図1他を参照して説明した第1偏光部12が、水平偏光領域を右側に設定し垂直偏光領域を左側に設定した構成として説明したが、この設定は逆の設定でもよい。また、水平偏光と垂直偏光の組み合わせのみならず、斜め方向の偏波光を透過させる偏光領域など、異なる2つの偏波方向を持つ偏光領域を任意に組み合わせた構成を適用することができる。なお、第2偏光部15は、第1偏光部12の偏光領域の設定に対応させて、第1偏光部12に設定した偏光領域と同一の組み合わせを持つ偏光領域を設定することが必要である。[4.マイクロレンズを利用した複数視点画像の取得構成例について]先に説明した構成では、図1に示す第2偏光部15の偏光領域は、例えばワイヤグリッド偏光子を用いた構成とされる。ワイヤグリッド偏光子は、微細なワイヤ例えばAlアルミ線を微細間隔で並べた構成を有し、ワイヤ配列方向に応じた偏光特性を奏する偏光素子である。このワイヤ配列方向に応じた偏光特性を用いて、左視点からの観察画像に対応する左眼用画像、右視点からの観察画像に対応する右眼用画像、これらの各画像を取得し、さらに、ワイヤグリッドを配置しない非偏光領域において、中央視点からの観察画像を取得する構成としていた。このワイヤグリッドを用いた構成以外にも、異なる視点からの観察画像を取得する構成が可能である。例えば撮像素子の前面にマイクロレンズを配置する構成によって異なる視点からの画像を取得することができる。上述した本開示の画像処理は、マイクロレンズを用いて撮影された画像に対する処理として行うことも可能である。図20以下を参照して、マイクロレンズを用いて異なる視点からの観察画像を撮影する構成について説明する。図20は、本実施例に係る撮像装置300の全体構成を示す図である。図20に示す撮像装置300において、先に図1Aを参照して説明した撮像装置10と同一の構成については同じ参照符号を付している。撮影レンズ11を介して撮影被写体に対応する入射光が入力する。撮影レンズ11を介した入射光は、絞り13、結像レンズ14、マイクロレンズアレイ301を介して撮像素子16に入力される。なお、図20は、撮像装置カメラ300を上から見た図、すなわち上面図である。図20の左下に撮像装置300と撮影者20の概略図と、XYZ座標軸を示している。図20の中央付近に示す点線縦ラインX軸に示すように、図20の上側が撮影者から見て右R側であり、図20の下側が撮影者から見て左L側となる。撮像素子16は、例えばCCD、CMOS等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部17に出力する。画像処理部17では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部18に格納する。画像処理部17の構成と処理は、先に図7~図19を参照して説明したと同様の構成と処理となる。この図20に示す撮像装置300は、図1を参照して説明した撮像装置10の構成要素であった第1偏光部12、第2偏光部15を用いずにマイクロレンズアレイ300を配置した点が異なる。この図20に示す撮像装置300は、このマイクロレンズアレイ300を用いて、異なる視点からの画像を撮り込む。図21は、撮像素子16とマイクロレンズアレイ300の具体的構成例と、異なる視点からの画像撮影構成について説明する図である。図21aは、ベイヤBayer配列を持つ撮像素子上に設定されるマイクロレンズアレイ300の構成例を示している。図の左右方向が水平方向、すなわちx方向であり、縦方向が垂直方向、すなわちy方向である。マイクロレンズ311は、左右視点画像取得領域312に並んで配置される。ベイヤ配列の1ユニットに相当する2×2画素に1つのマイクロレンズ311が配置される。マイクロレンズ311の配置された領域が、前述の実施例における偏光領域、すなわちワイヤグリッド配置領域と同様、左眼視点からの画像である左眼用画像と、右眼視点からの画像である右眼用画像を取得する領域である。マイクロレンズの配置されない領域が、前述の実施例における非偏光領域に対応し、中央視点からの通常画像を取得する中央視点画像取得領域313となる。1つのマイクロレンズ311は、ベイヤBayer配列の1ユニット、すなわち2×2画素に対応して配置される。この2×2画素の拡大図が図21bに示すマイクロレンズ配置単位平面図である。RGGBの4画素に対して1つのマイクロレンズが配置される。図21bに示すRGGBの4画素中、右側のG画素とB画素が左眼視点からの画像に対応する左眼用画像取得画素321となる。また、左側のR画素とG画素が右眼視点からの画像に対応する右眼用画像取得画素322となる。マイクロレンズを介する入射光の経路を示しているのが図21cに示すマイクロレンズ配置単位断面図である。図21cは図21bに示すABラインの断面構成に対応する。図21cに示すように、左眼視点画像は、マイクロレンズ331とカラーフィルタ332のB領域を介して撮像素子16を構成するB画素対応のフォトダイオード333に入射する。一方、右眼視点画像は、マイクロレンズ331、とカラーフィルタ332のG領域を介して撮像素子16を構成するG画素対応のフォトダイオード333に入射する。このように、左側の視点からの画像に対応する左眼用画像は、マイクロレンズの配置された2×2画素の右側の2画素に撮影され、右側の視点からの画像に対応する右眼用画像は、マイクロレンズの配置された2×2画素の左側の2画素に撮影される。すなわち、図21aに示す左右視点画像取得領域312では、マイクロレンズ311の配置された4画素単位で、右眼用画像と左眼用画像が撮影されることになる。例えば図9を参照して説明した画像処理部17の画素分離部151は、図21aに示す左右視点画像取得領域312の画素値情報を左右視点画像補間処理部154に出力し、中央視点画像取得領域313の画素値情報を中央視点画像補間処理部152に出力する。その後は、前述した処理と同様の処理が実行される。すなわち、左右視点画像取得領域312の画素値情報に基づくデプスマップを生成して、中央視点画像取得領域313の画素値情報に基づく補間処理によって生成される2D-Raw画像に対してデプスマップを適用した2D-3D変換処理によって3次元画像表示に適用する左眼用画像と右眼用画像を生成する。なお、左右視点画像補間処理部154においては、左右視点画像取得領域312のG画素のみを用いて先に図11を参照して説明した処理に従って、各視点からの画像を生成してもよい。図21bに示すように、マイクロレンズ配置単位には異なる視点からの撮影画像を取得している2つのG画素が存在する。これらのG画素は、それぞれ右画素、左画素に相当し、水平方向に並んだG画素から1ライン分の左右画像を生成することが可能である。なお、図21cに示すように、マイクロレンズ331は、下部に配置されたカラーフィルタ332を通して受光部であるフォトダイオード333に光を透過させるにあたり、光軸中心に対して偏った方向の光だけが通過するように光学的に設計されている。なお、マイクロレンズによる被写体像の位相検出については、例えば、特開2010-204294などに記載されている。図21に示す画素配置は、ベイヤBayer配列上にマイクロレンズアレイを配置することで実現可能であるが、先に図11を参照して説明した処理に従って、G画素のみを利用して各視点からの画像を生成する構成では、左右視点画像取得領域312にあるG画素以外のB画素やR画素は利用しない。視差検出に不要なR画素とB画素が存在することで、にデプスマップの垂直方向の解像度が劣化するという問題も発生させる。これを解決するため、図22に示すように、左右視点画像取得領域312にG画素のみを配置した構成とてもよい。図22aに示すように、マイクロレンズ311が配置される左右視点画像取得領域312をすべてG画素とする構成である。この領域のカラーフィルタを緑の波長のみを透過するカラーフィルタとして構成する。このような構成とすることで、マイクロレンズの配置された2ラインの左右視点画像取得領域312には全画素に左眼用画像と右眼用画像のG画素値が交互に撮影される。この結果より高精度の左眼用画像と右眼用画像が生成可能となり、精度の高い視差情報を生成することが可能となる。なお、G画素の代わりに、赤から青までの全ての可視光波長を透過する白画素W画素を配置する構成として、W画素に基づく視差画像の生成、デプスマップの生成を行う構成としてもよい。[5.マイクロレンズと遮光膜を利用した複数視点画像の取得構成例について]次に、マイクロレンズと遮光膜を利用した複数視点画像の取得構成例について説明する。図23は、本実施例に係る撮像装置500の全体構成を示す図である。図23に示す撮像装置500において、先に図1Aを参照して説明した撮像装置10と同一の構成については同し参照符号を付している。撮影レンズ11を介して撮影被写体に対応する入射光が入力する。撮影レンズ11を介した入射光は、絞り13、結像レンズ14、マイクロレンズアレイ501、遮光膜502を介して撮像素子16に入力される。なお、図23は、撮像装置カメラ500を上から見た図、すなわち上面図である。図23の左下に撮像装置500と撮影者20の概略図と、XYZ座標軸を示している。図23の中央付近に示す点線縦ラインX軸に示すように、図23の上側が撮影者から見て右R側であり、図23の下側が撮影者から見て左L側となる。撮像素子16は、例えばCCD、CMOS等の光電変換素子であり、被写体光に応じた電気信号を生成して画像処理部17に出力する。画像処理部17では、予め既定されたアルゴリズムに従った信号処理を実行し、処理結果としての画像データを記憶部18に格納する。画像処理部17の構成と処理は、先に図7~図19を参照して説明したと同様の構成と処理となる。この図23に示す撮像装置500は、図1を参照して説明した撮像装置10の構成要素であった第1偏光部12、第2偏光部15を用いずにマイクロレンズアレイ501と遮光膜502を配置した点が異なる。この図23に示す撮像装置500は、このマイクロレンズアレイ501と遮光膜502を用いて、異なる視点からの画像を撮り込む。図24は、撮像素子16とマイクロレンズアレイ501と遮光膜502の具体的構成例と、異なる視点からの画像撮影構成について説明する図である。図24aは、ベイヤBayer配列を持つ撮像素子上に設定されるマイクロレンズアレイ501と遮光膜502の構成例を示している。図の左右方向が水平方向、すなわちx方向であり、縦方向が垂直方向、すなわちy方向である。マイクロレンズ511は、左右視点画像取得領域521に並んで配置される。ベイヤ配列の各画素に1つのマイクロレンズ511が配置される。さらに、遮光膜512が、左右視点画像取得領域521に配置される。遮光膜512は、各画素の一部領域を遮光し、一部領域を透過させる構成とされている。マイクロレンズ511と遮光膜512の配置された領域が、前述の実施例における偏光領域、すなわちワイヤグリッド配置領域と同様、左眼視点からの画像である左眼用画像と、右眼視点からの画像である右眼用画像を取得する領域である。マイクロレンズ511と遮光膜512の配置されない領域が、前述の実施例における非偏光領域に対応し、中央視点からの通常画像を取得する中央視点画像取得領域522となる。図24bは、左右視点画像取得領域521の2×2画素の拡大図である。各マイクロレンズ511は、各画素に対応して配置される。RGGBの4画素に対して4つのマイクロレンズが配置される。図24bに示すRGGBの4画素中、右側のG画素とB画素が左眼視点からの画像に対応する左眼用画像取得画素531となる。また、左側のR画素とG画素が右眼視点からの画像に対応する右眼用画像取得画素532となる。マイクロレンズと遮光膜を介する入射光の経路を示しているのが図24cに示す断面図である。図24cは図24bに示すABラインの断面構成に対応する。図24cに示すように、左眼視点画像は、マイクロレンズ541とカラーフィルタ542のB領域を通過して、遮光膜543による遮光領域以外の透過領域を通過した光のみが撮像素子16を構成するB画素対応のフォトダイオード333に入射する。一方、右眼視点画像は、マイクロレンズ541とカラーフィルタ542のG領域を通過して、遮光膜543による遮光領域以外の透過領域を通過した光のみが撮像素子16を構成するG画素対応のフォトダイオード333に入射する。このように、左側の視点からの画像に対応する左眼用画像は、マイクロレンズと遮光膜の配置された左右視点画像取得領域521の2×2画素の右側の2画素に撮影され、右側の視点からの画像に対応する右眼用画像は、マイクロレンズと遮光膜の配置された2×2画素の左側の2画素に撮影される。すなわち、図24aに示す左右視点画像取得領域521では、マイクロレンズ511と遮光膜512の配置された4画素単位で、右眼用画像と左眼用画像が撮影されることになる。例えば図9を参照して説明した画像処理部17の画素分離部151は、図24aに示す左右視点画像取得領域521の画素値情報を左右視点画像補間処理部154に出力し、中央視点画像取得領域522の画素値情報を中央視点画像補間処理部152に出力する。その後は、前述した処理と同様の処理が実行される。すなわち、左右視点画像取得領域521の画素値情報に基づくデプスマップを生成して、中央視点画像取得領域522の画素値情報に基づく補間処理によって生成される2D-Raw画像に対してデプスマップを適用した2D-3D変換処理によって3次元画像表示に適用する左眼用画像と右眼用画像を生成する。なお、左右視点画像補間処理部154においては、左右視点画像取得領域521のG画素のみを用いて先に図11を参照して説明した処理に従って、各視点からの画像を生成してもよい。図24bに示すように、左右視点画像取得領域521の2×2画素には、異なる視点からの撮影画像を取得している2つのG画素が存在する。これらのG画素は、それぞれ右画素、左画素に相当し、水平方向に並んだG画素から1ライン分の左右画像を生成することが可能である。なお、遮光膜による被写体像の位相検出については、例えば、特開2009-192605などに記載されている。図24に示す画素配置は、ベイヤBayer配列上にマイクロレンズアレイと遮光膜を配置することで実現可能であるが、先に図11を参照して説明した処理に従って、G画素のみを利用して各視点からの画像を生成する構成では、左右視点画像取得領域521にあるG画素以外のB画素やR画素は利用しない。視差検出に不要なR画素とB画素が存在することで、にデプスマップの垂直方向の解像度が劣化するという問題も発生させる。これを解決するため、図25に示すように、左右視点画像取得領域521にG画素のみを配置した構成とてもよい。図25aに示すように、マイクロレンズ511と遮光膜512が配置される左右視点画像取得領域521をすべてG画素とする構成である。この領域のカラーフィルタを緑の波長のみを透過するカラーフィルタとして構成する。このような構成とすることで、マイクロレンズの配置された2ラインの左右視点画像取得領域521には全画素に左眼用画像と右眼用画像のG画素値が交互に撮影される。この結果より高精度の左眼用画像と右眼用画像が生成可能となり、精度の高い視差情報を生成することが可能となる。なお、G画素の代わりに、赤から青までの全ての可視光波長を透過する白画素W画素を配置する構成として、W画素に基づく視差画像の生成、デプスマップの生成を行う構成としてもよい。[6.本開示の構成のまとめ]以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、本明細書において開示した技術は、以下のような構成をとることができる。1撮像素子と、前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記入射光制御部は、左眼視点画像と右眼視点画像と、中央視点画像の3つの視点画像を取得する入射光制御構成を有し、前記画像処理部は、前記左眼視点画像と前記右眼視点画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの前記中央視点画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する画像処理装置。2前記入射光制御部は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光部と、前記第1偏光部の透過光を入射する第2偏光部であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域と、前記第1偏光領域と前記第2偏光領域の透過光を透過させる全透過領域からなる第2偏光部を有し、前記画像処理部は、前記第2偏光部の前記第3偏光領域の透過光に基づく画像と、前記第2偏光部の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの入力画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記1に記載の画像処理装置。3前記第2偏光部の第3偏光領域および第4偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である前記1または2に記載の画像処理装置。4前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイを有し、前記画像処理部は、マイクロレンズ配置領域に対応する撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズの非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記1に記載の画像処理装置。5前記入射光制御部は、前記撮像素子の一部領域にマイクロレンズを配置したマイクロレンズアレイと、前記マイクロレンズの配置領域に設定され、撮像素子に対する入射光の一部を遮光する遮光膜を有し、前記画像処理部は、マイクロレンズと遮光膜の配置領域に対応する撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、マイクロレンズと遮光膜の非設定領域に対応する撮像素子の構成画素からの出力信号から得られる画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記1に記載の画像処理装置。6前記撮像素子は、被写体距離を反映した視差情報を生成するための2つの異なる視点画像を取得する左右視点画像取得領域と、1つの視点からの撮影画像を生成する中央視点画像取得領域を有する前記1~5いずれかに記載の画像処理装置。7前記左右視点画像取得領域は、1色の画素によって構成され、前記画像処理部は、前記1色の画素によって構成された前記左右視点画像取得領域の出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部を有する前記1~6いずれかに記載の画像処理装置。8前記画像処理部は、前記撮像素子の構成画素からの出力信号から得られる2つの異なる視点画像を適用して被写体距離を反映した視差情報として、画像の被写体距離情報を反映したデプスマップを生成し、前記デプスマップを適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する前記1~7いずれかに記載の画像処理装置。9前記画像処理部は、前記撮像素子から取得する2つの異なる視点画像を適用して被写体距離を反映した視差情報を生成する視差検出部と、前記撮像素子からの取得画像に対する補正処理を実行して2次元画像を生成する画像補正部と、前記視差検出部の生成した視差情報を適用して、前記画像補正部の生成した2次元画像の画像変換処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する視差画像生成部を有する前記1~8いずれかに記載の画像処理装置。10前記視差画像生成部は、前記画像補正部の生成した2次元画像に対して、前記視差情報を適用した画像変換処理により3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理を実行する前記9に記載の画像処理装置。11前記画像処理部の実行する前記2D3D変換処理は、前記第1視点画像に対して被写体距離に応じた画像シフト処理を行うことで3次元画像表示用の左眼用画像と右眼用画像を生成する2D3D変換処理である前記10に記載の画像処理装置。12撮像素子と、前記撮像素子に異なる視点からの観察画像に対応する複数の視点画像を撮影させる入射光制御を行う入射光制御部と、前記撮像素子の出力信号に対する信号処理を実行する画像処理部を有し、前記入射光制御部は、各々が異なる偏波光を透過させる第1偏光領域と第2偏光領域を有する第1偏光部と、前記第1偏光部の透過光を入射する第2偏光部であり、前記第1偏光領域の透過光のみを透過させる第3偏光領域と、前記第2偏光領域の透過光のみを透過させる第4偏光領域からなる第2偏光部を有し、前記画像処理部は、前記第2偏光部の前記第3偏光領域の透過光に基づく画像と、前記第2偏光部の前記第4偏光領域の透過光に基づく画像との2つの異なる視点画像の欠損画素領域に画素値を設定する補間処理を実行して3次元画像表示用の左眼用画像と右眼用画像を生成する画像処理装置。13前記第2偏光部の第3偏光領域および第4偏光領域は、ワイヤグリッド偏光子によって構成された偏光領域である前記12に記載の画像処理装置。さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LANLocalAreaNetwork、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"