"絞り近傍に配置されて被写体からの光を偏光させる2つの偏光子であって偏光方向が互いに直行する第1偏光子および第2偏光子と、前記第1偏光子および前記第2偏光子を結ぶ方向を第1方向とし、撮像素子の受光面において前記第1方向に直行する方向である第2方向に沿って前記第2方向に延びるように交互に配置されて前記被写体からの光を偏光させる2つの偏光子であって偏光方向が前記第1偏光子と平行である第3偏光子と偏光方向が前記第2偏光子と平行である第4偏光子と、前記撮像素子により生成される画像データのうち、前記第1偏光子および前記第3偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第1画像データとし、前記第2偏光子および前記第4偏光子を通過した光に基づいて生成される画像データを前記立体視画像を表示するための第2画像データとする画像処理部とを具備する撮像装置。前記撮像素子は、前記第1方向および前記第2方向により特定されるマトリクス状に画素が配置され、前記第3偏光子および前記第4偏光子は、前記撮像素子における前記第1方向の2画素分の前記第2方向のラインを配列単位として1または複数の配列単位毎に交互に配置される請求項1記載の撮像装置。前記画像処理部は、前記撮像素子により生成された画像データを、前記第3偏光子および前記第4偏光子に対応する前記第2方向のライン単位で並び替えることにより前記第1画像データおよび前記第2画像データを生成する請求項2記載の撮像装置。前記画像処理部は、前記撮像素子により生成された画像データについて前記第3偏光子および前記第4偏光子に対応する前記第2方向のライン単位で加算処理が行われた後に、前記加算処理が行われた画像データを並び替えることにより前記第1画像データおよび前記第2画像データを生成する請求項2記載の撮像装置。前記画像処理部は、前記撮像素子により生成された画像データのうち、前記第3偏光子に対応する前記第2方向のライン単位で順次読み出された画像データを前記第1画像データとし、前記第4偏光子に対応する前記第2方向のライン単位で順次読み出された画像データを前記第2画像データとする請求項2記載の撮像装置。前記画像処理部は、前記撮像素子により生成された画像データのうち、前記第3偏光子に対応する前記第2方向のライン単位の画像データについて加算処理が行われた後に順次読み出された当該加算処理が行われた画像データを前記第1画像データとし、前記第4偏光子に対応する前記第2方向のライン単位の画像データについて加算処理が行われた後に順次読み出された当該加算処理が行われた画像データを前記第2画像データとする請求項2記載の撮像装置。前記撮像素子は、各画素が原色系ベイヤ配列により配置される請求項2記載の撮像装置。前記第1偏光子および前記第2偏光子は、前記被写体からの光を集光する1つの光学系における前記絞り近傍において前記第2方向を境界として隣接して配置される請求項1記載の撮像装置。前記第1偏光子は、前記被写体からの光を集光する第1光学系における前記絞り近傍に配置され、前記第2偏光子は、前記被写体からの光を集光する第2光学系における前記絞り近傍に配置される請求項1記載の撮像装置。前記画像処理部は、所定の記録フォーマットにより記録媒体に記録するための画像データとして前記第1画像データおよび前記第2画像データを生成する請求項1記載の撮像装置。前記画像処理部は、サイドバイサイド方式の記録フォーマットにより記録媒体に記録するための画像データとして前記第1画像データおよび前記第2画像データを生成する請求項1記載の撮像装置。前記第1方向は、前記立体視画像における視差方向である請求項1記載の撮像装置。絞り近傍に配置されて被写体からの光を偏光させる2つの偏光子であって偏光方向が互いに直行する第1偏光子および第2偏光子と、前記第1偏光子および前記第2偏光子を結ぶ方向を第1方向として撮像素子の受光面において前記第1方向に直行する方向である第2方向に沿って前記第2方向に延びるように交互に配置されて前記被写体からの光を偏光させる2つの偏光子であって偏光方向が前記第1偏光子と平行である第3偏光子と、偏光方向が前記第2偏光子と平行である第4偏光子とを介して入射された光に基づいて前記撮像素子により生成された画像データを取得する取得手順と、前記第1偏光子および前記第3偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第1画像データとし、前記第2偏光子および前記第4偏光子を通過した光に基づいて生成される画像データを前記立体視画像を表示するための第2画像データとする画像処理手順とを具備する画像処理方法。絞り近傍に配置されて被写体からの光を偏光させる2つの偏光子であって偏光方向が互いに直行する第1偏光子および第2偏光子と、前記第1偏光子および前記第2偏光子を結ぶ方向を第1方向として撮像素子の受光面において前記第1方向に直行する方向である第2方向に沿って前記第2方向に延びるように交互に配置されて前記被写体からの光を偏光させる2つの偏光子であって偏光方向が前記第1偏光子と平行である第3偏光子と、偏光方向が前記第2偏光子と平行である第4偏光子とを介して入射された光に基づいて前記撮像素子により生成された画像データを取得する取得手順と、前記第1偏光子および前記第3偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第1画像データとし、前記第2偏光子および前記第4偏光子を通過した光に基づいて生成される画像データを前記立体視画像を表示するための第2画像データとする画像処理手順とをコンピュータに実行させるプログラム。上述の従来技術によれば、2つのレンズと1つの撮像素子とを用いて2つの画像左眼視用画像および右眼視用画像を生成することができる。このように生成された2つの画像左眼視用画像および右眼視用画像を記録する場合には、例えば、所定の記録フォーマットにより記録することが想定される。ここで、立体視画像例えば、左眼視用画像および右眼視用画像を所定の記録フォーマットに記録する場合には、記録対象画像について間引き処理等を行い、2枚の画像を1枚の画像として扱うことが多い。このため、立体視画像を所定の記録フォーマットに記録する場合には、間引き処理等による立体視画像の画質の劣化を低減させることが重要である。本発明はこのような状況に鑑みてなされたものであり、立体視画像の画質の劣化を低減させることを目的とする。本発明は、上記課題を解決するためになされたものであり、その第1の側面は、絞り近傍に配置されて被写体からの光を偏光させる2つの偏光子であって偏光方向が互いに直行する第1偏光子および第2偏光子と、上記第1偏光子および上記第2偏光子を結ぶ方向を第1方向とし、撮像素子の受光面において上記第1方向に直行する方向である第2方向に沿って上記第2方向に延びるように交互に配置されて上記被写体からの光を偏光させる2つの偏光子であって偏光方向が上記第1偏光子と平行である第3偏光子と偏光方向が上記第2偏光子と平行である第4偏光子と、上記撮像素子により生成される画像データのうち、上記第1偏光子および上記第3偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第1画像データとし、上記第2偏光子および上記第4偏光子を通過した光に基づいて生成される画像データを上記立体視画像を表示するための第2画像データとする画像処理部とを具備する撮像装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、第1偏光子および第3偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第1画像データとし、第2偏光子および第4偏光子を通過した光に基づいて生成される画像データを立体視画像を表示するための第2画像データとするという作用をもたらす。また、この第1の側面において、上記撮像素子は、上記第1方向および上記第2方向により特定されるマトリクス状に画素が配置され、上記第3偏光子および上記第4偏光子は、上記撮像素子における上記第1方向の2画素分の上記第2方向のラインを配列単位として1または複数の配列単位毎に交互に配置されるようにしてもよい。これにより、第1方向および第2方向により特定されるマトリクス状に画素が配置され、第1方向の2画素分の第2方向のラインを配列単位として1または複数の配列単位毎に第3偏光子および第4偏光子が交互に配置されている撮像素子により生成された画像データを用いて第1画像データおよび第2画像データを生成するという作用をもたらす。また、この第1の側面において、上記画像処理部は、上記撮像素子により生成された画像データを、上記第3偏光子および上記第4偏光子に対応する上記第2方向のライン単位で並び替えることにより上記第1画像データおよび上記第2画像データを生成するようにしてもよい。これにより、撮像素子により生成された画像データを、第3偏光子および第4偏光子に対応する第2方向のライン単位で並び替えることにより、第1画像データおよび第2画像データを生成するという作用をもたらす。また、この第1の側面において、上記画像処理部は、上記撮像素子により生成された画像データについて上記第3偏光子および上記第4偏光子に対応する上記第2方向のライン単位で加算処理が行われた後に、上記加算処理が行われた画像データを並び替えることにより上記第1画像データおよび上記第2画像データを生成するようにしてもよい。これにより、撮像素子により生成された画像データについて第3偏光子および第4偏光子に対応する第2方向のライン単位で加算処理が行われた後に、その加算処理が行われた画像データを並び替えることにより、第1画像データおよび第2画像データを生成するという作用をもたらす。また、この第1の側面において、上記画像処理部は、上記撮像素子により生成された画像データのうち、上記第3偏光子に対応する上記第2方向のライン単位で順次読み出された画像データを上記第1画像データとし、上記第4偏光子に対応する上記第2方向のライン単位で順次読み出された画像データを上記第2画像データとするようにしてもよい。これにより、撮像素子により生成された画像データのうち、第3偏光子に対応する第2方向のライン単位で順次読み出された画像データを第1画像データとし、第4偏光子に対応する第2方向のライン単位で順次読み出された画像データを第2画像データとするという作用をもたらす。また、この第1の側面において、上記画像処理部は、上記撮像素子により生成された画像データのうち、上記第3偏光子に対応する上記第2方向のライン単位の画像データについて加算処理が行われた後に順次読み出された当該加算処理が行われた画像データを上記第1画像データとし、上記第4偏光子に対応する上記第2方向のライン単位の画像データについて加算処理が行われた後に順次読み出された当該加算処理が行われた画像データを上記第2画像データとするようにしてもよい。これにより、第3偏光子に対応する第2方向のライン単位の画像データについて加算処理が行われた後に順次読み出されたその加算処理が行われた画像データを第1画像データとし、第4偏光子に対応する第2方向のライン単位の画像データについて加算処理が行われた後に順次読み出されたその加算処理が行われた画像データを第2画像データとするという作用をもたらす。また、この第1の側面において、上記撮像素子は、各画素が原色系ベイヤ配列により配置されるようにしてもよい。これにより、各画素が原色系ベイヤ配列により配置されている撮像素子により生成された画像データを用いて第1画像データおよび第2画像データを生成するという作用をもたらす。また、この第1の側面において、上記第1偏光子および上記第2偏光子は、上記被写体からの光を集光する1つの光学系における上記絞り近傍において上記第2方向を境界として隣接して配置されるようにしてもよい。これにより、被写体からの光を集光する1つの光学系における絞り近傍において第2方向を境界として隣接して配置される第1偏光子および第2偏光子を用いて、第1画像データおよび第2画像データを生成するという作用をもたらす。また、この第1の側面において、上記第1偏光子は、上記被写体からの光を集光する第1光学系における上記絞り近傍に配置され、上記第2偏光子は、上記被写体からの光を集光する第2光学系における上記絞り近傍に配置されるようにしてもよい。これにより、被写体からの光を集光する第1光学系における絞り近傍に配置される第1偏光子と、被写体からの光を集光する第2光学系における絞り近傍に配置される第2偏光子とを用いて、第1画像データおよび第2画像データを生成するという作用をもたらす。また、この第1の側面において、上記画像処理部は、所定の記録フォーマットにより記録媒体に記録するための画像データとして上記第1画像データおよび上記第2画像データを生成するようにしてもよい。これにより、所定の記録フォーマットにより記録媒体に記録するための画像データとして第1画像データおよび第2画像データを生成するという作用をもたらす。また、この第1の側面において、上記画像処理部は、サイドバイサイド方式の記録フォーマットにより記録媒体に記録するための画像データとして上記第1画像データおよび上記第2画像データを生成するようにしてもよい。これにより、サイドバイサイド方式の記録フォーマットにより記録媒体に記録するための画像データとして第1画像データおよび第2画像データを生成するという作用をもたらす。また、この第1の側面において、上記第1方向を、上記立体視画像における視差方向とするようにしてもよい。これにより、第1方向を、立体視画像における視差方向として第1画像データおよび第2画像データを生成するという作用をもたらす。本発明によれば、立体視画像の画質の劣化を低減させることができるという優れた効果を奏し得る。以下、本発明を実施するための形態以下、実施の形態と称するについて説明する。説明は以下の順序により行う。1.第1の実施の形態画像処理制御:1つのレンズ系を備える撮像装置いわゆる、1眼式3Dカメラにより立体視画像を生成する例2.第2の実施の形態画像処理制御:複数のレンズ系を備える撮像装置いわゆる、2眼式3Dカメラにより立体視画像を生成する例<1.第1の実施の形態>[撮像装置の構成例]図1は、本発明の第1の実施の形態における撮像装置100の内部構成例を示す図である。図1aには、レンズ系110、瞳偏光部120、撮像素子偏光部130および撮像素子140について上面から見た場合における上面図を簡略化して示す。図1bには、瞳偏光部120および撮像素子140の関係を表す斜視図を簡略化して示す。撮像装置100は、レンズ系110と、瞳偏光部120と、撮像素子偏光部130と、撮像素子140と、操作受付部150と、制御部160と、画像処理部170と、記憶部180とを備える。なお、以下では、水平方向をX軸方向とし、垂直方向をY軸方向とし、光の進行方向をZ軸方向として説明する。また、撮像装置100は、例えば、デジタルスチルカメラやビデオビデオカメラ例えば、カメラ一体型レコーダ等の撮像装置により実現される。また、撮像装置100は、例えば、表面照射型の固体撮像装置、裏面照射型の固体撮像装置により実現される。レンズ系110は、撮影レンズ111と、結像レンズ112と、絞り部113とを備える。レンズ系110は、例えば、フォーカスレンズ、ズームレンズとして機能する。撮影レンズ111は、被写体からの入射光を集光するためのレンズである。また、撮影レンズ111は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含む。なお、撮影レンズ111は、一般に、色収差等を補正するために複数枚のレンズの組合せにより実現される。結像レンズ112は、瞳偏光部120を通過した光を撮像素子140上に結像するためのレンズである。絞り部113は、集光された光の量を調整するために光を絞り込む機能を有する絞りであり、例えば、複数枚の板状の羽根の組合せにより構成される。また、絞り部113の位置において、少なくとも被写体の1点からの光が平行光となる。レンズ系110は、単焦点レンズとして構成されるようにしてもよく、いわゆる、ズームレンズとして構成されるようにしてもよい。また、レンズ系110の構成は、レンズ系110に要求される仕様に基づいて決定することができる。瞳偏光部120は、垂直方向Y軸方向に沿って配置されている第1偏光子121および第2偏光子122を備え、被写体からの光を偏光させる偏光部である。ここで、偏光子は、自然光非偏光や円偏光から直線偏光を作り出すものを意味する。例えば、第1偏光子121および第2偏光子122として、周知の構成の偏光子例えば、偏光板、偏光フィルタを用いることができる。ここで、レンズ系110に入射した光が平行光とされた後に、撮像素子140に集光結像される際に、その平行光の状態にあるレンズ系110の部分に瞳偏光部120を配置することが好ましい。また、例えば、瞳偏光部120は、絞り部113の作動に影響を与えない位置可能な限り絞り部113に近い位置に配置されることが好ましい。例えば、瞳偏光部120は、レンズ系110の絞り部113の近傍に配置されることが好ましい。このように瞳偏光部120を配置する場合には、一般に、レンズ系の光学系を新たに設計し直す必要はなく、既存のレンズ系に瞳偏光部120を固定するまたは、脱着自在に取り付けるように、機械的物理的な設計変更を施す。これにより瞳偏光部120を配置することができる。なお、レンズ系に瞳偏光部120に脱着自在に取り付ける場合には、例えば、瞳偏光部120をレンズ系の絞り羽根に類似する構成として、レンズ系内に配置することができる。また、レンズ系において、瞳偏光部120と開口部とが併設されている部材を、レンズ系の光軸と平行な回動軸を中心として回動可能にその回動軸に取り付けることができる。この場合には、その部材を回動軸を中心として回動させることにより、レンズ系を通過する光線が、開口部または瞳偏光部120を通過する構成とすることができる。また、レンズ系において、瞳偏光部120と開口部とが併設されている部材を、レンズ系の光軸と直交する方向に滑動自在にレンズ系に取り付けることができる。この場合には、その部材を滑動させることにより、レンズ系を通過する光線が開口部または瞳偏光部120を通過する構成とすることができる。また、例えば、瞳偏光部120の外形形状は円形であり、第1偏光子121および第2偏光子122のそれぞれは、瞳偏光部120の半分を占める半月状の外形形状を有する。そして、第1偏光子121と第2偏光子122との境界線は、垂直方向Y軸方向に沿って延びている。また、第1偏光子121および第2偏光子122により構成される瞳偏光部120は、入射した光を2つの異なる偏光状態に分離する。具体的には、瞳偏光部120は、左右対称の偏光子第1偏光子121および第2偏光子122から構成されている。また、瞳偏光部120は、撮像装置100の正立状態に対する左右2つの位置において、互いに直交する直線方向の偏光、または、互いに逆方向となる回転方向の偏光を生成する。ここで、第1偏光子121は、被写体を右眼で見ると想定される像右眼が受けると想定される光に対して偏光を施す偏光子例えば、偏光フィルタである。一方、第2偏光子122は、被写体を左眼で見ると想定される像右眼が受けると想定される光に対して偏光を施す偏光子例えば、偏光フィルタである。例えば、絞り部113の位置近傍の位置の瞳左側にP偏光子第1偏光子121が配置され、瞳右側にS偏光子第2偏光子122が配置される。このように第1偏光子121の通過光および第2偏光子122の通過光の偏光状態は、直線偏光とすることができる。なお、P偏光子およびS偏光子の関係は逆とするようにしてもよい。また、円偏光ただし、回転方向が相互に逆の関係とするとするようにしてもよい。一般に、振動方向がある特定の向きだけの横波を、偏光した波と称し、この振動方向を偏光方向または偏光軸と称する。また、光の電場の向きは偏光方向と一致する。このように、レンズ系110および瞳偏光部120は、ズーム、フォーカス、絞り等の光学機能と同時に、絞り部113の瞳の位置において、直交する偏光方向を有する左画像および右画像左右の視差に対応する画像に分離する。撮像素子偏光部130は、水平方向X軸方向に沿って交互に配置され、垂直方向Y軸方向に延びる第3偏光子131および第4偏光子132図2bに示すを備える。なお、瞳偏光部120における第1偏光子121および第2偏光子122と、撮像素子偏光部130における第3偏光子131および第4偏光子132との関係については、図2を参照して詳細に説明する。撮像素子140は、水平方向および垂直方向のマトリクス状に画像信号を生成するための画素が配置されるとともに、光入射側に撮像素子偏光部130が配置されている撮像素子である。すなわち、撮像素子偏光部130および撮像素子140により偏光イメージセンサが構成される。また、撮像素子140は、レンズ系110により集光された光を電気信号に変換する。すなわち、撮像素子140は、瞳偏光部120により分離された光左眼視用画像および右眼視用画像に対応する光をそれぞれ同時刻に左右独立して撮像する。このように、撮像素子140により変換された電気信号に基づいて、左眼視用画像データおよび右眼視用画像データが生成される。撮像素子140は、例えば、CCDChargeCoupledDevicesセンサやCMOSComplementaryMetalOxideSemiconductorセンサ等により実現される。また、撮像素子140は、例えば、CMDChargeModulationDevice型の信号増幅型イメージセンサ等により実現される。なお、以上の構成においては、入射瞳は、結像レンズ112よりも撮像素子140側に位置する。操作受付部150は、ユーザからの操作入力を受け付ける操作受付部であり、受け付けられた操作入力に応じた操作信号を制御部160に出力する。例えば、操作受付部150は、静止画立体視画像の記録動作の指示操作や動画立体視画像の記録動作開始または記録動作終了の指示操作を受け付ける。制御部160は、撮像装置100全体の制御を行うものである。例えば、制御部160は、操作受付部150により受け付けられたユーザからの操作入力に応じた制御を行う。画像処理部170は、撮像素子140から出力された電気信号について各種画像処理を行うものであり、各種画像処理が行われた電気信号画像データを記憶部180に記憶させる。画像処理部170は、例えば、撮像素子140から出力された電気信号画像データを、左眼視用画像データおよび右眼視用画像データに変換するいわゆる、3D画像処理。そして、画像処理部170は、その変換された左眼視用画像データおよび右眼視用画像データを立体視画像コンテンツとして記憶部180に記憶させる。また、画像処理部170は、その変換された左眼視用画像データおよび右眼視用画像データを立体視画像として表示装置図示せずに出力して表示させる。記憶部180は、各種データを記憶する記録媒体である。記憶部180として、例えば、半導体メモリ、光ディスクまたはハードディスク等を用いることができる。なお、半導体メモリとして、フラッシュROMReadOnlyMemory、DRAMDynamicRandomAccessMemory等を用いることができる。また、光ディスクとして、BDBlurayDisc、DVDDigitalVersatileDisc、CDCompactDisc等を用いることができる。記憶部180として、撮像装置100に内蔵される記憶装置を用いるようにしてもよく、撮像装置100に着脱可能なメモリカード等のリムーバブルメディア記録媒体を用いるようにしてもよい。[瞳偏光部および撮像素子偏光部の関係例]図2は、本発明の第1の実施の形態における瞳偏光部120および撮像素子偏光部130を模式的に示す図である。図2aには、瞳偏光部120における偏光方向を示し、図2bには、撮像素子偏光部130における偏光方向を示す。なお、図2bでは、撮像素子偏光部130における第3偏光子131および第4偏光子132のうちの一部のみを示す。また、図2では、撮像素子140側から瞳偏光部120および撮像素子偏光部130を見た場合における正面図を模式的に示す。図2aに示すように、第1偏光子121および第2偏光子122の偏光方向は直交する白抜きの矢印で示す。すなわち、第1偏光子121を通過した光第1通過光の電場の向き白抜きの矢印で示すと、第2偏光子122を通過した光第2通過光の電場の向き白抜きの矢印で示すとは直交する。ここで、例えば、瞳偏光部120の外形形状を半径r=10mmの円形とする。また、第1偏光子121および第2偏光子122を、瞳偏光部120の半分を占める半月状とする。また、第1偏光子121の外形形状に基づいて求められる重心点を、第1偏光子121の領域における重心点BC1とし、第2偏光子122の外形形状に基づいて求められる重心点を、第2偏光子122の領域における重心点BC2とする。この場合には、重心点BC1と重心点BC2との間の距離基線長は、8r/3π=8.5mmにより求めることができる。また、図2bに示すように、第3偏光子131および第4偏光子132の偏光方向は直交する白抜きの矢印で示す。すなわち、第3偏光子131を通過した光第3通過光の電場の向き白抜きの矢印で示すと、第4偏光子132を通過した光第4通過光の電場の向き白抜きの矢印で示すとは直交する。また、第3偏光子131および第4偏光子132は、撮像素子140における水平方向2画素分のライン垂直方向のライン単位で交互に配置される。この配置例を図3に示す。ここで、例えば、第1通過光の電場の向きを水平方向と平行とする場合を想定する。この場合には、第1通過光は主としてP波TM波を偏光成分として有し、第2通過光は主としてS波TE波を偏光成分として有する。また、第1通過光の電場の向きと第3通過光の電場の向き白抜きの矢印で示すとは平行であり、第2通過光の電場の向きと第4通過光の電場の向き白抜きの矢印で示すとは平行である。また、各偏光子の消光比は、3以上とすることが好ましい。さらに好ましくは、10以上とする。なお、第1偏光子121に係る消光比は、第1偏光子121を通過する光に含まれる2つの光の成分の割合すなわち、電場の向きが水平方向である光の成分と、電場の向きが垂直方向である光の成分の割合を意味する。また、第2偏光子122に係る消光比は、第2偏光子122を通過する光に含まれる2つの光の成分の割合すなわち、電場の向きが垂直方向である光の成分と、電場の向きが水平方向である光の成分の割合を意味する。ここで、第1偏光子121を通過した第1通過光は、第3偏光子131を通過して撮像素子140に到達する。同様に、第2偏光子122を通過した第2通過光は、第4偏光子132を通過して撮像素子140に到達する。そして、撮像素子140に到達した第1通過光第3通過光および第2通過光第4通過光に基づいて、撮像素子140は、第1偏光子121の重心点BC1と、第2偏光子122の重心点BC2との間の距離を両眼視差の基線長さとする立体視画像を生成する。[撮像素子における偏光子の配置例]図3は、本発明の第1の実施の形態における撮像素子偏光部130を構成する第3偏光子131および第4偏光子132の配置例を示す図である。図3では、撮像素子140における画素配列がベイヤ配列である場合を例にして説明する。また、図3aでは、撮像素子140における各画素のうちの一部を拡大して示し、図3bでは、撮像素子140における各画素の全部ただし、一部を省略を示す。また、図3では、第3偏光子131および第4偏光子132が配置される撮像素子140における位置を、各図における上側に示す文字第3偏光子および第4偏光子により特定する。なお、図3bでは、撮像素子140が200万画素である場合を例にして示す。ここで、ベイヤ配列は、2画素水平方向×2画素垂直方向を基本ブロック画素群とし、この基本ブロックが周期的に配置されている画素配列である。図3では、その基本ブロックに対応する領域を太線の矩形で示し、その基本ブロックにおける各画素の境界を点線で示す。また、その基本ブロックにおいて、2つのGGreen:緑画素が一方の対角上に配置され、RRed:赤画素とBBlue:青画素とが残りの対角上に配置される。なお、G画素は緑色を受光する受光素子により構成され、R画素は赤色を受光する受光素子により構成され、B画素は青色を受光する受光素子により構成される。なお、図3では、各画素を矩形により模式的に示し、その矩形内に画素の種類G、R、Bを表す文字を付して示す。図3に示すように、垂直方向Y軸方向に沿って配列されている1列の画素群水平方向2画素分に対して第3偏光子131が配置されている。また、その画素群に水平方向X軸方向に隣接し、垂直方向に沿って配列されている1列の画素群水平方向2画素分に対して第4偏光子132が配置されている。このように、第3偏光子131および第4偏光子132は、水平方向に沿って交互に配置されている。なお、第3偏光子131および第4偏光子132は、全体として垂直方向に延びているが、第3偏光子131および第4偏光子132の垂直方向の長さは、撮像素子140の垂直方向の長さと略同一とすることができる。また、第3偏光子131および第4偏光子132の水平方向の長さは、撮像素子140における水平方向2画素分の長さと略同一とすることができる。このような構成とすることにより、主としてP波成分を有する光に基づく垂直方向に延びる帯状の画像右眼視用画像と、主としてS波成分を有する光に基づく垂直方向に延びる帯状の画像左眼視用画像とが、水平方向に沿って交互に生成される。このように、撮像装置100において、偏光方向が直交する瞳偏光部120第1偏光子121、第2偏光子122が絞り部113に配置されている。そして、レンズ系110に入射する光は、瞳偏光部120第1偏光子121、第2偏光子122により瞳右側と瞳左側に分割される。そして、瞳右側と瞳左側を透過する光の領域透過図形の重心距離を両眼視差の基線長として、撮像素子140に配置されている撮像素子偏光部130第3偏光子131、第4偏光子132により右眼視用画像、左眼視用画像が分離されて同時に撮像される。ここで、撮像素子140における第3偏光子131および第4偏光子132は、瞳偏光部120第1偏光子121、第2偏光子122の左右分割軸と平行に2画素ライン毎に交互に配列される。このように、第1偏光子121および第2偏光子122は、絞り部113の近傍に配置され、被写体からの光を偏光させる2つの偏光子であって偏光方向が互いに直行する。ここで、第1偏光子121および第2偏光子122を結ぶ方向水平方向X軸方向を第1方向例えば、撮像装置100により生成される立体視画像における視差方向とする。この場合に、第3偏光子131は、撮像素子140の受光面において第1方向に直行する方向第2方向垂直方向Y軸方向に沿って第2方向に延びるように第4偏光子132と交互に配置され、偏光方向が第1偏光子121と平行である。また、第4偏光子132は、撮像素子140の受光面において第2方向に沿って第2方向に延びるように第3偏光子131と交互に配置され、偏光方向が第2偏光子122と平行である。また、第1偏光子121および第2偏光子122は、1つの光学系レンズ系110における絞り部113の近傍において第2方向を境界として隣接して配置される。また、撮像素子140は、第1方向および第2方向により特定されるマトリクス状に画素が配置され、各画素が原色系ベイヤ配列により配置される。この場合に、第3偏光子131および第4偏光子132は、例えば、撮像素子140における第1方向の2画素分の第2方向のラインを配列単位として配列単位毎に交互に配置される。なお、本発明の第1の実施の形態では、撮像素子140の配列としてベイヤ配列を例にして説明するが、他の配列とする場合についても本発明の第1の実施の形態を適用することができる。例えば、インターライン配列、GストライプRB市松配列、GストライプRB完全市松配列、市松補色配列、ストライプ配列、斜めストライプ配列、原色色差配列、フィールド色差順次配列に本発明の第1の実施の形態を適用することができる。また、例えば、フレーム色差順次配列、MOS型配列、改良MOS型配列、フレームインターリーブ配列、フィールドインターリーブ配列に本発明の第1の実施の形態を適用することができる。[光の流れとこれにより生成される画像との関係例]図4は、本発明の第1の実施の形態におけるレンズ系110、瞳偏光部120および撮像素子偏光部130における光の流れと、この光により生成される画像との関係を模式的に示す図である。図4aには、レンズ系110、瞳偏光部120における第1偏光子121、撮像素子偏光部130における第3偏光子131を通過し、撮像素子140に到達する光の流れを示す。図4bには、レンズ系110、瞳偏光部120における第2偏光子122、撮像素子偏光部130における第4偏光子132を通過し、撮像素子140に到達する光の流れを示す。図4cには、図4bに示す光により撮像素子140に結像された画像左眼視用画像221を示す。図4dには、図4aに示す光により撮像素子140に結像された画像右眼視用画像222を示す。図4aおよびbでは、矩形状の物体200にレンズ系110のフォーカスが合い、丸形状の物体201が、矩形状の物体200よりもレンズ系110側に位置している場合を例にして説明する。この場合には、矩形状の物体200の像は、フォーカスが合った状態で撮像素子140上に結像する。これに対して、丸形状の物体201の像は、フォーカスが合っていない状態で撮像素子140上に結像する。具体的には、図4aに示すように、撮像素子140上では、丸形状の物体201は、矩形状の物体200の右手側に距離ΔXだけ離れた位置に像を結ぶ。また、図4bに示すように、撮像素子140上では、丸形状の物体201は、矩形状の物体200の左手側に距離-ΔXだけ離れた位置に像を結ぶ。したがって、距離2×ΔXが丸形状の物体201の奥行きに関する情報となる。すなわち、矩形状の物体200よりも撮像装置100に近い側に位置する物体丸形状の物体201のボケ量およびボケ方向は、撮像装置100に遠い側に位置する物体のボケ量およびボケ方向とは異なる。また、矩形状の物体200と丸形状の物体201との距離に応じて、丸形状の物体201のボケ量およびボケ方向は異なる。そして、瞳偏光部120における第1偏光子121および第2偏光子122のそれぞれの領域の重心位置間の距離を両眼視差の基線長さとした立体視画像を得ることができる。このようにして得られた左眼視用画像221および右眼視用画像222から周知の方法に基づいて、立体視画像を得ることができる。なお、右眼視用画像データと左眼視用画像データとを合成することにより平面画像2次元画像すなわち、立体視画像ではない画像を得ることができる。このように、第3偏光子131を通過して撮像素子140に到達した第1通過光により、撮像素子140は、右眼視用画像データを得るための電気信号を生成する。また、第4偏光子132を通過して撮像素子140に到達した第2通過光により、撮像素子140は、左眼視用画像データを得るための電気信号を生成する。撮像素子140は、これらの電気信号を、同時または時系列で交互に出力する。画像処理部170は、出力された電気信号撮像素子140から出力された左眼視用画像データおよび右眼視用画像データを得るための電気信号に対して、画像処理を施す。そして、画像処理部170は、その画像処理が施された画像データを左眼視用画像データおよび右眼視用画像データとして記憶部180に記録する。ここで、上述した左眼視用画像および右眼視用画像は、水平方向に沿って歯抜け状態で生成されるため、この状態では、立体視画像を適切に表示することができない。そこで、画像処理部170は、立体視画像を適切に表示するための左眼視用画像および右眼視用画像を生成するため、電気信号に対してデモザイク処理を施すとともに、補間処理例えば、超解像処理に基づく補間処理を行う。これにより、画像処理部170は、立体視画像を適切に表示するための左眼視用画像および右眼視用画像を生成することができる。この補間処理の例を図5に示す。また、例えば、画像処理部170は、左眼視用画像データおよび右眼視用画像データに基づいて、他の画像処理を行うことができる。例えば、ステレオマッチングによりデイスパリティマップDisparityMapを生成する視差検出技術、そのデイスパリティマップに基づいて、視差を制御する視差制御技術を用いて視差の強調や適切化を図ることができる。[デモザイク処理例]図5は、本発明の第1の実施の形態における画像処理部170による画像処理デモザイク処理を模式的に示す図である。図5では、ベイヤ配列を有する撮像素子140を構成する各画素のうち、左眼視用画像におけるG画素に関する信号値を生成する例について説明する。なお、ホワイトバランス調整、露出、コントラスト、彩度、シャープネス等の画質調整、カラーマネジメントその他画像信号処理、ソフトウエア処理、フォーマット変換等については、一般的なデジタル画像処理と共通であるため、説明を省略する。通常のデモザイク処理では、例えば、近傍の同一色の画素の電気信号の平均値が用いられる。しかしながら、本発明の第1の実施の形態では、右眼視用画像データを生成するための画素群画素群の列と、左眼視用画像データを生成するための画素群画素群の列とが交互に繰り返されている。このため、通常のデモザイク処理と同様に、近傍の値を用いると、本来の画像データが得られなくなるおそれがある。そこで、本発明の第1の実施の形態では、参照される画素の電気信号が左眼視用画像データおよび右眼視用画像データの何れに相当するものであるかを考慮してデモザイク処理を行う。ここで、図5において、各画素に対応する矩形内には、画素の種類G、R、Bと、画素の位置i,jとを付して示す。なお、画素の位置i,jは、X軸方向における識別番号図6の上側に示すと、Y軸方向における識別番号図6の左側に示すとにより示す。また、図5に示すベイヤ配列において、太線で囲まれている画素250位置4,4は、R画素であるものとする。例えば、画素250に相当するG画素信号値gを生成する場合には、次の式1により表される演算を行う。g4,4=g3,4g4,5g5,4g4,1×W3/3.0W3...式1ここで、式1の左辺のgi,jは、画素の位置i,jにおけるG画素信号値を意味する。また、右辺のgi,jは、画素の位置i,jにおけるG画素の電気信号の値を意味する。さらに、右辺の分母の3.0は、注目画素画素250位置4,4に隣接する3つのG画素位置3,4、位置4,5、位置5,4の距離W1に関する重みを示す値である。すなわち、右辺の分母の3.0は、3つのG画素位置3,4、位置4,5、位置5,4の距離W1をそれぞれ所定値例えば、1.0とする場合において、その逆数を重みとしてそれら重みの総和に対応するものである。なお、図5では、注目画素に隣接する3つのG画素参照画素と、3画素分だけ離れているG画素参照画素とを点線の矩形で囲んで示す。また、右辺の分母、分子のW3は、3画素分だけ離れているG画素位置4,1の電気信号の値に対する重みを示す値である。この例では、1/3である。ここで、式1を一般化すると、次の式2および式3のようになる。なお、式2は、iが偶数の場合における信号値R画素の位置に相当するG画素の信号値を算出する場合に用いる式である。また、式3は、iが奇数の場合における信号値B画素の位置に相当するG画素の信号値を算出する場合に用いる式である。gi,j=gi-1,j×W1gi,j1×W1gi1,j×W1gi,j-3×W3/W1×3.0W3...式2gi,j=gi-1,j×W1gi,j1×W1gi-1,j×W1gi,j3×W3/W1×3.0W3...式3ここで、例えば、W1=1.0、W3=1/3とすることができる。なお、この例では、R画素の位置におけるG画素信号値を生成する例を示したが、他の画素信号値を生成する場合についても同様にデモザイク処理を行うことができる。このように、デモザイク処理により各画素の位置における画素の信号値を得ることができるが、この段階では、上述したとおり、一種、歯抜け状態となっている。そのため、画素の信号値が存在しない領域に対して、画素の信号値を補間処理により生成する必要がある。この補間方法として、例えば、近傍の値の加算平均値を利用する方法等、周知の方法を挙げることができる。なお、この補間処理は、デモザイク処理と並行して行ってもよい。垂直方向においては、画質が完全に保持されているため、画像全体の解像度低下等の画質劣化は比較的少ない。[撮像素子および撮像素子偏光部の構成例]図6は、本発明の第1の実施の形態における撮像素子140および撮像素子偏光部130を模式的に示す図である。図7は、本発明の第1の実施の形態におけるワイヤグリッド偏光子300を形成する際における半導体プロセスの流れを簡略化して示す図である。図6aには、撮像素子140および撮像素子偏光部130の断面を簡略化して示す。図6bには、撮像素子偏光部130を構成するワイヤグリッド偏光子300第3偏光子131、第4偏光子132の配列の一部を簡略化して示す。撮像素子140は、基板シリコン半導体基板141と、光電変換素子142と、第1平坦化膜143と、カラーフィルタ144と、オンチップレンズ145とを備える。また、オンチップレンズ145には、第2平坦化膜146と、無機絶縁下地層147と、ワイヤグリッド偏光子300とが積層されている。光電変換素子142は、基板141に設けられている光電変換素子である。また、光電変換素子142の上には、第1平坦化膜143、カラーフィルタ144、オンチップレンズ145、第2平坦化膜146、無機絶縁下地層147およびワイヤグリッド偏光子300が積層されている。また、ワイヤグリッド偏光子300が、第3偏光子131および第4偏光子132のそれぞれを構成する。なお、オンチップレンズ、カラーフィルタおよびワイヤグリッド偏光子の積層順は、適宜変更することができる。オンチップレンズ145は、オンチップレンズ145上の第2平坦化膜146により平坦化され、その上にワイヤグリッド偏光子300を形成するためのWGP加工ストッパ膜無機絶縁下地層147を成膜する。ワイヤグリッド偏光子300は、WGP加工ストッパ膜上に半導体工程のアルミ微細加工プロセスにより形成することができる。このWGP形成半導体プロセス例については、図7aおよびbに示す。また、ワイヤグリッド偏光子300を構成するワイヤ310は、例えば、アルミニウムAlまたはアルミニウム合金により構成される。なお、ワイヤ310のピッチ、ワイヤ310のDuty=ワイヤ幅/ピッチ、ワイヤ310の高さ等については、図13乃至図16を参照して詳細に説明する。図6bでは、基本ブロック図3に示す2画素水平方向×2画素垂直方向の画素群に対応する領域を実線の正方形で示す。また、ワイヤ310を水平方向または垂直方向に延びる長方形で示す。すなわち、ワイヤグリッド偏光子300を構成する複数のワイヤ310の延びる方向は、水平方向または垂直方向と平行である。具体的には、第3偏光子131を構成するワイヤグリッド偏光子301については、ワイヤ311の延びる方向が垂直方向と平行である。また、第4偏光子132を構成するワイヤグリッド偏光子302については、ワイヤ312の延びる方向が水平方向と平行である。なお、ワイヤ310の延びる方向が、ワイヤグリッド偏光子300における光吸収軸となり、ワイヤ310の延びる方向と直交する方向がワイヤグリッド偏光子300における光透過軸となる。[立体視画像の生成例]ここで、立体視画像を記録する場合について説明する。立体視画像は、上述したように、複数の画像例えば、左眼視用画像および右眼視用画像により構成されるため、平面画像いわゆる、2D画像の記録フォーマット伝送フォーマットにより記録する場合には、複数の画像をそのままのサイズでは取り扱えない。このため、それらの記録フォーマットにより記憶する場合には、画像信号について間引き処理や圧縮処理を行うことにより、複数の画像を1枚の画像として取り扱うことにより記録することが多い。ここで、記録フォーマットとして、サイドバイサイド方式、トップアンドボトム方式、ラインバイライン方式、チェッカーボード方式、フレームシーケンシャル方式、L視差方式が知られている。これらの記録フォーマットのうち、サイドバイサイド方式、トップアンドボトム方式、ラインバイライン方式、チェッカーボード方式では、左右の画像信号のうち、半分の画像データを失うが、従来の画像サイズに収めることができる。このため、従来の放送網等で広く使用されている。また、サイドバイサイド方式は、CSCommunicationsSatelliteデジタル放送やBSBroadcastingSatelliteデジタル放送等にも採用されている。すなわち、サイドバイサイド方式は、3D映像の伝送方式として最も普及している方式である。また、フレームシーケンシャル方式、L視差方式は、高画質であるが、フルHDfullhighdefinitionのサイズを超えてしまうため、これから登場すると想定される再生装置と表示機器間等で採用される見込みである。そこで、本発明の第1の実施の形態では、撮像素子140により生成される画像データをサイドバイサイド方式により記録する例を示す。図8は、本発明の第1の実施の形態における画像処理部170により記録対象画像を生成する際における画像処理方法の一例を模式的に示す図である。図8aでは、RAWデータ400から記録対象画像データ410を生成する場合における画像処理方法の一例を示す。ここで、RAWデータ400を構成する矩形のうち、白抜きの矩形は、第1偏光子121および第3偏光子131を通過した光により生成される画像データ水平方向の2画素分の画像データを示す。また、RAWデータ400を構成する矩形のうち、内部に斜線を付した矩形は、第2偏光子122および第4偏光子132を通過した光により生成される画像データ水平方向の2画素分の画像データを示す。また、図8では、説明の容易のため、水平方向におけるライン白抜きの矩形、内部に斜線を付した矩形の数を少なくして示す。図8aの矢印に示すように、画像処理部170は、撮像素子140より読み出された画像信号画像データを、2画素ライン毎に並び替えてサイドバイサイド方式の画像データ記録対象画像データ410に変換する。すなわち、瞳の右側と左側を透過する画像毎に画像データが並び替えられ、図8bに示す記録対象画像データ410が生成される。なお、これ以降の画像処理については、通常のフルHD画像として扱うことが可能である。このため、これ以降の画像処理については説明を省略する。図9は、本発明の第1の実施の形態における画像処理部170により生成される記録対象画像データ430と、表示対象画像となる立体視画像440との関係を模式的に示す図である。図9aには、撮像素子140により生成されたRAWデータ420を模式的に示す。ここで、RAWデータ420を構成する矩形は、瞳偏光部120および撮像素子偏光部130を通過した光により生成される画像データであり、その矩形内には、識別番号1乃至10を示す。図9bには、RAWデータ420がサイドバイサイド方式に変換された画像データ記録対象画像データ430を模式的に示す。なお、RAWデータ420から記録対象画像データ430への変換方法については、図8aに示す変換方法と同一であるため、ここでの説明を省略する。このように、本発明の第1の実施の形態では、RAWデータ420からサイドバイサイド方式の画像データ記録対象画像データ430に変換する際に、垂直方向の画素群2ラインのデータを入れ替えるのみでよいため、垂直方向の解像度が維持される。ここで、撮像素子偏光部における各偏光子水平方向のラインを垂直方向に交互に配置する場合や、撮像素子偏光部における各偏光子を市松模様に配置する場合において、サイドバイサイド方式により画像データを記録する場合を想定する。これらの場合には、垂直方向および水平方向の解像度が、それぞれ1/2以上劣化する。これに対して、本発明の第1の実施の形態では、水平方向の解像度は1/2に劣化するが、垂直方向の解像度については劣化が生じない。このため、サイドバイサイド方式への変換に起因する画像の劣化すなわち、水平方向および垂直方向の解像度の1/2以上の劣化を防止することができる。このように立体視画像を記録することにより、撮像素子偏光部における各偏光子水平方向のラインを垂直方向に交互に配置する場合等と比較して、被写体の細部の描写を細かく表現することができる。すなわち、撮像素子偏光部130における第3偏光子131および第4偏光子132垂直方向のラインを水平方向に交互に配置することにより、垂直方向の解像度が劣化しないため、立体視画像の画質の劣化を低減させることができる。図9cには、図9bに示す記録対象画像データ430を表示する際に表示対象となる立体視画像440を模式的に示す。立体視画像440は、左眼視用画像441および右眼視用画像442により構成されている。ここで、点線で示す矩形に対応する領域識別番号1乃至10が内部に付されていない領域については、その再生時に補間処理等が行われる。そして、補間処理後の立体視画像が表示される。このように、画像処理部170は、撮像素子140により生成される画像データのうち、第1偏光子121および第3偏光子131を通過した光第1通過光に基づいて生成される画像データを第1画像データ右眼視用画像データとする。また、画像処理部170は、撮像素子140により生成される画像データのうち、第2偏光子122および第4偏光子132を通過した第2通過光に基づいて生成される画像データを第2画像データ左眼視用画像データとする。なお、第1画像データおよび第2画像データは、立体視画像を表示するための画像データである。また、画像処理部170は、撮像素子140により生成された画像データを、第3偏光子131および第4偏光子132に対応する第2方向垂直方向Y軸方向のライン単位で並び替えることにより、第1画像データおよび第2画像データを生成する。また、画像処理部170は、所定の記録フォーマット例えば、サイドバイサイド方式により記憶部180に記録するための画像データとして第1画像データおよび第2画像データを生成する。なお、この例では、撮像素子140から読み出された画像信号を並び替えることにより、記録対象画像データを生成する例を示したが、他の画像変換方法を用いるようにしてもよい。例えば、撮像素子140から画像信号を読み出す際に、立体視画像を構成する一方の画像例えば、左眼視用画像の各ラインを2画素単位で順次読み出した後に、他方の画像例えば、右眼視用画像の各ラインを2画素単位で順次読み出すようにしてもよい。そして、読み出された画像データを用いて、サイドバイサイド方式の画像データを生成することができる。すなわち、画像処理部170は、撮像素子140により生成された画像データのうち、第3偏光子131に対応する第2方向のライン単位で順次読み出された画像データを第1画像データとすることができる。また、画像処理部170は、撮像素子140により生成された画像データのうち、第4偏光子132に対応する第2方向のライン単位で順次読み出された画像データを第2画像データとすることができる。[撮像素子における偏光子の配列例]近年の撮像素子イメージセンサは多画素化が進み、1000万画素以上の撮像素子が開発されている。しかしながら、動画として扱われる画素数は、フルHDで約200万画素であり、通常は動画として扱う場合は隣接する画素を加算して使用することが多い。このため、このような多画素の撮像素子には、予め加算する画素数に応じてベイヤ配列×NNは、1以上の整数の割合で撮像素子に偏光子を配置しておくことができる。この配置例を図10に示す。図10は、本発明の第1の実施の形態における撮像素子偏光部130を構成する各偏光子の配置の変形例を示す図である。図10に示す例では、画素加算する撮像素子800に適用する場合における偏光子の配置例を示す。図10に示す例は、水平方向において、基本ブロック図3に示す2画素水平方向×2画素垂直方向の画素群×2の割合で、多画素の撮像素子800に偏光子第3偏光子131、第4偏光子132を配置する例である。なお、図10では、図3bと同様に、撮像素子800における各画素の全部ただし、一部を省略を示す。また、図10では、第3偏光子131および第4偏光子132が配置される撮像素子800における配置を、各図における上側に示す文字第3偏光子131および第4偏光子132により特定する。なお、図10では、撮像素子800が800万画素である場合を例にして示す。このように、水平方向においてN個の画素ただし、N=2nnは1乃至5の自然数からなる垂直ライン画素群に対して、1つの第3偏光子131および第4領域を配置することができる。すなわち、第3偏光子131および第4偏光子132は、例えば、撮像素子140における第1方向の2画素分の第2方向のラインを配列単位として複数の配列単位毎に交互に配置される。また、画像処理部170は、撮像素子140により生成された画像データについて第3偏光子131および第4偏光子132に対応する第2方向のライン単位で加算処理が行われた後に、その加算処理が行われた画像データを並び替える。そして、画像処理部170は、その加算処理が行われた画像データの並び替えにより第1画像データおよび第2画像データを生成することができる。なお、加算処理は、画像処理部170が行うようにしてもよく、撮像素子140が行うようにしてもよい。また、この例では、加算処理が行われた画像信号を並び替えることにより、記録対象画像データを生成する例を示したが、他の画像変換方法を用いるようにしてもよい。例えば、画像処理部170は、第3偏光子131に対応する第2方向のライン単位の画像データについて加算処理が行われた後に順次読み出された画像データその加算処理が行われた画像データを第1画像データとする。また、画像処理部170は、第4偏光子132に対応する第2方向のライン単位の画像データについて加算処理が行われた後に順次読み出された当該加算処理が行われた画像データその加算処理が行われた画像データを第2画像データとすることができる。[撮像装置の動作例]次に、本発明の第1の実施の形態における撮像装置100の動作について図面を参照して説明する。図11は、本発明の第1の実施の形態における撮像装置100による画像処理の処理手順の一例を示すフローチャートである。この例では、撮像素子140から全画素の画像データを取得して、画像処理部170が並び替えを行う例を示す。最初に、画像処理部170が、撮像素子140における全画素の画像データを取得するステップS901。なお、ステップS901は、特許請求の範囲に記載の取得手順の一例である。続いて、画像処理部170が、撮像素子140から取得された画像データについて並び替え処理を行うステップS902。すなわち、第3偏光子131および第4偏光子132のそれぞれに対応する画素群単位で、画像データを並び替え、サイドバイサイド方式の画像データを生成するステップS902。なお、ステップS902は、特許請求の範囲に記載の画像処理手順の一例である。続いて、画像処理部170が、サイドバイサイド方式の画像データについてデモザイク処理を行うステップS903。続いて、画像処理部170が、デモザイク処理が施されたサイドバイサイド方式の画像データを出力するステップS904。例えば、画像処理部170が、デモザイク処理が施されたサイドバイサイド方式の画像データを出力して記憶部180に記憶させるステップS904。図12は、本発明の第1の実施の形態における撮像装置100による画像処理の処理手順の一例を示すフローチャートである。この例では、立体視画像を構成する画像単位で画像データを撮像素子140から取得する例を示す。最初に、画像処理部170が、第3偏光子131に対応する画素群の画像データを取得するステップS911。続いて、画像処理部170が、第4偏光子132に対応する画素群の画像データを取得するステップS912。このように、立体視画像を構成する画像単位で画像データを撮像素子140から取得するため、画像データの並び替え処理を行わずに、画像処理部170は、サイドバイサイド方式の画像データを生成することができる。なお、ステップS911およびS912は、特許請求の範囲に記載の取得手順の一例である。また、ステップS911およびS912は、特許請求の範囲に記載の画像処理手順の一例である。続いて、画像処理部170が、サイドバイサイド方式の画像データについてデモザイク処理を行うステップS913。続いて、画像処理部170が、デモザイク処理が施されたサイドバイサイド方式の画像データを出力するステップS914。例えば、画像処理部170が、デモザイク処理が施されたサイドバイサイド方式の画像データを出力して記憶部180に記憶させるステップS914。このように、本発明の第1の実施の形態では、3D映像の伝送方式として最も一般的なサイドバイサイド方式を用いる。このため、撮像素子140により生成された画像データをサイドバイサイド方式の映像信号に変換する際に、その垂直解像度が維持される。このため、立体視画像の画質の劣化を低減させることができる。また、画像データを並び替えるのみの比較的簡単な信号処理により、立体視動画3D動画を生成することができる。また、左右画像を並べ替えた後は、通常のHD信号の処理アルゴリズムがそのまま使えるため、回路規模を少なくすることができる。[ワイヤグリッド偏光子例]ここで、本発明の第1の実施の形態におけるワイヤグリッド偏光子WGPの外観構造と動作の概略について説明する。例えば、メタルアルミニウムのリブを波長に対して十分小さい線幅数十nm、ピッチ百数十nmで形成すると、リブに平行な偏光成分は反射し、垂直な偏光成分は透過する優れた偏光分離特性を有する反射型偏光板になることが知られている。[ワイヤグリッド偏光子の形状と特性]図13は、本発明の第1の実施の形態におけるワイヤグリッド偏光子のピッチ、高さおよび幅の関係を簡略的に示す図である。図13では、ワイヤグリッド偏光子を構成するワイヤ310のピッチをPとし、その高さをHとし、その幅ワイヤ幅をDとして示す。図13に示す構造により、個別に水準振りをして指標の挙動を確認した例を以下では示す。ここで、クロストーク限界は10であることから、消光比を10以上とするワイヤグリッド偏光子の構造に必要な、ピッチ、Duty=ワイヤ幅/ピッチ、高さ、周期繰り返し数による消光比の変化を計算した結果の一例を図14および図15に示す。図14および図15は、本発明の第1の実施の形態におけるワイヤグリッド偏光子のピッチ、高さ、Duty=ワイヤ幅/ピッチ、長さを変化させた場合における計算例を示す図である。なお、図14a乃至bの左側には、消光比縦軸および波長横軸の関係を表すグラフを示し、図14a乃至bの右側には、透過率縦軸および波長横軸の関係を表すグラフを示す。図14aには、ピッチ振り結果を示す。具体的には、ワイヤ310のピッチPを150nmから300nmまで変化させた場合における計算例を示す。なお、図14aでは、ワイヤ310のピッチPを表す値150、175、200、250、300を各曲線に付して示す。図14aに示すように、消光比>10とするためには、ワイヤ310のピッチPは、200nm以下が必要である。図14bには、高さ振り結果を示す。具体的には、ワイヤ310の高さHを100nmから250nmまで変化させた場合における計算例を示す。なお、図14bでは、ワイヤ310の高さHを表す値100、150、200、250を各曲線に付して示す。図14bに示すように、ワイヤ310の高さHが高いほど消光比は高くなるが、透過率は低くなる。すなわち、ワイヤ310の高さHと、透過率とはトレードオフの関係となる。また、消光比>10とするためには、ワイヤ310の高さHとして50nm以上が必要である。図14cには、Duty振り結果を示す。具体的には、ワイヤ310のDuty=ワイヤ幅/ピッチを0.33から0.5まで変化させた場合における計算例を示す。なお、図14cでは、ワイヤ310のDuty=ワイヤ幅/ピッチを表す値0.33、0.5を各曲線に付して示す。図14cに示すように、ワイヤ310のDuty=ワイヤ幅/ピッチが大きいほど消光比は高くなるが、透過率は低くなる。すなわち、ワイヤ310のDuty=ワイヤ幅/ピッチと、透過率とはトレードオフの関係となる。また、消光比>10とするためには、Duty=ワイヤ幅/ピッチとして0.33以上が必要である。図15aおよびbには、独立する2本ピラー構造のアルミワイヤモデル格子形状モデルを簡略化して示す。すなわち、図15aには、アルミワイヤモデル格子形状モデル601および602の正面図を示す。また、図15bには、アルミワイヤモデル格子形状モデル601および602の側面図図15aの矢印603から見た場合における側面図を示す。図15cには、図15aおよびbに示すアルミワイヤモデル格子形状モデルについて、ワイヤの長さを1um乃至6um、無限長とした場合における消光比の計算結果を示す。具体的には、図15cには、消光比縦軸および波長横軸の関係ワイヤグリッド長さ=6、5、4、3、2、1、∞inf[um]とする場合を表すグラフを示す。また、図15cでは、ワイヤの長さを表す値6、5、4、3、2、1、infを各曲線に付して示す。このように、消光比は、ワイヤ本数よりもワイヤ長さに対しての依存性が大きく、その適用限界を決めると考えられる。このため、ワイヤ長さが短くなるほど、RED側で消光比が劣化し、長さ2umで消光比10以下に低下する。以上から、長さ方向には2um以上のワイヤが必要であり、並び方向にも同様のサイズが必要になると考えられる。このため、200nmピッチのワイヤの場合、周期構造としては10周期以上が適正であると考えられる。以上の結果から、ワイヤグリッド偏光子の構造について、配線材料をアルミニウムとする場合には、ピッチ200nm以下、Duty=ワイヤ幅/ピッチ1/3以上、高さ50nm以上とし、10周期以上配置されている格子を形成することが好ましい。[ワイヤグリッド偏光子と画素の位置関係例]図6aに示すように、ワイヤグリッド偏光子および撮像素子により構成される偏光イメージセンサは、光電変換素子、カラーフィルタ、オンチップレンズOCL、ワイヤグリッド偏光子等により構成される。ここで、OCL上の偏光子による散乱回折等により、隣接する画素に光が漏れこむ場合には、混色やゴースト、ノイズの原因となる。このため、絞りの位置で、偏光方向により分離された左右画像の光は、正しくOCL上の偏光子部分で偏光分離され、画素毎に正しく入射する必要がある。一般に光学部品としての偏光子は、常光と異常光の位相差をつけるため、ある程度の厚さが必要であり、市販品では、樹脂製のフィルムで厚さ数百ミクロン、方解石、雲母、水晶等の結晶材料でも数百ミクロンから数ミクロンの厚さがある。また、フォトニック結晶等の周期構造を持つ偏光子でも厚さ5umの例が報告されている。例えば、現在の2.5um以下の画素サイズのCMOSイメージセンサにおいて、これらの偏光子をOCL上に形成した場合、偏光方向を検出する偏光子の位置が画素面から、少なくとも5um以上の上空の位置にあることになる。このため、シリコンチップ面の2.5um毎に隣接する画素毎に、混ざることなく、正しく偏光を分離することは困難である。そこで、本発明の第1の実施の形態では、ワイヤグリッド偏光子を用いる。例えば、ワイヤグリッド偏光子を用いる場合には、厚さ数百ナノメートルで形成可能であり、OCL直上に設置することが可能となる。また、3um毎に区切ったエリアに、それぞれ直交するワイヤグリッドを形成し、TE波、TM波を当てた場合の偏光分離状態を計算した一例を図16に示す。図16は、本発明の第1の実施の形態におけるワイヤグリッド偏光子の光伝播状態のシミュレーションを示す図である。なお、図16では、縦軸、横軸の単位をumとする例を示す。図16に示すように、少なくとも厚さ方向0.75umの伝播領域において、偏光方向毎に分離された光は、混色回折散乱することなく隣接する画素エリアに到達する。このように、本発明の第1の実施の形態によれば、OCL直上に偏向子を形成することができるため、隣接する画素への光の漏れこみ混色が少なく、クリアな画像を生成することができる。また、ピッチ、高さ、Duty等の設計により任意の消光比での設計が可能となる。さらに、通常の半導体プロセスにおいて形成することができるため、イメージセンサプロセスとの親和性を高めることができる。また、任意の画素に任意の方向の偏光子を形成することができる。また、小型かつ単板すなわち、センサ一枚のイメージセンサを用いて立体視画像の撮像動作いわゆる、3D撮影が可能となる。また、画素毎に任意の偏光画像を生成することが可能となる。また、本発明の第1の実施の形態によれば、1組の瞳偏光部120、撮像素子偏光部130、1つのレンズ系110から撮像装置100が構成されているため、例えば左右に分離された2つの異なる画像を同時に生成させることができる。このため、単眼で簡素な構造を有し、構成部品の少ない、小型の撮像装置を提供することができる。すなわち、小型かつ低コストで立体視画像を生成することができる撮像装置を提供することができる。また、レンズおよび偏光フィルタの組合せを2組必要としないため、ズーム、絞り部、フォーカス、輻輳角等にズレや差異が生じることを防止することができる。また、両眼視差の基線長さが比較的短いため、自然な立体感を得ることができる。また、絞り部113の位置において、瞳偏光部120の挿抜を可能とする構造とすることにより、容易に平面画像2次元画像および立体視画像3D画像を得ることができる。また、時分割方式すなわち、絞り部の位置で左右シャッタ切り替えすることにより、時系列で交互に左右画像を撮像する方式と比較した場合には、同時刻で左右画像を撮像することができ、機構部品を少なくすることができる。また、イメージセンサへの機能の集積が可能となる。さらに、シャッタロス、時間周波数を上げることによる撮像処理の効率低下を防止し、明るい画像を生成することができる。<2.第2の実施の形態>本発明の第1の実施の形態では、1つのレンズ系を備える撮像装置により立体視画像を生成する撮像装置いわゆる、1眼式3Dカメラを例にして説明した。ただし、複数のレンズ系を備え、これらのレンズ系を用いて立体視画像を生成することが可能な撮像装置例えば、2眼式3Dカメラについても本発明の第1の実施の形態を適用するようにしてもよい。そこで、本発明の第2の実施の形態では、複数のレンズ系を備える撮像装置について説明する。[撮像装置の構成例]図17は、本発明の第2の実施の形態における撮像装置500の内部構成例を示す斜視図である。撮像装置500は、第1レンズ群511、513と、第2レンズ群512、514と、第1偏光子521と、第2偏光子522と、ミラー531乃至534と、撮像素子偏光部540と、撮像素子550とを備える。また、第1偏光子521は、被写体からの光を集光する第1光学系第1レンズ群511、513における絞り部図示せずの近傍に配置される。また、第2偏光子522は、被写体からの光を集光する第2光学系第2レンズ群512、514における絞り部図示せずの近傍に配置される。このように、撮像装置500は、2つのレンズ系第1レンズ群511、513、第2レンズ群512、514と、1つの撮像素子550とを備える撮像装置である。なお、第1偏光子521は、図1等に示す第1偏光子121に対応し、第2偏光子522は、図1等に示す第2偏光子122に対応する。また、撮像素子偏光部540は、図1等に示す撮像素子偏光部130に対応する。また、画像処理部等については、図1等に示す画像処理部170と略同様であるため、図示およびその説明を省略する。また、各種画像立体視画像等を扱うことが可能な撮像機能付の他の装置携帯電話機、ナビゲーションシステム、携帯型メディアプレイヤー等についても本発明の実施の形態を適用することができる。なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CDCompactDisc、MDMiniDisc、DVDDigitalVersatileDisk、メモリカード、ブルーレイディスクBlurayDisc登録商標等を用いることができる。"