同一シーンに対して互いに視差を有する複数の視差画像データを取得する画像データ取得部と、前記複数の視差画像データのうちの少なくとも一部の視差画像データに対して、他の視差画像データと大きさが異なる有効画像領域を定める領域制定部とを備える画像処理装置。前記領域制定部は、前記同一シーンに対応する画像領域において少なくとも一部の周辺領域を除外した領域を前記有効画像領域と定める請求項1に記載の画像処理装置。前記同一シーンに対応する画像領域の中心領域と前記周辺領域を結ぶ方向は、前記複数の視差画像データが視差を与える方向と平行である請求項2に記載の画像処理装置。前記領域制定部は、前記視差画像データの生成に用いられた撮影レンズのレンズ情報に基づいて前記有効画像領域を定める請求項1から3のいずれか1項に記載の画像処理装置。前記レンズ情報は、口径食に関する情報を含む請求項4に記載の画像処理装置。前記画像データ取得部は、前記レンズ情報を併せて取得する請求項4または5に記載の画像処理装置。前記領域制定部は、前記視差画像データの生成時における撮影条件に基づいて前記有効画像領域を定める請求項1から6のいずれか1項に記載の画像処理装置。前記撮影条件は、絞り値に関する条件を含む請求項7に記載の画像処理装置。前記画像データ取得部は、前記撮影条件に関する情報を併せて取得する請求項7または8に記載の画像処理装置。前記領域制定部が定めた前記有効画像領域を切り出して視差画像ファイルを生成するファイル生成部を備える請求項1から9のいずれか1項に記載の画像処理装置。前記複数の視差画像データは、ひとつの撮像素子が出力する視差画像信号から生成される請求項1から10のいずれか1項に記載の画像処理装置。前記撮像素子は、入射光を電気信号に光電変換する複数の光電変換素子を一組とする光電変換素子群が二次元的かつ周期的に配列され、前記光電変換素子群を構成する前記複数の光電変換素子のそれぞれに対応して設けられた開口マスクの開口が、前記入射光の断面領域に含まれる互いに異なる部分領域からの光束を通過させるように位置づけられた請求項11に記載の画像処理装置。同一シーンに対して互いに視差を有する複数の視差画像データを生成するための視差画像信号を出力可能な撮像素子と、前記複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、前記視差画像信号の出力を制御する出力制御部とを備える撮像装置。前記出力制御部は、前記同一シーンに対応する画像領域において少なくとも一部の周辺領域を除外した領域を前記有効画像領域と定め、前記視差画像信号の出力を制御する請求項13に記載の撮像装置。前記同一シーンに対応する画像領域の中心領域と前記周辺領域を結ぶ方向は、前記複数の視差画像データが視差を与える方向と平行である請求項14に記載の撮像装置。前記出力制御部は、撮影レンズのレンズ情報に基づいて前記有効画像領域を定め、前記視差画像信号の出力を制御する請求項13から15のいずれか1項に記載の撮像装置。前記レンズ情報は、口径食に関する情報を含む請求項16に記載の撮像装置。前記出力制御部は、撮影条件に基づいて前記有効画像領域を定め、前記視差画像信号の出力を制御する請求項13から17のいずれか1項に記載の撮像装置。前記撮影条件は、絞り値に関する条件を含む請求項18に記載の撮像装置。前記出力制御部が定める前記有効画像領域に基づいて撮影条件を制限し、撮影動作を制御する撮影制御部を備える請求項13から17のいずれか1項に記載の撮像装置。前記撮影制御部は、絞り値に関する条件を制限する請求項20に記載の撮像装置。前記撮像素子は、入射光を電気信号に光電変換する複数の光電変換素子を一組とする光電変換素子群が二次元的かつ周期的に配列され、前記光電変換素子群を構成する前記複数の光電変換素子のそれぞれに対応して設けられた開口マスクの開口が、前記入射光の断面領域に含まれる互いに異なる部分領域からの光束を通過させるように位置づけられた請求項13から21のいずれか1項に記載の撮像装置。同一シーンに対して互いに視差を有する複数の視差画像データを取得する画像データ取得ステップと、前記複数の視差画像データのうちの少なくとも一部の視差画像データに対して、他の視差画像データと大きさが異なる有効画像領域を定める領域制定ステップとをコンピュータに実行させる画像処理プログラム。同一シーンに対して互いに視差を有する複数の視差画像データを生成するための視差画像信号を出力可能な撮像素子を備える撮像装置の制御プログラムであって、前記複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、前記視差画像信号の出力を制御する出力制御ステップをコンピュータに実行させる撮像装置の制御プログラム。複数の視差画像をそれぞれ独立した撮像系で取得する場合であれば、口径食の影響を事実上無視し得る。しかし、ひとつの撮像系から一度の露光動作により複数の視差画像を生成するための画像信号を出力する撮像素子の場合、口径食に起因して瞳の周辺部を通過する光束が撮像素子の周辺部に到達しないという課題がある。本発明の第1の態様における画像処理装置は、同一シーンに対して互いに視差を有する複数の視差画像データを取得する画像データ取得部と、複数の視差画像データのうちの少なくとも一部の視差画像データに対して、他の視差画像データと大きさが異なる有効画像領域を定める領域制定部とを備える。本発明の第2の態様における撮像装置は、同一シーンに対して互いに視差を有する複数の視差画像データを生成するための視差画像信号を出力可能な撮像素子と、複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、視差画像信号の出力を制御する出力制御部とを備える。本発明の第3の態様における画像処理プログラムは、同一シーンに対して互いに視差を有する複数の視差画像データを取得する画像データ取得ステップと、複数の視差画像データのうちの少なくとも一部の視差画像データに対して、他の視差画像データと大きさが異なる有効画像領域を定める領域制定ステップとをコンピュータに実行させる。本発明の第4の態様における撮像装置の制御プログラムは、同一シーンに対して互いに視差を有する複数の視差画像データを生成するための視差画像信号を出力可能な撮像素子を備える撮像装置の制御プログラムであって、複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、視差画像信号の出力を制御する出力制御ステップをコンピュータに実行させる。なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、1つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。図1は、本発明の実施形態に係るデジタルカメラ10の構成を説明する図である。デジタルカメラ10は、撮影光学系としての絞り19および撮影レンズ20を備え、光軸21に沿って入射する被写体光束を撮像素子100へ導く。デジタルカメラ10は、撮像素子100、制御部201、A/D変換回路202、メモリ203、駆動部204、メモリカードIF207、操作部208、表示部209およびLCD駆動回路210を備える。なお、図示するように、撮像素子100へ向かう光軸21に平行な方向をZ軸プラス方向と定め、Z軸と直交する平面において紙面手前へ向かう方向をX軸プラス方向、紙面上方向をY軸プラス方向と定める。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。絞り19は、制御部201の制御に従って、設定された絞り値f値に対応する開口を形成する。撮影レンズ20は、複数の光学レンズ群から構成される。なお、図1では撮影レンズ20を説明の都合上、瞳近傍に配置された仮想的な1枚のレンズで代表して表している。シーンからの被写体光束は、撮影レンズ20を透過し、その一部が絞り19の開口に制限されて、撮像素子100へ到達する。撮像素子100は、撮影レンズ20の焦点面近傍に配置されている。撮像素子100は、二次元的に複数の光電変換素子が配列された、例えばCCD、CMOSセンサ等のイメージセンサである。撮像素子100は、駆動部204によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してA/D変換回路202へ出力する。A/D変換回路202は、撮像素子100が出力する画像信号をデジタル画像信号に変換してメモリ203へ出力する。制御部201の一部である画像処理部205は、メモリ203をワークスペースとして種々の画像処理を施し、画像データを生成する。例えば、JPEGファイル形式の画像データを生成する場合は、ホワイトバランス処理、ガンマ処理等を施した後に圧縮処理を実行する。生成された画像データは、LCD駆動回路210により表示信号に変換され、表示部209に表示される。また、メモリカードIF207に装着されているメモリカード220に記録される。一連の撮影シーケンスは、操作部208がユーザの操作を受け付けて、制御部201へ操作信号を出力することにより開始される。撮影シーケンスに付随するAF、AE等の各種動作は、演算部206の演算結果に応じて実行される。演算部206は、操作部208を介してユーザから指定された撮影条件に従って、演算を実行する。デジタルカメラ10は、通常の撮影モードの他に視差画像撮影モードを備える。ユーザは、これらのいずれかのモードを、メニュー画面が表示された表示部209を視認しながら、操作部208を操作することにより選択することができる。デジタルカメラ10は、システムメモリ221を備える。システムメモリ221は、電気的に消去記録可能な不揮発性メモリであり、例えばEEPROM登録商標等により構成される。システムメモリ221は、デジタルカメラ10の動作時に必要な定数、変数、プログラム等を、デジタルカメラ10の非動作時にも失われないように記録している。制御部201は、定数、変数、プログラム等を適宜メモリ203に展開して、デジタルカメラ10の制御に利用する。次に、撮像素子100の構成について詳細に説明する。図2は、本実施形態に係る撮像素子の断面を表す概略図である。図2aは、カラーフィルタ102と開口マスク103が別体で構成される撮像素子100の断面概略図である。また、図2bは、撮像素子100の変形例として、カラーフィルタ部122と開口マスク部123が一体的に構成されたスクリーンフィルタ121を備える撮像素子120の断面外略図である。図2aに示すように、撮像素子100は、被写体側から順に、マイクロレンズ101、カラーフィルタ102、開口マスク103、配線層105および光電変換素子108が配列されて構成されている。光電変換素子108は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子108は、基板109の表面に二次元的に複数配列されている。光電変換素子108により変換された画像信号、光電変換素子108を制御する制御信号等は、配線層105に設けられた配線106を介して送受信される。また、各光電変換素子108に一対一に対応して設けられた開口部104を有する開口マスク103が、配線層に接して設けられている。開口部104は、後述するように、対応する光電変換素子108ごとにシフトさせて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部104を備える開口マスク103の作用により、光電変換素子108が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子108上には、開口マスク103が存在しない。別言すれば、対応する光電変換素子108に対して入射する被写体光束を制限しない、つまり有効光束の全体を通過させる開口部104を有する開口マスク103が設けられているとも言える。視差を生じさせることはないが、実質的には配線106によって形成される開口107が入射する被写体光束を規定するので、配線106を、視差を生じさせない有効光束の全体を通過させる開口マスクと捉えることもできる。開口マスク103は、各光電変換素子108に対応して別個独立に配列しても良いし、カラーフィルタ102の製造プロセスと同様に複数の光電変換素子108に対して一括して形成しても良い。カラーフィルタ102は、開口マスク103上に設けられている。カラーフィルタ102は、各光電変換素子108に対して特定の波長帯域を透過させるように着色された、光電変換素子108のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも3種類のカラーフィルタが配列されれば良い。これらのカラーフィルタは、カラー画像を生成するための原色フィルタと言える。原色フィルタの組み合わせは、例えば赤色波長帯を透過させる赤フィルタ、緑色波長帯を透過させる緑フィルタ、および青色波長帯を透過させる青フィルタである。これらのカラーフィルタは、後述するように、光電変換素子108に対応して格子状に配列される。マイクロレンズ101は、カラーフィルタ102上に設けられている。マイクロレンズ101は、入射する被写体光束のより多くを光電変換素子108へ導くための集光レンズである。マイクロレンズ101は、光電変換素子108のそれぞれに一対一に対応して設けられている。マイクロレンズ101は、撮影レンズ20の瞳中心と光電変換素子108の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子108に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク103の開口部104の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。このように、各々の光電変換素子108に対応して一対一に設けられる開口マスク103、カラーフィルタ102およびマイクロレンズ101の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク103が設けられた画素を視差画素、視差を生じさせる開口マスク103が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子100の有効画素領域が24mm×16mm程度の場合、画素数は1200万程度に及ぶ。なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ101を設けなくても良い。また、裏面照射型イメージセンサの場合は、配線層105が光電変換素子108とは反対側に設けられる。カラーフィルタ102と開口マスク103の組み合わせには、さまざまなバリエーションが存在する。図2aにおいて、開口マスク103の開口部104に色成分を持たせれば、カラーフィルタ102と開口マスク103を一体的に形成することができる。また、特定の画素を被写体の輝度情報を取得する画素とする場合、その画素には、対応するカラーフィルタ102を設けなくても良い。あるいは、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタを配列しても良い。輝度情報を取得する画素を視差画素とする場合、つまり、視差画像を少なくとも一旦はモノクロ画像として出力するのであれば、図2bとして示す撮像素子120の構成を採用し得る。すなわち、カラーフィルタとして機能するカラーフィルタ部122と、開口部104を有する開口マスク部123とが一体的に構成されたスクリーンフィルタ121を、マイクロレンズ101と配線層105の間に配設することができる。スクリーンフィルタ121は、カラーフィルタ部122において例えば青緑赤の着色が施され、開口マスク部123において開口部104以外のマスク部分が黒の着色が施されて形成される。スクリーンフィルタ121を採用する撮像素子120は、撮像素子100に比較して、マイクロレンズ101から光電変換素子108までの距離が短いので、被写体光束の集光効率が高い。次に、開口マスク103の開口部104と、生じる視差の関係について説明する。図3は、撮像素子100の中央部付近の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ102の配色については後に言及を再開するまで考慮しない。撮像素子100がカラーフィルタ102を備えない場合は、モノクロイメージセンサとしてモノクロの視差画像を生成することができる。また、カラーフィルタ102の配色に言及しない以下の説明においては、同色のカラーフィルタ102を有する視差画素のみを寄せ集めたイメージセンサであると捉えることもできる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ102における隣接画素として考えても良い。図3に示すように、開口マスク103の開口部104は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部104は互いに変位した位置に設けられている。図の例においては、それぞれの画素に対する開口部104の位置として、互いに左右方向にシフトした6種類の開口マスク103が用意されている。そして、撮像素子100の全体は、紙面左側から右側へ徐々にシフトする開口部104をそれぞれ有する6つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。つまり、撮像素子100は、一組の光電変換素子群を含む繰り返しパターン110が、周期的かつ連続的に敷き詰められて構成されていると言える。なお、図の例においては、開口部104の形状を縦長の長方形とするが、これに限らない。画素の中心に対して偏位して、瞳上の特定の部分領域を見込む開口であれば、さまざまな形状を採用し得る。図4は、撮像素子100の中心部における視差画素と被写体の関係を説明する概念図である。特に図4aは、撮像素子100のうち撮影光軸21と直交する中心に配列されている繰り返しパターン110tの光電変換素子群が、撮影レンズ20に対して合焦位置に存在する被写体30を捉えた場合の様子を模式的に示す。図4bは、図4aに対応して、撮影レンズ20に対して非合焦位置に存在する被写体31を捉えた場合の関係を模式的に示している。まず、撮像素子100が合焦状態に存在する被写体30を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ20の瞳を通過して撮像素子100へ導かれるが、被写体光束が通過する全体の断面領域に対して、6つの部分領域Pa~Pfが規定されている。そして、例えば繰り返しパターン110tを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Pfから射出された被写体光束のみが光電変換素子108へ到達するように、開口マスク103の開口部104fの位置が定められている。同様に、右端の画素に向かって、部分領域Peに対応して開口部104eの位置が、部分領域Pdに対応して開口部104dの位置が、部分領域Pcに対応して開口部104cの位置が、部分領域Pbに対応して開口部104bの位置が、部分領域Paに対応して開口部104aの位置がそれぞれ定められている。別言すれば、例えば部分領域Pfと左端画素の相対的な位置関係によって定義される、部分領域Pfから射出される被写体光束の主光線Rfの傾きにより、開口部104fの位置が定められていると言っても良い。そして、合焦位置に存在する被写体30からの被写体光束を、開口部104fを介して光電変換素子108が受光する場合、その被写体光束は、点線で図示するように、光電変換素子108上で結像する。同様に、右端の画素に向かって、主光線Reの傾きにより開口部104eの位置が、主光線Rdの傾きにより開口部104dの位置が、主光線Rcの傾きにより開口部104cの位置が、主光線Rbの傾きにより開口部104bの位置が、主光線Raの傾きにより開口部104aの位置がそれぞれ定められていると言える。図4aで示すように、合焦位置に存在する被写体30のうち、光軸21と交差する被写体30上の微小領域Otから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110tを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110tを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa~Pfを介して、一つの微小領域Otから放射される光束を受光している。微小領域Otは、繰り返しパターン110tを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。次に、撮影レンズ20が非合焦状態に存在する被写体31を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体31からの被写体光束は、撮影レンズ20の瞳の6つの部分領域Pa~Pfを通過して、撮像素子100へ到達する。ただし、非合焦位置に存在する被写体31からの被写体光束は、光電変換素子108上ではなく他の位置で結像する。例えば、図4bに示すように、被写体31が被写体30よりも撮像素子100に対して遠い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31側で結像する。逆に、被写体31が被写体30よりも撮像素子100に対して近い位置に存在すると、被写体光束は、光電変換素子108よりも被写体31とは反対側で結像する。したがって、非合焦位置に存在する被写体31のうち、微小領域Otから放射される被写体光束は、6つの部分領域Pa~Pfのいずれを通過するかにより、異なる組の繰り返しパターン110における対応画素に到達する。例えば、部分領域Pdを通過した被写体光束は、図4bの拡大図に示すように、主光線Rdとして、繰り返しパターン110tに含まれる、開口部104dを有する光電変換素子108へ入射する。そして、微小領域Otから放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン110tに含まれる光電変換素子108へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子108へ入射する。換言すると、繰り返しパターン110tを構成する各光電変換素子108へ到達する被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部104dに対応する108へは主光線をRdとする被写体光束が入射し、他の開口部に対応する光電変換素子108へは主光線をRa、Rb、Rc、Re、Rfとする被写体光束が入射するが、これらの被写体光束は、被写体31の互いに異なる微小領域から放射された被写体光束である。図5は、撮像素子100の周辺部における視差画素と被写体の関係を説明する概念図である。図5における被写体30は、図4aと同様に、撮影レンズ20に対して合焦位置に存在する。ここで、後述する口径食の影響がないとすれば、合焦位置に存在する被写体30のうち、光軸21から離間した被写体30上の微小領域Ouから放射される光束は、撮影レンズ20の瞳を通過して、繰り返しパターン110uを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン110uを構成する光電変換素子群の各画素は、それぞれ6つの部分領域Pa~Pfを介して、一つの微小領域Ouから放射される光束を受光する。微小領域Ouも、微小領域Otと同様に、繰り返しパターン110uを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。つまり、被写体30が合焦位置に存在する限りは、撮像素子100上における繰り返しパターン110の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン110において、対応する画素同士は同じ部分領域からの被写体光束を受光している。例えば繰り返しパターン110t、110uのそれぞれの左端の画素開口部104fを有する視差画素は、同じ部分領域Pfからの被写体光束を受光している。撮影光軸21と直交する中心に配列されている繰り返しパターン110tにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置と、周辺部分に配列されている繰り返しパターン110uにおいて左端画素が部分領域Pfからの被写体光束を受光する開口部104fの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Pfからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、繰り返しパターン110tおよび110uにおける視差画素のそれぞれは、6種類の開口マスクの一つを備えると言える。撮像素子100の全体で見た場合、例えば、開口部104aに対応する光電変換素子108で捉えた被写体像Aと、開口部104dに対応する光電変換素子108で捉えた被写体像Dは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Paと部分領域Pdの距離により、方向と量が定まる。つまり、被写体像Aと被写体像Dは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部104aから104fに対応して、6つの視差像が形成されることになる。したがって、このように構成されたそれぞれの繰り返しパターン110において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、6つの部分領域Pa~Pfうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。ところで、撮影レンズ20の瞳に設定された特定の部分領域が、撮影レンズ20の光軸から遠い位置に存在すると、本来であれば撮像素子100の周辺部へ到達する一部の光束が、撮影レンズ20を支持する鏡筒枠などに遮断される。つまり、瞳の周辺領域に設定された部分領域は、いわゆる口径食の影響を受ける。図において、網点で示す瞳の周辺領域Vにおいては、微小領域Ouから放射される被写体光束が口径食により遮断される。したがって、周辺領域Vに包含される部分領域Paを通過するはずであった、主光線をRaとする被写体光束は、実際には開口部104aを有する視差画素には到達しない。このような関係は、図において微小領域Ouが光軸21に対して対称の位置に存在する場合も同様である。すなわち、微小領域OuがX軸プラス側に存在する場合は、周辺領域Vが部分領域Pfを包含する。すると、部分領域Pfを通過するはずであった、主光線をRfとする被写体光束は、撮像素子100のX軸マイナス側である周辺部に位置する、開口部104fを有する視差画素には到達しない。つまり、被写界の周辺部から撮影レンズ20へ入射する光束は、撮像素子100の周辺部において開口部104aまたは開口部104fを有する視差画素に到達しない。口径食の影響をどの程度受けるかは、撮影レンズ20の瞳において設定された部分領域の位置と、撮像素子100に対して当該部分領域からの光束を通過させる開口部104を有する視差画素が存在する位置等に依存する。具体的には、撮像素子100において中心部から離れるほど口径食の陰となる領域が大きくなるので、視差画素がより周辺部に存在するほど、開口部104の偏位量が小さい視差画素にまで被写体光束が届かなくなる。この関係を更に説明する。図6は、撮像素子100の各領域における繰り返しパターン110が口径食の影響を受ける様子を説明する説明図である。図6は、図3と同様に撮像素子100を撮影レンズ20側から見たときの様子を示すが、図3に対して開口マスク103の斜線とマイクロレンズ101の形状を省いている。開口部104がどのように口径食の影響を受けるかにより、撮像素子100の受光面は、縦ストライプ状に例えば5つの領域に分割される。中心部を含む縦ストライプ状の領域Aに配列されている繰り返しパターン110tにおいては、開口部104a~104fをそれぞれ有する6つの視差画素のいずれもが、部分的にも口径食の陰になることは無い。領域Aの右側X軸プラス側に隣接する領域BRに配列されている繰り返しパターン110uRにおいては、口径食の陰を網点で表すように、6つの視差画素のそれぞれ一部が口径食の陰になる。このとき、開口部104aは、口径食の陰と重なる。つまり、開口部104aに対応する光電変換素子108には、被写体光束が届かない。他方、開口部104b~104fは、口径食の陰とは重ならず、それぞれに対応する光電変換素子108は、各部分領域からの被写体光束を受光する。領域Aの左側X軸マイナス側に隣接する領域BLにおける現象は、領域BRでの現象に対して左右対称となる。すなわち、領域BLに配列されている繰り返しパターン110uLにおいては、開口部104fが、口径食の陰と重なる。つまり、開口部104fに対応する光電変換素子108には、被写体光束が届かない。他方、開口部104a~104eは、口径食の陰とは重ならず、それぞれに対応する光電変換素子108は、各部分領域からの被写体光束を受光する。領域BRの右側に隣接する領域CRに配列されている繰り返しパターン110vRにおいては、同様に網点で表すように、領域BRに比較してさらに広く、6つの視差画素のそれぞれ一部が口径食の陰になる。このとき、開口部104aと104bは、口径食の陰と重なる。つまり、開口部104aと104bに対応する光電変換素子108には、被写体光束が届かない。他方、開口部104c~104fは、口径食の陰とは重ならず、それぞれに対応する光電変換素子108は、各部分領域からの被写体光束を受光する。領域BLの左側に隣接する領域CLにおける現象は、領域CRでの現象に対して左右対称となる。すなわち、領域CLに配列されている繰り返しパターン110vLにおいては、開口部104fと104eが、口径食の陰と重なる。つまり、開口部104fと104eに対応する光電変換素子108には、被写体光束が届かない。他方、開口部104a~104dは、口径食の陰とは重ならず、それぞれに対応する光電変換素子108は、各部分領域からの被写体光束を受光する。口径食の影響をどの程度受けるかは、撮影レンズ20の瞳において設定された部分領域の位置等に加え、鏡筒形状、焦点距離など使用される撮影レンズ20の性質、更には、絞り値など撮影条件によっても異なる。したがって、図6で示した例は一例であり、いずれの開口部104が口径食の陰と重なるかは、これらの条件に依存する。しかし、一般的に、繰り返しパターン110に含まれる視差画素の開口部104のうち、瞳の周辺領域に設定された部分領域を見込む、偏位量が大きい開口部104ほど口径食の陰と重なる可能性が高いと言える。また、繰り返しパターン110が撮像素子100の受光面に対して周辺部に配列されるほど、口径食の陰と重なる開口部104を有する視差画素の数が増える傾向にあると言える。なお、このとき、撮像素子100の中心部の領域と周辺部の領域とを結ぶ方向は、開口部104の偏位方向図においてはX軸方向と平行である。すなわち、生成される複数の視差画像データが視差を与える方向と平行である。また、開口部104がどのように口径食の影響を受けるかにより撮像素子100の受光面を複数の領域に分割するのであれば、図6で示したように、開口部104の偏位方向に直交する方向で分割し得る。図7は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部104fに対応する視差画素の出力を集めて生成される視差画像データIm_fの生成の様子、開口部104eの出力による視差画像データIm_eの生成の様子、開口部104dの出力による視差画像データIm_dの生成の様子、開口部104cの出力による視差画像データIm_cの生成の様子、開口部104bの出力による視差画像データIm_bの生成の様子、開口部104aの出力による視差画像データIm_aの生成の様子を表す。まず開口部104fの出力による視差画像データIm_fの生成の様子について説明する。6つの視差画素を一組とする光電変換素子群から成る繰り返しパターン110は、横一列に配列されている。したがって、開口部104fを有する視差画素は、撮像素子100上において、左右方向に6画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。しかし、本実施形態における撮像素子100の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が1/6に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に6倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データIm_fを生成する。ただし、そもそも補間処理前の視差画像データが横方向に1/6に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。ここで、開口部104fは、図6で示したように、領域CLおよび領域BLに存在する場合に口径食の陰と重なるので、これらの開口部104fを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データIm_fは、撮像素子100の領域A、BRおよび領域CRに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域CLおよび領域BLに対応する画像領域は黒潰れとなる。そこで、下段の太枠で示すように、撮像素子100の領域A、領域BRおよび領域CRに対応する、被写体像が現れる画像領域を有効画像領域と定める。有効画像領域は、全画像領域に含まれる領域として座標値で定義され、視差画像データIm_fの付帯情報として記録される。あるいは、黒潰れとなった領域を切り落とし、定められた有効画像領域を残すクロップ処理を施して視差画像データIm_fを再構築しても良い。この場合は、クロップ処理前の画像領域に対する中心座標値を付帯情報として記録しておくと良い。次に開口部104eの出力による視差画像データIm_eの生成の様子について説明する。開口部104eを有する視差画素の出力を寄せ集めて配列し、横方向に6倍の補間処理を施して視差画像データIm_eを生成するまでは、視差画像データIm_fを生成する処理と同様である。ここで、開口部104eは、図6で示したように、領域CLに存在する場合に口径食の陰と重なるので、この開口部104eを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データIm_eは、撮像素子100の領域BL、領域A、領域BRおよび領域CRに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域CLに対応する画像領域は黒潰れとなる。そこで、下段の太枠で示すように、撮像素子100の領域BL、領域A、領域BRおよび領域CRに対応する、被写体像が現れる画像領域を有効画像領域と定める。次に開口部104dの出力による視差画像データIm_dの生成の様子について説明する。開口部104dを有する視差画素の出力を寄せ集めて配列し、横方向に6倍の補間処理を施して視差画像データIm_dを生成するまでは、視差画像データIm_fを生成する処理と同様である。また、開口部104dは、撮像素子100上のいずれの領域に存在したとしても口径食の陰とは重ならない。したがって、被写体像が現れる全画像領域を有効画像領域と定める。次に開口部104cの出力による視差画像データIm_cの生成の様子について説明する。開口部104cを有する視差画素の出力を寄せ集めて配列し、横方向に6倍の補間処理を施して視差画像データIm_cを生成するまでは、視差画像データIm_fを生成する処理と同様である。また、開口部104cは、撮像素子100上のいずれの領域に存在したとしても口径食の陰とは重ならない。したがって、被写体像が現れる全画像領域を有効画像領域と定める。次に開口部104bの出力による視差画像データIm_bの生成の様子について説明する。開口部104bを有する視差画素の出力を寄せ集めて配列し、横方向に6倍の補間処理を施して視差画像データIm_bを生成するまでは、視差画像データIm_fを生成する処理と同様である。ここで、開口部104bは、図6で示したように、領域CRに存在する場合に口径食の陰と重なるので、この開口部104bを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データIm_bは、撮像素子100の領域CL、領域BL、領域Aおよび領域BRに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域CRに対応する画像領域は黒潰れとなる。そこで、下段の太枠で示すように、撮像素子100の領域CL、領域BL、領域Aおよび領域BRに対応する、被写体像が現れる画像領域を有効画像領域と定める。次に開口部104aの出力による視差画像データIm_aの生成の様子について説明する。開口部104aを有する視差画素の出力を寄せ集めて配列し、横方向に6倍の補間処理を施して視差画像データIm_aを生成するまでは、視差画像データIm_fを生成する処理と同様である。ここで、開口部104aは、図6で示したように、領域BRおよび領域CRに存在する場合に口径食の陰と重なるので、これらの開口部104aを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データIm_aは、撮像素子100の領域CL、領域BLおよび領域Aに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域BRおよび領域CRに対応する画像領域は黒潰れとなる。そこで、下段の太枠で示すように、撮像素子100の領域CL、領域BLおよび領域Aに対応する、被写体像が現れる画像領域を有効画像領域と定める。以上のように、画像処理部205による画像処理により、横方向に視差を与える6つの視差画像データを生成することができる。上述の通り、それぞれの視差画像は、出力を寄せ集めた視差画素の撮像素子100上の配列に起因して、互いに画角が異なり得る。したがって、これらの視差画像データを3D表示装置で再生する場合、観察者は、被写体の中心付近で6視点の3D画像として視認し、その両側付近で4視点、さらに周辺部で2視点の3D画像として視認する。なお、3D表示装置は、それぞれの視差画像データに付帯情報として記録されている有効画像領域の情報を参照して、各々の視差画像を表示する。具体的には、3D表示装置は、有効画像領域の情報として含まれる座標情報を読み出して、視差画像間の相対的な位置合わせを行う。また、有効画像領域以外の領域を、例えば透明色として扱う、あるいは、他の視差画像により補間するなどの画像処理を施すこともできる。有効画像領域以外の領域が切り落とされている場合は、付帯情報として記録されている中心座標値により、視差画像間の相対的な位置合わせを行うことができる。また、切り落とされた領域に対しては、同様に透明化、補間処理などを行っても良い。上述の例では、横一列を繰り返しパターン110として周期的に配列される例を説明したが、繰り返しパターン110はこれに限らない。図8は、繰り返しパターン110の他の例を示す図である。図8aは、縦6画素を繰り返しパターン110とした例である。ただし、それぞれの開口部104は、紙面上端の視差画素から下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン110によっても、横方向に視差を与える6視点の視差画像を生成することができる。この場合は、図3の繰り返しパターン110に比較すると、縦方向の解像度を犠牲にする代わりに横方向の解像度を維持する繰り返しパターンであると言える。図8bは、斜め方向に隣接する6画素を繰り返しパターン110とした例である。それぞれの開口部104は、紙面左上端の視差画素から右下に向かって、紙面左側から右側へ徐々にシフトするように位置が定められている。このように配列された繰り返しパターン110によっても、横方向に視差を与える6視点の視差画像を生成することができる。この場合は、図3の繰り返しパターン110に比較すると、縦方向の解像度および横方向の解像度をある程度維持しつつ、視差画像の数を増やす繰り返しパターンであると言える。図3の繰り返しパターン110、および図6abの繰り返しパターン110をそれぞれ比較すると、いずれも6視点の視差画像を生成する場合において、視差画像でない全体から一枚の画像を出力する場合の解像度に対し、縦方向、横方向のいずれの方向の解像度を犠牲にするかの違いであると言える。図3の繰り返しパターン110の場合は、横方向の解像度を1/6とする構成である。図6aの繰り返しパターン110の場合は、縦方向の解像度を1/6とする構成である。また、図6bの繰り返しパターン110の場合は、縦方向を1/3、横方向を1/2とする構成である。いずれの場合も、一つのパターン内には、各画素に対応して開口部104a~104fが一つずつ設けられており、それぞれが対応する部分領域Pa~Pfのいずれかから被写体光束を受光するように構成されている。したがって、いずれの繰り返しパターン110であっても視差量は同等である。また、図6abの繰り返しパターン110における口径食が視差画素に与える影響は、図3の繰り返しパターン110と同様である。したがって、図7で説明した各処理を施せば、同様に有効画像領域が定められた6つの視差画像データを生成することができる。上述の例では、左右方向に視差を与える視差画像を生成する場合について説明したが、もちろん上下方向に視差を与える視差画像を生成することもできる。図9は、上下方向に視差を与える縦視差画像を出力する撮像素子100の各領域における繰り返しパターン110が口径食の影響を受ける様子を説明する説明図である。図9は、図3と同様に表した図である。撮像素子100の全体は、紙面上側から下側へ徐々にシフトする開口部104a~104fをそれぞれ有する6つの視差画素を一組の繰り返しパターン110とする光電変換素子群が、二次元的かつ周期的に配列されている。開口部104がどのように口径食の影響を受けるかにより、撮像素子100の受光面は、横ストライプ状に例えば3つの領域に分割される。中心部を含む横ストライプ状の領域Aに配列されている繰り返しパターン110tにおいては、開口部104a~104fをそれぞれ有する6つの視差画素のいずれもが、部分的にも口径食の陰になることは無い。領域Aの上側Y軸プラス側に隣接する領域BUに配列されている繰り返しパターン110uUにおいては、口径食の陰を網点で表すように、6つの視差画素のそれぞれ一部が口径食の陰になる。このとき、開口部104aは、口径食の陰と重なる。つまり、開口部104aに対応する光電変換素子108には、被写体光束が届かない。他方、開口部104b~104fは、口径食の陰とは重ならず、それぞれに対応する光電変換素子108は、各部分領域からの被写体光束を受光する。領域Aの下側Y軸マイナス側に隣接する領域BDにおける現象は、領域BUでの現象に対して上下対称となる。すなわち、領域BDに配列されている繰り返しパターン110uDにおいては、開口部104fが、口径食の陰と重なる。つまり、開口部104fに対応する光電変換素子108には、被写体光束が届かない。他方、開口部104a~104eは、口径食の陰とは重ならず、それぞれに対応する光電変換素子108は、各部分領域からの被写体光束を受光する。このような撮像素子100において、開口部104a~104fに対応する視差画素の出力をそれぞれ寄せ集めて図7の処理と同様の処理を施すと、互いに縦方向に視差を与える視差画像データIm_a~Im_fを生成することができる。ただし、開口部104aが領域BUに存在する場合に口径食の陰と重なるので、これらの開口部104aを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データIm_aは、撮像素子100の領域AおよびBDに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域BUに対応する画像領域は黒潰れとなる。したがって、視差画像データIm_aについては、撮像素子100の領域Aおよび領域BDに対応する、被写体像が現れる画像領域を有効画像領域と定める。同様に、開口部104fが領域BDに存在する場合に口径食の陰と重なるので、これらの開口部104fを有する視差画素は、被写体像に対応する画像信号を出力し得ない。つまり、生成される視差画像データIm_fは、撮像素子100の領域AおよびBUに対応する画像領域には撮影したシーンに対応する被写体像が現れるものの、領域BDに対応する画像領域は黒潰れとなる。したがって、視差画像データIm_fについては、撮像素子100の領域Aおよび領域BUに対応する、被写体像が現れる画像領域を有効画像領域と定める。開口部104b~104eについては口径食の陰と重なることが無いので、これらの画像信号から生成される視差画像データIm_b~Im_eについては、被写体像が現れる全画像領域を有効画像領域と定める。上述のように、口径食の影響をどの程度受けるかは、撮影レンズ20の瞳において設定された部分領域の位置等に加え、鏡筒形状、焦点距離など使用される撮影レンズ20の性質、更には、絞り値など撮影条件によっても異なる。そこで、デジタルカメラ10は、システムメモリ221に、装着され得る撮影レンズ20ごとに絞り値と有効画像領域を対応付ける有効画像領域設定テーブルを保持している。図10は、デジタルカメラ10が図3および図6を用いて説明した撮像素子100を備える場合の、有効画像領域設定テーブルを説明する概念図である。図は、例として焦点距離が50mmであって、設定可能な絞り値の範囲がf1.8~f22.0の撮影レンズ20についての有効画像領域設定テーブルの概念を表す。口径食の影響は、撮影時の絞り値が開放絞り値に近づくほど大きくなり、逆に、絞り値が大きくなるほど小さくなる。図は、例えば撮影時の絞り値がf4.0未満である場合に、視差画像データIm_fの有効画像領域が、撮像素子100の領域A、領域BRおよび領域CRに対応する画像領域であることを示す。そして、視差画像データIm_eの有効画像領域が、撮像素子100の領域BL、領域A、領域BRおよび領域CRに対応する画像領域であり、視差画像データIm_dおよびIm_cの有効画像領域が、撮像素子100の全領域に対応する画像領域であり、視差画像データIm_bの有効画像領域が、撮像素子100の領域CL、領域BL、領域Aおよび領域BRに対応する画像領域であり、視差画像データIm_aの有効画像領域が、撮像素子100の領域CL、領域BLおよび領域Aに対応する画像領域であることを示す。同様に、撮影時の絞り値がf4.0以上であってf8.0未満である場合に、視差画像データIm_fの有効画像領域が、撮像素子100の領域BL、領域A、領域BRおよび領域CRに対応する画像領域であることを示す。そして、視差画像データIm_e、Im_d、Im_cおよびIm_bの有効画像領域が、撮像素子100の全領域に対応する画像領域であり、視差画像データIm_aの有効画像領域が、撮像素子100の領域CL、領域BL、領域Aおよび領域BRに対応する画像領域であることを示す。さらに、撮影時の絞り値がf8.0以上である場合に、全ての視差画像データの有効画像領域が、撮像素子100の全領域に対応する画像領域であることを示す。画像処理部205は、装着された撮影レンズ20の情報を取得し、これに対応する有効画像領域設定テーブルをシステムメモリ211から読み出す。そして、撮影時に設定されていた撮影条件としての絞り値を有効画像領域設定テーブルに適用して、生成する各々の視差画像データに対して、有効画像領域を定める。なお、上述の例では、視差画像データの有効画像領域を視覚的に概念図で示したが、有効画像領域を撮像素子100が出力する全画像領域に対する座標値で定義すれば良い。また、上述の例では、焦点距離が50mmの単焦点レンズの場合を説明したが、例えば撮影レンズ20がズームレンズである場合、焦点距離ごとに口径食の影響が異なることに対応して、一定の焦点距離範囲ごとに有効画像領域設定テーブルを持つように構成しても良い。この場合、広角側の方が望遠側よりも口径食の影響が大きいので、広角側の焦点距離範囲を望遠側よりも狭く設定すると良い。例えば、28mm-135mmのズームレンズの場合、28mm-40mm、40mm-75mm、75mm-135mmのように焦点距離範囲を設定することができる。次に、カラーフィルタ102と視差画像について説明する。図11は、カラーフィルタ配列を説明する図である。図示するカラーフィルタ配列は、いわゆるベイヤー配列の4画素のうち右下画素を緑フィルタが割り当てられるG画素として維持する一方、左上画素をカラーフィルタが割り当てられないW画素に変更した配列である。右上画素に青色フィルタを割り当ててB画素とし、左下画素に赤色フィルタを割り当ててR画素とする配列は、ベイヤー配列と同様である。なお、W画素は、上述のように、可視光のおよそ全ての波長帯域を透過させるように、着色を施さない透明フィルタが配列されていても良い。ベイヤー配列および図11のようなカラーフィルタ配列など、いずれのカラーフィルタ配列を採用するにしても、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の組み合わせパターンが設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い2D画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる3D画像としては画質が低下する。逆に、視差画素の割合を増やせば、3D画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い2D画像が出力される。このようなトレードオフの関係において、何れの画素を視差画素とするか、あるいは視差なし画素とするかにより、様々な特徴を有する組み合わせパターンが設定される。例えば、視差なし画素が多く割り振られていれば高解像度の2D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、色ずれの少ない高画質の2D画像データとなる。視差画素の出力も利用して2D画像データを生成する場合、ずれた被写体像を周辺画素の出力を参照して補正する。したがって、例えば全部のR画素が視差画素であったとしても2D画像を生成することはできるものの、その画質は自ずと低下する。一方、視差画素が多く割り振られていれば高解像度の3D画像データとなり、RGBのいずれの画素に対しても均等に割り振られていれば、3D画像でありながら、色再現性の良い高品質のカラー画像データとなる。視差なし画素の出力も利用して3D画像データを生成する場合、視差のない被写体像から周辺の視差画素の出力を参照してずれた被写体像を生成する。したがって、例えば全部のR画素が視差なし画素であったとしてもカラーの3D画像を生成することはできるものの、やはりその品質は低下する。また、W画素を含むカラーフィルタ配列を採用すれば、撮像素子が出力するカラー情報の精度は若干低下するものの、W画素が受光する光量はカラーフィルタが設けられている場合に比較して多いので、精度の高い輝度情報を取得できる。W画素の出力を寄せ集めれば、モノクロ画像を形成することもできる。W画素を含むカラーフィルタ配列の場合、視差画素と視差なし画素の組み合わせパターンは、さらなるバリエーションが存在する。例えば、比較的暗い環境下で撮影された画像であっても、カラー画素から出力された画像に比較してW画素から出力された画像であれば、被写体像のコントラストが高い。そこで、W画素に視差画素を割り振れば、複数の視差画像間で行うマッチング処理において、精度の高い演算結果が期待できる。マッチング処理は、画像データに写り込む被写体像の距離情報を取得する処理の一環として実行される。したがって、2D画像の解像度および視差画像の画質への影響に加え、抽出される他の情報への利害得失も考慮して、視差画素と視差なし画素の組み合わせパターンが設定される。図12は、カラーフィルタ配列と視差画素の関係を示す図である。特に、図11のカラーフィルタ配列を採用する場合の、W画素と視差画素の配列の一例を示す。図の例においては、図11のカラーフィルタ配列の4画素が左右方向に6組続く24画素を組み合わせパターンとする。組み合わせパターンを構成するそれぞれのW画素において、左端に位置するW画素から右端に位置するW画素に向かって順に、開口部104f、104e、...104aを有する視差画素を割り当てる。このような配列において撮像素子100は、視差画像をモノクロ画像として出力し、2D画像をカラー画像として出力する。ここで、モノクロ画像としての視差画像の生成と、カラー画像としての2D画像の生成について説明する。図13は、視差画像と2D画像の生成過程を示す概念図である。図示するように、開口部104fを有する視差画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、Im_f画像データが生成される。一つの繰り返しパターン110に含まれる開口部104fを有する視差画素は一つであるので、Im_f画像データを形成する各々の開口部104fを有する視差画素は、それぞれ異なる繰り返しパターン110から寄せ集められていると言える。すなわち、寄せ集められたそれぞれの出力は、被写体の互いに異なる微小領域から放射された光が光電変換された結果であるので、Im_f画像データは、特定の視点f視点から被写体を捉えた一つの視差画像データとなる。そして、この視差画素は、W画素に割り振られているので、Im_f画像データは、カラー情報を持たず、モノクロ画像として生成される。同様に、開口部104e~104aを有する視差画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、Im_e画像データ~Im_a画像データが生成される。また、視差なし画素の出力が、撮像素子100上の相対的な位置関係を維持しながら寄せ集められて、2D画像データが生成される。このとき、W画素は視差画素であるので、視差なし画素のみで構成されるベイヤー配列からの出力に対して、左上画素の出力に相当する出力が欠落する。そこで、例えば、この欠落した出力の値として、G画素の出力値を代入する。つまり、G画素の出力で補間処理を行う。このように、補間処理を施せば、ベイヤー配列の出力に対する画像処理を採用して2D画像データを生成することができる。なお、以上の画像処理は、画像処理部205によって実行される。画像処理部205は、制御部201を介して撮像素子100から出力される画像信号を受け取り、上述のようにそれぞれの画素の出力ごとに分配して視差画像データおよび2D画像データを生成する。以上の実施形態においては、撮像素子100は、一組の光電変換素子群を含む繰り返しパターン110が、周期的かつ連続的に敷き詰められて構成されていると説明した。しかし、視差画素のそれぞれが被写体の離散的な微小領域を捉えて視差画像を出力すれば良いので、例えば、周期的な繰り返しパターン110の間に視差なし画素が連続していても良い。つまり、視差画素を含む繰り返しパターン110は、連続していなくても、周期的であれば視差画像を出力し得る。以上の実施形態においては、図10を用いて説明したように、画像処理部205は、撮影時に設定された絞り値に従って各視差画像データの有効画像領域を定めた。すなわち、ユーザは、装着した撮影レンズ20および撮影時に設定した絞り値等の結果として、シーンにおけるどの領域にいくつの視差画像を得たのかを撮影後に知ることになる。例えば図10の例において、絞り値をf2.0に設定して撮影した場合、撮像素子100の領域Aに対応するシーンについては、視差画像データIm_a~Im_fの6視差画像を得る。撮像素子100の領域BLおよび領域BRに対応するシーンについては、領域Aに対してそれぞれ視差画像データIm_f、Im_aが欠けるので、得られる視差画像数は5視差画像となる。撮像素子100の領域CLおよび領域CRに対応するシーンについては、領域Aに対してそれぞれ視差画像データIm_fとIm_e、Im_bとIm_aが欠けるので、得られる視差画像数は4視差画像となる。ユーザは、シーンにおけるどの領域にいくつの視差画像が得られるのかを、撮影前に決めておきたい場合がある。ユーザのこのような希望に応えるべく、操作部208を介してユーザの希望を受け入れ、そのような視差画像数となるように、絞り値、焦点距離等を制限して撮影シーケンスを実行するようにデジタルカメラ10を構成しても良い。図14は、視差画像数を設定するメニュー画面の例である。ユーザは、撮影指示をデジタルカメラ10に与える前に、表示部209に視差画像数設定画面を呼び出す。そして、擬似的なシーンに対して重畳された太枠を、操作部208の十字ボタンを操作することにより左右方向に拡縮して、6視差を与えるシーン領域を決定する。決定ボタンを押すと、太枠が5視差を与える領域の大きさに切り替わり、ユーザは、同様に5視差を与える領域を決定できる。このような操作を繰り返して、ユーザは、撮影前に、シーンに対する各領域の出力視差画像数を決定することができる。制御部201は、ユーザにより設定された視差画像数に対して、システムメモリ211に記憶された有効画像領域設定テーブルを参照し、これを満たす制限絞り値を決定する。例えば、図示するように、中央領域の視差画像数が6、その両隣の周辺領域の視差画像数が5と設定された場合、制御部201は、図10の有効画像領域設定テーブルを参照して、制限絞り値をf4.0以上f8.0未満と決定する。表示部209は、この制限絞り値を表示する。そして、制御部201は、撮影シーケンスを実行するにあたり、撮影制御部として、絞り値をこの範囲に制限して露出値を決定する。なお、この例において、ユーザが太枠を擬似的なシーン全体を含むように設定した場合は、制御部201は、シーンの全体が6視差となるように、図10の有効画像領域設定テーブルを参照して、制限絞り値をf8.0以上と決定する。なお、図においては、中央領域の視差画像数を最大の6としたが、この数以下であれば、視差画像数もユーザが変更できるように構成しても良い。以上の実施形態では、例えば図6において、撮像素子100を6つの領域に分けたが、もちろんこの数に限定されるわけではない。撮像素子100をどのように領域分割するかは、繰り返しパターン110を構成する開口部104の数、撮影条件、撮影レンズ20とこれを支持する鏡筒の相対的な位置関係等に基づいて決定される。したがって、各領域の境界は、図6および図9で示したような、撮像素子の長辺あるいは短辺に平行な直線でなくてもよく、口径食に合わせた曲線であっても良い。以上の実施形態においては、デジタルカメラ10が備える制御部201および制御部201が含む画像処理部205が、複数の視差画像データを取得する画像データ取得部および有効画像領域を定める領域制定部として機能する。この場合、撮像素子100は、同一シーンに対して互いに視差を有する複数の視差画像データを生成するための視差画像信号を出力可能な撮像素子として機能する。上述のデジタルカメラ10は、一つの素子として視差画像信号を出力する撮像素子100を採用したが、例えば、撮影レンズ20を通過した被写体光束を、ハーフミラー等で分割して、複数の撮像素子で受光するように構成しても良い。また、以上の実施形態においては、デジタルカメラ10を画像処理装置そのものとして説明したが、システムの構成はこれに限らない。撮像装置としてのデジタルカメラ10を、口径食の影響によって黒潰れする画像領域を含む視差画像データを生成させるに留め、外部のパーソナルコンピュータなどを画像処理装置として有効画像領域の設定を行わせても良い。この場合、画像処理装置としてのパーソナルコンピュータは、画像データ取得部を介してデジタルカメラ10が生成した視差画像データを受け取り、領域制定部として機能するCPUが、付随して受け取る撮像素子100の情報等に基づいて有効画像領域を定める。また、パーソナルコンピュータを画像処理装置として機能させる場合は、取得する視差画像データの生成に用いられた撮影レンズ20のレンズ情報、特に口径食に関する情報を併せてデジタルカメラ10から取得すると良い。口径食に関する情報としては、絞り値と各画素に対応する陰領域の情報でも良いし、図10を用いて説明した有効画像領域設定テーブルであっても良い。また、パーソナルコンピュータを画像処理装置として機能させる場合は、取得する視差画像データの生成時における撮影条件、特に絞り値に関する条件を併せてデジタルカメラ10から取得すると良い。パーソナルコンピュータのCPUはこれらの条件に基づいて、より正確に有効画像領域を定めることができる。なお、デジタルカメラ10がレンズ一体型の撮像装置であったり、視差画像データを取得する場合の撮影条件が固定的であったりする場合は、パーソナルコンピュータは、デジタルカメラ10から各種情報を取得しなくても良い。このような場合は、パーソナルコンピュータは、内部メモリに予めこららの情報を保持しておけば良い。上記の実施形態においては、画像処理部205が、生成した視差画像データの各々に対して有効画像領域を定めた。しかし、有効画像領域を、撮像素子100から出力される視差画像信号の段階で定めることもできる。すなわち、制御部201は、撮影時の絞り値等を有効画像領域設定テーブルに当てはめ、撮像素子100が有効画像領域を形成する視差画像信号のみを出力するように、駆動部204を駆動させる。より具体的には、制御部201は、口径食の影響により黒潰れしていると予測される画像領域に対応する視差画像信号を読み飛ばす。このような構成により、複数の視差画像データのうちの少なくとも一部の視差画像データが、他の視差画像データと大きさが異なる有効画像領域を有するように、視差画像信号を出力段階で制御することができる。以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。