"瞳分割により視点の異なる複数の画像を表わす画像データを出力する固体電子撮像装置,上記固体電子撮像装置の受光面前方に設けられ,上記固体電子撮像装置の受光面に入射する光束の光量を調整する絞り,第1の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像において視差が生じる開放量となるように上記絞りを制御し,かつ第2の時点で上記第1の時点における開放量よりも通過光量が少なくなる小さい開放量となるように上記絞りを制御する絞り制御装置,上記第1の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データを用いて複数の画像の視差情報を算出する視差情報算出手段,上記第2の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データから平面画像を表わす平面画像データを生成する平面画像データ生成手段,および上記視差情報算出手段によって生成された視差情報および上記平面画像データ生成手段によって生成された平面画像データを記録媒体に記録する記録制御手段,を備えた立体撮像装置。上記平面画像データ生成手段によって生成された平面画像データと上記視差情報算出手段によって算出された視差情報とから,立体視可能な立体画像を表わす立体画像データを生成する立体画像データ生成手段をさらに備え,上記記録制御手段は,上記平面画像データと上記視差情報とに代えて,上記立体画像データ生成手段によって生成された立体画像データを記録媒体に記録する,あるいは上記平面画像データと上記視差情報とに加えて上記立体画像データ生成手段によって生成された立体画像データを記録媒体に記録するものである,請求の範囲第1項に記載の立体撮像装置。上記立体画像データ生成手段は,上記視差情報算出手段によって算出された視差情報から上記平面画像データ生成手段において生成された平面画像データによって表される平面画像について,立体撮像装置から平面画像に含まれる被写体までの距離情報を算出する距離情報算出手段を備え,上記距離情報算出手段によって算出された距離情報と上記平面画像データ生成手段によって生成された平面画像データとから立体画像データを生成するものである,請求の範囲第2項に記載の立体撮像装置。上記立体画像データ生成手段は,上記距離情報算出手段によって算出された,平面画像についての距離情報を補正する距離情報補正手段を備え,上記距離情報補正手段によって補正された距離情報と上記平面画像データ生成手段によって生成された平面画像データとから立体画像データを生成するものである,請求の範囲第3項に記載の立体撮像装置。上記立体画像データ生成手段は,上記平面画像データ生成手段によって生成された平面画像のうち,合焦している被写体部分から所定の距離だけ離れている被写体部分を表わす領域をぼかすぼかし処理を行うぼかし処理手段を備え,上記ぼかし処理手段によってぼかし処理が行われた平面画像を表わす平面画像データと上記距離算出手段によって算出された距離情報とから立体画像データを生成するものである,請求の範囲第3項に記載の立体撮像装置。上記ぼかし処理手段は,平面画像のうちユーザにより指定された領域についてぼかし処理を行うものである,請求の範囲第5項に記載の立体撮像装置。第2の時点は,ユーザにより平面画像の撮像指示が入力された時点であり,第1の時点は,上記第2の時点よりも前の時点である,請求の範囲第1項に記載の立体撮像装置。第2の時点は,ユーザにより平面画像の撮像指示が入力された時点であり,第1の時点は,上記第2の時点よりも後の時点である,請求の範囲第1項に記載の立体撮像装置。上記絞り制御装置は,第2の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像で視差が生じないように上記絞りの開放量を制御するものである,請求の範囲第1項に記載の立体撮像装置。固体電子撮像装置が,瞳分割により視点の異なる複数の画像を表わす画像データを出力し,絞りが,上記固体電子撮像装置の受光面前方に設けられ,上記固体電子撮像装置の受光面に入射する光束の光量を調整し,絞り制御装置が,第1の時点で上記固体電子撮像装置から出力される画像データによって表わされる複数の画像において視差が生じる開放量となるように上記絞りを制御し,かつ第2の時点で上記第1の時点における開放量よりも通過光量が少なくなる小さい開放量となるように上記絞りを制御し,視差情報算出手段が,上記第1の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データを用いて複数の画像の視差情報を算出し,平面画像データ生成手段が,上記第2の時点において上記固体電子撮像装置から出力される複数の画像を表わす画像データから平面画像を表わす平面画像データを生成し,記録制御手段が,上記視差情報算出手段によって生成された視差情報および上記平面画像データ生成手段によって生成された平面画像データを記録媒体に記録する,立体撮像方法。まず,この発明の実施例の原理について説明する。第1図は,この実施例による立体撮像装置に利用される撮像素子13の受光面の一部を示している。受光面には,列方向および行方向に多数の光電変換素子31および32が設けられている。奇数行の光電変換素子には符号31が付され,偶数行の光電変換素子には符号32が付されている。奇数行の光電変換素子31と偶数行の光電変換素子32とは,列方向に1/2個の光電変換素子31または32分ずれている。光電変換素子31または32の受光面の開口には,赤色の光成分を透過する赤色フィルタ符号Rで示す,緑色の光成分を透過する緑色フィルタ符号Gで示すまたは青色の光成分を透過する青色フィルタ符号Bで示すが形成されている。第4n1nは0または正の整数行の光電変換素子31および第4n2行の光電変換素子32の受光面には緑色フィルタGと赤色フィルタRとが列方向に交互に形成されている。第4n3行の光電変換素子31および第4n4行の光電変換素子32の受光面には青色フィルタBと緑色フィルタGとが列方向に交互に形成されている。光電変換素子31および32の受光面は左右に略2分割されている。奇数行の光電変換素子31の受光面の右側は遮光されており,左側が受光可能なように開口されている。逆に偶数行の光電変換素子32の受光面は,左側が遮光されており,右側が受光可能なように開口されている。この実施例では,分かりやすくなるように,上述のように開口に形成されている緑色フィルタGは黒塗り33で示され,赤色フィルタRは縞模様34で示され,青色フィルタBは白抜き35で示されている。第2図は,奇数行の光電変換素子31と偶数行の光電変換素子32とを1つずつ取り出して,それらの光電変換素子31および32に被写体像を表す光束が入射する様子を示している。第3a図は光電変換素子31近傍の様子を第2図に比べて拡大したもので,第3b図は光電変換素子32近傍の様子を第2図に比べて拡大したものである。被写体の右側からの光束L1および被写体の左側からの光束L2のいずれも撮像レンズ11および絞り12を通過する。光電変換素子31および32の受光面前方にはマイクロレンズ41が配置されている。第3a図を参照して,上述のように奇数行の光電変換素子31の受光面31Bの右側には遮光部材31Cが設けられている。この結果,受光面31Bの左側が開口3334,35となる。被写体の左側からの光束L2が光電変換素子31に入射することとなる。第3b図を参照して,上述のように偶数行の光電変換素子32の受光面32Bの左側には遮光部材32Cが設けられている。受光面32Bの右側が開口3334,35となる。光電変換素子32には被写体の右側からの光束L1が入射することとなる。第4a図は撮像素子13から奇数行の光電変換素子31が抽出された様子を示し,第4b図は撮像素子13から偶数行の光電変換素子32が抽出された様子を示している。第4a図を参照して,奇数行の光電変換素子31は,上述のように受光面の右側が遮光されており,左側が開口されている。マイクロレンズ41の光軸中心L0から所定量δ偏位した位置δ=0またはマイナスでもよいが,受光面への光束が遮られていることが必要である。から上述した遮光部材32Cによって受光面の一部が遮られている。撮像レンズ11の射出瞳を通過した被写体からの光束は,開口3334,35を通過する。奇数行の光電変換素子31から得られる画像データは,左視点の被写体像を表すものとなる。第4b図を参照して,偶数行の光電変換素子32は,上述のように受光面の左側が遮光されており,右側が開口されている。偶数行の光電変換素子32から得られる画像データは,右視点の被写体像を表すものとなる。このように瞳分割により,左視点の被写体像を表わす画像データと右視点の被写体像を表わす画像データとが得られる。第5図は,第2図に対応するもので,光電変換素子31および32に被写体像を表す光束が入射する様子を示している。第5図においては,絞り12の開口量が第2図に示す絞り12の開口量に比べて光束が通過する量が小さくなるように,開口が小さくされている。絞り12の開口量が小さくなると,奇数行の光電変換素子31に入射する光束の量と偶数行の光電変換素子32に入射する光束の量とがいずれも少なくなる。すると,左視点の画像と右視点の画像との視差が少なくなり,実質的に視差が無い二つの画像が得られる。これらの二つの画像を用いて一つの平面画像を作成することにより,解像度の高い平面画像が得られる。例えば,絞り12を最小絞りF11まで絞って撮影することにより,実質的に視差の無い二つの画像が得られる。但し,極限まで絞り12が絞られたとしても厳密にはわずかな視差が二つの画像の間に生じるが,それらの二つの画像を用いて平面画像を作成しても破綻が生じないほど,その視差は少ない。絞り12の開口量が大きいときに得られる左視点画像と右視点画像との二つの画像から一つの平面画像を作成すると,視差が大きいために破綻してしまうが,実質的に視差の無い二つの画像から一つの平面画像が作成されると,破綻の無い高解像度の平面画像が得られる。この実施例では,絞り12の開口量を小さくすることにより,二つの画像から高解像度の平面画像が得られ,かつ絞り12の開口量を大きくすることにより,視差のある左視点画像および右視点画像が得られる。詳しくは後述するように,視差のある左視点画像および右視点画像から,それらの左視点画像を構成する画素と右視点画像を構成する画素との対応する画素における視差量を表す視差マップが作成される。作成された視差マップと高解像度の平面画像とから,高解像度の立体視画像が得られることとなる。上述した撮像素子13は,一つの撮像素子13であるが,第4a図に示す構造をもつ撮像素子と第4b図に示す構造をもつ撮像素子との複数の撮像素子としてもよい。複数の撮像素子とする場合には,撮像素子の対角長が同一であれば,より画素数の多い撮像素子を用いることが出来るし,第4a図および第4b図に示すように汎用のベイヤ配列のフィルタを持つ撮像素子を用いることができるようになる。この場合,光学系は第14図に示すようなミラー等を必要とするが,従来の立体撮像装置に比して高解像度の立体視画像が得られることになる。第6図は,立体撮像装置1の電気的構成を示すブロック図である。立体撮像装置1は,撮像によって表される画像を表す画像データをメモリカード27または内蔵メモリを含むメモリ25に記録するものである。立体撮像装置1の全体の動作は,CPU中央処理装置10によって統括される。また,各部については補助的な制御装置が設けられており,これらの補助的な制御装置によりCPU10の負荷が軽減されている。例えば,撮像素子制御装置6は撮像素子13の制御を行う。但し,補助的な制御装置なしにCPU10が全体の制御を行う構成もあり得る。また,例えばメモリカード27にメモリカード制御装置26が含まれているような場合は,メモリカード制御装置26自体は独立して存在しないこともあり得る。このように第6図の構成は適宜変更できる可能性を持つ。立体撮像装置1には,レリーズスイッチ,撮影/再生切替スイッチ,撮影モード変更ダイヤル等の操作装置7が設けられている。レリーズスイッチは撮影開始指示を入力する操作スイッチであり,半押し時にオンするS1スイッチと,全押し時にオンするS2スイッチとを有する二段ストローク式である。撮影/再生切替スイッチは,撮影動作と,撮影動作によって記録された立体視画像3D画像や平面画像2D画像の静止画または動画を表示装置20に表示させる再生動作とを切替えるためのスイッチである。撮影モード変更ダイアルは,立体視画像または平面画像の静止画および動画を撮影する各種撮影モードを選択するダイアルである。操作装置7には,立体撮像装置1への各種指示を入力するためのその他のスイッチ類が含まれている。これらのスイッチ,ダイアル等は機械的なスイッチで構成されるのみではなく,例えば表示装置20の表示画面上にタッチパネルとして構成されることもある。操作装置7から出力される操作信号はCPU10に入力し,CPU10は操作信号に基づいて立体撮像装置1の各部分を制御する。制御プログラムはメモリ25の内部に記録されている。この他,メモリ25には,CPU10が実行する制御に必要な各種データ,撮像素子13の各種情報,立体撮像装置1の動作に関するパラメータ等が記録されている。メモリ部25は,単一のメモリから構成される必要はなく,必要に応じてDRAMダイナミックランダムアクセスメモリ,フラッシュメモリ,VRAMビデオランダムアクセスメモリ等で構成できる。撮像素子13の受光面前方には,撮像レンズ11および絞り12が設けられている。絞り12は,光束Lの光量を変えると共に,光束Lの幅を規制する役割を持つ。絞り12は,複数の絞り羽根や,絞り系の異なる絞り穴の集合からなり,絞り制御装置4によって制御される。例えば,絞り値F値F2.8からF11まで1AV刻みで5段階に制御される。撮像レンズ12は,レンズ制御装置2によって合焦制御,ズーム制御等が行われる。被写体からの光束Lは撮像レンズ11および絞り12を通過して,上述した撮像素子13の受光面上に結像する。撮像素子13としては,CMOS撮像素子,CCD撮像素子等があるが,これら撮像素子の形式には制約されない。撮像素子制御装置6は,撮像素子13の駆動制御,読み出し制御等を行う。撮影モードが設定されると,撮像素子13によって被写体が撮像される。撮像素子13から被写体像を表す映像信号が出力される。上述のように,この実施例による撮像素子13は,視点の異なる二つの被写体像を撮像することができる。二つの被写体像を表す映像信号は,アナログ信号処理装置ただし撮像素子の形式によっては必ずしも必要なものではない14において,増幅などの所定のアナログ信号処理が行われる。撮像素子13がCCDであれば相関二重サンプリングなどのアナログ信号処理も行われる。撮像素子13がCMOS撮像素子である場合,CMOS撮像素子に応じたアナログ信号処理の回路およびAD変換装置15は撮像素子13の内部に組み込まれている構成が一般的である。アナログ信号処理装置14から出力された映像信号は,ADアナログディジタル変換装置15において,ディジタル画像データに変換される。変換されたディジタル画像データは,AF制御装置3に入力する。AF制御部3において,画像データから所定のフォーカス領域内画面中央部領域など部分の画像データの高周波成分が抽出され,抽出された高周波成分が積分されることにより合焦状態を示すAF評価値が算出される。AF評価値が極大となるように撮像レンズ11内のフォーカスレンズをレンズ制御装置2によって制御することによりAF制御が行われるコントラスト自動焦点処理。視点の異なる二つの被写体像を表す画像データを用いて位相差自動焦点処理が行われる場合には,一方の視点からの被写体像を表す画像データの積分値を表すグラフと,他方の視点からの被写体像を表す画像データの積分値を表すグラフとの位相差を示す情報に基づいてデフォーカス量が求められる。このデフォーカス量が0になるように撮像レンズ11のフォーカス位置が制御される。変換されたディジタル画像データは,AE制御装置5にも入力する。AE制御装置5において,撮像素子13のシャッタ速度いわゆる電子シャッタ速度が決定される。補助光が必要な場合は,補助光制御装置によって制御される補助光発光装置などが設けられてもよいし,外部の補助光装置をCPU10およびAE制御装置5が制御してもよい。ディジタル画像データは,バス29を介して表示制御装置21に入力する。表示制御装置21において表示装置20が制御されることにより,撮像された被写体像が表示装置20の表示画面上に表示される。表示装置20は,立体視画像をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものや,レンチキュラレンズを使用して表示できるものが利用できる。表示装置20の表示画面には,後述のように平面画像を表示することもできるし,立体視画像を表示することもできる。レリーズスイッチが半押したとえば,第1の時点されると,絞り12が開放側とされる。上述のように,視差があり,かつ視点の異なる二つの被写体像を表す画像データが得られる。これらの画像データはディジタル信号処理装置19に入力し,各種補正処理,ホワイトバランス調整などの増幅処理,ガンマ補正処理等の所定のディジタル信号処理が行われる。ディジタル信号処理装置19から出力された画像データは,視差情報算出装置22に入力する。詳しくは,後述するように,視差情報算出装置22において,視点の異なる二つの被写体像を構成する画素ごとの視差が算出される。算出された視差を表す情報は,視差マップ作成装置23に入力し,視差マップが作成される。レリーズスイッチが全押したとえば,第2の時点されると,絞り12が通過光量が少なくなる小絞り側とされる。実質的に視差の無い視点がほぼ等しい二つの被写体像を表す画像データが得られる。これらの画像データはディジタル信号処理装置19において所定のディジタル信号処理が行われて,平面画像作成装置16にも入力する。平面画像作成装置16において,二つの被写体像を表す画像データから一つの被写体像を表す平面画像を表す画像データが作成される。視差マップ作成装置23において作成された視差マップを表すデータおよび平面画像作成装置16において作成された平面画像を表す画像データは立体視画像作成装置17に入力し,立体視画像を表す画像データ平面画像データに視差マップが付加されたデータであり,平面画像データと視差マップとから立体視画像が生成されるが作成される。作成された立体視画像を表す画像データは圧縮伸張装置28において圧縮例えば,平面画像データがJPEGにもとづき圧縮される。圧縮された立体視画像を表す画像データがメモリカード制御装置26の制御のもとにメモリカード27に記録される。必ずしも圧縮された画像データでなくとも,圧縮されていないRAW画像データがメモリカード27に記録されてもよい。この実施例による立体撮像装置には,距離情報算出装置24およびぼかし処理装置18が含まれている。距離情報算出装置24により,視差マップ作成装置23において作成された視差マップから距離情報が算出される。視差が0となる部分は,撮像レンズ12の合焦位置にある被写体像を表していると考えられる。これは,瞳分割された二つの画像のうちの合焦している部分は,撮像素子13上の同一位置に結像する,つまり視点の異なる二つの画像において一致する点となるためである。同様に,合焦位置より立体撮像装置1に近い被写体を表す画像の部分は,撮像素子13の位置よりも遠方に一致点を持つため非焦点ぼけを伴って分離するため,左右に分離したぼけ像となる。同様に合焦位置よりも遠い画像部分は,撮像素子13の位置よりも前方に一致点を持つため非焦点ぼけを伴って分離し,合焦位置より立体撮像装置1に近い像に対しては左右の位置が反転して分離したぼけ像となる。従って,視点の異なる複数の画像から対応点を検出することにより,画像中の対応点位置部分が相対的に合焦位置よりも立体撮像装置1側,すなわち手前であるか,合焦位置か,合焦位置よりも遠方であるかが分かる。つまり相対的な距離情報を得ることが出来る。さらに,これらの情報にレンズ制御装置2から合焦位置の距離情報が得られ,絞り制御装置4から絞り12の情報が得られれば,絶対的な距離情報を得ることも出来る。このような距離情報が距離情報算出装置24において算出される。また,ぼかし処理装置18において,撮像により得られた画像のぼかし処理が行われる。これらの処理についても詳しくは後述する。さらに立体視画像作成装置17に,左右の視点画像データと平面画像を入力し,左右の視点画像データと平面画像データ中の両画像の対応点を検出し,左右の視点画像データに対応付けられた視差情報または距離情報を平面画像データに対応付ける。すでに左右の視点画像データで対応点検出を行っているため,すでに検出した対応点を平面画像データ中から検出するのが効率的である。対応点検出は,左視点画像データと平面画像データ間,および右視点画像データと平面画像データ間で行う。それぞれの視点画像データと平面画像データとの間で行うのは,平面画像データには左右どちらかの視点画像データとしか対応しない対応点もあるからである。ただし,共通する対応点検出自体は左右の視点画像データと平面画像データの間の3画像データから同時に行うことも可能である。さらに対応点検出のみを独立して図示しない対応点検出部を設けて同時に行うか,CPU10が対応点検出処理を行うこともできる。再生モードが設定されると,メモリカード27に記録されている画像データが読み出され,表示装置20に与えられる。表示装置20に立体視画像データが与えられることにより,表示装置20の表示画面には立体視画像が表示されることとなる。もちろん,表示装置20に平面画像データが与えられることにより,表示装置20の表示画面には平面画像が表示されることとなる。上述の実施例において,作成された立体視画像は,距離奥行き情報を持った平面画像ということもできる。なお,左右の視点画像データと平面画像データとは上述したようにデータ量が異なるため,対応点検出をより高速に行うためにはデータ量画素数を揃えることが望ましい。また,すでに左右の視点画像データに対応した視差マップもしくは距離マップを視差マップ作成装置23で作成済みであれば,さらに視差マップ作成装置23で左右の視点画像データと平面画像データとの対応点を一致させ,平面画像データに対応した視差マップまたは距離マップを作成し立体視画像データとすることもできる。立体視画像データは,平面画像データに,距離もしくは視差のデータまたは距離もしくは視差マップ以下,付帯視差情報というが対応したデータとなっているため,基本的には平面画像データである。平面画像データは,撮影時に絞り12を,たとえば最小絞りとしているために,撮像レンズ11の焦点を合わせた被写体の手前から奥まで焦点が合っている,いわゆる全焦点画像に近い画像となっている。より自然な立体視画像データとするためには,さらにぼかし処理装置18を用いてぼかし処理が行われる。視差が大きい,または距離が焦点位置から離れている被写体をぼかすことで自然な立体視画像データが得られるため,ぼかし処理装置18は,付帯視差情報に基づき視差が大きい,または距離が焦点位置から離れているほど画像データをぼかすようにぼかし量を決定し,平面画像データにぼかし処理を行う。ぼかし量はぼかし処理装置18において画像から決定されても良いし,ユーザが最大ぼかし量またはぼかし量に相当する絞りの値F値を入力できるようにしても良い。ユーザの好みを反映させることができる。立体視画像データは被写体をほぼ正面から見た平面画像に距離情報視差マップが付加されているデータとなっているため,表示制御部の視差の付け方によっては手前の物体に遮られて奥の物体が見えなくなっている領域であるオクルージョン領域が生じてしまう。これを解消するためには次の方法がある。上述したように,平面画像データは対応点において左右の視点画像データのどちらかまたは両方と対応している。そのため,平面画像データには存在しないが,左右どちらかの視差画像データに画像データがある領域を表示制御装置21によって補間することができる。これにより立体視画像データの欠落を防ぐことができる。また,ぼかし処理装置18を使用し,立体視画像データ中の平面画像データをぼかす処理を行っている場合,オクルージョン領域にもぼかし処理を拡張し,例えば合焦位置距離とそれの前後所定の距離範囲ごとにぼかし画像データを作成し,オクルージョン領域についてはぼかし画像データを使うことで補間することができる。より自然な立体視画像を表示できるようになる。また,メモリカード27などに記録する立体視画像データは,上述のように平面画像と視差もしくは距離の情報またはそれらのマップからなる画像データでも良いし,表示制御装置21によって作成し表示用画像例えば左右の視差を持つ2枚の視差画像データでもよい。信号処理等で用いるのであれば平面画像と視差もしくは距離の情報,またはそれらのマップからなる画像データが適するし,単に表示の用途に用いるのであれば視差画像データが適する。また,両画像データを共に記録することでも良い。記録画像データは,複数の画像やデータなどを持つことが出来る画像フォーマット例えばマルチピクチャフォーマットで記録しても良いし,一般的な画像フォーマットで記録しても良い。第7図および第8図は,立体撮像装置1の処理手順を示すフローチャートである。この処理は撮影モードが立体撮影に設定され,撮影指示がされたことに応じて開始する。撮影開始の指示により行う撮影中,左右視点画像の撮影を先に行うか,平面画像の撮影を先に行うかをCPU10が判断するステップ41。どちらを先に行うかは,あらかじめユーザにより設定されてメモリ25に記録されている。左右視点画像の撮影が先と判断されるとステップ41でYES,第1の時点で上述のようにレリーズスイッチの半押し時でもよいし,半押し時でなくともよいCPU10は左右視点画像撮影用の絞り,すなわち左右視点用の視差を得るために最適な絞り値第2図に示すように,開口量が大きくなるような絞り値が決定され,その決定された絞り値となるように絞り12が制御されるステップ42。AE制御,AF制御等が行われて撮影第1の時点での撮影が行われる。CPU10は,撮像素子制御装置6を制御し,撮像素子13から左視点と右視点との映像信号を読み出す。左右のそれぞれの視点映像信号から左右の視点画像データが作成されるステップ43。つづいて,第2の時点で上述のようにレリーズスイッチの全押し時でもよいし,全押し時でなくともよいCPU10は平面画像撮影用の絞り,すなわち視差を極力少なくする最適な絞り値第5図に示すように,開口量が小さくなるような絞り値が決定され,その決定された絞り値となるように絞り12が制御される。AE制御,AF制御等が行われて撮影第2の時点での撮影が行われるステップ44。CPU10は撮像素子制御装置6を制御し,撮像素子13から平面画像用の映像信号を読み出す。平面画像用の映像信号からディジタル信号処理装置19等を制御することによって平面画像データが作成されるステップ45。左右視点画像の撮影が先と判断されなかった場合ステップ41でNO,第1の時点でCPU10は平面画像撮影用の絞り値を決定し,決定された絞り値となるように絞り12が設定されるステップ47。AE制御,AF制御等が行われた後で撮影第1の時点での撮影が行われる。CPU10は撮像素子制御装置6を制御し,撮像素子13から平面画像用の映像信号を読み出し,ディジタル信号処理装置19等を制御することによって平面画像データを作成するステップ48。つづいて,第2の時点でCPU10が左右視点画像撮影用の絞り値を決定し,その絞り値となるように絞り12を制御するステップ49。AE制御,AF制御等が行われた後で,撮影第2の時点での撮影が行われる。CPU10撮像素子制御装置6を制御し,撮像素子13から左視点と右視点の映像信号を読み出し,左右のそれぞれの視点画像データを作成するステップ50。つづいて,左右の視点画像データのそれぞれから視差情報が算出されるステップ46。第9a図は左視点画像データによって表される左視点画像61の一例であり,第9b図は右視点画像データによって表される右視点画像62の一例である。上述のように,左視点画像61を構成する画素のそれぞれに対応する画素である対応点が,右視点画像62の中から検出される。右視点画像62において図示されている対応点は分かりやすくするために少数のみが図示されているが,もっと多くの対応点が検出されるのはいうまでもない。左視点画像61を構成する画素のそれぞれと,右視点画像62から検出された対応点との視差ずれ量が視差情報として検出され,視差マップが作成される第8図ステップ51。第10図は,作成された視差マップ63の一例である。視差マップ63には,視差が0の領域63Aクロスハッチングで図示されている,視差が小さい領域63Bハッチングで図示されている,視差が中くらいの領域63Cハッチングがされていないが含まれている。分かりやすくするために,視差マップ63は視差量の異なる3つの領域に分けられているが,画素ごとの視差情報が算出されているのはいうまでもない。従って,実際には連続した視差情報が視差マップとして二次元上に表現される。対応点が検出されない点については周囲の対応点に関連付けられた視差情報から補間することによって平面画像データに対応する視差マップが作成される。視差マップが作成されると,平面画像データに対応づけられた視差マップと,撮像レンズ11の合焦位置の焦点距離とから,距離マップが作成される第8図ステップ52。たとえば,第10図に示すように,領域63Aが距離が近く,領域63Bが距離が中くらいであり,領域63Cが距離が遠い距離マップが作成される。もちろん,距離マップについても平面画像を構成する画素に対応して距離が算出されているのはいうまでもない。つづいて,平面画像データと距離マップとから立体視画像を表す立体視画像データが作成される第8図ステップ53。視差マップから距離マップを作成後,距離マップを用いて立体視画像を作成しているが,距離マップを作成しなくても視差マップによって立体視画像データを作成できる。これは視差情報視差マップが合焦位置からの相対値であるのに対し,距離情報距離情報は絶対値であるという差でしかないからである。例えば立体視画像は左右の視差を持つ2枚の画像を作成し,この2枚の画像を表示制御装置21を制御し,表示装置20を使って表示することもできる。立体視画像データの他に,記録する情報例えば,視差情報などがある場合にはステップ54でYES,立体視画像データのほかに記録する情報が選択されるステップ55。選択する情報の内容は,あらかじめユーザが選択しておきメモリ25に記録されていても良いし,記録時にユーザに選択させても良い。選択された情報は立体視画像データと共にメモリ25のデータ記録領域に記録するか,メモリカード制御装置26を制御してメモリカード27に記録するステップ56。立体視画像データの他に,記録する情報が無いと判断された場合はステップ54でNO,他の情報が記録されることなく立体視画像データがメモリカード27等に記録されるステップ57。立体視画像データを記録せず,他の情報平面画像と視差情報のみなどを記録することが出来ても良い。上述したのは,立体静止画撮影の実施例であるが,立体動画にも応用することが可能である。この場合,左右視点画像用の絞りおよび平面画像用の絞りを高速に切り替える必要が生じる。しかし,絞り12を機械的な絞りではなくPLZTを使った絞りなどを用いることで実現可能である。第11a図,第11b図および第11c図は,変形例を示すものである。第11a図は,第1図に対応するもので,撮像素子90の受光面を示し,第11b図は,第4a図に対応するもので,左視点画像を表す光電変換素子を示し,第11c図は,第4b図に対応するもので,右視点画像を表す光電変換素子を示している。第11a図を参照して,撮像素子90には,列方向および行方向に多数の光電変換素子91が配列されている。この変形例においては,第4n1行および第4n2行の光電変換素子91は,受光領域の右側が遮光されており,受光領域の左側が開口されている。第4n3行および第4n4行の光電変換素子91は,受光領域の左側が遮光されており,受光領域の右側が開口されている。これらの光電変換素子91の開口には,赤色の光成分を透過する特性を有する赤色フィルタR,緑色の光成分を透過する特性を有する緑色フィルタGまたは青色の光成分を透過する特性を有する青色フィルタBが形成されている。上述した実施例と同様に,緑色フィルタGは黒塗りの符号94で図示されており,赤色フィルタRは縞模様の符号95で図示されており,青色フィルタBは白抜きの符号96で図示されている。これらのフィルタ配列はいわゆるベイヤ配列と呼ばれるものである。第4n1行および第4n2行の光電変換素子91は,受光領域の右側が遮光されているから,第11b図に示すように第4n1行および第4n2行の光電変換素子91を抽出すると,抽出された光電変換素子91にもとづいて得られる画像は左視点画像を表すものとなる。第4n3行および第4n4行の光電変換素子91は,受光領域の左側が遮光されているから,第11c図に示すように第4n3行および第4n4行の光電変換素子91を抽出すると,抽出された光電変換素子91にもとづいて得られる画像は右視点画像を表すものとなる。第11b図に示す構造をもつ撮像素子と第11c図に示す構造をもつ撮像素子との二つの撮像素子を用いるようにしてもよい。上述の実施例では,それぞれの光電変換素子91の受光面の左側または右側を遮光することにより,左視点の被写体像と右視点の被写体像とが得られるが,光電変換素子91の受光面を,左側1/4,左側1/4から1/2,左側1/2から3/4,右側1/4となるように遮光または開口するように撮像素子90が構成されることにより視点の異なる4つの画像を表す画像データが得られる。同様にさらに視点数を増やすことも可能である。上述の実施例において,マイクロレンズ41の光軸は受光領域の中心に一致しているが,必ずしも一致しなくともよい。マイクロレンズ41の光軸が受光領域の中心からずれているものであっても受光領域に入射する光束が制限されればよい。さらに,隣接する2つまたは4つの光電変換素子に対して1つのマイクロレンズ41を設けることにより,各光電変換素子に入射する光束が制限されるものでもよい。この場合は,マイクロレンズ41以外は一般的な撮像素子を用いることが出来,製造工程中のマイクロレンズ工程を変えて撮像素子を作成出来る利点がある。さらに,第14図に例示したように光束をミラーにより瞳分割するものでも良い。この場合は,光電変換素子の左側または右側が遮光されるように構成する必要が無い。上述した実施例では,瞳分割により視点の異なる複数の被写体像を取得することが出来る立体撮像装置全般に適用可能である。第12図は,変形例を示すもので,距離マップ作成処理手順第8図ステップ52の処理手順を示すフローチャートである。上述した実施例では,立体体撮像装置1で作成される立体視画像データは,平面画像データと距離マップとから構成されている。視差の情報は撮像装置により固有のものであるため,視差から計算される距離は撮影時の立体撮像装置と被写体の距離である。比較的遠方の被写体を主要被写体として撮影した場合,主要被写体と背景との距離差が少なく,作成された立体視画像データで表示する立体視画像の立体感が不足する場合がある。この変形例では,距離強調処理距離補正処理を行うことが可能である。上記のように,主要被写体と背景との距離差が少なく,他に被写体が含まれていない場合は立体視画像全体の立体感が不足するために,距離マップを参照して立体視全体に含まれる距離の差距離差を強調する処理を行うのが望ましい。また,背景と主要被写体の距離が近い場合,背景のみ距離を大きくする遠方に移動することになる処理を行うことも望ましい。また,立体視画像中の特定の距離にある被写体の立体感を強調したい場合は,ユーザが指定して強調することも可能である。距離差の強調と,距離の強調とを合わせて距離強調ということにする。距離強調処理に関するユーザ指定があるか否かの判断が行われるステップ101。ユーザ指定があるとステップ101でYES,ユーザの指定した強調距離範囲の指定があるかどうかが,判断されるステップ102。ユーザが指定する強調距離範囲の指定がある場合にはステップ102でYES,指定された距離範囲にある距離情報を強調距離領域として指定するステップ103。つづいて,距離強調の強調度指定があるか否かが判断されるステップ104。距離強調の強調度指定がある場合にはステップ104でYES,指定された距離範囲が指定強調度で強調され,距離マップが再作成されるステップ106。ユーザの指定した強調距離範囲の指定が無い場合はステップ102でNO,距離マップを参照して強調距離領域および強調度が決定される。例えば距離マップから算出された距離分布が,標準的な立体視画像データの距離分布と比較し,強調距離,強調度が決定される。決定した距離範囲が決定した強調度で強調され距離マップが再作成されるステップ106。強調度指定が無い場合にはステップ104でNO,距離マップから算出した強調距離範囲および全体の距離分布が,標準的な立体視画像データの距離分布と比較され,強調度が決定される。すでに指定されている強調距離範囲が決定した強調度で強調された距離マップが再作成されるステップ107。ユーザ指定がない場合にステップ101でNOは,距離マップを参照して強調距離範囲が決定されステップ108,決定した距離範囲が決定した強調度で強調して距離マップが再作成されるステップ109。このようにして再作成された距離マップと平面画像データとが立体視画像データとしてメモリカード27等に記録される。もちろん,再作成された距離マップと平面画像データとから左視点画像データと右視点画像データとを作成し,作成された左視点画像データと右視点画像データとを立体視画像データとしてメモリカード27に記録してもよい。第13図は,他の変形例を示すもので,ぼかし処理手順を示すフローチャートである。上述の実施例においては,立体撮像装置で作成される立体視画像データは,平面画像データと距離マップを基礎としている。平面画像データを取得するための撮影時には絞り12を絞るために,立体視画像データで表される立体画像はいわゆる全焦点画像に近い,手前から奥まで焦点が合っている画像データとなる。一方,人間が立体視するときにはぼけも重要な要素であり,焦点を合わせた被写体以外の被写体がぼけていることでも立体感を感じる。また,この実施例による立体撮像装置1でも左右の視差画像用撮影時には絞り12を開いて撮影するため,左右の視点画像データで表される左右の視点画像は視差の大きい合焦した距離から離れている被写体はぼけている。この実施例の立体撮像装置で取得することのできる立体視画像データで表される立体視画像は,上述のように全焦点画像に近いため,左右の視点画像データで表される左右の視点画像のように合焦距離から離れた被写体像をぼかし処理することでより自然な立体視画像が得られる。第13図に示す処理は,第8図ステップ52とステップ53との間で行うこととなる。まず,ぼかし処理に関するユーザ指定があるか否かが判断されるステップ131。ユーザ指定があるとステップ131でYES,ユーザの指定したぼかし距離範囲の指定があるか否かが判断されるステップ132。ユーザが指定するぼかし距離範囲の指定がある場合はステップ131でYES,距離マップの指定されたぼかし距離範囲と対応する平面画像データの領域がぼかし領域として指定されるステップ133。ユーザの指定したぼかし距離範囲の指定がない場合はステップ131でNO,距離マップが参照されてぼかし距離領域および強調度が決定されるステップ138。例えば距離マップを参照して,合焦している主要被写体から一定距離離れている被写体をぼかし領域に設定する等の処理が行われる。つづいて,ぼかしパラメータの指定があるか否かが判断されるステップ135。ぼかしパラメータの指定がある場合にはステップ135でYES,立体視画像データの指定されたぼかし距離範囲が指定されたぼかしパラメータでぼかし処理が行われるステップ136。ぼかしパラメータの指定が無い場合にはステップ135でNO。指定または決定されたぼかし領域の距離マップが参照されてぼかしパラメータが決定されるステップ137。例えば,ぼかす強度が距離の関数に比例するものにするなどして,ぼかしパラメータが決定される。立体視画像データの指定されたぼかし距離範囲が,指定されたぼかしパラメータでぼかし処理が行われる。ユーザ指定がない場合にはステップ131でNO,距離マップが参照されてぼかし距離範囲とぼかしパラメータとが決定されるステップ138。決定されたぼかし距離範囲が,決定されたぼかしパラメータでぼかし処理が行われるステップ139。このようにしてぼかし処理が行われた平面画像データと距離マップとが立体視画像データとしてメモリカード27に記録される。もちろん,ぼかし処理が行われた平面画像データと距離マップとから左視点画像データと右視点画像データとを作成し,作成された左視点画像データと右視点画像データとをメモリカード27に記録するようにしてもよい。"