レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に複数の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置であって、前記レンズを駆動するレンズ駆動手段と、前記絞りを駆動する絞り駆動手段と、前記レンズ駆動手段および絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御する制御手段を備え、前記制御手段は、前記絞りの絞り値または撮像装置から被写体までの距離情報もしくは焦点状態検出情報が閾値以下の場合、前記撮像素子から視差を有する複数の画像データを取得して立体視表示用の画像データを出力する制御を行うことを特徴とする撮像装置。前記撮像素子の出力信号を画像処理する撮像信号処理手段を備え、前記制御手段は、前記絞り値および距離情報もしくは焦点状態検出情報が前記閾値より大きい場合、前記撮像信号処理手段によって前記撮像素子の出力信号を取得して立体視表示が可能な画像データへの変換処理を行うように制御することを特徴とする請求項1記載の撮像装置。前記制御手段は、撮影後に前記絞り値または距離情報もしくは焦点状態検出情報を前記閾値と比較して前記閾値より大きい場合、前記撮像信号処理手段によって前記複数の画像データに対して立体視効果を強調する処理を行うように制御することを特徴とする請求項2記載の撮像装置。前記制御手段は、前記絞り値または距離情報もしくは焦点状態検出情報が前記閾値以下である場合、前記複数の受光素子のうち第1の組の受光素子に発生した電荷を読出して加算した第1の画像データと、第2の組の受光素子に発生した電荷を読出して加算した第2の画像データを出力するように、前記撮像素子の駆動制御を行うことを特徴とする請求項1から3のいずれか1項記載の撮像装置。レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に複数の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置にて実行される制御方法であって、前記レンズを駆動するレンズ駆動手段および前記絞りを駆動する絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御するステップと、前記絞りの絞り値または撮像装置から被写体までの距離情報もしくは焦点状態検出情報を閾値と比較するステップと、前記絞り値または距離情報もしくは焦点状態検出情報が前記閾値以下の場合、前記撮像素子から視差を有する複数の画像データを取得して立体視表示用の画像データを出力するステップを有することを特徴とする撮像装置の制御方法。しかしながら、撮像素子のマイクロレンズに複数の異なる方向から光線が入射する光学条件でなければ、3D画像データを取得できない。この光学条件は、具体的には、1絞り値が所定値以上に絞られていないこと、そして2主被写体から撮像装置までの距離が所定値以内であること、である。以下、これらの条件について説明する。前記条件1の状態では、被写体からの光線束のうち、レンズ面に垂直な光線しか絞りを通り抜けることができない。そのため、同様に垂直な光線としてレンズに入射する背景と間の視差が得られない。また、前記条件2の場合、主被写体が遠方にあると、主被写体からの光が背景と同様にマイクロレンズに垂直に入射してしまうため、背景と主被写体との間の視差が得られない。このように、F値が閾値を超える場合や主被写体から撮像装置までの距離が閾値を超える場合には、十分な立体視効果のある画像が得られなくなる。そのため、3D画像を取得できるシーンが限られてしまうので、コンパクトカメラ等への適用において、ユーザは3D撮影が可能シーンであるか否かを自ら判断し、3D画像を撮影できるシーンを選んで撮影しなければならない。本発明の目的は、ユーザが3D撮影可能なシーンの選択に煩わされずに、3D画像データを取得できる撮像装置およびその制御方法を提供することである。上記課題を解決するために、本発明に係る装置は、レンズおよび絞りを有する撮像光学系と、マイクロレンズおよび該マイクロレンズ毎に複数の受光素子を有する撮像素子を備え、該撮像素子の出力から視差を有する複数の画像データを取得可能な撮像装置であって、前記レンズを駆動するレンズ駆動手段と、前記絞りを駆動する絞り駆動手段と、前記レンズ駆動手段および絞り駆動手段を制御して、焦点調節制御および露出制御を行うとともに、前記撮像素子の駆動を制御する制御手段を備える。前記制御手段は、前記絞りの絞り値または撮像装置から被写体までの距離情報もしくは焦点状態検出情報が閾値以下の場合、前記撮像素子から視差を有する複数の画像データを取得して立体視表示用の画像データを出力する制御を行う。本発明によれば、ユーザが3D撮影可能なシーンの選択に煩わされずに、3D画像データを取得可能である。以下、本発明の実施形態について、図1乃至6を用いて説明する。なお、本実施形態では、XYアドレス型の走査方法を採用した撮像素子により構成したカメラを例示する。図1に示す処理を説明するに先立ち、実施形態に係る撮像装置の構成を説明する。図2は、撮像装置のシステム概要を例示したブロック図である。レンズ部図にはレンズと表記601は、レンズ駆動部602によって駆動制御される可動レンズズームレンズやフォーカスレンズ等を有する。メカニカルシャッタ図にはメカシャッタと表記603と、後段の絞り605は、シャッタ絞り駆動部604によってそれぞれ駆動される。撮像素子606は、レンズ部601等を通して結像する被写体からの光を光電変換する。なお、撮像素子606の構成については図3を参照して後述する。撮像素子606の出力信号を処理する回路CDSA/Dと表記607は、相関2重サンプリングやゲイン調整、アナログ信号からデジタル信号へのA/D変換を行い、処理後の信号を撮像信号処理回路608に出力する。撮像信号処理回路608には、第1メモリ610メモリ部I参照、第2メモリ616メモリ部II参照、表示部613が接続されている。この他、外部インターフェース以下、IFと略記部615、記録媒体制御IF部612、全体制御演算部611が撮像信号処理回路608に接続されている。記録媒体制御IF部612は記録媒体614へのデータの書き込みおよび読出しを制御する。撮像装置の制御および各種演算を行う全体制御演算部611は、CPU中央演算処理装置等を備えており、所定のプログラムを実行して各部を制御する。例えば全体制御演算部611は、タイミング発生部609を制御し、撮像素子606および撮像信号処理回路608の動作制御を行う。操作部617はユーザが使用し、操作指示信号を全体制御演算部611に送信する。操作部617は、電源スイッチやシャッタレリーズスイッチ等を含む。シャッタレリーズスイッチは、押し込み量に応じて第1スイッチ及び第2スイッチ以下、SW2と記すが順にオン状態となる。ユーザがシャッタレリーズボタンを半押しで操作した場合にSW1がオン状態となり、更にシャッタレリーズボタンを最後まで深く押し込む操作を行った場合にSW2がオン状態となる。SW1、SW2のオンオフ信号は全体制御演算部611に送信される。次に、図3Aを参照して撮像素子606の概略構成を説明する。撮像素子606はマイクロレンズ毎に複数の受光素子を有する。なお、図3Aには、2次元配置とされた多数の画素回路201のうち、4行×4列のみを代表して示す。画素回路201にはそれぞれ信号線202が接続されている。後述するMOS金属酸化膜半導体アンプの負荷となる定電流源203が各信号線202に接続され、読出し回路206に繋がっている。水平走査回路207は、各信号線202に対応する選択スイッチ素子204を用いて、読出し回路206に接続されており、選択スイッチ素子204に接続した出力アンプ208から撮像信号が得られる。垂直走査回路205は、複数の制御線第n乃至n3ライン参照を介して画素回路201に接続されている。画素回路201の詳細を図3Bに示す。本例では4画素を共有する撮像素子の画素回路を例示する。フォトダイオード以下、PDと略記する301a、301b、301c、301dは、各カソードが、転送スイッチ素子302a、302b、302c、302dにそれぞれ接続されており、撮像光学系を通った光を個別に受光する。なお、記号a乃至dはPDと転送スイッチ素子との対応関係を表す。リセットスイッチ素子303の一端には所定の電源電圧VDD参照が印加され、他端はフローティングデフュージョン以下、FDと略記する304とMOSアンプ305の制御端子に接続されている。ソースフォロアのMOSアンプ305は、その非制御端子の一方に電源電圧VDDが印加され、他端には選択スイッチ素子306が接続されている。FD304は4つのPD301a-dで共有され、FD304、MOSアンプ305、及び定電流源203図3A参照により、フローティングディフュージョンアンプが構成されている。FD304に蓄積された電荷の除去については、図3Aに示すリセットパルスφRESにより、リセットスイッチ素子303で行われる。また転送スイッチ素子302a-d、選択スイッチ素子306、リセットスイッチ素子303は、図3Aの垂直走査回路205により選択される。図4は、撮像素子606に使用する色フィルタアレイの一部を例示する。第1の色フィルタを赤R、第2の色フィルタを緑G、第3の色フィルタを緑G、第4の色フィルタを青Bとした場合を示している。この色フィルタアレイの配列は、原色の色フィルタ配列の中でも、特にベイヤ配列と呼ばれるものであり、高い解像度と優れた色再現性を有する。例えば、第1乃至第3行および第1乃至第3列にてGが千鳥格子配置とされ、第2行ではGの両側にRがそれぞれ位置し、第2列ではGの上下にBがそれぞれ位置する。図5Aは、図3Aの画素回路201の構成例を示す。色フィルタ501が設けられ、PD301a-dは、それらの中心位置が正方形の頂点位置にそれぞれ位置した格子配置である。マイクロレンズ502を円形枠で示す。PD301a-dの4つで1つの色フィルタ501とマイクロレンズ502を共有する構成を示す。図5Bはマイクロレンズ502を通してPD301a-dにそれぞれ入射する光線703a-dを示している。マイクロレンズ502に複数の異なる方向から光線が入射する場合、マイクロレンズ502の直下にある4つのPD301a-dには、それぞれ異なる方向からの光線703a-dが入射する。例えば、PD301aの中心とPD301bの中心を通る軸方向を撮像装置の水平方向とし、PD301bおよび301dに入射する光を被写体の右側からの光成分とする。この場合、PD301aおよび301cには、被写体の左側からの光線が入射することになる。そのため、PD301bおよび301dの出力から得られる画像信号と、PD301aおよび301cの出力から得られる画像信号を別々に取得することで、互い視差のある画像を取得可能である。従って、視差をもった複数の画像データから3D画像の表示用データを生成して再現することができる。次に、図2に示す撮像装置の動作を説明する。レンズ部601を通った被写体からの光は絞り605にて適切な光量に調整され、撮像素子606に結像して光電変換を受ける。撮像素子606の出力は、CDSA/D回路607にて相関2重サンプリング、ゲイン調整、A/D変換の処理が行われ、R、2つのGG1およびG2、B図4参照の原色信号として取り込まれ、撮像信号処理回路608に送られる。撮像信号処理回路608は、ノイズを低減するローパスフィルタ処理やシェーディング処理、WB白バランス処理等の各種の画像信号処理を行い、さらには各種の補正や画像データの圧縮処理等を行う。レンズ部601では、全体制御演算部611の制御指令に従ってレンズ駆動部602により、ズームレンズやフォーカスレンズ等が駆動され、変倍制御や焦点調節制御が行われる。メカニカルシャッタ603は、例えば一眼レフカメラに使用されるフォーカルプレーン型シャッタの後幕に相当する幕のみを有するシャッタ機構である。メカニカルシャッタ603と絞り605は、全体制御演算部611の制御指令に従ってシャッタ絞り駆動部604により駆動制御され、測光結果に基づいて自動露出制御が行われる。タイミング発生部609は、撮像素子606や撮像信号処理回路608等に各種タイミング信号を出力する。撮像信号処理回路608の出力信号に係る画像データは第1メモリ610にて一時的に記憶される。画像データの記録再生時に記録媒体制御I/F部612は、記録媒体614への画像データの記録処理や記録媒体614からの読み出し処理を制御する。記録媒体614は半導体メモリ等の着脱可能な記録媒体である。また、表示部613は撮像信号処理回路608の出力信号に従って画像データの表示処理を行う。外部I/F部615は、不図示の外部機器コンピュータ等と通信を行うための回路部である。第2メモリ616は全体制御演算部611の演算結果を記憶する。操作部617を用いてユーザが設定した撮像装置の駆動条件に関する情報の指示信号は全体制御演算部611に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。以下に、図1のフローチャートを用いて撮像シーケンスを説明する。本実施形態では3D画像のみを出力するモード3D画像モードでの駆動例を示す。操作部617から撮像装置の電源投入信号が入力されると、S101で全体制御演算部611は、フラグや制御変数等を初期化し、撮像信号処理回路608にて必要な初期設定を行う。S102では電源スイッチのオンオフ状態が判定される。電源スイッチがOFFである場合、全体制御演算部611は、レンズ部601、メカニカルシャッタ603を所定の位置に戻し、また撮像信号処理回路608や全体制御演算部611内の各種データを第1メモリ610、第2メモリ616へ保存し、処理を終了する。電源スイッチがONである場合、S103へ処理を進める。S103は、第1スイッチSW1がONであるか否かの判定処理であり、SW1がOFFの場合、この判定処理が繰り返され、SW1がONである場合、S104に進む。全体制御演算部611は、被写体に対して所定の焦点状態検出ポイント、例えば第n1ポイントnは自然数変数で自動焦点調節AF処理を行う。全体制御演算部611は、主被写体までの距離情報以下、距離LMと記す、主被写体以外の複数の前景および背景までの距離情報以下、L1乃至Lnと記すを算出する。なお、撮像装置から被写体や前景、背景までの距離情報に代えて、焦点状態検出情報を使用することもできる。つまり、撮像装置の焦点状態検出部によって検出される自動焦点調節用情報は合焦状態およびデフォーカス量の情報を含むので、撮像対象のどの位置にピントが合うかに応じて距離の違いを判別できる。全体制御演算部611は、算出した距離LMに基づいてレンズ駆動部602を制御し、レンズ部601の焦点調節によって焦点を被写体に合わせる。また、全体制御演算部611は、自動露出AE処理を行い、被写体に適したシャッタ速度以下、Tvと記すと、絞り値以下、Fと記すを算出する。得られた距離LMと距離L1乃至Lnまたは焦点状態検出情報、シャッタ速度Tv、絞り値Fのデータは第2メモリ616に保存される。S105で全体制御演算部611は、第2メモリ616から距離LMを読出して閾値Dfと記すと比較する。その結果、LM>Dfであれば、全体制御演算部611は、現時点の被写体について3D画像の撮影に適さないシーンであると判断し、S111に処理を進める。表示部613の画面上には、現時点のシーンが3D画像の撮影に適さない旨の表示として、例えば、3D撮影できません等のメッセージが表示された後、S103へ戻る。また、S105での判定結果がLM≦Dfであれば、現時点の被写体について3D画像の撮影に適したシーンであると判定され、S106へ処理を進める。S106は第2スイッチSW2がONであるか否かの判定処理であり、SW2がOFFである場合、S103へ戻る。また、S106でSW2がONである場合、S107へ処理を進める。S107は、距離情報または絞り値がそれぞれの閾値以下であるか否かの判定処理である。全体制御演算部611は第2メモリ616から距離LMと絞り値Fのデータを読出し、それぞれの閾値Dn、Fhと記すと比較する。その結果、LM≦DnまたはF≦Fhの場合、S108に進み、LM>DnかつF>Fhの場合、S112へ進む。S108で全体制御演算部611は、第1駆動モード以下、3D駆動モードというで撮像素子606の駆動制御を行い、撮像した画像データを取得する。なお、3D駆動モードの詳細については後述する。さらに、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理が実行される。演算結果は第2メモリ616に格納され、また、取得した画像データは第1メモリ610へ格納される。その後、S109へ進み、撮影後に絞り値および距離情報がそれぞれの閾値以下であるか否かについて判定される。全体制御演算部611は、再び第2メモリ616から距離LMと絞り値Fのデータを読出し、それぞれの閾値Dn、Fhと比較する。その結果、LM≦DnかつF≦FhであればS110に処理を進め、LM>DnまたはF>Fhであれば、S114へ処理を進める。S114では、S108にて取得した画像の3D感立体視効果を強調する処理以下、3D強調処理というが実行され、その後S110へ進む。一方、S107からS112に進んだ場合、全体制御演算部611は第2駆動モード以下、2D駆動モードというで撮像素子606の駆動制御を行い、撮像した画像データを取得する。なお、2D駆動モードの詳細について後述する。さらに、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理が行われ、演算結果は第2メモリ616に格納される。取得した画像データは第1メモリ610へ格納される。その後、S113へ進む。S113では、S112で取得した2D画像データを3D画像データへ変換する変換処理以下、3D化処理というが実行された後、S110へ処理を進める。S110で全体制御演算部611は、第1メモリ610に書き込まれた画像データを読出し、現像処理と圧縮伸張処理を行い、記録媒体614へデータを書き込む記録処理を行う。あるいは、立体視表示用の画像データまたは2D画像データに従って表示部613の画面に画像を表示する処理が行われる。そしてS103に戻って処理を続行する。次に図3AおよびB、図5Bを用いて2D駆動モードおよび3D駆動モードについて説明する。まず、2D駆動モードで撮像素子606を駆動する場合、図3Bの全PD301a-dに発生した電荷は、転送スイッチ素子302a-dの全てに転送パルスφTXを与えることで転送されてFD304に読出される。つまり、FD304にて4画素の信号が加算されて蓄積される。その後、選択パルスφSELによって選択スイッチ素子306で選択された画素の信号電荷は電圧に変換され、信号線202を経て読出し回路206に出力される。さらに水平走査回路207で駆動された選択スイッチ素子204により、出力信号が選択され、該信号は出力アンプ208を経て撮像素子606の外部に出力される。他方、3D駆動モードで撮像素子を駆動する場合、まず、第1の組PD301a、PD301cに発生した電荷は、転送スイッチ素子302a、302cに転送パルスφTXを与えることで転送されてFD304に読出される。FD304にて2画素の信号が加算されて蓄積される。その後、2D駆動モードと同様に信号線202、読出し回路206、出力アンプ208を経て撮像素子606の外部に第1の画像データに相当する信号が出力される。次に、第2の組PD301b、PD301dに発生した電荷は、転送スイッチ素子302b、302dに転送パルスφTXを与えることで転送されてFD304に読出される。FD304にて2画素の信号が加算されて蓄積される。その後、信号線202、読出し回路206、出力アンプ208を経て撮像素子606の外部に第2の画像データに相当する信号が出力される。次に、図6を用いて3D強調処理、3D化処理について説明する。撮像信号処理回路608は3D強調回路608a、3D変換回路608bを備え、これらは切替スイッチ素子608cによって選択的に使用される。2D駆動モードでの撮影の場合、切替スイッチ素子608cは第2接点802に切り替わり、3D変換回路608bに接続される。3D変換回路608bは、取得した2D画像データについて画像認識処理を実行し、主被写体と前景および背景の画像データに分離する。また、3D変換回路608bは第2メモリ616から距離LM、距離L1乃至Lnを読出して、主被写体までの距離LMと主被写体以外の前景および背景までの距離L1乃至Lnとの差を算出する。算出結果に基づき、3D変換回路608bは、3D感が得られる視差となるように前景および背景のデータを移動させた2枚の画像を作成して画像データを出力する。3D駆動モードの場合には、以下の2通りの処理が実行される。十分に3D感が得られる条件下での撮影の場合、切替スイッチ素子608cは第3接点803に切り替わり、取得した画像データはそのまま出力されて後処理が行われ、立体視表示用の画像データが生成される。また、十分に3D感が得られない条件下での撮影の場合図1のS109参照、切替スイッチ素子608cは第1接点801に切り替わって3D強調回路608aに接続される。3D強調回路608aは、取得した2枚の3D画像について画像認識処理を実行し、主被写体と前景および背景の画像データに分離する。また3D強調回路608aは第2メモリ616から距離LM、距離L1乃至Lnのデータを読出し、主被写体までの距離LMと主被写体以外の前景および背景までの距離L1乃至Lnとの差を算出する。3D強調回路608aは、3D感が得られる視差となるようにそれぞれの画像の前景および背景のデータを移動させた2枚の画像を作成して画像データを出力する。本実施形態によれば、各マイクロレンズに対して複数のPDを有する撮像素子を使用した撮像装置において、撮影シーンに応じて撮像素子の駆動制御および画像処理が行われる。つまり、撮影条件から3D撮影に適しているか否かが判定され、3D撮影に適した条件下では3D駆動モードでの撮影動作が行われ、また、3D撮影に適さない条件下では2D駆動モードでの撮影が行われる。これにより、多くのシーンで高画質な3D画像を取得でき、ユーザは3D撮影可能なシーンの選択についての判断に煩わされないので、利便性が向上する。