"被写体像が結像される所定の焦点面の近傍に二次元状に配置された複数の正レンズと、前記複数の正レンズの各々に対応して当該正レンズの後側に配置された複数の受光素子を有する第1の撮像素子と、前記複数の正レンズの各々について、前記第1の撮像素子の出力から、当該正レンズに像が結ばれた被写体までの距離を表す値を算出する距離算出手段と、前記第1の撮像素子に複数回の撮像をそれぞれ異なる電荷蓄積時間で連続して行わせる制御手段と、前記距離算出手段により算出された複数の距離を表す値を当該値に対応する正レンズの位置に応じて二次元状に配列したデータであるデプスマップを、前記第1の撮像素子により連続して行われた複数回の撮像の各々について作成するデプスマップ作成手段と、前記デプスマップ作成手段により作成された複数回の撮像にそれぞれ対応する複数の前記デプスマップを合成して合成デプスマップを作成する合成手段と、を備えることを特徴とする撮像装置。請求項1に記載の撮像装置において、前記距離算出手段により算出された複数の距離を表す値の各々について、当該値の信頼度を算出する信頼度算出手段を更に備え、前記合成手段は、前記複数のデプスマップをそれぞれ構成する複数の距離を表す値のうち、前記信頼度算出手段により算出された前記信頼度が相対的に高い値を選択して前記合成デプスマップを作成することを特徴とする撮像装置。請求項1または2に記載の撮像装置において、前記距離を表す値はデフォーカス量であることを特徴とする撮像装置。請求項1~3のいずれか一項に記載の撮像装置において、前記所定の焦点面とは異なる面に結像された前記被写体像を撮像し画像信号を出力する第2の撮像素子を更に備え、前記制御手段は、前記第2の撮像素子による撮像と同期して、前記第1の撮像素子に複数回の撮像を連続して行わせることを特徴とする撮像装置。請求項4に記載の撮像装置において、前記合成手段は、前記第2の撮像素子から出力された前記画像信号を解析した結果に基づき前記合成デプスマップを作成することを特徴とする撮像装置。請求項4または5に記載の撮像装置において、被写体光を2つの光束に分岐させ、一方の光束を前記複数の正レンズに、他方の光束を前記第2の撮像素子にそれぞれ向かわせる分岐手段を更に備えることを特徴とする撮像装置。特許文献1に記載された撮像装置には、画角内の輝度差が大きい場合に正確なデプスマップを得ることができないという問題があった。請求項1に係る発明は、被写体像が結像される所定の焦点面の近傍に二次元状に配置された複数の正レンズと、複数の正レンズの各々に対応して当該正レンズの後側に配置された複数の受光素子を有する第1の撮像素子と、複数の正レンズの各々について、第1の撮像素子の出力から、当該正レンズに像が結ばれた被写体までの距離を表す値を算出する距離算出手段と、第1の撮像素子に複数回の撮像をそれぞれ異なる電荷蓄積時間で連続して行わせる制御手段と、距離算出手段により算出された複数の距離を表す値を当該値に対応する正レンズの位置に応じて二次元状に配列したデータであるデプスマップを、第1の撮像素子により連続して行われた複数回の撮像の各々について作成するデプスマップ作成手段と、デプスマップ作成手段により作成された複数回の撮像にそれぞれ対応する複数のデプスマップを合成して合成デプスマップを作成する合成手段と、を備えることを特徴とする撮像装置である。本発明によれば、画角内の輝度差が大きい場合であっても正確なデプスマップを得ることができる。第1の実施の形態本発明の第1の実施の形態に係る撮像装置について説明する。第1の実施の形態に係る撮像装置は、被写体像を撮像して画像データを作成すると共に、当該画像データと同一の解像度を有するデプスマップ後述を作成する。そして、これら画像データとデプスマップとを関連付けて不図示の記憶媒体例えばメモリカードやハードディスクドライブなどに記憶する。図1は、本発明の第1の実施の形態による撮像装置の構成を示す図であり、図2はマイクロレンズアレイ12および副撮像素子13の拡大図である。撮像装置1は被写体像を所定の焦点面に結像させる撮影レンズ11を備えている。撮像装置1は更に、被写体光を二方向に分岐させるペリクルミラー21を備えており、分岐された被写体光の一方は主撮像素子23に、他方は副撮像素子13に向かう。ペリクルミラー21と副撮像素子13との間にはマイクロレンズアレイ12が設けられている。通常、マイクロレンズアレイ12と副撮像素子13との間隔はマイクロレンズアレイ12を構成するマイクロレンズMLの焦点位置近傍に副撮像素子13の受光面があるように定められるが、図1および図2では説明のため実際よりも広く描いている。マイクロレンズアレイ12は、正レンズであるマイクロレンズMLを複数有しており、これら複数のマイクロレンズMLは二次元状に配列されている。副撮像素子13のマイクロレンズアレイ12に相対する撮像面には、複数の受光素子が二次元状に配列されている。これらの受光素子は一定数毎にグループ化され、各々のグループ受光素子配列30が各マイクロレンズMLに対応する。以下、このグループを受光素子配列と呼ぶ。本実施形態では、5行5列に配列された25個の受光素子から成る受光素子配列30が、各々のマイクロレンズMLに対応する1つのグループとなっている。なお、図2に示すマイクロレンズアレイ12は、便宜上25個のマイクロレンズMLを有するかのように描写されているが、実際にはより多くのマイクロレンズMLを有している。同様に、副撮像素子13が有する受光素子配列30も、実際には図2に示す数より多い。受光素子配列30を構成する個々の受光素子は、撮影レンズ11の射出瞳とほぼ共役な位置に配置されている。その結果、受光素子配列30を構成する個々の受光素子は当該受光素子配列30に対応するマイクロレンズMLを介して、撮影レンズ11の射出瞳の異なる領域からの光束をそれぞれ受光する。なお、あるマイクロレンズMLに入射した被写体光が、当該マイクロレンズMLに対応する受光素子配列30に隣接する他の受光素子配列30に迷光として入射することがある。このような迷光を防止するため、各マイクロレンズMLの間の境界部に遮光マスクを設けたり、マイクロレンズアレイ12と副撮像素子13との間に各受光素子配列30を仕切る仕切部材を設けたりすることが望ましい。図1および図2ではこのような部材の図示を省略している。撮影レンズ11とマイクロレンズアレイ12の前側主面との位置関係は、撮影レンズ11と主撮像素子23の撮像面受光面との位置関係と光学的に等価である。主撮像素子23および副撮像素子13の撮像面には、不図示の光学的ローパスフィルターや赤外線カットフィルター等が設けられている。なお、図1において撮影レンズ11は1枚のレンズとして模式的に示しているが、これらを複数のレンズで構成するものとしてもよい。撮像装置1は以上で述べた各部を制御する制御回路40を更に備えている。制御回路40はマイクロプロセッサやその周辺回路等から構成されており、図示しない記憶媒体例えばフラッシュメモリなどに予め記憶されている制御プログラムを読み込んで実行することにより、上述した各部を制御する。なお制御回路40を、この制御プログラムと同等の機能を有する電子回路により構成することも可能である。制御回路40は、例えばユーザが不図示のレリーズボタンを押下することにより、主撮像素子23に撮像を行わせる。そして、この撮像により主撮像素子23から出力された画像信号に種々の画像処理を実行して画像データを作成し、不図示の記憶媒体に画像データを記憶する。図3は、撮像装置1の撮像シーケンスを示すタイムチャートである。図3に示すように、制御回路40は主撮像素子23により撮像が行われるとき、並行して副撮像素子13による3回の撮像を行う。この3回の撮像において、制御回路40は副撮像素子13の受光素子の露光時間電荷蓄積時間をそれぞれ異なる時間に設定する。例えば図3において、1回目の撮像R1の露光時間は、2回目の撮像R2の露光時間よりも短くなっている。また、3回目の撮像R3の露光時間は、1回目の撮像R1の露光時間よりも更に短いものとなっている。これら3回の撮像が完了すると、制御回路40は撮像の結果として副撮像素子13からそれぞれ出力される3つの受光信号に基づいて、上述の画像データに対応するデプスマップ後に詳述を作成する。そして、画像データとデプスマップとを関連付けて不図示の記憶媒体に記憶する。以下、デプスマップの詳細と、制御回路40が3回の撮像の結果として得られた3つの受光信号からデプスマップを作成する手順と、について説明する。デプスマップの説明デプスマップとは、画像データを多数の領域に分割したときこれら各領域に対応する被写体部分までの距離を表す値を、画像データに対応させて二次元状に複数配列したデータである。つまりデプスマップは各被写体部分の奥行きdepthを画像データ全体にマッピングしたデータであり、換言すれば、被写体までの距離の分布情報である。本実施形態のデプスマップは、マイクロレンズアレイ12を構成する各々のマイクロレンズMLについて、当該マイクロレンズMLの前後に像が結ばれた被写体までの距離を表す値であるデフォーカス量を、当該マイクロレンズMLの位置に応じて二次元状に配列したデータをデプスマップと呼ぶ。ここでデフォーカス量とは、被写体像の結像位置と所定の基準面焦点検出面との変位を表す数値である。被写体までの距離は、デフォーカス量と撮影レンズ11の焦点距離並びに焦点調節面情報により決まることは光学上明らかである。デフォーカス量の算出方法の説明デプスマップ作成処理に先立ち、まずマイクロレンズアレイ12および副撮像素子13によるデフォーカス量の算出方法について説明する。図4は、デフォーカス量の算出方法を説明するための模式図である。この図4は、被写体光がマイクロレンズアレイ12および副撮像素子13に入射する様子を模式的に示した図であり、図2に示したマイクロレンズアレイ12および副撮像素子13を図2に示したX平面で切断した断面図となっている。図4に示す通り、マイクロレンズアレイ12および副撮像素子13は、各受光素子配列30が有する受光素子のマイクロレンズMLによる像が、各マイクロレンズMLの頂点より被写体側の結像面5bに結ぶように配置されている。5bの位置は撮影レンズ11の射出瞳と一致するのが理想的だが、この位置からずれていても、射出瞳面上におけるのボケ像が分離十分に小さければよい。このように構成された副撮像素子13から出力される受光信号に対し、以下に説明する演算を行うことで、デフォーカス量を算出することができる。まず、連続する受光素子配列30から相対的に同じ位置の受光素子を選択した第1受光素子列を規定する。例えば、各受光素子配列30において左端から2番目の受光素子cを選択した第1受光素子列Cを考える。同様に、これとは異なる位置の受光素子を各受光素子配列30から選択した第2受光素子列を規定する。例えば、各受光素子配列30において左端から4番目の受光素子dを選択した第2受光素子列Dを考える。そして、第1受光素子列の出力と第2受光素子列の出力とのズレを比較することにより、デフォーカス量を算出する。具体的には、まず上述した第1受光素子列Cを構成する各受光素子の出力をA/D変換したデータである第1信号列{ai}=a1,a2,...を作成する。次に、上述した第2受光素子列Dを構成する各受光素子の出力をA/D変換したデータである第2信号列{bi}=b1,b2,...を作成する。これらの各信号列は、副撮像素子13から出力された受光信号から得ることができる。次に、このようにして得られた第1信号列{ai}と第2信号列{bi}とから周知の方法で像ずれ演算を行い、この演算結果に基づいてデフォーカス量を算出する。2つの信号列からデフォーカス量を算出する方法はよく知られており、例えば特開昭60-37513号公報および特開昭61-243416号公報に記載の方法を用いることができる。より具体的には、第1信号列{ai}と第2信号列{bi}i=1,2,...とから、これらの信号列の相関量CNを次式1により求める。ここでNは第1信号列{ai}と第2信号列{bi}とのずれ量を表す数であり、シフト数と呼ぶ。またp1およびp2は各信号列の所定範囲を表す。ここで、シフト数を一定範囲例えば-10~10において例えば1ずつ変化させながら各シフト数に対応する相関量CNを求め、この一定範囲における相関量CNの極小値をC0、また極小値を与えるシフト数をN0とする。次に、こうして得られた大ざっぱなシフト数N0から、より精緻なシフト数Naを、次式2~6により求める。Cr=CN0-1...2Cf=CN01...3DL=Cr-Cf/2...4E=MAX{Cf-C0,Cr-C0}...5Na=N0DL/E...6このようにして算出されたNaに焦点検出面の位置に応じた補正量定数constを加えることにより、焦点検出面上での像ずれ量Δn=Naconstを算出する。最終的なデフォーカス量Dfは、この像ずれ量Δnと検出開角に依存した定数Kfとを用いた次式7により算出することができる。Df=Kf×Δn...7以上のような演算を行うことにより、所定範囲i=p1からi=p2に対応する被写体像に対するデフォーカス量を算出することができる。また、このデフォーカス量Dfに付随する信頼性パラメータPを、次式8および9により算出しておく。Cex=C0-|DL|...8P=Cex/E...9この信頼性パラメータPは、デフォーカス量Dfの信頼性を表しており、Pが0に近いほど対応するデフォーカス量Dfの信頼性が高いことを意味する。なお、上式9により算出されるPではなく、例えば上式8により算出されるCexや、上式5により算出されるEなどを信頼性パラメータとして用いてもよい。Cexを信頼性パラメータとして用いる場合は、Cexが小さいほど信頼性が高いものとして扱えばよい。また、Eを信頼性パラメータとして用いる場合は、Eが大きいほど信頼性が高いものとすればよい。デプスマップの作成手順の説明以下の説明では、便宜上、副撮像素子13を用いて連続して行われる3回の撮像を、第1撮像、第2撮像、および第3撮像と称する。図3に示したタイムチャートの通り、露光時間は第2撮像R2が最も長く、第3撮像R3が最も短い。また、これらの撮像により副撮像素子13から出力される3つの受光信号を順に第1受光信号、第2受光信号、および第3受光信号と称する。つまり、第1撮像に対応して第1受光信号が、第2撮像に対応して第2受光信号が、第3撮像に対応して第3受光信号が、それぞれ副撮像素子13から出力される。図5は、制御回路40によるデプスマップ作成処理を示すフローチャートである。図5に示す処理はすべて制御回路40により実行される。まずステップS10において、副撮像素子13に第1撮像を行わせて第1受光信号を出力させる。ステップS20では、副撮像素子13に第2撮像を行わせて第2受光信号を出力させる。ステップS30では、副撮像素子13に第3撮像を行わせて第3受光信号を出力させる。ステップS40では、第1受光信号に基づいて横由来デプスマップ作成処理を実行し、第1の横由来デプスマップを作成する。ステップS50では、第1受光信号に基づいて縦由来デプスマップ作成処理を実行し、第1の縦由来デプスマップを作成する。ステップS60では、第2受光信号に基づいて横由来デプスマップ作成処理を実行し、第2の横由来デプスマップを作成する。ステップS70では、第2受光信号に基づいて縦由来デプスマップ作成処理を実行し、第2の縦由来デプスマップを作成する。ステップS80では、第3受光信号に基づいて横由来デプスマップ作成処理を実行し、第3の横由来デプスマップを作成する。ステップS90では、第3受光信号に基づいて縦由来デプスマップ作成処理を実行し、第3の縦由来デプスマップを作成する。ステップS100では、ステップS40、ステップS60、ステップS80でそれぞれ作成された3つの横由来デプスマップを合成して第4の横由来デプスマップを作成する。具体的には、各々のデプスマップに付随した信頼性パラメータを各点毎に比較して、信頼性パラメータが最も高いと判定されたデプスマップの当該点におけるマップの値を当該点のデフォーカス値として採用し、採用したデフォーカス値を並べて第4の横由来デプスマップを作成する。ステップS110では、ステップS100と同様に3つの縦由来デプスマップを合成して第4の縦由来デプスマップを作成する。すなわち、ステップS50、ステップS70、ステップS90でそれぞれ作成された3つの縦由来デプスマップについて、各々のデプスマップに付随した信頼性パラメータを各点毎に比較する。そして、信頼性パラメータが最も高いと判定されたデプスマップの当該点におけるマップの値を当該点のデフォーカス値として採用し、採用したデフォーカス値を並べて第4の縦由来デプスマップを作成する。ステップS120では、ステップS100で作成した第4の横由来デプスマップと、ステップS110で作成した第4の縦由来デプスマップと、から仮デプスマップを作成する。この仮デプスマップは、マイクロレンズアレイ12が有するマイクロレンズMLの数に応じた解像度のデータである。ステップS130では、ステップS120で作成した仮デプスマップと主撮像素子23により撮像された画像データとから、当該画像データの解像度に合致する本デプスマップを作成する。この本デプスマップが、主撮像素子23により撮像された画像データと共に用いられる、最終的なデプスマップである。横由来デプスマップ作成処理の説明図4のステップS40、ステップS60、およびステップS80において制御回路40により実行される横由来デプスマップ作成処理について説明する。以下の説明では、マイクロレンズアレイ12が横にK個、縦にM個のマイクロレンズMLから構成されているものとする。図6は、横由来デプスマップ作成処理を説明するための模式図である。横由来デプスマップ作成処理を開始するに当たって、制御回路40はまずマイクロレンズアレイ12を図6aに示すように横一列ごとのグループ50に区切る。これにより、M個のグループ50が作成される。制御回路40は、このようにして作成された各グループ50に対して、以下で説明する処理を実行する。なお図6では、このようにして区切られたグループ50を構成するマイクロレンズMLに対して左から順に、1から始まる説明のための番号を割り当てている。次に制御回路40は、図6bに示すように、当該グループ50の左端より、像ずらし代分本実施形態では3としているだけ右方からマイクロレンズMLを所定数だけ選択する。本実施形態では、この所定数は5である。すなわち、制御回路40はグループ50の左端から3番目より5つのマイクロレンズML3番目のマイクロレンズMLから7番目のマイクロレンズMLまでを選択する。制御回路40はこのようにして選択された5つのマイクロレンズMLに対して上述したデフォーカス演算を行い、デフォーカス量Dfを算出する。算出されたデフォーカス量Dfは、このとき選択された5つのマイクロレンズMLのうち中央に位置するマイクロレンズML5番目のマイクロレンズMLに関連付けられる。制御回路40はその後、図6cに示すように、左から4番目のマイクロレンズMLから、左から8番目のマイクロレンズMLまで、5つのマイクロレンズMLを選択し、同様にデフォーカス量Dfを算出する。そして、上述した場合と同様に、中央のマイクロレンズML6番目のマイクロレンズMLに関連付ける。このように制御回路40は、対象とするマイクロレンズMLを1つずつ右へずらしながら、当該グループ50に対して上述の選択とデフォーカス量Dfの算出とを繰り返す。以上の処理をM個のグループ50について実行することにより、図7aに示すように、マイクロレンズアレイ12を構成する全てのマイクロレンズMLのうち、網掛けの範囲を除く範囲56の各マイクロレンズMLに対し、デフォーカス量Dfが関連付けられることとなる。横由来デプスマップは、こうして各マイクロレンズMLに関連付けられたデフォーカス量Dfを、マイクロレンズMLの位置に基づいて二次元状に配列したデータである。なお、網掛けの範囲の各マイクロレンズMLに対応するデフォーカス量Dfは、例えば隣接するマイクロレンズMLに対応するデフォーカス量Dfなどから外挿することが可能である。従って、最終的に作成される横由来デプスマップに含まれるデフォーカス量の数は、マイクロレンズアレイ12を構成するマイクロレンズMLの数に等しくなる。なお、図4のステップS50、ステップS70、およびステップS90において制御回路40により実行される縦由来デプスマップ作成処理は、上述した横由来デプスマップ作成処理を縦方向に対して同様に実行する処理であるので説明を省略する。この縦由来デプスマップ作成処理により、図7bに示すように、マイクロレンズアレイ12を構成する全てのマイクロレンズMLのうち、網掛けの範囲を除く範囲57の各マイクロレンズMLに対し、デフォーカス量Dfが関連付けられることとなる。縦由来デプスマップは、こうして各マイクロレンズMLに関連付けられたデフォーカス量Dfを二次元状に配列したデータである。なお制御回路40は、デフォーカス演算の結果、例えば信頼性パラメータPが著しく大きいなどの原因で、デフォーカス量を正しく算出できなかった場合には、当該デフォーカス量を周囲上下左右のマイクロレンズMLのデフォーカス量から内挿して求め、横由来デプスマップおよび縦由来デプスマップを作成する。第4の横由来デプスマップを作成する処理の説明図4のステップS100において制御回路40により実行される、第1~第3の横由来デプスマップを合成して第4の横由来デプスマップを作成する処理について説明する。図8は、第4の横由来デプスマップの作成処理を説明する図である。図8aは第1の横由来デプスマップ61とその信頼性マップ62とを示している。信頼性マップ62は、第1の横由来デプスマップ61を構成する各デフォーカス量について算出された信頼性パラメータPを、各デフォーカス量と同様に配列したものである。なお、説明を簡単にするため、図8aに示した信頼性マップ62を構成する各数値は、上述した信頼性パラメータPを0~5の整数に正規化したものとしている。正規化した整数は、信頼性パラメータPが0に近いほど大きくなるようにしている。つまり、図8aに示す信頼性を表す整数は、大きいほど対応するデフォーカス量の信頼性が高いことを意味する。以下、図8の説明では、この正規化された整数を信頼性パラメータと呼ぶ。図8bは図8aと同様に第2の横由来デプスマップ71とその信頼性マップ72を、図8cは図8aと同様に第3の横由来デプスマップ81とその信頼性マップ82を、それぞれ示した図である。また、図8dは図8a~cに示した3つの横由来デプスマップから作成される第4の横由来デプスマップを示す図である。なお、図8では説明を簡単にするため、各デプスマップを5行5列の大きさとしている。以下の説明では、各点の位置を横座標値,縦座標値の形式で示す。例えば、デフォーカス量a42の位置を4,2のようにして示す。制御回路40は、第1~第3の横由来デプスマップにおいて、各点の信頼性パラメータを比較する。そして、最も信頼性パラメータが大きい信頼性が高いデフォーカス量を、第4の横由来デプスマップにおける当該位置のデフォーカス量として採用する。例えば1,1の点では、第1~第3の横由来デプスマップの信頼性パラメータはそれぞれ4,3,0である。従って制御回路40は、最も信頼性パラメータが大きいデフォーカス量a11を、当該位置のデフォーカス量として採用する。なお制御回路40は、信頼性パラメータが0であるデフォーカス量は、信頼性が不十分であるとして一切採用しない。例えば1,4や4,5のように、信頼性パラメータが最も大きいデフォーカス量が2つ以上ある場合、制御回路40は予め定められた優先順位に従って、採用するデフォーカス量を決定する。本実施形態では第1の横由来デプスマップを最も優先し、次いで第2の横由来デプスマップ、第3の横由来デプスマップの順にデフォーカス量を決定する。従って、例えば1,4のデフォーカス量はa14となる。また、信頼性パラメータが全て0であるような点のデフォーカス量は、周囲の点のデフォーカス量から内挿した値を採用する。例えば2,2の信頼性パラメータは、第1~第3の横由来デプスマップ全てにおいて0となっている。つまり、どの横由来デプスマップのデフォーカス量も十分な信頼性がない。そこで制御回路40は、2,2のデフォーカス量を周囲の点のデフォーカス量から内挿することにより求める。なお、図4のステップS110において制御回路40により実行される、第1~第3の縦由来デプスマップに基づいて第4の縦由来デプスマップを作成する処理は、上述した第4の横由来デプスマップを作成する処理と同様であるので説明を省略する。仮デプスマップを作成する処理の説明図4のステップS120において制御回路40により実行される、第4の横由来デプスマップと第4の縦由来デプスマップとに基づいて仮デプスマップを作成する処理について説明する。制御回路40は第4の横由来デプスマップと第4の縦由来デプスマップとの両方にデフォーカス量が含まれている各点について、横由来デプスマップ上のデフォーカス量と、縦由来デプスマップ上のデフォーカス量とを比較し、大きい方被写体が遠いことを表す方のデフォーカス量を仮デプスマップにおけるデフォーカス量として採用する。このように、より大きいデフォーカス量を優先するのは、近距離の被写体と遠距離の被写体との境界近傍におけるデフォーカス量が、近距離の被写体の影響を受けやすい、という理由による。本デプスマップを作成する処理の説明図4のステップS130において制御回路40により実行される、画像データと仮デプスマップとに基づいて本デプスマップを作成する処理について説明する。本実施形態において、主撮像素子23の出力から作成される画像データの解像度画素数は、仮デプスマップの解像度デフォーカス量の数よりも大きい。これは、画像データの解像度が主撮像素子23の受光素子数に応じて決まるのに対し、仮デプスマップの解像度はマイクロレンズアレイ12のマイクロレンズ数に応じて決まるためである。実際に画像データとデプスマップとを組み合わせて利用する場合には、このような解像度の違いを解消する必要がある。そこで制御回路40は、以下の処理を実行することにより、仮デプスマップの解像度を画像データの解像度に合わせて拡大した本デプスマップを作成する。図9は、仮デプスマップから本デプスマップを作成する処理を説明するための図である。以下、仮デプスマップに含まれるデフォーカス量の数が画像データの画素数に対して5分の1であるとして説明を行う。図9aは、仮デプスマップに含まれる一部のデフォーカス量を抜き出して示した図であり、縦軸がデフォーカス量の大小被写体の遠近を、横軸が画像データにおける当該デフォーカス量の位置をそれぞれ表している。各デフォーカス量は黒い点d1~d4で示されており、この黒い点d1~d4が図の上方向であるほど、当該位置の被写体が撮影レンズ11に近い場所に存在することを意味している。図9aは仮デプスマップから一例として4つのデフォーカス量を含む一部分を抜き出して示している。これらの各デフォーカス量は画像データの画素よりも疎であり、デフォーカス量が割り当てられていない画素が各デフォーカス量の間に4つ存在している。制御回路40は、まず既存のデフォーカス量黒い点d1~d4で示されているデフォーカス量から、それらのデフォーカス量の間のデフォーカス量を、例えば線型補間や多項式補間などの周知の演算方法により内挿する。この内挿の様子を行った結果の一例を図9bに示す。図9bにおいて、白い点で示されているのが、内挿されたデフォーカス量である。次に制御回路40は、画像データに含まれる各画素に対して周知のエッジ検出演算を行う。そして、エッジが検出された箇所において被写体の遠近が変化していると仮定し、図9bに示す内挿結果を修正する。図9cに、隣り合う画素の輝度の変化に基づくエッジ検出を行った場合の例を示す。図9cの下部に描画されている、網掛けされた点pが、画像データに含まれる各画素の輝度値を表している。図9cにおいて、隣り合う点p1と点p2において、輝度が大きく変化している。そこで制御回路40は、点p1と点p2との間においてエッジを検出する。制御回路40はエッジが検出されたことに応じて、図9cの上部に実線で示すように、破線で示した図9bの内挿結果を修正する。具体的には、当該エッジ部分の左右に位置する2つの黒い点d2,d3それぞれ仮デプスマップに含まれるデフォーカス量を表しているのうち、被写体に近い方の黒い点d2が、エッジ部分まで一定であるものとする。そして、この修正結果に基づいて、エッジ部分から被写体に遠い方の黒い点d3と更に1つ先の黒い点d4までの内挿をやり直す。このような修正を行うのは、上述したように、近距離の被写体と遠距離の被写体との境界におけるデフォーカス量が近距離の被写体の影響を受けやすいためである。最終的に作成される本デプスマップの様子を図9dに示す。このように作成された本デプスマップの解像度は、主撮像素子23から得られた画像データと同一である。制御回路40は本デプスマップを、例えば各デフォーカス量の大小をピクセルの濃淡に置き換えたモノクロ画像として、周知のTIFFTaggedImageFileFormat形式などで不図示の記憶媒体に記憶する。上述した第1の実施の形態による撮像装置によれば、次の作用効果が得られる。1マイクロレンズアレイ12は二次元状に配置された複数のマイクロレンズMLを有し、所定の焦点面の近傍に配置される。副撮像素子13は、複数のマイクロレンズMLの各々に対応して当該マイクロレンズMLの後側に配置された受光素子配列30を有する。制御回路40は、副撮像素子13に複数回の撮像をそれぞれ異なる電荷蓄積時間で連続して行わせる。そして、複数のマイクロレンズMLの各々について、副撮像素子13の出力から、当該マイクロレンズMLに像が結ばれた被写体までの距離を表す値を算出し、この値を二次元状に配列して横由来デプスマップおよび縦由来デプスマップを作成する。制御回路40はこれを副撮像素子13により連続して行われた複数回の撮像の各々について繰り返し、第1~第3の横由来デプスマップおよび第1~第3の縦由来デプスマップを作成する。その後に制御回路40は、第1~第3の横由来デプスマップを合成して第4の横由来デプスマップを作成すると共に、第1~第3の縦由来デプスマップを合成して第4の縦由来デプスマップを作成する。このようにしたので、画角内の輝度差が大きい場合であっても正確なデプスマップを得ることができる。2制御回路40は、複数の距離を表す値の各々について、当該値の信頼性パラメータを算出する。そして、第1~第3の横由来縦由来デプスマップをそれぞれ構成する複数の距離を表す値のうち、信頼性パラメータが相対的に高い値を選択して第4の横由来縦由来デプスマップを作成する。このようにしたので、画角内の輝度差が大きい場合であっても正確なデプスマップを得ることができる。3制御回路40は、デフォーカス量を配列してデプスマップを作成する。このようにしたので、デフォーカス量の算出と並行して信頼性パラメータの算出を行うことができる。4制御回路40は、被写体像を撮像し画像信号を出力する主撮像素子23による撮像と同期して、副撮像素子に複数回の撮像を連続して行わせる。このようにしたので、高解像度の画像とデプスマップとを同時に得ることが可能となる。5制御回路40は、主撮像素子23から得られた画像データを解析した結果に基づき本デプスマップを作成する。このようにしたので、より画像データに適合するデプスマップを得ることが可能となる。第2の実施の形態第2の実施の形態に係る撮像装置は、第1の実施の形態に係る撮像装置1と同様の構成を備える。なお、以下の説明では、第1の実施の形態に係る撮像装置1と同一の回路および装置については第1の実施の形態と同一の符号を付し、説明を省略する。図10は、第2の実施の形態に係る撮像装置の構成を示す模式図である。この撮像装置は、ペリクルミラー21により被写体光を分岐させる構成図1に示した構成の代わりに、被写体光が入射する2つの撮影レンズ11a、11bを有している。そして、撮影レンズ11aを透過した被写体光は主撮像素子23に入射し、撮影レンズ11bを透過した被写体光はマイクロレンズアレイ12および副撮像素子13に入射するように構成されている。上述した第2の実施の形態による撮像装置によれば、第1の実施の形態による撮像装置1に比べて、各撮像素子に入射する被写体光の光量が増加し、よりよい撮像結果を得ることができる。なお、撮影レンズを1つにしたままで、図1に示すペリクルミラー21をクイックリターンミラーにすることもできる。このような構成にした場合、まずミラーアップを行って主撮像素子23による撮像を行い、その後にミラーダウンおよび副撮像素子13による撮像を行えばよい。このような構成にした場合であっても、第2の実施の形態と同様に、各撮像素子に入射する被写体光の光量を増加させることができる。次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。変形例1上述した各実施の形態では、仮デプスマップから本デプスマップを作成するに際し、画像データにエッジ検出を施した結果を利用していた。最終的なデプスマップを形成するための画像データの利用方法は、このようなものに限定されない。例えば、主撮像素子23から得られた画像データに周知の2D3D変換技術単一の画像から立体画像を生成する技術を用いて上記の画像データを立体に変換したデータを作成し、このデータを用いてデプスマップを作成してもよい。このような2D3D変換技術には、例えば特開2002-123842号公報に記載されたものを利用することが可能である。変形例2上述した各実施の形態において、横由来デプスマップと縦由来デプスマップの作成およびそれらの合成は省略することが可能である。すなわち、初めから横由来デプスマップまたは縦由来デプスマップのいずれか一方のみを作成し、第4の横由来デプスマップまたは第4の縦由来デプスマップのいずれか一方を仮デプスマップとすることができる。また、横由来デプスマップおよび縦由来デプスマップを作成する際の、各グループ50の向きは、横方向や縦方向以外の方向であってもよい。例えば、斜め方向に並んだマイクロレンズMLの列を選択してグループ50としてもよい。変形例3副撮像素子13による複数回の撮像は2回以上であれば何回であってもよい。また、露光時間の長短は順序を問わない。第1の実施の形態では2回目の撮像の露光時間が最も長く、3回目の撮像の露光時間が最も短いが、これらを入れ替えることも可能である。変形例4マイクロレンズアレイ12を構成する各マイクロレンズMLの向きや配列は上述した実施の形態のものに限定されない。例えば図11に示すように、マイクロレンズMLが千鳥配列となっていてもよい。また、図2に示すように、第1の実施の形態に係る副撮像素子13では各々の受光素子配列30がそれぞれ独立に存在している。すなわち、各々の受光素子配列30が明確に区切られている。このようにするのではなく、図11に示すように、副撮像素子13の撮像面上に受光素子が連続的に存在するようにしてもよい。変形例5上述した各実施の形態において作成されるデプスマップは、デフォーカス量を配列したデータであった。本発明が対象とするデプスマップは、このような形式のデプスマップに限定されず、被写体の遠近を表す値であればどのようなデータでも利用することができる。変形例6主撮像素子23により撮像される被写体範囲よりも、副撮像素子13により撮像される被写体範囲を広めにしてもよい。このようにすることで、デプスマップの周辺部を作成するための外挿が不要になる。変形例7制御回路40によるデプスマップの作成処理を、撮像装置1の外部に存在する装置に実行させる構成としてもよい。例えば主撮像素子23から得られた画像データと副撮像素子13による複数回の撮像の結果とをそのまま記憶媒体等に書き出すようにし、撮像装置1の外部に、これを読み込んで上述したデプスマップの作成処理を実行する装置を設けることができる。同様に、デプスマップの作成処理を途中まで実行し、その結果の中間データを外部の装置に受け渡すことも可能である。変形例8マイクロレンズアレイ12と副撮像素子13とを用いて、任意の焦点面にピントがあった画像や任意の絞り値を再現した画像を合成する技術が知られている。上述した各実施形態における撮像装置に、このような画像の合成機能を付加してもよい。その他、副撮像素子13による撮像の結果から異なる視点の複数の画像を合成するステレオカメラや、レンチキュラー式表示装置用の多視点画像を合成する装置として利用することも可能である。変形例9撮影画像主撮像素子23から得られた画像データの再生時に、副撮像素子13からの出力を用いて合成した多視点画像を表示装置に表示させるよう、上述した撮像装置1を構成してもよい。この場合の表示装置は撮像装置1に内蔵させてもよいし、外部に設けてもよい。このようにすることで、ユーザがデプスマップを作成した後に、当該デプスマップから合成できる立体像をよりよく想定することができるようになる。変形例10図8に示した仮デプスマップの作成方法や図9に示した本デプスマップの作成方法は一例であり、本発明はこのような実施形態に限定されない。例えば、複数のデプスマップに含まれるデフォーカス量の単純平均を取って仮デプスマップを作成することも可能である。また、仮デプスマップから内挿を行った結果図9bに示すデータをそのまま本デプスマップとしてもよい。本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。"