"光学系に配設され、被写体光束の少なくとも一部の波長帯に振幅変調を与える構造化開口と、被写体に対してパターン光を投光するパターン投光部と、前記パターン光を投影された前記被写体からの前記被写体光束を、前記構造化開口を介して受光する撮像素子とを備える撮像装置。前記構造化開口が前記振幅変調を与える波長帯および前記パターン光の波長帯は、前記撮像素子のうち、前記被写体の距離情報を算出するための補助撮影画像を生成する画素の受光波長帯を含む請求項1に記載の撮像装置。前記構造化開口が前記振幅変調を与える波長帯および前記パターン光の波長帯は、赤外波長帯である請求項2に記載の撮像装置。前記補助撮影画像と同時に被写体画像としての本撮影画像を取得する請求項2または3に記載の撮像装置。前記構造化開口は、前記光学系の光軸に対して偏心した位置に設けられた開口を有し、前記パターン光は、前記開口が第1位置にあるときと第2位置にあるときのそれぞれの中心を結ぶ線分に直交する方向にコントラストを有する請求項1から4のいずれか1項に記載の撮像装置。上述の手法を用いる場合、距離情報を取得したい被写体の表面にコントラストが存在しないと精度良く距離を算出することができない。例えば、単一色の平滑な壁面などについては距離算出が困難であった。上記課題を解決するために、本発明の態様における撮像装置は、光学系に配設され、被写体光束の少なくとも一部の波長帯に振幅変調を与える構造化開口と、被写体に対してパターン光を投光するパターン投光部と、パターン光を投影された被写体からの被写体光束を、構造化開口を介して受光する撮像素子とを備える。なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。図1は、従来の構造化開口を説明する説明図である。図1のaは、複雑な開口形状を有する構造化開口の正面図である。構造化開口は、保持枠101にフィルタ102が支持されて構成されている。フィルタ102は、被写体光束を遮断する遮断フィルタ部103と、被写体光束を透過させる透過フィルタ部104を有する。図示するように、透過フィルタ部104は2次元的に複雑な形状を有しており、これにより、被写体空間において深さ方向に異なる位置から入射する点像を、撮像素子の受光面上で特徴的な形状をもって結像させる。すなわち、このような開口形状を有する構造化開口を撮影レンズの瞳近傍に配置すれば、深さ方向である各距離に応じた点像分布関数PSFを大きく異ならせることができる。各距離に応じた点像分布関数を大きく異ならせることができれば、被写体画像の各領域における被写体までの距離を精度良く算出することができる。なおここでは、ひとつの開口形状に対応して各距離に応じたPSFが1セット用意される場合の構造化開口を、シングルコーデッドアパーチャと呼ぶ。シングルコーデッドアパーチャを用いた被写体画像から距離情報を算出する具体的な手法について説明する。被写体画像の距離情報は、被写体画像に写る各々の被写体に対するカメラからの距離を含む。算出によって得られる推定画像は、いわゆる距離画像に類する。シングルコーデッドアパーチャを介して撮影された撮影画像をy、オリジナルの被写体画像をx、PSFをfdとすると、結像方程式は式1として表される。するとPSFであるfdが既知であれば、撮影画像yを利用して式1を満たすようなオリジナル被写体画像xを推定することができる。そして、PSFの構造は、被写体の深さである基準ピント位置からのずれによって変化する。したがって、被写体の深さと、推定に使用するPSFの深さが一致しているときに、最も良好なオリジナル被写体画像を推定できる。推定プロセスは、式2で表現することができる。以上のプロセスを各深さのPSFに対して全て行い、エラーが最小となるPSFを見つけ、そのPSFに対応した深さをマップにすれば距離情報が得られる。しかし、ステップS2の解である、デコンボリュージョンエラーを最小にする推定被写体画像はひとつではないという問題がある。したがって、デコンボリュージョンエラーを最小にする推定被写体画像が、真の被写体と近似する画像とはならない場合がある。また、被写体の深さとPSFの深さが一致していなくとも、そのような特殊解を見つけてデコンボリュージョンエラーを最小にしてしまう場合がある。このような問題を解決すべく、推定被写体画像に画像らしさを評価する制約項を加える。この場合、式2は以下の式3のように表現される。関数gxが制約項である。λは制約項の重み係数である。例えば、一般的に画像は滑らかな構図を持つので、その微分値はゼロに近い。したがって、制約項に画像の微分値を示す関数を設定することにより、デコンボリュージョンエラーを最小にし、かつその微分値も小さいという画像らしさを有するオリジナル被写体画像のみが推定され、深さを精度良く推定することができる。微分値を示す関数の例としては、式4が挙げられる。以上の処理手順により深さ測定を行うことができる。図1のb-1は、円形の開口形状を有する構造化開口の正面図である。構造化開口は、保持枠111にフィルタ112が支持されて構成されている。フィルタ112は、被写体光束を遮断する遮断フィルタ部113と、被写体光束を透過させる透過フィルタ部114を有する。保持枠111は円形枠であり、その中心は撮影レンズの光軸と一致するが、円形を成す透過フィルタ部114は、光軸に対して偏心している。このように単純な円形開口を持つ構造化開口では、深さの変化に対するPSFの変化が小さいので、シングルコーデッドアパーチャとして深さを算出すると推定誤差が大きくなる。図1のaでは、複雑な開口形状とすることにより推定誤差の低減を図ったが、ここでは、b-1の状態で第1の撮影画像を取得し、b-1の構造化開口を反転させたb-2の状態で第2の撮影画像を取得することにより、推定誤差の低減を図る。つまり、b-1の開口形状に対応して各距離に応じたPSFを1セットと、b-2の開口形状に対応して各距離に応じたPSFを1セット用意する。このような場合の構造化開口を、コーデッドアパーチャペアと呼ぶ。コーデッドアパーチャペアを用いた被写体画像から距離情報を算出する具体的な手法について、説明する。コーデッドアパーチャペアの場合、開口形状が単純であるので、シングルコーデッドアパーチャにおける処理を空間周波数領域において展開することができる。異なる2つの開口によりそれぞれ撮影された第1画像と第2画像のフーリエ変換をF1、F2、各深さdについて取得したPSFのフーリエ変換をK1d、K2d、オリジナル被写体画像xのフーリエ変換をF0とすると、結像方程式は式5として表される。式5によれば、式1と比較して、畳み込み積分が単純な掛け算となることがわかる。このとき、式3に対応するデコンボリュージョンエラーを記述すると式6のようになる。深さマップの構築プロセスは以下の処理による。この手法では、シングルコーデッドアパーチャの場合とは異なり、推定プロセスを繰り返す必要がなく、かつ単純な計算式によって導き出されるので、計算速度が非常に速い。なお、シングルコーデッドアパーチャにおいてこのような手法を適用できない理由は、シングルコーデッドアパーチャのPSFは非常に複雑な形状をしているので、そのフーリエ変換もエラーが大きいからである。以上の従来の手法においては、いずれにおいても遮断フィルタ部を有する構造化開口介して撮影画像を取得するので、観賞用等としての通常の撮影画像に対しては画質が低下する。そこで、距離情報を取得するために構造化開口を介して撮影する補助撮影画像の撮影と、構造化開口を介さずに撮影する通常の撮影画像の撮影を分けて行わなければならなかった。すなわち、補助撮影画像の撮影時と通常の撮影画像の撮影時で、構造化開口を挿抜する作業を要していた。すると、両画像を取得するタイムラグにより、被写体にずれが生じる。したがって、構造化開口を挿抜して撮影動作を二度繰り返す手間に加え、本来距離情報を取得したい観賞用等の撮影画像に対して正確な距離情報が得られないという問題を抱えていた。そこで、本実施形態においては、このような問題に対処すべく、構造化開口と撮像素子に改良を加えて一眼レフカメラに適用する。以下に本実施形態について説明する。図2は、本実施形態に係る一眼レフカメラ200の要部断面図である。一眼レフカメラ200は、撮影レンズであるレンズユニット210とカメラボディであるカメラユニット230が組み合わされて撮像装置として機能する。レンズユニット210は、光軸201に沿って配列されたレンズ群211を備える。レンズ群211には、フォーカスレンズ212、ズームレンズ213が含まれる。また、光軸201に沿って、絞り214および構造化開口ユニット300も配列される。構造化開口ユニット300は、被写体光束に対して挿抜することができる。構造化開口ユニット300が被写体光束に対して挿入されると、構造化開口は、光軸201に交差して配設される。アクチュエータ215は、構造化開口ユニット300が被写体光束に対して挿入されたときに構造化開口を回転させる。レンズユニット210は、フォーカスレンズ212、絞り214およびアクチュエータ215の駆動などレンズユニット210の制御および演算を司るレンズシステム制御部216を備える。レンズユニット210を構成する各要素は、レンズ鏡筒217に支持されている。また、レンズユニット210は、カメラユニット230との接続部にレンズマウント218を備え、カメラユニット230が備えるカメラマウント231と係合して、カメラユニット230と一体化する。レンズマウント218およびカメラマウント231はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット230からレンズユニット210への電力の供給および相互の通信を実現している。カメラユニット230は、レンズユニット210から入射される被写体像を反射するメインミラー232と、メインミラー232で反射された被写体像が結像するピント板234を備える。メインミラー232は、回転軸233周りに回転して、光軸201を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板234側へ被写体像を導く場合は、メインミラー232は被写体光束中に斜設される。また、ピント板234は、撮像素子243の受光面と共役の位置に配置されている。ピント板234で結像した被写体像は、ペンタプリズム235で正立像に変換され、接眼光学系236を介してユーザに観察される。また、ペンタプリズム235の射出面上方にはAEセンサ237が配置されており、被写体像の輝度分布を検出する。斜設状態におけるメインミラー232の光軸201の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー232と連動して動作するサブミラー238で反射されて、AF光学系239へ導かれる。AF光学系239を通過した被写体光束は、AFセンサ240へ入射される。AFセンサ240は、受光した被写体光束から位相差信号を検出する。なお、サブミラー238は、メインミラー232が被写体光束から退避する場合は、メインミラー232に連動して被写体光束から退避する。斜設されたメインミラー232の後方には、光軸201に沿って、フォーカルプレーンシャッタ241、光学ローパスフィルタ242、撮像素子243が配列されている。フォーカルプレーンシャッタ241は、撮像素子243へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ242は、撮像素子243の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子243は、例えばCMOSセンサなどの光電変換素子であり、受光面で結像した被写体像を電気信号に変換する。撮像素子243で光電変換された電気信号は、メイン基板244に搭載されたDSPである画像処理部246で画像データに処理される。メイン基板244には、画像処理部246の他に、カメラユニット230のシステムを統合的に制御するMPUであるカメラシステム制御部245が搭載されている。カメラシステム制御部245は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。カメラユニット230の背面には液晶モニタ等による表示部247が配設されており、画像処理部246で処理された被写体画像が表示される。表示部247は、撮影後の静止画像に限らず、ビューファインダとしてのEVF画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット230には、着脱可能な二次電池248が収容され、カメラユニット230に限らず、レンズユニット210にも電力を供給する。また、ペンタプリズム235の近傍には使用状態と収納状態を取り得るフラッシュ249を備えており、使用状態においてカメラシステム制御部245の制御により被写体を照射する。フラッシュ249の近傍には、被写体を照射するパターン投光部250を備えており、被写体に対して幾何的模様等であるパターンを投光する。図3は、本実施形態に係る構造化開口を説明する説明図である。図3aは、図1aに示したシングルコーデッドアパーチャの構造化開口に対応する構造化開口360の正面図である。構造化開口360は、保持枠351にフィルタ352が支持されて構成されている。具体的には、保持枠351は、中心部分が中空の円筒形を成し、フィルタ352は、保持枠351の中空部分に張設されて固定されている。フィルタ352は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部353と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部354を有する。透過フィルタ部354は、図示するような複雑な開口形状を有する。図3b-1は、図1b-1に示したコーデッドアパーチャペアの構造化開口に対応する構造化開口310の正面図である。構造化開口310は、保持枠301にフィルタ302が支持されて構成されている。具体的には、保持枠301は、中心部分が中空の円筒形を成し、フィルタ302は、保持枠301の中空部分に張設されて固定されている。フィルタ302は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部303と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部304を有する。保持枠301の中心は撮影レンズの光軸と一致するが、円形を成す透過フィルタ部304は、光軸に対して偏心している。b-1の状態で第1の撮影画像を取得し、b-1の構造化開口310を反転させたb-2の状態で第2の撮影画像を取得することにより、推定誤差の低減を図ることができる。本実施形態においては、構造化開口360を構造化開口ユニット300としてレンズユニット210に配設することができる。または、構造化開口310を構造化開口ユニット300としてレンズユニット210に配設することもできる。そこで、ここではまず構造化開口310を構造化開口ユニット300としてレンズユニット210に配設する場合について説明する。図4は、構造化開口310を組み込んだ構造化開口ユニット300の外観図である。図4aは光軸201方向から見た正面図であり、図4bは側面図である。構造化開口ユニット300は、構造化開口310、ベース部307、外周部308および把持部309を主な構成要素とする。保持枠301の外周部にはギア306が全周にわたって設けられている。保持枠301は、ベース部307に回転機構を介して連結され、図示する矢印方向へ回転自在に支持されている。ベース部307は、保持枠301の中空部分と同様に、被写体光束範囲に中空部分を有する。したがって、保持枠301にフィルタ302が張設されていなければ、構造化開口ユニット300をレンズユニット210へ装着しても、被写体光束に何ら影響を与えない。ベース部307の端部には外周部308と把持部309が一体的に形成されている。ユーザは、把持部309を掴んで構造化開口ユニット300をレンズユニット210に対して挿抜する。なお、ここでは構造化開口ユニット300を挿抜できるように構成したが、後述するように、本実施形態においては構造化開口310が被写体光束の可視光に対しては作用しないので、挿抜機構を省いてレンズユニット210に内蔵されるように構成しても良い。構造化開口ユニット300は、例えば天体写真撮影など、後述の赤外光受光画素を用いて通常の撮影画像を取得したい場合などに挿抜機構を利用して抜出され得る。フィルタ302を固定する保持枠301は、上述のように矢印方向へ回転するので、透過フィルタ部304の光軸201に対する相対的な位置関係は、保持枠301の回転に伴って変化する。例えば、保持枠301が180度回転されると、図示する透過フィルタ部304と光軸201の位置関係が逆転する。図5は、構造化開口ユニット300をレンズユニット210に装着する様子を示す図である。図5aは、構造化開口ユニット300をレンズユニット210に挿し込む直前の様子を示し、図5bは、装着された様子を示す。ユーザは、把持部309を把持して、構造化開口ユニット300をレンズ鏡筒217に設けられた装着スリット219へ挿し込む。すると、構造化開口ユニット300は、ベース部307の側面がレンズ鏡筒217の内部に設けられた挿抜ガイド220に案内されて、フィルタ302の中心が光軸201と一致する位置に到達する。フィルタ302の中心が光軸201と一致する位置に到達すると、外周部308が装着スリット219に嵌合し、外周部308の外面がレンズ鏡筒217の外観面と一致する。同時に、ギア306は、アクチュエータ215の駆動ギアと噛合する。このように、構造化開口ユニット300がレンズユニット210と一体化されると、レンズシステム制御部216は、アクチュエータ215により保持枠301を回転させることができ、光軸201周りに透過フィルタ部304と光軸201の位置関係を変更することができる。なお、シングルコーデッドアパーチャを採用する構造化開口360を構造化開口ユニット300としてレンズユニット210に配設する場合は、開口位置を光軸201に対して変更することを要しないので、アクチュエータ215を省略して、構造化開口ユニット300をレンズ鏡筒内に固定配置すれば良い。もちろん、赤外光撮影に対応すべく挿抜機構を採用して、被写体光束から抜出できるように構成しても良い。図6は、撮像素子243の画素上に配置された画素フィルタの説明図である。本実施例における画素フィルタの配列は、図示するように、4画素を1組として、各画素上にR画素フィルタ、G画素フィルタ、B画素フィルタおよびIR画素フィルタが設けられている。IR画素フィルタは、赤外光の波長帯を透過するフィルタである。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。撮像素子243の全体としては、2次元的に配列された画素のそれぞれが離散的にR画素フィルタ、G画素フィルタ、B画素フィルタおよびIR画素フィルタのいずれかを備えることになるので、撮像素子243は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子243は、受光面に結像する被写体像をRGBIRの4つの波長帯に分離して光電変換する。なお、撮像素子243の画素の画素ピッチは、IR画素フィルタが設けられた赤外光受光画素の画素ピッチを基準に決定される。赤外光受光画素の画素ピッチは、合焦を表現するPSFを再現できるサンプリングピッチにより決定される。具体的には、レンズ群211を含む撮影光学系により合焦した点像を赤外光受光画素が受光したときに出力される像が、許容錯乱円によって規定される合焦との判定に対応するPSFの波形を表現できるように、赤外光受光画素の画素ピッチが決定される。図7は、撮像素子243の画素が感度を有する波長帯と、構造化開口の赤外遮断フィルタ部303、353が遮断する波長帯の関係を示す図である。図は、縦軸に透過率を、横軸に波長nmを示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。B曲線601は、B画素フィルタが設けられた画素の感度を示し、同様にG曲線602はG画素フィルタが設けられた画素の感度を、R曲線603はR画素フィルタが設けられた画素の感度を、IR曲線604はIR画素フィルタが設けられた画素の感度を示す。また、構造化開口310、360の赤外遮断フィルタ部303、353は、矢印611の波長帯を遮断する。一方、構造化開口310、360の透過フィルタ部304、354は、図示する波長帯のいずれも遮断することなく被写体光束を透過させる。すなわち、IR画素フィルタが設けられた赤外光受光画素は、構造化開口310、360の開口部としての透過フィルタ部304、354を通過した被写体光束のみを受光する。一方で、R画素フィルタ、G画素フィルタ、B画素フィルタが設けられた画素は、透過フィルタ部304、354および赤外遮断フィルタ部303、353のいずれにも遮断されない被写体光束の可視光波長帯を受光する。すると、赤外受光画素の出力のみを集めれば、構造化開口310、360を通過することにより振幅変調を受けた被写体画像を形成することができ、これを画像処理することによって補助撮影画像を取得することができる。構造化開口360を用いる場合は、この補助撮影画像からシングルコーデッドアパーチャの手法を採用して距離情報を算出できる。構造化開口310を用いる場合は、透過フィルタ部304を光軸201に対して反転させ、もう一つの振幅変調を受けた被写体画像を形成し、二枚目の補助撮影画像を取得する。これらの補助撮影画像からコーデッドアパーチャペアの手法を採用してより精度の高い距離情報を算出できる。同時に、R画素フィルタ、G画素フィルタ、B画素フィルタが設けられた画素の出力を集めれば、構造化開口310、360によっては何ら振幅変調を受けていない被写体画像を形成することができ、これを画像処理することによってカラーの被写体画像を形成することができる。つまり、観賞用等に耐え得る通常の被写体画像としての本撮影画像を取得することができる。したがって、シングルコーデッドアパーチャの手法を採用する構造化開口360を用いた場合であれば、一度の撮影動作により補助撮影画像と本撮影画像を共に取得することができる。コーデッドアパーチャペアの手法を採用する構造化開口310を用いた場合であれば、透過フィルタ部304を反転させて行う二度の撮影動作により異なる振幅変調を受けた二枚の補助撮影画像と、二枚の本撮影画像を共に取得することができる。次に、本実施形態に係る一眼レフカメラ200のシステム構成を説明する。図8は、一眼レフカメラ200のシステム構成を概略的に示すブロック図である。一眼レフカメラ200のシステムは、レンズユニット210とカメラユニット230のそれぞれに対応して、レンズシステム制御部216を中心とするレンズ制御系と、カメラシステム制御部245を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント218とカメラマウント231によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。カメラ制御系に含まれる画像処理部246は、カメラシステム制御部245からの指令に従って、撮像素子243で光電変換された撮像信号を画像データに処理する。本撮影画像として処理された画像データは、表示部247へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続IF254を介して外部メモリに記録される。また、画像処理部246は、赤外光受光素子の出力からなる撮像信号を処理して補助撮影画像を生成する。生成された補助撮影画像は距離情報算出部251へ引き渡され、距離情報算出部251は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ252へ記録される。カメラメモリ252は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ200を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ253は、例えばRAMなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。レリーズスイッチ255は押し込み方向に2段階のスイッチ位置を備えており、カメラシステム制御部245は、第1段階のスイッチであるSW1がONになったことを検出すると、AFセンサ240から位相差情報を取得する。そして、レンズシステム制御部216へフォーカスレンズ212の駆動情報を送信する。また、AEセンサ237から被写体像の輝度分布を取得して露出値を決定する。さらに、第2段階のスイッチであるSW2がONになったことを検出すると、予め定められた処理フローに従って撮影動作を実行する。フラッシュ249は、カメラシステム制御部245の制御に従って被写体を照射する。また、同様にパターン投光部250は、カメラシステム制御部245の制御に従って投光パターンを被写体に投光する。レンズシステム制御部216は、カメラシステム制御部245からの制御信号を受けて各種動作を実行する。レンズメモリ221は、レンズユニット210に固有であるPSFを保管している。距離情報算出部251は、カメラシステム制御部245およびレンズシステム制御部216を介して、レンズメモリ221からPSFを取得する。また、構造化開口駆動部222は、構造化開口310を用いる場合に、レンズシステム制御部216の指示に従ってアクチュエータ215を駆動する。図9は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部245が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。ステップS801では、画像処理部246が処理対象となる補助撮影画像を取得する。画像処理部246は、処理対象の補助撮影画像として、撮像素子243から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット230を画像処理装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した画像処理装置で実行することもできる。例えば、PCを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。そして、補助撮影画像を生成すると距離情報算出部251へ引き渡す。距離情報算出部251は、補助撮影画像を受け取ると、ステップS802で、レンズメモリ221に保管されているレンズユニット210のPSFを取得する。なお、距離情報の算出処理が補助撮影画像の撮影動作と連続しない場合には、レンズユニット210が他のレンズユニット210に交換されている場合もあるので、距離情報算出部251は、他の保管場所からPSFを取得するように構成しても良い。例えば、補助画像データは、撮影処理時にレンズメモリ221に記録されているPSFをEXIF情報などの付帯情報として取り込むこともできるし、カメラメモリ252は、レンズユニット210が装着されるタイミングでレンズメモリ221からPSFを取り込むこともできる。したがって、距離情報算出部251は、補助撮影画像の付帯情報、カメラメモリ252などからPSFを取得することもできる。なお、距離情報算出部251は、補助撮影画像の付帯情報として記録されているレンズユニット情報と構造化開口情報から、カメラメモリ252などの記録部に記録されているPSFから使用すべきPSFを特定することもできる。このような場合は、補助撮影画像の撮影時に用いられたレンズユニットの情報を取得するステップと、当該レンズユニットに対応するそれぞれのPSFを取得するステップとを分けて処理すると良い。距離情報算出部251は、このように取得した補助撮影画像とこれに対応したPSFを用いて、ステップS803で、距離情報を算出する。距離情報は、上述のようにシングルコーデッドアパーチャまたはコーデッドアパーチャペアの手法を用いて算出される。なお、算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。算出できる距離の分解能は、PSFがどれだけの距離ピッチごとに用意されているかに依存するので、高い分解能を得たい場合には、細かい距離ピッチで刻んだPSFを予め用意すれば良い。以上により一連の処理フローを終了する。次に、赤外光受光素子の配置についてのバリエーションを説明する。図10は、ファインダから観察される被写体像501および焦点検出領域502を示す図である。被写体像501の領域は撮像素子の有効画素領域にほぼ対応する。焦点検出領域502は二次元的に複数設けられており、ユーザの設定により、または、カメラシステム制御部245がシーンを判別して特定の一つの焦点検出領域502が選択されて、その領域でオートフォーカスが行われる。カメラシステム制御部245がシーンを判別する場合、例えば近点優先、顔検出優先等のアルゴリズムにより一つの焦点検出領域502が選択される。図11は、焦点検出領域502の配置と赤外光受光素子の配置の関係を示す図である。図6を用いて説明した撮像素子243においては、赤外光受光素子を全面に離散的に配置した。しかし、撮像素子643においては、焦点検出領域に対応する対応領域632を包含する焦点検出対応領域633を設定して、この領域内に赤外光受光素子を離散的に配置する。具体的には、図示するように、焦点検出対応領域633内では、4画素を1組として、各画素上にR画素フィルタ、G画素フィルタ、B画素フィルタおよびIR画素フィルタを設ける。また、焦点検出対応領域633外では、4画素を1組として、いわゆるベイヤー配列に倣い各画素上にR画素フィルタ、G画素フィルタ、G画素フィルタおよびB画素フィルタを設ける。つまり、距離情報を取得したい領域は、焦点検出領域と一致する場合が多く、したがって、赤外光受光画素を限定的に配置すれば良い。これにより、距離情報を算出する領域を限定することができるので、算出時間を短縮できる。次に、撮像素子の配置についてのバリエーションを説明する。図12は、赤外光用撮像素子844と可視光用撮像素子843を配置したレンズ交換式カメラ800の断面図である。図示するように、赤外光波長帯を受光する専用の赤外光用撮像素子844と可視光波長帯を受光する可視光用撮像素子843を、被写体光束の赤外光波長帯と可視光波長帯を分割するダイクロイックミラー832を介して、それぞれ共役となる位置に独立に配置する。赤外光波長帯と可視光波長帯を分割する光学素子は、ダイクロイックミラー832に限らず、ダイクロイックプリズムなどの素子でも良い。なお、構造化開口801は撮影光学系の瞳位置またはその近傍に配置される。また、撮影光学系によっては、赤外光波長帯の焦点面と可視光波長帯の焦点面がずれることがあるが、この場合、赤外光用撮像素子844は、可視光用撮像素子の焦点面と共役な位置にこのずれ量を加味した修正位置に配置すると良い。あるいは、このずれ量を打ち消すように、例えば赤外光用撮像素子844の近傍に補正レンズ833を配設しても良い。次に、補助撮影画像の取得に対する支援動作について説明する。上述のようにシングルコーデッドアパーチャの手法であれ、コーデッドアパーチャの手法であれ、距離情報の算出はPSFを用いるので、被写体像として合焦状態と非合焦状態で差異がない領域が存在すると、当該領域において距離情報を取得することが困難となる。例えば、単一色の平滑な壁面など、被写体の表面にコントラストがない領域がこれに該当する。そこで、本実施形態においては、パターン投光部250を利用して、補助撮影画像の取得時に、被写体に格子状のパターンを投光する。図13は、パターン投光の様子を示す説明図である。図13aは、パターン投光する前の被写体の様子を示す。図示するように、物が置かれたテーブル901と、後方の壁面902および壁面902に設けられた窓を覆うブラインド903が被写体として存在する。このとき、特に、壁面902の表面にコントラストが存在せず、この領域の距離情報が抜け落ちる可能性がある。図13bは、パターン投光部250によりパターン光が被写体に投光された様子を示す。投光パターン910はパターン投光部250から投光されたパターン光が被写体表面に形成するパターンを表す。パターン投光部250は、フラッシュ249の近傍に設けられており、例えば高輝度LED、パターンマスクおよびフレネルレンズが組み合わされて構成されている。なお、パターン投光部250は、AFセンサ240により位相差検出を行う場合など、オートフォーカス動作時のAF補助光投光部として利用することもできる。パターン投光部250は、カメラシステム制御部245の制御により、高輝度LEDが発光されて、パターンマスクに規定されるパターンを被写体に投光する。図においては、格子状のパターンが被写体に投光されており、壁面902等の表面に投光パターン910としてコントラストを生じさせている。特に、複数の水平方向のラインが垂直方向に連続するブラインド903の表面に、垂直方向のコントラストも生じさせている。このように水平方向および垂直方向共に成分を持つようなパターンを投光すれば、より精度の良い距離情報を算出できる。コーデッドアパーチャペアの手法を用いる場合は、光軸に対して偏心した位置に設けられた開口を移動させて二枚の補助撮影画像を取得するが、このとき、被写体表面に、移動する前後の位置における開口の中心を結ぶ線分に平行なコントラストしか存在しないと、算出される距離の精度が非常に悪くなる。例えば、ブラインド903がこのような条件を満たしやすい。このとき、パターン投光により被写体表面に対してこの線分に直交する方向にコントラストを与えれば、精度良く距離を算出することができる。投光パターン910として示す格子状パターンは、二次元的なパターンの一例であり、このような条件下においても精度の良い距離算出に資する。また、パターン投光部250の光源は、投光する光の波長帯に、構造化開口の開口に設けられたフィルタを透過する波長帯を含む。すなわち、構造化開口の開口に、撮像素子のうち補助撮影画像を生成する画素の受光波長帯を透過するフィルタが設けられる場合、投光する光の波長帯は、この受光波長帯の少なくとも一部を含む。特に、図6を用いて説明した撮像素子243、図11を用いて説明した撮像素子643の場合、構造化開口310、360と組み合わせて、パターン投光部250に赤外光波長帯を発光する光源を採用する。特に、可視光波長帯を含まない赤外光波長帯のみを発光する光源を採用すれば、被写体として含まれる人物に、可視光波長帯であれば不愉快と感じさせるパターン光を認識させることが無い。さらに、図7に示すように、R画素フィルタ、G画素フィルタ、B画素フィルタが設けられた画素が、赤外光波長帯に対して感度を持たなければ、上述のように、本撮影画像と補助撮影画像を同時に取得する場合であっても、本撮影画像に対してパターン光の影響を与えることが無い。上記の実施形態においては、距離情報算出部251は、PSFを取得してシングルコーデッドアパーチャの手法またはコーデッドアパーチャペアの手法により距離情報を算出した。しかし、距離情報算出部251は、これらの手法によらず、本撮影画像と補助撮影画像の間に生じる視差を利用して距離情報を算出することもできる。図3b-1を用いて説明した構造化開口310は、フィルタ302が保持枠301の中空部分に張設されて固定されている。フィルタ302は、被写体光束のうち可視光を透過させ赤外光を遮断する赤外遮断フィルタ部303と、被写体光束のうち可視光および赤外光を透過させる透過フィルタ部304を有する。特に、赤外遮断フィルタ部303と透過フィルタ部304は互いに隣接しており、入射する被写体光束が赤外遮断フィルタ部303か透過フィルタ部304のいずれかを透過するように構成されている。保持枠301の中心は撮影レンズの光軸と一致し、かつ保持枠301の中空部分は通過する被写体光束の断面範囲よりも大きい。また、円形を成す透過フィルタ部304は、光軸に対して偏心している。したがって、フィルタ302は、全体として、可視光波長帯における被写体光束の全部を透過させる。一方で、赤外光波長帯における被写体光束については、赤外遮断フィルタ部303で遮断し、偏心して設けられた透過フィルタ部304でのみ透過させる。すると、撮像素子243のうちIR画素フィルタが設けられた赤外受光画素上に結像する赤外光波長帯の被写体像と、R画素フィルタ、G画素フィルタ、B画素フィルタが設けられた可視光受光画素上に結像する可視光波長帯の被写体像は、互いに視差を有することになる。つまり、赤外受光画素の出力のみを集めて形成された補助撮影画像と、可視光受光画素の出力のみを集めて形成された本撮影画像とは、互いに視差を有する画像となる。距離情報算出部251は、これらの画像に写り込む同一被写体間のマッチングを行うことにより、そのずれ量から当該被写体の深さを算出する。以下に、距離画像を取得するまでの処理について説明する。図14は、本撮影画像と補助撮影画像の取得から、距離画像を算出するまでの処理の概念を示す図である。上述のように、本撮影画像は、フィルタ302の全体を透過する可視光波長帯の被写体光束が撮像素子243の受光面に結像して光電変換され、出力された画像信号が画像処理部246によって処理されて、生成される。同様に、補助撮影画像は、フィルタ302の透過フィルタ部304を透過する赤外光波長帯の被写体光束が撮像素子243の受光面に結像して光電変換され、出力された画像信号が画像処理部246によって処理されて、生成される。生成された本撮影画像と補助撮影画像は距離情報算出部251に引渡され、距離情報算出部251は、両画像のマッチング処理を実行する。ここで、マッチング処理について説明する。補助撮影画像において、焦点の合っている奥行きでは本撮影画像に対してずれない。一方、焦点の合っていない奥行きでは本撮影画像に対してずれる。特に、焦点の合った奥行きより遠いか近いかにより、ずれの方向が逆転する。別言すれば、本撮影画像IRGBと補助撮影画像IIRは、ステレオ画像となる。本撮影画像の中央の視点をリファレンス座標に取れば、リファレンス座標x,yにおける視差をd画素とすると、IRGBx,y、IIRx-d,yが対応するから、これらが最も良く一致するdを視差の推定値とすることができる。しかし、観測波長帯が異なるため対応点の輝度レベルは一致しないので、単純な輝度の差分をマッチング指標にすることはできない。そこで、ここでは自然画像の色成分は局所的に線形関係を示す傾向が高いことを利用する。x,yの周りに局所ウィンドウwx,yを考え、そこに含まれる画素色の集合をSx,y;d={IRGBs,t、IIRs-d,t|s,t∈wx,y}とすると、真のdのときに分布が最も直線に近くなると考えられる。ここではRGB-IR間の線形関係を計る指標として以下を用いる。ただしλ0、λ1λ0≧λ1≧0は色分布Sx,y;dの主成分軸に沿った分散すなわちSx,y;dの共分散行列Σの固有値、σRGB2、σIR2は色分布のRGB、IR軸に沿った分散である。ここでは表記の簡単のため右辺のx、y、dへの依存については省略した。行列の性質からλ0λ1=σRGB2σIR2=traceΣであるので、固有値間の大小に差があるほど式1は小さくなる。直線的な分布λ0>>λ1であればLは0に近く、完全無相関固有値がRGB、IR軸に沿った分散に等しいのとき最大値L=1をとる。画像の各点、おおび取りうる範囲の各視差dについてLx,y;dを計算する必要があるが、SummedAreaTableを用いてIRGB、IIRとそれらの二乗と積の表を計算しておけば、局所ウィンドウのサイズに依存せずに共分散行列Σの各要素を計算することができる。また、式1の分子は行列の性質からλ0λ1=detΣであるので固有値を実際に計算する必要はない。このように計算される各被写体単位の視差dにより、シーンの奥行き情報を推定することができる。さらに具体的に説明する。距離情報算出部251は、本撮影画像の対象画素481に対して局所ウィンドウ482を定め、補助撮影画像との間でマッチング処理を行い、対象画素481における視差量を決定する。具体的には、距離情報算出部251は、本撮影画像上の局所ウィンドウ482に対応して補助撮影画像上に局所ウィンドウ484を設定して、局所ウィンドウ484を局所ウィンドウ482に対して相対的にずらしながら互いにマッチングの良い画像領域を探索する。そして、マッチングが良いと判断される局所ウィンドウ484の位置を定め、その中心座標である探索画素483の座標値を算出する。視差量は、対象画素481の座標値と探索画素483の座標値の差として決定される。つまり、距離情報算出部251は、被写体の同一点を捉えている対象画素481と探索画素483が、互いに何ピクセルずれているかを視差量として決定する。対象画素481が合焦領域に含まれる場合は、視差量が0となる。また、対象画素481が合焦領域に対して奥行き方向に遠い被写体の領域に含まれる場合は、視差量が大きくなる。つまり、ピクセル単位で決定される視差量は、被写体の奥行き方向の距離と比例関係にある。また、レンズ情報および合焦被写体の絶対距離から、単位ピクセルあたりの奥行き方向の距離が算出される。したがって、距離情報算出部251は、算出した単位ピクセルあたりの距離に決定した視差量を乗じて合焦被写体の絶対距離を加算することにより、対象画素481における奥行き方向の距離を決定することができる。距離情報算出部251は、本撮影画像上において対象画素481を左上から右下まで順次走査しながら上記のマッチング処理を逐次実行して、本撮影画像のそれぞれの画素における奥行き方向の距離を算出する。距離情報算出部251は、以上の処理により、本撮影画像の各画素に対する奥行き情報を取得する。つまり、距離画像を完成させる。距離情報算出部251はさらに、各画素の距離が如何なる区分帯に属するかにより、各画素をグループ化することができる。距離情報算出部251がグループごとに輪郭を抽出すると、それぞれの輪郭は、図14の下図のように表される。距離情報算出部251は、このように輪郭で囲まれたそれぞれの領域を、被写体像の輪郭を規定する領域として確定する。なお、ここでは各区分帯に対応して、4つの領域A~領域Dを確定する。以上のようなマッチング手法は、シングルコーデッドアパーチャの手法またはコーデッドアパーチャペアの手法に比較してシンプルな計算処理なので、距離情報算出部251の負荷が軽くて済む。なお、いずれの手法により距離情報を算出する場合であっても、本撮影画像と補助撮影画像を一度の撮影動作により取得するときには、カメラシステム制御部245は、絞り214の絞り込む範囲を制限する。具体的には、被写体光束が、制限範囲305よりも小さくならないように、絞りを開放側に設定して撮影動作を実行する。このように絞りが開放側となるように、予め定められた絞り値以下に設定して撮影動作を実行すれば、透過フィルタ部304の一部の領域のみを被写体光束が透過する状況を回避できる。換言すれば、透過フィルタ部304の全体が被写体光束に包含される絞り値を制限値として設定すれば、良好な補助撮影画像を取得することができる。上述の構造化開口310は、被写体光束のうち可視光波長帯がフィルタ302に遮断されることなく透過する構成であった。しかし、本撮影画像と補助撮影画像の間により大きな視差量が生じるように構造化開口を変更することができる。図15は、構造化開口の他の例である。構造化開口410は、保持枠401の中空部分に張設されたフィルタ402を有する。フィルタ402は、被写体光束のうち可視光を遮断して赤外光を透過させるIRフィルタ部403、可視光を透過させ赤外光を遮断するRGBフィルタ部404および被写体光束を遮断する遮断フィルタ部405を有する。図示するようにIRフィルタ部403とRGBフィルタ部404は、フィルタ402の中心を通る光軸に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられている。別言すれば、遮断フィルタ部405の中心に対して、それぞれ偏心した位置であって互いに対称となる位置に設けられた2つの開口に、赤外光波長帯を透過させるIRフィルタ部403と可視光波長帯を透過させるRGBフィルタ部404が形成されている。このように構成された構造化開口410を利用すれば、互いの開口中心に対応する基線長が長くなり、本撮影画像と補助撮影画像の間の視差量が増加する。したがって、距離情報算出部251は、より精確な距離情報を算出することができる。また、IRフィルタ部403とRGBフィルタ部404の開口径を同じ大きさにすれば、本撮影画像と補助撮影画像のぼけ量をほぼ一致させることができるので、距離情報算出部251は、さらに精確な距離情報を算出することができる。以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段より前に、先立って等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上まず、、次に、等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。"