(57)【要約】【課題】構造化開口の一定の形状に固定されていると、シーンに対する最適ピント位置、測定可能な奥行き範囲なども固定されてしまう。【解決手段】距離情報取得装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子と、被写体光束を受光素子に導く光学系と、複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、複数の波長帯のうちの一つに含まれ、第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、第１フィルタ領域および第２フィルタ領域のそれぞれにおいて、被写体光束が透過する領域の重心を変位させる重心変位機構とを有する。【選択図】図６
2012088169.tif 000002
【特許請求の範囲】
【請求項１】
入射する被写体光束を複数の波長帯に分離して検出する受光素子と、
前記被写体光束を前記受光素子に導く光学系と、
前記複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、前記複数の波長帯のうちの一つに含まれ、前記第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、前記光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、
前記第１フィルタ領域および前記第２フィルタ領域のそれぞれにおいて、前記被写体光束が透過する領域の重心を変位させる重心変位機構と
を有する距離情報取得装置。
【請求項２】
前記構造化開口は、前記第１フィルタ領域および前記第２フィルタ領域が、前記光軸と交差する中心から放射方向へそれぞれ延在するように設けられ、
前記重心変位機構は、前記光軸を中心とする開口の大きさを変化させることにより、前記被写体光束の通過光量を変化させる絞りである請求項１に記載の距離情報取得装置。
【請求項３】
前記重心変位機構は、
前記被写体光束を通過させる複数の開口部を有し、その他の前記被写体光束を遮断する開口マスクと、
前記第１フィルタ領域および前記第２フィルタ領域と、前記複数の開口部の相対的な位置関係を変更させる変更部と
を有する請求項１に記載の距離情報取得装置。
【請求項４】
前記構造化開口は、形状が互いに異なる複数の前記第１フィルタ領域、および、形状が互いに異なる複数の前記第２フィルタ領域が設けられている請求項３に記載の距離情報取得装置。
【請求項５】
前記変更部は、前記光軸を中心に前記構造化開口および前記開口マスクの少なくとも一方を回転させる自転駆動部である請求項４に記載の距離情報取得装置。
【請求項６】
前記構造化開口は、少なくとも前記第１フィルタ領域と前記第２フィルタ領域のペアを複数備え、
前記重心変位機構は、前記被写体光束の外部に設けられた回転軸を中心に前記構造化開口を回転させて前記ペアのうちの１つを前記被写体光束に挿抜させる公転駆動部である請求項１に記載の距離情報取得装置。
【請求項７】
前記重心変位機構は、
前記光軸を中心として前記被写体光束を遮断する遮光部と、周辺部で前記被写体光束を透過する透過部を有し、前記遮光部および前記透過部の面積比を変更できる光束制限素子である請求項１に記載の距離情報取得装置。
【請求項８】
前記構造化開口は、前記複数の波長帯のうちの一つであって前記第１波長帯および前記第２波長帯とは異なる第３波長帯を透過する第３フィルタ領域を、前記光軸に対して偏心した位置に有する請求項１から７のいずれか１項に記載の距離情報取得装置。
【請求項９】
前記構造化開口は、入射する前記被写体光束の全部を通過させる開口領域を有する請求項１から８のいずれか１項に記載の距離情報取得装置。
【請求項１０】
請求項１から９のいずれか１項に記載の距離情報取得装置を含む撮像装置であって、
前記構造化開口を前記被写体光束に対して挿抜する挿抜機構と、
前記挿抜機構により前記構造化開口を抜出して実行する本画像撮影と、前記挿抜機構により前記構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部と
を備え、
前記撮影制御部は、前記本画像撮影と前記補助画像撮影で撮影条件を変更する撮像装置。
【請求項１１】
前記撮影制御部は、前記構造化開口を挿入することにより低下する光量に基づいて、前記本画像撮影と前記補助画像撮影の露出値を変更する請求項１０に記載の撮像装置。
【請求項１２】
前記補助画像撮影を実行する場合に用いる前記受光素子は、前記本画像撮影を実行する場合に用いる撮像素子とは別に設けられている請求項１０に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離情報取得装置および撮像装置に関する。
【背景技術】
【０００２】
レンズ光学系の絞り位置にＲＧＢ三色のカラーフィルタからなる構造化開口を配置したカメラでシーンを撮影することにより、一枚の画像データからシーンの奥行き情報を取得する技術が知られている（例えば非特許文献１）。
［先行技術文献］
［特許文献］
［非特許文献１］カメラの絞りに色フィルタを用いた奥行き推定と前景マット抽出（Ｖｉｓｕａｌ  Ｃｏｍｐｕｔｉｎｇ／グラフィクスとＣＡＤ合同シンポジウム２００８）
【発明の概要】
【発明が解決しようとする課題】
【０００３】
構造化開口の一定の形状に固定されていると、シーンに対する最適ピント位置、測定可能な奥行き範囲なども固定されてしまう。つまり、許容される主要被写体の存在位置、絞り値などの撮影条件が制限されてしまう。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様における距離情報取得装置は、入射する被写体光束を複数の波長帯に分離して検出する受光素子と、被写体光束を受光素子に導く光学系と、複数の波長帯のうちの一つに含まれる第１波長帯を透過する第１フィルタ領域と、複数の波長帯のうちの一つに含まれ、第１波長帯とは異なる第２波長帯を透過する第２フィルタ領域を、光学系の光軸に対してそれぞれ偏心した位置に有する構造化開口と、第１フィルタ領域および第２フィルタ領域のそれぞれにおいて、被写体光束が透過する領域の重心を変位させる重心変位機構とを有する。
【０００５】
上記課題を解決するために、本発明の第２の態様における撮像装置は、上記の距離情報取得装置を含む撮像装置であって、構造化開口を被写体光束に対して挿抜する挿抜機構と、挿抜機構により構造化開口を抜出して実行する本画像撮影と、挿抜機構により構造化開口を挿入して実行する補助画像撮影を制御する撮影制御部とを備え、撮影制御部は、本画像撮影と補助画像撮影で撮影条件を変更する。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本実施形態に係る一眼レフカメラの要部断面図である。
【図２】本実施形態に係る構造化開口ユニットの外観図である。
【図３】構造化開口ユニットをレンズユニットに装着する様子を示す図である。
【図４】撮像素子の画素上に配置されたカラーフィルタの説明図である。
【図５】撮像素子の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。
【図６】絞りの変化に伴う、構造化開口の各フィルタ部を透過する被写体光束の変化を説明する図である。
【図７】異なる絞り値に対する、被写体距離とシフト量の関係を示す図である。
【図８】異なる絞り値により取得されるシフト画像の様子と、奥行き推定エラーを説明する図である。
【図９】一眼レフカメラのシステム構成を概略的に示すブロック図である。
【図１０】補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。
【図１１】他の構造化開口ユニットの外観図である。
【図１２】他の構造化開口ユニットをレンズユニットに装着する様子を示す図である。
【図１３】更に他の構造化開口ユニットの構成を示す図である。
【図１４】更に他の構造化開口ユニットの構成を示す図である。
【図１５】本撮影画像および補助撮影画像の取得フローを示す図である。
【図１６】オブジェクトと視差量の関係を表す概念図である。
【図１７】絞り駆動までの処理過程を示すフロー図である。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
まず、本実施形態におけるシーンの奥行き情報の取得原理について説明する。ここで、シーンの奥行き情報とは、シーンを構成する被写体としての各オブジェクト間の相対的な前後関係を示す距離情報である。距離情報取得装置は、距離情報として例えば、シーンの奥行き方向における合焦面を基準として、当該基準からそれぞれのオブジェクトの距離を取得する。したがって、距離情報は、カメラから各オブジェクトまでの絶対距離でなくても良い。カメラから各オブジェクトまでの絶対距離を取得したい場合は、例えばフォーカスレンズ位置を検出することにより合焦面の絶対距離を算出し、この合焦面の絶対距離を加味して、それぞれのオブジェクトの距離を計算すれば良い。
【００１０】
本実施形態においては、被写体光束をＣＣＤ、ＣＭＯＳ等によって構成される受光素子に導く光学系に、構造化開口を挿入することにより距離情報を取得する。構造化開口は、光学系に挿入されたときに、Ｒ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが、光学系の光軸に対してそれぞれ偏心した位置となるように設けられて構成されている。例えば、光軸中心から、左方向へ放射状に延在するＧフィルタ領域、上方向へ放射状に延在するＲフィルタ領域および右方向へ放射状に延在するＢフィルタ領域のようにカラーフィルタパターンが形成される。また、受光素子は、ＲＧＢのいずれかのカラーフィルタが各画素上に配置されており、例えば４画素を１組とするベイヤー配列が採用される。本実施形態に係る構造化開口の構成、および受光素子の構成は、後に詳述する。
【００１１】
上述の例によるカラーフィルタパターンが形成された構造化開口を通過した被写体光束を、上述の受光素子で撮影した場合、焦点の合った奥行きより遠い点はＲが上、Ｇが右、Ｂが左方向にそれぞれずれて観測される。焦点の合った奥行きより近い点ではずれ方向が逆になる。焦点の合っている奥行きでは画像はずれない。つまり、焦点の合っていない奥行きでは、シーンの同じ点が色ごとにずれて観察される。
【００１２】
別言すれば、撮影した画像のＲＧＢ成分であるＩｒ、Ｉｇ、Ｉｂは、三視点のステレオ画像となる。仮想的な中央の視点をリファレンス座標に取れば、リファレンス座標（ｘ，ｙ）における視差をｄ画素とすると、Ｉｒ（ｘ，ｙ−ｄ）、Ｉｇ（ｘ＋ｄ，ｙ）、Ｉｂ（ｘ−ｄ，ｙ）が対応するから、これらが最も良く一致するｄを視差の推定値とすることができる。しかし、観測波長帯が異なるため対応点の輝度レベルは位置しないので、単純な輝度の差分をマッチング指標にすることはできない。
【００１３】
そこで、ここでは自然画像の色成分は局所的に線形関係を示す傾向が高いことを利用する。（ｘ，ｙ）の周りに局所ウィンドウｗ（ｘ，ｙ）を考え、そこに含まれる画素色の集合をＳ（ｘ，ｙ；ｄ）＝｛（Ｉｒ（ｓ，ｔ−ｄ）、Ｉｇ（ｓ＋ｄ，ｔ）、Ｉｂ（ｓ−ｄ，ｔ））｜（ｓ，ｔ）∈ｗ（ｘ，ｙ）｝とすると、真のｄのときに分布が最も直線に近くなると考えられる。
【００１４】
ここではＲＧＢ間の線形関係を計る指標として以下を用いる。
【００１５】
【数１】
2012088169.tif 000003
ただしλ０、λ１、λ２（λ０≧λ１≧λ２≧０）は色分布Ｓ（ｘ，ｙ；ｄ）の主成分軸に沿った分散（すなわちＳ（ｘ，ｙ；ｄ）の共分散行列Σの固有値）、σｒ２、σｇ２、σｂ２は色分布のＲ、Ｇ、Ｂ軸に沿った分散である。ここでは表記の簡単のため右辺のｘ、ｙ、ｄへの依存については省略した。
【００１６】
行列の性質からλ０＋λ１＋λ２＝σｒ２＋σｇ２＋σｂ２  （＝ｔｒａｃｅ（Σ））であるので、固有値間の大小に差があるほど式（１）は小さくなる。直線的な分布（λ０＞＞λ１、λ２）であればＬは０に近く、完全無相関（固有値がＲ、Ｇ、Ｂ軸に沿った分散に等しい）のとき最大値Ｌ＝１をとる。
【００１７】
画像の各点、おおび取りうる範囲の各視差ｄについてＬ（ｘ，ｙ；ｄ）を計算する必要があるが、Ｓｕｍｍｅｄ  Ａｒｅａ  Ｔａｂｌｅを用いてＩｒ、Ｉｇ、Ｉｂとそれらの二乗と積の表を計算しておけば、局所ウィンドウのサイズに依存せずに共分散行列Σの各要素を計算することができる。また、式（１）の分子は行列の性質からλ０λ１λ２＝ｄｅｔ（Σ）であるので固有値を実際に計算する必要はない。
【００１８】
上述のように計算される各オブジェクト単位の視差ｄにより、シーンの奥行き情報を推定することができる。本実施形態に係る距離情報取得装置としての一眼レフカメラは、このようなシーンの奥行き情報の取得原理を採用する。ただし、上述の手法によれば、焦点の合っている奥行きを基準として視差ｄが規定されるので、シーンに対する最適ピント位置、測定可能な奥行き範囲などは、構造化開口の形状により一義的に固定される。つまり、構造化開口のカラーフィルタパターンと被写体光束の関係が固定されていると、ピント位置が制約され、測定可能な奥行き範囲も一定となる。そこで、本実施形態の一眼レフカメラは、このような問題に対処すべく、構造化開口のカラーフィルタパターンと被写体光束の関係を変化させる構造を採用する。以下に本実施形態について説明する。
【００１９】
図１は、本実施形態に係る一眼レフカメラ２００の要部断面図である。一眼レフカメラ２００は、撮影レンズであるレンズユニット２１０とカメラボディであるカメラユニット２３０が組み合わされて撮像装置として機能する。
【００２０】
レンズユニット２１０は、光軸２０１に沿って配列されたレンズ群２１１を備える。レンズ群２１１には、フォーカスレンズ２１２、ズームレンズ２１３が含まれる。また、光軸２０１に沿って、絞り２１４および構造化開口ユニット３００も配列される。構造化開口ユニット３００は、被写体光束に対して挿抜することができる。
【００２１】
レンズユニット２１０は、フォーカスレンズ２１２、絞り２１４の駆動などレンズユニット２１０の制御および演算を司るレンズシステム制御部２１６を備える。レンズユニット２１０を構成する各要素は、レンズ鏡筒２１７に支持されている。
【００２２】
また、レンズユニット２１０は、カメラユニット２３０との接続部にレンズマウント２１８を備え、カメラユニット２３０が備えるカメラマウント２３１と係合して、カメラユニット２３０と一体化する。レンズマウント２１８およびカメラマウント２３１はそれぞれ、機械的な係合部の他に電気的な接続部も備え、カメラユニット２３０からレンズユニット２１０への電力の供給および相互の通信を実現している。なお、以後の説明においては図示するように、光軸２０１に沿って被写体光束が入射する方向にｚ軸を定める。
【００２３】
カメラユニット２３０は、レンズユニット２１０から入射される被写体像を反射するメインミラー２３２と、メインミラー２３２で反射された被写体像が結像するピント板２３４を備える。メインミラー２３２は、回転軸２３３周りに回転して、光軸２０１を中心とする被写体光束中に斜設される状態と、被写体光束から退避する状態を取り得る。ピント板２３４側へ被写体像を導く場合は、メインミラー２３２は被写体光束中に斜設される。また、ピント板２３４は、撮像素子２４３の受光面と共役の位置に配置されている。
【００２４】
ピント板２３４で結像した被写体像は、ペンタプリズム２３５で正立像に変換され、接眼光学系２３６を介してユーザに観察される。また、ペンタプリズム２３５の射出面上方にはＡＥセンサ２３７が配置されており、被写体像の輝度分布を検出する。
【００２５】
斜設状態におけるメインミラー２３２の光軸２０１の近傍領域は、ハーフミラーとして形成されており、入射される光束の一部が透過する。透過した光束は、メインミラー２３２と連動して動作するサブミラー２３８で反射されて、ＡＦ光学系２３９へ導かれる。ＡＦ光学系２３９を通過した被写体光束は、ＡＦセンサ２４０へ入射される。ＡＦセンサ２４０は、受光した被写体光束から位相差信号を検出する。なお、サブミラー２３８は、メインミラー２３２が被写体光束から退避する場合は、メインミラー２３２に連動して被写体光束から退避する。
【００２６】
斜設されたメインミラー２３２の後方には、光軸２０１に沿って、フォーカルプレーンシャッタ２４１、光学ローパスフィルタ２４２、撮像素子２４３が配列されている。フォーカルプレーンシャッタ２４１は、撮像素子２４３へ被写体光束を導くときに開放状態を取り、その他のときに遮蔽状態を取る。光学ローパスフィルタ２４２は、撮像素子２４３の画素ピッチに対する被写体像の空間周波数を調整する役割を担う。そして、撮像素子２４３は、例えばＣＭＯＳセンサなどの受光素子であり、受光面で結像した被写体像を電気信号に変換する。
【００２７】
撮像素子２４３で光電変換された電気信号は、メイン基板２４４に搭載されたＤＳＰである画像処理部２４６で画像データに処理される。メイン基板２４４には、画像処理部２４６の他に、カメラユニット２３０のシステムを統合的に制御するＭＰＵであるカメラシステム制御部２４５が搭載されている。カメラシステム制御部２４５は、カメラシーケンスを管理すると共に、各構成要素の入出力処理等を行う。
【００２８】
カメラユニット２３０の背面には液晶モニタ等による表示部２４７が配設されており、画像処理部２４６で処理された被写体画像が表示される。表示部２４７は、撮影後の静止画像に限らず、ビューファインダとしてのＥＶＦ画像、各種メニュー情報、撮影情報等を表示する。また、カメラユニット２３０には、着脱可能な二次電池２４８が収容され、カメラユニット２３０に限らず、レンズユニット２１０にも電力を供給する。
【００２９】
また、ペンタプリズム２３５の近傍には使用状態と収納状態を取り得るフラッシュ２４９を備えており、使用状態においてカメラシステム制御部２４５の制御により被写体を照射する。フラッシュ２４９の近傍には、被写体を照射するパターン投光部２５０を備えており、被写体に対して幾何的模様等であるパターンを投光する。
【００３０】
図２は、本実施形態に係る構造化開口ユニット３００の外観図である。図２（ａ）は被写体側から見た正面図であり、図２（ｂ）は側面図である。
【００３１】
構造化開口ユニット３００は、フィルタ３０２、ベース部３０７、外周部３０８および把持部３０９を主な構成要素とする。ベース部３０７は、被写体光束範囲に円筒状の中空部分を有し、フィルタ３０２は、ベース部３０７の中空部分に張設されて固定されている。
【００３２】
ベース部３０７の端部には外周部３０８と把持部３０９が一体的に形成されている。ユーザは、把持部３０９を掴んで構造化開口ユニット３００をレンズユニット２１０に対して挿抜する。
【００３３】
フィルタ３０２は、被写体光束を遮断する遮断フィルタ部３０３、赤色の波長帯を透過させるＲフィルタ部３０４、緑色の波長体を透過させるＧフィルタ部３０５および青色の波長帯を透過させるＢフィルタ部３０６から構成される。図示するようにＲフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６は、フィルタ３０２の中心を通る光軸２０１に対して放射方向へそれぞれ延在するように、光軸２０１からは偏心した位置に設けられている。より具体的には、Ｒフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６は、それぞれ正方形であって互いに隣接し、それぞれひとつの頂点が光軸２０１近傍に集合するように配列されている。
【００３４】
図３は、構造化開口ユニット３００をレンズユニット２１０に装着する様子を示す図である。図３（ａ）は、構造化開口ユニット３００をレンズユニット２１０に挿し込む直前の様子を示し、図３（ｂ）は、装着された様子を示す。
【００３５】
ユーザは、把持部３０９を把持して、構造化開口ユニット３００をレンズ鏡筒２１７に設けられた装着スリット２１９へ挿し込む。すると、構造化開口ユニット３００は、ベース部３０７の側面がレンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて、フィルタ３０２の中心が光軸２０１と一致する位置に到達する。フィルタ３０２の中心が光軸２０１と一致する位置に到達すると、外周部３０８が装着スリット２１９に嵌合し、外周部３０８の外面がレンズ鏡筒２１７の外観面と一致する。
【００３６】
図４は、撮像素子２４３の画素上に配置されたカラーフィルタの説明図である。本実施例におけるカラーフィルタの配列は、いわゆるベイヤー配列であり、４画素を１組として、各画素上にＲ画素フィルタ、Ｇ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタが設けられている。したがって、各画素が感度を有する波長帯は、それぞれに設けられた画素フィルタによって規制される。例えば、Ｒ画素フィルタが設けられた画素は、赤色の波長帯に対して感度を持つ。撮像素子２４３の全体としては、２次元的に配列された画素のそれぞれが離散的にＲ画素フィルタ、Ｇ画素フィルタおよびＢ画素フィルタのいずれかを備えることになるので、撮像素子２４３は、入射する被写体光束をそれぞれの波長帯に分離して検出していると言える。換言すれば、撮像素子２４３は、受光面に結像する被写体像をＲＧＢの３つの波長帯に分離して光電変換する。
【００３７】
図５は、撮像素子２４３の画素が感度を有する波長帯と、構造化開口のそれぞれのフィルタ部が透過する波長帯の関係を示す図である。図は、縦軸に透過率（％）を、横軸に波長（ｎｍ）を示す。透過率が高い波長の光ほど、画素を構成するフォトダイオードに到達することを表す。
【００３８】
Ｂ曲線７０１は、Ｂ画素フィルタが設けられた画素の感度を示し、同様にＧ曲線７０２はＧ画素フィルタが設けられた画素の感度を、Ｒ曲線７０３はＲ画素フィルタが設けられた画素の感度を示す。図示されるように、隣り合う波長帯であるＢ曲線７０１とＧ曲線７０２、および、Ｇ曲線７０２とＲ曲線７０３は若干の重なり部分を有しており、一方、互いに離れた波長帯であるＢ曲線７０１とＲ曲線７０３は互いに交わることが無い。すなわち、Ｂ画素フィルタが設けられた画素は、青色波長帯と共に若干の緑色波長帯にも感度を有するが、赤色波長帯には感度を有さない。同様に、Ｒ画素フィルタが設けられた画素は、赤色波長帯と共に若干の緑色波長帯にも感度を有するが、青色波長帯には感度を有さない。一方、Ｇ画素フィルタが設けられた画素は、緑色波長帯と共に若干の赤色波長帯にも青色波長帯にも感度を有する。
【００３９】
構造化開口のＢフィルタ部３０６は、矢印７１１の波長帯を透過させる。同様に、Ｇフィルタ部３０５は、矢印７１２の波長帯を透過させ、Ｒフィルタ部３０４は、矢印７１３の波長帯を透過させる。したがって、Ｂ画素フィルタが設けられた画素は、構造化開口のＢフィルタ部３０６を透過した被写体光束に対して感度を持ち、Ｇ画素フィルタが設けられた画素は、構造化開口のＧフィルタ部３０５を透過した被写体光束に対して感度を持ち、Ｒ画素フィルタが設けられた画素は、構造化開口のＲフィルタ部３０４を透過した被写体光束に対して感度を持つと言える。
【００４０】
すると、Ｒフィルタ部３０４を開口とする赤色波長帯の被写体画像、Ｇフィルタ部３０５を開口とする緑色波長帯の被写体画像、およびＢフィルタ部３０６を開口とする青色波長帯の被写体画像を、一度の撮影により取得することができる。これらの被写体画像は、それぞれ上述のＩｒ、Ｉｇ、Ｉｂに相当し、互いに三視点のステレオ画像を構成する。
【００４１】
なお、このように撮影される赤色波長帯の被写体画像、緑色波長帯の被写体画像および青色波長帯の被写体画像は、それぞれＲ画素フィルタが設けられた画素の出力のみ、Ｇ画素フィルタが設けられた画素の出力のみ、または、Ｂ画素フィルタが設けられた画素の出力のみを集めて互いに分離されるので、通常の撮影における画像処理とは異なる画像処理により形成される。したがって、ここでは通常の撮影により取得される撮影画像を本撮影画像と呼び、構造化開口を用いて取得される撮影画像を補助撮影画像と呼ぶ。本撮影画像は構造化開口ユニット３００をレンズユニット２１０から抜出して撮影された画像であり、補助撮影画像は構造化開口ユニット３００をレンズユニット２１０へ装着して撮影された画像である。
【００４２】
図６は、絞り２１４の変化に伴う、構造化開口の各フィルタ部を透過する被写体光束の変化を説明する図である。図１を用いて説明したように、絞り２１４は、構造化開口ユニット３００に隣接して共に光軸２０１に沿って配置されている。特に本実施形態においては、共に光学系の瞳近傍に配置されている。
【００４３】
絞り２１４は、レンズシステム制御部２１６の制御により複数の絞り羽根２８１が電磁駆動されて、例えば図６（ｂ）で示すように、被写体光束の通過光量を段階的に制限する。具体的には、絞り羽根２８１が被写体光束から退避した状態である絞り値Ｆ１．８で最大の開口となり、この状態から絞り羽根２８１が段階的に被写体光束中に挿入されて、絞り値Ｆ４．０、Ｆ８．０などと開口領域を狭めて被写体光束の通過光量を減少させる。
【００４４】
このとき、図６（ｃ）で示すように、絞り値が大きくなるに従って各フィルタ部における透過領域が段階的に小さくなる。すなわち、Ｒフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６のそれぞれが、絞り値が大きくなるに従って外周部から徐々に絞り羽根２８１の遮光領域２８２に占有され、被写体光束を透過させる有効領域が光軸寄りの近傍に制限されてゆく。
【００４５】
絞り２１４の作用により各フィルタ部における有効領域が変化すると、各フィルタ部は光軸から偏心して設けられているので、有効領域の重心も変位する。具体的には、Ｒフィルタ部３０４における有効領域の重心ｇＲ、Ｇフィルタ部３０５における有効領域の重心ｇＧおよびＢフィルタ部３０６における有効領域の重心ｇＢは、光軸２０１と交差する中心Ｏに対して図６（ｄ）に示すように変化する。つまり、絞り値がＦ１．８のときに各重心は中心Ｏから最も離れた位置に存在し、絞り値が大きくなるに従って中心Ｏに近づいてゆく。
【００４６】
上述の奥行き推定の手法においては、Ｆ１．８のように絞り値が小さく被写体光束を通過させる開口が大きいほど各重心間距離は大きくなるので、基線長を長くとることができ、最適ピント位置近傍ではより精度の高い奥行き推定を行うことができる。しかし、絞り値が小さいのでピントの合う範囲が狭く、最適ピント位置から外れた範囲では逆に奥行き推定が困難となる。一方、Ｆ８．０のように絞り値が大きく被写体光束を通過させる開口が小さいほど各重心間距離は小さくなるので、基線長は短くなり、最適ピント位置近傍における奥行き推定は、絞り値が小さい場合に比べて精度が落ちる。しかし、絞り値が大きいのでピントの合う範囲が広く、最適ピント位置から外れた範囲においても一定の精度を維持して奥行き推定を行うことができる。
【００４７】
また、Ｆ１．８のように被写体光束を通過させる開口が大きければ、撮像素子２４３へ到達する光量が増えるので、比較的暗いシーンにおける奥行き推定に有利である。一方、Ｆ８．０のように開口が小さければ、撮像素子２４３へ到達する光量が減るので、例えば太陽の照射が激しいシーンなどにおける奥行き推定に有利である。
【００４８】
つまり、構造化開口ユニット３００に絞り２１４を組み合わせることにより、奥行き推定の目的、シーンの状況などに応じて、より適切な奥行き情報を算出することができる。換言すれば、絞り２１４を、Ｒフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６のそれぞれにおいて被写体光束が透過する有効領域の重心を変位させる重心変位機構として機能させることにより、さまざまな要求に応じた距離情報を取得することができる。
【００４９】
図７は、異なる絞り値に対する、被写体距離とシフト量の関係を示す図である。図では特に、Ｆ１．８の場合とＦ４．０の場合の相対的な関係を模式的に示している。シフト量は、同一のオブジェクトに対応するＩｒ、Ｉｇ、Ｉｂ間のずれ量である。
【００５０】
奥行き方向における合焦面では、Ｆ１．８の場合もＦ４．０の場合もシフト量は０となる。つまり合焦面に存在するオブジェクトを捉えたＩｒ、Ｉｇ、Ｉｂは、互いにずれない。図７は、この点を原点として、横軸にオブジェクト距離を、縦軸にシフト量を表す。
【００５１】
合焦面から一定の距離に存在するオブジェクトについては、Ｆ４．０におけるシフト量よりもＦ１．８におけるシフト量の方が大きくなる。
【００５２】
図８は、異なる絞り値により取得されるシフト画像の様子と、奥行き推定エラーを説明する図である。被写体として９点の円形オブジェクトが合焦面からずれた位置に整列されている場合を想定する。シフト画像ＡはＦ１．８の絞り値で取得されたＩｒ、Ｉｇ、Ｉｂを重ねた様子を表す。シフト画像ＢはＦ４．０の絞り値で取得されたＩｒ、Ｉｇ、Ｉｂを重ねた様子を表す。
【００５３】
シフト画像Ａにおいては、１点の円形オブジェクトが色成分ごとにｃＲ、ｃＧ，ｃＢとして大きくシフトしているが、シフト画像Ｂにおいてはシフト画像Ａに比較してｃＲ、ｃＧ，ｃＢ間の距離が小さいことがわかる。
【００５４】
被写体に周期性が無い場合には、推定エラーが極小値となる点を推定距離として採用することができるが、図の被写体の例のように被写体に周期性を有する場合には、算出される上述のｄに複数の候補が存在することになり、推定エラーの極小値も複数存在することになる。推定エラーの極小値が複数存在する関係は、図示するように、シフト画像Ａから取得される推定距離と推定エラーのグラフにおいても、シフト画像Ｂから取得される推定距離と推定エラーのグラフにおいても、同様に見て取れる。
【００５５】
しかしながら、シフト画像Ａによる演算結果とシフト画像Ｂによる演算結果をさらに足し合わせると、推定エラーの極小値は一つとなり、推定距離を一つに定めることができる。つまり、同一被写体に対してシフト量の異なる条件で２回撮影すれば、より精度良く奥行き情報を算出することができることがわかる。したがって、本実施形態においても、より精度良く奥行き情報を取得したい場合には、絞り値を変更して２回の撮影を実行し、２枚の補助撮影画像を用いて奥行き情報を算出する。
【００５６】
次に、本実施形態に係る一眼レフカメラ２００のシステム構成を説明する。図９は、一眼レフカメラ２００のシステム構成を概略的に示すブロック図である。一眼レフカメラ２００のシステムは、レンズユニット２１０とカメラユニット２３０のそれぞれに対応して、レンズシステム制御部２１６を中心とするレンズ制御系と、カメラシステム制御部２４５を中心とするカメラ制御系により構成される。そして、レンズ制御系とカメラ制御系は、レンズマウント２１８とカメラマウント２３１によって接続される接続部を介して、相互に各種データ、制御信号の授受を行う。
【００５７】
カメラ制御系に含まれる画像処理部２４６は、カメラシステム制御部２４５からの指令に従って、撮像素子２４３で光電変換された撮像信号を画像データに処理する。本撮影画像において処理された画像データは、表示部２４７へ送られて、例えば撮影後の一定時間の間表示される。これに並行して、処理された画像データは、所定の画像フォーマットに加工され、外部接続ＩＦ２５４を介して外部メモリに記録される。画像処理部２４６は、補助撮影画像として撮影された撮像信号から、波長帯ごとに分離された被写体画像を生成する。生成された被写体画像は距離情報算出部２５１へ引き渡され、距離情報算出部２５１は、上述の手法により距離情報を算出する。算出された距離情報は、カメラメモリ２５２へ記録される。
【００５８】
カメラメモリ２５２は、例えばフラッシュメモリなどの不揮発性メモリであり、生成された撮影画像の一時的な記録場所としての他に、一眼レフカメラ２００を制御するプログラム、各種パラメータなどを記録する役割を担う。ワークメモリ２５３は、例えばＲＡＭなどの高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
【００５９】
レリーズスイッチ２５５は押し込み方向に２段階のスイッチ位置を備えており、カメラシステム制御部２４５は、第１段階のスイッチであるＳＷ１がＯＮになったことを検出すると、ＡＦセンサ２４０から位相差情報を取得する。そして、レンズシステム制御部２１６へフォーカスレンズ２１２の駆動情報を送信する。また、ＡＥセンサ２３７から被写体像の輝度分布を取得して露出値を決定する。さらに、第２段階のスイッチであるＳＷ２がＯＮになったことを検出すると、予め定められた処理フローに従って本撮影画像の取得、または、補助撮影画像の取得を実行する。本撮影画像の取得と補助撮影画像の取得についての処理フローについては後述する。
【００６０】
フラッシュ２４９は、カメラシステム制御部２４５の制御に従って被写体を照射する。また、同様にパターン投光部２５０は、カメラシステム制御部２４５の制御に従って投光パターンを被写体に投光する。特に、暗いシーン、被写体が無模様のシーンなどの場合には、補助撮影画像の取得時においてもパターン投光部２５０が利用される。
【００６１】
レンズシステム制御部２１６は、カメラシステム制御部２４５からの制御信号を受けて各種動作を実行する。絞り駆動回路２２１は、レンズシステム制御部２１６の制御に従って絞り羽根２８１を駆動する。
【００６２】
図１０は、補助撮影画像の取得から距離情報の算出までの処理フローを示す図である。本フローにおける一連の処理は、カメラシステム制御部２４５が操作部材を介してユーザから指示を受け付けたとき、または、予め定められた制御プログラムに距離算出処理が組み込まれているとき等に開始される。
【００６３】
ステップＳ８０１では、画像処理部２４６が処理対象となる補助撮影画像を取得する。画像処理部２４６は、処理対象の補助撮影画像として、撮像素子２４３から出力された画像信号をそのまま取得しても良いし、撮影後に距離情報を算出しないまま記録部に記録されている補助撮影画像を読み出して取得しても良い。したがって、本実施形態においてはカメラユニット２３０を距離情報取得装置として距離情報の算出を実行するが、距離情報の算出は、カメラとは別個の独立した距離情報取得装置で実行することもできる。例えば、ＰＣを例にすれば、カメラとの間に記録媒体を介在させ、記録媒体に記録された補助撮影画像を読み出して処理することもできるし、有線、無線によりカメラと接続した状態を確立すれば、補助撮影画像の撮影と連動して処理することもできる。
【００６４】
画像処理部２４６は、ステップＳ８０２で、補助撮影画像から、Ｒフィルタ部３０４を通過して形成された赤色画像、すなわち、Ｒ画素フィルタが設けられた画素の出力から形成される画像Ｉｒを抽出する。同様に、Ｇフィルタ部３０５を通過して形成された緑色画像ＩｇとＢフィルタ部３０６を通過して形成された青色画像Ｉｂを抽出する。画像処理部２４６は、このように波長帯別画像を抽出すると、これらの画像を距離情報算出部２５１へ引き渡す。
【００６５】
距離情報算出部２５１は、ステップＳ８０３で、上述の手法を用いて距離情報を算出する。なお、算出された距離情報は、距離画像データとして別途独立したファイルを生成しても良いし、補助撮影画像に付帯して記録しても良い。別途独立したファイルを生成する場合には、補助撮影画像に対してリンク情報を記録する。算出された距離情報は、例えば、同一距離と判断された被写体が存在する画素領域情報と当該距離をセットとして、距離ごとに複数セット分リスト化されたテーブル形式のデータ構造を有する。以上により一連の処理フローを終了する。
【００６６】
絞り値を変えて二度の補助撮影を行った場合には、それぞれの補助撮影画像に対して上述のフローを繰り返す。ただし、ステップＳ８０３の距離情報の算出においては、２つの補助撮影画像から演算される推定エラー情報を足し合わせて、推定距離を一つに定める。
【００６７】
以上の説明においては、構造化開口ユニット３００と絞り２１４を組み合わせて各フィルタ部のそれぞれにおいて被写体光束が透過する有効領域の重心を変位させが、有効領域の重心を変位させる構成は他にもさまざまバリエーションが存在する。その例を以下に説明する。
【００６８】
図１１は、他の構造化開口ユニット４００の外観図である。図１１（ａ）は被写体側から見た正面図であり、図１１（ｂ）は側面図であり、図１１（ｃ）は撮像素子２４３側から見た背面図である。なお、構造化開口ユニット４００は、原則として図１を用いて説明した一眼レフカメラ２００に装着されて利用されるので、上述の実施形態と共通する要素については同じ符番を付して説明を省略する。
【００６９】
構造化開口ユニット４００は、保持枠４０１、フィルタ４０２、開口マスク４３２、ベース部４０７、外周部４０８および把持部４０９を主な構成要素とする。保持枠４０１は、中心部分が中空の円筒形を成し、フィルタ４０２は、保持枠４０１の中空部分に張設されて固定されている。保持枠４０１の外周部にはギア４０６が全周にわたって設けられている。保持枠４０１は、ベース部４０７に回転機構を介して連結され、図示する矢印方向へ回転自在に支持されている。ベース部４０７は、保持枠４０１の中空部分と同様に、被写体光束範囲に中空部分を有する。開口マスク４３２は、ベース部４０７の中空部分に張設されて固定されている。
【００７０】
ベース部４０７の端部には外周部４０８と把持部４０９が一体的に形成されている。ユーザは、把持部４０９を掴んで構造化開口ユニット４００をレンズユニット２１０に対して挿抜する。
【００７１】
フィルタ４０２は、被写体光束を遮断する遮断フィルタ部４０３、第１ＲＧＢフィルタセット４１２および第２ＲＧＢフィルタセット４２２から構成される。第１ＲＧＢフィルタセット４１２は、フィルタ４０２の中心を円心とする半径ｒａの円周上にそれぞれ円心を有する半径ｒｂの３つの円を成す第１Ｒフィルタ部４１４、第１Ｇフィルタ部４１５および第１Ｂフィルタ部４１６から構成される。第２ＲＧＢフィルタセット４２２は、フィルタ４０２の中心を円心とする半径ｒｃの円周上にそれぞれ円心を有する半径ｒｄの３つの円を成す第２Ｒフィルタ部４２４、第２Ｇフィルタ部４２５および第２Ｂフィルタ部４２６から構成される。ただし、ここではｒｃ＞ｒａ、ｒｂ＞ｒｄであって、ｒａ＋ｒｂ＞ｒｃ＋ｒｄを満たす。また、互いに隣接するフィルタ部は重ならないように配列する。
【００７２】
開口マスク４３２は、被写体光束を遮断する遮断部４３３と３つの開口４３４、４３５、４３６から構成される。３つの開口４３４、４３５、４３６は、中空部分の中心を円心とする半径ｒａの円周上にそれぞれ円心を有する半径ｒｂの３つの円として形成されている。
【００７３】
フィルタ４０２を固定する保持枠４０１は、上述のように矢印方向へ回転する。一方、開口マスク４３２はベース部４０７の中空部分に固定されている。したがって、保持枠４０１を回転させることにより、第１ＲＧＢフィルタセット４１２の第１Ｒフィルタ部４１４、第１Ｇフィルタ部４１５および第１Ｂフィルタ部４１６を３つの開口４３４、４３５、４３６に一致させることができる。また、ｒａ、ｒｂ、ｒｃ、ｒｄは上述の関係を有するので、保持枠４０１を回転させることにより、第２ＲＧＢフィルタセット４２２の第２Ｒフィルタ部４２４、第２Ｇフィルタ部４２５および第２Ｂフィルタ部４２６を３つの開口４３４、４３５、４３６と重なるように配置させることもできる。
【００７４】
このような位相関係を実現する第１ＲＧＢフィルタセット４１２、第２ＲＧＢフィルタセット４２２および３つの開口４３４、４３５、４３６の相対的な位置関係はさまざまパターンが存在する。図においては、第１ＲＧＢフィルタセット４１２の各フィルタ部をフィルタ４０２の中心に対して各々９０度を成す位置に配置し、第２ＲＧＢフィルタセット４２２の各フィルタ部も同様にフィルタ４０２の中心に対して各々９０度を成す位置に配置している。その上で、互いに重ならないように、互いに４５度の位相差を持たせて配置している。このようなフィルタ４０２の構成に対応させて、開口マスク４３２に３つの開口４３４、４３５、４３６が設けられている。
【００７５】
図１２は、構造化開口ユニット４００をレンズユニット２１０に装着する様子を示す図である。構造化開口ユニット４００が、レンズ鏡筒２１７の内部に設けられた挿抜ガイド２２０に案内されて装着される構造は、上述の構造化開口ユニット３００の場合と同様である。ただし、フィルタ４０２の中心が光軸２０１と一致する位置に到達すると、ギア４０６は、アクチュエータ２１５の駆動ギアと噛合する。アクチュエータ２１５は、レンズ鏡筒２１７に配設されており、レンズシステム制御部２１６は、構造化開口ユニット４００がレンズユニット２１０と一体化されると、保持枠４０１を回転させることができる。
【００７６】
このような構造化開口ユニット４００を採用した場合、３つの開口４３４、４３５、４３６に、第１ＲＧＢフィルタセット４１２の各フィルタ部を一致させるか、第２ＲＧＢフィルタセット４２２の各フィルタ部を一致させるかにより、被写体光束が透過する有効領域の重心を変位させることができる。つまり、構造化開口ユニット４００の自転機構は、重心変位機構として機能する。なお、構造化開口ユニット４００を採用する場合は、カメラシステム制御部２４５は、補助撮影時において絞り２１４を開放に制御する。
【００７７】
また、第１ＲＧＢフィルタセット４１２の各フィルタ部と第２ＲＧＢフィルタセット４２２の各フィルタ部の大きさを互いに異ならせているので、最適ピント位置、透過させる光量等の条件を変更させることができる。したがって、奥行き推定の目的、シーンの状況などに応じて、より適切な奥行き情報を算出することができる。
【００７８】
図１３は、更に他の構造化開口ユニット５００の構成を示す図である。図１１を用いて説明した構造化開口ユニット４００は、３つの開口４３４、４３５、４３６に、自転機構を利用して第１ＲＧＢフィルタセット４１２の各フィルタ部または第２ＲＧＢフィルタセット４２２の各フィルタ部を一致させた。また、本撮影画像を撮影するときは構造化開口ユニット４００をレンズユニット２１０から抜出し、補助撮影画像を撮影するときは構造化開口ユニット４００をレンズユニット２１０へ装着した。これに対し、構造化開口ユニット５００は、公転機構を利用してＲＧＢフィルタセットを被写体光束中に挿入し、本撮影画像を撮影するときもレンズユニット２１０から抜出することを要しない。
【００７９】
レンズ鏡筒５１７は、少なくとも構造化開口ユニット５００を内包する部位において断面が広く設定されている。なお、図３を用いて説明したレンズ鏡筒２１７に相当する外形は、点線５１１に相当する。構造化開口ユニット５００は、３つの開口を有する保持枠５０１と、そのうちの２つの開口に張設されたフィルタ５２１，５３１を主な構成要素とする。保持枠５０１の中心には回転軸５１０が設けられており、保持枠５０１はレンズ鏡筒５１７に対して回転自在に軸支されている。保持枠５０１は全体として円形を成し、その外周部分には全集にわたって内向きにギア５０６が設けられている。ギア５０６は、レンズ鏡筒５１７内に支持されたアクチュエータ５１５と直接またはギアトレインを介して連結されており、保持枠５０１は、アクチュエータ５１５の駆動により回転軸５１０回りに回転する。
【００８０】
保持枠５０１は、回転軸５１０を中心として互いに１２０度の間隔を成す対称位置に、被写体光束と略同じ大きさ開口を３つ備えている。そのうちの一つにフィルタ５２１が、他の一つにフィルタ５３１が張設され、残り一つは被写体光束の全部を通過させる全開口５４２である。そして、レンズシステム制御部２１６は、アクチュエータ５１５の駆動により、フィルタ５２１、５３１および全開口５４２のうちのいずれか一つを、光軸２０１を中心とする被写体光束中に配設することができる。つまり、被写体光束にフィルタ５２１、５３１および全開口５４２のいずれかを挿抜することができる。
【００８１】
フィルタ５２１は、被写体光束を遮断する遮断フィルタ部５２３と第１ＲＧＢフィルタセット５２２から構成される。第１ＲＧＢフィルタセット５２２は、フィルタ５２１の中心を円心とする半径ｒａの円周上にそれぞれ円心を有する半径ｒｂの３つの円を成す第１Ｒフィルタ部５２４、第１Ｇフィルタ部５２５および第１Ｂフィルタ部５２６から構成される。フィルタ５３１は、被写体光束を遮断する遮断フィルタ部５３３と第２ＲＧＢフィルタセット５３２から構成される。第２ＲＧＢフィルタセット５３２は、フィルタ５３１の中心を円心とする半径ｒｃの円周上にそれぞれ円心を有する半径ｒｄの３つの円を成す第２Ｒフィルタ部５３４、第２Ｇフィルタ部５３５および第２Ｂフィルタ部５３６から構成される。ただし、ここではｒｃ＞ｒａ、ｒｂ＞ｒｄであって、ｒａ＋ｒｂ＞ｒｃ＋ｒｄを満たす。
【００８２】
なお、保持枠５０１のうち、３つの開口を形成するプレート部分は非透過部材で形成することが好ましい。さらには、植毛紙等の遮光部材で表面を処理することが好ましい。このような対策により、鏡筒内の迷光を遮断することが期待できる。また、異なる大きさ、偏心位置のＲＧＢフィルタセットを有するフィルタを増やせば、より段階的に重心位置等を変化させることができる。
【００８３】
以上のように構造化開口ユニット５００を構成すれば、図１１で説明した構造化開口ユニット４００と同様の効果を奏しつつ、ユーザによる構造化開口ユニットの挿抜動作を省くこともできる。すなわち、レンズシステム制御部２１６がアクチュエータ５１５を駆動して自動的に、本撮影画像を撮影するときには全開口５４２を被写体光束に配置させ、補助撮影画像を撮影するときにはフィルタ５２１，５３１を被写体光束に配置させることができる。
【００８４】
図１４は、更に他の構造化開口ユニット６００の外観図である。図１４（ａ）は被写体側から見た正面図であり、図１４（ｂ）は側面図であり、図１４（ｃ）は撮像素子２４３側から見た背面図である。なお、構造化開口ユニット６００は、原則として図１を用いて説明した一眼レフカメラ２００に装着されて利用されるので、上述の実施形態と共通する要素については同じ符番を付して説明を省略する。
【００８５】
構造化開口ユニット６００は、ＬＣＤ６０１、フィルタ６１２、ベース部６０７、外周部６０８および把持部６０９を主な構成要素とする。ベース部６０７は、被写体光束範囲に円筒状の中空部分を有し、フィルタ６１２は、ベース部６０７の中空部分に張設されて固定されている。
【００８６】
フィルタ６１２は、赤色の波長帯を透過させるＲフィルタ部６１４、緑色の波長体を透過させるＧフィルタ部６１５および青色の波長帯を透過させるＢフィルタ部６１６から構成される。図示するようにＲフィルタ部６１４、Ｇフィルタ部６１５、Ｂフィルタ部６１６は、フィルタ６１２の中心を通る光軸２０１に対して放射方向へそれぞれ延在するように、光軸２０１からは偏心した位置に設けられている。より具体的には、Ｒフィルタ部６１４、Ｇフィルタ部６１５、Ｂフィルタ部６１６は、それぞれ扇型であって互いに隣接するように配列されている。
【００８７】
ベース部６０７の端部には外周部６０８と把持部６０９が一体的に形成されている。ユーザは、把持部６０９を掴んで構造化開口ユニット６００をレンズユニット２１０に対して挿抜する。
【００８８】
ＬＣＤ６０１は、端子６３６を介してレンズシステム制御部２１６により制御される、液晶素子である。レンズシステム制御部２１６は液晶の配列方向を制御することにより、遮光部６３３と透過部６３４の形状を制御する。例えば、図示するように、光軸２０１を中心として同心円状に遮光部６３３の大きさを変化させることができる。つまり遮光部６３３と透過部６３４の面積比を変更することができる。
【００８９】
このとき、遮光部６３３の大きさが大きくなるに従って各フィルタ部における透過領域が段階的に小さくなる。すなわち、Ｒフィルタ部６１４、Ｇフィルタ部６１５、Ｂフィルタ部６１６のそれぞれが、光軸中心から徐々に遮光部６３３に占有され、被写体光束を透過させる有効領域が周縁部に制限されてゆく。これに伴い、各フィルタ部における有効領域の重心も変位する。
【００９０】
つまり、構造化開口ユニット６００にＬＣＤ６０１を組み込むことにより、奥行き推定の目的、シーンの状況などに応じて、より適切な奥行き情報を算出することができる。換言すれば、ＬＣＤ６０１を、Ｒフィルタ部６１４、Ｇフィルタ部６１５、Ｂフィルタ部６１６のそれぞれにおいて被写体光束が透過する有効領域の重心を変位させる重心変位機構として機能させることにより、さまざまな要求に応じた距離情報を取得することができる。なお、構造化開口ユニット６００を採用する場合は、カメラシステム制御部２４５は、補助撮影時において絞り２１４も併せて制御することにより、より変化に富んだ重心変位制御を実行することができる。
【００９１】
なお、ここでは重心変位機構として光束制限素子であるＬＣＤ６０１を用いたが、他の素子も適用することができる。例えば、空間光変調器（ＳＬＭ）のように電気的に開口パターンを変化させられれば良い。
【００９２】
次に、構造化開口を配設する位置について説明する。上述の実施形態においては図１で示すように、構造化開口をレンズユニット２１０の瞳位置近傍に配設した。しかし、構造化開口の配設位置はレンズユニット２１０の瞳位置近傍に限らない。例えば、光学系を二次結像系とすることにより、構造化開口を、レンズユニットの瞳位置に共役な位置またはその近傍に配設することができる。特に、一眼レフカメラのようにレンズ交換式カメラの場合、カメラユニット側に構造化開口を設ければ、レンズユニットごとに構造化開口を配設しなくても良い。さらには、ＡＦ光学系２３９、ＡＦセンサ２４０等から構成されるＡＦユニットを上記実施形態に係る距離情報取得装置に置き換えて、オートフォーカスについても上述の奥行き推定から実行するように構成することもできる。この場合、本撮影画像を取得する撮像素子２４３とは別に、距離情報算出用の受光素子が設けられることになる。
【００９３】
以上の実施形態においては、一眼レフカメラを例に説明したが、光学ファインダを持たないレンズ交換式カメラ、レンズユニットが一体化されたコンパクトカメラ、動画撮影を行うこともできるビデオカメラといった撮像装置に対しても適用することができる。
【００９４】
また、以上の実施形態においては、撮像素子としてベイヤー配列のカラーフィルタを有する単板式撮像素子を例に説明したが、他のカラーフィルタ配列であっても良く、さらには、ＲＧＢに限らず他の波長帯を透過させるフィルタが配列されていても良い。この場合、構造化開口のフィルタ部は、撮像素子のカラーフィルタの波長帯に応じて透過および遮断波長帯が選択される。
【００９５】
また、カラーフィルタを持たず、フォトダイオードの奥行き方向に異なる感応波長帯を有する撮像素子に対しても適用できる。この場合、構造化開口のフィルタ部は、フォトダイオードの奥行き方向で分離される波長帯に応じて透過波長帯が選択される。さらには、単板の撮像素子を備えるカメラに限らず、例えばＲＧＢのそれぞれに分けられた三板式カメラのような、入射する被写体光束を複数の波長帯に分離してそれぞれの波長帯を独立して受光する複数の撮像素子を備えるカメラに対しても適用することができる。また、ＲＧＢのうち２つの波長帯を透過させるフィルタが配列されていれば、上述の距離情報取得を行うことができるので、以上の実施形態に係る構造化開口のＲＧＢフィルタのうちの一つを取り除いても良い。
【００９６】
次に、図１等を用いて説明した、構造化開口ユニット３００を適用した一眼レフカメラ２００による撮影シーケンスの例を説明する。ただし、バリエーションとして説明した他の構成の構造化開口、構造化開口の配設位置、撮像素子の種類、数等についても、適宜組み合わせて適用し得る。
【００９７】
図１５は、本撮影画像および補助撮影画像の取得フローを示す図である。撮影シーケンスが開始されると、カメラシステム制御部２４５は、ステップＳ１３０１で、これから行う撮影動作が本撮影画像の撮影動作か、補助撮影画像の撮影動作かを判断する。本撮影画像の撮影動作であると判断したときは、ステップＳ１３０２へ進む。
【００９８】
ステップＳ１３０２でカメラシステム制御部２４５は、ユーザにより構造化開口ユニット３００が被写体光束から抜出されているか否かを判断する。抜出さているか否かは、例えば、フォトインタラプタなどのセンサを設けて判断することができる。なお、図１３を用いて説明した構造化開口ユニット５００のような公転機構を採用する場合は、ステップＳ１３０２の判断処理に代えて、アクチュエータ５１５により全開口５４２を被写体光束に挿入する動作処理を実行する。
【００９９】
カメラシステム制御部２４５は、構造化開口ユニット３００が抜出されたと判断したらステップＳ１３０３へ進む。抜出されるまではステップＳ１３０２で待機する。
【０１００】
ステップＳ１３０３では、カメラシステム制御部２４５は、レリーズスイッチ２５５のＳＷ１がＯＮにされるのを待って、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像の輝度分布を取得する。カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０４に進み、露出値を算出する。ここで、露出値とは、撮像素子２４３を被写体光束に露光する露光時間、被写体光束を制限する絞り２１４の絞り値、および撮像素子２４３の読み出しゲインに対応するＩＳＯ感度の３つの数値である。
【０１０１】
露出値は、カメラメモリに予め記録されたプログラム線図によって決定される。例えば、ユーザにより絞り優先モードに設定されている場合は、カメラシステム制御部２４５は、ユーザが設定した絞り値はそのままにして、露光時間と撮像感度を一定のルールに即して設定されているプログラム線図上の値により決定する。
【０１０２】
また、カメラシステム制御部２４５は、ＳＷ１がＯＮにされると、測光処理の他にも合焦動作などの撮影準備処理を実行する。合焦動作は、ＡＦセンサ２４０から取得された位相差情報に基づいて、レンズシステム制御部２１６がフォーカスレンズ２１２を駆動することにより実現される。
【０１０３】
撮影準備処理が終了すると、カメラシステム制御部２４５は、ステップＳ１３０５へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、本撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。さらに、フォーカルプレーンシャッタ２４１が開放されている間に撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に予め設定されたフォーマットに従って画像ファイルを生成させ、当該画像ファイルを記録部に記録する。
【０１０４】
カメラシステム制御部２４５は、一連の本撮影画像の撮影動作が終了したらステップＳ１３０６へ進み、引き続き補助撮影画像の撮影動作が指示されているか否かを判断する。補助撮影画像の撮影動作が指示されていなければ、一連の処理を終了する。
【０１０５】
カメラシステム制御部２４５は、ステップＳ１３０１またはステップＳ１３０６で補助撮影画像の撮影動作が指示されていると判断したら、ステップＳ１３０７へ進み、ユーザにより構造化開口ユニット３００が被写体光束中に装着されているか否かを判断する。カメラシステム制御部２４５は、構造化開口ユニット３００が装着されるまでステップＳ１３０７で待機する。なお、図１０を用いて説明した構造化開口ユニット５００のような公転機構を採用する場合は、ステップＳ１３０７の判断処理に代えて、アクチュエータ５１５によりフィルタ５２１またはフィルタ５３１を被写体光束に挿入する動作処理を実行する。
【０１０６】
カメラシステム制御部２４５は、構造化開口ユニット３００が装着されたと判断したらステップＳ１３０８へ進む。補助撮影画像の撮影動作は、被写体光束中に構造化開口および重心変位機構を介在させて実行するので、撮像素子２４３に到達する被写体光束の光学的条件が、本撮影画像の撮影動作時とは大きく異なる。簡単には、撮像素子２４３に到達する被写体光束が構造化開口および重心変位機構によって制限されるので、本撮影画像の撮影条件と同じ条件では暗い画像が取得されることになる。そこで、カメラシステム制御部２４５は、補助撮影画像の撮影条件を、本撮影画像の撮影条件とは異ならせる。
【０１０７】
そこで、本実施形態においては、カメラシステム制御部２４５は、補助撮影画像の撮影動作時にフラッシュ２４９を動作させて被写体を照射する。カメラシステム制御部２４５は、ステップＳ１３０８へ進むと、ＳＷ１がＯＮにされるのを待って、フラッシュ２４９の事前照射動作であるプリ発光を行い、被写体の測光を行う。具体的には、カメラシステム制御部２４５は、ＡＥセンサ２３７から被写体像のプリ発光時における輝度分布を取得する。
【０１０８】
カメラシステム制御部２４５は、被写体像の輝度分布を取得したら、ステップＳ１３０９へ進み、露出値を算出する。このときの露出値はフラッシュ２４９の発光を前提とした値であり、したがって、カメラシステム制御部２４５は、ステップＳ１３１０へ進み、撮影動作時におけるフラッシュ２４９の照射量を決定する。なお、照射量の算出は、ＡＥセンサ２３７から得られる輝度分布情報から行っても良いが、本撮影画像の撮影動作時にもフラッシュ２４９を照射させたのであれば、当該撮影動作時における照射量から、補助撮影画像の撮影動作における照射量を算出しても良い。具体的には、構造化開口および重心変位機構を被写体光束中に介在させることによりカットされる光量は事前の実験等により把握されるので、これに応じて低下する露出段数分に相当する光量を本撮影画像の撮影動作時における照射量に足して算出する。
【０１０９】
なお、ステップＳ１３０９における露出値の算出は、ステップＳ１３１０のフラッシュ２４９の照射量の決定とセットで実行されるが、露出値のうちＩＳＯ感度については、ステップＳ１３０４で算出されるＩＳＯ感度よりも大きく設定すると良い。すなわち、補助撮影画像における被写体のぶれは、距離情報の算出に悪影響を及ぼし精度の低下を招くので、撮像素子２４３に対する露光時間は短いことが好ましい。そこで、露光時間を短くすべく、ＩＳＯ感度を大きく設定する。補助撮影画像はユーザの鑑賞画像ではないので、距離情報の算出に影響しない限りにおいてＩＳＯ感度が大きく設定されても良い。したがって、カメラシステム制御部２４５が設定し得るＩＳＯ感度の上限は、本撮影画像の撮影動作時の値と補助撮影画像の撮影動作時の値で異なり、補助撮影画像の撮影動作時の値の方が大きい。
【０１１０】
このように撮影動作時における露出値と照射量が決定されると、カメラシステム制御部２４５は、ステップＳ１３１１へ進み、レリーズスイッチ２５５のＳＷ２がＯＮにされるのを待って、補助撮影画像の取得動作を実行する。具体的には、メインミラー２３２およびサブミラー２３８を被写体光束から退避させ、決定された露出値に従って絞り２１４およびフォーカルプレーンシャッタ２４１を動作させる。このとき、決定された照射量に従ってフラッシュ２４９を動作させ被写体を照射する。さらに、撮像素子２４３の各画素に蓄積された電荷を読み出し、画像処理部２４６に赤色画像、緑色画像および青色画像を含む補助撮影画像ファイルを生成させ、当該画像ファイルを記録部に記録する。以上により一連の処理を終了する。
【０１１１】
なお、重心変位機構による有効領域の重心変位量は、ステップＳ１３０９において算出される露出値、例えば顔認識に代表される被写体の認識等により、自動的にカメラシステム制御部２４５が設定しても良い。もちろん、ユーザが距離情報の目的に即して設定を変更できるように構成しても良い。また、算出される奥行き推定の精度を向上させるべく、重心を変位させて複数枚の補助撮影画像を取得しても良い。
【０１１２】
また、本フローにおいては、補助撮影画像の撮影動作時にフラッシュ２４９を照射させて構造化開口による光量低下を補った。しかし、被写体環境によってはフラッシュ２４９を照射させずに他の撮影条件を変更することにより光量低下を補っても良い。例えば、上述のように、ＩＳＯ感度を大きな値に設定する。または、予め定められた露光時間を下限として、露光時間を長めに設定しても良い。つまり、カメラシステム制御部２４５は、本撮影画像の撮影条件に比較して、補助撮影画像の撮影条件を、被写体光束をより取り込む、取り込んだ光をより増幅する方向に変更すればよい。
【０１１３】
次に、構造化開口の変化の変化と、シーンに対する最適ピント位置、測定可能な奥行き範囲等の関係について説明する。ここでは、図６で示した絞り２１４を、Ｒフィルタ部３０４、Ｇフィルタ部３０５、Ｂフィルタ部３０６のそれぞれにおいて被写体光束が透過する有効領域の重心を変位させる重心変位機構として機能させる場合について説明する。より具体的には、ユーザの要望に対して絞り２１４の絞り値をいかに設定するかについて述べる。
【０１１４】
図１６は、オブジェクトと視差量の関係を表す概念図である。なお、ここでは主光線がレンズ群２１１の瞳の中心を通ると仮定する。
【０１１５】
フォーカスレンズ２１２が特定のオブジェクトに焦点を合せた場合の、そのフォーカス位置に存在するオブジェクトまでの距離をｓとする。また、デフォーカス位置に存在するオブジェクトまでの距離をｓ１とする。そして、レンズユニット２１０の焦点距離をｆとし、絞り値をＦとすれば、ｓ１にあるオブジェクトの撮像素子２４３上に現れる視差量εは、
【数２】
2012088169.tif 000004
と表される。この式より、オブジェクトまでの距離ｓ１と視差量εは線形ではないこと、また、オブジェクトまでの距離ｓ１が遠くなるほど視差量εの変化率が低下することがわかる。
【０１１６】
次に、絞り値Ｆの選定基準について説明する。奥行き方向の分解能をΔｄとする。分解能Δｄは、奥行き推定の目的、シーンの状況などに応じて適宜設定されうるものであり、例えばユーザが、操作部材等を介して自ら要求する分解能を入力する。または、周囲の環境に応じて、カメラシステム制御部２４５が自動的に設定する。
【０１１７】
最大遠方にあるオブジェクトまでの距離をｓｆとすると、その視差量はε（Ｆ，ｓ，ｓｆ）と表される。また、最大遠方にあるオブジェクトから奥行き分解能Δｄだけ手前の視差量はε（Ｆ，ｓ，ｓｆ−Δｄ）と表される。上述より、オブジェクトまでの距離ｓ１が遠くなるほど視差量εの変化率が低下するので、両者の差が視差変化量の最小値となる。この最小視差変化量Δεｍｉｎは、
【数３】
2012088169.tif 000005
と表される。この最小視差変化量Δεｍｉｎが測定されるためには、撮像素子２４３のピクセルサイズをｐとすれば、
【数４】
2012088169.tif 000006
を満たさなければならない。
【０１１８】
さらに適切な絞り値Ｆを得るためには、取得画像の最大ぼけ量が許容し得ることを要する。最大遠方ｓｆにあるオブジェクトが持つぼけ量は、近軸近似においては最大視差量（Ｆ，ｓ，ｓｆ）と一致するので、
【数５】
2012088169.tif 000007
で表される。したがって許容ぼけ量をＢとすれば、
【数６】
2012088169.tif 000008
を満たさなければならない。
【０１１９】
具体的な計算の一例を示す。ｆを５０ｍｍ、ｓを１４００ｍｍ、ｓ１を２１５０ｍｍ、ｐを０．０１ｍｍ、Δｄを２５０ｍｍとする。また、レンズユニット２１０のＭＴＦが１０本／ｍｍであるとしたときにＢを０．１ｍｍと定めれば、式（４）および式（６）を満たす絞り値Ｆは、３．０から７．３と算出することができる。絞り値がこの範囲となるように、補助撮影画像を取得する場合の露出値を決定すればよい。
【０１２０】
上記の演算は、図１５を用いて説明した一連の処理フローにおいて、ステップＳ１３０９の露出値算出の一環として実行される。ここで、より具体的な処理について説明する。図１７は、絞り駆動までの処理過程を示すフロー図である。
【０１２１】
カメラシステム制御部２４５は、ステップＳ１４０１で、奥行き分解能Δｄを取得する。上述のように、奥行き分解能Δｄは、例えばユーザによって予め入力されている。ステップＳ１４０２へ進み、カメラシステム制御部２４５は、ＡＦセンサ２４０の出力からフォーカスオブジェクトの距離ｓを取得し、続いてステップＳ１４０３で最大遠方オブジェクトの距離ｓ１を取得する。
【０１２２】
そしてステップＳ１４０４へ進み、カメラシステム制御部２４５は、これらの条件を用いて上述の手順により絞り値Ｆを計算する。計算の結果、絞り値Ｆの解が存在すれば（ステップＳ１４０５のＹＥＳ）、図１５のステップＳ１３０９へ戻り、露出値を算出する。絞り値Ｆの解が存在しなければ、ステップＳ１４０６へ進み、奥行き分解能Δｄの再取得を行う。ここでの奥行き分解のΔｄは、最初に用いたΔｄとは異なる値であり、例えば、カメラシステム制御部２４５が予め定めた刻み幅で変更させる。または、最大遠方オブジェクトの距離ｓｆまでを測定レンジとするのではなく、測定レンジを狭める、すなわち距離ｓｆをオブジェクトによらず小さな値に定めても良い。もちろん、奥行き分解能Δｄと距離ｓｆの両パラメータを共に変更しても良い。値を変更したらステップＳ１４０４へ戻る。
【０１２３】
なお、決定された絞り値Ｆに応じて絞り２１４を一律に駆動しても良いが、表示部２４７等を用いて一旦ユーザに算出結果を提示し、最終的な決定をユーザの指示に委ねても良い。最終的な決定をユーザが行えば、例えば撮影動作時におけるフラッシュ２４９の発光など、ユーザはさらなる選択を実行し得る。
【０１２４】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１２５】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１２６】
２００  一眼レフカメラ、２０１  光軸、２１０  レンズユニット、２１１  レンズ群、２１２  フォーカスレンズ、２１３  ズームレンズ、２１４  絞り、２１５  アクチュエータ、２１６  レンズシステム制御部、２１７  レンズ鏡筒、２１８  レンズマウント、２１９  装着スリット、２２０  挿抜ガイド、２２１  絞り駆動回路、２３０  カメラユニット、２３１  カメラマウント、２３２  メインミラー、２３３  回転軸、２３４  ピント板、２３５  ペンタプリズム、２３６  接眼光学系、２３７  ＡＥセンサ、２３８  サブミラー、２３９  ＡＦ光学系、２４０  ＡＦセンサ、２４１  フォーカルプレーンシャッタ、２４２  光学ローパスフィルタ、２４３  撮像素子、２４４  メイン基板、２４５  カメラシステム制御部、２４６  画像処理部、２４７  表示部、２４８  二次電池、２４９  フラッシュ、２５０  パターン投光部、２５１  距離情報算出部、２５２  カメラメモリ、２５３  ワークメモリ、２５４  外部接続ＩＦ、２５５  レリーズスイッチ、２８１  絞り羽根、２８２  遮光領域、３００  構造化開口ユニット、３０２  フィルタ、３０３  遮断フィルタ部、３０４  Ｒフィルタ部、３０５  Ｇフィルタ部、３０６  Ｂフィルタ部、３０７  ベース部、３０８  外周部、３０９  把持部、４００  構造化開口ユニット、４０１  保持枠、４０２  フィルタ、４０３  遮断フィルタ部、４０６  ギア、４０７  ベース部、４０８  外周部、４０９  把持部、４１２  第１ＲＧＢフィルタセット、４１４  第１Ｒフィルタ部、４１５  第１Ｇフィルタ部、４１６  第１Ｂフィルタ部、４２２  第２ＲＧＢフィルタセット、４２４  第２Ｒフィルタ部、４２５  第２Ｇフィルタ部、４２６  第２Ｂフィルタ部、４３２  開口マスク、４３３  遮断部、４３４、４３５、４３６  開口、５００  構造化開口ユニット、５０１  保持枠、５０６  ギア、５１１  点線、５１５  アクチュエータ、５１７  レンズ鏡筒、５２１  フィルタ、５２２  第１ＲＧＢフィルタセット、５２３  遮断フィルタ部、５２４  第１Ｒフィルタ部、５２５  第１Ｇフィルタ部、５２６  第１Ｂフィルタ部、５３１  フィルタ、５３２  第２ＲＧＢフィルタセット、５３３  遮断フィルタ部、５３４  第２Ｒフィルタ部、５３５  第２Ｇフィルタ部、５３６  第２Ｂフィルタ部、５４２  全開口、６００  構造化開口ユニット、６０１  ＬＣＤ、６０７  ベース部、６０８  外周部、６０９  把持部、６１２  フィルタ、６１４  Ｒフィルタ部、６１５  Ｇフィルタ部、６１６  Ｂフィルタ部、６３３  遮光部、６３４  透過部、７０１  Ｂ曲線、７０２  Ｇ曲線、７０３  Ｒ曲線、７１１、７１２、７１３  矢印
【図１】
2012088169.tif 000009
【図２】
2012088169.tif 000010
【図３】
2012088169.tif 000011
【図４】
2012088169.tif 000012
【図５】
2012088169.tif 000013
【図６】
2012088169.tif 000014
【図７】
2012088169.tif 000015
【図８】
2012088169.tif 000016
【図９】
2012088169.tif 000017
【図１０】
2012088169.tif 000018
【図１１】
2012088169.tif 000019
【図１２】
2012088169.tif 000020
【図１３】
2012088169.tif 000021
【図１４】
2012088169.tif 000022
【図１５】
2012088169.tif 000023
【図１６】
2012088169.tif 000024
【図１７】
2012088169.tif 000025