(57)【特許請求の範囲】
【請求項１】
第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、
２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、前記撮像レンズの前記第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、前記撮像レンズの前記第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有するイメージセンサと、
前記イメージセンサの前記第１画素及び前記第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得する第１画像取得部と、
前記イメージセンサの前記第３画素及び前記第４画素のうちの少なくとも一方の画素から非対称ボケを有する第２画像を取得する第２画像取得部と、
前記イメージセンサの前記第１画素及び前記第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第３画像を取得する第３画像取得部と、
前記イメージセンサの前記第３画素及び前記第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得する第４画像取得部と、
前記取得した前記第１画像と前記第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出部と、
前記取得した前記第２画像と前記第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出部と、
を備えた撮像装置。
【請求項２】
第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、
２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割して受光する第１画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割して受光する第３画素と、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有するイメージセンサと、
前記イメージセンサの前記第１画素から非対称ボケを有する第１画像を取得する第１画像取得部と、
前記イメージセンサの前記第３画素から非対称ボケを有する第２画像を取得する第２画像取得部と、
前記イメージセンサの前記第１基準画素から対称ボケを有する第３画像を取得する第３画像取得部と、
前記イメージセンサの前記第２基準画素から対称ボケを有する第４画像を取得する第４画像取得部と、
前記取得した前記第１画像と前記第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出部と、
前記取得した前記第２画像と前記第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出部と、
を備えた撮像装置。
【請求項３】
前記イメージセンサは、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割して受光する第２画素であって、前記第１画素とは瞳分割方向が異なる第２画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割して受光する第４画素であって、前記第３画素とは瞳分割方向が異なる第４画素とを有する請求項２に記載の撮像装置。
【請求項４】
前記撮像レンズは、前記撮像レンズの第１方向に区分される点対称の第１サブ領域及び第２サブ領域からなる前記第１領域と、前記撮像レンズの前記第１方向と直交する第２方向に区分される点対称の第３サブ領域及び第４サブ領域からなる前記第２領域とを有し、
前記イメージセンサは、前記撮像レンズの前記第１方向及び前記第２方向に隣接する４つの前記第１画素、前記第２画素、前記第３画素及び前記第４画素に１つのマイクロレンズが配置され、前記撮像レンズの前記第１サブ領域、前記第２サブ領域、前記第３サブ領域及び前記第４サブ領域を介して入射する光束が、前記マイクロレンズによりそれぞれ瞳分割されて前記第１画素、前記第２画素、前記第３画素、及び前記第４画素に入射する請求項１又は３に記載の撮像装置。
【請求項５】
前記撮像レンズは、前記撮像レンズの第１方向に区分される点対称の第１サブ領域及び第２サブ領域からなる前記第１領域と、前記撮像レンズの前記第１方向と直交する第２方向に区分される点対称の第３サブ領域及び第４サブ領域からなる前記第２領域とを有し、
前記イメージセンサは、前記第１画素、前記第２画素、前記第３画素及び前記第４画素にそれぞれ開口位置が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、前記撮像レンズの前記第１サブ領域、前記第２サブ領域、前記第３サブ領域及び前記第４サブ領域を介して入射する光束が、前記遮光マスクによりそれぞれ瞳分割されて前記第１画素、前記第２画素、前記第３画素、及び前記第４画素に入射する請求項１又は３に記載の撮像装置。
【請求項６】
前記撮像レンズは、それぞれ同一の光軸上に配置された中央光学系からなる前記第１領域と、前記中央光学系の周辺部の環状光学系からなる前記第２領域とを有し、
前記イメージセンサは、前記第１画素、前記第２画素、前記第３画素及び前記第４画素にそれぞれ開口位置及び形状が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、前記撮像レンズの前記中央光学系を介して入射する光束が、前記遮光マスクにより瞳分割されて前記第１画素及び前記第２画素に入射し、前記撮像レンズの前記環状光学系を介して入射する光束が、前記遮光マスクにより瞳分割されて前記第３画素及び前記第４画素に入射する請求項１又は３に記載の撮像装置。
【請求項７】
前記イメージセンサの前記複数の画素の各画素には、３原色の３つのカラーフィルタを含む複数のカラーフィルタが所定のフィルタ配列で配置され、
前記第１画像取得部及び前記第２画像取得部が取得する前記第１画像及び前記第２画像と、前記第３画像取得部及び前記第４画像取得部が取得する前記第３画像及び前記第４画像とは、それぞれ同じ色の前記カラーフィルタが配置された画素から取得した画像である請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記第１距離算出部は、前記第１画像の局所領域の第１局所画像の非対称ボケを、第１補正フィルタを使用して対称ボケに補正する第１フィルタ処理部と、前記第１補正フィルタにより補正された前記第１局所画像と、前記第３画像の局所領域の第３局所画像であって、前記第１局所画像と同じ局所領域の第３局所画像とを比較し、前記比較した前記第１局所画像と前記第３局所画像との相関が最大になるときの前記第１補正フィルタを探索する第１補正フィルタ探索部と、を含み、前記探索した前記第１補正フィルタに基づいて前記被写体の距離である前記局所領域の距離を算出し、
前記第２距離算出部は、前記第２画像の局所領域の第２局所画像の非対称ボケを、第２補正フィルタを使用して対称ボケに補正する第２フィルタ処理部と、前記第２補正フィルタにより補正された前記第２局所画像と、前記第４画像の局所領域の第４局所画像であって、前記第２局所画像と同じ局所領域の第４局所画像とを比較し、前記比較した前記第２局所画像と前記第４局所画像との相関が最大になるときの前記第２補正フィルタを探索する第２補正フィルタ探索部と、を含み、前記探索した前記第２補正フィルタに基づいて前記被写体の距離である前記局所領域の距離を算出する請求項１から７のいずれか１項に記載の撮像装置。
【請求項９】
前記第１距離算出部は、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の前記第１補正フィルタを記憶する第１補正フィルタ記憶部を含み、
前記第１フィルタ処理部は、前記第１補正フィルタ記憶部に記憶された前記複数の前記第１補正フィルタのうちの１つの第１補正フィルタを読み出し、前記第１局所画像と前記読み出した第１補正フィルタとの畳み込み演算を行うことにより前記第１補正フィルタにより補正された前記第１局所画像を生成し、
前記第１補正フィルタ探索部は、前記第１補正フィルタ記憶部に記憶された前記複数の第１補正フィルタの中から前記相関が最大になるときの前記第１補正フィルタを探索し、
前記第２距離算出部は、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の前記第２補正フィルタを記憶する第２補正フィルタ記憶部を含み、
前記第２フィルタ処理部は、前記第２補正フィルタ記憶部に記憶された前記複数の前記第２補正フィルタのうちの１つの第２補正フィルタを読み出し、前記第２局所画像と前記読み出した第２補正フィルタとの畳み込み演算を行うことにより前記第２補正フィルタにより補正された前記第２局所画像を生成し、
前記第２補正フィルタ探索部は、前記第２補正フィルタ記憶部に記憶された前記複数の第２補正フィルタの中から前記相関が最大になるときの前記第２補正フィルタを探索する請求項８に記載の撮像装置。
【請求項１０】
前記第１距離算出部により算出される前記被写体の距離及び前記第２距離算出部により算出される前記被写体の距離のうちの一方の被写体の距離を、前記画像内の被写体の距離として選択する選択部を備えた請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記撮像レンズの光軸中心から周辺部分に向かって光透過率を連続的に変化させるアポダイジングフィルタを設けた請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、前記撮像レンズの前記第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、前記撮像レンズの前記第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有するイメージセンサとを備えた撮像装置による距離計測方法であって、
前記イメージセンサの前記第１画素及び前記第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得するステップと、
前記イメージセンサの前記第３画素及び前記第４画素のうちの少なくとも一方の画素から非対称ボケを有する第２画像を取得するステップと、
前記イメージセンサの前記第１画素及び前記第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第３画像を取得するステップと、
前記イメージセンサの前記第３画素及び前記第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得するステップと、
前記取得した前記第１画像と前記第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出ステップと、
前記取得した前記第２画像と前記第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出ステップと、
を含む距離計測方法。
【請求項１３】
第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割して受光する第１画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割して受光する第３画素と、前記撮像レンズの前記第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、前記撮像レンズの前記第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有するイメージセンサと、を備えた撮像装置による距離計測方法であって、
前記イメージセンサの前記第１画素から非対称ボケを有する第１画像を取得するステップと、
前記イメージセンサの前記第３画素から非対称ボケを有する第２画像を取得するステップと、
前記イメージセンサの前記第１基準画素から対称ボケを有する第３画像を取得するステップと、
前記イメージセンサの前記第２基準画素から対称ボケを有する第４画像を取得するステップと、
前記取得した前記第１画像と前記第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出ステップと、
前記取得した前記第２画像と前記第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出ステップと、
を含む距離計測方法。
【請求項１４】
前記第１距離算出ステップは、
前記第１画像の局所領域の第１局所画像の非対称ボケを、第１補正フィルタを使用して対称ボケに補正するステップと、
前記第１補正フィルタにより補正された前記第１局所画像と、前記第３画像の局所領域の第３局所画像であって、前記第１局所画像と同じ局所領域の第３局所画像とを比較し、前記比較した前記第１局所画像と前記第３局所画像との相関が最大になるときの前記第１補正フィルタを探索する第１探索ステップと、を含み、
前記探索した前記第１補正フィルタに基づいて前記被写体の距離である前記局所領域の距離を算出し、
前記第２距離算出ステップは、
前記第２画像の局所領域の第２局所画像の非対称ボケを、第２補正フィルタを使用して対称ボケに補正するステップと、
前記第２補正フィルタにより補正された前記第２局所画像と、前記第４画像の局所領域の第４局所画像であって、前記第２局所画像と同じ局所領域の第４局所画像とを比較し、前記比較した前記第２局所画像と前記第４局所画像との相関が最大になるときの前記第２補正フィルタを探索する第２探索ステップと、を含み、
前記探索した前記第２補正フィルタに基づいて前記被写体の距離である前記局所領域の距離を算出する請求項１２又は１３に記載の距離計測方法。
【請求項１５】
前記第１距離算出ステップは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の前記第１補正フィルタを記憶する第１補正フィルタ記憶部から、前記複数の前記第１補正フィルタのうちの１つの第１補正フィルタを読み出し、前記第１局所画像と前記読み出した第１補正フィルタとの畳み込み演算を行うことにより前記第１補正フィルタにより補正された前記第１局所画像を生成し、
前記第１探索ステップは、前記第１補正フィルタ記憶部に記憶された前記複数の第１補正フィルタの中から前記相関が最大になるときの前記第１補正フィルタを探索し、
前記第２距離算出ステップは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の前記第２補正フィルタを記憶する第２補正フィルタ記憶部から、前記複数の前記第２補正フィルタのうちの１つの第２補正フィルタを読み出し、前記第２局所画像と前記読み出した第２補正フィルタとの畳み込み演算を行うことにより前記第２補正フィルタにより補正された前記第２局所画像を生成し、
前記第２探索ステップは、前記第２補正フィルタ記憶部に記憶された前記複数の第２補正フィルタの中から前記相関が最大になるときの前記第２補正フィルタを探索する請求項１４に記載の距離計測方法。
【請求項１６】
請求項１２から１５のいずれか１項に記載の距離計測方法をコンピュータに実行させる距離計測プログラム。
【請求項１７】
請求項１２から１５のいずれか１項に記載の距離計測方法をコンピュータに実行させる距離計測プログラムが記録された記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体に係り、特に被写体の距離を精度よく計測する技術に関する。
【背景技術】
【０００２】
近年、複数視点画像の距離を計測する撮像装置が提案されている（特許文献１）。【０００３】
特許文献１に記載の撮像装置は、カラー開口撮像により被写体の距離を計測するもので、図２０に示すように色補正フィルタＣＣ−Ｙ、ＣＣ−Ｃが設けられた撮像レンズ１と、イメージセンサ２とを有している。【０００４】
色補正フィルタＣＣ−Ｙ、ＣＣ−Ｃは、それぞれ黄色（Ｙ）及びシアン色（Ｃ）のフィルタであり、図２１に示すように撮像レンズ１を左右に２分割する領域にそれぞれ設けられている。色補正フィルタＣＣ−Ｙは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の波長域のうちのＲ、Ｇの波長域の光を透過させ、Ｂの波長域の光を減衰させる。また、色補正フィルタＣＣ−Ｃは、Ｒ、Ｇ、Ｂの波長域のうちのＢ，Ｇの波長域の光を透過させ、Ｒの波長域の光を減衰させる。【０００５】
イメージセンサ２は、Ｒ、Ｇ、Ｂのカラーフィルタが画素毎に配置された、通常のカラーイメージセンサである。【０００６】
特許文献１に記載の発明の距離計測の原理は、以下の通りである。【０００７】
図２０に示すように被写体３の１点から発せられる光は、撮像レンズ１を介してイメージセンサ２に入射する。図２０に示す例では、被写体３の距離が、撮像レンズ１の合焦距離よりも近い（前ピンである）ため、１点から発せられる光は、円形のボケ像４としてイメージセンサ２に入射する。【０００８】
いま、図２１にモデル化したようにスリット状の入力像が、色補正フィルタＣＣ−Ｙ、ＣＣ−Ｃを有する撮像レンズ１を介してイメージセンサ２に入射するが、入力像は、入力像の距離が撮像レンズ１の合焦距離と異なる場合にボケ像として撮像される。【０００９】
ここで、イメージセンサ２のＲのカラーフィルタが配置された画素（Ｒ画素）から出力されるボケ像は、色補正フィルタＣＣ−ＹによりＢの波長域の光の減衰を受けている領域と、色補正フィルタＣＣ−ＣによりＢの波長域の光の減衰を受けていない領域とにより、非対称な形状を有するボケ（非対称ボケ）となって撮像される。また、イメージセンサ２のＢのカラーフィルタが配置された画素（Ｂ画素）から出力されるボケ像は、色補正フィルタＣＣ−ＹによりＲの波長域の光の減衰を受けていない領域と、色補正フィルタＣＣ−ＣによりＲの波長域の光の減衰を受けている領域とにより、非対称な形状を有するボケ（非対称ボケ）となって撮像される。【００１０】
一方、イメージセンサ２のＧのカラーフィルタが配置された画素（Ｇ画素）から出力されるボケ像は、色補正フィルタＣＣ−Ｙ、ＣＣ−ＣによりＧの波長域の光の減衰を受けないため、対称な形状を有するボケ（対称ボケ）となって撮像される。【００１１】
特許文献１に記載の発明は、ぼけ関数が非点対称に表された対象画像（例えば、非対称ボケとなるＲ画素から得られる画像）と、ぼけ関数が点対称に表された基準画像（例えば、対称ボケとなるＧ画素から得られる画像）との相関に応じて、画像に写る被写体までの距離を算出する。【００１２】
具体的には、非対称ボケを有する対象画像に対して、対称ボケに修復するための補正フィルタをかけ、修復した対象画像のボケ形状と、対称ボケを有する基準画像のボケ形状との相関が最大になるときの、補正フィルタ（ぼけ補正カーネル）を求めることで、画像に写る被写体までの距離を算出している。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特開２０１７−４０６４２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１４】
特許文献１に記載の撮像装置は、通常のイメージセンサを使用することができるものの、撮像レンズに色補正フィルタＣＣ−Ｙ、ＣＣ−Ｃを設置する必要がある。また、イメージセンサのＲ画素又はＢ画素から得られる画像（非対称ボケを有する画像）と、イメージセンサのＧ画素から得られる画像（対称ボケを有する画像）とのボケ形状に基づいて被写体の距離を計測するため、色が着いた対象物の距離の計測精度が低くなり、対策を施す必要があるという問題がある。【００１５】
本発明はこのような事情に鑑みてなされたもので、被写体の色に依存せずに被写体の距離を精度よく測定することができる撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記目的を達成するために本発明の一の態様に係る撮像装置は、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、撮像レンズの第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、撮像レンズの第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有するイメージセンサと、イメージセンサの第１画素及び第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得する第１画像取得部と、イメージセンサの第３画素及び第４画素のうちの少なくとも一方の画素から非対称ボケを有する第２画像を取得する第２画像取得部と、イメージセンサの第１画素及び第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第３画像を取得する第３画像取得部と、イメージセンサの第３画素及び第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得する第４画像取得部と、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出部と、取得した第２画像と第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出部と、を備える。【００１７】
本発明の一の態様によれば、撮像レンズとしては、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズを使用する。イメージセンサは、瞳分割手段による指向性を有し、撮像レンズの第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、撮像レンズの第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有している。このイメージセンサから一対の位相差画素に相当する第１画素及び第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得し、第１画素及び第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第２画像を取得する。また、一対の位相差画素に相当する第３画素及び第４画素のうちの少なくとも一方の画素から非対称ボケを有する第３画像を取得し、第３画素及び第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得する。そして、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出し、同様に第２画像と第４画像とに基づいて画像内の被写体の距離を算出する。一対の位相差画素に相当する第１画素及び第２画素と、第３画素及び第４画素とは、一般に同じ色（ホワイトを含む）のカラーフィルタを有するものであるため、第１画像及び第３画像と、第２画像及び第４画像とは、被写体の色に依存しないボケ形状を有することになり、被写体の色に依存せずに被写体の距離を精度よく測定することができる。更に、第１画像及び第３画像と、第２画像及び第４画像とは、多焦点の撮像レンズにおける合焦距離が異なる領域を通過した画像であるため、合焦距離が１つの撮像レンズに比べて、精度の高い被写体の距離の計測範囲を広くすることができる。【００１８】
本発明の他の態様に係る撮像装置は、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、撮像レンズの第１領域を介して入射する光束を瞳分割して受光する第１画素と、撮像レンズの第２領域を介して入射する光束を瞳分割して受光する第３画素と、撮像レンズの第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、撮像レンズの第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有するイメージセンサと、イメージセンサの第１画素から非対称ボケを有する第１画像を取得する第１画像取得部と、イメージセンサの第３画素から非対称ボケを有する第２画像を取得する第２画像取得部と、イメージセンサの第１基準画素から対称ボケを有する第３画像を取得する第３画像取得部と、イメージセンサの第２基準画素から対称ボケを有する第４画像を取得する第４画像取得部と、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出部と、取得した第２画像と第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出部と、を備える。【００１９】
本発明の他の態様に係る撮像装置は、イメージセンサが、撮像レンズの第１領域を介して入射する光束を瞳分割して受光する第１画素と、撮像レンズの第２領域を介して入射する光束を瞳分割して受光する第３画素と、撮像レンズの第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、撮像レンズの第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有する点で、本発明の一の態様に係る撮像装置のイメージセンサと相違する。このイメージセンサによれば、第１基準画素及び第２基準画素から対称ボケを有する第２画像及び第４画像を取得することができる。したがって、本発明の他の態様は、本発明の一の態様のように一対の位相差画素に相当する第１画素と第２画素とを加算して対称ボケを有する第３画像を取得し、第２画素と第４画素とを加算して対称ボケを有する第４画像を取得する必要がない点で、本発明の一の態様と相違するが、その他の点では共通する。【００２０】
本発明の更に他の態様に係る撮像装置において、イメージセンサは、撮像レンズの第１領域を介して入射する光束を瞳分割して受光する第２画素であって、第１画素とは瞳分割方向が異なる第２画素と、撮像レンズの第２領域を介して入射する光束を瞳分割して受光する第４画素であって、第３画素とは瞳分割方向が異なる第４画素とを有することが好ましい。即ち、第１基準画素及び第２基準画素を有するイメージセンサは、第１画素の他に瞳分割方向が異なる第２画素を有し、第３画素とは瞳分割方向が異なる第４画素とを有することが好ましい。【００２１】
本発明の更に他の態様に係る撮像装置において、撮像レンズは、撮像レンズの第１方向に区分される点対称の第１サブ領域及び第２サブ領域からなる第１領域と、撮像レンズの第１方向と直交する第２方向に区分される点対称の第３サブ領域及び第４サブ領域からなる第２領域とを有し、イメージセンサは、撮像レンズの第１方向及び第２方向に隣接する４つの第１画素、第２画素、第３画素及び第４画素に１つのマイクロレンズが配置され、撮像レンズの第１サブ領域、第２サブ領域、第３サブ領域及び第４サブ領域を介して入射する光束が、マイクロレンズによりそれぞれ瞳分割されて第１画素、第２画素、第３画素、及び第４画素に入射する。即ち、第１サブ領域及び第２サブ領域からなる第１領域と、第３サブ領域及び第４サブ領域からなる第２領域とを有する撮像レンズを介して各マイクロレンズに入射する光束は、各マイクロレンズによりそれぞれ瞳分割されて第１画素及び第２画素と、第３画素及び第４画素とに入射する。【００２２】
本発明の更に他の態様に係る撮像装置において、撮像レンズは、撮像レンズの第１方向に区分される点対称の第１サブ領域及び第２サブ領域からなる第１領域と、撮像レンズの第１方向と直交する第２方向に区分される点対称の第３サブ領域及び第４サブ領域からなる第２領域とを有し、イメージセンサは、第１画素、第２画素、第３画素及び第４画素にそれぞれ開口位置が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、撮像レンズの第１サブ領域、第２サブ領域、第３サブ領域及び第４サブ領域を介して入射する光束が、遮光マスクによりそれぞれ瞳分割されて第１画素、第２画素、第３画素、及び第４画素に入射する。即ち、第１サブ領域及び第２サブ領域からなる第１領域と、第３サブ領域及び第４サブ領域からなる第２領域とを有する撮像レンズを介して第１画素、第２画素、第３画素、及び第４画素に入射する光束は、第１画素、第２画素、第３画素、及び第４画素にそれぞれ設けられた瞳分割用の４種類の遮光マスク（それぞれ開口位置が異なる第１開口、第２開口、第３開口及び第４開口を有する４種類の遮光マスク）により瞳分割されて第１画素、第２画素、第３画素、及び第４画素にて受光される。【００２３】
本発明の更に他の態様に係る撮像装置において、撮像レンズは、それぞれ同一の光軸上に配置された中央光学系からなる第１領域と、中央光学系の周辺部の環状光学系からなる第２領域とを有し、イメージセンサは、第１画素、第２画素、第３画素及び第４画素にそれぞれ開口位置及び形状が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、撮像レンズの中央光学系を介して入射する光束が、遮光マスクにより瞳分割されて第１画素及び第２画素に入射し、撮像レンズの環状光学系を介して入射する光束が、遮光マスクにより瞳分割されて第３画素及び第４画素に入射する。【００２４】
本発明の更に他の態様に係る撮像装置において、イメージセンサの複数の画素の各画素には、３原色の３つのカラーフィルタを含む複数のカラーフィルタが所定のフィルタ配列で配置され、第１画像取得部及び第２画像取得部が取得する第１画像及び第２画像と、第３画像取得部及び第４画像取得部が取得する第３画像及び第４画像とは、それぞれ同じ色のカラーフィルタが配置された画素から取得した画像であることが好ましい。これにより、第１画像及び第２画像の非対称ボケの形状と、第３画像及び第４画像の対称ボケの形状とが、被写体の色により変化せず、被写体の色に依存しない距離を計測することができる。【００２５】
本発明の更に他の態様に係る撮像装置において、第１距離算出部は、第１画像の局所領域の第１局所画像の非対称ボケを、第１補正フィルタを使用して対称ボケに補正する第１フィルタ処理部と、第１補正フィルタにより補正された第１局所画像と、第３画像の局所領域の第３局所画像であって、第１局所画像と同じ局所領域の第３局所画像とを比較し、比較した第１局所画像と第３局所画像との相関が最大になるときの第１補正フィルタを探索する第１補正フィルタ探索部と、を含み、探索した第１補正フィルタに基づいて被写体の距離である局所領域の距離を算出し、第２距離算出部は、第２画像の局所領域の第２局所画像の非対称ボケを、第２補正フィルタを使用して対称ボケに補正する第２フィルタ処理部と、第２補正フィルタにより補正された第２局所画像と、第４画像の局所領域の第４局所画像であって、第２局所画像と同じ局所領域の第４局所画像とを比較し、比較した第２局所画像と第４局所画像との相関が最大になるときの第２補正フィルタを探索する第２補正フィルタ探索部と、を含み、探索した第２補正フィルタに基づいて被写体の距離である局所領域の距離を算出することが好ましい。第１局所画像の非対称ボケを補正し、対称ボケを有する第３局所画像との相関を最大にする第１補正フィルタは、第１局所画像の非対称ボケの大きさ及び形状（第１局所画像の距離）に対応する。したがって、補正後の第１局所画像と第３局所画像との相関を最大にする第１補正フィルタを探索することで、探索した第１補正フィルタにより第１の局所画像の距離を算出することができる。同様に、第２局所画像の非対称ボケを補正し、対称ボケを有する第４局所画像との相関を最大にする第２補正フィルタは、第２局所画像の非対称ボケの大きさ及び形状（第２局所画像の距離）に対応する。したがって、補正後の第２局所画像と第４局所画像との相関を最大にする第２補正フィルタを探索することで、探索した第２補正フィルタにより第２局所画像の距離を算出することができる。【００２６】
本発明の更に他の態様に係る撮像装置において、第１距離算出部は、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第１補正フィルタを記憶する第１補正フィルタ記憶部を含み、第１フィルタ処理部は、第１補正フィルタ記憶部に記憶された複数の第１補正フィルタのうちの１つの第１補正フィルタを読み出し、第１局所画像と読み出した第１補正フィルタとの畳み込み演算を行うことにより第１補正フィルタにより補正された第１局所画像を生成し、第１補正フィルタ探索部は、第１補正フィルタ記憶部に記憶された複数の第１補正フィルタの中から相関が最大になるときの第１補正フィルタを探索し、第２距離算出部は、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第２補正フィルタを記憶する第２補正フィルタ記憶部を含み、第２フィルタ処理部は、第２補正フィルタ記憶部に記憶された複数の第２補正フィルタのうちの１つの第２補正フィルタを読み出し、第２局所画像と読み出した第２補正フィルタとの畳み込み演算を行うことにより第２補正フィルタにより補正された第２局所画像を生成し、第２補正フィルタ探索部は、第２補正フィルタ記憶部に記憶された複数の第２補正フィルタの中から相関が最大になるときの第２補正フィルタを探索することが好ましい。【００２７】
被写体の距離に応じて第１、第２局所画像の非対称ボケの大きさ及び形状が異なるため、非対称ボケを有する第１、第２局所画像を、対称ボケに補正するための第１、第２補正フィルタのフィルタサイズ及びフィルタ係数も被写体の距離に応じて異なるものとなる。したがって、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第１、第２補正フィルタを第１、第２補正フィルタ記憶部に記憶させておき、第１、第２補正フィルタ記憶部に記憶された複数の第１、第２補正フィルタから第１、第２局所画像の対称ボケを適切に補正する第１、第２補正フィルタを探索することで、探索した第１、第２補正フィルタにより第１、第２局所画像の距離を算出する。ここで、非対称ボケを有する第１、第２局所画像と第１、第２補正フィルタ記憶部から読み出された第１、第２補正フィルタとの畳み込み演算を行うことで、第１、第２局所画像のボケ形状が補正されるが、ボケ形状が補正された第１、第２局所画像と、対称ボケを有する第３、第４局所画像との相関が最大になる場合の、第１、第２補正フィルタを探索することで、探索した第１、第２補正フィルタにより第１、第２局所画像の距離を算出することができる。【００２８】
本発明の更に他の態様に係る撮像装置において、第１距離算出部により算出される被写体の距離及び第２距離算出部により算出される被写体の距離のうちの一方の被写体の距離を、画像内の被写体の距離として選択する選択部を備えることが好ましい。例えば、第１距離算出部により算出される被写体の距離と、第２距離算出部により算出される被写体の距離とが重複しないように、被写体の距離に応じて探索可能な第１補正フィルタと第２補正フィルタとを区分することで選択することができる。【００２９】
本発明の更に他の態様に係る撮像装置において、撮像レンズの光軸中心から周辺部分に向かって光透過率を連続的に変化させるアポダイジングフィルタを設けることが好ましい。アポダイジングフィルタにより、非対称ボケを有する第１、第２画像及び対称ボケを有する第３、第４画像のボケ形状を、それぞれ滑らかに変化させることができる。これにより、第１、第２画像の非対称ボケの非対称性と第３、第４画像の対称ボケの対称性とをそれぞれ明瞭にすることができ、距離測定の精度をより向上させることができる。【００３０】
更に他の態様に係る発明は、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、撮像レンズの第１領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第１画素及び第２画素と、撮像レンズの第２領域を介して入射する光束をそれぞれ瞳分割して選択的に受光する第３画素及び第４画素とを有するイメージセンサとを備えた撮像装置による距離計測方法であって、イメージセンサの第１画素及び第２画素のうちの少なくとも一方の画素から非対称ボケを有する第１画像を取得するステップと、イメージセンサの第３画素及び第４画素のうちの少なくとも一方の画素から非対称ボケを有する第２画像を取得するステップと、イメージセンサの第１画素及び第２画素の隣接する画素同士の画素値を加算し、対称ボケを有する第３画像を取得するステップと、イメージセンサの第３画素及び第４画素の隣接する画素同士の画素値を加算し、対称ボケを有する第４画像を取得するステップと、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出ステップと、取得した第２画像と第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出ステップと、を含む。【００３１】
更に他の態様に係る発明は、第１領域と第２領域とで異なる合焦距離を有する多焦点の撮像レンズと、２次元状に配列された光電変換素子により構成された複数の画素を有するイメージセンサであって、撮像レンズの第１領域を介して入射する光束を瞳分割して受光する第１画素と、撮像レンズの第２領域を介して入射する光束を瞳分割して受光する第３画素と、撮像レンズの第１領域を介して入射する光束を瞳分割せずに受光する第１基準画素と、撮像レンズの第２領域を介して入射する光束を瞳分割せずに受光する第２基準画素とを有するイメージセンサと、を備えた撮像装置による距離計測方法であって、イメージセンサの第１画素から非対称ボケを有する第１画像を取得するステップと、イメージセンサの第３画素から非対称ボケを有する第２画像を取得するステップと、イメージセンサの第１基準画素から対称ボケを有する第３画像を取得するステップと、イメージセンサの第２基準画素から対称ボケを有する第４画像を取得するステップと、取得した第１画像と第３画像とに基づいて画像内の被写体の距離を算出する第１距離算出ステップと、取得した第２画像と第４画像とに基づいて画像内の被写体の距離を算出する第２距離算出ステップと、を含む。【００３２】
本発明の更に他の態様に係る距離計測方法において、第１距離算出ステップは、第１画像の局所領域の第１局所画像の非対称ボケを、第１補正フィルタを使用して対称ボケに補正するステップと、第１補正フィルタにより補正された第１局所画像と、第３画像の局所領域の第３局所画像であって、第１局所画像と同じ局所領域の第３局所画像とを比較し、比較した第１局所画像と第３局所画像との相関が最大になるときの第１補正フィルタを探索する第１探索ステップと、を含み、探索した第１補正フィルタに基づいて被写体の距離である局所領域の距離を算出し、第２距離算出ステップは、第２画像の局所領域の第２局所画像の非対称ボケを、第２補正フィルタを使用して対称ボケに補正するステップと、第２補正フィルタにより補正された第２局所画像と、第４画像の局所領域の第４局所画像であって、第２局所画像と同じ局所領域の第４局所画像とを比較し、比較した第２局所画像と第４局所画像との相関が最大になるときの第２補正フィルタを探索する第２探索ステップと、を含み、探索した第２補正フィルタに基づいて被写体の距離である局所領域の距離を算出する。【００３３】
本発明の更に他の態様に係る距離計測方法において、第１距離算出ステップは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第１補正フィルタを記憶する第１補正フィルタ記憶部から、複数の第１補正フィルタのうちの１つの第１補正フィルタを読み出し、第１局所画像と読み出した第１補正フィルタとの畳み込み演算を行うことにより第１補正フィルタにより補正された第１局所画像を生成し、第１探索ステップは、第１補正フィルタ記憶部に記憶された複数の第１補正フィルタの中から相関が最大になるときの第１補正フィルタを探索し、第２距離算出ステップは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第２補正フィルタを記憶する第２補正フィルタ記憶部から、複数の第２補正フィルタのうちの１つの第２補正フィルタを読み出し、第２局所画像と読み出した第２補正フィルタとの畳み込み演算を行うことにより第２補正フィルタにより補正された第２局所画像を生成し、第２探索ステップは、第２補正フィルタ記憶部に記憶された複数の第２補正フィルタの中から相関が最大になるときの第２補正フィルタを探索することが好ましい。【００３４】
本発明の更に他の態様に係る距離計測プログラムは、上述の距離計測方法をコンピュータに実行させる。【００３５】
本発明の更に他の態様に係る記録媒体は、上述の距離計測方法をコンピュータに実行させる距離計測プログラムが記録されたものである。
【発明の効果】
【００３６】
本発明によれば、被写体の色に依存せずに被写体の距離を精度よく測定することができる。
【図面の簡単な説明】
【００３７】
【図１】図１は本発明に係る第１実施形態の撮像装置の外観斜視図である。
【図２】図２は図１に示した撮像装置１０の内部構成の実施形態を示すブロック図である。
【図３】図３は撮像レンズ１２の第１実施形態を示す正面図である。
【図４】図４は主として撮像レンズ１２及びイメージセンサ１６の作用を示す要部拡大図である。
【図５】図５はイメージセンサ１６の正面図である。
【図６】図６は主として撮像範囲内の被写体の距離を計測する計測部として機能するＣＰＵ４０及びＲＯＭ４９の機能ブロック図である。
【図７】図７は画像ＩＡ、ＩＢ、ＩＣ、ＩＤ及び第１対称画像（ＩＡ＋ＩＢ）、第２対称画像（ＩＣ＋ＩＤ）のボケ形状（ＰＳＦ形状）、及び画像ＩＡ、ＩＢ、ＩＣ、ＩＤに適用される補正フィルタＦＡｉ、ＦＢｉ、ＦＣｉ、ＦＤｉの形状を模式的に示した図である。
【図８】図８は被写体３Ａ，３Ｂの距離差Δｄと非対称ボケＢＡ１、ＢＡ２との関係を示す図である。
【図９】図９は被写体３Ａ，３Ｂの距離差Δｄと非対称ボケＢＡ３、ＢＡ４との関係を示す図である。
【図１０】図１０は横軸に被写体の距離に関連付けられている第１補正フィルタＦＡを示し、縦軸に各第１補正フィルタＦＡにより補正された画像ＩＡの、ある第１局所画像と第１対称画像（ＩＡ＋ＩＢ）の第２局所画像との相関を示す評価値Ｅを示したグラフである。
【図１１】図１１は第２実施形態のイメージセンサ１６−２の正面図である。
【図１２】図１２は、図４に示した瞳像分離方式による第３画素ＳＣ，第４画素ＳＤに対応する第３画素ＳＣ２及び第４画素ＳＤ２の構成を示す要部拡大図である。
【図１３】図１３は第３実施形態のイメージセンサ１６−３の要部正面図である。
【図１４】図１４は撮像レンズ１２−２の第２実施形態を示す正面図である。
【図１５】図１５はイメージセンサの第４実施形態を示す平面図である。
【図１６】図１６はアポダイジングフィルタ１３を示す正面図である。
【図１７】図１７は被写体の距離に応じた点光源５のボケ像を示す図である。
【図１８】図１８は撮像レンズ１２にアポダイジングフィルタ１３を設けた場合の被写体の距離に応じた点光源５のボケ像を示す図である。
【図１９】図１９は本発明に係る距離計測方法の実施形態を示すフローチャートである。
【図２０】図２０はカラー開口撮像を行う従来の撮像装置の要部拡大図である。
【図２１】図２１はカラー開口撮像による距離計測の原理を説明するために用いた図である。
【発明を実施するための形態】
【００３８】
以下、添付図面に従って本発明に係る撮像装置並びに距離計測方法、距離計測プログラム及び記録媒体の好ましい実施形態について説明する。
【００３９】
［撮像装置の外観］
図１は本発明に係る第１実施形態の撮像装置の外観斜視図である。図１に示すように、撮像装置１０の前面には、撮像レンズ１２、フラッシュ光発光部１９、光学ファインダのファインダ窓２０等が配置され、上面にはシャッタボタン３８−１が設けられている。尚、図１において、Ｌ１は撮像レンズ１２の光軸を表す。
【００４０】
［撮像装置の内部構成］
図２は、図１に示した撮像装置１０の内部構成の実施形態を示すブロック図である。
【００４１】
この撮像装置１０は、撮像した画像と、画像内の被写体の距離であって、撮像シーン（撮像範囲）における被写体の距離分布を示す距離マップとを関連付けてメモリカード５４に記録するもので、主として被写体の距離を計測する距離計測部に特徴がある。
【００４２】
図２に示すように、撮像装置１０は、主として撮像レンズ１２、イメージセンサ１６、画像入力コントローラ２２、デジタル信号処理部２４、圧縮伸張処理部２６、ビデオエンコーダ２８、液晶モニタ３０、センサ制御部３２、操作部３８、中央処理装置（ＣＰＵ：Central Processing Unit）４０、ＡＥ（Automatic Exposure：自動露出）検出部４４、ＡＦ（Auto Focus：自動焦点）検出部４６、メモリ(SDRAM：Synchronous Dynamic Random Access Memory)４８、ＲＯＭ(Read Only Memory)４９、ＶＲＡＭ(Video Random Access Memory)５０、及びメディアコントローラ５２等から構成されている。
【００４３】
＜撮像レンズの第１実施形態＞
図３は、撮像レンズ１２の第１実施形態を示す正面図である。
【００４４】
図３に示す撮像レンズ１２は、多焦点（本例では２焦点）の撮像レンズであり、撮像レンズ１２の第１方向（垂直方向）に区分される点対称の第１サブ領域ＬＡ及び第２サブ領域ＬＢからなる第１領域と、撮像レンズ１２の第１方向と直交する第２方向（水平方向）に区分される点対称の第３サブ領域ＬＣ及び第４サブ領域ＬＤからなる第２領域とを有している。
【００４５】
第１サブ領域ＬＡ、第２サブ領域ＬＢ、第３サブ領域ＬＣ及び第４サブ領域ＬＤの間には、遮光部１１が設けられ、各領域間で光が混入しないようにされている。
【００４６】
撮像レンズ１２の垂直方向（Ｖ方向）の第１サブ領域ＬＡ及び第２サブ領域ＬＢからなる第１領域と、水平方向（Ｈ方向）の第３サブ領域ＬＣ及び第４サブ領域ＬＤからなる第２領域とは、それぞれ合焦距離が異なり、本例では第１領域は、第２領域よりも合焦距離が遠いものとする。
【００４７】
＜イメージセンサの第１実施形態＞
第１実施形態のイメージセンサ１６は、ＣＭＯＳ(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、イメージセンサ１６は、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。
【００４８】
図４は、主として撮像レンズ１２及びイメージセンサ１６の作用を示す要部拡大図であり、撮像レンズ１２の垂直断面に現れる撮像レンズ１２の第１サブ領域ＬＡ及び第２サブ領域ＬＢからなる第１領域の合焦距離は、被写体３Ａの被写体距離Ｄ１に対応し、撮像レンズ１２の水平断面に現れる撮像レンズ１２の第３サブ領域ＬＣ及び第４サブ領域ＬＤからなる第２領域の合焦距離は、被写体３Ｂの被写体距離Ｄ２に対応している。
【００４９】
図５はイメージセンサ１６の正面図である。
【００５０】
図５に示すようにイメージセンサ１６は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に２次元状に配列された光電変換素子（受光セル）により構成された複数の画素を有するイメージセンサであって、撮像レンズ１２を介して入射する光束を、以下に示す瞳分割手段により瞳分割して選択的に受光する第１画素ＳＡ、第２画素ＳＢ、第３画素ＳＣ、及び第４画素ＳＤ含んで構成されている。
【００５１】
図４及び図５に示すようにイメージセンサ１６は、瞳分割手段として瞳結像レンズ（マイクロレンズ）１６Ａによる瞳像分離方式が適用されている。
【００５２】
瞳像分離方式は、１つのマイクロレンズ１６Ａに対して複数（本例では４つ）の画素（第１画素ＳＡ、第２画素ＳＢ、第３画素ＳＣ、及び第４画素ＳＤ第）が割り当てられており、１つのマイクロレンズ１６Ａに入射する瞳像は、マイクロレンズ１６Ａにより瞳分割され、４つの第１画素ＳＡ、第２画素ＳＢ、第３画素ＳＣ、及び第４画素ＳＤにより受光される。従って、マイクロレンズ１６Ａへの光の入射角度に応じて瞳像が分離され、それぞれ対応する第１画素ＳＡ、第２画素ＳＢ、第３画素ＳＣ、及び第４画素ＳＤにより受光される。
【００５３】
また、図４に示すように、撮像レンズ１２の垂直方向の第１領域であって、第１サブ領域ＬＡ及び第２サブ領域ＬＢからなる第１領域の合焦距離は、被写体３Ａの距離に対応し、撮像レンズ１２の水平断面に現れる撮像レンズ１２の第３サブ領域ＬＣ及び第４サブ領域ＬＤからなる第２領域の合焦距離は、被写体３Ｂの距離に対応している。
【００５４】
撮像レンズ１２の垂直方向の一方の第１サブ領域ＬＡを通過してマイクロレンズ１６Ａに入射する光束は、マイクロレンズ１６Ａへの入射角により瞳分割されて第１画素ＳＡにより受光され、撮像レンズ１２の垂直方向の他方の第２サブ領域ＬＢを通過してマイクロレンズ１６Ａに入射する光束は、マイクロレンズ１６Ａへの入射角により瞳分割されて第２画素ＳＢにより受光される。
【００５５】
同様に、撮像レンズ１２の水平方向の一方の第３サブ領域ＬＣを通過してマイクロレンズ１６Ａに入射する光束は、マイクロレンズ１６Ａへの入射角により瞳分割されて第３画素ＳＣにより受光され、撮像レンズ１２の水平方向の他方の第４サブ領域ＬＤを通過してマイクロレンズ１６Ａに入射する光束は、マイクロレンズ１６Ａへの入射角により瞳分割されて第４画素ＳＤにより受光される。
【００５６】
また、図５に示すようにイメージセンサ１６の１つのマイクロレンズ１６Ａに対応する４つの第１画素ＳＡ、第２画素ＳＢ、第３画素ＳＣ、及び第４画素ＳＤには、Ｒ、Ｇ、Ｂの３原色のカラーフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）のうちのいずれか１色のカラーフィルタが、所定のカラーフィルタ配列にしたがって配置されている。図５に示すカラーフィルタ配列は、一般的なベイヤー配列であるが、カラーフィルタ配列はこれに限定されるものではない。
【００５７】
図２に戻って、撮像装置１０は、図３で説明した第１実施形態の撮像レンズ１２と、図４及び図５で説明した第１実施形態のイメージセンサ１６とを備えている。装置全体の動作は、ＣＰＵ４０によって統括制御される。
【００５８】
操作部３８は、前述したシャッタボタン３８−１の他、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等を含む。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号及びＲＯＭ４９に格納された制御プログラムに従い、メモリ４８を作業領域として撮像装置１０の各部を制御し、例えば、撮像動作制御、画像処理制御、画像データ及び距離マップの記録／再生制御、液晶モニタ３０の表示制御などを行う。
【００５９】
また、ＣＰＵ４０は、後述するようにＲＯＭ４９に格納された距離計測プログラムにより被写体の距離を計測する距離算出部、撮像範囲における被写体の距離分布を示す距離マップの作成部として機能する。
【００６０】
シャッタボタン３８−１（図１）は、撮像開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。
【００６１】
モードダイヤルは、静止画を撮影するオート撮影モード、マニュアル撮影モード、人物、風景、夜景等のシーンポジション、及び動画を撮影する動画モードを切り替える選択手段である。また、モードダイヤルは、距離マップを作成する距離マップ作成モードの選択が可能である。距離マップ作成モードでは、距離マップの作成と同時に画像（静止画又は動画）の撮像を実行し、距離マップと画像とを関連付けて記録することが可能である。
【００６２】
再生ボタンは、撮像記録した静止画又は動画を液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮像時のズームスイッチあるいは再生モード時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせるときなどに使用される。
【００６３】
撮影モード又は距離マップ作成モードが選択されると、被写体光は、撮像レンズ１２を介してイメージセンサ１６の受光面に入射する。イメージセンサ１６に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタで蓄えられる。蓄えられた信号電圧（または電荷）は、センサ制御部３２により、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、画素位置の選択により画素値として読み出される。
【００６４】
これにより、イメージセンサ１６から２次元状に配置された第１画素ＳＡに対応する第１画素群２２Ａからなる画像ＩＡ（第１画像）、第２画素ＳＢに対応する第２画素群２２Ｂからなる画像ＩＢ（第１画像）、第３画素ＳＣに対応する第３画素群２２Ｃからなる画像ＩＣ（第２画像）、及び第４画素ＳＤに対応する第４画素群２２Ｄからなる画像ＩＤ（第２画像）を示す画像信号を読み出すことができる。
【００６５】
ライブビュー画像（動画を含む）の撮像又は静止画の撮像が行われると、センサ制御部３２によりイメージセンサ１６から画像信号（電圧信号）が読み出され、読み出された画像信号は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、センサの１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により画素毎のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ（Analog-to-digital）変換器２１に加えられる。Ａ／Ｄ変換器２１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。尚、ＭＯＳ型センサでは、Ａ／Ｄ変換器が内蔵されているものがあり、この場合、イメージセンサ１６から直接Ｒ、Ｇ、Ｂのデジタル信号が出力される。
【００６６】
イメージセンサ１６の画素位置を選択して画素データを読み出すことにより、第１画素群２２Ａ（画像ＩＡ）、第２画素群２２Ｂ（画像ＩＢ）、第３画素２２Ｃ（画像ＩＣ）、及び第４画素群２２Ｄ（画像ＩＤ）を示す画像信号を選択的に読み出すことができるが、イメージセンサ１６から全ての画素データを読み出し、SDRAMにより構成されるメモリ４８に一時的に記憶し、メモリ４８から画像ＩＡ、画像ＩＢ、画像ＩＣ、及び画像ＩＤの４つの画像データを抽出するようにしてもよい。
【００６７】
デジタル信号処理部２４は、画像処理を行う場合、まず、画像入力コントローラ２２を介して取得した第１画素群２２Ａ（画像ＩＡ）及び第２画素群２２Ｂ（画像ＩＢ）のそれぞれ対応する一対の（隣接する）第１画素ＳＡ，第２画素ＳＢを加算し、加算した画素群からなる第２画像（対称画像（ＩＡ＋ＩＢ））を作成し、同様に画像入力コントローラ２２を介して取得した第３画素群２２Ｃ（画像ＩＣ）及び第４画素群２２Ｄ（画像ＩＤ）のそれぞれ対応する一対の（隣接する）第３画素ＳＣ，第４画素ＳＤを加算し、加算した画素群からなる第４画像（対称画像（ＩＣ＋ＩＤ））を作成する。
【００６８】
図２０で説明したように、被写体の１点から発せられる光は、撮像レンズを介してイメージセンサに入射する。被写体の距離が、撮像レンズの合焦距離よりも近い場合（前ピンの場合）、又は遠い場合（後ピンの場合）、１点から発せられる光は、合焦距離から遠ざかる程、ボケ像が大きくなる。
【００６９】
また、第１画素ＳＡには、撮像レンズ１２の第１サブ領域ＬＡを通過する光束が入射し、第２画素ＳＢには、撮像レンズ１２の第２サブ領域ＬＢを通過する光束が入射するため、第１画素ＳＡからなる第１画素群２２Ａの画像ＩＡに現れるボケ像は、非対称ボケＢＡとなり、第２画素ＳＢからなる第２画素群２２Ｂの画像ＩＢに現れるボケ像も非対称ボケＢＢとなる。
【００７０】
但し、非対称ボケＢＡと非対称ボケＢＢとは互いに点対称になっており、画像ＩＡと画像ＩＢとを加算した第２画像（第１対称画像（ＩＡ＋ＩＢ））に現れるボケ像は対称形（対称ボケＢＲ１）になる。
【００７１】
同様に、第３画素ＳＣには、撮像レンズ１２の第３サブ領域ＬＣを通過する光束が入射し、第４画素ＳＤには、撮像レンズ１２の第４サブ領域ＬＤを通過する光束が入射するため、第３画素ＳＣからなる第３画素群２２Ｃの画像ＩＣに現れるボケ像は、非対称ボケＢＣとなり、第４画素ＳＤからなる第４画素群２２Ｄの画像ＩＤに現れるボケ像も非対称ボケＢＤとなる。
【００７２】
但し、非対称ボケＢＣと非対称ボケＢＤとは互いに点対称になっており、画像ＩＣと画像ＩＤとを加算した第３画像（第２対称画像（ＩＣ＋ＩＤ））に現れるボケ像は対称形（対称ボケＢＲ２）になる。
【００７３】
尚、図７には、画像ＩＡ、画像ＩＢ、画像ＩＣ、画像ＩＤの非対称ボケＢＡ、ＢＢ、ＢＣ、ＢＤのボケ形状（ＰＳＦ：Point Spread Function）、及び第１対称画像（ＩＡ＋ＩＢ）、第２対称画像（ＩＣ＋ＩＤ）の対称ボケＢＲ１、ＢＲ２のボケ形状が模式的に示されている。
【００７４】
デジタル信号処理部２４は、上記のように第１画素群２２Ａ（画像ＩＡ）及び第２画素群２２Ｂ（画像ＩＢ）のそれぞれ対応する一対の第１画素ＳＡ，第２画素ＳＢを加算し、加算した画素群からなる第２画像（第１対称画像（ＩＡ＋ＩＢ））と、第３画素群２２Ｃ（画像ＩＣ）及び第４画素群２２Ｄ（画像ＩＤ）のそれぞれ対応する一対の第３画素ＳＣ，第４画素ＳＤを加算し、加算した画素群からなる第４画像（第２対称画像（ＩＣ＋ＩＤ））とを作成することで、第１対称画像（ＩＡ＋ＩＢ）、第２対称画像（ＩＣ＋ＩＤ）に対して通常の画像の信号処理と同様の処理を行う。
【００７５】
デジタル信号処理部２４は、生成した第１対称画像（ＩＡ＋ＩＢ）、第２対称画像（ＩＣ＋ＩＤ）に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＲＧＢ信号から輝度信号Ｙ，色差信号Ｃｒ、Ｃｂに変換するＲＧＢ／ＹＣ変換処理等の所定の信号処理を行う。
【００７６】
デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０から読み出された画像データはビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０の表示画面上に表示される。
【００７７】
また、操作部３８のシャッタボタン３８−１の半押し（Ｓ１ＯＮ）があると、ＣＰＵ４０は、ＡＦ制御及びＡＥ制御などの撮像準備処理を実行し、シャッタボタン３８−１の全押し（Ｓ２ＯＮ）があると、画像の撮像処理及び記録処理を実行させる。
【００７８】
ＡＥ検出部４４では、イメージセンサ１６から出力されるＲＧＢの色信号のうちのＧ信号を画面全体にわたって積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り（図示せず）の絞り値及びイメージセンサ１６の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞りを制御すると共に、決定したシャッタスピードに基づいてセンサ制御部３２を介してイメージセンサ１６での電荷蓄積時間を制御する。
【００７９】
ＡＦ検出部４６は、位相差ＡＦの制御に必要なデフォーカス量を算出し、算出したデフォーカス量に基づいて撮像レンズ１２の光軸方向の位置を制御し、主要被写体に焦点を合わせる合焦制御を行う。
【００８０】
ここで、位相差ＡＦの制御に必要なデフォーカス量は、イメージセンサ１６のＡＦ領域内の第１画素ＳＡ及び第２画素ＳＢからそれぞれ第１画素値及び第２画素値を取得し、これらの第１画素値及び第２画素値に基づいて位相差を検出する。位相差は、第１画素ＳＡの複数の第１画素値と第２画素ＳＢの複数の第２画素値の相関が最大になるとき（複数の第１画素値と複数第２の画素値の差分絶対値の積算値が最小になるとき）の第１画素値と第２画素値との間の瞳分割方向のシフト量から算出することができる。また、デフォーカス量は、検出された位相差と、撮像レンズ１２の現在のＦ値（光線角度）に対応する係数とを乗算することにより算出することができる。
【００８１】
シャッタボタン３８−１の押下に応答してＡ／Ｄ変換器２１から出力される画像データは、画像入力コントローラ２２からメモリ４８に入力され、一時的に記憶される。メモリ４８に一時的に記憶された画像データは、前述したようにデジタル信号処理部２４により読み出されて所定の信号処理が行われ、ＲＧＢ信号から生成された輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂは、再びメモリ４８に記憶される。
【００８２】
メモリ４８に記憶された輝度信号Ｙ及び色差信号Ｃｒ、Ｃｂは、それぞれ圧縮伸張処理部２６に出力され、JPEG (Joint Photographic Experts Group)などの所定の圧縮処理が実行されたのち、メディアコントローラ５２を介してメモリカード５４に記録される。
【００８３】
＜被写体の距離計測＞
図６は、主として撮像範囲内の被写体の距離を計測する計測部として機能するＣＰＵ４０及びＲＯＭ４９の機能ブロック図である。
【００８４】
ＣＰＵ４０は、モードダイヤルにより距離マップ作成モードが選択されると、メモリ４８を作業領域として、ＲＯＭ４９に格納された距離計測プログラムを実行することにより、第１画像取得部４１−１、第２画像取得部４１−２、第３画像取得部４３−１、第４画像取得部４３−２、及び第１距離算出部４５−１、第２距離算出部４５−２として機能する。また、ＲＯＭ４９は、被写体の距離計測に使用する補正フィルタであって、少なくとも被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の補正フィルタＦＡを記憶する第１補正フィルタ記憶部４５−１Ｄ、及び複数の補正フィルタＦＣを記憶する第２補正フィルタ記憶部４５−２Ｄとして機能する。
【００８５】
距離マップ作成モードが選択され、撮像レンズ１２及びイメージセンサ１６により撮像された第１画素群２２Ａ、第２画素群２２Ｂ、第３画素群２２Ｃ及び第４画素群２２Ｄは、メモリ４８に一時的に記憶される。
【００８６】
第１画像取得部４１−１は、メモリ４８から第１画素群２２Ａを読み出すことで、第１画素群２２Ａからなる第１画像（画像ＩＡ）を取得する。
【００８７】
第２画像取得部４１−２は、メモリ４８から第３画素群２２Ｃを読み出すことで、第３画素群２２Ｃからなる第２画像（画像ＩＣ）を取得する。
【００８８】
第３画像取得部４３−１は、メモリ４８から第１画素群２２Ａ及び第２画素群２２Ｂを読み出し、第１画素群２２Ａ及び第２画素群２２Ｂのそれぞれ対応する一対の第１画素ＳＡ，第２画素ＳＢの画素値を加算することで、加算した画素群からなる第３画像（第１対称画像（ＩＡ＋ＩＢ））を取得する。
【００８９】
第４画像取得部４３−２は、メモリ４８から第３画素群２２Ｃ及び第４画素群２２Ｄを読み出し、第３画素群２２Ｃ及び第４画素群２２Ｄのそれぞれ対応する一対の第３画素ＳＣ，第４画素ＳＤの画素値を加算することで、加算した画素群からなる第４画像（第２対称画像（ＩＣ＋ＩＤ））を取得する。
【００９０】
尚、図７に示したように、画像ＩＡ、画像ＩＣは、非対称ボケＢＡ，ＢＣを有する画像であり、第１対称画像（ＩＡ＋ＩＢ）、第２対称画像（ＩＣ＋ＩＤ）は、対称ボケＢＲ１、ＢＲ２を有する画像である。
【００９１】
第１距離算出部４５−１は、主として第１フィルタ処理部４５−１Ａ、第１比較部４５−１Ｂ、第１補正フィルタ探索部４５−１Ｃ及び第１補正フィルタ記憶部４５−１Ｄから構成されている。
【００９２】
第１フィルタ処理部４５−１Ａは、第１画像である画像ＩＡの被写体の位置（画素位置）を中心とする局所領域の第１局所画像の非対称ボケＢＡを、第１補正フィルタＦＡｉを使用して対称ボケ（第１対称画像（ＩＡ＋ＩＢ）の同じ画素位置における対称ボケＢＲ１）に補正（修復）する部分である。
【００９３】
第１フィルタ処理部４５-１Ａは、第1補正フィルタ記憶部４５-１Ｄに記憶された複数の第１補正フィルタ（ＦＡ１，ＦＡ２、…、ＦＡ（ｉ−１）、ＦＡｉ、ＦＡ（ｉ＋１）、…）のうちの１つの第１補正フィルタＦＡｉを第１補正フィルタ探索部４５-１Ｃから取得し、非対称ボケＢＡを有する第１局所画像と、取得した第１補正フィルタＦＡｉとの畳み込み演算を行うことで、第１補正フィルタＦＡｉにより補正された第１局所画像を生成する。
【００９４】
第１比較部４５-１Ｂは、第１補正フィルタＦＡｉにより補正された第１局所画像と、第３画像取得部４３−１により生成された第１対称画像（ＩＡ＋ＩＢ）の、第１局所画像と同じ局所領域の第３局所画像（対称ボケＢＲ２を有する第３局所画像）とを比較し、補正された第１局所画像と第３局所画像との相関を示す評価値Ｅ（本例では、完全に一致した場合の評価値Ｅを０とし、相関が小さい程、大きい値となる評価値）を第１補正フィルタ探索部４５−１Ｃに出力する。
【００９５】
第１補正フィルタ探索部４５−１Ｃは、第１補正フィルタ記憶部４５−１Ｄに記憶された複数の第１補正フィルタの中から、非対称ボケが補正された第１局所画像と第３局所画像との相関が最大になるときの第１補正フィルタを探索する部分である。
【００９６】
即ち、第１補正フィルタ探索部４５−１Ｃは、第１比較部４５−１Ｂでの比較結果を示す評価値Ｅに基づいて、非対称ボケが補正された第１局所画像と第３局所画像との相関が最大になるときの第１補正フィルタを、第１補正フィルタ記憶部４５−１Ｄに記憶された複数の補正フィルタの中から探索する。
【００９７】
第１補正フィルタ記憶部４５−１Ｄは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第１補正フィルタ（ＦＡ１，ＦＡ２、…、ＦＡ（ｉ−１）、ＦＡｉ、ＦＡ（ｉ＋１）、…）を記憶している。
【００９８】
本例では、距離マップ作成モードでの撮像時には、図示しない絞りは、予め設定された固定絞りとし、また、図４に示したように撮像レンズ１２は、第１領域（第１サブ領域ＬＡ及び第２サブ領域ＬＢ）のレンズが、予め設定された被写体距離Ｄ１の被写体に合焦するレンズ位置に設定されているものとする。この場合、撮像レンズ１２の第２領域（第３サブ領域ＬＣ及び第４サブ領域ＬＤ）のレンズは、被写体距離Ｄ１よりも近距離の被写体距離Ｄ２の被写体に合焦するレンズ位置に設定されることになる。
【００９９】
予め設定された被写体距離に位置する点光源は、イメージセンサ１６の受光面上で最小になる。理想的な撮像レンズ１２であれば、点光源は、点として撮像されるが、撮像レンズ１２の第１領域及び第２領域の点拡がり関数（ＰＳＦ：Point Spread Function）に基づいて点拡がりをもつ。点光源が、予め設定された被写体距離から遠ざかるにしたがって徐々にボケ像が拡がり、その被写体距離とボケ像のボケ形状とは相関関係がある。
【０１００】
画像ＩＡの被写体の位置（画素位置）を中心とする局所領域の第１局所画像は、その被写体の距離に応じた非対称ボケＢＡを有している。この非対称ボケＢＡの非対称性を修復する第１補正フィルタＦＡｉであって、第１対称画像（ＩＡ＋ＩＢ）の第１局所画像と同じ局所領域の第３局所画像の対称ボケＢＲ１と一致させる第１補正フィルタＦＡｉを探索することができれば、その探索された第１補正フィルタＦＡｉに関連付けている被写体の距離を、第１局所画像に対応する被写体の距離とすることができる。
【０１０１】
第１補正フィルタ記憶部４５−１Ｄは、画像ＩＡの非対称ボケＢＡを、第１対称画像（ＩＡ＋ＩＢ）の対称ボケＢＲ１に修復するための複数の第１補正フィルタ（ＦＡ１，ＦＡ２、…、ＦＡ（ｉ−１）、ＦＡｉ、ＦＡ（ｉ＋１）、…）を被写体の距離に応じて記憶している。
【０１０２】
第１補正フィルタ探索部４５−１Ｃは、第１比較部４５−１Ｂでの比較結果を示す評価値に基づいて、ある第１補正フィルタＦＡｉにより非対称ボケＢＡが補正された第１局所画像と対称ボケＢＲ１を有する第２局所画像との相関が最大になるときの第１補正フィルタＦＡｉを、第１補正フィルタ記憶部４５−１Ｄに記憶された多数の第１補正フィルタの中から探索することで、探索した第１補正フィルタＦＡｉに関連付けられた被写体の距離を、非対称ボケＢＡを有する第１局所画像に対応する被写体の距離として取得する。
【０１０３】
第１距離算出部４５−１は、このようにして取得した被写体の距離を、距離マップを作成するために画像ＩＡ内の位置情報とともに出力する。
【０１０４】
そして、画像ＩＡ内の全ての画素位置において、被写体の距離を計測することで、撮像範囲における被写体の距離分布を示す距離マップを作成することができる。尚、距離に応じて色や濃度を変えることで、被写体の距離分布を視認できる距離画像を作成することもできる。
【０１０５】
第２距離算出部４５−２は、主として第２フィルタ処理部４５−２Ａ、第２比較部４５−２Ｂ、第２補正フィルタ探索部４５−２Ｃ及び第２補正フィルタ記憶部４５−２Ｄから構成されており、第１距離算出部４５−１と同様の距離計測を行う。
【０１０６】
第２フィルタ処理部４５−２Ａは、第２画像である画像ＩＣの被写体の位置（画素位置）を中心とする局所領域の第２局所画像の非対称ボケＢＣを、第２補正フィルタＦＣｉを使用して対称ボケ（第２対称画像（ＩＣ＋ＩＤ）の同じ画素位置における対称ボケＢＲ２）に補正（修復）する部分である。
【０１０７】
第２フィルタ処理部４５-２Ａは、第２補正フィルタ記憶部４５-２Ｄに記憶された複数の第２補正フィルタ（ＦＣ１，ＦＣ２、…、ＦＣ（ｉ−１）、ＦＣｉ、ＦＣ（ｉ＋１）、…）のうちの１つの第２補正フィルタＦＣｉを第２補正フィルタ探索部４５−２Ｃから取得し、非対称ボケＢＣを有する第２局所画像と、取得した第２補正フィルタＦＣｉとの畳み込み演算を行うことで、第２補正フィルタＦＣｉにより補正された第２局所画像を生成する。
【０１０８】
第２比較部４５-２Ｂは、第２補正フィルタＦＣｉにより補正された第２局所画像と、第４画像取得部４３−２により生成された第２対称画像（ＩＣ＋ＩＤ）の、第１局所画像と同じ局所領域の第４局所画像（対称ボケＢＲ２を有する第２局所画像）とを比較し、補正された第２局所画像と第４局所画像との相関を示す評価値Ｅを第２補正フィルタ探索部４５−２Ｃに出力する。
【０１０９】
第２補正フィルタ探索部４５−２Ｃは、第２補正フィルタ記憶部４５−２Ｄに記憶された複数の第２補正フィルタの中から、非対称ボケが補正された第２局所画像と第４局所画像との相関が最大になるときの第２補正フィルタを探索する部分である。
【０１１０】
即ち、第２補正フィルタ探索部４５−２Ｃは、第２比較部４５−２Ｂでの比較結果を示す評価値Ｅに基づいて、非対称ボケが補正された第２局所画像と第４局所画像との相関が最大になるときの第２補正フィルタを、第２補正フィルタ記憶部４５−２Ｄに記憶された複数の補正フィルタの中から探索する。
【０１１１】
第２補正フィルタ記憶部４５−２Ｄは、被写体の距離に応じてフィルタサイズ及びフィルタ係数が異なる複数の第２補正フィルタ（ＦＣ１，ＦＣ２、…、ＦＣ（ｉ−１）、ＦＣｉ、ＦＣ（ｉ＋１）、…）を記憶している。
【０１１２】
即ち、第２補正フィルタ記憶部４５−２Ｄは、画像ＩＣの非対称ボケＢＣを、第２対称画像（ＩＣ＋ＩＤ）の対称ボケＢＲ２に修復するための複数の第２補正フィルタ（ＦＣ１，ＦＣ２、…、ＦＣ（ｉ−１）、ＦＣｉ、ＦＣ（ｉ＋１）、…）を被写体の距離に応じて記憶している。
【０１１３】
第２補正フィルタ探索部４５−２Ｃは、第２比較部４５−２Ｂでの比較結果を示す評価値に基づいて、ある第２補正フィルタＦＣｉにより非対称ボケＢＣが補正された第２局所画像と対称ボケＢＲ２を有する第４局所画像との相関が最大になるときの第２補正フィルタＦＣｉを、第２補正フィルタ記憶部４５−２Ｄに記憶された多数の第２補正フィルタの中から探索することで、探索した第２補正フィルタＦＣｉに関連付けられた被写体の距離を、非対称ボケＢＣを有する第２局所画像に対応する被写体の距離として取得する。
【０１１４】
第２距離算出部４５−２は、このようにして取得した被写体の距離を、距離マップを作成するために画像ＩＣ内の位置情報とともに出力する。
【０１１５】
そして、画像ＩＣ内の全ての画素位置において、被写体の距離を計測することで、撮像範囲における被写体の距離分布を示す距離マップを作成することができる。
【０１１６】
図７は、画像ＩＡ、ＩＢ、ＩＣ、ＩＤ及び第１対称画像（ＩＡ＋ＩＢ）、第２対称画像（ＩＣ＋ＩＤ）のボケ形状（ＰＳＦ形状）、及び画像ＩＡ、ＩＢ、ＩＣ、ＩＤに適用される補正フィルタＦＡｉ、ＦＢｉ、ＦＣｉ、ＦＤｉの形状を模式的に示した図である。
【０１１７】
図７に示すように、画像ＩＡは、非対称ボケＢＡを有し、画像ＩＢは、非対称ボケＢＡと点対称の非対称ボケＢＢを有し、第１対称画像（ＩＡ＋ＩＢ）は、対称ボケＢＲ１を有している。また、非対称ボケＢＡを修復する補正フィルタＦＡｉの形状と、非対称ボケＢＢを修復する補正フィルタＦＢｉの形状とは点対称である。
【０１１８】
補正フィルタＦＡｉにより修復された非対称ボケＢＡのＰＳＦ形状が、第１対称画像（ＩＡ＋ＩＢ）の対称ボケＢＲ１のボケ形状（ＰＳＦ形状）と一致する場合の、補正フィルタＦＡｉに関連付けられた被写体の距離を、非対称ボケＢＡを有する第１局所画像に対応する被写体の距離として求めることができる。
【０１１９】
同様に、画像ＩＣは、非対称ボケＢＣを有し、画像ＩＤは、非対称ボケＢＣと点対称の非対称ボケＢＤを有し、第２対称画像（ＩＣ＋ＩＤ）は、対称ボケＢＲ２を有している。また、非対称ボケＢＣを修復する補正フィルタＦＣｉの形状と、非対称ボケＢＤを修復する補正フィルタＦＤｉの形状とは点対称である。
【０１２０】
補正フィルタＦＣｉにより修復された非対称ボケＢＣのＰＳＦ形状が、第２対称画像（ＩＣ＋ＩＤ）の対称ボケＢＲ２のボケ形状（ＰＳＦ形状）と一致する場合の、補正フィルタＦＣｉに関連付けられた被写体の距離を、非対称ボケＢＣを有する第１局所画像に対応する被写体の距離として求めることができる。
【０１２１】
次に、第１距離算出部４５−１が、画像ＩＡと第１対称画像（ＩＡ＋ＩＢ）とに基づいて距離計測を行い、第２距離算出部４５−２が画像ＩＣと第２対称画像（ＩＣ＋ＩＤ）とに基づいて距離計測を行う理由について説明する。
【０１２２】
図８に示すように被写体３Ｂと被写体３Ａとの距離差をΔｄとし、被写体３Ｂの非対称ボケをＢＡ１、被写体３Ａの非対称ボケをＢＡ２とする。非対称ボケＢＡ１と非対称ボケＢＡ２とのボケサイズの変化率をΔbrsとする。
【０１２３】
一方、図９に示すように被写体３Ｂと被写体３Ａとの距離差をΔｄとし、被写体３Ｂの非対称ボケをＢＡ３、被写体３Ａの非対称ボケをＢＡ４とする。非対称ボケＢＡ３と非対称ボケＢＡ４とのボケサイズの変化率をΔbrＬとする。
【０１２４】
図８及び図９に示すようにボケの大きさと変形は、合焦位置からの距離に比例する。したがって、ある距離差Δｄに対して、ボケの変化する度合い（変化率）は、合焦位置の近くでは大きく、合焦位置から離れた場所では小さくなる。ということは、ボケの形状一致度の検出能力が同じ場合、距離差Δｄの検出力は、合焦位置の近くでは大きく、合焦位置から離れた場所では小さくなる。つまり、合焦位置から離れると、ボケが大きくなっているために、ボケの大きさの変化率は小さくなり、距離の検出力（距離分解能）は下がってしまう。
【０１２５】
図８及び図９に示した例では、距離差Δｄは同じでも、図８に示したボケサイズの変化率Δbrsは、図９に示したボケサイズの変化率ΔbrＬよりも大きくなる（Δbrs＞ΔbrＬ）。被写体３Ａ、３Ｂの距離が合焦位置に近い図８の方が、被写体３Ａ、３Ｂの距離が合焦位置から離れている図９の場合よりも同じ距離差Δｄに対する距離の検出力が高くなる。
【０１２６】
そこで、本実施形態では、遠い被写体（被写体距離Ｄ１の被写体）に合焦する合焦距離を有する第１領域（第１サブ領域ＬＡ及び第２サブ領域ＬＢ）と、近い被写体（被写体距離Ｄ２の被写体）に合焦する合焦距離を有する第２領域（第３サブ領域ＬＣ及び第４サブ領域ＬＤ）との２焦点の撮像レンズ１２を使用し、この撮像レンズ１２及びイメージセンサ１６により同時に撮像が可能な第１画像（画像ＩＡ）と第１対称画像とに基づく距離計測と、第２画像（画像ＩＣ）と第２対称画像（ＩＣ＋ＩＤ）とに基づく距離計測とを行い、被写体距離に応じて距離の検出力（距離分解能）が高い方の距離を選択部により選択することで、より精度の高い距離計測を可能にしている。
【０１２７】
具体的には、図６に示した第１距離算出部４５−１により算出される被写体の距離と、第２距離算出部４５−２により算出される被写体の距離とが重複しないように、被写体の距離に応じて探索可能な第１補正フィルタＦＡと第２補正フィルタＦＣとを区分することで選択することができる。
【０１２８】
尚、図６に示した実施形態では、画像ＩＡの非対称ボケＢＡを対称ボケＢＲ１に修復する第１補正フィルタＦＡｉを、複数の補正フィルタＦＡから探索することで被写体の距離を計測しているが、第１画像としての画像ＩＢの非対称ボケＢＢを対称ボケＢＲに修復する補正フィルタＦＢｉを、複数の補正フィルタＦＢから探索することで被写体の距離を計測してもよい。また、画像ＩＣの非対称ボケＢＣを対称ボケＢＲ２に修復する第２補正フィルタＦＣｉを、複数の補正フィルタＦＣから探索することで被写体の距離を計測しているが、第２画像としての画像ＩＤの非対称ボケＢＤを対称ボケＢＲ２に修復する第２補正フィルタＦＤｉを、複数の第２補正フィルタＦＤから探索することで被写体の距離を計測してもよい。
【０１２９】
図１０は、横軸に被写体の距離に関連付けられている第１補正フィルタＦＡを示し、縦軸に各第１補正フィルタＦＡにより補正された画像ＩＡの、ある第１局所画像と第１対称画像（ＩＡ＋ＩＢ）の第２局所画像との相関を示す評価値Ｅを示したグラフである。尚、前述したように相関が高い程、評価値Ｅは小さい値をとる。
【０１３０】
図１０において、評価値Ｅが最も小さい値（相関が最大）になる第１補正フィルタＦＡは、第１補正フィルタＦＡｉであるが、複数の第１補正フィルタＦＡに関連付けられている被写体の距離は、第１補正フィルタ毎の離散的な距離であるため、第１補正フィルタＦＡｉに対応付けられている被写体の距離をそのまま距離の計測値とすると、精度が低くなる。
【０１３１】
そこで、評価値Ｅが最も小さい値になる第１補正フィルタＦＡｉを含む、前後の複数の第１補正フィルタ（ＦＡ（ｉ−２）、ＦＡ（ｉ−１）、ＦＡｉ、ＦＡ（ｉ＋１））に対応する被写体の距離と、複数の評価値（Ｅ（ｉ−２）、Ｅ（ｉ−１）、Ｅｉ、Ｅ（ｉ＋１））とに基づいて評価値Ｅが最小になる第１補正フィルタＦＩを推定し、推定した第１補正フィルタＦＩに対応する距離を計測値とすることが好ましい。
【０１３２】
図１０では、２つの評価値（Ｅ（ｉ−２）、Ｅ（ｉ−１））を通る直線と、２つの評価値（Ｅｉ、Ｅ（ｉ＋１））を通る直線とが交わる点から、評価値Ｅが最小になる補正フィルタＦＩを推定している。尚、評価値Ｅが最小になる第１補正フィルタＦＩの推定は、図１０に示した例に限らず、評価値Ｅｉを含む前後の３点以上の複数の評価値から、これらの評価値を通る近似曲線を求め、その近似曲線の最小値から、評価値Ｅが最小になる第１補正フィルタＦＩを推定することができる。
【０１３３】
尚、第２画像である画像ＩＣと第２対称画像（ＩＣ＋ＩＤ）に基づいて被写体の距離を算出する場合も上記と同様に算出することが好ましい。
【０１３４】
＜イメージセンサの第２実施形態＞
図１１は、第２実施形態のイメージセンサ１６−２の正面図である。
【０１３５】
第２実施形態のイメージセンサ１６−２は、瞳分割手段として遮光マスクを使用した遮光マスク方式が適用されている。
【０１３６】
図１１には、図４に示した瞳像分離方式による第１画素ＳＡ、第２画素ＳＢ、第３画素ＳＣ、及び第４画素ＳＤに対応する第１画素ＳＡ２、第２画素ＳＢ２、第３画素ＳＣ２、及び第４画素ＳＤ２が示されている。第１画素ＳＡ２、第２画素ＳＢ２、第３画素ＳＣ２、及び第４画素ＳＤ２には、それぞれ開口位置が異なる第１開口、第２開口、第３開口及び第４開口を形成する瞳分割用の４種類の遮光マスクが設けられ、撮像レンズ１２の第１サブ領域ＬＡ、第２サブ領域ＬＢ、第３サブ領域ＬＣ及び第４サブ領域ＬＤを介して入射する光束が、遮光マスクによりそれぞれ瞳分割されて第１画素ＳＡ２、第２画素ＳＢ２、第３画素ＳＣ２、及び第４画素ＳＤ２に入射する。
【０１３７】
図１２は、図４に示した瞳像分離方式による第３画素ＳＣ，第４画素ＳＤに対応する第３画素ＳＣ２及び第４画素ＳＤ２の構成を示す要部拡大図である。
【０１３８】
図１２に示すように第３画素ＳＣ２のフォトダイオードＰＤの前面側（マイクロレンズＭＬ側）には、開口（第３開口）を有する瞳分割用の遮光マスクＭＡが配設され、一方、第４画素ＳＤ２のフォトダイオードＰＤの前面側には、第３開口とは開口位置が異なる開口（第４開口）を有する瞳分割用の遮光マスクＭＢが配設される。マイクロレンズＭＬ及び遮光マスクＭＡ、ＭＢは瞳分割機能を有している。
【０１３９】
そのため、図１２に示すように第３画素ＳＣ２には、撮像レンズ１２の４分割された領域のうちの第３サブ領域ＬＣを通過する光束のみが選択的に受光され、第４画素ＳＤ２には、撮像レンズ１２の第４サブ領域ＬＤを通過する光束のみが選択的に受光される。
【０１４０】
＜イメージセンサの第３実施形態＞
図１３は、第３実施形態のイメージセンサ１６−３の要部正面図である。
【０１４１】
図１３に示す第３実施形態のイメージセンサ１６−３は、図１１に示した第２実施形態の変形例であり、第１画素ＳＡ２、第２画素ＳＢ２、第３画素ＳＣ２、及び第４画素ＳＤ２の他に、第１画素ＳＡ２と第２画素ＳＢ２とが瞳分割されずに一体化されている第１基準画素ＳＲ１と、第３画素ＳＣ２と第４画素ＳＤ２とが瞳分割されずに一体化されている第２基準画素ＳＲ２とが混在して配置されている。
【０１４２】
この第３実施形態のイメージセンサ１６−３によれば、対称ボケを有する第１対称画像及び第２対称画像を作成する際に、第１画素ＳＡ２と第２画素ＳＢ２とを加算して生成し、又は第３画素ＳＣ２と第４画素ＳＤ２とを加算する必要がなく、第１基準画素ＳＲ１及び第２基準画素ＳＲ２から対称ボケを有する第３画像及び第４画像を取得することができる。
【０１４３】
＜撮像レンズの第２実施形態＞
図１４は、撮像レンズ１２−２の第２実施形態を示す正面図である。
【０１４４】
図１４に示す撮像レンズ１２−２は、それぞれ同一の光軸上に配置された中央光学系ＬＯからなる第１領域と、中央光学系ＬＯの周辺部の環状光学系ＬＲからなる第２領域とを有している。尚、中央光学系ＬＯと環状光学系ＬＲとの間には、遮光部１１が設けられている。
【０１４５】
撮像レンズ１２−２は、中央光学系ＬＯと環状光学系ＬＲとで合焦距離が異なる２焦点の撮像レンズである。尚、中央光学系ＬＯと環状光学系ＬＲとの間には、リング状の遮光部１１が設けられている。
【０１４６】
図１５は、イメージセンサの第４実施形態を示す平面図であり、特に図１４に示した第２実施形態の撮像レンズ１２−２に適用されるイメージセンサである。
【０１４７】
図１５に示す第４実施形態のイメージセンサ１６−４は、瞳分割手段として遮光マスクを使用した遮光マスク方式が適用されており、それぞれ開口位置及び形状が異なる第１開口、第２開口、第３開口、第４開口、第５開口及び第６開口を形成する瞳分割用の６種類の遮光マスクが設けられている。
【０１４８】
撮像レンズ１２−２の中央光学系ＬＯを通過する光束は、第１開口及び第２開口が形成された遮光マスクにより左右方向に瞳分割され、第１画素ＳＡ３，第２画素ＳＢ３に入射し、撮像レンズ１２−２の環状光学系ＬＲを通過する光束は、第３開口及び第４開口が形成された遮光マスクにより左右方向に瞳分割され、第３画素ＳＣ３，第４画素ＳＤ３に入射する。
【０１４９】
また、撮像レンズ１２−２の中央光学系ＬＯを通過する光束は、第５開口が形成された遮光マスクにより第１基準画素ＳＲ３に入射し、撮像レンズ１２−２の環状光学系ＬＲを通過する光束は、第６開口が形成された遮光マスクにより第２基準画素ＳＲ４に入射する。
【０１５０】
＜アポダイジングフィルタ＞
図１６は、アポダイジングフィルタ１３を示す正面図であり、撮像レンズ１２の外径に対応する有効範囲Ｒを有している。
【０１５１】
図１７は、被写体の距離に応じた点光源５のボケ像を示す図である。
【０１５２】
図１７において、点光源５の距離が、撮像レンズ１２の合焦距離にある場合、合焦位置Ｆ０で最も小さい点像（ボケ像）Ｂ０となり、撮像レンズ１２の合焦距離よりも前ピンＦ１に対応する距離又は後ピンＦ２に対応する距離にある場合には、合焦距離からの距離に応じた大きさのボケ像Ｂ１，Ｂ２になる。
【０１５３】
これらのボケ像Ｂ１，Ｂ２は、合焦距離からの距離に応じて大きさが異なるが、ボケ像の輝度分布は、例えば正規分布のように分布せずに、テーブル状に分布する傾向にある。
【０１５４】
そこで、図１８に示すように撮像レンズ１２に、図１６に示したアポダイジングフィルタ１３を設ける。
【０１５５】
アポダイジングフィルタ１３は、撮像レンズ１２の光軸中心から周辺部分に向かって光透過率を連続的に変化させる光学フィルタであり、本例のアポダイジングフィルタ１３は、中心部分から周辺部分に向かって光透過率が低くなる、リバースブルズアイタイプの光学フィルタである。
【０１５６】
撮像レンズ１２にアポダイジングフィルタ１３を設けることにより、ボケ像Ｂ１，Ｂ２の濃度分布を、その中心から周辺に向かって積極的に変化させることができる。これにより、第１画像、第２画像における非対称ボケの形状（非対称性）、及び第３画像、第４画像における対称ボケの形状（対称性）を明瞭にすることができ、距離推定精度を向上させることができる。
【０１５７】
尚、アポダイジングフィルタには、中心部分から周辺部分に向かって光透過率が高くなるブルズアイタイプ、中心部分から周辺部分に向かって光透過率が低下する本例のリバースブルズアイタイプなどがあるが、いずれのタイプのものでもよい。
【０１５８】
［距離計測方法］
図１９は、本発明に係る距離計測方法の実施形態を示すフローチャートである。以下、主として図６に示した各部の機能を有するＣＰＵ４０による距離計測動作について説明する。
【０１５９】
図１９において、ＣＰＵ４０は、イメージセンサ１６により撮像された第１画素群２２Ａ及び第２画素群２２Ｂのうちの第１画素群２２Ａからなる第１画像（画像ＩＡ）と、イメージセンサ１６により撮像された第３画素群２２Ｃ及び第４画素群２２Ｄのうちの第３画素群２２Ｃからなる第２画像（画像ＩＣ）とを取得する（ステップＳ１０）。
【０１６０】
また、ＣＰＵ４０は、第１画素群２２Ａ及び第２画素群２２Ｂのそれぞれ対応する一対の第１画素ＳＡ，第２画素ＳＢの画素値を加算した、第３画像（第１対称画像）と、第３画素群２２Ｃ及び第４画素群２２Ｄのそれぞれ対応する一対の第３画素ＳＣ，第４画素ＳＤの画素値を加算した、第４画像（第２対称画像）とを取得する（ステップＳ１２）。
【０１６１】
ここで、画像ＩＡ、ＩＣは、非対称ボケを有する画像であり、第１、第２対称画像は、対称ボケを有する画像である。尚、図５に示したイメージセンサ１６の代わりに、図１３に示したイメージセンサ１６−３を使用してもよい。イメージセンサ１６−３を使用する場合には、第１画素ＳＡ，第２画素ＳＢの画素値の加算により生成される第３画像（第１対称画像）の代わりに、イメージセンサ１６−３の第１基準画素ＳＲ１に対応する画素群からなる対称ボケを有する画像（第３画像）を取得し、第３画素ＳＣ，第４画素ＳＤの画素値の加算により生成される第４画像（第２対称画像）の代わりに、イメージセンサ１６−３の第２基準画素ＳＲ２に対応する画素群からなる対称ボケを有する画像（第４画像）を取得する。
【０１６２】
次に、第１補正フィルタＦＡｉ、第２補正フィルタＦＣｉを特定するパラメータｉを１にし、また、画像ＩＡ内の画素Ｐｊｋを特定するパラメータｊ，ｋをそれぞれ１にセットする（ステップＳ１４）。尚、画素Ｐ１１は、画像内の左上隅の画素を示し、画素ＰＭＮは、画像内の右下隅の画素を示すものとする。
【０１６３】
続いて、ＣＰＵ４０は、第１補正フィルタ記憶部４５−１Ｄ、第２補正フィルタ記憶部４５−２Ｄから第１補正フィルタＦＡｉ、第２補正フィルタＦＣｉを取得する（ステップＳ１６）。尚、パラメータｉは、例えば、１≦Ｐ≦Ｑの範囲で変化するものとし、第２補正フィルタＦＣ１は、測距可能な範囲内で最も至近距離に対応する被写体の非対称ボケを復元する補正フィルタであり、第２補正フィルタＦＣＰは、第２補正フィルタＦＣｉの中で最大の被写体距離に対応する補正フィルタであり、第１補正フィルタＦＡ（Ｐ＋１）は、第２補正フィルタＦＣＰの次の被写体距離に対応する補正フィルタであり、第１補正フィルタＦＡＱは、測距可能な範囲内で最大の被写体距離に対応する補正フィルタである。
【０１６４】
ＣＰＵ４０は、画素Ｐｊｋを中心とする画像ＩＡの第１局所画像と第１補正フィルタＦＡｉとを畳み込み演算し、第１局所画像の非対称ボケを補正し、又は画素Ｐｊｋを中心とする画像ＩＣの第２局所画像と第２補正フィルタＦＣｉとを畳み込み演算し、第２局所画像の非対称ボケを補正する（ステップＳ１８）。尚、１≦ｉ≦Ｐの場合には、画像ＩＣの第２局所画像と第２補正フィルタＦＣｉとを畳み込み演算し、第２局所画像の非対称ボケを補正し、Ｐ＋１≦ｉ≦Ｑの場合には、画像ＩＡの第１局所画像と第１補正フィルタＦＡｉとを畳み込み演算し、第１局所画像の非対称ボケを補正する。
【０１６５】
補正後の第１局所画像と、第１対称画像の画素Ｐｊｋを中心とする第３局所画像とを比較し、両画像の相関を示す評価値を求め、又は補正後の第２局所画像と、第２対称画像の画素Ｐｊｋを中心とする第４局所画像とを比較し、両画像の相関を示す評価値を求める（ステップＳ２０）。
【０１６６】
そして、補正後の第１局所画像と第３局所画像とが一致した（両画像の相関が最大になった）か否か、又は補正後の第２局所画像と第４局所画像とが一致した（両画像の相関が最大になった）か否かを評価値から判別し（ステップＳ２２）、一致しない場合には、パラメータｉを１だけインクリメントし（ステップＳ２４）、ステップＳ１６に戻る。これにより、第１補正フィルタＦＡｉ、第２補正フィルタＦＣｉを順次変更し、第１探索ステップ及び第２探索ステップであるステップＳ１６からステップＳ２４の処理を繰り返す。即ち、非対称ボケを有する第１局所画像を、対称ボケを有する第３局所画像に補正する第１補正フィルタＦＡｉ、又は非対称ボケを有する第２局所画像を、対称ボケを有する第４局所画像に補正する第２補正フィルタＦＣｉを探索する。
【０１６７】
ステップＳ２２により両画像が一致したと判別されると、一致したときの第１補正フィルタＦＡｉ又は第２補正フィルタＦＣｉ（第１補正フィルタＦＡｉ又は第２補正フィルタＦＣｉに対応する被写体の距離）を、画素Ｐｊｋの位置と関連付けて記憶させる（ステップＳ２６）。尚、ステップＳ１６からステップＳ２６の第１距離算出ステップ及び第２距離算出ステップに相当する。
【０１６８】
１画素毎の距離算出が終了すると、続いて、パラメータｊがＭと一致したか否かを判別する（ステップＳ２８）。尚、Ｍは、画像ＩＡ、画像ＩＣのｘ方向の画素数である。
【０１６９】
ステップＳ２８において、ｊ≠Ｍと判別されると、パラメータｊを１だけインクリメントし（ステップＳ３０）、ステップＳ１４に戻る。これにより、画素Ｐｊｋの位置を、ｘ方向に１画素分移動させた画素における距離計測に移行させる。
【０１７０】
ステップＳ２８において、ｊ＝Ｍと判別されると、ステップＳ３２に遷移させる。ステップＳ３２では、パラメータｋがＮと一致したか否かを判別する。尚、Ｎは、画像ＩＡ、画像ＩＣのｙ方向の画素数である。
【０１７１】
ステップＳ３２において、ｊ≠Ｎと判別されると、パラメータｋを１だけインクリメントし（ステップＳ３４）、ステップＳ１４に戻る。これにより、画素Ｐｊｋの位置を、ｙ方向に１画素分移動させた画素における距離計測に移行させる。
【０１７２】
ステップＳ３２において、ｊ＝Ｎと判別されると、画像ＩＡ、画像ＩＣの全画素に対応した画素毎の距離計測が終了したことになるため、本距離計測の処理を終了させる。
【０１７３】
［その他］
本実施形態の撮像装置１０は、撮像範囲における被写体の距離分布を示す距離マップの生成に使用可能な被写体の距離を計測するとともに、同じ撮像範囲のカラー画像を撮像及び記録することができるが、同じ撮像範囲のモノクロ画像を撮像記録するものや、記録用の画像を撮像しない、被写体の距離計測専用の撮像装置であってもよい。また、撮像装置１０を車載カメラとして使用し、生成可能な距離マップを自動運転システム等の一部として使用したり、撮像装置１０をドローンに搭載し、生成可能な距離マップをドローンの飛行制御に使用することが可能である。
【０１７４】
また、本実施形態では、距離マップ作成用の画像の撮像時の絞りは、予め設定された固定絞りとしたが、絞りの開口径（絞り値）を任意に変化させてもよい。この場合、絞り値によりボケ形状が変化するため、絞り値に応じて第１、第２補正フィルタを準備するか、第１、第２補正フィルタを拡縮することが考えられる。
【０１７５】
また、本実施形態において、例えば、ＣＰＵ４０等の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【０１７６】
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
【０１７７】
更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
【０１７８】
更にまた、本発明は、撮像装置内のコンピュータにインストールされることにより、本発明に係る撮像装置として機能させる距離計測プログラム、及びこの距離計測プログラムが記録された記録媒体を含む。
【０１７９】
また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１８０】
１０  撮像装置
１１  遮光部
１２、１２−２  撮像レンズ
１３  アポダイジングフィルタ
１６、１６−２、１６−３、１６−４  イメージセンサ
１６Ａ  マイクロレンズ
１９  フラッシュ光発光部
２０  ファインダ窓
２１  Ａ／Ｄ変換器
２２  画像入力コントローラ
２２Ａ  第１画素群
２２Ｂ  第２画素群
２２Ｃ  第３画素群
２２Ｄ  第４画素群
２４  デジタル信号処理部
２６  圧縮伸張処理部
２８  ビデオエンコーダ
３０  液晶モニタ
３２  センサ制御部
３８  操作部
３８−１  シャッタボタン
４０  ＣＰＵ
４１−１  第１画像取得部
４１−２  第２画像取得部
４３−１  第３画像取得部
４３−２  第４画像取得部
４４  ＡＥ検出部
４５−１  第１距離算出部
４５−１Ａ  第１フィルタ処理部
４５−１Ｂ  第１比較部
４５−１Ｃ  第１補正フィルタ探索部
４５−１Ｄ  第１補正フィルタ記憶部
４５−２  第２距離算出部
４５−２Ａ  第２フィルタ処理部
４５−２Ｂ  第２比較部
４５−２Ｃ  第２補正フィルタ探索部
４５−２Ｄ  第２補正フィルタ記憶部
４６  ＡＦ検出部
４８  メモリ
４９  ＲＯＭ
５０  ＶＲＡＭ
５２  メディアコントローラ
５４  メモリカード
ＡＦ  位相差
Ｂ１、Ｂ２  ボケ像
ＢＡ、ＢＡ１、ＢＡ２、ＢＡ３、ＢＡ４、ＢＢ、ＢＣ、ＢＤ  非対称ボケ
ＢＲ、ＢＲ１、ＢＲ２  対称ボケ
ＦＡ、ＦＡｉ、ＦＢｉ  第１補正フィルタ
ＦＣ、ＦＣｉ、ＦＤｉ  第２補正フィルタ
ＩＡ、ＩＢ、ＩＣ、ＩＤ  画像
ＬＡ  第１サブ領域
ＬＢ  第２サブ領域
ＬＣ  第３サブ領域
ＬＤ  第４サブ領域
ＬＯ  中央光学系
ＬＲ  環状光学系
Ｓ１０〜Ｓ３４  ステップ
ＳＡ、ＳＡ２、ＳＡ３  第１画素
ＳＢ、ＳＢ２、ＳＢ３  第２画素
ＳＣ、ＳＣ２、ＳＣ３  第３画素
ＳＤ、ＳＤ２、ＳＤ３  第４画素
ＳＲ１、ＳＲ３  第１基準画素
ＳＲ２、ＳＲ４  第２基準画素
【図１】
0006974599.tif 000002
【図２】
0006974599.tif 000003
【図３】
0006974599.tif 000004
【図４】
0006974599.tif 000005
【図５】
0006974599.tif 000006
【図６】
0006974599.tif 000007
【図７】
0006974599.tif 000008
【図８】
0006974599.tif 000009
【図９】
0006974599.tif 000010
【図１０】
0006974599.tif 000011
【図１１】
0006974599.tif 000012
【図１２】
0006974599.tif 000013
【図１３】
0006974599.tif 000014
【図１４】
0006974599.tif 000015
【図１５】
0006974599.tif 000016
【図１６】
0006974599.tif 000017
【図１７】
0006974599.tif 000018
【図１８】
0006974599.tif 000019
【図１９】
0006974599.tif 000020
【図２０】
0006974599.tif 000021
【図２１】
0006974599.tif 000022