(57)【要約】【課題】良好な精度で高速に焦点状態を検出する。【解決手段】画像処理装置は、撮影して得られた画像群から、所定の方向に視差を有する関係にある複数の画像を取得し、該複数の画像の各々から、所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する。そして抽出した複数の画素列を、複数の画像の各々を撮影した、所定の方向における位置関係に応じて配置した２次元像を生成し、該２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する。画像処理装置は、該検出した直線の傾きから同一の被写体の被写体距離を特定する。【選択図】図４
2015122588.tif 000002
【特許請求の範囲】
【請求項１】
撮影して得られた画像群から、所定の方向に視差を有する関係にある複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像の各々から、前記所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する抽出手段と、
前記抽出手段により抽出された複数の前記画素列を、前記複数の画像の各々を撮影した、前記所定の方向における位置関係に応じて配置した２次元像を生成する生成手段と、
前記生成手段により生成された前記２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する検出手段と、
前記検出手段により検出された直線の傾きから前記同一の被写体の被写体距離を特定する特定手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
撮影して得られた、所定の方向に視差を有する関係にある複数の画像から、所定の被写体に合焦した画像を生成して出力する画像処理装置であって、
画像群から前記複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像の各々から、前記所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する抽出手段と、
前記抽出手段により抽出された複数の前記画素列を、前記複数の画像の各々を撮影した、前記所定の方向における位置関係に応じて配置した２次元像を生成する生成手段と、
前記生成手段により生成された前記２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する検出手段と、
前記検出手段により検出された直線の傾きに応じて、前記複数の画像の位置を前記所定の方向に移動させて、前記同一の被写体に合焦した画像を生成して出力する出力手段と、を有する
ことを特徴とする画像処理装置。
【請求項３】
瞳分割された光束にそれぞれ対応する画像群から、所定の方向に視差を有する関係にある複数の画像を取得する取得手段と、
前記取得手段により取得された前記複数の画像の各々から、前記所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する抽出手段と、
前記抽出手段により抽出された複数の前記画素列を、前記複数の画像の各々に対応する光束の瞳領域における位置関係に応じて連結した２次元像を生成する生成手段と、
前記生成手段により生成された前記２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する検出手段と、
前記検出手段により検出された直線の傾きから前記画像群を撮影した際の前記同一の被写体の焦点状態を特定する特定手段と、を有する
ことを特徴とする画像処理装置。
【請求項４】
前記所定の方向は、前記画像群の少なくともいずれかの画像における高周波成分の分布に応じて決定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記所定の方向は、前記画像群の少なくともいずれかの画像に現れる直線成分のうち、その数が最も多い方向と直交する方向に決定されることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記検出手段は、前記２次元像に対して前記複数の画素列の方向に現れる所定レベル以上の輝度差を示す画素を抽出し、該画素に基づいて直線を検出することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記検出手段は、前記２次元像のハフ変換により直線を検出することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
画像処理装置の取得手段が、撮影して得られた画像群から、所定の方向に視差を有する関係にある複数の画像を取得する取得工程と、
前記画像処理装置の抽出手段が、前記取得工程において取得された前記複数の画像の各々から、前記所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する抽出工程と、
前記画像処理装置の生成手段が、前記抽出工程において抽出された複数の前記画素列を、前記複数の画像の各々を撮影した、前記所定の方向における位置関係に応じて配置した２次元像を生成する生成工程と、
前記画像処理装置の検出手段が、前記生成工程において生成された前記２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する検出工程と、
前記画像処理装置の特定手段が、前記検出工程において検出された直線の傾きから前記同一の被写体の被写体距離を特定する特定工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項９】
撮影して得られた、所定の方向に視差を有する関係にある複数の画像から、所定の被写体に合焦した画像を生成して出力する画像処理装置であって、
前記画像処理装置の取得手段が、画像群から前記複数の画像を取得する取得工程と、
前記画像処理装置の抽出手段が、前記取得工程において取得された前記複数の画像の各々から、前記所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する抽出工程と、
前記画像処理装置の生成手段が、前記抽出工程において抽出された複数の前記画素列を、前記複数の画像の各々を撮影した、前記所定の方向における位置関係に応じて配置した２次元像を生成する生成工程と、
前記画像処理装置の検出手段が、前記生成工程において生成された前記２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する検出工程と、
前記画像処理装置の出力手段が、前記検出工程において検出された直線の傾きに応じて、前記複数の画像の位置を前記所定の方向に移動させて、前記同一の被写体に合焦した画像を生成して出力する出力工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
画像処理装置の抽出手段が、瞳分割された光束にそれぞれ対応する画像群から、所定の方向に視差を有する関係にある複数の画像を取得する取得工程と、
前記画像処理装置の抽出手段が、前記取得工程において取得された前記複数の画像の各々から、前記所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する抽出工程と、
前記画像処理装置の生成手段が、前記抽出工程において抽出された複数の前記画素列を、前記複数の画像の各々に対応する光束の瞳領域における位置関係に応じて連結した２次元像を生成する生成工程と、
前記画像処理装置の検出手段が、前記生成工程において生成された前記２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する検出工程と、
前記画像処理装置の特定手段が、前記検出工程において検出された直線の傾きから前記画像群を撮影した際の前記同一の被写体の焦点状態を特定する特定工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、制御方法、及びプログラム複数の信号の相関を計算する方法に関し、特に複数の視差画像間の位相差計算（いわゆる相関演算）に関するものである。
【背景技術】
【０００２】
デジカルカメラ等の撮像装置では、特定の被写体に合焦させるため、自動焦点調整機能を有するものがある。焦点調整において撮像装置が焦点状態を検出する方式の１つに、光軸を異ならせて撮影して得られた２つの画像、あるいは異なる瞳領域を通過した光束について得られた２以上の画像について位相差を計算する、所謂位相差検出方式がある（特許文献１及び２）。具体的には、位相差検出対象の画像や信号に含まれる同一被写体の像の位置を、一対の画像の相関演算により特定し、その像ずれ量によって焦点状態の検出がなされる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１９９０５２号公報
【特許文献２】特開２００７−１１３１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１及び２に示されるような一対の画像を対象として行われる相関演算は演算量が多くなりやすく、焦点検出に要する処理時間が長期化しやすい。また、例えば撮影環境の輝度が低い場合等、相関演算を行う一対の画像に発生するノイズ量が多い場合、ノイズによって相関演算の信用度が低くなり、良好な焦点検出結果が得られない可能性があった。
【０００５】
本発明は、上述の問題点に鑑みてなされたものであり、良好な精度で高速に焦点状態を検出するあるいは被写体距離を検出する画像処理装置、制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、同一の時間に撮影して得られた画像群から、所定の方向にのみ視差を有する関係にある複数の画像を取得する取得手段と、取得手段により取得された複数の画像の各々から、所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する抽出手段と、抽出手段により抽出された複数の画素列を、複数の画像の各々を撮影した、所定の方向における位置関係に応じて配置した２次元像を生成する生成手段と、生成手段により生成された２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する検出手段と、検出手段により検出された直線の傾きから同一の被写体の被写体距離を特定する特定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
このような構成により本発明によれば、良好な精度で高速に焦点状態を検出することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るカメラシステムに含まれるデジタルカメラ１００及びレンズ２００の機能構成を示したブロック図
【図２】本発明の実施形態に係る撮像部１０２の詳細構成を説明するための図
【図３】本発明の実施形態に係る２次元像の生成を説明するための図
【図４】本発明の実施形態に係る２次元像の焦点状態ごとの態様を説明するための図
【図５】本発明の実施形態に係るデジタルカメラ１００で実行される焦点状態検出処理を例示したフローチャート
【図６】本発明の実施形態に係る２次元像に含まれる直線及び傾き検出を説明するための図
【図７】本発明の実施形態に係る、遠近競合が存在する場合の２次元像に含まれる直線及び傾き検出を説明するための図
【図８】本発明の変形例に係るシステムの態様を示した図
【発明を実施するための形態】
【０００９】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を取得可能な撮像装置を有するカメラシステムに、本発明を適用した例を説明する。しかし、本発明は、同一時間に同一被写体を異なる位置で撮像して得られた複数の画像信号を取得可能な任意の機器に適用可能である。
【００１０】
また、本明細書において、以下の用語を定義して説明する。
【００１１】
・「ＬＦデータ（Light Field Data）」
本実施形態のデジタルカメラ１００が有する撮像部１０２から出力され、所定の現像に係る画像処理が適用されて得られた画像信号。ＬＦデータの各画素は、通過した撮像光学系２０２の分割瞳領域と入射方向との組み合わせが異なる光束に対応する信号強度を示す。ＬＦデータは、光照射野情報あるいは光線空間情報とも呼ばれる。
【００１２】
・「再構成画像」
ＬＦデータから生成される、任意の焦点面の位置に合焦した画像。具体的にはＬＦデータから同一の分割瞳領域を通過した画素で生成される複数（瞳分割数）の分割瞳画像について、生成する焦点距離に存在する被写体の像が一致するように位置合わせを行い、対応する画素の画素値を合算（重ね合わせ）することで得られる画像。
【００１３】
《カメラシステムの構成》
図１は、本発明の実施形態に係るカメラシステムに含まれる、デジタルカメラ１００及びレンズ２００の機能構成を示すブロック図である。
【００１４】
〈デジタルカメラ１００の構成〉
カメラ制御部１０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。カメラ制御部１０１は、デジタルカメラ１００が有する各ブロックの動作プログラムをＲＯＭから読み出し、ＲＡＭに展開して実行することにより、デジタルカメラ１００が有する各ブロックの動作制御を行う。またカメラ制御部１０１は、撮像部１０２から出力される画像信号の解析により決定した焦点位置の情報や、決定した露出設定に対応する絞り値等の情報を、電気接点１０７を介してレンズ２００に送信する。
【００１５】
撮像部１０２は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０２は、設定された露出設定に基づいて、カメラ制御部１０１により生成されたタイミング信号に基づいて撮像素子が有する各光電変換素子（画素）の露光及び読み出しを行う。そして撮像部１０２は、得られたＬＦデータのアナログ画像信号を画像処理部１０３に出力する。具体的には撮像部１０２は、レンズ２００の撮像光学系２０２により撮像素子の受光面に結像された光学像を光電変換し、アナログ画像信号を出力する。
【００１６】
また本実施形態のデジタルカメラ１００では、撮像素子１０９の表面には、図２（ａ）に示されるようにマイクロレンズ２０が格子状に配列されたマイクロレンズアレイ１０８が配設される。マイクロレンズアレイ１０８の１つのマイクロレンズ２０は、図２（ｂ）に示されるように撮像素子１０９の複数の光電変換素子（画素）に対応付けられる。レンズ２００の撮像光学系２０２を介して入射した光束は、各マイクロレンズ２０により、対応付けられた撮像素子１０９の画素に結像されることで瞳分割される。即ち、対応付けられた撮像素子１０９の各画素には、対応付けられた画素位置に対応する撮像光学系２０２の分割瞳領域を通過した光束が結像される。図２（ｂ）の例では、１つのマイクロレンズ２０には５×５＝２５個の画素が対応付けられており、撮像光学系２０２の瞳分割数は２５となる。
【００１７】
図２（ｃ）は、１つのマイクロレンズに対応付けられた画素と、各画素に結像される光束が通過する撮像光学系２０２の射出瞳の分割瞳領域の対応関係を示した図である。なお、図２（ｃ）の例では簡単のため、１つのマイクロレンズ２０に対して水平方向５つの画素２１ａ乃至ｅがマイクロレンズ２０の中心を通る水平線上に並んで配置されているものとする。このとき、マイクロレンズ２０により各画素は、射出瞳面上における分割瞳領域３１ａ乃至ｅと共役関係になるように設計される。図２（ｃ）の例では、画素２１ａは分割瞳領域３１ａ、画素２１ｂは分割瞳領域３１ｂ、画素２１ｃは分割瞳領域３１ｃ、画素２１ｄは分割瞳領域３１ｄ、そして画素２１ｅは分割瞳領域３１ｅと共役関係にある。
【００１８】
このようにＬＦデータは各マイクロレンズ２０に対応付けられた画素群がそれぞれ異なる分割瞳領域を通過した光束に対応しているため、画素群ごとに画素値の合算を行って１画素を構成することで、瞳分割していない場合と等価な画像を生成することができる。このとき生成される再構成画像は、撮影時のフォーカスレンズの焦点距離に対応する距離に存在する被写体に合焦した画像となっている。
【００１９】
また各マイクロレンズ２０に対応付けられた画素群から同一の分割瞳領域を通過した光束に対応した画素を抽出して画像を構成することで、分割瞳領域の位置に対応した画像を生成することもできる。即ち、図２（ｂ）のようにマイクロレンズ２０と光電変換素子が対応付けられている場合、２５種類の画像を生成することができる。このとき、各分割瞳領域の位置に対応する画像はそれぞれ異なる光軸について撮影された画像とみなすことができ、例えば隣接する光学系を有する多眼カメラを用いて撮影された視差を有する関係にある画像群と等価といえる。従って、本実施形態ではＬＦデータを用いた焦点状態を検出する方法について説明するが、本発明は上述した多眼カメラを用いて撮影された画像群についても適用可能であり、この場合、複数の画像に現れた被写体の距離の検出をすることができる。
【００２０】
画像処理部１０３は、撮像部１０２から出力されたＬＦデータのアナログ画像信号に対して、焦点検出処理を含む種々の画像処理を実行する。具体的には画像処理部１０３は焦点検出処理の他、入力されたアナログ画像信号に対するＡ／Ｄ変換処理、ホワイトバランス調整処理、ガンマ補正処理等を行う。なお、本実施形態では画像処理部１０３は、得られたＬＦデータから再構成画像を生成する処理も行う。また画像処理部１０３は、上述した各工程で生成されるＬＦデータや再構成画像のデータに、予め定められた符号化方式に応じて圧縮処理を実行する。また画像処理部１０３は、上述した各工程で生成されるＬＦデータ、再構成画像のデータをモードやユーザ指示に応じてメモリや記録媒体に記録するか、あるいは所定の形式に変換して外部に出力する。各種画像処理は、専用回路等により実現されてよい。
【００２１】
メモリ１０４は、記憶素子及び該記憶素子への読み書きを行う処理回路を有する。メモリ１０４は、記憶素子への出力を行うとともに、表示部１０５に出力する画像を保存する。またメモリ１０４は、符号化された画像、動画、音声データ等を保存する。
【００２２】
表示部１０５は、例えばＬＣＤ等のデジタルカメラ１００が備える表示装置である。表示部１０５には、撮像により得られたＬＦデータから生成された再構成画像等が表示される。
【００２３】
操作検出部１０６は、デジタルカメラ１００が有するレリーズボタン等のユーザインタフェースになされた操作を検出する。具体的には操作検出部１０６は、ユーザにより例えばレリーズボタンが操作されたことを検出すると、該操作に対応する制御信号をカメラ制御部１０１に出力する。
【００２４】
〈レンズ２００の構成〉
レンズ制御部２０１は、例えばＣＰＵであり、不図示のＲＯＭ及びＲＡＭを内蔵する。レンズ制御部２０１は、ＲＯＭに格納されているレンズ２００が有する各ブロックの動作プログラムを読み出し、ＲＡＭに展開して実行することにより、各ブロックの動作を制御する。レンズ制御部２０１は、電気接点１０７を介してカメラ制御部１０１より焦点位置や絞り値の情報を受信すると、該情報をレンズ駆動部２０３に伝送し、撮像光学系２０２の対応する光学部材を駆動させる。
【００２５】
撮像光学系２０２は、レンズ２００が有するレンズ群や絞り等で構成される。本実施形態では撮像光学系２０２は、少なくともフォーカスレンズ、シフトレンズ、及び絞りを含む。レンズ駆動部２０３は、レンズ制御部２０１から入力された情報に従い、撮像光学系２０２のフォーカスレンズ、シフトレンズ、及び絞りの駆動制御を行う。なお、本実施形態のレンズ制御部２０１には不図示の手振れ検出センサが接続されており、レンズ駆動部２０３はレンズ制御部２０１より入力された該センサの出力に応じてシフトレンズを駆動する。
【００２６】
《焦点状態を検出する方法の概要》
以下、本実施形態のデジタルカメラ１００の画像処理部１０３が行う焦点状態を検出する方法について、その概要を説明する。
【００２７】
本実施形態では画像処理部１０３は、撮影対象である被写体におけるエッジ等の直線成分に着目して焦点状態の検出を行う。これはエッジ部が高周波成分を含んでおり、焦点状態に敏感に反応してコントラストが変化する（ボケが生じる）ことに基づくものであるが、本発明の実施において、焦点状態の評価に用いる対象はエッジ部に限られるものではない。画像処理部１０３は、例えばＬＦデータから生成した１つの再構成画像について垂直方向と水平方向のそれぞれについて直線成分を抽出し、いずれの方向の直線成分が多いかによって焦点状態の検出を行う方向を決定する。例えば画像内に垂直方向の直線成分が多い場合、画像処理部１０３は以下に説明する焦点状態の検出を水平方向について行う。また例えば画像内に水平方向の直線成分が多い場合、画像処理部１０３は焦点状態の検出を垂直方向について行う。即ち、画像処理部１０３は、撮影対象である被写体（撮影範囲）について高周波成分が多く現れる方向を特定し、該方向について焦点状態の検出処理を行う。従って、本発明の実施は上述したような垂直方向及び水平方向に限られるものではなく、例えば撮影範囲に斜め方向の直線成分が多い場合は、該方向と直交する方向について焦点状態の検出処理を行えばよい。なお、本実施形態ではより多くの被写体（直線成分）の焦点状態を評価できるように、撮影範囲の直線成分が多い方向と直交する方向について焦点状態の検出処理を行うものとして説明するが、本発明の実施はこれに限られるものではない。例えば主被写体についての焦点状態のみを検出したい場合は、主被写体の像が現れる領域における直線成分に基づいて焦点状態の検出処理を行う方向を決定してもよい。また、焦点状態の検出処理に係る演算量を削減したい場合は、直線成分が多い方向について焦点状態の検出処理を行うようにしてもよい。また、当然焦点状態の検出処理を行う方向は１方向に限定しなくてもよい。
【００２８】
このようにして焦点状態の検出処理を行う方向（検出方向）を決定すると、画像処理部１０３は、ＬＦデータから検出方向に並ぶ信号列（画素列）を抽出する。例えば図２（ｂ）のように２５の光電変換素子が１つのマイクロレンズ２０に割り当てられている場合、検出方向の５つの光電変換素子の出力である画素が、マイクロレンズアレイ１０８の該方向に並ぶマイクロレンズ２０の数だけ連結した画素列が抽出される。具体的には例えば検出方向が水平方向（図２のｘ方向）であった場合、図３に示されるように画素列には分割瞳領域３１ａ、３１ｂ、３１ｃ、３１ｄ、３１ｅを通過した光束に対応する画素が繰り返し現れる。図３において画素に付した参照番号はレンズ番号であり、マイクロレンズアレイ１０８のｘ方向において何番目のマイクロレンズ２０に対応付けられた画素であるかを示している。また、参照番号に付されたａ乃至ｅの文字は、画素に対応する光束の通過した分割瞳領域が３１ａ乃至ｅのいずれであるかを示している。なお、以下では該参照番号及び付加文字を用いるために、検出方向は水平方向であるものとして説明する。
【００２９】
画像処理部１０３は、このようにＬＦデータから抽出した検出方向の画素列を、同一の分割瞳領域を通過した光束の出力である画素が一列に並ぶように並び替え、図３のような２次元像３００を生成する。図３の２次元像３００では、マイクロレンズアレイ１０８において検出方向に現れるマイクロレンズ２０の順に該マイクロレンズを通過した光束に対応する画素が１方向に並ぶ。また、これと直交する方向には、対応する光束が通過した分割瞳領域が検出方向（と逆方向）の順になるように、各マイクロレンズ２０を通過した光束に対応する画素が並ぶ。即ち、図３に示されるように２次元像３００では、行方向には対応する光束が通過した分割瞳領域が異なる画素が並び、列方向には同一の分割瞳領域を通過した光束に対応する画素が、その光束が通過したマイクロレンズ２０が検出方向の順になるように並ぶ。
【００３０】
以下の説明では、図３における２次元像３００の右向きの方向、即ち対応する光束が通過した分割瞳領域ａ→ｅの方向を分割方向と呼ぶ。また、２次元像３００の垂直方向には、対応する光束が通過したマイクロレンズがマイクロレンズアレイ１０８上での検出方向の順となるように画素が並ぶが、以下の説明ではＬＦデータの検出方向と区別するために図３における上向き方向をレンズ位置方向と呼ぶ。即ち、２次元像３００では分割方向に瞳分割領域ａ、ｂ、ｃ、ｄ、ｅの順に画素が並び、レンズ位置方向にレンズ番号ｎ、ｎ−１、・・・、５、４、３、２、１の順に画素が並んでいる。なお、本実施形態の２次元像３００では、レンズ位置方向の正の方向をレンズ番号の増加と逆方向にとるが、これは後述の角度検出における角度正負方向の定義にあわせたことに依る。
【００３１】
本実施形態の画像処理部１０３は、このようにして生成した２次元像を用いて焦点状態を検出する。ここで、焦点状態によって２次元像がどのように変化するかを、図４を用いてさらに説明する。
【００３２】
検出方向と直交する方向に伸びる直線状のエッジを示す被写体に合焦した状態にある場合、該被写体の反射光に対応する光束は、どのような経路を通ってきたとしても、フォーカスレンズの焦点距離に位置する撮像面に収束することになる。例えば、合焦していたエッジが撮影後にＬＦデータから生成される再構成画像において、検出方向に１画素分の幅を持つ像となって現れる場合、エッジに対応する光束は、撮像面において検出方向に並んだマイクロレンズのうちの１つのマイクロレンズに収束する。そして光束は該マイクロレンズによって検出方向に並んだ光電変換素子に分離されて受光されることになるため、ＬＦデータから抽出された画素列から２次元像を生成すると、図４（ｂ）のようにエッジは分割方向に一直線に並ぶ。図４（ｂ）では、エッジによる輝度差（所定レベル以上の明画素と暗画素とのコントラスト）をわかりやすくするため、明画素を白、暗画素を黒で示している。図４（ｂ）に示されるように、エッジに合焦していた場合は２次元像においてレンズ位置方向の輝度の切り替わりが分割方向に平行なライン（直線）となって現れる。
【００３３】
一方、エッジを示す被写体に合焦する焦点距離がＬＦデータの撮影時のフォーカスレンズの焦点距離よりも短かった場合、該被写体の反射光に対応する光束は、撮像面よりも手前の焦点面に収束することになる。例えば、図４（ｄ）に示されるように、ＬＦデータを撮影した際のマイクロレンズアレイ面である撮像面４１０に対し、エッジを示す被写体に合焦する焦点距離に対応する焦点面４００がレンズ２００寄りに存在する場合を考える。このとき、エッジに対応する光束は焦点面４００において収束するが、その後さらに広がって撮像面４１０に至ることになる。理解を容易にするために焦点面４００の位置に仮想マイクロレンズ４０１を定義すると、図４（ｄ）の例では、該仮想マイクロレンズ４０１によって分離された光束は、撮像面４１０においてそれぞれ異なるマイクロレンズ４１１乃至４１５に入射することになる。即ち、エッジに対応する光束が仮想マイクロレンズ４０１に収束したとしても、撮像面４１０では１つのマイクロレンズのみに対応付けられた光電変換素子に受光される訳ではないため、２次元像ではエッジが図４（ａ）のように現れる。つまり、エッジに合焦せず、所謂後ピン状態にある場合は、２次元像においてレンズ位置方向の輝度の切り替わりは分割方向のラインではなく、分割方向と角度（極座標系で偏角がマイナス（０＞θ＞−π／２））をなす方向のラインとして現れる。
【００３４】
同様に、エッジを示す被写体に合焦する焦点距離がＬＦデータの撮影時のフォーカスレンズの焦点距離よりも長かった場合、該被写体の反射光に対応する光束は、撮像面よりも後方の焦点面に収束することになる。例えば、図４（ｄ）に示されるように、ＬＦデータを撮影した際のマイクロレンズアレイ面である撮像面４１０に対し、エッジを示す被写体に合焦する焦点距離に対応する焦点面４２０が撮像素子側に存在する場合を考える。このとき、エッジに対応する光束は焦点面４２０において収束するが、撮像面４１０においてはまだ収束していない状態である。理解を容易にするために焦点面４２０の位置に仮想マイクロレンズ４２１を定義すると、図４（ｄ）の例では、該仮想マイクロレンズ４２１によって分離される光束は、撮像面４１０においてそれぞれ異なるマイクロレンズ４１１乃至４１５に入射することになる。即ち、エッジに対応する光束が仮想マイクロレンズ４２１に収束する前の段階で、撮像面４１０の複数のマイクロレンズに対応付けられた光電変換素子にそれぞれ受光されるため、２次元像ではエッジが図４（ｃ）のように現れる。つまり、エッジに合焦せず、所謂前ピン状態にある場合は、２次元像においてレンズ位置方向の輝度の切り替わりは分割方向のラインではなく、分割方向と角度（極座標系で偏角がプラス（０＜θ＜π／２））をなす方向のラインとして現れる。
【００３５】
従って、本実施形態の画像処理部１０３は、ＬＦデータから抽出した検出方向の画素列を用いて２次元像を生成し、エッジに対応する画素によって該画像に現れる直線（同一属性の画素の並び）を検出することで、エッジの焦点状態を検出できる。即ち、画像処理部１０３は、ＬＦデータの撮影時にエッジは合焦状態であったか、または２次元像に現れる直線の傾きによって前ピン状態及び後ピン状態のいずれであったかを判定することができる。さらに、２次元像に現れる直線の傾きは、その合焦度合いを示しているため、画像処理部１０３は直線さえ検出できれば、相関演算を行うことなく焦点状態を検出することができる。これは、撮影面と焦点面との距離が離れれば収束するべき光束が、検出方向においてより分散（拡散）してマイクロレンズに入射することによるものである。
【００３６】
《焦点状態検出処理》
以下、本実施形態の画像処理部１０３において実行される焦点状態検出処理について、図５のフローチャートを用いて具体的な処理を説明する。なお、本焦点状態検出処理は、例えばデジタルカメラ１００が撮影モードにある状態で、レリーズボタンが半押し状態にされる等の撮影準備指示を受け付けた際に開始されるものとして説明する。
【００３７】
Ｓ５０１で、画像処理部１０３は、焦点状態の検出に係る検出方向を決定する。具体的には画像処理部１０３は、現在のフォーカスレンズの設定で撮像されて出力されたＬＦデータを取得し、再構成画像を生成する。そして画像処理部１０３は、生成した再構成画像について、例えば適切なフィルタを適用することで、水平方向及び垂直方向の直線成分の量を把握し、直線成分の量が少ない方向を検出方向に決定する。即ち、直線成分の量が多い方向と直交する方向を検出方向に決定する。
【００３８】
Ｓ５０２で、画像処理部１０３は、ＬＦデータから検出方向の画素列を抽出し、２次元像を生成する。２次元像は、上述したようにＬＦデータの検出方向に並んだ画素列を、マイクロレンズ単位で分断して検出方向と直交する方向に接続して生成する。なお、２次元像の生成に用いる画素列は、ＬＦデータのいずれの位置から取得してもよい。
【００３９】
Ｓ５０３で、画像処理部１０３は、輝度補正に係る処理を２次元像に適用する。撮像光学系２０２と撮像素子１０９との関係が理想的に構成される場合は問題とならないが、一般には像高（光軸からの距離）が離れた瞳領域を通過する光束には、レンズ枠等の遮蔽物（絞りは含まない）によって輝度が低下する、所謂ケラレが発生する。ケラレが発生した場合、輝度が低下することになり２次元像内の複数の画素が同一の被写体の像であるかを判断することが困難になるため、画像処理部１０３は輝度補正を行ってケラレによる輝度低下を低減する。
【００４０】
Ｓ５０４で、画像処理部１０３は、２次元像内に同一のエッジの像によって構成される画素を抽出するため、例えば所定の空間周波数を示す画素を抽出するフィルタ処理を適用する。フィルタの適用は、２次元像におけるレンズ位置方向に対して行われる。例えば２次元像が図６（ａ）のような明画素と暗画素の分布を示す場合、明画素と暗画素との切り替わりを示す空間周波数のみを抽出するフィルタを適用することで、図６（ｂ）のように切り替わりを示す画素（エッジ）のみを抽出することができる。
【００４１】
Ｓ５０５で、画像処理部１０３は、フィルタ適用後の画像から所定の空間周波数を示す画素により構成される直線及び該直線の傾きを検出する。なお、ここで検出する直線とは、再構成画像におけるエッジ成分が呈する直線を指すのではなく、２次元像として構成した際に、異なる分割瞳領域を通過した光束によりそれぞれ異なる位置に結像されたエッジの画素が、２次元像内に構成する直線を指す。また、直線の傾きとは、２次元像において分割方向に１画素移動した際に、レンズ位置方向にどれだけ離れた位置に同一のエッジの像を示す画素が現れるかを示している。
【００４２】
本ステップの処理は、２次元像において縦方向（検出方向におけるマイクロレンズの並びに画素が対応）には、分割瞳領域ごとに基本的には共通である被写体の明暗パターンが現れることによる。つまり、撮影時の焦点状態と、通過した分割瞳領域が異なることとによって被写体像が結像されるマイクロレンズの位置は異なりうるが、検出方向において現れる被写体像のパターンをみた場合は、分割瞳領域の各々では遮蔽関係の変化がない限り同様となる。従って、本実施形態の２次元像を生成した場合には、分割瞳領域ごとに同様のパターンがレンズ位置方向に並ぶため、撮影時の焦点状態によって該パターンが互いにずれたとしても同一のエッジに対応する像によって２次元像内に直線が現れる。
【００４３】
〈直線及び傾き検出〉
以下、本ステップにおいて行う直線成分の検出方法について、図を用いて詳細を説明する。本実施形態では画像処理部１０３は、２次元像における直線成分の検出を、ハフ変換を用いて検出する。ハフ変換は、画像の特徴抽出に用いられる変換手法の一つであり、例えば画像の特徴に最も合致する直線の検出に使用することができる。
【００４４】
Ｓ５０４においてなされたフィルタ処理により高周波成分を含むエッジに対応する画素のみが図６（ｂ）のように抽出されているため、画像処理部１０３はまず該抽出された画素を順番に選択して直線検出を行う。なお、以下の説明では２次元像に現れる直線の傾きは、分割方向を基準に考え、検出された直線が分割方向から反時計回りの方向に傾いた状態にある場合は正の傾きを有し、時計回りの方向に傾いた状態にある場合は負の傾きであるとする。
【００４５】
ここで、２次元像中に現れた直線６００について、その直線及び傾き検出の方法を例示する。まず、図６（ｂ）の（分割方向，レンズ位置方向）＝（ａ，７）の座標に存在する画素６０１に着目した場合に、画像処理部１０３は該画素を通過する全ての直線を考慮し、各直線が特定の分割方向の座標で通過するレンズ位置方向の座標に投票を行う。具体的には画像処理部１０３は、傾きを順に変更しながら画素６０１を通過する直線を規定していき、例えば中央の分割瞳領域に対応する分割方向ｃの座標において該直線が通過するレンズ位置方向の座標に投票を行う。これにより、分割方向ｃの座標における画素６０１を通過しうる直線の分布を特定することができる。例えば、画素６０１を通過する直線の傾きが０であった場合は分割方向ｃの座標において（ｃ，９）を通過し、傾きが＋１であった場合は分割方向ｃの座標において（ｃ，５）を通過し、傾きが−１であった場合は分割方向ｃの座標において（ｃ，９）を通過する。従って、傾きとレンズ位置方向の座標との関係を示す図６（ｃ）のような分布図に画素６０１を通過しうる直線の分布を示すと、（傾き，レンズ位置方向）＝（０，７）、（１，５）、（−１，９）を通過する直線６１１のようになる。従って、画像処理部１０３は該直線６１１が通過したビン（分布における各マス目）に投票を行うことになる。
【００４６】
次に、図６（ｂ）の（ｂ，８）の座標に存在する画素６０２に着目した場合に、画像処理部１０３は同様に画素６０２を通過する全ての直線について、分割方向ｃの座標において該直線が通過するレンズ位置方向の座標に投票を行う。例えば、画素６０２を通過する直線の傾きが０であった場合は分割方向ｃの座標において（ｃ，８）を通過し、傾きが＋１であった場合は分割方向ｃの座標において（ｃ，７）を通過し、傾きが−１であった場合は分割方向ｃの座標において（ｃ，９）を通過する。従って、図６（ｃ）の傾きとレンズ位置方向の座標との関係を示す分布図において、画素６０２を通過しうる直線の分布を示すと、（傾き，レンズ位置方向）＝（０，８）、（１，７）、（−１，９）を通過する直線６１２のようになる。従って画像処理部１０３は、該直線６１２が通過したビンにも同様に投票を行う。
【００４７】
直線６００として現れている、エッジに対応する画素６０３、画素６０４、画素６０５についても、傾きとレンズ位置方向の座標との関係を示す分布図に直線６１３、直線６１４、直線６１５をそれぞれ定義してビンに投票を行う。これにより、直線６００として現れている全ての画素について画像処理部１０３が投票を行った結果、分布図のビンのうち、直線６１１乃至６１５が重複する（傾き，レンズ位置方向）＝（−１，９）が最多投票（ピーク）となる。これは、直線６００上の各画素を通過する様々な傾きの直線のうち、直線６００に対応する傾きの直線のみが全画素共通で通過する直線となるからである。従って、このような投票結果により、画像処理部１０３は、直線６００が（ｃ，９）を通る傾き−１の直線であることを検出できる。
【００４８】
また画像処理部１０３は図６（ｂ）の直線６２０及び６３０についても同様に投票を行う。そして、最多投票となった（傾き，レンズ位置方向）＝（−１，３）、（−１，１２）から、それぞれ（ｃ，３）を通る傾き−１の直線、（ｃ，１２）を通る傾き−１の直線であることを検出できる。
【００４９】
このようにして直線及び該直線の傾きを検出した後、画像処理部１０３はＳ５０６で、各直線の傾きの情報を、各直線に対応するエッジの像のデフォーカス量に変換して出力し、本焦点状態検出処理を完了する。デフォーカス量は、従来の位相差に基づく焦点検出システムで用いられているような位相差に変換して出力する場合は、傾きに相当する射影角度θを用いて
Δｐ＝ｔａｎθ
として算出すればよい。ここで、Δｐは隣接する分割瞳領域間での像の位相差を示しており、単位はピクセルである。なお、ピクセルはＬＦデータから生成された画像におけるピクセルを示しており、撮像素子の画素ピッチとは異なる。また、デフォーカス量はこのような予め定められた変換式に基づいて傾きの値から算出される構成に限らず、例えば撮像光学系２０２に併せて予め用意された、直線の傾きとデフォーカス量との関係を示すテーブルを参照することにより取得されてもよい。
【００５０】
本焦点状態検出処理により出力されたデフォーカス量の情報は、例えばカメラ制御部１０１に伝送され、カメラ制御部１０１は該情報をもとにエッジに対応する特定の被写体に合焦させるためのフォーカスレンズの駆動量をレンズ駆動部２０３に伝送する。
【００５１】
このように、本実施形態のデジタルカメラ１００では、ＬＦデータを使用することで、計算量の多い相関演算を行うことなく、被写体の焦点状態を容易に検出することができる。また本実施形態に示したようなハフ変換における投票を用いてデフォーカス量を取得する手法を採用する場合、たとえ撮影時においてノイズの影響によりエッジが適切に撮影されなかったとしても、安定して好適なデフォーカス量を取得することができる。即ち、２つの画像の相関演算を行う場合よりも、本手法は２次元像においてエッジにより現れる直線の傾きを検出する際にサンプリング数を多くすることができる。従って、ノイズの影響により傾きが誤検出される画素があったとしても、そのような傾きは投票数が少なくなるため排除することができ、結果的にノイズを影響を受けていない画素により定められた、精度の高いデフォーカス量を取得することができる。
【００５２】
《遮蔽関係にある複数の被写体が存在する場合の適用例》
上述した焦点状態検出処理の説明においては、検出対象となる被写体は他の被写体により遮蔽されない、撮影環境の深度方向において焦点状態の検出対象である被写体が１体である例について説明したが、本発明はこれに限られるものではない。以下、複数の被写体が撮影環境の深度方向の異なる位置に存在（所謂遠近競合）し、遮蔽が生じるような場合に、本発明を適用した際の処理の例を図７を用いて説明する。
【００５３】
図７（ｄ）に示されるように、撮像光学系２０２から見た深度方向において、手前から被写体７０１、被写体７０２、被写体７０３（図示した範囲の外に存在する）が並んでいる状況を考える。このとき、上述したように例えば水平方向を検出方向として設定し、ＬＦデータから抽出された画素列を変形すると、例えば図７（ａ）のような２次元像が得られる。図７（ａ）では、図６（ａ）と同様に被写体の像に対応する画素を明画素及び暗画素として示しているが、明画素は各被写体の輝度に合わせてハッチングを異ならせて示した。レンズ位置方向の負の方向（マイクロレンズの番号が増加する方向）は、図７（ｄ）に示される撮影範囲の右から左に向かう方向に相当するため、図７（ｄ）において１番右に配置された被写体７０２が図７（ａ）の画素群７１２に対応している。また同様に、図７（ｄ）において左方向に進んで次に現れる被写体７０１は図７（ａ）の画素群７１１に対応しており、図７（ｄ）において１番左に配置された最遠方の被写体７０３は図７（ａ）の画素群７１３に対応している。
【００５４】
このように得られた２次元像に対して上述のフィルタ処理を適用すると、図７（ｂ）のようにレンズ位置方向における明画素と暗画素の切り替わりを示す画素（エッジ）のみが抽出される。図７（ｂ）では、各被写体のエッジ成分が現れているが、それぞれ同一のエッジに対応する画素で構成される直線の傾きが異なっていることが理解されよう。図７（ｂ）の例では被写体７０２に合焦した状態でＬＦデータが撮影されており、２次元像において被写体７０２のエッジに対応する画素群７２２が分割方向に平行な直線として現れている。一方で、被写体７０１については所謂後ピン状態となっているため、被写体７０１のエッジに対応する画素群７２１ａ及びｂは２次元像において負の傾きを有する直線として現れている。また被写体７０３については所謂前ピン状態となっているため、被写体７０３のエッジに対応する画素群７２３ａ及びｂは２次元像において正の傾きを有する直線として現れている。
【００５５】
画像処理部１０３は、このように検出された画素群７２１乃至７２３の各画素を選択しながらハフ変換における投票を行い、図７（ｃ）に示すような分布図を生成することで、各画素群に対応する直線の傾きを単一被写体の場合と同様に取得することができる。なお、図７（ｃ）においては２次元像に現れたエッジによる画素群のそれぞれに対する投票の結果、ビン７３１、７３２、７３３、７３４、及び７３５がそれぞれ最多投票となっている。該ビンには他のビンとの比較を目的としてハッチングを付したが、ハッチングの濃淡は、特にビン７３１、７３４、及び７３５が被写体のコントラストが低いエッジに対応していることに依る。
【００５６】
従って、画像処理部１０３は、撮影範囲に含まれる被写体の各々についてデフォーカス量を生成して出力することができるため、カメラ制御部１０１は該情報に基づいて、合焦すべき被写体に合焦するよう、レンズ駆動部２０３への制御信号を出力すればよい。
【００５７】
なお、検出された直線のうちのいずれの直線に対応する被写体に合焦させるかは、例えば以下のように判断してよい。ひとつの方法として、図７（ｃ）において最大の値を持つビンの被写体を合焦させる被写体として選択する方法が考えられる。この場合、最もコントラストの高いエッジを有する被写体に合焦させることがことができる。つまり図７（ｃ）の例では、ビン７３２または７３３が選択され、被写体７０１に合焦される。
【００５８】
別の方法としては、図７（ｃ）において投票値が上位数個のビンを選択してレンズ位置方向に加算をした後に（傾きごとの値に変換して）、最大の値を有する傾きを選択する方法が考えられる。このようにするとコントラストの高い被写体にピントを合わせることが可能となる。図７（ｃ）の例ではビン７３２とビン７３３を加算した傾き−１が選択され、被写体７０１に合焦する。
【００５９】
さらに別の方法としては、図７（ｃ）において上位数個のビンを選択してレンズ位置方向に加算した後に（傾きごとの値に変換して）、被写体が手前にある側から極値をサーチする方法が考えられる。これは手前の被写体７０１に優先してピントを合わせたい場合に有効となる。図７（ｃ）の例ではビン７３４とビン７３５を加算した角度＋１が選択され、最遠方の被写体７０３に合焦する。
【００６０】
また、本実施形態ではＬＦデータから抽出した画素列を使用して２次元像を生成し、画素列に現れる高周波成分の像のデフォーカス量を検出する方法について説明したが、本発明の実施はＬＦデータから抽出した画素列に限られるものではない。上述したように、ＬＦデータは、分割瞳領域の各々を通過した光束により結像された、光軸の異なる画像群を記録していることと等価である。従って、同一の被写体を撮影した多眼カメラの出力画像群についても、本発明を適用することができる。即ち、多眼カメラの出力画像群のうち、少なくとも決定された検出方向にのみ視差を有する関係にある画像の各々から抽出した画素列を、レンズ位置方向に展開し、光学系の位置関係に併せて分割方向にそれらを並べることで上述の２次元像を生成できる。このとき、それぞれの画像から抽出した画素列は、光学系の位置関係に合わせて各画像を配置した場合に、検出方向に伸びる同一直線上の画素の並びである。これにより同一の被写体について、検出方向に並ぶ光学系で撮影された画像間における像ずれ量を相関演算を行うことなしに把握することができ、光学系の位置関係と合わせて該被写体の被写体距離を特定することができる。なお、本実施形態で説明した２次元像を用いる画像間の相関を把握する手法は、その信頼度を保つためには、少なくとも検出する直線について視差を有する関係にある３つの画像から２次元像を生成することが好ましい。
【００６１】
このように本発明は、光軸が異なり、視差を有する関係にある画像群から取得した画素列を用いて２次元像を生成することで、複雑な相関演算を行うことなく単純な直線検出の処理によりエッジのデフォーカス量あるいは被写体距離を特定することができる。即ち、本発明の手法は、従来の１対の信号（視差の異なる２つの信号）から相関演算により相関を求める手法に比べ、より多くの信号をサンプルとして一度に扱えるため、ガウス分布に従う誤差（例えば熱的な雑音）等に対してより好適な結果を得ることができる。つまり、サンプル数が多いため、ノイズ等の影響を受けた画素が存在していたとしても該画素の影響を低減することができるため、従来の手法に比べて演算結果のロバスト性に優れている。従って、撮影環境が暗く、センサ出力のＳ／Ｎ比が良好でない状態であっても、好適な焦点状態の検出結果を得ることができる。
【００６２】
以上説明したように、本実施形態の画像処理装置は、良好な精度で高速に焦点状態を検出することができる。具体的には画像処理装置は、画像群から、所定の方向に視差を有する関係にある複数の画像を取得し、該複数の画像の各々から、所定の方向に延びる画素列であって、対応する空間位置を撮影した画素列を抽出する。そして抽出した複数の画素列を、複数の画像の各々を撮影した、所定の方向における位置関係に応じて配置した２次元像を生成し、該２次元像に含まれる、同一の被写体に対応する画素によって構成される直線を検出する。画像処理装置は、該検出した直線の傾きから同一の被写体の被写体距離を特定する。
【００６３】
［変形例］
上述した実施形態では、ＬＦデータを撮影出力可能なデジタルカメラ１００に本発明を適用した例について説明したが、本発明の適用はこれに限られるものではない。例えば、図８（ａ）に示すようにデジタルカメラ１００からＬＦデータを取得し、再構成画像を生成して表示装置８０１に表示させることが可能なＰＣ等の情報処理装置８００にも本発明は適用可能である。
【００６４】
《表示装置８０１の表示態様》
本変形例において、情報処理装置８００のＣＰＵはデジタルカメラ１００から取得したＬＦデータから再構成画像を生成し、表示装置８０１に出力して表示させる。図８（ｂ）及び（ｃ）は、表示装置８０１に表示される画像（ウィンドウ）示しており、それぞれ深度方向の異なった位置に存在する被写体に合焦した画像を示している。
【００６５】
ＣＰＵは、再構成画像が表示装置８０１に表示されている場合に、再構成画像上の領域に対するユーザの指示入力がなされたことを受け付けると、該領域に現れる被写体に合焦させた再構成画像を新たに生成して表示装置８０１に表示させるよう動作する。
【００６６】
例えばＬＦデータの撮影時、ユーザが被写体８２０に合焦させた状態で撮影を行うことを所望していたが、予期せず被写体８３０に合焦した焦点状態となりＬＦデータを撮影がなされてしまった場合を考える。このとき、ＬＦデータから撮影時の焦点距離に対応した再構成画像を生成すると、図８（ｂ）のようになり、被写体８２０の像は、コントラストが低く低品位の像となっている。このような再構成画像が表示装置８０１に表示されている場合に、ユーザが被写体８２０の像が存在する領域を指定する操作を行うと、ＣＰＵは、例えば図８（ｄ）に示すフローチャートの処理を実行し、被写体８２０に合焦した再構成画像を生成する。なお、以下の説明では、上述の検出方向は再構成画像の水平方向であるものとして説明する。
【００６７】
Ｓ８４１で、ＣＰＵは、ＬＦデータから少なくとも検出方向のみの視差を有する関係にある指定された領域を含む画像の画素列を読み出し、２次元像を生成する。そしてＣＰＵは、２次元像についてフィルタ処理、直線検出処理、角度検出処理を行って、被写体８２０に対応する像による直線の傾きの情報を取得する。さらにＣＰＵは、該傾きの情報から相関が最大となる焦点距離、即ち傾きが０なる（分割方向に平行なライン）となる焦点距離位置を特定する。
【００６８】
Ｓ８４２で、ＣＰＵは、特定した焦点距離に対応する面についてＬＦデータから再構成画像を生成し、Ｓ８４３で生成した画像を表示装置８０１に伝送して表示させる。
【００６９】
このようにすることで、表示装置８０１には、被写体８２０に合焦した図８（ｃ）のような再構成画像が表示される。上述したように、本発明の手法によれば複雑な相関演算を行うことなく、簡易的な処理でデフォーカス量等の画像間の相関を取得できる。
【００７０】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015122588.tif 000003
【図２】
2015122588.tif 000004
【図３】
2015122588.tif 000005
【図４】
2015122588.tif 000006
【図５】
2015122588.tif 000007
【図６】
2015122588.tif 000008
【図７】
2015122588.tif 000009
【図８】
2015122588.tif 000010