(57)【要約】【課題】レンズ駆動をすることなく高精度かつ高速なコントラストＡＦを実現すること。【解決手段】撮影レンズを含む撮影光学系で形成される被写体光の強度分布と角度情報を与える画素データを取得して焦点検出を行う焦点検出システムは、画素データから、画像再構成位置における再構成画像を生成する画像生成手段と、再構成画像の単位画素を生成するために加算される画素データの数の最小値に従って、再構成画像の単位画素を更新する加算制御手段と、更新された単位画素を用いて、再構成画像のコントラスト評価値を生成するコントラスト評価手段と、異なる画像再構成位置で生成された再構成画像のコントラスト評価値に基づいて、被写体光の焦点位置を検出するピント評価手段を備える。【選択図】図１
2015025960.tif 000002
【特許請求の範囲】
【請求項１】
撮影レンズを含む撮影光学系で形成される被写体の光学像の強度分布と角度情報を与える画素データを取得して焦点検出を行う焦点検出システムにおいて、
前記画素データから、画像再構成位置における再構成画像を生成する画像生成手段と、
前記再構成画像の各単位画素を生成するために加算される画素データの数を検出して保持する保持手段と、
前記保持された加算数の最小値を検出し、前記再構成画像の単位画素を、前記最小値に従って更新する加算制御手段と、
更新された単位画素を用いて、前記再構成画像のコントラスト評価値を生成するコントラスト評価手段と、
異なる画像再構成位置で生成された再構成画像の前記コントラスト評価値に基づいて、前記被写体の光学像の焦点位置を検出するピント評価手段と、
を備えたことを特徴とする焦点検出システム。
【請求項２】
前記加算制御手段は、前記画素データを画像再構成位置に従って単位画素毎に加算する際に、前記単位画素を生成するために加算される画素データの数が前記最小値より大きくなる単位画素では、前記最小値が検出された単位画素で加算された画素データの前記角度情報に対応する瞳領域の画素データを選択して加算することで単位画素を更新することを特徴とする請求項１に記載の焦点検出システム。
【請求項３】
前記画像生成手段は、前記画像再構成位置の範囲および間隔を設定する設定手段を有し、前記加算制御手段は、前記画像再構成位置の間隔に従って加算のオン、オフを切り替えることを特徴とする請求項１又は２に記載の焦点検出システム。
【請求項４】
前記コントラスト評価手段は、再構成画像のフィルタリング手段を有し、前記画像再構成位置の間隔に従って前記フィルタリング手段の特性を変更することを特徴とする請求項３に記載の焦点検出システム。
【請求項５】
前記画像生成手段は、前記画像再構成位置に従って前記画素データのシフト量を決定し、前記シフト量に従って画素データを重み付けして加算することにより前記出力単位画素を生成することを特徴とする請求項１乃至４のいずれか一項に記載の焦点検出システム。
【請求項６】
前記コントラスト評価手段は、前記コントラスト評価値を生成する評価位置を再構成画像に設定する設定手段をさらに備えることを特徴とする請求項１乃至５のいずれか一項に記載の焦点検出システム。
【請求項７】
撮影レンズを含む撮影光学系で形成される被写体の光学像の強度分布と角度情報を与える画素データを取得して焦点検出を行う焦点検出システムにおいて、
前記再構成画像の各単位画素を生成するために加算される画素データの数が等しくなるように、前記画素データから、画像再構成位置における再構成画像を生成する画像生成手段と、
前記再構成画像のコントラスト評価値を算出する算出手段と、
異なる画像再構成位置で生成された再構成画像の前記コントラスト評価値に基づいて、前記被写体の焦点位置を検出するピント評価手段と、
を備えたことを特徴とする焦点検出システム。
【請求項８】
撮影レンズを含む撮影光学系と、
前記撮影レンズの瞳分割を行う瞳分割手段と、
前記撮影光学系と瞳分割手段によって形成された被写体の光学像を光電変換して画素データを生成する撮像手段と、
前記画素データから、画像再構成位置における再構成画像を生成する画像生成手段と、
前記再構成画像の単位画素を生成するために加算される画素データの数を検出して保持する保持手段と、
前記保持された加算数の最小値を検出し、前記再構成画像の単位画素を、前記最小値に従って更新する加算制御手段と、
更新された単位画素を用いて、前記再構成画像のコントラスト評価値を生成するコントラスト評価手段と、
異なる画像再構成位置で生成された再構成画像の前記コントラスト評価値に基づいて、前記被写体の光学像の焦点位置を検出するピント評価手段と、
前記検出された焦点位置に従って前記撮影光学系を制御する焦点調節手段を
備えることを特徴とする撮像装置。
【請求項９】
撮影レンズを含む撮影光学系で形成される被写体の光学像の強度分布と角度情報を与える画素データを取得して焦点検出を行う焦点検出方法において、
前記画素データから、画像再構成位置における再構成画像を生成する画像生成ステップと、
前記再構成画像の単位画素を生成するために加算される画素データの数を検出して保持する保持ステップと、
前記保持された加算数の最小値を検出し、前記再構成画像の単位画素を、前記最小値に従って更新する加算制御ステップと、
更新された単位画素を用いて、前記再構成画像のコントラスト評価値を生成するコントラスト評価ステップと、
異なる画像再構成位置で生成された再構成画像の前記コントラスト評価値に基づいて、前記被写体の光学像の焦点位置を検出するピント評価ステップと、
を備えたことを特徴とする焦点検出方法。
【請求項１０】
撮影レンズを含む撮影光学系で形成される被写体の光学像の強度分布と角度情報を与える画素データを取得して焦点検出を行う焦点検出方法において、
前記再構成画像の各単位画素を生成するために加算される画素データの数が等しくなるように、前記画素データから、画像再構成位置における再構成画像を生成する画像生成ステップと、
前記再構成画像のコントラスト評価値を算出する算出ステップと、
異なる画像再構成位置で生成された再構成画像の前記コントラスト評価値に基づいて、前記被写体の焦点位置を検出するピント評価ステップと、
を備えたことを特徴とする焦点検出方法。
【請求項１１】
撮影レンズを含む撮影光学系で形成される被写体の光学像の強度分布と角度情報を与える画素データを取得して焦点検出を行う焦点検出システムを制御するプログラムであり、
コンピュータを、
前記画素データから、画像再構成位置における再構成画像を生成する画像生成手段、
前記再構成画像の単位画素を生成するために加算される画素データの数を検出して保持する保持手段、
前記保持された加算数の最小値を検出し、前記再構成画像の単位画素を、前記最小値に従って更新する加算制御手段、
更新された単位画素を用いて、前記再構成画像のコントラスト評価値を生成するコントラスト評価手段、
異なる画像再構成位置で生成された再構成画像の前記コントラスト評価値に基づいて、前記被写体の光学像の焦点位置を検出するピント評価手段、
として機能させるプログラム。
【請求項１２】
撮影レンズを含む撮影光学系で形成される被写体の光学像の強度分布と角度情報を与える画素データを取得して焦点検出を行う焦点検出システムを制御するプログラムであり、
コンピュータを、
前記再構成画像の各単位画素を生成するために加算される画素データの数が等しくなるように、前記画素データから、画像再構成位置における再構成画像を生成する画像生成手段、
前記再構成画像のコントラスト評価値を算出する算出手段、
異なる画像再構成位置で生成された再構成画像の前記コントラスト評価値に基づいて、前記被写体の焦点位置を検出するピント評価手段、
として機能させるプログラム。
【請求項１３】
請求項１１または１２のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
【請求項１４】
コンピュータを、請求項１乃至７のいずれか一項に記載された焦点検出システムの各手段として機能させるプログラム。
【請求項１５】
コンピュータを、請求項１乃至７のいずれか一項に記載された焦点検出システムの各手段として機能させるプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラに代表される撮像装置に適用可能な焦点検出システムに関し、特にライトフィールドデータを用いたオートフォーカス（以下ＡＦ）のための焦点検出システムおよび焦点検出方法に関する。
【背景技術】
【０００２】
従来、ピント調整のためのオートフォーカス装置として、デジタル一眼レフカメラはいわゆる位相差ＡＦを、デジタルコンパクトカメラはコントラストＡＦを備えた装置が一般的である。これらのＡＦの特徴として、コントラストＡＦは厳密なピント合わせが可能であるが、像の取得の際にレンズ駆動を必要とするため、ＡＦ処理が位相差ＡＦに比べて遅いという欠点があった。
【０００３】
また、近年は「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いた撮像装置（Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａ）が提案されている。この撮像装置は従来の撮影光学系に加えてマイクロレンズアレイを設けることで、撮像素子から得られるデータが（ライトフィールドデータ）、受光面における光の強度分布に加えて光線の角度情報をも含む。この情報に基づいて任意の視点や方向の画像を再構成できるようになっている。
【０００４】
例えば、特許文献１では、瞳分割によって撮像素子から得られた情報を用いてレンズ駆動をすることなく像の再構成によってコントラストＡＦを行う方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２５８６１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された従来技術では、複数のＬｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａの光学構成のうち１例について像の再構成によるコントラストＡＦ方法が述べられているが、この手法をそのまま他の光学構成に適用しても、像の再構成及び像の再構成によるピント合わせが十分高精度に行うことが出来ない場合がある。
【０００７】
そこで、本発明の目的は、図７（ｂ）や（ｃ）の光学構成を用いて得たライトフィールドデータを用いた再構成によるコントラストＡＦにおいて起こる精度低下の問題を解決することである。特に、上記問題の解決により、高速かつ高精度なコントラストＡＦの実現を可能にする焦点検出システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明によれば、撮影レンズを含む撮影光学系で形成される被写体の光学像の強度分布と角度情報を与える画素データを取得して焦点検出を行う焦点検出システムは、画素データから、画像再構成位置における再構成画像を生成する画像生成手段と、再構成画像の単位画素を生成するために加算される画素データの数を検出して保持する保持手段と、保持された加算数の最小値を検出し、再構成画像の単位画素を、最小値に従って更新する加算制御手段と、更新された単位画素を用いて、再構成画像のコントラスト評価値を生成するコントラスト評価手段と、異なる画像再構成位置で生成された再構成画像のコントラスト評価値に基づいて、被写体の光学像の焦点位置を検出するピント評価手段とを備える。
【発明の効果】
【０００９】
本発明によれば、レンズ駆動をすることなく高精度かつ高速にＡＦを行うことを可能にした撮像装置を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例に係る焦点検出システムを適用した撮像装置のシステム構成を示す図
【図２】本発明の実施例の撮像装置の光学系に瞳分割を模式的に示す図
【図３】本発明の実施例に係る焦点検出システムの焦点検出動作のフローチャートを示す図
【図４】画像の再構成方法を説明するための図
【図５】複数の位置での画像の再構成方法を説明するための図
【図６】本発明の実施例に係る焦点検出システムにおける加算領域制御を説明するための図
【図７】Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａの光学系の構成を模式的に示す図
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１２】
以下、図１から図７を参照して、本発明の第１の実施例に係る焦点検出システムを、それを適用した撮影装置を例にして説明する。
【００１３】
図１は撮影装置１００であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。撮像装置１００は、カメラ１０１およびレンズ１０２からなるカメラシステムであり、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系１０３  、撮像素子１０６を含み、画像処理系は、画像処理部１０７を含む。また、記録再生系は、メモリ部１０８、表示部１０９を含み、制御系は、カメラシステム制御部１０５、操作検出部１１０、およびレンズシステム制御部１１２、レンズ駆動部１１３を含む。レンズ駆動部１１３は、焦点調節のために焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。
【００１４】
撮像系は、物体からの光(被写体の光学像)を、撮影レンズを有する撮影光学系１０３を介して撮像素子１０６の撮像面に結像する光学処理系である。撮像素子１０６表面(受光面)にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下  ＭＬＡ）を形成している。ＭＬＡは本実施例において、瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図２を用いて後述する。後述するように、撮像素子１０６の出力信号からピント評価量／適当な露光量が得られるので、この信号に基づいて適切に撮影光学系１０３が調節されることで、適切な光量の物体光を撮像素子１０６に露光するとともに、撮像素子１０６の近傍で被写体像が結像する。
【００１５】
画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス部、ガンマ補正部、補間演算部等を有しており、記録用の画像を生成することができる。また、本発明の要部である、現像部、コントラスト評価部、相関計算部等を含めることもできる。本実施例ではこれらの要素はカメラシステム制御内に焦点検出システムとして配置する場合を想定して記載する。
【００１６】
メモリ部１０８は実際の記憶部に加えて記録に必要な処理部を備えている。メモリ部は、記録部へ出力を行うとともに、表示部１０９に出力する像を生成、保存する。また、メモリ部１０８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００１７】
カメラシステム制御部１０５は、撮像の際のタイミング信号などを生成して出力するとともに、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１１０が検出して、撮像素子１０６の駆動、画像処理部１０７の動作、メモリ部１０８の圧縮処理などを制御する。さらに表示部１０９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。
【００１８】
制御系の撮影光学系の調節動作について説明する。カメラシステム制御部１０５には画像処理部１０７が接続されており、撮像素子１０６からの信号に基づいて撮影に適切な焦点位置、絞り位置を求める。カメラシステム制御部１０５は、電気接点１１１を介してレンズシステム制御部１１２に指令を出し、レンズシステム制御部１１２はレンズ駆動部１１３を適切に制御する。さらにレンズシステム制御部１１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動部１１３を介してブレ補正レンズを適切に制御する。
【００１９】
ここで、Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａで提案されている複数のマイクロレンズの配置方法を図７を用いて説明する。図７において、１０６は撮像素子を、２２０はＭＬＡを、２３１から２３５は瞳領域を、７５１は被写体平面を、７５１ａ，７５１ｂは被写体上の適当な点を、７５２は撮影光学系の瞳平面を示している。図７（ｂ）および７（ｃ）に示した１０６ａは仮想的な撮像素子を、２２０ａは仮想的なＭＬＡを示している。これらは、図７（ａ）との対応関係を明確にするための参考として示した。図７（ａ）の例では、撮影光学系１０３の結像面近傍にＭＬＡ２２０を配置することで、撮像素子１０６と撮影光学系の瞳平面７５２が共役の関係にある。図７（ｂ）の例では、ＭＬＡ２２０で撮影光学系１０３からの光束を結像させ、その結像面に撮像素子１０６を設ける。このように配置することで、被写体平面７５１と撮像素子１０６は共役の関係にある。被写体上の点は、瞳平面上の通過領域によって、撮像素子の異なる位置にそれぞれ結像される。図７（ｃ）の例では、ＭＬＡ２２０で撮影光学系１０３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子１０６を設ける。このように配置することで、被写体平面７５１と撮像素子１０６は共役の関係にある。
【００２０】
図７（ａ）は、Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａの光学構成の一例であり、図７（ｂ）と（ｃ）はその他のＬｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａの光学構成の例である。どの光学構成でも図７（ａ）と同様にＬｉｇｈｔ  Ｆｉｅｌｄの情報を取得することが出来るが、像の再構成方法が異なる。
【００２１】
すなわち、特許文献１では、図７（ｃ）のＬｉｇｈｔ  Ｆｉｅｌｄ光学系の像の再構成によるコントラストＡＦ方法は開示されているが、図７（ｂ）および（ｃ）の光学構成でのコントラストＡＦについては十分に述べられていない。図７（ｂ）および（ｃ）の光学構成では、ある焦点面内の画像をリフォーカスにより生成する場合に、通常通りにリフォーカスの演算を行い、画素をシフトして加算していくと、面内で加算画素数に違いが出てくる為、加算後に得られる画像がボケ具合などの異なる画像が生成されてしまい、AFなどの評価値を取る際に誤判別をする可能性がある。そこで、本実施形態では、図７（ｂ）や（ｃ）の光学構成を用いて得たライトフィールドデータを用いた再構成によるコントラストＡＦでは、１つの再構成画像内で単位画素毎の加算画素数が略等しくなるようにリフォーカスを行って得られる再構成画像を用いてコントラストＡＦを行うことを特徴とする。
【００２２】
図２は、本実施例における撮影光学系の要部を説明するための図である。本発明の焦点検出システムを適用するためには、いわゆる光線空間情報（ライトフィールドデータ）等といわれる光線の位置（強度分布）に加えて角度の情報を含む画素データを取得する必要がある。本実施例では、角度情報の取得のために撮影光学系１０３の結像面近傍にＭＬＡ２００を配置するとともに、ＭＬＡ２００を構成する１つのレンズに対して複数の画素を対応させている。
【００２３】
図２（ａ）は撮像素子１０６とＭＬＡ２００の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡの対応を模式的に示す図である。図２（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。
【００２４】
図２（ａ）に示すように撮像素子１０６上にはＭＬＡ２００が設けられており、ＭＬＡ２００の前側主点は撮影光学系１０３の結像面の近傍になるように配置されている。図２（ａ）は撮影装置の横からと、正面からＭＬＡを見た図であり、撮影装置正面から見るとＭＬＡ２００のレンズが撮像素子１０６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡ２００を構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズ２２０は画素の数倍程度の大きさしかない（実際の大きさについては図２（ｂ）を用いて説明する）。
【００２５】
図２（ｂ）は図２（ａ）の装置正面からの図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子１０６の各画素を示している。一方、ＭＬＡ２００を構成する各マイクロレンズは太い円２２０ａ，２２０ｂ，２２０ｃ，２２０ｄで示した。図２（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、１２行ｘ１２列＝１４４個の画素が１つのマイクロレンズに対して設けられている。すなわち各マイクロレンズの大きさは画素の大きさの１２倍ｘ１２倍の大きさである。
【００２６】
図２（ｃ）は撮像素子１０６を、マイクロレンズ２２０の光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２２１、２２２、２２３、２２４、２２５等の長方形部分は撮像素子１０６の画素（１つの光電変換部）を示している。図中Δｘは画素のピッチを示している。一方、図２（ｃ）の上方に示した図は撮影光学系１０３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向（ｙ方向）になるが、説明のために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。
【００２７】
図２（ｃ）の画素２２１、２２２、２２３、２２４、２２５は、図２（ｂ）の画素２２１ａ、２２２ａ、２２３ａ、２２４ａ、２２５ａとそれぞれ対応する位置関係にある。図２（ｃ）の例では画素２２１と領域２３１が、画素２２２と領域２３２が、画素２２３と領域２３３が、画素２２４と領域２３４、画素２２５と領域２３５がそれぞれ対応している。すなわち画素２２１には撮影光学系１０３の射出瞳面上の領域２３１を通過した光束の情報が入射する。他の画素も同様である。結果として、瞳面上での光線の通過領域と撮像素子１０６上の受光領域との位置関係から角度の情報を取得することが可能となる。また、現像時に出力される画像の各画素（単位画素）はこの角度情報を積分した形で表される。図２（ｃ）の例では一マイクロレンズ下に１２×１２＝１４４個の撮像素子が配置されているので撮像面では１２×１２＝１４４個のセンサの情報を加算して出力時の単位画素を形成する。本文中では、この角度情報が積分された出力時の一画素を出力単位画素と呼ぶ。
【００２８】
本実施例の撮影光学系を利用して、撮像素子１０６の信号からピント評価値(ピント位置)を得る処理について図３を用いて説明する。
【００２９】
図３は、本実施例に係る焦点検出システムがピント評価値を得るために実行する動作のフローチャートを示す図である。本フローチャートに従った焦点検出動作は、カメラシステム制御部１０５のＣＰＵが、図示しないメモリに記憶されているプログラムを実行して、撮像装置の各部を制御することで実現される。
【００３０】
図３（ａ）はピント評価値を得る動作全体のフローチャートを、図３（ｂ）は画像生成動作のフローチャートを、図３（ｃ）は加算制御動作のフローチャートをそれぞれ示す。また、図３（ｄ）はコントラスト評価値計算動作のフローチャートを、図３（ｅ）はピント評価動作のフローチャートをそれぞれ示す。これらの動作を、図３（ａ）から各ステップ順に説明する。
【００３１】
ステップＳ３０１はピント評価値取得動作の開始を示している。例えば、図１の操作検出部１１０が撮影者による特定の動作（例えばレリーズボタンの押下）を検出した時などが該当する。
【００３２】
ステップＳ３０２では、カメラシステム制御部１０５が撮像素子１０６および画像処理部１０７を制御して、撮像動作を一回行って画素データ（ライトフィールドデータ）を取得する。この画像データから再構成画像を生成することで、レンズ駆動することなく、コントラスト評価値に基づくＡＦによりピント位置を得ることが出来る。
【００３３】
ステップＳ３０３からステップＳ３０７はループを形成する。本ループでは、評価位置を予め与えられた初期値から終了値まで適宜設定された間隔でずらしながら、各評価位置における像生成、加算制御、コントラスと評価値計算を行う。上記初期値は粗調／微調で異なるように設定することができ、ステップＳ３０３では、粗調時の間隔および調整範囲を粗く広く設定し、微調時には細かく狭く設定する以下、粗くピント検出を行う動作を粗調、精密にピント検出を行う動作を微調と呼ぶことにする。
【００３４】
ステップＳ３０４では像生成動作を行う。画像生成の動作の詳細は図３（ｂ）のフローチャートを用いて後述する。
ステップＳ３０５では加算制御動作を行う。本動作では、各出力単位画素の画素加算数を統一する。加算制御動作の詳細は図３（ｃ）のフローチャートを用いて後述する。
ステップＳ３０６ではコントラスト評価動作を行う。コントラスト評価動作の詳細は、図３（ｄ）のフローチャートを用いて後述する。
ステップＳ３０７で、画像の再構成と評価値取得のループ動作を終了する。
【００３５】
ステップＳ３０８ではステップＳ３０７で得られた結果（ステップＳ３０７では、ループを形成しているので、ピント位置を変化させながら複数の評価値が得られている）に基づいて、ピント評価動作を行い、ピント位置を決定する。ピント評価動作の詳細は図３（ｅ）のフローチャートを用いて後述する。
【００３６】
ステップＳ３０９で、焦点検出システムの動作を終了する。この一連の動作により、レンズを従来のコントラスト検出のようにピント面付近を往復させることなく、高速にかつ精度を保ったままピント面を検出することが可能となる。
【００３７】
次に、図３（ｂ）、４および５を用いて像生成動作の詳細を説明する。なお、本実施例においては、現像面（＝再構成面）の画像の計算を、瞳領域に応じて像をシフト（ＸＹ方向へ移動）することで実現している。この現像方法は一例であって、別の現像アルゴリズムを用いても良い。
【００３８】
ステップＳ３２１は現像動作の開始を示している。ステップＳ３２２からステップＳ３２６はループを形成している。ステップＳ３２２では瞳分割数に応じた数だけループ計算が実行される。像の再構成を考えると、同じ再構成面であっても入射角度が異なると（射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義）像をシフトさせる量が異なる。これを適宜、現像計算に反映させるためのループである。
【００３９】
ステップＳ３２４では、ステップＳ３２３からのデータをもとに、評価位置に対応する各瞳領域でのシフト量を計算する。ステップＳ３２３には、各画素とＭＬＡとの対応関係が保存されており、各画素がどの瞳領域の光線を受光しているかが分かる情報が格納されている。
ステップＳ３２５ではステップＳ３２３の情報をもとに同じ入射角の光線を得ている（同じ瞳領域からの光線を得ている）画素をシフトさせる。
ステップＳ３２６で像シフトの一連の動作を終了する。
【００４０】
ステップＳ３２７では、ステップＳ３３１での加算のための領域のデータを初期化（０で埋める）する。
【００４１】
ステップＳ３２８からステップＳ３３４はループを形成している。ステップＳ３２８では、ＭＬＡを構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図２に示した例では、元の撮像素子の画素数÷１４４（瞳分割数）がマイクロレンズの数、即ち本ループ処理で生成される出力単位画素の数となる。
【００４２】
ステップＳ３２９からステップＳ３３２はさらにループを形成している。ステップＳ３２９では、瞳分割数に応じた数だけループ計算が実行され、一つの出力単位画素が生成される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置からの光束が存在する。
【００４３】
ステップＳ３３０では、各瞳領域からの光束に対して加算を行う領域か否かの判断がなされる。図４および５を用いて後述するように、像生成動作では、出力単位画素の加算すべき画素が指示される。加算すべき画素に該当するときは、ステップＳ３３１に進んで加算を行う。その他の場合は、ステップＳ３３２に進む。なお、ステップＳ３２５で決定されたシフト量が画素の整数倍でない場合は、ステップＳ３３１の加算において、適宜内分しながら加算する（重なっている面積に応じて適宜加算すればよい）。
【００４４】
ステップＳ３３２で、出力単位画素を生成するために行う加算処理の一連の動作を終了する。
ステップＳ３３３では、各出力単位画素で加算した画素数を記録する。ここで記録した加算画素の情報に基づいて、後述する加算制御動作を行なう。
ステップＳ３３４で一連の動作を終了し、ステップＳ３３５で、呼び出し元のステップＳ３０４に戻る。
【００４５】
ここで、上述した図３（ｂ）の像生成動作で行われる像の再構成位置での出力単位画素の生成方法について、図４、図５を用いて具体的に説明する。
【００４６】
始めに、撮影光学系の構成が図７（ｂ）の構成である場合の画像の再構成方法を、図４を用いて説明する。図４において、一点鎖線は主レンズ４００を通過するがマイクロレンズ２２０には入射しない光線を示している。なお、図示するように、マイクロレンズ２２０は、メインレンズ４００の結像面ではない位置におかれている。メインレンズ面は図１の撮影光学系１０３で示した主点にあたる。この撮影光学系の場合に、再構成面Ｉの出力単位画素Ｉ−ａを得る方法を説明する。
【００４７】
まず、出力単位画素と各マイクロレンズ２２０の頂点を線で結ぶ。この時、直線がメインレンズ４００内に含まれる画素を選ぶ。図４では、出力単位画素からマイクロレンズ２２０の頂点に向かって５本の直線が引かれているが、このうち点線で示した上下の２本はメインレンズ内を通らないので選ばれない。次に、図４で選ばれた３本の直線が通る画素の情報（図４中で黒塗りで示した画素）を足し合わせることで再構成面Ｉ−ａでの出力単位画素は生成される。このように任意の再構成面での出力単位画素を生成することが出来る。
【００４８】
次に図５を用いて再構成面内の位置、デフォーカス量による出力単位画素での画素加算数の違いについて述べる。図５では再構成面Ｉの出力単位画素Ｉ−ａ，Ｉ−ｂと再構成面II（デフォーカス量が違う）の出力単位画素II−ａにおける加算画素を示している。上述した規則に従って、それぞれの出力単位画素中の加算画素の数を求めると、出力単位画素Ｉ−ａでは３画素加算だったものが、出力単位画素Ｉ−ｂでは４画素加算、出力単位画素II−ａでは６画素加算となる。このように再構成面内の位置およびデフォーカス量によって加算する画素の数が異なる。このように出力単位画素中の加算画素数が異なることは、各出力単位画素でＦナンバーが異なり、ボケ量が変化してしまうことを意味し、ＡＦ時に悪影響を及ぼす。
【００４９】
本実施例では、後述する加算制御により出力単位画素の加算画素数を同数で統一して再構成画像を生成することで上記悪影響を抑制する。
【００５０】
また、図５から明らかなように、撮像面からのデフォーカス量が大きくなるほど加算画素数の変化が大きくなる。従って、ＡＦ時におおまかにピント位置を探す粗調時では、デフォーカス量の変化が大きくなるので、加算制御を動作させる。しかし、ピント面付近でピント精度を上げるために複数像の再構成を行う微調時では、デフォーカスの変化は小さいので、加算制御の動作を停止させても良い。即ち、評価位置のずらし間隔の大きさに従って、加算制御動作のオン、オフを切り替える構成にしてもよい。
【００５１】
次に図３（ｃ）および６を用いて加算制御の動作の詳細を説明する。
【００５２】
ステップＳ３４１は加算制御動作の開始を示している。
【００５３】
ステップＳ３４２からＳ３４５まではループを形成している。ステップＳ３４２ではＭＬＡを構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図２に示した例では、元の撮像素子の画素数÷１４４（瞳分割数）がマイクロレンズの数となる。
ステップＳ３４３では、ステップＳ３３３で保持されたそれぞれの出力単位画素の加算画素数を呼び出す。
ステップＳ３４４では、読み出した加算画素数の最小値（最小加算数）を検出して記録する。例えば図５では、出力単位画素Ｉ―ａでの３画素が最小加算数となる。ステップＳ３４５でループ処理を終了する。
【００５４】
ステップＳ３４６からＳ３５０まではループを形成している。画像再構成位置を、予め与えられた初期値から終了値までの範囲で、適宜設定されたステップずつずらしながら、記録された最小加算数に従って像生成の計算を行う。ステップＳ３４６では、初期値を粗調／微調で異なるように設定することが可能であり、粗調時は粗く広く設定し、微調時は細かく狭く設定するようにする。
【００５５】
ステップＳ３４７では、出力単位画素の加算画素数がステップＳ３４４で記録された最小値であるか否かの判定を行う。加算画素数が最小値である場合は、図３（ｂ）で得られた出力単位画素のデータの更新をしない。加算画素数が最小値でない場合は、ステップＳ３４８に進む。
【００５６】
ステップＳ３４８では図３（ｂ）の像生成部動作を行い、出力単位画素の値を生成する。但し、加算画素数を、ステップＳ３４４で記録した最小加算値とし、使用する画素は図６を用いて後述するように選択する。
【００５７】
ステップＳ３４９では、ステップＳ３４８で生成された値で出力単位画素のデータを更新する。ステップＳ３５０でループを終了し、ステップＳ３５１において、呼び出し元のステップＳ３０５に戻る。
【００５８】
ここで、図６を用いて加算制御動作で出力単位画素の加算画素数を制限する場合の好ましい制限方法について説明する。図６は出力単位画素Ｉ‐ａとＩ‐ｂにおいて加算される画素をメインレンズ４００の瞳面上に投影した場合を模式的に示す図である。出力単位画素Ｉ‐ａの投影は黒塗りの領域Ｉ‐ａ‐１〜Ｉ‐ａ‐３であり、出力単位画素出力単位画素Ｉ‐ｂの投影は点塗り領域Ｉ‐ｂ‐１〜Ｉ‐ｂ‐４である。出力単位画素の瞳情報はなるべく同位置でることが望ましいことから、Ｉ‐ａ‐１乃至Ｉ‐ａ‐３とＩ‐ｂ‐１乃至Ｉ‐ｂ‐４の中から近い瞳情報を得られるものを選ぶと良い。つまり、図６では、出力単位画素Ｉ‐ｂを４画素加算から３画素加算にする際には、Ｉ‐ｂ‐１を省いて、Ｉ‐ｂ‐２＋Ｉ‐ｂ‐３＋Ｉ‐ｂ‐４により出力単位画素Ｉ‐ｂを形成するのが良い。またこの時、（（Ｉ‐ｂ‐１＋Ｉ‐ｂ‐２）÷２）＋Ｉ‐ｂ‐３＋Ｉ‐ｂ‐４などとして各画素出力の重み付けを変えて出力単位画素を生成しても良い。また、最小加算数の制限でなく、瞳上のケラレ等を考慮して、瞳面上に画素を投影した際の最小面積で加算制御を行っても良い。
【００５９】
また、各単位画素の取る加算数は、上述した再構成画像を構成する単位画素全体における最小加算数だけではなく、コントラスト評価を行う領域に対応する単位画素において同じ加算数をとっていれば他の加算数が設定されてもよい。他の加算数を設定する場合も、統一した加算数として所定の数が使えるかどうかを判定するためには、最小画素数の検出は有効であるが、明らかに最小画素数を下回る加算数で等しくさせる場合には、特に最小画素数の検出も必要なく、加算数を設定して良い。また、本実施例では、コントラスト評価値計算に用いる再構成画像を、一旦再構成位置に従って画素データを加算して各単位画素を生成させて、それから最小の加算数でない単位画素の画素データを、画素データを選択して最小の加算数の単位画素データに更新する方法を用いた。しかし、各単位画素の加算数は、再構成画像を生成しなくても各単位画素を生成するための加算画素データを特定する演算でわかるので、ステップＳ３３１、ステップＳ３４９を省略し、再構成画像内で等しくさせる加算数を演算により決定した後に、ステップＳ３４８にて各単位画素を決定した加算数に従って生成しても良い。
【００６０】
次に、図３（ｄ）を用いてコントラスト評価値計算の動作の詳細を説明する。
【００６１】
ステップＳ３６１はコントラスト評価動作の開始を示している。
【００６２】
ステップＳ３６２では、コントラスト評価を行う評価点の数と、評価枠の大きさを設定する。評価点数を多くすると画面全体を覆うことが可能となるが、評価に時間がかかるという問題がある。操作検出部１１０で検出されたユーザーの設定などにより適宜設定する。一方、評価枠の大きさは、大きくすると局所的にはあまりパターンを有していないテクスチャであっても焦点検出が可能となるが、あまりにも大きくなると距離の異なる被写体の像を同時に評価するいわゆる遠近競合が発生してしまう。これらの問題を解決できるように、評価枠の大きさを適宜設定する。
【００６３】
ステップＳ３６３では、再構成画像の各単位画素の信号に対して適切なフィルタリングを行う。適切なフィルタリングとしては、粗調時にはより低周波に着目したフィルタリングを行い、微調時には粗調時に比べて高周波に着目したフィルタリングを行うとよい。このようにフィルタリングの特性を変更することで、ローカルミニマムを避けつつ焦点検出精度を向上することが可能となる。
【００６４】
ステップＳ３６４からステップＳ３６７はループを形成している。ステップＳ３６４では、ステップＳ３６２で決定された各評価点に対応した評価値を得るように、設定された評価点について繰り返し演算を行う。
ステップＳ３６５ではフィルタリング処理された評価枠内の一ラインの最大値をピークホールドする。
【００６５】
ステップＳ３６６では、Ｓ３６５でピークホールドされた一ラインの最大値を、評価枠内の行について足し合わせることで、評価値を計算する。
【００６６】
本実施例では上記のような方法でコントラスト評価値を得たが、ピント変動にともなうコントラスト評価値で有れば他の計算方法を活用してもよい。例えば、二次コントラストを一次コントラストの二乗で割り込み輝度値を無次元化した評価値を用いる方法などが考えられる。次いで、ステップＳ３６８において、呼び出し元のステップＳ３０６に戻る。
【００６７】
次に、図３（ｅ）を用いてピント評価の動作の詳細を説明する。
ステップＳ３７１はピント評価部の動作開始を示している。
【００６８】
ステップＳ３７２からステップＳ３７６まではループを形成している。ステップＳ３７２では、図３（ａ）のステップＳ３０３からＳ３０７までのループにおいてコントラスト評価値計算で得られた複数の評価値から最大値、二番目に大きい値、三番目に大きい値を演算により得る。
【００６９】
ステップＳ３７３では、得られた評価値の最大値をＥＶＭａｘとしてピークホールドする。
ステップＳ３７４では、得られた評価値の中から二番目に大きい値をＥＶＭａｘ２としてピークホールドする。
ステップＳ３７５では、得られた評価値の中から三番目に大きい値をＥＶＭａｘ３としてピークホールドする。ステップＳ３７６でループを終了する。
【００７０】
ステップＳ３７７では、ステップＳ３７３で得られたＥＶＭａｘとステップＳ３７５で得られたＥＶＭａｘ３を通る直線を表す式Ｌ１を求める。
【００７１】
ステップＳ３７８では、ステップＳ３７７で得られたＬ１と傾きが逆で、ステップＳ３７４で得られたＥＶＭａｘ２を通る直線を表す式Ｌ２を求める。
【００７２】
ステップＳ３７９では、ステップＳ３７７で得られた直線の式Ｌ１とステップＳ３７８で得られた直線の式Ｌ２の交点のｘ座標（ｄｅｆ座標）をピント位置として求める。撮像装置は、求められたピント位置の情報に基づいて撮影光学系を駆動して焦点調節を行う。
【００７３】
本実施例では上記のような方法でピント評価値を得たが、得られた複数のコントラスト評価値からピークの位置を算出できるものであれば他の計算方法でも活用できる。例えば、得られた４点のコントラスト評価値から二次関数近似を行い、頂点の値をピーク位置とする方法でも良い。ステップＳ３８０で呼び出し元のステップＳ３０８に戻る。
【００７４】
以上説明したように、本実施例によると、レンズ駆動をすることなくＡＦを行う場合も、出力単位画素中の加算画素数を制限することで高速かつピント精度の高いＡＦを行うことを可能にした撮像装置を提供することが出来る。
【００７５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７６】
上述した実施形態において図３の各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してカメラシステム制御部１０５のＣＰＵが実行することによりその機能を実現させるものである。
【００７７】
尚、上述した構成に限定されるものではなく、図３に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。
【００７８】
また、図３に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。
【００７９】
また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。
【００８０】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【００８１】
また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００８２】
また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
【００８３】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【図１】
2015025960.tif 000003
【図２】
2015025960.tif 000004
【図３】
2015025960.tif 000005
【図４】
2015025960.tif 000006
【図５】
2015025960.tif 000007
【図６】
2015025960.tif 000008
【図７】
2015025960.tif 000009