(57)【要約】【課題】主要被写体に対する合焦検出を高精度に行うこと。【解決手段】撮影光学系を通過した光線を用いて合焦検出を行う合焦検出装置において、複数回の撮像における各輝度信号に対する評価値を算出することで合焦検出を行う際に、上記輝度信号を基に求められる付加情報に基づいて合焦検出の対象となる探索領域を設定し、複数回の撮像において上記探索領域における輝度信号から当該探索領域における評価値を算出することで、上記探索領域における評価値を複数回の撮像に対して取得し、複数回の撮像に対して取得した上記探索領域における評価値を用いて合焦位置を推定することで、着目被写体に限定した探索領域に対して合焦推定を行う。【選択図】図１
2007199633.tif 000002
【特許請求の範囲】
【請求項１】
撮影光学系を通過した光線を用いて合焦検出を行う合焦検出装置において、
入射光を撮像素子にて光電変換して得られる輝度信号を出力することで画像の撮像を行う撮像手段と、
複数回の撮像における各輝度信号に対する評価値を算出することで合焦検出を行う合焦検出手段と、
を有し、
上記合焦検出手段は、
上記輝度信号を基に求められる付加情報に基づいて合焦検出の対象となる探索領域を設定する領域抽出手段と、
複数回の撮像において上記探索領域における輝度信号から当該探索領域における評価値を算出することで、上記探索領域における評価値を複数回の撮像に対して取得し、複数回の撮像に対して取得した上記探索領域における評価値を用いて合焦位置を推定する合焦推定手段と、
により構成されたことを特徴とする合焦検出装置。
【請求項２】
上記領域抽出手段は、上記輝度信号を基に求められる付加情報に基づいて、上記輝度信号中の予め複数に分割された領域から合焦検出に有効な領域である有効ウインドウを選択し、上記探索領域として上記有効ウインドウの少なくとも一部を包含する領域を設定することを特徴とする請求項１に記載の合焦検出装置。
【請求項３】
上記評価値及び上記付加情報には、上記領域毎の被写体距離を含み、
上記領域抽出手段は、上記領域毎の被写体距離に基づいて上記複数に分割された領域から上記有効ウインドウを選択し、
上記合焦推定手段は、複数回の撮像に対して取得した上記探索領域における被写体距離を用いて合焦検出を行うことを特徴とする請求項２に記載の合焦検出装置。
【請求項４】
上記領域抽出手段は、上記付加情報として上記評価値と共通の情報を用いることを特徴とする請求項１又は請求項２に記載の合焦検出装置。
【請求項５】
上記合焦推定手段は、上記領域抽出手段で上記探索領域が設定された後に、該設定された探索領域における評価値を、複数回の撮像を繰り返し行うことで連続的に算出することで、複数回の撮像に対する上記探索領域における評価値を取得することを特徴とする請求項１又は請求項２に記載の合焦検出装置。
【請求項６】
上記合焦推定手段は、上記領域抽出手段で上記探索領域が設定された後に、該設定された探索領域における評価値を算出し、さらに、上記領域抽出手段で上記探索領域が再び設定された後に、該再び設定された探索領域における評価値を算出することで、複数回の撮像に対する上記探索領域における評価値を取得することを特徴とする請求項１又は請求項２に記載の合焦検出装置。
【請求項７】
上記合焦推定手段は、上記領域抽出手段で算出する付加情報を上記合焦推定時に用いることを特徴とする請求項１又は請求項２に記載の合焦検出装置。
【請求項８】
上記領域抽出手段は、上記探索領域を設定した後に、当該探索領域内に新たに有効ウインドウを設定し、
上記合焦推定手段は、上記探索領域内の上記領域手段で新たに設定された有効ウインドウについての評価値を算出して、上記領域手段で新たに設定された有効ウインドウについての評価値を用いて合焦位置を推定することを特徴とする請求項１又は請求項２に記載の合焦検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体からの光を所定の位置に結像する光学系を通過した光線を用いて合焦位置を定める合焦検出装置に関する。
【背景技術】
【０００２】
撮像素子を用いて合焦検出を行う手法として、最も一般的な手法に、山登り法又はコントラスト法と呼ばれる技術があり、デジタルカメラをはじめとする電子撮像機器に広く用いられている。
【０００３】
この合焦検出法は、フォーカスレンズを光軸方向に駆動し、その間に撮影される複数枚の画像に対するぼけの評価値を算出して行われる。この評価値は、画像のコントラストや高周波成分の和が用いられ、値が大きいほどフォーカスが合っていることを示している。一方、ぼけの大きさそのものを評価値とする場合もある。例えば像の空間周波数のうち低周波成分の積分値をもってその評価値とする場合、値が小さいほどフォーカスが合っていることを示す。
【０００４】
以下、前者の評価値による合焦検出法を、図１１を用いて説明する。
【０００５】
始点Ｏから、フォーカスレンズを近点側もしくは遠点側どちらかの方向に微小距離駆動する。例えば、まず遠点側に駆動し（矢印Ａ方向）、その間に算出される評価値Ｅ１’が始点Ｏで算出したＥ０に比べて減少すれば、その駆動方向とは逆の方向（近点側）に評価値のピークが存在するので、逆方向（矢印Ｂ方向）へフォーカスレンズを駆動する。一方、図１１の例においては、始点Ｏから、まず近点側（矢印Ｃ方向）に駆動した場合には、はじめに駆動した方向における評価値Ｅ１が増加することになる。従ってこの場合には、はじめに駆動した方向にピークが存在するので、引き続き同方向に駆動することになる。
【０００６】
こうして駆動している間、画像の撮影を一定時間間隔で行い、そのときの撮影画像における評価値を算出する。評価値が増加している間はレンズの駆動と評価値の算出を続け、評価値の変化が増加から減少に変わったとき（位置Ｌ３）、フォーカスレンズは合焦位置を過ぎたと判断する。
【０００７】
次に、算出した評価値の最大値と、その最大値を挟んで前後のフォーカスレンズ位置（位置Ｌ１，Ｌ２，Ｌ３）で算出した評価値の３つの評価値を使って曲線１で示した２次関数近似を行い、評価値が最大となるフォーカスレンズ位置（位置Ｌ４）を推定し、その位置（合焦レンズ位置）にレンズを駆動することにより、合焦検出が完了する。
【０００８】
このように、フォーカスレンズ位置の推定によって、被写体の合焦情報、または距離情報を推定することから、Depth From Focus（以下、ＤＦＦと略記する）と呼ばれる。また、評価値が高くなる様に制御を行い、評価値のピークを推定することから、「山登り法」とも呼ばれている。
【０００９】
これに対して、例えば特許文献１に開示された合焦検出方式では、ぼけの異なる複数の画像を演算処理することにより、ぼけパラメータを算出し、合焦判定するために、光路長の異なる２箇所で輝度信号を取得する方法が記載されている。この手法は、Depth From Defocus（以下、ＤＦＤと略記する）と呼ばれる。ここで、ぼけパラメータとは、輝度信号のぼけを示す代表値であり、光学系のポイントスプレッドファンクション（ＰＳＦ）の分散と相関のある値を示す。また、ＰＳＦとは、理想的な点像が光学系を通過した場合にどのように光線が広がるかを表した関数である。
【００１０】
上記特許文献１に記載されているＤＦＤ合焦検出方法の概略ステップを説明すると、図１２に示すようになる。これら概略ステップで行われる演算処理の詳細は、上記特許文献１に記載されているので、ここでは説明を省略する。
【００１１】
ＤＦＤ合焦検出方法では、同一被写体、同一部位、同一視線方向からの最低２つの合焦判定用輝度信号を、撮像画像のぼけ状態に影響を与える撮影パラメータを最低１つ変更することによって取得する。撮影パラメータとしては、フォーカスレンズ位置、絞り量、焦点距離などがあるが、本説明では、図１３（Ａ）及び（Ｂ）に示すように、フォーカスレンズ２の位置のみを変更する場合に限定して説明を行う。
【００１２】
本ＤＦＤ合焦検出方法によるとまず、例えば図１３（Ａ）及び（Ｂ）の輝度信号取得手段である撮像部（図示せず）の像面３上に結像される像のぼけの状態を変えるために、フォーカスレンズ２を所定の第１の位置Ｌ１（図１３（Ａ））及び第２の位置Ｌ２（図１３（Ｂ））に移動し（ステップＳ０１０Ａ、ステップＳ０１０Ｂ）、それぞれ第１及び第２の輝度信号を取得する（ステップＳ０１２Ａ、ステップＳ０１２Ｂ）。それぞれ取得された輝度信号は、電気的なノイズを除去するためのローパスフィルタ、第１及び第２の画像間で異なる倍率を補正する像倍率補正処理、輝度分布などの正規化処理が行われ（ステップＳ０１４Ａ、ステップＳ０１４Ｂ）、必要であれば取得した輝度信号中の合焦判定をすべき領域を選択する（ステップＳ０１６Ａ、ステップＳ０１６Ｂ）。選択はどちらか一方の輝度信号に対して行い、もう一方の輝度信号に対しては対応領域が選定される。そして、それら合焦判定をすべき領域における２つの正規化処理結果から、第１の輝度信号と第２の輝度信号との差分とを演算する（ステップＳ０１８）。また、第１の輝度信号及び第２の輝度信号それぞれの２次微分を計算して（ステップＳ０２０Ａ，ステップＳ０２０Ｂ）、それらの平均値を計算する（ステップＳ０２２）。そして、上記ステップＳ０１８で求めた第１の輝度信号と第２の輝度信号との差分を上記ステップＳ０２２で求めた輝度信号の２次微分の平均値で除算することで、第１または第２の輝度信号に対応したＰＳＦの分散と相関のあるぼけパラメータが算出される（ステップＳ０２４）。
【００１３】
この算出されたＰＳＦのぼけパラメータから、被写体距離は、上記特許文献１に記載されているＰＳＦの分散と被写体距離の関係式に基づいて求められる。このような、ぼけパラメータと被写体距離の関係は、レンズの構成、状態（ズーム、絞り）によって異なる。また、ある被写体距離と被写体距離に合焦するフォーカスレンズ位置即ち合焦レンズ位置の関係は、レンズシステムのデータにより予め与えられる。従って、ぼけパラメータと制御対象の合焦レンズ位置との関係は、レンズシステム、レンズの状態によってそれぞれ個別の関係式、または演算テーブルによって求められる（ステップＳ０２６）。
【特許文献１】米国特許第４，９６５，８４０号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上記の山登り法による合焦検出では、特に高感度撮影のように、撮像信号のゲインが大きい状態での撮影においてノイズの影響を受けやすく、平坦な領域でのノイズによる評価値とエッジ領域でのノイズの評価値とを判別することが難しい。そのため、そのような場合には、合焦検出精度があまり良くない。
【００１５】
本発明は、上記の点に鑑みてなされたもので、主要被写体に対する合焦検出を高精度に行うことの可能な合焦検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の合焦検出装置の一態様は、撮影光学系を通過した光線を用いて合焦検出を行う合焦検出装置において、入射光を撮像素子にて光電変換して得られる輝度信号を出力することで画像の撮像を行う撮像手段と、複数回の撮像における各輝度信号に対する評価値を算出することで合焦検出を行う合焦検出手段と、を有し、上記合焦検出手段は、上記輝度信号を基に求められる付加情報に基づいて合焦検出の対象となる探索領域を設定する領域抽出手段と、複数回の撮像において上記探索領域における輝度信号から当該探索領域における評価値を算出することで、上記探索領域における評価値を複数回の撮像に対して取得し、複数回の撮像に対して取得した上記探索領域における評価値を用いて合焦位置を推定する合焦推定手段と、により構成されたことを特徴とする。
【発明の効果】
【００１７】
本発明によれば、主要被写体に対する合焦検出を高精度に行うことの可能な合焦検出装置を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態を図面を参照して説明する。
【００１９】
［第１実施形態］
本実施形態に係る合焦検出装置は、図１（Ａ）に示すようなコンパクトカメラ１０に適用したものであり、図１（Ｂ）に示すように、光学系１２、輝度信号取得手段である撮像素子１４及び輝度信号制御部１６、領域抽出／合焦推定切替手段１８、距離推定計算手段２０、山登り法計算手段２２、光学系制御部２４によって構成される。
【００２０】
ここで、光学系１２は複数のレンズ群で構成され、画像を撮影することを目的としたレンズ群（テーキングレンズ）であり、そのうちの一部のレンズ群はフォーカスを調整するために光軸方向に駆動できる構成になっている。このレンズ群をフォーカスレンズと呼ぶ。光学系１２によって結像した被写体の像は、撮像素子１４の光電変換素子によって電気信号に変換される。変換された電気信号は、輝度信号制御部１６でデジタル信号に変換される。この変換されたデジタル信号を輝度信号と呼ぶ。この輝度信号は、距離推定計算手段２０と山登り法計算手段２２に入力される。
【００２１】
本実施形態においては、領域抽出手段である距離推定計算手段２０によって探索領域の設定を行った後、合焦推定手段である山登り法計算手段２２によって、より高い精度で合焦結果を得るための処理が行われる。山登り法計算手段２２と距離推定計算手段２０の切り替えは、領域抽出／合焦推定切替手段１８によって行われる。また、光学系制御部２４は、光学系１２を任意の位置に制御するためのもので、アクチュエータと該アクチュエータを駆動するための駆動回路とによって構成されている。例えば、山登り法計算手段２２で得られた合焦レンズ位置が光学系制御部２４に入力されると、そのレンズ位置に光学系１２を配置するためにアクチュエータへ与える信号を駆動回路は生成し、アクチュエータにその信号を入力して、光学系１２のフォーカスレンズを所望の位置に配置する。
【００２２】
なお、各部の動作制御は、当該コンパクトカメラ１０を制御する不図示のコントローラにより為される。
【００２３】
ここで、上記距離推定計算手段２０は、上述の背景技術で説明したようなＤＦＤ合焦検出法により被写体距離を推定するものである。この距離推定計算手段２０は、ぼけパラメータ演算手段２６、制御パラメータ計算手段２８、ＬＵＴ記憶部３０とによって構成される。
【００２４】
ぼけパラメータ演算手段２６は、ぼけパラメータの算出のために必要な画像の差分を計算する差分演算部３２と、画像の２次微分を計算し、ぼけの異なる２つの輝度信号から得られる２次微分の結果の平均を計算する２次微分演算部３４と、差分演算部３２で計算された画像の差分と２次微分演算部３４で計算された２次微分の平均とを除算して、ぼけパラメータを計算するＤＦＤぼけパラメータ演算部３６と、フォーカスレンズを異なる位置に配置し、複数の輝度信号を異なる時刻で取得するため、１枚目に撮影した輝度信号とその２次微分の結果を保持するバッファ３８と、を備えている。
【００２５】
ＬＵＴ記憶部３０は、ぼけパラメータと被写体からの光の合焦位置との関係として、ぼけパラメータと合焦レンズ位置との関係をルックアップテーブル（ＬＵＴ）の形で記憶したものである。合焦レンズ位置に応じて、光学系１２の配置が定まる。
【００２６】
制御パラメータ計算手段２８は、上記ＬＵＴ記憶部３０のＬＵＴを参照することにより、上記ぼけパラメータ演算部３６で計算したぼけパラメータに対応した合焦レンズ位置を求めるものである。
【００２７】
また、上記山登り法計算手段２２は、ハイパスフィルタ（ＨＰＦ）４０と、ＤＦＦ制御パラメータ計算手段４２と、評価値記憶部４４と、を備えている。ここで、ＨＰＦ４０は、輝度信号の高周波成分を抽出するものである。ＤＦＦ制御パラメータ計算手段４２は、ＨＰＦ４０の結果を加算し、評価値ｈ（ｔ）の算出を行うものである。評価値記憶部４４は、輝度信号を取得したときのレンズ位置と、ＤＦＦ制御パラメータ計算手段４２で算出した評価値とを記憶するものである。なお、評価値としては、画像のコントラストや高周波成分の和が用いられ、値が大きいほどフォーカスが合っていることを示している。一方、ぼけの大きさそのものを評価値とする場合もある。例えば像の空間周波数のうち低周波成分の積分値をもってその評価値とする場合、値が小さいほどフォーカスが合っていることを示す。
【００２８】
また、上記距離推定計算手段２０と山登り法計算手段２２の両方を構成するものとして、ＤＦＦ領域抽出手段４６と抽出情報記憶部４８とが設けられている。ここで、ＤＦＦ領域抽出手段４６は、最近距離となる被写体の合焦レンズ位置を求めるものであり、抽出情報記憶部４８は、少なくとも一つ以上のウインドウより構成される探索領域においてその最近距離となる被写体が存在するウインドウを選択し、選択したウインドウのアドレスを記憶するものである。
【００２９】
このような構成において、まず、図示しないコントローラの制御に従って、光学系制御部２４によって光学系１２のフォーカスレンズを予め決められた第１のレンズ位置Ｌ１に駆動し、撮像素子１４及び輝度信号制御部１６によって被写体の１枚目の画像の輝度信号を取得する。この取得された輝度信号は、不図示コントローラの制御に従って、領域抽出／合焦推定切替手段１８によって距離推定計算手段２０に供給され、ぼけパラメータ演算手段２６内のバッファ３８に記憶される。その後、不図示コントローラの制御に従って、光学系制御部２４によって光学系１２のフォーカスレンズを予め決められた第２のレンズ位置Ｌ２に駆動し、撮像素子１４及び輝度信号制御部１６によって被写体の２枚目の画像の輝度信号を取得する。この取得された２枚目の輝度信号は、不図示コントローラの制御に従って、領域抽出／合焦推定切替手段１８によって距離推定計算手段２０に供給される。
【００３０】
２枚目の輝度信号の取得が完了すると、不図示コントローラの制御に従って、距離推定計算手段２０において、ぼけパラメータの計算が行われる。即ち、ぼけパラメータ演算手段２６において、差分演算部３２は、上記１枚目の輝度信号をバッファ３８から読み出し、上記領域抽出／合焦推定切替手段１８から供給される２枚目の輝度信号との差分を計算する。また、２次微分演算部３４では、上記領域抽出／合焦推定切替手段１８から供給される２枚目の輝度信号の２次微分を計算し、それが計算されたならば、更に、上記１枚目の輝度信号をバッファ３８から読み出して、その２次微分を計算する。そして、それら計算した１枚目と２枚目の２次微分の平均値を計算する。こうして差分と、微分情報としての２次微分の平均値が求められたならば、ＤＦＤぼけパラメータ演算部３６は、それらの除算を計算して、ぼけパラメータを得る。
【００３１】
ぼけパラメータは、被写体距離の逆数に対して線形な関係があり、更に、被写体距離と合焦レンズ位置の関係は１対１対応であるので、ぼけパラメータと合焦レンズ位置の関係も、図２に示すように、１対１対応の関係が保存される。この関係はＬＵＴ記憶部３０にテーブル（ＬＵＴ）として記憶されている。制御パラメータ計算手段２８は、ぼけパラメータに対応する被写体距離の値を算出する距離情報算出手段である。被写体距離の値に対応する距離情報は、フォーカスの合う、フォーカスレンズの位置で表される。よって、ぼけパラメータ演算手段２６で求められたぼけパラメータに対応する合焦レンズ位置ＤＦＤ＿ＬＦは、ＬＵＴ記憶部３０に記憶されているテーブルを参照し、線形近似によって求めることができる。この合焦レンズ位置は、像面に結像した被写体のエッジの部分に対してピクセル単位で又は複数のピクセルを単位として算出される。制御パラメータ計算手段２８は、更に、この合焦レンズ位置の値を輝度値に変換することで、距離画像と呼ばれる画像を得る。
【００３２】
この距離画像は、ＤＦＦ領域抽出手段４６に渡される。ＤＦＦ領域抽出手段４６では、複数に予め分割された画像領域（各画像領域を「ウインドウ」と呼ぶ。）ごとに、合焦検出装置から当該ウインドウ内に存在する被写体までの距離である被写体距離を算出する。すなわち、距離画像の輝度値から合焦レンズ位置の値がわかるため、この合焦レンズ位置を被写体距離として算出する。距離画像は輝度信号制御手段１６で得た輝度信号に対応したものとして扱われるため、距離画像の各ウインドウ内に存在する被写体の被写体距離は、輝度信号で表される画像中で対応する各ウインドウ内に存在する被写体の被写体距離に相当する。なお、各ウインドウの被写体距離は、そのウインドウ内の各ピクセル（又は複数のピクセルから構成される各単位）に対する被写体距離に基づいて定める。例えば、ウインドウ内の各ピクセルに対する被写体距離の平均値を、そのウインドウの被写体距離とすればよい。
【００３３】
ＤＦＦ領域抽出手段４６は、距離画像の情報を用いて被写体の合焦レンズ位置ＤＦＤ＿ＬＦを求める。本実施形態では、合焦レンズ位置ＤＦＤ＿ＬＦとして、被写体距離が最近距離となる位置を求める。合焦レンズ位置ＤＦＤ＿ＬＦとしては、被写体距離が最遠距離となる位置や、被写体距離が所定の範囲の距離となる位置を求めてもよい。
【００３４】
さらに、ＤＦＦ領域抽出手段４６は、複数に予め分割されたウインドウの中から、注目被写体が存在し、合焦検出に有効な有効ウインドウを選択する。本実施形態では、被写体距離が最近距離となる被写体が存在するウインドウを有効ウインドウとして選択する。この他に、被写体距離が最遠距離となる被写体が存在するウインドウを有効ウインドウとして選択したり、被写体距離が所定の範囲の距離となる被写体が存在するウインドウを有効ウインドウとして選択したりすることもできる。
【００３５】
さらに、距離画像からの情報だけではなく、輝度信号から得られる情報等のその他の情報を用いて有効ウインドウを選択することもできる。例えば、輝度信号において、輝度値の平均値が最も大きいウインドウを有効ウインドウとして選択したり、輝度値の平均値が所定の範囲に収まるウインドウを有効ウインドウとして選択したり、空間周波数が所定の周波数に収まるウインドウを有効ウインドウとすることもできる。他にも、撮像手段によって複数色の輝度信号を得る場合には、所定の色のウインドウを有効ウインドウとして選択することもできる。
【００３６】
さらに他にも、輝度信号からテンプレートマッチング等の手法により所定の形状等を有する被写体が存在するウインドウを検出して、検出されたウインドウを有効ウインドウとして選択することもできる。公知の顔画像認識技術を用いて、顔として認識された被写体が存在するウインドウを有効ウインドウとして選択することもできる。
【００３７】
さらに他にも、距離画像からの情報に、上述したような輝度信号から得られる情報等のその他の情報を加味して有効ウインドウを選択することもできる。例えば、上述の距離画像からの情報が上述のような条件を充たし、かつ輝度信号から得られる情報が上述のような条件を充たす場合に、そのウインドウを有効ウインドウとして選択する。
【００３８】
有効ウインドウを選択する上述の何れの方法の場合も、要は、ＤＦＦ領域抽出手段４６は、合焦させたい被写体の特徴を備えた被写体（注目被写体）が存在する少なくも1つ以上のウインドウを有効ウインドウとして選択するようにすればよい。本実施形態では、上述のような距離画像からの情報や、輝度信号から得られる情報等が、有効ウインドウを選択するための付加情報に相当する。なお、ＤＦＦ領域抽出手段４６は、輝度信号から情報を得る場合には、領域抽出／合焦推定切替手段１８から輝度信号を得るようにすればよい。ＤＦＦ領域抽出手段４６は、有効ウインドウのアドレスを抽出情報記憶部４８に記憶させる。
【００３９】
ここで求められた合焦レンズ位置ＤＦＤ＿ＬＦの推定誤差Δは、被写体に対する合焦レンズ位置が各個体の鏡枠取り付け誤差によって微小に異なるため、許容誤差よりも大きい場合がある。よって、制御パラメータ計算手段２８は、推定した合焦レンズ位置から鏡枠の取り付け誤差よりも推定誤差Δの分だけ離れた位置ＤＦＤ＿ＬＦ＋Δを目標レンズ位置Ｌ（ｔ−１）とし、光学系制御部２４に入力する。光学系制御部２４は、光学系１２のフォーカスレンズをその目標レンズ位置Ｌ（ｔ−１）に駆動する。
【００４０】
ここで、ＤＦＤ＿ＬＦ＋Δの位置は、図３に示すように、前述のぼけパラメータを算出する過程で撮影した２枚目の輝度信号を取得したレンズ位置（Ｌ１，Ｌ２）と合焦レンズ位置ＤＦＤ＿ＬＦの間の位置である。この位置にすることで、フォーカスレンズの駆動距離を最短にすることができる。
【００４１】
光学系制御部２４によって前述の目標レンズ位置Ｌ（ｔ−１）への制御が完了すると、次に山登り法が開始される。即ち、撮像素子１４から輝度信号制御部１６を経て得たレンズ位置Ｌ（ｔ−１）での被写体の輝度信号は、図示しないコントローラにより山登り法計算手段２２の実行に切り替えられた領域抽出／合焦推定切替手段１８によって、ＤＦＦ領域抽出手段４６に渡される。予めＤＦＤの結果により注目被写体の存在する有効ウインドウのアドレスが抽出情報記憶部４８に記憶されているので、ＤＦＦ領域抽出手段４６は、その有効ウインドウの少なくとも一部を含む領域を輝度信号の取得対象となる画像領域、すなわち探索領域として抽出する。そして、その探索領域における輝度信号をマスク処理によって抽出する。有効ウインドウすべてを探索領域としてもよい。有効ウインドウの一部又は全部を包含するような領域を探索領域としてもよい。有効ウインドウをそのまま探索領域としてもよい。
【００４２】
ＤＦＦ領域抽出手段４６によって抽出された輝度信号は、ＨＰＦ４０によって高周波成分が抽出され、ＤＦＦ制御パラメータ計算手段４２で、ＨＰＦ４０の結果を加算し評価値ｈ（ｔ−１）の算出を行う。この算出された評価値は、光学系制御部２４からの輝度信号を取得したときのレンズ位置と共に、評価値記憶部４４に記憶される。
【００４３】
その後、ＤＦＦ制御パラメータ計算手段４２は、上記評価値記憶部４４に記憶された現在のレンズ位置に基づいて、光学系制御部２４により光学系１２のフォーカスレンズを前述の推定合焦レンズ位置ＤＦＤ＿ＬＦの方向に、所定量δだけステップ駆動する。そして、撮像素子１４及び輝度信号制御部１６によって、その駆動されたレンズ位置Ｌ（ｔ）での被写体の輝度信号を取得して、上述したように山登り法計算手段２２において再び評価値を算出する。このとき評価値は、探索領域についてだけ算出される。この算出された評価値は、光学系制御部２４から与えられるレンズ位置と共に、評価値記憶部４４に記憶される。その後、評価値の変化率ｈ（ｔ）−ｈ（ｔ−１）が増加しているか否かを判別し、増加している場合には、現在のレンズ位置Ｌ（ｔ）を一つ前のレンズ位置Ｌ（ｔ−１）として、この処理を繰り返すことになる。
【００４４】
而して、評価値の変化率ｈ（ｔ）−ｈ（ｔ−１）が予め定めた閾値程度に減少したときには、ＤＦＦ制御パラメータ計算手段４２では、ピーク位置ＤＦＦ＿ＬＦの推定を行う。即ち、評価値記憶部４４に記憶された評価値とレンズ位置を２次関数に近似し、山のピークとなるレンズ位置ＤＦＦ＿ＬＦを求める。そして、ＤＦＦ制御パラメータ計算手段４２は、その計算したレンズ位置ＤＦＦ＿ＬＦを光学系制御部２４に与え、その位置に光学系１２のフォーカスレンズを駆動することで、合焦検出が完了する。
【００４５】
このように、注目被写体をＤＦＤによって抽出し、ＤＦＤの結果に対応する探索領域のみに山登り法を行うことにより、注目被写体以外の輝度信号から算出される評価値の影響を受けることがなく評価値のピークを算出することができ、結果として合焦精度を向上させることができる。また、山登り法を輝度信号全体ではなく、一部の探索領域に対して行うことにより、演算コストも削減できる効果が得られる。
【００４６】
［第１実施形態の変形例］
領域の抽出をＤＦＤの結果得られる距離情報を用いて行った場合について、本第１実施形態を説明したが、図４に示すように、２次微分演算部３４の演算結果をＤＦＦ領域抽出手段４６に与えることで、ぼけパラメータの算出過程で求められる２次微分の結果を用いて有効ウインドウの選択を行うようにしても良い。
【００４７】
この場合には、第１のレンズ位置Ｌ１で被写体の１枚目の輝度信号を取得し、その後、第２のレンズ位置Ｌ２で被写体の２枚目の輝度信号を取得する。そして、ぼけパラメータ演算手段２６では、２次微分演算部３４にて、異なるフォーカスレンズ位置で撮影した２枚の画像それぞれの２次微分を求め、それらの平均値を計算する。この２次微分の平均値は、付加情報としてＤＦＦ領域抽出手段４６に供給される。なお、付加情報は２次微分の平均値に限らず、平均値の代わりにその他の計算手法により求めてもよい。
【００４８】
ＤＦＦ領域抽出手段４６では、複数に予め分割された画像領域（各画像領域を「ウインドウ」と呼ぶ。）ごとに、供給された２次微分の平均値が予め設定された閾値を越えるピクセル（又は複数のピクセルから構成される各単位）が存在するかを判定する。そして、ＤＦＦ領域抽出手段４６は、閾値を越える値が存在する少なくとも１つ以上のウインドウを、注目被写体が存在し、合焦検出に有効な有効ウインドウとして選択する。なお、本変形例でも、上述のように、輝度信号から得られる情報も加味して有効ウインドウを選択するようにしてもよい。ＤＦＦ領域抽出手段４６は、有効ウインドウのアドレスを抽出情報記憶部４８に記憶する。
【００４９】
また、ぼけパラメータ演算手段２６は、上記２枚の画像の２次微分の平均値と異なるフォーカスレンズ位置で撮影した２枚の画像の差分の除算によって、ぼけパラメータを計算する。そして、制御パラメータ計算手段２８では、その算出したぼけパラメータとＬＵＴ記憶部３０に記憶されたＬＵＴの情報とを使って、被写体に対する合焦レンズ位置を線形補間によって求める。この合焦レンズ位置は、像面に結像した被写体のエッジの部分に対してピクセル単位又は複数のピクセルを単位として算出されるものであり、最近距離となる位置を、被写体の合焦レンズ位置ＤＦＤ＿ＬＦとして求める。被写体距離が最遠距離となる位置や、所定の範囲となる位置を合焦レンズ位置ＤＦＤ＿ＬＦとしてもよい。
【００５０】
ここで求められた合焦レンズ位置の推定誤差Δは、被写体に対する合焦レンズ位置が各個体の鏡枠取り付け誤差によって微小に異なるため、許容誤差よりも大きい。よって、推定した合焦レンズ位置から鏡枠の取り付け誤差よりも推定誤差Δの分だけ離れた位置を目標レンズ位置ＤＦＤ＿ＬＦ＋Δとし、光学系制御部２４に入力して、フォーカスレンズを駆動する。
【００５１】
次に、山登り法を、有効ウインドウにより定められる探索領域に対して行う。以下の処理は、上記第１実施形態で示した処理と同じであるので省略する。
【００５２】
このように、本変形例では、２次微分の値を付加情報としている。２次微分は被写体のエッジ部分を抽出するので、像面上に存在する被写体領域を検出することができる。エッジの強度が最も高いウインドウをＤＦＦ領域抽出手段４６で抽出し、そのウインドウの一部を含む探索領域のみの輝度信号を使って山登り法を実行することにより、第１実施形態で得られる効果と等しい効果が得られる。
【００５３】
なお、有効ウインドウの抽出をエッジの強度で判断したが、エッジの構造から主要被写体を抽出しても良い。
【００５４】
また、ぼけＤＦＤぼけパラメータ演算部３６でのぼけパラメータの計算においても、上記ＤＦＦ領域抽出手段４６で抽出した有効ウインドウの一部を含む探索領域についてのみ行うようにしても良い。
【００５５】
［第２実施形態］
本第２実施形態は、図１（Ａ）に示すようなコンパクトカメラ１０に適用したものであり、図５に示すように、光学系１２、撮像素子１４、輝度信号制御部１６、領域抽出／合焦推定切替手段１８、山登り法計算手段２２、及び光学系制御部２４によって構成される。ここで、山登り法計算手段２２は、ＨＰＦ４０、ＤＦＦ制御パラメータ計算手段４２、評価値記憶部４４、ＤＦＦ領域抽出手段４６、及び抽出情報記憶部４８を備えている。
【００５６】
上記第１実施形態は、領域抽出手段である距離推定計算手段２０によって探索領域の設定を行った後、合焦推定手段である山登り法計算手段２２によって、より高い精度で合焦結果を得るための処理が行われるものであったが、本実施形態は、その領域抽出手段を合焦推定手段と資源を共用した構成としたものである。
【００５７】
即ち、このような構成においては、領域抽出手段は、山登り法計算手段２２におけるＨＰＦ４０、ＤＦＦ制御パラメータ計算手段４２、ＤＦＦ領域抽出手段４６、及び抽出情報記憶部４８によって構成される。ＨＰＦ４０は、低周波ノイズの除去と、コントラストやエッジ等の高周波成分を抽出する機能を備えている。撮像手段である撮像素子１４及び輝度信号制御部１６によって得られた輝度信号は、図示しないコントローラの制御に従って領域抽出／合焦推定切替手段１８によって、このＨＰＦ４０に供給され、該ＨＰＦ４０によって高周波成分が抽出される。そして、ＤＦＦ制御パラメータ計算手段４２で上記ＨＰＦ４０の結果を加算し評価値の算出を行う。本実施形態は、この評価値を付加情報として用いる。
【００５８】
ＤＦＦ領域抽出手段４６では、複数に予め分割された画像領域（各画像領域を「ウインドウ」と呼ぶ。）の中から、評価値が予め設定された閾値を越えるウインドウを抽出する。評価値としては、例えばエッジ強度を用いる。そして、ＤＦＦ領域抽出手段４６は、高いエッジ強度を持つ少なくとも１つ以上のウインドウを、注目被写体が存在し、合焦検出に有効な有効ウインドウとして選択する。なお、本変形例でも、上述のような輝度信号から得られるその他の情報も加味して有効ウインドウを選択するようにしてもよい。ＤＦＦ領域抽出手段４６は、有効ウインドウのアドレスを抽出情報記憶部４８に記憶する。
【００５９】
このようにして、注目被写体が存在する有効ウインドウを山登り法によって抽出、選択する。
【００６０】
その後、山登り法計算手段２２を合焦推定手段として機能させる。即ち、ＤＦＦ制御パラメータ計算手段４２は、まず、上記算出した評価値を、光学系制御部２４からの輝度信号を取得したときのレンズ位置と共に、評価値記憶部４４に記憶する。その後、光学系制御部２４により光学系１２のフォーカスレンズを所定の方向に所定量δだけステップ駆動する。
【００６１】
そして、撮像素子１４及び輝度信号制御部１６によって、その駆動されたレンズ位置での被写体の輝度信号を取得する。ここで、領域抽出／合焦推定切替手段１８は、図示しないコントローラの制御に従って、上記輝度信号をＤＦＦ領域抽出手段４６に供給する。
【００６２】
上述のようにして注目被写体の存在する有効ウインドウのアドレスが抽出情報記憶部４８に記憶されているので、ＤＦＦ領域抽出手段４６は、その有効ウインドウの少なくとも一部を含む領域を探索領域として抽出し、その探索領域における輝度信号をマスク処理によって抽出する。有効ウインドウすべてを探索領域としてもよい。有効ウインドウの一部又は全部を包含するような領域を探索領域としてもよい。有効ウインドウをそのまま探索領域としてもよい。
【００６３】
このＤＦＦ領域抽出手段４６によって抽出された輝度信号は、ＨＰＦ４０によって高周波成分が抽出され、ＤＦＦ制御パラメータ計算手段４２で、ＨＰＦ４０の結果を加算し評価値の算出を行う。この算出された評価値は、光学系制御部２４からの輝度信号を取得したときのレンズ位置と共に、評価値記憶部４４に記憶される。
【００６４】
その後、ＤＦＦ制御パラメータ計算手段４２は、上記評価値記憶部４４に記憶されている一つ前の評価値と今回の評価値とから評価値の変化率を求め、同じく上記評価値記憶部４４に記憶された一つ前と現在のレンズ位置に基づいて、評価値が増加する方向に光学系制御部２４により光学系１２のフォーカスレンズを、所定量δだけステップ駆動する。
【００６５】
そして、撮像素子１４及び輝度信号制御部１６によって、その駆動されたレンズ位置での被写体の輝度信号を取得して、上述したように山登り法計算手段２２において再び評価値を算出する。この算出された評価値は、光学系制御部２４から与えられるレンズ位置と共に、評価値記憶部４４に記憶される。その後、評価値の変化率が増加しているか否かを判別し、増加している場合には、現在のレンズ位置を一つ前のレンズ位置として、この処理を繰り返すことになる。
【００６６】
而して、評価値の変化率が減少したときには、ＤＦＦ制御パラメータ計算手段４２では、ピーク位置ＤＦＦ＿ＬＦの推定を行う。即ち、評価値記憶部４４に記憶された評価値とレンズ位置を２次関数に近似し、山のピークとなるレンズ位置ＤＦＦ＿ＬＦを求める。そして、ＤＦＦ制御パラメータ計算手段４２は、その計算したレンズ位置ＤＦＦ＿ＬＦを光学系制御部２４に与え、その位置に光学系１２のフォーカスレンズを駆動することで、合焦検出が完了する。
【００６７】
以上のように、探索領域に対して山登り法を行うことにより、注目被写体以外の輝度信号から算出される評価値の影響を受けることがなく評価値のピークをより詳細に算出することができ、結果として合焦精度を向上させることができる。また、領域抽出手段における有効ウインドウの選択と、合焦推定手段での合焦位置の推定において、評価値（たとえばエッジ強度）を共通に用いているため、資源を共用することにより、演算コストを削減において第１実施形態以上の効果を得ることができる。
【００６８】
なお、本実施形態では、山登り法による領域抽出と合焦推定を行うことで、注目被写体に対する探索領域の絞り込みが資源共用を図り構成できる点に特徴がある。
【００６９】
［第３実施形態］
本実施形態は、図１（Ａ）のようなコンパクトカメラ１０に適用したものであり、このコンパクトカメラ１０は、上記第１実施形態（又はその変形例）或いは上記第２実施形態のような構成のものである。
【００７０】
図６は、そのような構成のコンパクトカメラにおいて、領域抽出と合焦推定の処理を複数のフェーズに分割したときの、図示しないコントローラによる合焦検出処理の詳細を示す図である。
【００７１】
即ち、合焦検出処理は、探索領域の設定の要否判定（ステップＳ１０）、領域抽出処理（ステップＳ２０）、探索領域の設定処理（ステップＳ３０）、合焦推定処理（ステップＳ４０）、及びレンズ位置設定処理（ステップＳ５０）によって構成される。
【００７２】
ここで、上記ステップＳ１０の探索領域の設定の要否判定は、合焦推定前に探索領域の絞り込みを行うための有効ウインドウの選択を行うか否かをフラグ情報として、事前に設定することで、実行するかどうかを選択する。その探索領域の絞り込み（有効ウインドウの選択）を行うか否かにより、領域抽出／合焦推定切替手段１８を制御することになる。
【００７３】
探索領域の絞り込みが有効に設定されている場合、ステップＳ２０の領域抽出処理に移行し、前記第１及び第２実施形態で説明したように、光学系１２のフォーカスレンズの移動（ステップＳ２１）や付加情報の取得（ステップＳ２２）を行い、それら付加情報を元に有効ウインドウの選択を開始する。即ち、上記第１実施形態のような構成であれば、領域抽出／合焦推定切替手段１８を領域抽出手段としての距離推定計算手段２０側に切り替えて、有効ウインドウの選択を開始させる。また、上記第２実施形態であれば、山登り法計算手段２２を領域抽出手段として機能させるために、領域抽出／合焦推定切替手段１８をＨＰＦ４０側に切り替えて、有効ウインドウの選択を開始させる。
【００７４】
領域抽出手段では、有効ウインドウの選択が完了するまで、フォーカスレンズの移動（ステップＳ２１）と付加情報の取得（ステップＳ２２）を繰り返す。有効ウインドウの選択が完了した時点で（ステップＳ２３）、有効ウインドウに対して、上述の実施形態で説明したような方法で探索領域を設定し（ステップＳ３０）、次の合焦推定処理に移る。なお、有効ウインドウの選択が完了か否かの判定（ステップＳ２３）は、例えば、予め設定された所定回数の撮影（ステップＳ２１とステップＳ２２）を繰り返したか否か、または、各ウインドウの付加情報の差が有効ウインドウを選択するのに充分な程度の予め定められた差になっているか否かで判定することができる。
【００７５】
また、探索領域の絞り込み（有効ウインドウの選択）が無効に設定されている場合には（ステップＳ１０）、このようなステップＳ２０の領域抽出の処理を省略して、合焦推定処理（ステップＳ４０）に移行する。
【００７６】
上記第１実施形態の構成であれば、ステップＳ４０の合焦推定処理は、領域抽出／合焦推定切替手段１８を合焦推定手段としての山登り法計算手段２２側に切り替える。また、上記第２実施形態の構成であれば、山登り法計算手段２２を合焦推定手段として機能させるために、領域抽出／合焦推定切替手段１８をＤＦＦ領域抽出手段４６側に切り替える。
【００７７】
そして、上記ステップＳ３０で設定された探索領域に対して山登り法を行う。即ち、前記第１及び第２実施形態で説明したように、光学系１２のフォーカスレンズの移動（ステップＳ４１）や評価値の取得（ステップＳ４２）を行い、それら評価値を元に合焦位置の推定を行う。合焦推定出手段では、合焦位置の推定が完了するまで、フォーカスレンズの移動（ステップＳ４１）と評価値の取得（ステップＳ４２）を繰り返し行う。そして、合焦位置推定が完了した時点で（ステップＳ４３）、その推定されたレンズ位置にフォーカスレンズを設定して（ステップＳ５０）、合焦検出を終了する。なお、合焦位置推定が完了か否かの判定（ステップＳ４３）は、予め設定された所定回数の撮影（ステップＳ４２）を繰り返したか否か、または、評価値の変化率ｈ（ｔ）−ｈ（ｔ−１）が予め定めた閾値程度に減少したか否かで判定することができる。
【００７８】
このようにすることにより、探索領域以外の輝度信号から算出される評価値の影響を受けることがなく評価値のピークをより詳細に算出することができ、結果として合焦精度を向上させることができる。
【００７９】
このように、領域抽出手段と合焦推定手段の処理フェーズを分割することで、複数のＡＦ手法の組合せや時分割処理による両手段の資源共有、従来処理を可能とし、合焦精度を向上させるために柔軟な構成を選択することができる。また、領域抽出を無効化する機構を設けることで探索領域の設定が不要の際には省略することができ、合焦時間の短縮や演算コストの削減する効果がある。
【００８０】
［第４実施形態］
本実施形態は、図１（Ａ）のようなコンパクトカメラ１０に適用したものであり、その構成は、上記第１実施形態（又はその変形例）或いは上記第２実施形態のそれと同様である。よって、その説明は省略する。
【００８１】
図７は、そのような構成のコンパクトカメラにおいて、領域抽出と合焦推定の処理を複数のフェーズに分割したときの、図示しないコントローラによる合焦検出処理の詳細を示す図である。
【００８２】
即ち、本実施形態における合焦検出処理は、レンズ位置設定処理（ステップＳ６０）、探索領域の設定の要否判定（ステップＳ１０）、領域抽出処理（ステップＳ２０）、探索領域の設定処理（ステップＳ３０）、合焦推定処理（ステップＳ４０）、及びレンズ位置設定処理（ステップＳ５０）によって構成される。
【００８３】
ここで、上記ステップＳ６０のレンズ位置設定処理では、所定の位置に光学系１２のフォーカスレンズを移動する。その後の、上記ステップＳ１０で、探索領域の設定の要否判定を行う。合焦推定前には、探索領域の設定を行うか否かの情報と、複数回撮影する際に探索領域の設定（更新）を何回目の撮影で行うのかの更新頻度の情報が、事前に設定されている。探索領域の設定を行うことが設定され、かつ、撮影の回数が探索領域の設定（更新）を行う回数である場合には、ステップＳ２０の領域抽出処理が行われる。探索領域の設定を行うか否かにより、領域抽出／合焦推定切替手段１８を制御することになる。
【００８４】
第１実施形態の構成の場合には、ステップＳ２０の領域抽出処理では、上記ステップＳ６０で設定されたフォーカスレンズ位置での撮影で得られた輝度信号は、領域抽出／合焦推定切替手段１８により、領域抽出手段としての距離推定計算手段２０に供給される。第２実施形態の構成の場合には、ステップＳ２０の領域抽出処理では、上記ステップＳ６０で設定されたフォーカスレンズ位置での撮影で得られた輝度信号は、領域抽出／合焦推定切替手段１８により、山登り法計算手段２２のＨＰＦ４０に供給される。領域抽出手段では、付加情報の取得（ステップＳ２２）と有効ウインドウの選択（ステップＳ２４）を行わせる。そして、ステップＳ３０の探索領域の設定処理で、有効ウインドウに対して、上述の実施形態で説明したような方法で探索領域を設定する。
【００８５】
その後、或いは、上記ステップＳ１０で探索領域の設定が無効に設定されている場合又は有効であっても設定（更新）すべき撮影回数でないと判別され場合には、合焦推定処理に移行する。
【００８６】
第１実施形態の構成の場合には、ステップＳ４０の合焦推定処理では、領域抽出／合焦推定切替手段１８を、合焦推定手段としての山登り法計算手段２２側に切り替える。第２実施形態の構成の場合には、ステップＳ４０の合焦推定処理では、山登り法計算手段２２を合焦推定手段として機能させるために、領域抽出／合焦推定切替手段１８をＤＦＦ領域抽出手段４６側に切り替える。
【００８７】
そして、上記ステップＳ３０で設定された探索領域に対して山登り法を行う。即ち、評価値の取得（ステップＳ４２）と合焦位置推定を行う。そして、合焦位置推定が完了したか否かを判別して（ステップＳ４３）、完了していなければ、上記ステップＳ６０に戻って、上記の処理を繰り替えする。而して、合焦位置推定が完了したならば（ステップＳ４３）、その推定されたレンズ位置にフォーカスレンズを設定して（ステップＳ５０）、合焦検出を終了する。
【００８８】
このように、複数回撮影を以て合焦検出するときに、設定された撮影回数毎に探索領域の設定を可能にすることで、領域抽出手段と合焦推定手段とをパイプライン動作させて合焦検出を行うことができる。
【００８９】
このように、合焦検出において、領域抽出手段と合焦推定手段とをパイプライン動作させて合焦検出を行うことで、データの少量化と詳細な検出を可能とし、処理の高速化と高精度化を図ることができる。結果、移動物体の撮影のように、撮像信号の変位が、全体の変位量に対して一部の領域のみ変位量が大きくなる条件で、非常に効果が得られる。
【００９０】
［第５実施形態］
本実施形態は、図１（Ａ）のようなコンパクトカメラ１０に適用したものであり、その構成は、上記第２実施形態のそれと同様である。よって、その説明は省略する。本実施形態は、領域抽出の処理の際に算出した付加情報を、合焦推定処理で合焦位置を推定する際にも用いることを特徴とする。これにより、高精度に合焦位置を決定できるようにしている。以下に説明する本実施形態では、上記のような第２実施形態の構成において、第３実施形態のような合焦検出を実行する際に、領域抽出時に取得した付加情報としての評価値を、合焦推定処理時に重み係数として用いる場合について説明する。
【００９１】
まず、領域抽出処理において付加情報としての評価値を取得するまでの工程は、上記第３実施形態と同様の処理にて行う。ただし、この際に、本実施形態では、有効ウインドウのアドレスの他に、各ウインドウの重み係数として領域抽出時に取得した評価値を抽出情報記憶部４８に記憶する。重み係数としての評価値は、例えば各ウインドウのエッジ強度が考えられる。
【００９２】
次に、ステップＳ４０の合焦推定処理においては、評価値を取得し（ステップＳ４２）、合焦位置推定を行う。この合焦推定の折に、すべてのウインドウの合焦位置が一致しないことがある。
【００９３】
このようなときに、領域抽出時に記録した各ウインドウの重み係数としての評価値を用い、評価値（例えばエッジ強度）に応じてウインドウの優先度を変更する。すなわち、重み係数によって優先度が高いウインドウ、例えば、エッジ強度の強いウインドウに対して求められた合焦位置を、最終的に合焦位置とする。
【００９４】
これにより、合焦推定処理によって、複数の合焦位置が推定された場合においても、各ウインドウの重み係数としての評価値が高く、主要情報がより多く含まれると推定できる重要なウインドウを優先させて、より高精度に合焦検出を行うことができる。
【００９５】
［第５実施形態の変形例］
本変形例も、領域抽出の処理の際に算出した付加情報を、合焦推定処理で合焦位置を推定する際にも用いることを特徴とする。以下に説明する本変形例は、第１実施形態に示した構成において、第３実施形態または第４実施形態のような合焦検出を実行する際に、領域抽出時に取得した付加情報（距離画像の情報や２次微分の平均値など）を、合焦推定処理時に重み係数として用いる場合について説明する。
【００９６】
本変形例では、領域抽出時の付加情報を取得するまでの工程は、上記第４実施形態と同様の処理に行う。ただし、この際に、本実施形態では、有効ウインドウのアドレスの他に、各ウインドウの重み係数として領域抽出時に取得した付加情報を抽出情報記憶部４８に記憶する。なお、付加情報を、ぼけ量としてもよい。
【００９７】
次に、ステップＳ４０の合焦推定処理においては、評価値を取得し（ステップＳ４２）、合焦位置推定を行う。この合焦推定の折に、領域抽出時に記録した付加情報を用いる。例えば、付加情報としての被写体距離（距離画像の情報）を、評価値に対する重み係数として用いる。すなわち、予め定められた新評価値と評価値，重み係数の関係式を用いて、新評価値を算出し、この新評価値を評価値の代わりに用いて、合焦推定処理を行う。新評価値と評価値，重み係数の関係式としては、例えば、新評価値＝評価値÷被写体距離などの式が考えられる。
【００９８】
このように新評価値を用いて合焦推定処理を行うことで、近点に存在する物体に合焦させるなど、山登り法に測距情報を付加した合焦検出をおこなうことができる。
【００９９】
なお、除算処理は乗算処理に較べハードウェアの資源（演算に要する処理時間や回路規模）において劣ることが多いため、被写体距離の逆数がぼけ量に比例するという特性より、被写体距離の代わりにぼけ量を利用する（新評価値＝評価値×ぼけ量）こともできる。
【０１００】
［第６実施形態］
本実施形態は、図１（Ａ）のようなコンパクトカメラ１０に適用したものであり、その構成は、上記第１実施形態（又はその変形例）或いは上記第２実施形態のそれと同様である。よって、その説明は省略する。
【０１０１】
図８及び図９は、本実施形態における処理の流れを示している。本実施形態では、図８又は図９の処理が行われる。図８に従って処理する場合、図９に従って処理する場合、いずれの場合においても、本実施形態では、上述した実施形態におけるステップＳ３０の探索領域の設定に続いて、ステップＳ１３０で有効ウインドウの再設定を行う。そして、ステップＳ１３０で再設定した有効ウインドウに対して、ステップＳ４０の合焦推定の処理を行う。上述した実施形態では探索領域内から評価値を算出していた。これに対して、本実施形態では、ステップＳ４０の合焦推定の処理において、探索領域内すべての輝度信号から評価値を算出するのではなく、ステップＳ１３０で再設定した有効ウインドウの輝度信号に限定して評価値を算出する。
【０１０２】
図１０（Ａ）〜図１０（Ｅ）は、ステップＳ１３０で行う有効ウインドウの再設定についての説明図である。ステップＳ１３０の有効ウインドウの再設定では、既に設定した探索領域の中から有効ウインドウを再度選択する。
【０１０３】
図１０（Ａ）〜図１０（Ｅ）それぞれの図において、最外周の四角枠は画面全体を示しており、その中の太枠は探索領域ａ、破線は本実施形態で設定されるウインドウ分割状況をそれぞれ示している。また、濃淡レベルは色が濃くなるにつれて注目すべき被写体である事を表す。
【０１０４】
図１０（Ａ）に示した例では、ステップＳ３０で既に設定された探索領域ａ内を、予め定められたパターンで複数のウインドウに分割する。そして、第１実施形態や第２実施形態で有効ウインドウを選択したときと同様の手法で、探索領域ａ内の各ウインドウでの被写体距離や、輝度値、空間周波数、エッジ強度等に基づいて、探索領域ａ内から有効ウインドウを選択する。第１実施形態や第２実施形態の手法とは別の手法で有効ウインドウを選択してもよい。例えば、探索領域ａ内のウインドウから、所定の形状等を有する被写体が存在するウインドウを公知のテンプレートマッチングなどの方法で検出して、所定の形状を有する被写体が存在するウインドウを有効ウインドウとして選択する。また、探索領域ａ内のウインドウから、所定の色を有する被写体が存在するウインドウを検出して、所定の色を有する被写体が存在するウインドウを有効ウインドウとして選択してもよい。
【０１０５】
なお、図１０（Ａ）に示した例では、ステップＳ３０で既に設定された探索領域ａ内を、予め定められたパターンで複数のウインドウに分割する際の分割パターンは、そのときのレンズ位置や設定された撮影シーンなどに応じて予め決定する。これに対して、次に説明する図１０（Ｂ）〜図１０（Ｅ）に示した例では、ステップＳ３０で既に設定された探索領域ａ内を、様々なパターンで複数のウインドウに分割している。分割数や分割幅、座標位置は個々に指定している。
【０１０６】
図１０（Ｂ）に示した例では、合焦検出を高精度に行いたいときに、ステップＳ３０で既に設定された探索領域ａ内を、上述の実施形態の領域抽出処理におけるウインドウの分割数と同じ数で分割することでウインドウの細分化を行う。そして、上述の図１０（Ａ）の場合と同様に、探索領域ａ内から有効ウインドウを選択する。
【０１０７】
図１０（Ｃ）に示した例では、合焦検出を効率よく短時間で行いたいときに、上述の実施形態の領域抽出処理におけるウインドウと同座標のウインドウから、再度、有効ウインドウを選択する。
【０１０８】
図１０（Ｂ）に示した有効ウインドウの再設定の方法と、図１０（Ｃ）に示した有効ウインドウの再設定の方法とを、選択的におこなうようにしてもよい。例えば、ユーザの直接的な選択、又はユーザが選択した撮影モード（ホワイトバランスの条件設定や、ユーザが撮りたい画像に応じた撮影条件の設定）に応じて、図１０（Ｂ）に示した有効ウインドウの再設定の方法と、図１０（Ｃ）に示した有効ウインドウの再設定の方法の何れかを採用する。
【０１０９】
図１０（Ｄ）、図１０（Ｅ）は、前記領域抽出結果と高周波数成分や距離情報以外の情報を用いて、有効ウインドウの再設定を行う。例えば、人物が存在する画像領域、または特定の形状や色の画像領域を抽出して、抽出された画像領域を囲うように有効ウインドウを設定する。これにより、探索領域ａ内の被写体をより詳細に抽出し、高精度の合焦検出を行うことができる。例えば、探索領域ａ内から、所定の形状等を有する被写体が存在する領域を公知のテンプレートマッチングなどの方法で検出して、所定の形状を有する被写体が存在する領域を有効ウインドウとして設定する。また、探索領域ａから、所定の色を有する被写体が存在する領域を検出して、所定の色を有する被写体が存在する領域を有効ウインドウとして設定してもよい。
【０１１０】
このように、本実施形態では、探索領域内に新たに設定した有効ウインドウに限定して評価値を算出することにより、注目被写体以外の輝度信号から算出される評価値の影響を受けることがなく評価値をより詳細に算出することができ、結果として合焦精度を向上させることができる。また、ハードウェアのように資源が限られ、演算資源や情報を記憶する領域が確保出来ない状況においても、この実施形態を行うことで、ウインドウの数や各パラメータの数を必要に応じて調整することができるので、少ないリソースで高機能化を図ることができる。
【０１１１】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１１２】
例えば、上記第１実施形態では、フォーカスレンズの位置や絞りを駆動することで光学系１２の配置を変更して２つのぼけの異なる輝度信号を取得し、フォーカスレンズの配置を調整して合焦画像を得る構成で説明したが、撮像素子に制御部が取り付けられている構成で、光軸方向に撮像素子１４を駆動することで輝度信号取得手段の配置を変更して、ぼけの異なる輝度信号を取得する構成であっても、上記実施形態と同様の効果が得られる。
【０１１３】
また、各演算部や計算手段を、ＤＳＰやＣＰＵ等の一つのハードウェアによって構成しても構わない。
【０１１４】
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
【０１１５】
（１）  撮影光学系を通過した光線を用いて合焦検出を行う合焦検出装置において、入射光を撮像素子にて光電変換して得られる輝度信号を出力することで画像の撮像を行う撮像手段と、複数回の撮像における各輝度信号に対する評価値を算出することで合焦検出を行う合焦検出手段と、を有し、上記合焦検出手段は、上記輝度信号を基に求められる付加情報に基づいて合焦検出の対象となる探索領域を設定する領域抽出手段と、複数回の撮像において上記探索領域における輝度信号から当該探索領域における評価値を算出することで、上記探索領域における評価値を複数回の撮像に対して取得し、複数回の撮像に対して取得した上記探索領域における評価値を用いて合焦位置を推定する合焦推定手段と、により構成されたことを特徴とする合焦検出装置。
【０１１６】
（対応する実施形態）
この（１）に記載の合焦検出装置に関する実施形態は、第１乃至第６実施形態が対応する。
【０１１７】
（作用効果）
この（１）に記載の合焦検出装置によれば、領域抽出と合焦推定の処理を段階的に実行することで、有効と判断した領域に対して探索領域を限定することができ、主要被写体に着目した状態で合焦推定処理を行うことができる。その結果、主要被写体に対する合焦検出の高精度化と、処理データの減少による高速化を可能にする。また、領域抽出、合焦推定において、１つのＡＦ手段を複数回実行する、もしくは２つのＡＦ手段を任意の組み合わせで構築することができる。
【０１１８】
（２）  上記領域抽出手段は、上記輝度信号を基に求められる付加情報に基づいて、上記輝度信号中の予め複数に分割された領域から合焦検出に有効な領域である有効ウインドウを選択し、上記探索領域として上記有効ウインドウの少なくとも一部を包含する領域を設定することを特徴とする（１）に記載の合焦検出装置。
【０１１９】
（対応する実施形態）
この（２）に記載の合焦検出装置に関する実施形態は、第１乃至第６実施形態が対応する。
【０１２０】
（作用効果）
この（２）に記載の合焦検出装置によれば、合焦検出の高精度化と、処理データの減少による高速化をより一層可能にする。
【０１２１】
（３）  上記評価値及び上記付加情報には、上記領域毎の被写体距離を含み、上記領域抽出手段は、上記領域毎の被写体距離に基づいて上記複数に分割された領域から上記有効ウインドウを選択し、上記合焦推定手段は、複数回の撮像に対して取得した上記探索領域における被写体距離を用いて合焦検出を行うことを特徴とする（２）に記載の合焦検出装置。
【０１２２】
（対応する実施形態）
この（３）に記載の合焦検出装置に関する実施形態は、第１乃至第６実施形態が対応する。
【０１２３】
（作用効果）
この（３）に記載の合焦検出装置によれば、距離情報を加味して有効ウインドウを選択することができる。
【０１２４】
（４）  上記領域抽出手段は、上記付加情報として上記評価値と共通の情報を用いることを特徴とする（１）又は（２）に記載の合焦検出装置。
【０１２５】
（対応する実施形態）
この（４）に記載の合焦検出装置に関する実施形態は、第２実施形態が対応する。
【０１２６】
（作用効果）
この（４）に記載の合焦検出装置によれば、領域抽出と合焦推定の処理内容が同一もしくは類似しているとき、資源を複数回実行するなど回路を共用化し、資源が有限な状況下でも、探索領域を限定することで合焦精度を向上することができる。
【０１２７】
（５）  上記合焦推定手段は、上記領域抽出手段で上記探索領域が設定された後に、該設定された探索領域における評価値を、複数回の撮像を繰り返し行うことで連続的に算出することで、複数回の撮像に対する上記探索領域における評価値を取得することを特徴とする（１）又は（２）に記載の合焦検出装置。
【０１２８】
（対応する実施形態）
この（５）に記載の合焦検出装置に関する実施形態は、第３実施形態が対応する。
【０１２９】
（作用効果）
この（５）に記載の合焦検出装置によれば、領域抽出と合焦推定の処理を段階的に行うことができる。領域抽出と合焦推定の処理を段階的に行うことで、領域抽出に用いる合焦検出機能と、合焦推定に用いる合焦検出機能とを任意に組み合わせることができる。この結果、合焦精度や探索時間、資源の共有化等といった、各合焦機能の特長を組み合わせて利用することで、合焦検出のさらなる高精度化や高速化の効率的な実現を可能にする。
【０１３０】
（６）  上記合焦推定手段は、上記領域抽出手段で上記探索領域が設定された後に、該設定された探索領域における評価値を算出し、さらに、上記領域抽出手段で上記探索領域が再び設定された後に、該再び設定された探索領域における評価値を算出することで、複数回の撮像に対する上記探索領域における評価値を取得することを特徴とする（１）又は（２）に記載の合焦検出装置。
【０１３１】
（対応する実施形態）
この（６）に記載の合焦検出装置に関する実施形態は、第４実施形態が対応する。
【０１３２】
（作用効果）
この（６）に記載の合焦検出装置によれば、レンズ移動を領域抽出と合焦推定の処理で共通にすることができる。
【０１３３】
（７）  上記合焦推定手段は、上記領域抽出手段で算出する付加情報を上記合焦推定時に用いることを特徴とする（１）または（２）に記載の合焦検出装置。
【０１３４】
（対応する実施形態）
この（７）に記載の合焦検出装置に関する実施形態は、第５実施形態が対応する。
【０１３５】
（作用効果）
この（７）に記載の合焦検出装置によれば、探索領域の限定に加え、例えばエッジ強度や被写体距離のような、領域抽出手段で算出した付加情報を用いることで、より高精度の合焦検出をおこなうことができる。
【０１３６】
（８）  上記領域抽出手段は、上記探索領域を設定した後に、当該探索領域内に新たに有効ウインドウを設定し、
上記合焦推定手段は、上記探索領域内の上記領域手段で新たに設定された有効ウインドウについての評価値を算出して、上記領域手段で新たに設定された有効ウインドウについての評価値を用いて合焦位置を推定することを特徴とする（１）または（２）に記載の合焦検出装置。
【０１３７】
（対応する実施形態）
この（８）に記載の合焦検出装置に関する実施形態は、第６実施形態が対応する。
【０１３８】
（作用効果）
この（８）に記載の合焦検出装置によれば、合焦位置を推定する対象となる領域をさらに限定することで合焦検出の高精度化ができる。
【図面の簡単な説明】
【０１３９】
【図１】図１（Ａ）は、本発明の第１実施形態に係る合焦検出装置が適用されたコンパクトカメラの構成を示す図であり、図１（Ｂ）は、第１実施形態に係る合焦検出装置のブロック構成図である。
【図２】図２は、ぼけパラメータと合焦レンズ位置との関係を示す図である。
【図３】図３は、ＤＦＤの推定結果からの山登り法を説明するための、合焦評価値とレンズ位置との関係を示す図である。
【図４】図４は、第１実施形態の変形例に係る合焦検出装置のブロック構成図である。
【図５】図５は、本発明の第２実施形態に係る合焦検出装置のブロック構成図である。
【図６】図６は、本発明の第３実施形態に係る合焦検出装置の合焦検出処理の詳細を説明するためのフローチャートを示す図である。
【図７】図７は、本発明の第４実施形態に係る合焦検出装置の合焦検出処理の詳細を説明するためのフローチャートを示す図である。
【図８】図８は、本発明の第６実施形態に係る合焦検出装置の合焦検出処理の詳細を説明するためのフローチャートを示す図である。
【図９】図９は、本発明の第６実施形態に係る合焦検出装置の合焦検出処理の詳細を説明するためのフローチャートを示す図である。
【図１０】図１０（Ａ）乃至図１０（Ｅ）はそれぞれ、有効ウインドウの再設定についての説明図である。
【図１１】図１１は、ＤＦＦによる合焦評価値とレンズ位置との関係を示す図である。
【図１２】図１２は、特許文献１に記載されているＤＦＤ合焦検出方法の概略ステップを示す図である。
【図１３】図１３（Ａ）は、フォーカスレンズが第１の場所にある場合のぼけの状態を示す図であり、図１３（Ｂ）は、フォーカスレンズが第２の場所にある場合のぼけの状態を示す図である。
【符号の説明】
【０１４０】
１０…コンパクトカメラ、  １２…光学系、  １４…撮像素子、  １６…輝度信号制御部、  １８…合焦推定切替手段、  ２０…距離推定計算手段、  ２２…山登り法計算手段、  ２４…光学系制御部、  ２６…パラメータ演算手段、  ２８…制御パラメータ計算手段、  ３０…ＬＵＴ記憶部、  ３２…差分演算部、  ３４…２次微分演算部、  ３６…パラメータ演算部、  ３８…バッファ、  ４０…ハイパスフィルタ（ＨＰＦ）、  ４２…ＤＦＦ制御パラメータ計算手段、  ４４…評価値記憶部、  ４６…ＤＦＦ領域抽出手段、  ４８…抽出情報記憶部。
【図１】
2007199633.tif 000003
【図２】
2007199633.tif 000004
【図３】
2007199633.tif 000005
【図４】
2007199633.tif 000006
【図５】
2007199633.tif 000007
【図６】
2007199633.tif 000008
【図７】
2007199633.tif 000009
【図８】
2007199633.tif 000010
【図９】
2007199633.tif 000011
【図１０】
2007199633.tif 000012
【図１１】
2007199633.tif 000013
【図１２】
2007199633.tif 000014
【図１３】
2007199633.tif 000015