(57)【要約】      （修正有）【課題】改善されたカメラおよび改善された焦点合わせの方法を提供する。【解決手段】カメラのレンズ距離を異なるレンズ距離値に設定することにより、カメラの焦点距離を異なる距離において焦点が合うように繰り返し設定することと、レンズ距離を設定したことに応答して、設定されたレンズ距離値における焦点領域ごとに焦点値を求めることと、複数の焦点値・レンズ距離値対が求められたときに、レンズ距離値の関数としての焦点値を表す、複数の焦点領域についての少なくとも２次の関数を推定することと、関数が推定されている焦点領域ごとに、レンズ距離値を有する該関数の極大点を計算することと、焦点領域の極大点のレンズ距離値と焦点領域間の空間的距離に基づいて焦点領域をグループ化することと、焦点領域のグループ化から得られる焦点領域グループを評価することと、上記焦点領域グループの評価に基づいて焦点領域を選択することとを含む。【選択図】図３ｂ
2012093754.tif 000002
【特許請求の範囲】
【請求項１】
カメラビューにおいて複数の焦点領域が定義されるカメラの焦点合わせの方法であって、
前記カメラのレンズ距離を異なるレンズ距離値に設定することにより、前記カメラの焦点距離を異なる距離において焦点が合うように繰り返し設定することと、
レンズ距離を設定したことに応答して、前記設定されたレンズ距離値における焦点領域ごとに焦点値を求めることと、
複数の焦点値・レンズ距離値対が求められたときに、レンズ距離値の関数としての焦点値を表す、複数の焦点領域についての少なくとも２次の関数を推定することと、
関数が推定されている焦点領域ごとに、レンズ距離値を有する前記関数の極大点を計算することと、
前記焦点領域の前記極大点の前記レンズ距離値と前記焦点領域間の空間的距離に基づいて焦点領域をグループ化することと、
前記焦点領域のグループ化から得られる焦点領域グループを評価することと、
前記焦点領域グループの評価に基づいて焦点領域を選択することと、
焦点探索アルゴリズムを実行し、前記選択された焦点領域における前記焦点値の前記計算された極大の前記レンズ距離値において探索を開始することと、
前記レンズ距離値を前記焦点探索アルゴリズムによって見つかった前記レンズ距離値に設定することと
を含む方法。
【請求項２】
前記レンズ距離の焦点値はコントラスト測定法を使って求められる、請求項１に記載のカメラの焦点合わせの方法。
【請求項３】
関数を推定する前記動作は多項式を推定する動作である、請求項１〜２のいずれか１項に記載のカメラの焦点合わせの方法。
【請求項４】
関数を推定する前記動作はスプライン関数を推定する動作である、請求項１〜２のいずれか１項に記載のカメラの焦点合わせの方法。
【請求項５】
前記焦点領域をグループ化することは、各焦点領域の前記レンズ距離値および各焦点領域から他のすべての焦点領域までの前記空間的距離を使って前記焦点領域に関して画像セグメント化アルゴリズムを適用することを含む、請求項１〜４のいずれか１項に記載のカメラの焦点合わせの方法。
【請求項６】
使用される前記画像セグメント化アルゴリズムはグラフ理論クラスタ化アルゴリズムである、請求項５に記載のカメラの焦点合わせの方法。
【請求項７】
前記焦点領域グループを評価することは、前記グループのサイズに基づいて前記焦点領域グループを評価することであり、より大きい焦点領域グループが、より小さい焦点領域グループに照らして好ましいと評価される、請求項１〜５のいずれか１項に記載のカメラの焦点合わせの方法。
【請求項８】
前記焦点領域グループを評価することは、前記カメラビュー内の前記焦点領域グループの位置に基づいて前記焦点領域グループを評価することであり、所定の位置により近い位置を有する焦点領域グループが、前記所定の位置からの距離がより大きい位置を有する焦点領域グループに照らして好ましいと評価される、請求項１〜７のいずれか１項に記載のカメラの焦点合わせの方法。
【請求項９】
前記評価は得点を配分することによって行われ、より好ましい焦点領域グループがさほど好ましくない焦点領域グループより多くの得点を受け取り、前記焦点領域を選択することは、利用できる前記得点の過半数を受け取っている焦点領域グループに含まれる焦点領域を選択することである、請求項７〜８のいずれか１項に記載のカメラの焦点合わせの方法。
【請求項１０】
前記評価は得点を配分することによって行われ、より好ましい焦点領域グループがさほど好ましくない焦点領域グループより多くの得点を受け取り、前記焦点領域を選択することは、まだ配分されていない得点より多くの得点を受け取っている焦点領域グループに含まれる焦点領域を選択することである、請求項７〜８のいずれか１項に記載のカメラの焦点合わせの方法。
【請求項１１】
前記焦点探索アルゴリズムは、前記選択された焦点領域を含む前記焦点領域グループの前記焦点領域内で動作するように制限される、請求項１に記載のカメラの焦点合わせの方法。
【請求項１２】
カメラのカメラビューに対して定義された複数の焦点領域と、
カメラのレンズ距離を異なるレンズ距離値に繰り返し設定する手段と、
レンズ距離を設定したことに応答して、前記設定されたレンズ距離値における焦点領域ごとに焦点値を求める手段と、
複数の焦点値・レンズ距離値対が求められたときに、レンズ距離値の関数としての焦点値を表す、焦点領域ごとの少なくとも２次の関数を推定するように構成された関数推定器と、
焦点領域ごとに、レンズ距離値を含む前記関数の極大点を計算する手段と、
各焦点領域の前記極大点の前記レンズ距離値と前記領域間の空間的距離に基づいて焦点領域をグループ化するように構成された領域グループ化手段と、
前記焦点領域のグループ化から得られる焦点領域グループを評価するように構成された評価手段と、
前記焦点領域グループの評価に基づいて焦点領域を選択するように構成された焦点領域選択器と
を備えるカメラ。
【請求項１３】
前記関数推定器は、前記求められる複数の焦点値・レンズ距離値対に基づいて多項式を推定するように構成されている、請求項１２に記載のカメラ。
【請求項１４】
前記領域グループ化手段は、各焦点領域の前記レンズ距離値および各焦点領域から他のすべての焦点領域までの前記空間的距離を使って前記焦点領域に関して画像セグメント化アルゴリズムによって前記領域をグループ化するように構成されている、請求項１２〜１３のいずれか１項に記載のカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラにおける自動焦点合わせと、カメラビューにおける焦点領域の選択とに関する。
【背景技術】
【０００２】
カメラビューの関心対象部分にある焦点はずれの静止画ビデオまたは動画ビデオの取り込みは非常に厄介になる場合がある。これは、例えば、カメラの焦点がカメラビューの別の部分に合っていたり、カメラの焦点が、カメラ画像ビューのいかなる物体にも被写体にも焦点が合わされていなかったりすることの結果である。
【０００３】
この問題に対処するためにきわめて多くの自動焦点合わせ方式が開発され、提案されている。その２つの主要な手法を、それぞれ、アクティブオートフォーカスおよびパッシブオートフォーカスと呼ぶ。アクティブオートフォーカス方式は、取り込まれるべき被写体までの距離を測定すること、およびそれに応じてカメラの焦点を調整することを含む。測定は、一般に、例えば超音波や赤外光を放射することによって行われる。パッシブオートフォーカス方式は、一般に、カメラに入る画像ビューからの光の受動的分析を含む。パッシブオートフォーカス方式は、位相差検出またはコントラスト検出に基づくものとすることができる。ほとんどのコントラスト検出方式は、取り込まれたカメラビューの焦点値、すなわち焦点尺度を計算すること、および、次いでその焦点値が鮮明な画像を示すかどうか判定することを含む。ほとんどの焦点方式において、プロセスは、複数の異なるレンズ距離における複数の焦点値の計算、および、この複数のデータ点に基づき、どのレンズ距離において鮮明な画像を示す焦点値が得られるか判定することを含む。プロセスは多くの場合反復される。レンズ距離は、カメラの焦点面とカメラレンズの１つまたは複数のレンズとの空間的関係である。したがって、レンズ距離は、カメラ／レンズの焦点が、近くの物体からより遠くの物体に、またその逆に変更されるときに変更されるレンズの特性である。
【０００４】
最善の鮮明度を見つけるために一般に使用される一方法は、直線探索と呼ばれる、曲線の最大値または最小値を見つけるための１次元探索である。これはオートフォーカスを処理するときに非常に興味深い方法である。というのは、その目的が、レンズ位置軸に沿って最大焦点値を生じるレンズ距離を見つけることだからである。オートフォーカス方式で適用される直線探索法は、少数の反復しか必要とせず、安定した方式をもたらす。いくつかの直線探索法があり、これらの方法は、有限な、かなり少数の反復以内で収束することが保証されている。そのような高速な方法の２つが、黄金分割探索とフィボナッチ探索である。これらの方法は、境界点を内点と比較し、次いで境界点を内点に移動させることを反復して行うことによって得られる漸減間隔の構築により機能する。
【０００５】
最も鮮明な画像をもたらすレンズ距離を見つけるための別の種類のよく使用される方法が、適応刻み幅を用いた山登りアルゴリズムである。山登りアルゴリズムは、連続して曲線を段階的に進むことにより動作する。刻み幅は、多くの場合、最大値の近傍にあるときに焦点モータが進む刻みがより小さくなるように焦点値閾値に従って調整される。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の一目的は、改善されたカメラおよび改善された焦点合わせの方法を提供することである。
【課題を解決するための手段】
【０００７】
この目的は、請求項１に記載のカメラにおける焦点領域を選択する方法、請求項１１に記載のカメラにおける焦点合わせの方法、および請求項１３に記載のカメラによって達成される。本発明のさらに別の実施形態は従属請求項に提示されている。
【０００８】
特に、本発明の一実施形態によれば、複数の焦点領域が定義されているカメラビューにおいて焦点領域を選択する方法が提供され、上記方法は、カメラのレンズ距離を異なるレンズ距離値に設定することにより、カメラの焦点距離を異なる距離において焦点が合うように繰り返し設定することと、レンズ距離を設定したことに応答して、設定されたレンズ距離値における焦点領域ごとに焦点値を求めることと、複数の焦点値・レンズ距離値対が求められたときに、レンズ距離値の関数としての焦点値を表す、複数の焦点領域についての少なくとも２次の関数を推定することと、関数が推定されている焦点領域ごとに、レンズ距離値を有する該関数の極大点を計算することと、焦点領域の極大点のレンズ距離値と焦点領域間の空間的距離に基づいて焦点領域をグループ化することと、焦点領域のグループ化から得られる焦点領域グループを評価することと、上記焦点領域グループの評価に基づいて焦点領域を選択することとを含む。
【０００９】
この実施形態の一利点は、少数の異なるレンズ距離を使用するだけで、焦点の極大を見つけることができることである。この理由は、そのような関数を推定するアルゴリズムが少数の点だけしか必要とせず、これらの点は、通常の山登りアルゴリズムだけが使用された場合に可能になるはずの点よりもずっと遠く離れていてもよいことにある。よって、本発明の方法は極大焦点値をより高速で見つける。というのは、新しいレンズ距離を設定するのに必要な期間がプロセッササイクルに対して長いからである。しかも、必要とされるレンズ距離の設定数がより少なくてすむために、レンズの焦点を制御するように配置された焦点モータが、先行技術の方法を使った実施態様においてよりも長くもつ。さらに、焦点領域における極大点のレンズ距離値に基づいて焦点領域をグループ化することにより、対象となる物体に関連する焦点値が、カメラからより離れた、またはカメラにより近い物体によってゆがめられることにならないため、焦点をより一層改善することが可能になる。
【００１０】
別の実施形態によれば、レンズ距離の焦点値はコントラスト測定法を使って求められ、この方法は、通常の画像センサと、解析コードを走らせる処理手段とを備えるなど、単純なハードウェア構成を使って焦点値を測定することを可能にする。
【００１１】
一実施形態では、関数を推定する動作は多項式を推定する動作であり、これは極大焦点値を非常に迅速に推定することを可能にする。
【００１２】
別の実施形態では、関数を推定する動作はスプライン関数を推定する動作であり、これは、極大焦点値のより正確な予測を行う可能性を有するが、多項式推定を使用する方法に対して多少速度が劣る場合もある。
【００１３】
別の実施形態によれば、上記焦点領域をグループ化することは、各焦点領域のレンズ距離値および各焦点領域から他のすべての焦点領域までの空間的距離を使って、焦点領域に関して画像セグメント化アルゴリズムを適用することを含む。画像セグメント化アルゴリズムは、画像内の対象となる物体を迅速に見つけるために使用される。焦点領域に関してこれらのアルゴリズムを使用することにより、それぞれが同じ物体の画像情報を含む可能性の高い焦点領域を含む、１つまたは複数の焦点領域のグループを迅速に生成することが可能になる。
【００１４】
一実施形態では、使用される画像セグメント化アルゴリズムはグラフ理論クラスタ化アルゴリズムである。このアルゴリズムは、１回の計算で、例えばサイズの大きい順に並べられた複数の物体が生じるため、本用途において有利である。このため方法は、他の画像セグメント化アルゴリズムを使ったときよりも高速になる。しかも、ごく少数の変数を考慮するだけですむため、アルゴリズムの適合が単純である。
【００１５】
別の実施形態によれば、上記焦点領域グループを評価することは、グループのサイズに基づいて焦点領域グループを評価することであり、より大きい焦点領域グループがより小さい焦点領域グループに照らして好ましいと評価される。サイズに基づく評価の利点は、サイズのメトリックは処理が容易であり、多くの用途において、対象となる物体の最も自明の特徴とし得ることである。よって、対象となる物体に含まれる焦点領域を選択する可能性が高まる。
【００１６】
さらに別の実施形態によれば、上記焦点領域グループを評価することは、カメラビュー内の焦点領域グループの位置に基づいて焦点領域グループを評価することであり、所定の位置により近い位置を有する焦点領域グループが、所定の位置からの距離がより大きい位置を有する焦点領域グループに照らして好ましいと評価される。位置に基づく評価の利点は、多くの用途において、対象となる物体がどこに存在するか予測することが可能であることである。よって、対象となる物体に含まれる焦点領域を選択する可能性が高まる。上記２つの評価機能を組み合わせれば、正しい焦点領域を選択する可能性がより一層高まる。
【００１７】
一実施形態によれば、評価は得点を配分することによって行われ、より好ましい焦点領域グループはさほど好ましくない焦点領域グループより多くの得点を受け取り、焦点領域を選択することは、利用可能な得点の過半数を受け取っている焦点領域グループに含まれる焦点領域を選択することである。前述のように得点に基づいて焦点領域を選択することにより、選択プロセスは、時間と共に平均化されてより高速になる。というのは、プロセスが焦点領域を選択する前にすべての得点を配分しなくてもよくなるからである。しかも、すべての領域についてのすべての最大値を見つけなくてもよくなり、それによって必要な処理がより少なくなる。
【００１８】
一実施形態によれば、評価は得点を配分することによって行われ、より好ましい焦点領域グループはさほど好ましくない焦点領域グループより多くの得点を受け取り、焦点領域を選択することは、まだ配分されていない得点よりも多くの得点を受け取っている焦点領域グループに含まれる焦点領域を選択することである。前述のように得点に基づいて焦点領域を選択することにより、選択プロセスは、時間と共に平均化されてより高速になる。というのは、プロセスが焦点領域を選択する前にすべての得点を配分しなくてもよくなるからである。しかも、すべての領域についてのすべての最大値を見つけなくてもよくなり、それによって必要な処理がより少なくなる。
【００１９】
別の実施形態によれば、カメラビューにおいて焦点領域を選択する方法は、カメラにおける焦点合わせの方法において使用される。焦点領域が選択されると、この方法は焦点探索アルゴリズムを実行し、選択された焦点領域における焦点値の計算された極大のレンズ距離値において探索を開始し、レンズ距離値を、焦点探索アルゴリズムによって見つかったレンズ距離値に設定する。
【００２０】
合焦点法または自動焦点法において焦点領域選択法を使用することの利点は、焦点領域選択法がそのプロセスにおいて少数のレンズ距離変更ステップだけを使って適切な焦点値を表すレンズ距離に到達し、このため、焦点領域選択において得られたレンズ距離に基づいて微調整プロセスが適用されるときでさえも焦点合わせのプロセスが高速になることである。よって、焦点合わせのプロセスは、高速で正確な自動焦点動作を実現し得る。
【００２１】
別の実施形態によれば、焦点探索アルゴリズムは、選択された焦点領域を含む焦点領域グループの焦点領域内で動作するように制限される。焦点探索を焦点領域グループだけに限定することにより、焦点値の計算において対象となる区域の焦点だけが考慮され、よって、非関連画像情報の量が制限される。よって、焦点値およびレンズ距離の質が著しく高まり得る。
【００２２】
本発明の別の態様によれば、カメラは、カメラのカメラビューに対して定義された複数の焦点領域と、カメラのレンズ距離を異なるレンズ距離値に繰り返し設定する手段と、レンズ距離を設定したことに応答して、設定されたレンズ距離値における焦点領域ごとの焦点値を求める手段とを備え、複数の焦点値・レンズ距離値対が求められたときに、レンズ距離値の関数としての焦点値を表す、焦点領域ごとの少なくとも２次の関数を推定するように構成された関数推定器と、焦点領域ごとに、レンズ距離値を含む該関数の極大点を計算する手段と、各焦点領域の極大点のレンズ距離値と領域間の空間的距離に基づいて焦点領域をグループ化するように構成された領域グループ化手段と、焦点領域のグループ化から得られる焦点領域グループを評価するように構成された評価手段と、上記焦点領域グループの評価に基づいて焦点領域を選択するように構成された焦点領域選択器とを特徴とする。これらの装置および手段の利点は、上記方法に関連して開示した対応する機能を実施する利点と一致するものである。
【００２３】
本発明のさらなる適用可能性の範囲は、以下に示す詳細な説明を読めば明らかになるであろう。しかし、詳細な説明および具体例は、本発明の好ましい実施形態を示すものであるが、例示のために示すにすぎず、この詳細な説明を読めば当業者には、本発明の範囲内の様々な変更および改変が明らかになることを理解すべきである。
【００２４】
本発明の他の特徴および利点は、添付の図面を参照して、現在の好ましい実施形態の以下の詳細な説明を読めば明らかになるであろう。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態によるカメラを示す概略的ブロック図である。
【図２】焦点領域がある特定のカメラビューについてどのように定義され得るかの一例を示す図である。
【図３ａ】本発明の一実施形態による、焦点領域の選択および焦点合わせのためのカメラにおける方法を示す流れ図である。
【図３ｂ】本発明の一実施形態による、焦点領域の選択および焦点合わせのためのカメラにおける方法を示す流れ図である。
【図３ｃ】本発明の一実施形態による、焦点領域の選択および焦点合わせのためのカメラにおける方法を示す流れ図である。
【図４】本発明の一実施形態による、関数グラフの推定を可能にするために、最初にレンズ距離および対応する焦点値を見つける方法を示す流れ図である。
【図５】本発明の一実施形態による、前に計算された極大焦点値に基づいて最適な焦点値を見つけるためにレンズ距離を微調整する方法を示す流れ図である。
【発明を実施するための形態】
【００２６】
本発明の詳細な説明の前に、本発明は、説明される装置の個々の構成部分または説明される方法の個々のステップだけに限定されるものではなく、そのような装置および方法は様々であることを理解すべきである。また、本明細書で使用される用語は、個々の実施形態を説明するためのものにすぎず、限定のためのものではないことも理解すべきである。本明細書および添付の特許請求の範囲で使用する場合、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、文脈上明らかに別の意味に解される場合を除いて、その要素の１つまたは複数があることを意味するものであることに留意しなければならない。よって、例えば、「ａ  ｓｅｎｓｏｒ」や「ｔｈｅ  ｓｅｎｓｏｒ」などという場合は数台のセンサを含む場合があり、他の場合も同様である。さらに、「ｃｏｍｐｒｉｓｉｎｇ」という語は、他の要素またはステップを除外するものではない。また、各図において、類似の参照符号は、複数の図全体において類似の、または対応する部分を指示する。
【００２７】
図１に、本発明の一実施形態を実施するように構成されたカメラ１０を示す。カメラ１０は、ハウジング１２と、レンズ１４と、カメラビューの画像を登録するための画像センサ１６と、初期画像処理のための画像処理部１８と、全般的制御とプログラムコードの実行のための中央処理装置２０と、情報の一時的記憶のための揮発性メモリ２２と、情報の永続的記憶のための不揮発性メモリ２４と、ネットワーク上で、命令、情報、および画像データを受信し、または送信し、あるいは送受信するためのネットワークインターフェース２６とを含む。さらに、中央処理装置２０は、領域グループ化手段３０、関数推定器３２、関数から極大焦点値を計算する手段３３、焦点値計算器３４、領域の評価のための評価手段３６、評価に基づいて領域を選択するための焦点領域選択器３８、および自動焦点コントローラ４０を実施するように構成されている。これらの機能は、実行されるとこれらの装置の機能を果たすプログラムコードを構成することによって、中央処理装置２０により実施され得る。さらに、これらの装置の機能は、論理回路または他のハードウェア構成を使っても実施され得ることを当業者は理解するものである。
【００２８】
自動焦点コントローラ４０は、レンズ１４のレンズ距離を調整し、それによって画像センサ１６が取り込むカメラビューの焦点を調整するために、レンズ１４のところの焦点モータ４２を制御するように構成されている。自動焦点コントローラは、中央処理装置２０によって制御されると、異なるレンズ距離設定における複数の焦点値のサンプリングを可能にするために、カメラのレンズ距離を異なるレンズ距離値に繰り返し設定するように構成され得る。レンズ距離は、カメラの焦点面とカメラレンズの１つまたは複数のレンズとの空間的関係である。したがって、レンズ距離は、カメラ／レンズの焦点が近くの物体から遠く離れた物体に、またその逆に変更されるときに変更されるレンズの特性である。
【００２９】
焦点値計算器３４は、現在のレンズ距離の焦点値を計算するように構成されている。焦点値計算器は、実質的にカメラビュー全体の焦点値を計算するように構成されていてもよく、焦点領域ごとの焦点値を計算するように構成されていてもよい。領域ごとの焦点値が計算される場合には、これらの値が、実質的にカメラビュー全体の焦点値になるように累積され、または加算され得る。
【００３０】
関数推定器３２は、いくつかの焦点値・レンズ位置対を表す少なくとも２次の関数を推定するように構成されている。この装置の詳細な機能については後で開示する。
【００３１】
領域グループ化手段３０は、対応する機能の説明に際して後述するように、焦点領域をグループ化するように構成されている。
【００３２】
評価手段３６は、以下のプロセスにおいて説明するように焦点領域グループを評価するように構成されている。焦点領域選択器３８は、焦点領域グループの評価に基づいて少なくとも１つの焦点領域を選択するように構成されている。
【００３３】
一実施形態によれば、焦点が合うべき像を含む可能性の高い焦点領域を見つける方法が提供される。
【００３４】
焦点領域とはカメラビューの部分区域である。一実施形態では、カメラビュー１００について複数の焦点領域１０１〜１１５が定義される（図２参照）。各焦点領域は、相互に重なり合わずに実質的にカメラビュー全体をカバーするように構成されている。言い換えると、焦点領域の１区域をＰｉと呼ぶ場合、ｉは１からカメラビュー１００について定義された焦点領域１０１〜１１５の数までの値であり、各区域Ｐｉは互いに素であり、Ｐ１∪Ｐ２∪…∪Ｐｎ＝Ωであり、Ωは実質的に全カメラビュー区域に対応し、ｎは焦点領域１０１〜１１５の数である。
【００３５】
図２には、１５の焦点領域が描かれているが、本発明は、この焦点領域１０１〜１１５の数だけに限定されるとはみなされない。というのは、この図は一例を提示するにすぎず、焦点領域の数は、用途または実行環境あるいはその両方の特性によって変化し得ることを当業者は理解するはずだからである。
【００３６】
さらに、図２の焦点領域１０１〜１１５は長方形の区域として定義されている。焦点領域は、焦点領域の境界が隣接する焦点領域の境界を実質的になぞるものである限り、本質的にどんな形状のものでもよいことを当業者は理解するはずである。しかし、長方形または正方形の焦点領域を使用することの一利点は、それによって、各領域、および各領域に関連する数学の使用が容易になり、単純化されることである。
【００３７】
カメラビューにおいて焦点領域を選択する方法の一実施形態（図３ａ〜ｂ参照）では、プロセスはイベントに応答して開始される。すなわち、プロセスは、ステップ２０２で自動焦点動作のトリガを待つ。
【００３８】
より良い合焦点レンズ位置を見つけるために自動焦点アルゴリズムがトリガされる原因となるイベントまたは条件は、以下の手法のいずれか１つに従って実施され得る。
実質的に画像区域全体にわたって連続して焦点値を計算し、焦点値が初期「定常状態」焦点値に関連する所定の閾値より低い場合に、オートフォーカスがトリガされる。
実質的に画像区域全体にわたって連続して複数の領域における画素強度の平均値を計算する。任意の平均強度と初期平均強度の絶対差が所定の閾値より大きい場合、オートフォーカスがトリガされる。
カメラビューにおいて定義され、それによって画像区域においても定義された各焦点領域における焦点値を連続して計算する。焦点物体に属する焦点領域の焦点尺度がある所定の値を伴って変化する場合には、その焦点領域は、それがグループ化されている焦点物体から削除される（焦点領域の焦点物体へのグループ化については後述する）。次いで、画像ビューの焦点物体が再評価され、現在焦点が合っている焦点物体がもはや対象となる物体とみなされない場合には、オートフォーカスがトリガされる。この後の方の手順は最初に提示した手順と類似するが、画像区域の別々の各画素にではなく焦点領域レベルに作用し、グループ化された物体に関連する情報を利用する。
【００３９】
ステップ２０２で自動焦点動作がトリガされると、ステップ２０４で、前の自動焦点動作に関連する焦点物体がメモリに記憶されているかどうかが検査される。ステップ２０６でそのような焦点物体がメモリに存在する場合、プロセスは、ステップ２０８で、メモリ内の焦点物体にまだ焦点が合っているかどうか検査する。検査は、焦点物体の１つの焦点領域、複数の焦点領域、またはすべての焦点領域についての焦点値を計算し、その焦点値を所定の閾値と比較することによって行われ得る。焦点値は、例えば、勾配ベースの焦点尺度、相関ベースの焦点尺度、統計ベースの焦点尺度、変換ベースの焦点尺度、エッジベースの焦点尺度など、任意の公知の方法を使って計算することができる。詳細については、Ｙｉ  Ｙａｏ、Ｂｅｓｍａ  Ｒ．Ａｂｉｄｉ、およびＭｏｎｇｉ  Ａ．Ａｂｉｄｉ著、「Ｅｘｔｒｅｍｅ  Ｚｏｏｍ  Ｓｕｒｖｅｉｌｌａｎｃｅ：  Ｓｙｓｔｅｍ  Ｄｅｓｉｇｎ  ａｎｄ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ」、Ｊｏｕｒｎａｌ  ｏｆ  ｍｕｌｔｉｍｅｄｉａ、第２巻、第１号、２００７年２月を参照されたい。ステップ２１０で、焦点物体にまだ焦点が合っていると判定された場合には、プロセスは、ステップ２０２でオートフォーカストリガを待つ手順に戻る。しかし、焦点物体に焦点が合っていないと判定された場合には、焦点領域または焦点が合うべき焦点物体を選択するプロセスが開始される。焦点物体は１つまたは複数の焦点領域を含み得る。
【００４０】
選択するプロセスでは、まず、ステップ２１２で、カメラがレンズにレンズ距離を新しい値に設定するよう命令する。ステップ２１４で、現在のレンズ距離における実質的にカメラビュー全体の焦点値が計算される。計算された焦点値は記憶され、異なるレンズ距離について計算された複数の焦点値が利用可能になると、ステップ２１６で、異なるレンズ距離における、少なくとも２つの焦点値を含む焦点値のシーケンスが評価される。焦点値がレンズ距離の関数であるとみなされる場合には、焦点グラフを構築することができ、この焦点値グラフにおける最大値は、少なくとも隣接するレンズ距離に対してハイフォーカスのレンズ距離を表す。ステップ２１８で、焦点値シーケンスが、新しいレンズ距離値を設定するときに、そのような焦点値の高い点を通っていないことを示す場合には、プロセスはステップ２１２に戻り、レンズのための新しいレンズ距離値を設定する。
【００４１】
しかし、ステップ２１８で、焦点値シーケンスが、そのような焦点値の高い点を通過したことを示す場合には、プロセスは、カメラビューのその画像区域が、焦点値のシーケンスの最新のレンズ距離から前のレンズ距離までの範囲内のあるレンズ距離において焦点の合う特徴を有する可能性が最も高いことを見つける。ステップ２１２でレンズ距離を設定し、ステップ２１４で焦点値を計算し、ステップ２１６で焦点値シーケンスを評価し、次いで、ステップ２１８でシーケンスによって最高の焦点値が示されない限りステップ２１２に戻るプロセスは、例えば、直線探索として、あるいは山登りアルゴリズムによって実施され得る。プロセスのこの初期部分における結果の精度はあまり重要ではなく、むしろ、焦点モータおよび焦点合わせに関与する機械的部分の使用を控えるために、レンズ距離の変更をあまり使用せず、迅速に最高値の的を絞る。したがって、２つの連続するレンズ距離設定間の差はきわめて大きいものとすることができ、例えば、２つの連続するレンズ距離設定間の距離は、第１の高い焦点値が１５回以内のレンズ距離変更において示されるようなものとすることができる。
【００４２】
次に図３ｂを参照すると、極大焦点値が特定のレンズ距離範囲内にあるという表示が得られると、プロセスは引き続き、ステップ２２０で、各焦点領域から異なるレンズ距離にある少なくとも３つの焦点値に基づいて少なくとも２次の関数を推定する。次いで、ステップ２２２で、推定された関数の特性を使用して焦点領域が焦点領域グループにグループ化される。すなわち、焦点領域は、各焦点領域に関連する推定関数の特性に基づいて焦点領域グループにグループ化される。一実施形態によれば、焦点領域のグループ化は、各焦点領域の関数の極大焦点値のレンズ距離が与えられた場合の画像セグメント化法を使用し、焦点領域間のユークリッド距離を考慮して行われる。使用され得る１つの画像セグメント化法は、例えば、グラフ理論クラスタ化と呼ばれる方法であり、この方法については以下でさらに説明する。また、Ｄａｖｉｄ  Ａ．Ｆｏｒｓｙｔｈ（カリフォルニア大学バークリー校）およびＪｅａｎ  Ｐｏｎｃｅ（イリノイ大学アーバナ・シャンペーン校）著、「Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，Ａ  Ｍｏｄｅｒｎ  Ａｐｐｒｏａｃｈ」、３１７〜３２３頁、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、２００３に記載されている。
【００４３】
ステップ２２２で、焦点領域のグループ化が行われると、結果として得られる焦点領域グループが評価され、評価に基づいてステップ２２４で、各焦点領域グループにレートまたは得点が与えられる。評価では、例えば、焦点領域グループに含まれる焦点領域の数など、焦点領域グループのサイズや、画像ビューの中心、ドア、窓までの距離、カメラから物体までの距離など、カメラビュー内の特定の点への焦点領域グループの近接性といった、焦点領域グループの特徴を考慮し得る。また評価では、グループが、人間の顔などといった特定の特徴を含むかどうかも考慮し得る。そのような特徴は、カメラリソースの存在するものを使って検出され得る。次いで、ステップ２２６で、いずれかの焦点領域グループが、他のどの焦点領域グループもそれより良い得点を取得し得ないようなサイズの得点を獲得しているかどうか確かめるために、新しく取得された焦点領域グループの得点、および、利用できる場合には、同じ焦点領域選択セッションにおける、前の焦点領域グループ化からの記憶された焦点領域グループと関連付けられた得点を検査する。検査ステップ２２６では、これまで、およびこのセッションにおいて識別されたすべての焦点領域グループを考慮することができ、決められた得点範囲が使用される場合には、たとえ焦点領域グループが得点の過半数を獲得していない場合でさえも、その焦点領域グループを選択することが可能になる。よって焦点領域グループは、まだ配分されていない得点がある１つの焦点領域グループの得点より小さい場合に選択され得る。
【００４４】
一実施形態によれば、正規化された得点システムが使用され、得点範囲が１である場合、焦点領域グループは、
Ｓｃｏｒｅｆｏｃｕｓ  ｒｅｇｉｏｎ  ｇｒｏｕｐ＞１−ΣＳｃｏｒｅｏｔｈｅｒ  ｆｏｃｕｓ  ｒｅｇｉｏｎ  ｇｒｏｕｐｓ
であれば選択される。
【００４５】
またこれは、焦点領域グループの得点が０．５より大きい場合に焦点領域グループが選択されることも意味するはずである。
【００４６】
ステップ２２８で、どの焦点領域グループも選択されるのに十分な得点を獲得していない場合には、プロセスは引き続き、ステップ２３０で、識別された１つまたは複数の焦点領域グループの得点を記憶する。次いでプロセスは、選択を考慮すべき別の焦点領域グループを識別するために、ステップ２１２に戻る。
【００４７】
しかし、ステップ２２８で、焦点領域グループが十分な得点を獲得している場合には、その焦点領域グループが選択され、ステップ２３２で選択された焦点領域グループとして出力される。この手順の一利点は、プロセスが、得点を考慮して、特定の焦点領域グループが打ち負かされないことが明らかになり次第その焦点領域グループを選択するため、画像ビューに存在するすべての焦点領域グループを見つけ、解析し、評価しなくてもすむことである。一実施形態では、焦点領域グループ全体を出力する必要はなく、選択された焦点領域グループに含まれる焦点領域のうちの１つまたは一部を出力しさえすればよい。そのような１つまたは複数の焦点領域の選択は、最高の焦点値、焦点領域グループ内の最も中央の位置などを有する１つまたは複数の領域を選択するように実施され得る。
【００４８】
さらに、選択された焦点領域グループ、または１つもしくは複数の焦点領域は、カメラのレンズ距離を微調整するように構成された焦点微調整プロセス（図３ｃ参照）に出力され得る。一実施形態によれば、この微調整プロセスではまず、ステップ２４０で、選択された焦点領域グループの中からの選択された焦点領域の、または選択された焦点領域グループの中からの複数の焦点領域の推定された焦点値関数の極大に基づいて、カメラのための初期レンズ距離を設定する。次いで再度、ステップ２４２のカメラのレンズ距離を変更するプロセスでまず、カメラのレンズ距離を新しい値に設定する。次いで、ステップ２４３で、現在のレンズ距離における現在のカメラビューの焦点値が計算される。計算された焦点値は記憶され、異なるレンズ距離について計算された複数の焦点値が利用可能になると、ステップ２４４で、異なるレンズ距離における、少なくとも２つの焦点値を含む焦点値のシーケンスが評価される。各レンズ距離における各焦点値を表すグラフを考慮すると、この焦点値グラフの最高値は、少なくとも隣接するレンズ距離に対してハイフォーカスを表すレンズ距離を示す。ステップ２４６で、焦点値シーケンスが、新しいレンズ距離値を設定するときに、そのような焦点値の高い点を通っていないことを示す場合には、プロセスはステップ２４２に戻って、レンズのための新しいレンズ距離値を設定する。微調整プロセスでは、２つの連続して設定されたレンズ距離値間の差は、ステップ２１２で設定された２つのレンズ距離値間の差より小さい。一実施形態によれば、微調整の２つの連続する設定レンズ距離値間の差は、ステップ２１２で設定された２つの連続するレンズ距離値間の差の１／１０から１／１００である。微調整のステップ、ステップ２４２〜２４６は、例えば、山登りアルゴリズムや直線探索を使って実施され得る。
【００４９】
ステップ２４６で焦点値関数の極大が示される場合には、現在のカメラビューについての適切なレンズ距離が見つかっており、ステップ２４８でレンズ距離が設定される。レンズ距離は、最大の焦点値、すなわち、最新の値の前に計算された焦点値に対応する焦点値に設定されてもよく、２つの最新の焦点値のレンズ距離の間のレンズ距離に設定されてもよい。レンズ距離が設定され、それによるカメラビューの焦点が再度正しく合わせられると、プロセスはステップ２０２に戻り、新しい焦点設定をトリガする次のイベントを待つ。
【００５０】
示唆される最大焦点値を見つける最初の反復プロセス、すなわち図３ａのステップ２１２〜２１８は、一実施形態によれば、可能性の高い最大焦点値の範囲内にあるレンズ距離値を迅速に識別するために、少数回の反復だけを使って実施される。これは、ステップ４０２で、まずレンズ距離を適切な開始探索値ｘ０に設定する図４のプロセスによって実現され得る。開始探索値は、プロセスが自動焦点セッションにおいて最初に実行されているかどうか、それともプロセスが焦点領域グループの識別から戻ったが、まだいずれも選択することができていないかどうかに応じて変化し得る。プロセスが自動焦点セッションにおいて最初に実行される場合には、レンズ距離開始値はカメラに非常に近いレンズ距離に設定することができ、プロセスが焦点領域グループの識別から戻るときには、レンズ距離開始値ｘ０は、記憶されたレンズ距離値に、連続するレンズ距離間の事前設定された距離を加えた値に設定することができ、この連続するレンズ距離間の距離を以下では刻み距離ｓと呼ぶ。刻み距離の値は反復の間に変化してもよく、現在のレンズ距離ｘにおける焦点値ｆ（ｘ）が実質的に０である、すなわち焦点がない場合、ステップ４０４で、ｓは、計算された焦点値ｆ（ｘ）が実質的に０でない場合より大きい刻みｓｌａｒｇｅを表す。実質的に０でないｆ（ｘ）についての刻み距離を、刻み４０５でｓｍｅｄｉｕｍと呼ぶ。一実施形態によれば、刻み距離ｓｍｅｄｉｕｍは、より大きい刻みｓｌａｒｇｅの距離の約半分である。しかし、ｓｍｅｄｉｕｍ刻み距離は、結果的に、必要とされる刻み数が少なくてすみ、多項式の推定のために最大値の前後の十分な焦点値が登録されることになる任意の値のものとすることができることを当業者は理解するものである。
【００５１】
次いでプロセスは引き続き、ステップ４０７で、最初の反復ｉ＝１のためのレンズ距離を、前のレンズ距離値ｘｉ−１に刻み距離ｓを加えたもの、すなわちｘｉ＝ｘｉ−１＋ｓに対応する値に設定する。最初の反復では、これはｘ１＝ｘ０＋ｓに対応する。ステップ４０８で、新しいレンズ距離の焦点値ｆ（ｘｉ）が、前述の焦点尺度計算方式の１つを使って計算され、記録され、次いで、ステップ４０４、４０５と同様にステップ４１０、４１１で、刻み距離ｓの大きさを求めるためにこの焦点値が検査される。次いで、ステップ４０７でレンズ距離を設定するステップから刻みサイズｓを決定するステップまでが、ステップ４１２で、最新の焦点値ｆ（ｘｉ）が前の焦点値ｆ（ｘｉ−１）より小さくなるまで、すなわちｆ（ｘｉ）＜ｆ（ｘｉ−１）になるまで繰り返される。これが満たされると、プロセスは、最高値が見つかったことを示し、図３ｂのステップ２２０に進むことができる。
【００５２】
最終的な焦点合わせを行うのに使用される微調整プロセス、すなわち図３ｃのステップ２４０〜２４６は、示唆される最大焦点値を見つけるプロセスと同様に実施され得る。しかし、微調整プロセスの目的は、１つの焦点領域または焦点領域のグループの可能な限り最善の最大焦点値とレンズ距離に非常に近い最大焦点値とレンズ距離を見つけることである。前に推定された１つまたは複数の関数から極大を計算することによって得られる最大焦点値は実際の最大値に近い可能性が高いため、微調整プロセスはきわめて単純なものとすることができる。
【００５３】
そのような微調整プロセスが図５に示されており、このプロセスは、ステップ５０２で、初期レンズ距離ｙ０を、選択された焦点領域の推定された関数の極大によって与えられるレンズ距離値に、または選択された焦点領域グループに含まれる焦点領域のレンズ距離値から計算された平均レンズ距離値に設定するステップから開始し、レンズ距離ｙ０の焦点値ｆ（ｙ０）が計算される。レンズ距離刻みｓは、ステップ５０４で、結果として得られる焦点において許容できる精度を達成するために、小さい値の刻み値ｓｓｍａｌｌに設定される。
【００５４】
次いで、初期レンズ距離を刻み値ｓだけ増分または減分することにより第２のレンズ距離が設定される。プロセスの理解を容易にするために、初期レンズ距離が増分される実施態様だけを示す。よってステップ５０６で、第２のレンズ距離ｙ１はｙ１＝ｙ０＋ｓに設定される。次いで、レンズ距離を最大焦点値のレンズ距離に徐々に近づけるのにレンズ距離を減らすべきかそれとも増やすべきか判定するために、初期のレンズ距離ｙ０と第２のレンズ距離ｙ１とにおける焦点値ｆ（ｙ０）、ｆ（ｙ１）が比較される。第２のレンズ距離ｙ１は初期レンズ距離ｙ０より大きくなるように選択されたため、方向は、第２の焦点値ｆ（ｙ１）を第１の焦点値ｆ（ｙ０）と比較することによって決定され得る。
【００５５】
第２の焦点値ｆ（ｙ１）が第１の焦点値ｆ（ｙ０）より小さい場合には、最大焦点値はより小さいレンズ距離値のところに位置し、よって、次の焦点値計算のためのレンズ距離値は、最初の２つのレンズ距離値ｙ１、ｙ０より小さくなるはずであり、そうでない場合には、最大焦点値はより大きいレンズ距離値のところに位置し、よって、次の焦点値計算のためのレンズ距離値は最初の２つのレンズ距離値ｙ１、ｙ０より大きくなるはずである。これはステップ５０８で検査され、刻み方向は、レンズ距離を減らすべきである場合にはステップ５１０で変数ｄを負の値に、レンズ距離を増やすべきである場合にはステップ５１２で正の値に設定することにより、ステップ５１０またはステップ５１２で設定される。
【００５６】
ステップ５１４で、異なるレンズ距離および焦点値を識別するのに使用されるカウンタｉが１に設定され、次いでカウンタは、ステップ５１６で、次の焦点値が処理されるべきことを示すために１増分される。次いで、ステップ５１８で、前のレンズ距離ｙｉ−１に、方向変数ｄとかけ合わされた刻み距離ｓを加えることにより新しいレンズ距離ｙｉが計算される。ステップ５２０で、レンズ距離ｙｉを使って新しい焦点値ｆ（ｙｉ）が計算される。
【００５７】
次いで、ステップ５２２で、前の値より小さい焦点値が見つかる、すなわちｆ（ｙｉ）＜ｆ（ｙｉ−１）になるまで、ステップ５１６のカウンタｉを増分するステップからのプロセスが繰り返される。そのような焦点値が見つかると、ステップ５２４で、その焦点値を最大焦点値とし、そのレンズ距離をカメラで使用されるべきレンズ距離とする。次にプロセスは図３ｃのステップ２４８に戻って、カメラのレンズ距離を設定する。
【００５８】
パッシブオートフォーカスを実施するためには、焦点値の計算は、前述のように、例えば、勾配ベースの方法、相関ベースの方法、統計ベースの方法、変換ベースの方法、およびエッジベースの方法のうちのいずれか１つなど、任意の種類の焦点尺度に従って行われ得る。
【００５９】
勾配ベースの方法は、微分または高域フィルタにより画像勾配を推定することを伴う。そのような勾配法の１つが、Ｔｅｎｅｎｂａｕｍｇｒａｄｉｅｎｔと呼ばれる方法である。「Ａｃｃｏｍｍｏｄａｔｉｏｎ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」、Ｊ．Ｍ．Ｔｅｎｅｎｂａｕｍ博士号論文、コンピュータサイエンス学部、スタンフォード大学、カリフォルニア州スタンフォード、１９７０年を参照されたい。この方法は、画像を、水平方向と垂直方向のＳｏｂｅｌカーネルを用いてそれぞれ畳み込み、それらの二乗を合計して焦点値を形成することに基づくものである。
【００６０】
別の可能な方法は、ラプラシアンフィルタまたは１次元差分計算の使用である。さらに別の可能な方法は、Ｓ．Ｌｅｅ、Ｙ．Ｋｕｍａｒ、Ｊ．Ｃｈｏ、Ｓ．Ｌｅｅ、およびＳ．Ｋｉｍにより、画像の離散コサイン変換における基本的な周波数の決定から導出された、中間周波数離散コサイン変換演算子（Ｍｉｄ  ｆｒｅｑｕｅｎｃｙ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ  Ｏｐｅｒａｔｏｒ）と呼ばれるフィルタカーネルを使用するものである。「Ｅｎｈａｎｃｅｄ  Ａｕｔｏｆｏｃｕｓ  Ａｌｇｏｒｉｔｈｍ  Ｕｓｉｎｇ  Ｒｏｂｕｓｔ  Ｆｏｃｕｓ  Ｍｅａｓｕｒｅ  ａｎｄ  Ｆｕｚｚｙ  Ｒｅａｓｏｎｉｎｇ」、Ｓａｎｇ−Ｙｏｎｇ  Ｌｅｅ、Ｙｏｇｅｎｄｒａ  Ｋｕｍａｒ、Ｊｉ−ｍａｎ  Ｃｈｏ、Ｓａｎｇ−Ｗｏｎ  Ｌｅｅ、およびＳｏｏ−Ｗｏｎ  Ｋｉｍ著、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ、第１８巻、第９号、２００８年９月を参照されたい。
【００６１】
別の方法は、単純な乗算により、隣接する画素間の依存度の量を与える相関ベースの尺度によって与えられる。一手法は、自己相関関数の１サンプルを計算するものとすることができる。「Ｅｖａｌｕａｔｉｏｎ  ｏｆ  ａｕｔｏｆｏｃｕｓ  ｆｕｎｃｔｉｏｎｓ  ｉｎ  ｍｏｌｅｃｕｌａｒ  ｃｙｔｏｇｅｎｅｔｉｃ  ａｎａｌｙｓｉｓ」、Ａ．Ｓａｎｔｏｓ、Ｃ．Ｏｒｔｉｚ  Ｄｅ  Ｓｏｌｏｒｚａｎｏ、Ｊ．Ｊ．Ｖａｑｕｅｒｏ、Ｊ．Ｍ．Ｐｅｎａ、Ｎ．Ｍａｌｐｉｃａ、およびＦ．Ｄｅｌ  Ｐｏｚｏ著、Ｊｏｕｒｎａｌ  ｏｆ  Ｍｉｃｒｏｓｃｏｐｙ、第１８８巻、第３部、１９９７年１２月、２６４〜２７２頁を参照されたい。Ｐ．Ｔ．ＹａｐおよびＰ．Ｒａｖｅｅｎｄｒａｎが提案する別の方法は、画素とチェビシェフモーメントとの相関を利用するものである。「Ｉｍａｇｅ  ｆｏｃｕｓ  ｍｅａｓｕｒｅ  ｂａｓｅｄ  ｏｎ  Ｃｈｅｂｙｓｈｅｖ  ｍｏｍｅｎｔｓ」、Ｐ．Ｔ．ＹａｐおよびＰ．Ｒａｖｅｅｎｄｒａｎ著、ＩＥＥ  Ｐｒｏｃｅｅｄｉｎｇｓ  −  Ｖｉｓｉｏｎ，Ｉｍａｇｅ，ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、第１５１巻、第２号、２００４年４月を参照されたい。
【００６２】
統計ベースの方法の例が、階調分散といった他のヒストグラムベースの尺度に対し、焦点および露出に関して良好な識別力を有することがＳｈｉｒｖａｉｋａｒによって示された絶対中心モーメントである。「Ａｎ  Ｏｐｔｉｍａｌ  Ｍｅａｓｕｒｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｆｏｃｕｓ  ａｎｄ  Ｅｘｐｏｓｕｒｅ」、Ｍｕｋｕｌ  Ｖ．Ｓｈｉｒｖａｉｋａｒ著、電気工学部、テキサス大学タイラー校、米国テキサス州タイラー７５７９９、２００４年を参照されたい。これらはどちらも、画素値と全画素値の平均値との差を合計することを伴う。
【００６３】
別の単純な尺度は、最大階調レベルと最小階調レベルの差として定義される。「Ｅｘｔｒｅｍｅ  Ｚｏｏｍ  Ｓｕｒｖｅｉｌｌａｎｃｅ：  Ｓｙｓｔｅｍ  Ｄｅｓｉｇｎ  ａｎｄ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ」、Ｙｉ  Ｙａｏ、Ｂｅｓｍａ  Ｒ．Ａｂｉｄｉ、およびＭｏｎｇｉ  Ａ．Ａｂｉｄｉ著、Ｊｏｕｒｎａｌ  ｏｆ  ｍｕｌｔｉｍｅｄｉａ、第２巻、第１号、２００７年２月を参照されたい。また、エントロピーに基づくいくつかの尺度もあり、例えば、画像階調の相対度数のエントロピー（「Ｅｖａｌｕａｔｉｏｎ  ｏｆ  ａｕｔｏｆｏｃｕｓ  ｆｕｎｃｔｉｏｎｓ  ｉｎ  ｍｏｌｅｃｕｌａｒ  ｃｙｔｏｇｅｎｅｔｉｃ  ａｎａｌｙｓｉｓ」、Ａ．Ｓａｎｔｏｓ、Ｃ．Ｏｒｔｉｚ  Ｄｅ  Ｓｏｌｏｒｚａｎｏ、Ｊ．Ｊ．Ｖａｑｕｅｒｏ、Ｊ．Ｍ．Ｐｅｎａ、Ｎ．Ｍａｌｐｉｃａ、およびＦ．Ｄｅｌ  Ｐｏｚｏ著、Ｊｏｕｒｎａｌ  ｏｆ  Ｍｉｃｒｏｓｃｏｐｙ、第１８８巻、第３部、１９９７年１２月、２６４〜２７２頁参照）や、統計ベースの方法と頻度ベースの方法との組み合わせである、最近提案された、画像上の正規化コサイン変換上でベイズエントロピー関数を使用する方法（「Ａ  Ｂａｙｅｓｓｐｅｃｔｒａｌ  −  ｅｎｔｒｏｐｙ−ｂａｓｅｄ  ｍｅａｓｕｒｅ  ｏｆ  ｃａｍｅｒａ  ｆｏｃｕｓ  ｕｓｉｎｇ  ａ  ｄｉｓｃｒｅｔｅ  ｃｏｓｉｎｅ  ｔｒａｎｓｆｏｒｍ」、Ｍａｔｅｊ  Ｋｒｉｓｔａｎ、Ｊａｎｅｚ  Ｐｅｒｓ、Ｍａｔｅｊ  Ｐｅｒｓｅ、Ｓｔａｎｉｓｌａｖ  Ｋｏｖａｃｉｃ著、電気工学部、リュブリャナ大学、Ｔｒｚａｓｋａ  ２５，１００１  Ｌｊｕｂｌｊａｎａｍ，Ｓｌｏｖｅｎｉａ、２００５年参照）である。
【００６４】
さらに、変換ベースの方法は、ＦＦＴ、ＤＣＴまたはウェーブレットを用いて画像を周波数領域に変換し、次いで、ほとんどの場合には、選択された周波数係数の集合のエネルギーを測定することに基づくものである。「Ｅｘｔｒｅｍｅ  Ｚｏｏｍ  Ｓｕｒｖｅｉｌｌａｎｃｅ：  Ｓｙｓｔｅｍ  Ｄｅｓｉｇｎ  ａｎｄ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ」、Ｙｉ  Ｙａｏ、Ｂｅｓｍａ  Ｒ．Ａｂｉｄｉ、およびＭｏｎｇｉ  Ａ．Ａｂｉｄｉ著、Ｊｏｕｒｎａｌ  ｏｆ  ｍｕｌｔｉｍｅｄｉａ、第２巻、第１号、２００７年２月、ならびに「Ｗａｖｅｌｅｔ−ｂａｓｅｄ  ａｕｔｏｆｏｃｕｓｉｎｇ  ａｎｄ  ｕｎｓｕｐｅｒｖｉｓｅｄ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｍｉｃｒｏｓｃｏｐｉｃ  ｉｍａｇｅｓ」、Ｇｅ．ＹａｎｇおよびＮｅｌｓｏｎ，Ｂ．Ｊ．著、「Ｉｎｔｅｌｌｉｇｅｎｔ  Ｒｏｂｏｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ，２００３，（ＩＲＯＳ  ２００３），Ｐｒｏｃｅｅｄｉｎｇｓ，２００３  ＩＥＥＥ／ＲＳＪ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ」、２１４３〜２１４８頁を参照されたい。
【００６５】
エッジベースの尺度は、コントラスト、向き、および縮尺としてのパラメータを含め、ステップエッジがどのように見えるかの理想モデルを利用する。「Ｂｌｉｎｄ  Ｉｍａｇｅ  Ｑｕａｌｉｔｙ  Ａｓｓｅｓｓｍｅｎｔ」、Ｘｉｎ  Ｌｉ著、ディジタルビデオ部、シャープアメリカ研究所、２００２年を参照されたい。
【００６６】
焦点領域または焦点領域のグループを選択する方法は、カメラビューの焦点領域ごとに少なくとも２次の関数を推定する動作を含む（図３ｂのステップ２２０参照）。関数の推定は、いくつかの異なる方法を使って行われ得る。これらの方法には１つの共通点がある。つまり、これらの方法は複数の焦点値・レンズ距離対、すなわち、特定のレンズ距離において計算された焦点値を使用する。したがって、システムは、少なくとも一時的にそのような対を記憶する必要がある。
【００６７】
方法のうちの１つは、例えば以下の例に示すような２次多項式などの多項式を用いて点を補間することを含む。たとえこの例が２次の多項式について提示されているとしても、より高次の多項式も補間され得ることを当業者は理解する。この例では、３つの最新のレンズ距離［ｘ１，ｘ２，ｘ３］が対応する計算された焦点値［ｙ１，ｙ２，ｙ３］を有する。これらの点は、ある２次多項式、すなわち、
ｙｉ＝ａ１ｘｉ２＋ａ２ｘｉ＋ａ３
を用いて補間されるべきものである。
【００６８】
これにより以下の一次方程式システムが導かれる。
2012093754.tif 000003
【００６９】
本明細書では、レンズ位置行列をＸで表し、係数行列をａで表し、焦点値行列をｙで表す。あらゆるレンズ位置ｘｉ≧１が一意であるものと仮定すると、明らかに、Ｘは最大階数を有し、したがって可逆である。係数は次式によって得られる。
ａ＝Ｘ−１ｙ
【００７０】
その場合、任意のレンズ位置の焦点値は、これらのサンプルに十分に近いものとして推定され得る。さらに、可能な焦点ピークの位置
2012093754.tif 000004
を推定する可能な方法は自明である。
【００７１】
この方法はより高次の多項式において適用できるが、ルート
2012093754.tif 000005
の計算は４次以上ではさほど自明ではない。多項式の次数ｎは、使用されるサンプルの数がｎ＋１であることを必要とすることに留意されたい。
【００７２】
関数を推定する別の方法が、最小二乗適合ベースの方法である。この方法は、やはり２次多項式を例とする多項式を、データの集合に適合させることを伴う。しかし、この方法では、システムが過剰決定される。以下の例では、４つの最新のレンズ距離［ｘ１，ｘ２，ｘ３，ｘ４］が対応する計算された焦点値［ｙ１，ｙ２，ｙ３，ｙ４］を有し、結果として以下の過剰決定システムが生じる。
2012093754.tif 000006
【００７３】
行列形式ではこれは以下のように書くことができる。
Ｘａ＝ｙ
【００７４】
これは以下のように、Ｘの転置とかけ合わせることにより解くことができる。
ＸＴｙ＝ＸＴＸａ
【００７５】
ａについて解くと、
ａ＝（ＸＴＸ）−１ＸＴｙ
になる。
【００７６】
逆は、数値的に、またはうまく適合される場合には直接計算することができる。ｘ位置がｏｒｉｇｏの周りで平行移動され、場合によってはその周りで鏡映される場合（ｘ位置が等間隔に置かれている場合）には、直接解が容易に得られる。この種のＬＳＱ適合は、焦点値ｙから計算される多項式までの垂直オフセットを最小化する。よってある程度の雑音低減が加えられる。
【００７７】
使用され得るさらに別の方法は、スプラインを使って点を補間するものである。これは、直接的な一意の多項式適合の拡張である。その考え方は、データ点の集合全体を、それぞれが次数ｎの多項式によって補間されるｎ＋１点からなるセグメントに分割するものである。これは、各セグメントの最後の点が次のセグメントの最初の点でもあり、そのため、２つの異なる多項式によって補間されることを意味する。
【００７８】
一般的なスプラインは、各セグメントが３次多項式によって補間される３次スプラインと、各セグメントが多項式によって補間される２次スプラインである。以下の式において、ｘｉはレンズ距離を表し、ｙｉは対応する焦点値を表す。すなわち、表記法は上記の多項式変形の例で使用した表記法に対応する。３次スプラインは以下の特性を有する。
2012093754.tif 000007
式中、
Ｓｉ＝ａｉｘ３＋ｂｉｘ２＋ｃｉｘ＋ｄｉ
である。
【００７９】
この問題は、各Ｓｉが４個の未知数［ａｉ，ｂｉ，ｃｉ，ｄｉ］を有するため、４Ｎ個の未知変数を有する。スプラインがＮ＋１個の点を補間する場合には、結果として４Ｎ−２個の条件になる。というのは、
０≦ｉ≦Ｎ−１ではＳｉ（ｘｉ）＝ｙｉであり、ＳＮ−１（ｘＮ）＝ｙＮはＮ＋１個の条件をもたらし、
１≦ｉ≦Ｎ−１についてのＳｉ−１（ｘｉ）＝Ｓｉ（ｘｉ）はＮ−１個の条件をもたらし、
１≦ｉ≦Ｎ−１についてのＳ’ｉ−１（ｘｉ）＝Ｓ’ｉ（ｘｉ）はＮ−１個の条件をもたらし、
１≦ｉ≦Ｎ−１についてのＳ’’ｉ−１（ｘｉ）＝Ｓ’’ｉ（ｘｉ）はＮ−１個の条件をもたらすからである。
【００８０】
この問題を解くには、２つの追加条件を課す必要がある。自然３次スプラインは以下の２つの境界条件を含む。
Ｓ’’（ｘ０）＝Ｓ’’（ｘＮ）＝０
【００８１】
ここで、ｈｉ＝ｘｉ＋１−ｘｉ、およびｚｉ＝Ｓ’’（ｘｉ）とする。この問題の解は以下のように得られる。
2012093754.tif 000008
式中、
2012093754.tif 000009
である。
【００８２】
ｚｉ値は、スプラインの再帰的性格から得られる三重対角行列式を解くことにより求められる。
2012093754.tif 000010
式中、
2012093754.tif 000011
である。
【００８３】
Ｈは三重対角であるため、Ｈの逆は比較的高速で計算することができる。
【００８４】
使用され得る別の方法は平滑化スプラインである。これは、スプライン関数を平滑化し、それによってデータ内の雑音を抑制する方法である。２つの連続した２次導関数を用いた平滑スプラインは、
2012093754.tif 000012
によって得られ、式中、λ≧０は調整平滑化パラメータである。λ→０の場合、式は非平滑スプラインに収束する。逆に、λ→∞の場合、式は最小二乗推定値に収束する。この最小化式は、無限次元関数空間上で定義されるが、明示的な有限次元の一意の解、すなわち、ｘｉの一意の値に節点のある自然３次スプラインを有する。
【００８５】
これを解くために、スプラインを以下のように書き換える。
2012093754.tif 000013
式中、Ｎｊ（ｘ）（１≦ｊ≦Ｎ）は、自然スプラインの群を表す基底関数のＮ次元集合である。
【００８６】
行列形式では、この最小化式は以下のように書くことができる。
2012093754.tif 000014
式中、｛Ｎ｝ｉｊ＝Ｎｊ（ｘｉ）であり、｛ΩＮ｝ｊｋ＝∫Ｎ’’ｊ（ｘ）Ｎ’’ｋ（ｘ）ｄｘである。最終的には、この平滑スプラインは以下のように書くことができる。
2012093754.tif 000015
【００８７】
次いで、適切なλが選択される必要がある。λの自動選択のための技法もあるが、ＳＮＲ（信号対雑音比）が分かっているため、この選択はＳＮＲに基づくものである。
【００８８】
一実施形態によれば、焦点領域を選択する方法と、オートフォーカスを行う方法とにおいて焦点領域のグループ化が行われる（図３ｂのステップ２２２など）。使用され得るグループ化の一方法は、前述のように、グラフ理論クラスタ化と呼ばれる方法である。この方法は通常、ディジタル画像における要素、例えば人物、動物、物体などのセグメント化に使用される。
【００８９】
グループ化の方法は、少なくとも、焦点領域ごとに計算された極大と領域間のユークリッド距離とを使って、画像ビューの焦点領域に関して適用される。
【００９０】
グループ化の方法では、Ｇ＝（Ｖ，Ｅ）を加重グラフとする。すなわち、ある重みが、２つの頂点ＶｋおよびＶｌを結ぶ各辺Ｅｉと関連付けられる。グラフは完全である、すなわち、互いに異なる頂点のあらゆる対が一意の辺によって連結されているものと仮定する。さらに、グラフは、頂点ごとの自己ループで拡張される。あらゆる頂点が一意の指数で表される場合、そのグラフは以下の正方対称行列で表すことができる。
2012093754.tif 000016
【００９１】
行列の第ｉ、ｊの要素は、グラフ内の第ｉと第ｊの頂点の間の重みに対応する。上記の画像セグメント化法は、例えば、本発明において、各頂点を画像内の各焦点領域に対応させることによって実施され得る。この場合、グラフ内の重みは、焦点領域間の、親和性尺度と呼ばれる一種の「類似性尺度」とみなされる。この親和性尺度は、それについて焦点領域がクラスタとして一緒にグループ化され、焦点領域グループを形成すべき基礎をなす。
【００９２】
異なる目的にはそれぞれ異なる親和性尺度が使用されるが、共通の特性として、類似の頂点は大きい重みを生じ、異なる頂点は小さい重みを生じるはずである。２つの異なる親和性尺度が同時に使用されてもよい。一実施形態では、距離による親和性と強度による親和性が使用される。
【００９３】
距離尺度による親和性は、画像における空間的ユークリッド距離を含み得る。というのは、２つの近接した焦点領域は、２つの離れた焦点領域よりも同じ物体に属する可能性がより高いからである。親和性尺度として、以下のようにガウス分布に類似した指数形式が提案される。
2012093754.tif 000017
式中、ｘは第１の目的の焦点領域の位置ベクトルであり、ｙは他方の焦点領域の位置ベクトルである。
【００９４】
また、強度による親和性の使用もグループ化に関連性を有し得る。というのは、ある物体全体にわたる強度は類似する可能性が高いからである。この尺度にも以下のように同じ指数形式が使用される。
2012093754.tif 000018
式中、Ｉ（ｘ）は第１の目的の焦点領域の強度であり、Ｉ（ｙ）は他方の焦点領域の強度である。
【００９５】
変数σｄおよびσｌは分散である。
【００９６】
２つの異なる親和性尺度は次式により組み合わされる。
Ａ（ｘ，ｙ）＝Ａｄ（ｘ，ｙ）・Ａｌ（ｘ，ｙ）
【００９７】
ｗｎをカメラビューの第ｎのクラスタについての関連ベクトルとする。これは、ｗｎが焦点領域ごとに１つの要素を有すること、および、対応する焦点領域がクラスタにおいてグループ化されるべきである場合にはこれらの要素が大きいはずであることを意味する。目的関数を、
2012093754.tif 000019
として構築することができ、式中、Ａは親和性行列である。これは実際には、以下の形式の各項の和である。
（要素ｉとクラスタｎとの関連）×（ｉとｊとの親和性）×（要素ｊとクラスタｎとの関連）
【００９８】
あるクラスタに含まれる要素ではこのクラスタとの関連重みが大きいはずであり、含まれる要素間の親和性が大きいはずである。よって問題は、ｗｎに関して、
2012093754.tif 000020
に従って目的関数ｗｎＴＡｗｎを最大にすることになる。この問題は、以下のようにラグランジュ関数を構築し、これを最大にすることによって解かれる。
2012093754.tif 000021
【００９９】
微分により以下の固有方程式がもたらされる。
Ａｗｎ＝λｗｎ
【０１００】
明らかに、ｗｎはＡの固有ベクトルであり、そのため、第ｎのクラスタに属する要素は、第ｎの固有ベクトルのより大きい要素によって定義される。
2012093754.tif 000022
であるため、要素ｗｎ（ｉ）は、
2012093754.tif 000023
である場合に十分な大きさであるとみなすことができ、式中、Ｌはベクトルｗｎの長さである。最善のクラスタは、最大の固有値に対応する固有ベクトルから得られる。
【０１０１】
グラフ理論クラスタ化は、優位な固有値に対応する固有ベクトルの計算を伴う。そのような固有ベクトルを計算する単純なアルゴリズムをべき乗反復法といい、以下のように記述され得る。
2012093754.tif 000024
ｂｋは推定される固有ベクトルであり、Ｔは、推定がいつ十分に近くなるかを決定するある閾値である。
【０１０２】
図３ｂのステップ２２４に関連して論じた焦点領域グループの評価は、各焦点領域グループに得点を与える動作を含む。焦点領域グループの得点を計算する一方法は、正規化得点システムを使用するものである。しかし、当業者は理解するように、この用途に適用できる得点方法は複数ある。この特定の実施形態では、焦点領域グループのサイズおよびカメラビューにおける焦点領域グループの配置を使って正規化得点が計算される。また、計算にはカメラからの距離も含まれ得る。得点は、それが集計されて１になるという意味において正規化される。ある物体が識別され、得点を獲得するとき、可能な残りの物体の得点が何であるかは明らかである。Οをある焦点領域グループを形成する焦点領域の集合とする。さらに集合Ο⊆Ωである。その場合サイズ得点は以下のように計算される。
2012093754.tif 000025
式中、ｎは使用される焦点領域の数である。
【０１０３】
中心に位置する物体は、多くの場合、より関心の高いものであり、よって、中心得点が導出されてもよい。中心得点は、以下のように、焦点領域グリッドに、カメラビューの中心にピークを有する離散２次元ガウス分布をかけ合わせることにより計算され得る。
2012093754.tif 000026
【０１０４】
最終得点は、以下のように、サイズおよび中心得点の平均値として計算される。
2012093754.tif 000027
【符号の説明】
【０１０５】
１０    カメラ
１２    ハウジング
１４    レンズ
１６    画像センサ
４２    焦点モータ
１００    カメラビュー
１０１    焦点領域
１０２    焦点領域
１０３    焦点領域
１０４    焦点領域
１０５    焦点領域
１０６    焦点領域
１０７    焦点領域
１０８    焦点領域
１０９    焦点領域
１１０    焦点領域
１１１    焦点領域
１１２    焦点領域
１１３    焦点領域
１１４    焦点領域
１１５    焦点領域
１０１    焦点領域
【図１】
2012093754.tif 000028
【図２】
2012093754.tif 000029
【図３ａ】
2012093754.tif 000030
【図３ｂ】
2012093754.tif 000031
【図３ｃ】
2012093754.tif 000032
【図４】
2012093754.tif 000033
【図５】
2012093754.tif 000034
【外国語明細書】
2012093754000001.pdf
2012093754000002.pdf
2012093754000003.pdf
2012093754000004.pdf