(57)【要約】  オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減するための方法および撮像デバイスが開示される。たとえば、1つの方法は、撮像デバイスを用いて、シーンを描写する複数のフレームを取り込むステップと、シーンのオブジェクトに対応する少なくとも1つのフレームのシーンの一部を選択するステップと、シーンの変化を検出するステップとを含む。方法は、複数のフレームの各々についてオブジェクトと撮像デバイスとの間の距離を検出するステップと、シーンが連続的に変化している間に、各フレームの決定された距離に基づいて各フレームに関するレンズ位置を決定するステップと、各フレームのレンズ位置に向けてレンズを移動させるステップとをさらに含む。方法はまた、シーンが安定していると決定するステップと、シーンが安定しているという決定に基づいてオートフォーカスサーチ動作を開始するステップとを含む。
2018517165.tif 000002
【特許請求の範囲】
【請求項１】
オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減する方法であって、
撮像デバイスを用いて、シーンを描写する複数のフレームを取り込むステップと、
前記シーンのオブジェクトに対応する少なくとも1つのフレームの前記シーンの一部を選択するステップと、
前記シーンの変化を検出するステップと、
前記複数のフレームの各々について前記オブジェクトと前記撮像デバイスとの間の距離を検出するステップと、
各フレームの前記決定された距離に基づいて各フレームに関するレンズ位置を決定するステップと、
前記シーンが連続的に変化する間に各フレームの前記レンズ位置に向けて前記レンズを移動させるステップと、
前記シーンが安定していると決定するステップと、
前記シーンが安定しているという前記決定に基づいてオートフォーカスサーチ動作を開始するステップと
を備える、方法。
【請求項２】
前記撮像デバイスが、連続オートフォーカスモードで動作するように構成される、請求項1に記載の方法。
【請求項３】
前記複数のフレームを監視するステップをさらに備え、前記複数のフレームを監視する前記ステップが、各フレームに関する変化量を決定するステップと、各フレームに関する前記変化量をしきい値変化量と比較するステップとを含む、請求項1に記載の方法。
【請求項４】
前記変化量が、ルーマ量、動き量、および距離量のうちの少なくとも1つである、請求項2に記載の方法。
【請求項５】
前記シーンの変化を検出する前記ステップが、前記監視するステップに基づき、前記シーンの変化が、少なくとも1つのフレームに関する前記変化量が前記しきい値変化量よりも大きいときに検出される、請求項2に記載の方法。
【請求項６】
各フレームに関するレンズ位置を決定する前記ステップが、
距離センサによって各フレームに関する前記検出された距離を報告するステップと、
各フレームに関する前記検出された距離を受信するステップと、
アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つに基づいて、各フレームに関する前記検出された距離を各フレームに関するレンズ位置に変換するステップと
をさらに備える、請求項1に記載の方法。
【請求項７】
前記レンズ位置が、前記最適フォーカスレンズ位置の推定値である、請求項1に記載の方法。
【請求項８】
前記最適フォーカスレンズ位置の前記推定に基づいて近境界限界および遠境界限界を決定するステップをさらに備える、請求項7に記載の方法。
【請求項９】
前記レンズ位置に向けて前記レンズを移動させる前記ステップが、前記近境界に向けて前記レンズを移動させるステップをさらに備える、請求項8に記載の方法。
【請求項１０】
オートフォーカスサーチ動作を開始する前記ステップが、
精密オートフォーカスサーチ動作を実行するステップと、
実際の最適フォーカスレンズ位置を決定するステップと
をさらに備え、前記実際の最適フォーカスレンズ位置が、前記推定された最適フォーカスレンズ位置に近接し、前記近境界限界と前記遠境界限界との間である、請求項9に記載の方法。
【請求項１１】
撮像装置であって、
シーンからの光をレンズの焦点面に集束するように構成された前記レンズと、
前記シーンからの前記集束された光に基づいて前記シーンを描写する複数のフレームを取り込むように構成された、ほぼ前記レンズの前記焦点面に配置された画像センサと、
前記シーンのオブジェクトと前記撮像デバイスとの間の距離を検出するように構成された距離センサと、
前記画像センサと前記レンズとに動作可能に結合されたプロセッサと、
前記プロセッサに動作可能に結合されたメモリ構成要素と
を備え、前記プロセッサおよび前記メモリ構成要素が集合的に、
前記シーン内の前記オブジェクトに対応する少なくとも1つのフレームの前記シーンの一部を選択し、
前記シーンの変化を検出し、
各フレームの前記決定された距離に基づいて各フレームに関するレンズ位置を決定し、
前記シーンが連続的に変化する間、各フレームの前記レンズ位置に向けて前記レンズを移動させ、
前記シーンが安定していると決定し、
前記シーンが安定しているとの決定に基づいてオートフォーカスサーチ動作を開始するように構成された、撮像装置。
【請求項１２】
前記距離センサが、レーザセンサおよびデュアルカメラシステムのうちの少なくとも1つを備える、請求項11に記載の装置。
【請求項１３】
プロセッサおよび前記メモリ構成要素が、
前記複数のフレームを監視し、
各フレームに関する変化量を決定し、
各フレームに関する前記変化量をしきい値変化量と比較するようにさらに構成された、請求項11に記載の装置。
【請求項１４】
前記変化量が、ルーマ量、動き量、および距離量のうちの少なくとも1つである、請求項13に記載の装置。
【請求項１５】
前記プロセッサおよび前記メモリ構成要素が、比較に基づいて前記シーンの変化を検出するように構成され、前記プロセッサおよび前記メモリ構成要素が、少なくとも1つのフレームに関する前記変化量が前記しきい値変化量よりも大きいときに前記シーンの変化を検出するように構成された、請求項13に記載の装置。
【請求項１６】
前記距離センサが、各フレームに関する前記検出された距離を報告するようにさらに構成された、請求項11に記載の装置。
【請求項１７】
前記プロセッサおよび前記メモリ構成要素が、
各フレームに関する前記検出された距離を受信し、
各フレームに関する前記検出された距離と、アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つとに基づいて、各フレームに関するレンズ位置を決定するように構成された、請求項16に記載の装置。
【請求項１８】
前記レンズ位置が、前記最適フォーカスレンズ位置の推定値である、請求項11に記載の装置。
【請求項１９】
前記プロセッサおよび前記メモリ構成要素が、前記最適フォーカスレンズ位置の前記推定に基づいて、近境界限界および遠境界限界を決定するようにさらに構成された、請求項18に記載の装置。
【請求項２０】
前記プロセッサおよび前記メモリ構成要素が、前記近境界に向けて前記レンズを移動させるようにさらに構成された、請求項19に記載の装置。
【請求項２１】
前記プロセッサおよび前記メモリ構成要素が、
精密オートフォーカスサーチ動作を実行し、
実際の最適フォーカスレンズ位置を決定するようにさらに構成され、前記実際の最適フォーカスレンズ位置が、前記推定された最適フォーカスレンズ位置に近接し、前記近境界限界と前記遠境界限界との間である、請求項20に記載の装置。
【請求項２２】
前記メモリ構成要素が、入力処理モジュール、変化決定モジュール、レンズ位置決定モジュール、レンズ制御モジュール、安定性決定モジュール、オートフォーカス制御モジュール、および境界限界決定モジュールのうちの少なくとも1つを備える、請求項19に記載の装置。
【請求項２３】
オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減するための装置であって、
シーンを描写する複数のフレームを取り込むための手段と、
前記シーンのオブジェクトと撮像デバイスとの間の距離を検出するための手段と、
前記シーン内の前記オブジェクトに対応する少なくとも1つのフレームの前記シーンの一部を選択するための手段と、
前記シーンの変化を検出するための手段と、
各フレームの前記決定された距離に基づいて各フレームに関するレンズ位置を決定するための手段と、
前記シーンが変化し続ける間、各フレームの前記レンズ位置に向けて前記レンズを移動させるための手段と、
前記シーンが安定していると決定するための手段と、
前記シーンが安定しているとの前記決定に基づいてオートフォーカスサーチ動作を開始するための手段と
を備える、装置。
【請求項２４】
各フレームに関する前記検出された距離を報告するための手段をさらに備える、請求項23に記載の装置。
【請求項２５】
レンズ位置を決定するための前記手段が、
各フレームに関する前記検出された距離を受信し、
各フレームに関する前記検出された距離と、アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つとに基づいて、各フレームに関するレンズ位置を決定するように構成された、請求項24に記載の装置。
【請求項２６】
前記レンズ位置が、前記最適フォーカスレンズ位置の推定値である、請求項23に記載の装置。
【請求項２７】
前記最適フォーカスレンズ位置の前記推定に基づいて近境界限界および遠境界限界を決定するための手段をさらに備える、請求項26に記載の装置。
【請求項２８】
前記レンズを移動させるための前記手段が、前記近境界に向けて前記レンズを移動させるようにさらに構成された、請求項27に記載の装置。
【請求項２９】
実行されたとき、プロセッサに、オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減させるための方法を実行させる命令を備えるコンピュータ可読記憶媒体であって、前記方法が、
撮像デバイスを用いて、シーンを描写する複数のフレームを取り込むステップと、
前記シーンのオブジェクトに対応する少なくとも1つのフレームの前記シーンの一部を選択するステップと、
前記シーンの変化を検出するステップと、
前記複数のフレームの各々について前記オブジェクトと前記撮像デバイスとの間の距離を検出するステップと、
各フレームの前記決定された距離に基づいて各フレームに関するレンズ位置を決定するステップと、
前記シーンが連続的に変化している間、各フレームの前記レンズ位置に向けて前記レンズを移動させるステップと、
前記シーンが安定していると決定するステップと、
前記シーンが安定しているとの前記決定に基づいてオートフォーカスサーチ動作を開始するステップと
を備える、コンピュータ可読記憶媒体。
【請求項３０】
各フレームに関するレンズ位置を決定する前記ステップが、
距離センサによって各フレームに関する前記検出された距離を報告するステップと、
各フレームに関する前記検出された距離を受信するステップと、
アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つに基づいて、各フレームに関する前記検出された距離を各フレームに関するレンズ位置に変換するステップと
をさらに備える、請求項29に記載のコンピュータ可読記憶媒体。
【請求項３１】
前記レンズ位置に基づいて近境界限界および遠境界限界を決定するステップをさらに備える、請求項29に記載のコンピュータ可読記憶媒体。
【請求項３２】
前記レンズを前記レンズ位置に向けて移動させる前記ステップが、前記近境界に向けて前記レンズを移動させるステップをさらに備える、請求項31に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、撮像デバイスに関し、詳細には、撮像デバイスの自動フォーカシングのための方法および装置に関する。
【背景技術】
【０００２】
デジタル処理技術の撮像デバイスとの統合により、より強力かつより容易に写真製品を使用することが可能になっている。たとえば、撮像デバイスのシャッタ速度、絞り、およびセンサ感度をデジタル制御する能力は、撮影者が各環境のためのこれらのパラメータを手動で決定および設定する必要なしに、様々な撮像環境において改善された写真品質を提供している。
【０００３】
自動フォーカシング機能を有する撮像デバイス(その撮像デバイスおよび方法を、本明細書では、単に「オートフォーカス」と呼ぶ場合がある)はまた、ほとんどの撮影者が技量に関係なく、大部分の撮像環境において鮮明な画像を取得することを可能にすることによって、高品質の写真を取り込むことがより簡単になっている。オートフォーカスはまた、プロの撮影者の仕事量を減らしている場合もある。これは、撮影者が撮影者のエネルギーを撮影者の職業のより創造的な側面に集中させることを可能にする場合があり、これらの撮影者によって作り出される写真の品質も対応して向上する。
【０００４】
既存のオートフォーカスサーチ動作は、いくつかの問題を生じる場合がある。たとえば、最適フォーカスのためのレンズ位置を見つけるためのサーチ時間は、撮像デバイスが遠近の両方向でサーチしなければならないことにより、より長くなる場合があり、したがって、適切にフォーカスされた画像が取り込まれ得る前に遅延を生じる。このため、失敗したオートフォーカスの割合は、増加する可能性があり、ユーザは、漸進的により鮮明なフォーカスを受け取る代わりに、オートフォーカスサーチ動作の開始時にデフォーカスのために望ましくない経験を有する場合がある。結果として、オートフォーカスサーチ動作の間、ユーザは、わずかにフォーカスが合っていない画像を見る場合があり、オートフォーカスサーチ動作は、次いで、撮像デバイスが間違った方向にサーチする間、画像をますますデフォーカスさせる場合があり、最終的に、撮像デバイスは、最適なフォーカスのためのレンズ位置を突き止めるために反対方向にサーチする場合がある。この影響を取り除き、オートフォーカスサーチ動作中に必要な時間を最小限にすることが依然として求められている。
【発明の概要】
【課題を解決するための手段】
【０００５】
本実施形態のいくつかは、より迅速でより鮮明なフォーカスを得るために、撮像デバイスのレンズを最初に動かす方向を決定することによって撮像デバイスにフォーカシングさせるための方法を含む場合がある。この方法は、撮像デバイスを用いて、シーンを描写する複数の画像フレームを取り込むステップと、シーンのオブジェクトに対応する少なくとも1つのフレームのシーンの一部を選択するステップと、シーンの変化を検出するステップとを含んでもよい。いくつかの実施形態では、撮像デバイスは、連続オートフォーカスモードで動作するように構成される。方法はまた、画像フレームの各々についてオブジェクトと撮像デバイスとの間の距離を検出するステップと、各フレームの決定された距離に基づいて各フレームに関するレンズ位置を決定するステップとを含む。いくつかの実施形態では、レンズ位置は、最適なフォーカスレンズ位置の推定値である。方法は、シーンが連続的に変化する間に各フレームのレンズ位置に向けてレンズを移動させるステップと、シーンが安定していると決定するステップと、シーンが安定しているという決定に基づいてオートフォーカスサーチ動作を開始するステップとをさらに含む。
【０００６】
方法は、画像フレームを監視するステップをさらに含んでもよく、画像フレームを監視するステップは、各フレームに関する変化量を決定するステップと、各フレームに関する変化量をしきい値変化量と比較するステップとを含む。変化量は、ルーマ(luma)量(quantifier)、動き量、および距離量のうちの少なくとも1つであってもよい。シーンの変化を検出するステップは、前記監視するステップに基づいてもよく、シーンの変化は、少なくとも1つのフレームに関する変化量がしきい値変化量よりも大きいときに検出される。
【０００７】
いくつかの実施形態では、各画像フレームに関するレンズ位置を決定するステップは、距離センサによって各画像フレームに関する検出された距離を報告するステップと、各画像フレームに関する検出された距離を受信するステップと、アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つに基づいて、各画像フレームに関する検出された距離を各フレームに関するレンズ位置に変換するステップとを含む。
【０００８】
いくつかの実施形態では、方法は、最適フォーカスレンズ位置の推定値に基づいて近境界限界および遠境界限界を決定するステップをさらに含む。レンズ位置に向けてレンズを移動させるステップは、近境界に向けてレンズを移動させるステップを含んでもよい。
【０００９】
いくつかの実施形態では、オートフォーカスサーチ動作を開始するステップは、精密オートフォーカスサーチ動作を実行するステップと、実際の最適フォーカスレンズ位置を決定するステップとを含んでもよく、実際の最適フォーカスレンズ位置は、推定された最適フォーカスレンズ位置に近接し、近境界限界と遠境界限界との間である。
【００１０】
別の態様は、撮像デバイス、たとえば、オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減するための装置を含む。装置は、シーンからの光をレンズの焦点面に集束するように構成されたレンズと、シーンからの集束された光に基づいてシーンを描写する複数の画像フレームを取り込むように構成された、ほぼレンズの焦点面に配置された画像センサと、シーンのオブジェクトと撮像デバイスとの間の距離を検出するように構成された距離センサと、画像センサとレンズとに動作可能に結合されたプロセッサと、プロセッサに動作可能に結合されたメモリ構成要素とを含んでもよい。いくつかの実施形態では、距離センサは、レーザセンサおよびデュアルカメラシステムのうちの少なくとも1つを備え、距離センサは、各フレームに関する検出された距離を報告するようにさらに構成される。プロセッサおよびメモリ構成要素は、集合的に、シーン内のオブジェクトに対応する少なくとも1つのフレームのシーンの一部を選択し、シーンの変化を検出し、各フレームの決定された距離に基づいて各フレームに関するレンズ位置を決定し、シーンが連続的に変化する間、各フレームのレンズ位置に向けてレンズを移動させ、シーンが安定していると決定し、シーンが安定しているとの決定に基づいてオートフォーカスサーチ動作を開始するように集合的に構成されてもよい。いくつかの実施形態では、レンズ位置は、最適フォーカスレンズ位置の推定値である。
【００１１】
いくつかの実施形態では、プロセッサおよびメモリ構成要素は、複数のフレームを監視し、各フレームに関する変化量を決定し、各フレームに関する変化量をしきい値変化量と比較するようにさらに構成される。変化量は、ルーマ量、動き量、および距離量のうちの少なくとも1つであってもよい。シーンの変化を検出することは、前記比較に基づいてもよく、シーンの変化は、少なくとも1つのフレームに関する変化量がしきい値変化量よりも大きいときに検出される。
【００１２】
他の実施形態では、プロセッサおよびメモリ構成要素は、各画像フレームに関する検出された距離を受信し、各フレームに関する検出された距離と、アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つとに基づいて、各フレームに関するレンズ位置を決定するようにさらに構成されてもよい。
【００１３】
さらに他の実施形態では、プロセッサおよびメモリ構成要素は、決定されたレンズ位置に基づいて、近境界限界および遠境界限界を決定し、近境界限界に向けてレンズを移動させるようにさらに構成されてもよい。
【００１４】
いくつかの実施形態では、プロセッサおよびメモリ構成要素は、精密オートフォーカスサーチ動作を実行し、実際の最適フォーカスレンズ位置を決定するようにさらに構成されてもよく、実際の最適フォーカスレンズ位置は、推定された最適フォーカスレンズ位置に近接し、近境界限界と遠境界限界との間である。
【００１５】
いくつかの実施形態では、メモリ構成要素は、入力処理モジュール、変化決定モジュール、レンズ位置決定モジュール、レンズ制御モジュール、安定性決定モジュール、オートフォーカス制御モジュール、および境界限界決定モジュールのうちの少なくとも1つを含んでもよい。
【００１６】
別の態様は、オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減するための装置を含む。装置は、シーンを描写する複数のフレームを取り込むための手段と、シーンのオブジェクトと撮像デバイスとの間の距離を検出するための手段と、シーン内のオブジェクトに対応する少なくとも1つのフレームのシーンの一部を選択するための手段と、シーンの変化を検出するための手段と、各フレームの決定された距離に基づいて各フレームに関するレンズ位置を決定するための手段と、シーンが変化し続ける間、各フレームのレンズ位置に向けてレンズを移動させるための手段と、シーンが安定していると決定するための手段と、シーンが安定しているとの決定に基づいてオートフォーカスサーチ動作を開始するための手段とを含んでもよい。いくつかの実施形態では、装置は、各フレームに関する検出された距離を報告するための手段を含んでもよい。他の実施形態では、レンズ位置を決定するための手段は、各フレームに関する検出された距離を受信し、各フレームに関する検出された距離と、アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つとに基づいて、各フレームに関するレンズ位置を決定するように構成されてもよい。いくつかの実施形態では、レンズ位置は、最適フォーカスレンズ位置の推定値である。
【００１７】
他の実施形態では、装置は、最適フォーカスレンズ位置の推定値に基づいて近境界限界および遠境界限界を決定するための手段をさらに含んでもよい。レンズを移動させるための手段は、その場合、近境界限界に向けてレンズを移動させるように構成されてもよい。
【００１８】
別の態様では、非一時的コンピュータ可読媒体が提供される。非一時的コンピュータ可読媒体は、実行されたとき、プロセッサに、オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減させるための方法を実行させる命令を含んでもよい。方法は、撮像デバイスを用いて、シーンを描写する複数のフレームを取り込むステップと、シーンのオブジェクトに対応する少なくとも1つのフレームのシーンの一部を選択するステップと、シーンの変化を検出するステップと、複数のフレームの各々についてオブジェクトと撮像デバイスとの間の距離を検出するステップと、各フレームの決定された距離に基づいて各フレームに関するレンズ位置を決定するステップと、シーンが連続的に変化している間、各フレームのレンズ位置に向けてレンズを移動させるステップと、シーンが安定していると決定するステップと、シーンが安定しているとの決定に基づいてオートフォーカスサーチ動作を開始するステップとを含んでもよい。いくつかの実施形態では、各フレームに関するレンズ位置を決定する前記ステップは、距離センサによって各フレームに関する検出された距離を報告するステップと、各フレームに関する検出された距離を受信するステップと、アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つに基づいて、各フレームに関する検出された距離を各フレームに関するレンズ位置に変換するステップとをさらに含んでもよい。いくつかの実施形態では、方法はまた、レンズ位置に基づいて近境界限界および遠境界限界を決定するステップを含んでもよく、レンズを移動させる前記ステップは、近境界に向けてレンズを移動させるステップを含んでもよい。
【００１９】
開示する態様を、開示される態様を例示するために提供しており、開示される態様を限定するために提供しているわけではなく、同様の名称が同様の要素を示す添付図面と併せて以下で説明する。
【図面の簡単な説明】
【００２０】
【図１】撮像デバイスにおけるオートフォーカスイベントの例示的な実装形態に関するオートフォーカスイベントタイムラインを示す図である。
【図２Ａ】撮像デバイスの実施形態の一例を示すブロック図である。
【図２Ｂ】図2Aの撮像デバイスのセンサモジュールの実施形態の一例を示すブロック図である。
【図３】所与のシーンおよびセンサモジュールに関するレンズ位置に対してプロットされたフォーカス値オートフォーカス方法の一例を示すグラフである。
【図４】一実施形態による例示的なオートフォーカスイベントに関するオートフォーカスイベントタイムラインを示す図である。
【図５】最適フォーカスレンズ位置の方向を決定する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下の説明では、実施例の完全な理解を提供するために具体的な詳細が与えられる。しかしながら、実施例がこれらの具体的な詳細なしに実施され得ることが当業者には理解されよう。たとえば、不必要な詳細で実施例を不明瞭にしないために、電気の構成要素/デバイスがブロック図で示される場合がある。他の例では、そのような構成要素、他の構成、および技法は、実施例をさらに説明するために詳細に示される場合がある。
【００２２】
実施例は、フローチャート、フロー図、有限状態図、構造図、またはブロック図として示されるプロセスとして説明される場合があることにも留意されたい。フローチャートは、動作を順次プロセスとして説明する場合があるが、動作の多くは並列、または同時に実行することができ、プロセスを繰り返すことが可能である。また、動作の順序は並べ替えられてもよい。プロセスは、その動作が完了したとき、終了する。プロセスは、方法、機能、手順、サブルーチン、サブプログラムなどに対応する場合がある。プロセスがソフトウェア機能に対応するとき、その終了は、呼び出し側機能またはメイン機能への機能の戻りに対応する。
【００２３】
情報および信号は、様々な異なる技術および技法のいずれかを使用して表される場合がある。たとえば、上記の説明全体にわたって参照されることがあるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁場もしくは磁性粒子、光場もしくは光学粒子、またはそれらの任意の組合せによって表されることがある。
【００２４】
オートフォーカシングは、様々なタイプのアクチュエータによって撮像デバイス内で実行されてもよい。カメラは、フォーカシングを可能にするために、可動範囲内を移動するレンズを用いて画像センサ上にシーンをフォーカスする。オートフォーカス撮像デバイスは、ボイスコイルモータ(VCM:voice coil motor)、ピエゾ、またはMEMSソリューションを使用してレンズを移動させる。
【００２５】
機械的な動きがレンズを動かす方向、およびどれくらい遠くまで動かすのかを決定するために、現代のデジタル撮像デバイスにおいて様々なオートフォーカス(「AF」)方法が使用される場合がある。たとえば、より高いコントラストを有する画像は、より鮮明なフォーカスを有する傾向があるので、いくつかのオートフォーカス方法は、最も高いコントラストを有する画像を提供するレンズ位置を得ようとする。これは、フォーカス値方法として知られる場合があり、フォーカス値方法では、どの画像が最も高いコントラストを有するのかを決定するために、異なるレンズ位置におけるフォーカス値が比較される。オートフォーカス方法の別の例は、オブジェクト奥行き推定に基づき、オブジェクト奥行き推定では、アルゴリズムは、撮像デバイスからの目標オブジェクトの推定された奥行きまたは位置に基づいて、レンズを推定されたレンズ位置に直接移動させる。推定における信頼度に基づいて、最小限のコントラストに基づくオートフォーカシングが必要とされる場合がある。しかしながら、最適なフォーカスのためのレンズ位置が未知であるとき、撮像デバイスは、フォーカス値方法を使用してもよい。最適レンズ位置は、最大フォーカス値または最高コントラスト値をもたらすレンズ位置を指す。
【００２６】
フォーカス値方法のいくつかの実装形態は、目標オブジェクトにフォーカスするための最適フォーカスのレンズ位置を知らないで始めてもよい。オートフォーカスサーチ動作を開始するために、アルゴリズムは、始めに、最適フォーカスのためのレンズ位置を探索する。探索は、連続するサンプル画像フレームを取得するために、レンズを移動させる方向を選択することによって開始する。アルゴリズムは、連続する画像フレームを取得し、画像フレームを比較し、より高いコントラストを有するサンプルに基づいてフォーカス位置方向を決定する。
【００２７】
オートフォーカスサーチ動作の始めには、目標オブジェクトの最適フォーカスのためのレンズ位置の知識が不足しているので、サーチを開始する方向についての決定は、困難な決定である。いくつかの実施形態では、方向決定は、部分的に、現在のレンズ位置および所定の境界に基づく。所定の境界は、撮像デバイスに対するオブジェクトの位置の範囲とすることができる。境界は、撮像デバイスに近い距離と無限遠との間の範囲であってもよい。所定の境界は、異なる撮像デバイスに関して変化する可能性があることが理解されるべきである。多くの撮像デバイスでは、近い位置は、カメラから約10センチメートルであり、無限遠位置は、カメラから約200センチメートル以上である。この決定および最適フォーカスのためのレンズ位置の知識の不足の結果として、レンズを移動させる正しい方向を選択することの全体の成功率は、約50%である。
【００２８】
いくつかのオートフォーカス方法は、特定の撮像環境において十分なフォーカスを達成できないことがあり得る。たとえば、画像センサから異なる距離において画像内に複数のオブジェクトが存在する撮像環境は、複数のオブジェクトのうちのどのオブジェクトがフォーカスのために選択されるべきかをオートフォーカス方法が決定することを困難にする場合がある。他の撮像環境は、動いているオブジェクトを含む場合がある。動いているオブジェクトは、従来のオートフォーカス方法によって認識されない場合がある。これは、本明細書で開示する方法と比較したとき、劣ったフォーカスをもたらす場合がある。
【００２９】
本明細書で説明する実施形態は、撮像デバイスのオートフォーカスサーチ動作の始めまたはその前に、最適フォーカスレンズ位置に向けてレンズを移動させる方向を決定するように構成された方法、装置、およびコンピュータ可読媒体を含む。いくつかの実施形態では、方法は、取り込まれているシーンの各画像フレームに関する最適フォーカスレンズ位置を決定することができる方法および画像取り込みデバイスに向けられている場合がある。最適フォーカスレンズ位置を決定し、現在のレンズ位置を知ることによって、撮像デバイスのレンズは、最適フォーカスレンズ位置の方向に移動されることが可能である。これは、オートフォーカス速度および全体的な精度の潜在的な改善をもたらす場合があり、それによって、画像取り込みデバイスにおける画像品質を改善する。したがって、一実施形態は、オートフォーカスサーチ動作の始めまたは初期化の前に、最適フォーカスレンズ位置方向を決定するためのソフトウェアソリューションを導入する。
【００３０】
方法および装置のいくつかの実施形態では、撮像デバイスは、撮像デバイスと、フォーカスされる目標オブジェクトとの間の距離を決定するように構成された距離センサを含んでもよい。一実施形態では、距離センサは、レーザモジュールまたはレーザセンサである。別の実施形態では、距離センサは、デュアルカメラシステムである。いくつかの実施形態では、距離センサは、撮像デバイスと、単一のフレームの任意の1つのオブジェクトとの間の距離を決定するように構成されることが可能である。
【００３１】
方法および装置のいくつかの実施形態では、撮像デバイスは、撮像デバイスによって取り込まれるべきシーンの変化を検出するように構成されてもよい。シーンの変化は、ユーザが撮像デバイスを1つの意図された画像から、後続の画像、移動中に取り込まれることが意図されるオブジェクトになどに移動させることによって表されてもよい。撮像デバイスは、シーンの変化を検出し、画像を取り込む前に、フォーカス動作またはオートフォーカスサーチ動作がシーンにフォーカスするために必要とされると決定するように構成されてもよい。シーンの変化を検出するいくつかの例示的な方法は、限定はしないが、画像フレームの光強度測定値(たとえば、明るさもしくはルーマ)に基づく連続する画像フレームの比較、ジャイロスコープ式もしくは撮像デバイスの物理的移動の検出、連続する画像間のフレームオブジェクトの距離、または、シーンが変化したことを撮像デバイスに示すための任意の方法を含む。
【００３２】
本明細書で開示する方法のいくつかの実施形態では、シーンの変化が検出されると、撮像デバイスは、シーンがユーザにより(たとえば、撮像デバイスがパンしている)、または取り込まれている画像により変化し続けている間、各画像フレームに関する最適フォーカスレンズ位置を推定するように構成されてもよい。いくつかの実施形態では、撮像デバイスは、撮像デバイスと各画像フレームのオブジェクトとの間の距離を決定するために、距離センサを利用してもよい。撮像デバイスは、各画像フレームに関する決定された距離に基づいて各画像フレームに関する最適フォーカスレンズ位置を推定してもよい。したがって、撮像デバイスがパンしていても、またはシーンが各画像フレーム内で変化していても(たとえば、シーンが安定していない)、撮像デバイスは、各画像フレームに関する最適フォーカスレンズ位置を決定することができる。
【００３３】
方法の例示的な実施形態では、撮像デバイスは、次いで、シーンが変化し続けており、安定していない間、各画像フレームに関する最適フォーカスレンズ位置に向けてレンズを移動させるように構成される。したがって、シーンの変化が検出されると、従来のオートフォーカスサーチ方法とは異なり、デバイスが依然としてパンしている場合であっても、または画像が安定していなくても、レンズは、最適レンズフォーカス位置の方向に移動される。これは、撮像デバイスは(シーン変化に続く)すべてのフレームについて距離センサから返される物理的距離に基づく最適フォーカスレンズ位置の推定の結果として、どちらの方向においてレンズを移動させるのかを決定することができるからである。このようにして、撮像デバイスは、レンズを移動させる方向と、レンズを移動させる量とを知る。対照的に、従来のフォーカス値方法のオートフォーカスサーチ動作は、シーンが変化している間にレンズを移動させる方向および量を知らず、撮像装置は、シーンが安定するまで待つことを強いられ、次いで、各フレームに関するコントラストまたはフォーカス値の比較に基づいて、シーンにフォーカスすることを試みる。
【００３４】
例示的な実施形態では、本明細書で開示する方法および装置は、連続オートフォーカスモードで動作する。モバイルフォン内のカメラなどのいくつかの撮像デバイスでは、連続オートフォーカスモードは、デフォルトの選択である。DSLRカメラなどの他の撮像デバイスでは、ユーザが選択してもよい多数のモード(たとえば、オートモード、タッチオートフォーカスモード、連続オートフォーカスモードなど)が存在する。連続オートフォーカスモードは、連続するまたは複数の画像フレームの連続的な監視によって特徴付けられる場合がある。連続オートフォーカスモードのいくつかの実施形態では、撮像デバイスは、シーンのオブジェクト、たとえば、シーンの中心に位置するオブジェクトを選択し、連続するフレームにおいてそのオブジェクトを連続的に監視する。いくつかの実施形態では、ユーザは、フォーカスするオブジェクトを(たとえば、タッチスクリーンまたは他の入力デバイスを介して)選択することによって、連続オートフォーカスモードを出る、または連続オートフォーカスモード外で動作することを選択してもよく、それによって、ユーザが選択したオブジェクトにフォーカスし、選択された画像フレームのみを監視するように撮像デバイスの動作をシフトさせる。
【００３５】
「デフォーカスイベント」は、本明細書では、フォーカスされており、次いで、システムがレンズ位置の同じ領域にわたってダブリングすることによって最適フォーカスをサーチする間、デフォーカスされるシーンを指す広い用語として使用される。本明細書で開示する方法および装置の1つの例示的な非限定的な利点は、撮像デバイスがパンしているか、またはシーンが安定しておらず、デフォーカスイベントの発生の間、レンズが移動されるので、デフォーカスイベントが低減されることである。したがって、レンズは、オートフォーカスサーチ動作を開始する前に、すでに最適フォーカスレンズ位置により近い。ユーザは、撮像デバイスのプレビュー画面においてデフォーカスイベントを見る可能性は低い。したがって、本明細書で開示する方法および装置は、従来のオートフォーカスサーチ動作よりもレンズをより速くより正確に移動させることによって、デフォーカスイベントを大幅に低減する。
【００３６】
上記で考察したシステムおよび方法の例示的な実施形態について、図1〜図5に関連して以下でさらに詳細に説明する。
【００３７】
図1は、撮像デバイスにおけるオートフォーカスイベントの例示的な実装形態に関するオートフォーカスイベントタイムラインの一例を示す。図1に示す例では、タイムラインは、時間(t)の経過を表す軸に沿ってプロットされる。各オートフォーカスイベントは、オートフォーカスの速度および性能に関する2つの構成要素を含み、構成要素は、監視段階110およびオートフォーカスサーチ段階120である。いくつかの実施形態では、オートフォーカスイベントは、監視段階110とサーチ段階120とを含む連続オートフォーカスモードにおいて完全に発生する。監視段階110は、監視段階開始点132において開始し、撮像デバイスは、シーンの変化についてシーンの各画像フレームを連続的に監視する。シーン変化は、ユーザが撮像デバイスをパンもしくは移動させることによって表されてもよく、および/または、取り込まれるべきシークされているシーンは、撮像デバイスの画像フレーム内で移動する。監視段階110の間、モバイルフォン内のカメラなどの撮像デバイスは、点135において、追跡されたシーンの変化を検出する。撮像デバイスは、次いで、撮像デバイスのパンまたはシーン変化を監視し(たとえば、シーンが連続的に変化していると決定し)、次いで、点137において決定されるようにシーンが安定すると、点145においてサーチ段階をトリガする(たとえば、オートフォーカスサーチをトリガする)。
【００３８】
上記で説明したフォーカス値オートフォーカス方法を使用するいくつかの実施形態は、シーン変化の発生を検出するためにシーンを連続的に追跡し、シーンが安定しているかどうかを決定するためにシーン変化を監視するために、監視段階110を使用する。いくつかのシステムでは、撮像デバイスは、監視段階中にレンズを移動させない。そのような撮像デバイスは、シーンが安定するのを待ち、次いで、オートフォーカスサーチ段階120に切り替え、オートフォーカスサーチ動作120では、レンズは、フォーカス値またはコントラスト値に基づいてフォーカス位置を位置決めするために移動される。しかしながら、本明細書で開示する方法および装置は、以下で詳細に考察するように、オートフォーカスサーチ段階120の前の監視段階110中にレンズの移動を可能にし、それによって、撮像デバイスのオートフォーカスの速度および全体的な精度を改善する。
【００３９】
監視段階110は、(i)タイムライン上の点135においてシーン変化を検出することと、(ii)点137において、シーンが撮像デバイス内で安定しているかどうか、または撮像デバイスが依然としてパンしているかどうかを決定することとを含む。シーン変化を検出するために利用されてもよい多数の方法が存在する。例示の目的のため、3つの例示的な方法、すなわち、(i)明るさ(たとえば、ルーマ)に基づく変化、(ii)撮像デバイスの指向性運動に基づく変化(たとえば、ジャイロスコープまたは加速度計によって決定される撮像デバイスの位置または指向性運動の変化)、および(iii)距離に基づくシーン変化(たとえば、レーザ追跡によって撮像とシーンとの間の距離を監視する)について本明細書で説明する。各方法に関するいくつかの実施形態では、撮像デバイスがしきい値以上の値を有する画像フレームを検出すると、撮像デバイスが、シーンが変化したと決定するように構成されるように、しきい値が設定されることが可能である。いくつかの実施形態では、シーン変化の決定は、撮像デバイスプレビュー段階中に行われ、撮像デバイスプレビュー段階では、ユーザは、画像を実際に取り込むことなく、撮像デバイスのディスプレイ上の画像を見て、フレーミングすることができる。
【００４０】
いくつかの実装形態では、しきい値に関する明確なまたは特定の値は、存在しない。選択されるしきい値は、各撮像デバイスにおいて利用されるモジュール、レンズ、およびアクチュエータに基づいて変化してもよい。したがって、しきい値は、製造業者が個々の撮像デバイスに関する選好に基づいてしきい値を変化させることができる調整または較正プロセスの一態様である。たとえば、しきい値が小さい数に設定されている場合、撮像デバイスは、敏感である場合がある。しきい値が大きい数に設定されている場合、撮像デバイスは、より厳密である場合がある。このようにして、ユーザは、シーン変化を決定する際の感度または厳密さを選択してもよく、それに応じてしきい値を設定してもよい。
【００４１】
たとえば、明るさまたはルーマに基づくシーン変化は、各フレームに関する光の全強度を検出する。いくつかの実施形態では、ルーマ値は、正規化され、フレーム間の明るさの相対的変化を表す。ルーマ値は、各フレームについて測定されることが可能であり、ルーマ値は、たとえば、0の値が全暗(たとえば、明るさの欠如)を表し、1024(たとえば、210)が最高の可能なルーマレベルを表すように、10ビットに正規化される。したがって、各フレームに関するルーマ値0〜1024の範囲内に入り、各フレームから検出された強度を比較するための正規化された基準を提供する。いくつかの実施形態では、ルーマ値は、フレームの所与の領域について検出される。他の実施形態では、ルーマ値は、フレーム全体にわたって計算される。いくつかの実施形態では、撮像デバイスのプレビューは、明るい光条件では30フレーム/秒(「fps」)、低い光条件では15fpsにおいて実行される。各フレームに関するルーマ値は、この例では、ディスプレイ全体にわたって計算されてもよく、ディスプレイは、複数のピクセルから成る。監視段階110の開始時に、第1のフレームのルーマ値は、計算され、安定した変化のないシーンを示す基準フレームを表す。後続のプレビューフレームのルーマ値は、計算され、各後続のフレームに関する値は、基準フレームと比較される。後続のフレームと基準フレームとの間のルーマ値の正または負の差分絶対値がしきい値よりも大きい場合、撮像デバイスは、シーン変化が発生したと決定するように構成される。たとえば、しきい値は、100ルーマに設定されてもよく、監視段階110の開始時に、基準フレームは、200のルーマ値を有する。第2のフレームのルーマ値が202である場合、撮像デバイスは、シーン変化が生じていないと決定するように構成される。しかしながら、後続のフレームのルーマ値が、しきい値100よりも大きい参照フレームとの差を有する350であると計算された場合、撮像デバイスは、シーン変化が生じたと決定するように構成される。前の例は、100ルーマに設定されたしきい値を含んだが、任意のしきい値が、シーン変化決定の所望の感度に基づいて選択されてもよい。
【００４２】
別の例示的な例では、ジャイロスコープまたは加速度計が、撮像デバイスに含まれることが可能である。これらの要素は、撮像デバイスの位置の変化、向きの変化、または動きの変化を検出するように構成される。たとえば、近年、数ある中で、コンパクトビデオカメラおよびスチルカメラのための手ブレ検出システム、ビデオゲームのためのモーション感知、ならびに車両電子安定制御(アンチスキッド)システムとして、振動ジャイロスコープセンサが撮像デバイスに組み込まれている。いくつかの実施形態では、これらのセンサは、角速度のx座標、y座標、z座標を返す。ルーマ値決定と同様に、しきい値が設定され、所与のフレームと基準フレームとの間の角速度の座標(たとえば、(x2+y2+z2))の平方根の差がしきい値より大きい場合、撮像デバイスは、シーンの変化が生じたと決定する。
【００４３】
別の例示的な例は、シーンの変化が発生したと決定するためにレーザセンサを使用する。レーザセンサは、フレームごとに物理的距離を返すことができる。いくつかの実施形態では、距離は、ミリメートルの大きさで測定される。別の実施形態では、距離は、飛行時間計算、たとえば、光の放射と、戻り光または反射光の検出との間の時間差に基づいて決定される。監視段階110の開始時に、撮像デバイスと基準フレームのシーンとの間の距離が決定され、後続のフレームと基準フレームとの間の検出された距離間の差があるしきい値よりも大きい場合、シーン変化が検出される。たとえば、ルーマ値に基づく決定および動きに基づく決定と同様に、しきい値は、100mmに設定されることが可能である。監視段階110の第1のフレームにおいて、オブジェクトの距離は、撮像デバイスから200mmであると決定される場合があり、次いで、ある後続のフレームにおいて、撮像デバイスからオブジェクトまでの距離は、600mmであると決定される。したがって、基準フレームおよび後続のフレームの距離の差は、しきい値よりも大きく、撮像デバイスは、シーンが変化したと決定するように構成される。前の例は、100mmに設定されたしきい値を含んでいたが、任意のしきい値が、シーン変化決定の所望の感度に基づいて選択されてもよい。
【００４４】
シーン変化が検出されると、撮像デバイスは、シーンが安定しているかどうか、たとえば、シーンが連続的に変化していないか、または撮像デバイスがパンしていないと決定するために、監視段階110中にシーンを監視してもよい。シーンが変化しなくなるか、または撮像デバイスもはやパンしなくなると、シーンは、安定しているとみなされる。シーンが安定していると決定するための例示的な方法は、(i)ルーマ値に基づく安定性決定と、(ii)動き(たとえば、ジャイロスコープおよび/または加速度計)に基づく決定とを含む。各アプローチについて、条件が設定され、撮像デバイスは、所与の数の連続するフレームにおいて条件の発生を監視するように構成される。たとえば、撮像デバイスが、検出された値に基づいて、所定の数の連続するフレームが条件(たとえば、連続するフレーム間の値の差が、シーンが変化していないことを示す特定のしきい値未満である)を満たしているのが検出されたとき、撮像デバイスは、シーンが安定していると決定する。
【００４５】
例示的な例では、撮像デバイスは、上記で説明したように、シーンが変化しているかどうかを決定するために、明るさまたはルーマ値を使用してもよい。ルーマ値に基づくシーン変化検出と同様に、ルーマ値は、フレームごとに計算される。しかしながら、シーン変化検出とは異なり、安定性は、連続するフレームの差分絶対値に基づく。たとえば、安定性しきい値が設定され(たとえば、5ルーマ)、しきい値未満の差を有するフレームの数が設定される(たとえば、3に設定される)。本明細書で使用される安定性しきい値およびフレーム数は、例示の目的のために意図されており、他の安定性しきい値およびフレーム数が、安定性決定の所望の感度に基づいて可能である。例示的な例では、第1のフレームは、200ルーマの値を有する場合があり、第3のフレームは、350の値を有する場合があり、それによって、上記で説明したように、シーン変化しきい値が100である場合、シーン変化を示す。次いで、後続のフレームは、第4から第8のフレームについて、360、370、374、375、および375のルーマ値を有する場合がある。シーンが安定していると決定されるために、連続するフレームの差が計算され、たとえば、第5のフレーム値(360ルーマ)引く第4のフレーム値(350ルーマ)が決定され、ここで、差は、しきい値5ルーマよりも大きい10ルーマであり、したがって、撮像デバイスは、シーンがまだ安定していないと決定するように構成される。次いで、第6のフレーム値(370ルーマ)引く第5のフレーム値(360ルーマ)が10であると計算され、したがって、シーンは、安定していない。次に、5未満である、第7のフレーム値(374ルーマ)引く第6のフレーム値(370ルーマ)が計算され、これはシーンが第7のフレームと第6のフレームとの間で安定していることを示す。次に、第8のフレーム値(375ルーマ)引く第7のフレーム値(374)が5未満であると計算され、これは第7のフレームと第8のフレームとの間の安定性の第2の実例を示す。最後に、第9のフレーム値(375ルーマ)引く第8のフレーム値(375)が5未満であると計算され、これは第9のフレームと第8のフレームとの間の安定性の実例を示す。したがって、撮像デバイスは、3つの安定したフレームを検出している。撮像デバイスは、次いで、シーンが安定していると決定するように構成されることが可能であり、その時点で、撮像デバイスは、オートフォーカスサーチ段階120に進むように構成されることが可能である。
【００４６】
別の例示的な例では、撮像デバイスは、たとえば、ジャイロスコープ測定値に基づいて、シーンの安定性を決定するために、動き情報を利用してもよい。ジャイロスコープに基づくシーン変化決定と同様に、角速度の座標(たとえば、(x2+y2+z2))の平方根が計算され、しきい値と比較される。しかしながら、シーンが変化したと決定するのとは異なり、しきい値未満の所定の数のフレームが検出されるまで、連続するフレームが比較され、次いで、撮像デバイスは、シーンが安定していると決定するように構成されてもよい。たとえば、上記で説明したルーマ値に基づく決定と同様に、しきい値は、0.3であり、待つフレーム数は、3に設定される。撮像デバイスは、連続するフレームに関する(x2+y2+z2)の平方根の値の差が、3つの連続するフレームについて0.3未満であるとき、シーンが安定している、または揺れていないと決定する。
【００４７】
図1を参照すると、監視段階110中に決定されるように、シーン変化135が検出され、点137においてシーンが安定しているとみなされると、オートフォーカスサーチ段階120が実行されてもよい(たとえば、撮像デバイスは、フォーカス位置を見つけるためにレンズを移動させる)。オートフォーカスサーチ段階120の間、撮像デバイスは、点145(オートフォーカスの開始)と点150(オートフォーカスの終了)との間のある点に位置する最適フォーカスレンズ位置にレンズを移動させる。
【００４８】
図2Aは、センサモジュール210を有する撮像デバイス200の一実施形態の一例を示すブロック図を示す。図2Bは、センサモジュール210の一実施形態を示す。図示の撮像デバイス200は、センサモジュール210と、作業メモリ270と、ストレージ275と、ディスプレイ280と、距離センサ230と、入力デバイス290とに動作可能に接続されたプロセッサ205を含む。プロセッサ205は、メモリ220にも接続される。メモリ220は、以下でより詳細に説明するように、撮像デバイス200の機能を実行するようにプロセッサ205を構成する命令を定義するデータ値を記憶するいくつかのモジュールを記憶する。
【００４９】
加えて、図2Bに示すように、センサモジュール210は、レンズ212と、オートフォーカス構成要素214と、画像センサ216とを含んでもよい。光は、シーン240からレンズ212に入り、撮像センサ216上にフォーカスされる。一態様では、撮像センサ216は、電荷結合デバイスを利用する。別の態様では、撮像センサ216は、CMOSまたはCCDセンサのいずれかを利用する。レンズ212は、オートフォーカス構成要素214に結合され、オートフォーカス構成要素214のアクチュエータ(図示せず)によって移動される。アクチュエータは、可動範囲250にわたって一連の1つまたは複数のレンズ位置においてレンズ212を移動させるように構成される。図2Bに示す実施形態では、レンズは、無限遠機械的端部255に向かう方向251およびマクロ機械的端部254に向かう方向252において可動範囲250に沿って移動されることが可能であり、可動範囲250に沿ったレンズの位置は、本明細書では、「レンズ位置」として説明される。いくつかの実施形態では、可動範囲250のレンズ位置は、レンズがアクチュエータによって移動されてもよい離散的な位置である。オートフォーカス構成要素214は、ボイスコイルモータ(VCM)、微小電気機械システム(MEMS)、または形状記憶合金(SMA)を含む、レンズ212を動かすための当該技術分野で公知の任意の方法を含んでもよい。図2Bの実施形態は、レンズ212と画像センサ216との間に少なくとも部分的に空洞であってもよいセンサモジュール210の取り付け空間218を含む。取り付け空間218は、取り付け機構のためのセンサモジュール210内の領域である。たとえば、いくつかの実施形態では、取り付け空間218は、オートフォーカス構成要素を取り付けるためのブラケットまたは他の支持部を保持してもよい。取り付け空間218は、画像センサ216を取り付けるためのブラケットまたは他の取り付け手段のための領域を提供してもよい。したがって、取り付け空間218は、オートフォーカス構成要素214、レンズ212、および画像センサ216の構造的完全性を高めるために1つまたは複数の構成要素を含んでもよく、画像が画像センサ216上にフォーカスすることを可能にし、レンズ212の光軸に沿った整列を維持するように寸法が決められてもよい(または、構成されてもよい)。
【００５０】
図2Aに戻ると、作業メモリ270は、撮像デバイス200の動作中に動的に生成されるデータを記憶するために、プロセッサ205によって利用されてもよい。たとえば、(上記で考察した)メモリ220に記憶されたモジュールのいずれかからの命令は、プロセッサ205によって実行されたとき、作業メモリ270に記憶されてもよい。作業メモリ270はまた、プロセッサ205上で実行されるプログラムによって利用されるスタックまたはヒープデータなどの、動的ランタイムデータを記憶してもよい。ストレージ275は、撮像デバイス200によって作成されるデータを記憶するために利用されてもよい。たとえば、レンズ212を介して取り込まれた画像は、ストレージ275に記憶されてもよい。ディスプレイ280は、レンズ212を介して取り込まれた画像を表示するように構成され、また、デバイス200の構成機能を実施するために利用されてもよい。
【００５１】
図2Aの実施形態に示すディスプレイ280は、レンズ212を介して取り込まれた画像およびフレームを表示するように構成され、また、デバイス200の構成機能を実施するために利用されてもよい。一実装形態では、ディスプレイ280は、撮像デバイスの入力デバイス290を介してユーザによって選択された1つまたは複数のオブジェクトを表示するように構成されてもよい。
【００５２】
入力デバイス290は、実装形態に応じて多くの形態をとってもよい。いくつかの実装形態では、入力デバイス290は、タッチスクリーンディスプレイを形成するためにディスプレイ280と統合されてもよい。他の実装形態では、入力デバイス290は、撮像デバイス200上の別個のキーまたはボタンを含んでもよい。これらのキーまたはボタンは、ディスプレイ280上に表示されるメニューのナビゲーションのための入力を提供してもよい。他の実装形態では、入力デバイス290は、入力ポートであってもよい。たとえば、入力デバイス290は、撮像デバイス200への別のデバイスの動作可能な結合を提供してもよい。次に、撮像デバイス200は、入力デバイス290を介して、取り付けられたキーボードまたはマウスから入力を受信してもよい。
【００５３】
図2Aの実施形態に示す距離センサ230は、撮像デバイス200と、フォーカスされているオブジェクト240との間の距離を決定するように構成される。一実施形態では、距離センサ230は、レーザモジュールまたはレーザセンサである。一実施形態では、距離は、飛行時間計算に基づき、レーザセンサは、赤外線エミッタを介して、シーン240に向けて光のパルスを送り、超高速光検出器が、反射されたパルスをピックアップする。レーザモジュールは、次いで、パルスの放射と反射の検出との間の時間差を正確に測定してもよい。測定された時間と、光の既知の速度とに基づいて、オブジェクト240と撮像デバイス200との間の距離が決定されてもよい。別の実施形態では、距離センサ230は、デュアルカメラシステムであってもよい。デュアルカメラシステムの一実装形態は、並んで配置された人間の目と同様であってもよい。そのようなデュアルカメラシステムは、左画像および右画像を取り込み、取り込まれた画像内のオブジェクト240の距離を決定するために、三角測量技法を適用することができる。デュアルカメラシステムは、別個の画像が同じシーンのものである別個のカメラの結果として、撮像デバイス200の前にあるオブジェクト240の距離を推定するように構成されることが可能である。撮像デバイス200は、次いで、これらの2つの画像に基づいてオブジェクト240までの距離を計算することができる。いくつかの実施形態では、距離センサ230は、撮像デバイス200と単一のフレームの任意の1つのオブジェクト240との間の距離を決定するように構成されることが可能である。一実施形態では、距離センサ230は、撮像デバイス200とオブジェクト230との間の検出された距離を、以下で考察するメモリ220に送ってもよい。別の実施形態では、距離センサ230は、検出された距離を作業メモリ270および/またはストレージ275に送ってもよい。したがって、距離センサ230は、1つの画像フレームおよび/または複数のフレームについて、オブジェクト240と撮像デバイス200との間の距離を検出および決定するための1つの手段であってもよい。
【００５４】
メモリ220は、コンピュータ可読媒体と考えられてもよく、1つまたは複数のモジュールを記憶することができる。モジュールは、プロセッサ205のための命令を定義するデータ値を記憶する。これらの命令は、デバイス200の機能を実行するようにプロセッサ205を構成する。たとえば、いくつかの態様では、メモリ220は、以下で説明し、図5に示すように、方法500またはその一部をプロセッサ205に実行させる命令を記憶するように構成されてもよい。図示の実施形態では、メモリ220は、入力処理モジュール221と、シーン変化検出モジュール222と、レンズ位置決定モジュール223と、境界限界決定モジュール224と、レンズ制御モジュール225と、安定性検出モジュール226と、オートフォーカス制御モジュール227とを含む。
【００５５】
入力処理モジュール221は、入力デバイス290から入力データを読み取るようにプロセッサ205を構成する命令を含む。一態様では、入力処理モジュール221は、画像センサ212によって取り込まれた画像フレーム内のオブジェクト240またはその一部を検出するようにプロセッサ205を構成してもよい。別の態様では、入力処理モジュール221は、入力デバイス290からユーザ入力を受信し、入力デバイス290のユーザ操作に基づいてユーザ選択または構成を識別するようにプロセッサ205を構成してもよい。したがって、入力処理モジュール221内の命令は、画像フレーム内の1つまたは複数のオブジェクト240を識別または選択するための1つの手段を表してもよい。いくつかの実施形態では、入力処理モジュール221は、選択されたオブジェクトまたは画像フレームの一部を表すデータを、メモリ220の他のモジュールによる使用およびアクセスのために作業メモリ270に送るようにプロセッサ205を構成してもよい。
【００５６】
さらに図2を参照すると、シーン変化検出モジュール222内の命令は、入力処理モジュール221からの入力データから受信した選択されたオブジェクトまたはシーンの一部に少なくとも部分的に基づいてシーン変化を検出するようにプロセッサ205を構成してもよい。いくつかの実施形態では、シーン変化検出モジュール222内の命令は、監視されたシーン、たとえば、光強度測定値、撮像デバイスの物理的動きに関連するジャイロスコープ測定値、および/または距離センサ230から受信した距離測定値によって取得された情報に基づいてシーン変化を検出するようにプロセッサ205を構成してもよい。したがって、シーン変化検出モジュール222内の命令は、選択されたオブジェクトまたは画像フレームの一部に少なくとも部分的に基づいてシーンの変化を検出するための1つの手段を表してもよい。いくつかの実施形態では、シーン変化検出モジュール222内の命令は、シーン変化を示す情報を、レンズ位置決定モジュール223および/またはレンズ制御モジュール225に送ってもよい。したがって、シーン変化検出モジュール222内の命令は、シーンが変化したことを示すための1つの手段を表してもよい。レンズ制御モジュール225および/またはレンズ位置決定モジュール223内の命令は、シーンが変化したおよび/または連続的に変化していることを示す情報を受信するための1つの手段を表してもよい。
【００５７】
レンズ位置決定モジュール223内の命令は、距離センサ230によって検出されたオブジェクト240と撮像デバイス200との間の距離に少なくとも部分的に基づいて各フレームに関するレンズ位置を決定するようにプロセッサ205を構成してもよい。いくつかの実施形態では、レンズ位置決定モジュール223内の命令は、距離センサ230から距離測定値を受信するようにプロセッサ205を構成してもよい。加えて、レンズ位置決定モジュール223内の命令は、式1〜式3を参照して以下で説明するように、センサモジュール210の設計仕様およびアンカー値などの、作業メモリ270および/またはストレージ275から較正入力を取り出すようにプロセッサ205を構成してもよい。いくつかの実施形態では、レンズ位置決定モジュール223内の命令は、式1〜式3を参照して以下に詳述するように、センサモジュール210の設計仕様およびアンカー値に少なくとも部分的に基づいて、距離センサ230からの距離測定値を最適フォーカスのための推定レンズ位置に変換するようにプロセッサ205を構成してもよい。したがって、レンズ位置決定モジュール223内の命令は、距離センサ230から受信した距離測定値から、センサモジュール210内のレンズ212の最適フォーカスのための推定レンズ位置を決定するための1つの手段を表してもよい。いくつかの実施形態では、レンズ位置決定モジュール223内の命令は、シーン変化検出モジュール222内の命令によって決定されるようにシーンが変化し続けている間、距離センサ230からの距離測定値をレンズ位置に変換するようにプロセッサ205を構成してもよい。したがって、レンズ位置決定モジュール223は、シーンの変化を示す情報を受信するための1つの手段を表してもよい。いくつかの実施形態では、レンズ位置決定モジュール223内の命令は、最適フォーカスのための推定レンズ位置を境界限界決定モジュール224および/またはレンズ制御モジュール225に送ってもよい。したがって、レンズ位置決定モジュール223内の命令は、オブジェクト240と撮像デバイス200との間の検出された距離に少なくとも部分的に基づいて、最適フォーカスのための推定レンズ位置を定義する入力パラメータを生成するための1つの手段を表してもよい。さらに、境界限界決定モジュール224および/またはレンズ制御モジュール225内の命令は、最適フォーカスのための推定レンズ位置を定義する入力パラメータを受信するための1つの手段を表してもよい。
【００５８】
境界限界決定モジュール224内の命令は、レンズ位置決定モジュール223からの命令に基づいてプロセッサ205によって決定された最適フォーカスのための推定レンズ位置に少なくとも部分的に基づいて境界限界を決定するようにプロセッサ205を構成してもよい。いくつかの実施形態では、境界限界決定モジュール224内の命令は、シーンが連続的に変化する間、各画像フレームに関する最適フォーカスのための推定レンズ位置を受信し、最適フォーカスのための推定レンズ位置を包含する近境界限界および遠境界限界を決定するようにプロセッサ205を構成してもよい。したがって、境界限界決定モジュール224は、最適フォーカスのための推定レンズ位置に関する複数の境界限界を決定するための1つの手段を表してもよい。いくつかの実施形態では、境界限界決定モジュール224内の命令は、近境界限界および遠境界限界を定義する境界入力をレンズ制御モジュール225に送るようにプロセッサ205を構成してもよい。したがって、境界限界決定モジュール224内の命令は、最適フォーカスのための推定レンズ位置に少なくとも部分的に基づいて境界入力を生成するための1つの手段を表してもよい。さらに、レンズ制御モジュール225内の命令は、少なくとも境界限界を含む入力パラメータを受信するためのものを表してもよい。
【００５９】
レンズ制御モジュール225内の命令は、レンズ位置決定モジュール223によって決定された最適フォーカスのための推定レンズ位置に少なくとも部分的に基づいて、レンズ212のためのレンズ位置をもたらすようにプロセッサ205を構成してもよい。いくつかの実施形態では、レンズ制御モジュール225内の命令は、レンズ位置決定モジュール223から受信した最適フォーカスのための推定レンズ位置に向かう方向にレンズ212を移動させるようにプロセッサ205を構成してもよい。一実施形態では、レンズ212は、境界限界決定モジュール224から受信した境界限界まで移動される。したがって、レンズ制御モジュール225は、メモリ220の1つまたは複数のモジュールから受信した入力パラメータに基づいてレンズ212を移動させるための1つの手段を表してもよい。いくつかの実施形態では、レンズ制御モジュール225内の命令は、シーンが不安定なままで、変化し続けている間、受信した入力パラメータに基づいてレンズ212を移動させるようにプロセッサ205を構成してもよい。したがって、レンズ制御モジュール225内の命令は、シーン変化を示す情報を受信する1つの手段を表してもよい。いくつかの実施形態では、レンズ制御モジュール225内の命令は、シーンが変化している間、近境界限界のみにレンズを移動させるようにプロセッサ205を構成してもよい。
【００６０】
安定性決定モジュール226内の命令は、オブジェクト240またはシーンの一部に少なくとも部分的に基づいて、シーンが安定しているかどうかを決定するようにプロセッサ205を構成してもよい。いくつかの実施形態では、安定性決定モジュール226内の命令は、監視されたシーンから取得された情報、たとえば、光強度測定値、撮像デバイスの物理的動きに関係するジャイロスコープ測定値、および/または距離センサ230から受信した距離測定値に少なくとも部分的に基づいて、シーンが安定しているかどうかを決定するようにプロセッサ205を構成してもよい。したがって、安定性決定モジュール226内の命令は、選択されたオブジェクトまたは画像フレームの一部と、メモリ220の1つまたは複数から受信した入力とに少なくとも部分的に基づいて、シーンが安定していると決定するための1つの手段を表してもよい。いくつかの実施形態では、安定性決定モジュール226内の命令は、シーンが安定していることを示す情報を、レンズ位置決定モジュール223、レンズ制御モジュール225、および/またはオートフォーカス制御モジュール227に送ってもよい。したがって、安定性決定モジュール226内の命令は、シーンが安定していることを示すための1つの手段を表してもよい。レンズ位置決定モジュール223、レンズ制御モジュール225、および/またはオートフォーカス制御モジュール227内の命令は、シーンが安定していることを示す情報を受信するための1つの手段を表してもよい。
【００６１】
いくつかの実施形態では、安定性決定モジュール226内の命令によって構成されたプロセッサ205によってシーンが安定していると決定されると、レンズ制御モジュール225内の命令は、受信した入力に基づいてレンズ212を移動させるのを停止するようにプロセッサ205を構成してもよい。さらに、レンズ位置決定モジュール223内の命令はまた、距離センサ230からの検出された距離に基づいて最適フォーカスのための推定レンズ位置を決定するのを停止するようにプロセッサ205を構成してもよい。さらに、いくつかの実施形態では、オートフォーカス制御モジュール227内の命令は、シーンが安定しているという決定に少なくとも部分的に基づいてオートフォーカスサーチ動作を開始するようにプロセッサを構成してもよい。したがって、オートフォーカス制御モジュール227は、オートフォーカスサーチを実行する1つの方法を表してもよい。いくつかの実施形態では、オートフォーカス制御モジュール226内の命令は、レンズ制御モジュール225から受信した入力に少なくとも部分的に基づいてオートフォーカスサーチを開始するようにプロセッサ205を構成してもよい。たとえば、オートフォーカスサーチ動作は、本明細書で詳細に説明するように、レンズ212が近限界に位置するとき、および、シーンが安定していると決定されたときに開始されてもよい。いくつかの実施形態では、オートフォーカス制御モジュール227内の命令は、オートフォーカスを実行するためのステップサイズなどのオートフォーカスサーチパラメータをレンズ制御モジュール225に送ってもよい。レンズ制御モジュール225内の命令は、オートフォーカスサーチパラメータに基づいてレンズ212を移動させることによって、オートフォーカスサーチをもたらすようにプロセッサ205を構成してもよい。したがって、レンズ制御モジュール225は、オートフォーカスサーチ動作を実行するための別の手段を表してもよい。
【００６２】
図3は、所与のシーンと、センサモジュール、たとえば、図2Bに示すセンサモジュール210とに関する、レンズ位置(x軸)に対してプロットされたフォーカス値オートフォーカス方法(y軸)の一例を示すグラフである。各ドット301〜310は、オートフォーカス構成要素214によって移動されるレンズ212などのレンズのレンズ位置を示す。各レンズ位置において、プロセッサ205は、フォーカス値を決定するように構成されてもよく、撮像デバイスが最も高いフォーカス値を検出するレンズ位置は、最適フォーカスのためのレンズ位置である。例示の目的のため、可動範囲250は、0から100まで設定されることが可能であり、0のレンズ位置は、レンズがマクロ機械的端部254に位置する(たとえば、撮像デバイスは、近いオブジェクトにフォーカスしている)ことを表し、100のレンズ位置は、無限遠機械的端部255を表す(たとえば、撮像デバイスは、遠くのオブジェクトにフォーカスしている)。いくつかの実施形態では、0から100までの各整数は、単一の離散的レンズ位置を表してもよい。したがって、レンズが可動範囲250(図2B)に沿って移動するにつれて、撮像デバイスは、最適フォーカスのためのレンズ位置を表す最も高いフォーカス値を計算する。次いで、レンズが最適フォーカスレンズ位置から離れるにつれて、フォーカス値は、減少し、図3に示す曲線を提供する。
【００６３】
いくつかの撮像デバイスでは、撮像デバイスが、シーンが安定していると決定し、オートフォーカスサーチ動作を開始すると、撮像デバイスは、レンズ位置0からレンズ位置100までの可動範囲250に沿ったレンズ位置を通してレンズを移動させることによって、オートフォーカスサーチを実行する。オートフォーカスサーチは、可動範囲の一端(たとえば、マクロ機械的端部254)において開始し、大きく粗いステップ301〜307を実行してもよい。各ステップ301〜307について、撮像デバイスは、フォーカス値を計算してもよく、それによって図3のものと同様の一般的な形状を提供する。このようにして、撮像デバイスは、ピークフォーカス値がどこであるかを推定することができる。各ステップに関するフォーカス値が前のステップに対して減少すると、撮像デバイスは、最適フォーカスレンズ位置を特定するためにピークの周りのより小さいステップ308〜310を実行するように構成されてもよい。しかしながら、いくつかのオートフォーカスサーチは、撮像デバイスがますますより小さくより精密なステップサイズにおいて複数のパスを作るので、図3の精密サーチに示すように、可動範囲の以前移動した領域を逆戻りする必要がある。
【００６４】
図4は、一実施形態による例示的なオートフォーカスイベントに関するオートフォーカスイベントタイムラインを示す。図4では、タイムラインは、時間(t)の経過を表す軸に沿ってプロットされる。いくつかの実施形態では、オートフォーカスイベントは、監視段階310とサーチ段階320とを含む連続オートフォーカスモードにおいて完全に発生する。図4に示すように、シーン変化331は、点330において監視段階開始を有する監視段階310の間に検出される。シーン変化は、図1を参照して上記で説明したように、様々な方法によって検出されてもよい。シーン変化が検出されると、距離センサ230は、フレーム332〜335ごとに、シーンの少なくとも1つのオブジェクトと撮像デバイス200との間の距離を報告する。いくつかの実施形態では、距離センサ230は、およそミリメートルで距離を報告してもよいレーザモジュールである。一実施形態では、距離は、飛行時間計算に基づき、レーザセンサは、赤外線エミッタを介して、シーンに向けて光のパルスを送り、超高速光検出器が、反射されたパルスをピックアップする。レーザモジュールは、次いで、パルスの放射と反射の検出との間の時間差を正確に測定してもよい。測定された時間と、光の既知の速度とに基づいて、オブジェクトと撮像デバイス200との間の距離が決定されてもよい。別の実施形態では、距離センサ230は、レーザモジュールと同様の方法で物理的距離を提供するように構成されたデュアルカメラシステムであってもよい。デュアルカメラシステムの一実装形態は、並んで位置する人間の目と同様であってもよい。そのようなデュアルカメラシステムは、左画像および右画像を取り込み、取り込まれた画像内のオブジェクトの距離を決定するために、三角測量技法を適用することができる。一般に、デュアルカメラシステムは、別個の画像が同じシーンのものである別個のカメラの結果として、撮像デバイス200の前にあるオブジェクトの距離を推定するように構成されることが可能である。撮像デバイス200は、次いで、これらの2つの画像に基づいてシーンまでの距離を計算することができる。
【００６５】
さらに図4を参照すると、本明細書で開示するいくつかの実施形態では、撮像デバイス200は、距離センサから受信したそのフレームの報告された距離に基づいて、各フレーム332〜335のレンズ位置を計算する。いくつかの実施形態では、実際の決定は、周囲の環境からの外部の影響によって影響を受けるので、レンズ位置は、実際のレンズ位置の推定値である。各フレームに関する報告された距離の決定されたレンズ位置に基づいて、レンズ位置の両側における境界範囲、たとえば、近境界限界340および遠境界限界350が、それぞれ設定される。近境界限界は、境界が現在のレンズ位置と最適フォーカスレンズ位置との間に物理的に位置するような、レンズの現在のレンズ位置に最も近い境界を指すように理解される。遠境界限界は、最適フォーカスレンズ位置が遠境界限界と現在のレンズ位置との間に位置するような、レンズの現在の位置から最も遠い境界を指すように理解される。最適フォーカスレンズ位置ならびに近限界境界および遠限界境界の推定に続いて、撮像デバイス200は、レンズ212を動かす方向を決定するように構成されることが可能である。レンズ212は、距離センサ230がフレームごとのシーンの変化を検出し続けている間、レンズ212の現在のレンズ位置が近境界限界になるまでおよび/またはシーンが安定するまで、決定された最適フォーカスレンズ位置の方向に移動される。いくつかの実施形態では、近限界に達したときおよび/またはシーンが安定したとき、撮像デバイス200は、近限界および遠限界の範囲内でオートフォーカスサーチ動作を開始するように構成されてもよい。いくつかの実施形態では、オートフォーカスサーチ動作は、精密なオートフォーカスサーチ動作が実行されるように精密レンズステップを含んでもよい。精密レンズステップは、粗いレンズステップよりも小さいレンズステップを指してもよく、たとえば、図3のより小さいステップ308〜310として示すレンズステップは、図3の粗いステップ301〜307として示す粗いレンズステップと比較して精密なレンズステップを表してもよい。いくつかの実施形態では、精密レンズステップは、より大きい粗いレンズステップの一部であってもよい。
【００６６】
たとえば、レンズの可動範囲は、0から100までのレンズ位置に設定されることが可能であり、本明細書に開示する方法より前に、撮像デバイスは、50cm離れたオブジェクトに関するレンズ位置を決定することによって較正されてもよい。これを行うために、オブジェクトが、撮像デバイス200から50cm離れて配置されてもよく、撮像デバイスは、較正または調整プロセスに基づいて最良フォーカスのためのレンズ位置を記録する。たとえば、50cm離れたオブジェクトのための最適フォーカスレンズ位置は、センサモジュール210の可動範囲に沿ったレンズ212の位置を表す整数である60のレンズ位置であると決定されてもよい。これは、50cmのアンカーレンズ距離と、60のアンカーレンズ位置とを表す。アンカーレンズ距離およびアンカーレンズ位置は、他の距離に対するレンズ位置を計算するために使用されることが可能であり、他の距離は、オートフォーカスイベントの監視段階中にレーザモジュールによって検出される。撮像デバイス200は、アンカー距離、アンカーレンズ位置、およびセンサモジュール仕様(たとえば、レンズの焦点距離、F値、画像センサのピクセルサイズ、および撮像デバイスの感度)に基づいて、検出された物理的距離をレンズ位置に変換するように構成されてもよい。
【００６７】
したがって、距離センサ230が、オブジェクトが撮像デバイス200から20cm離れていることを報告するレンズ位置は、以下のように計算されてもよい。
【００６８】
PLL=PAL-(abs(X1-X0)/S)  式(1)
ここで、PLLは、レンズ位置であり、PALは、アンカーレンズ位置であり、Sは、撮像デバイスの仕様から導出された感度であり、X1およびX0は、以下の式によって決定される。
【００６９】
X1=(f2/(XD-f))*1000;    式(2)
【００７０】
X0=(f2/(DA-f))*1000;    式(3)
ここで、fは、撮像デバイスのレンズの焦点距離であり、XDは、距離センサによって報告される距離であり、DAは、アンカー距離である。したがって、所定のアンカー距離が500mmであり、アンカーレンズ位置が60であり、感度が1であり、焦点距離が3.83である場合、撮像デバイスから200mm離れたオブジェクトに関するレンズ位置は、約14である。これは、撮像デバイスが20cm離れたオブジェクトにフォーカスするために、レンズは、可動範囲に沿ってレンズ位置14の周りのどこかに配置されるべきであることを示す。14のレンズ位置は、計算された推定値であるが、現実世界では、最適フォーカスレンズ位置は、ほぼレンズ位置10とレンズ20との間になる。これは、レンズが重力、熱、摩擦、および他の外部の影響から変動および影響を受けるからである。したがって、偏差を補償するために、方法は、レンズが可動範囲に沿って現在どこに位置するのかに応じて、近境界限界および遠境界限界を表す10のレンズ位置と20のレンズ位置との間で精密オートフォーカスサーチを実行してもよい。
【００７１】
いくつかの実施形態では、実際の最適オートフォーカスレンズ位置が位置している可能性があるレンズ位置の範囲は、撮像デバイスの被写界深度(「DOF」)に基づいて決定されることが可能である。写真では、DOFは、許容できるほど鮮明であるか、またはフォーカスされているシーンの最も近いオブジェクトと最も遠いオブジェクトとの間の距離である。オブジェクトの各距離に関して、対応するDOFが存在する。したがって、いくつかの実施形態では、最適フォーカスレンズ位置は、所与の画像フレームに対して決定されたオブジェクト距離に関するDOFの範囲内の任意の場所であり得る。
【００７２】
本明細書で開示するいくつかの実施形態では、シーン変化が検出されると、レンズは、従来のオートフォーカスサーチ方法とは異なり、デバイスが依然としてパンしているか、または安定していない場合があっても、近限界に向けて移動される。これは、撮像デバイスが、(シーン変化に続く)フレームごとに距離センサによって返される物理的距離に基づいて目標レンズ位置を推定する結果として、レンズをどちらの方向に移動させるのかを決定することができるからである。このようにして、撮像デバイスは、レンズを移動させる方向と、レンズを移動させる量とを知る。対照的に、従来のコントラストオートフォーカスサーチ動作は、シーンが変化したとき、レンズを移動させる方向または量を知らず、撮像デバイスは、シーンが監視段階中に安定するまで待つことを強いられ、次いで、コントラストの比較に基づいて、シーンにフォーカスすることを試みる。
【００７３】
たとえば、上記で説明したように、レンズの可動範囲は、0から100まで設定されてもよく、各整数(たとえば、0、1など)は、レンズ位置を表し、レンズは、現在100に位置してもよい。最初に、撮像デバイスは、(たとえば、上記で説明したように、ルーマ、動き、または距離に基づいて)シーンが変化したと決定し、距離センサは、所与のフレームに関する新しい距離を検出し、送信する。たとえば、距離センサは、所与のフレームについて、オブジェクトが撮像デバイスから50cmに位置すると決定する。撮像デバイス、またはその中に含まれるメモリ220のモジュールは、式(1)〜式(3)に基づいて、レンズ位置を60として決定し、ここで、60は、最適フォーカスレンズ位置が約60である場合があることを表すレンズ位置の推定値である。それは、正確に60であるかまたは60近くのどこかである場合がある。したがって、実際の最適フォーカスレンズ位置に位置することを確実するために、撮像デバイスは、近境界限界および遠境界限界を用いて精密オートフォーカスサーチを実行してもよい。近限界および遠限界は、たとえば、それぞれ80および40として設定される。撮像デバイスが依然としてパンしているおよび/または安定していない(たとえば、撮像デバイスが現在監視段階中にある)間、レンズは、80の近境界限界に向けて移動され、シーンがほぼ安定したとき、レンズは、近境界限界近くに位置するべきである。例示的な例では、現在の位置は、100であり、監視段階にある(たとえば、撮像デバイスが現在パンしているか、または安定していない)間、レンズは、フレームごとに10のステップだけ移動される(フォーカス位置は、上述したように推定され、近境界限界が順に設定される)。したがって、次のフレームにおいて、レンズは、90、次いで80になる。レンズが80にあるとき、それは、近境界限界に達しており、いくつかの実施形態では、撮像デバイスは、精密オートフォーカスサーチを実行してもよい。いくつかの実施形態では、オートフォーカスサーチ段階は、近境界限界に到達するレンズに基づいて開始されてもよい。別の実施形態では、オートフォーカスサーチ段階は、撮像デバイスが、シーンが安定していると決定するおよび/または撮像デバイスがパンを停止したことに基づいて開始されてもよい。いくつかの例では、撮像デバイスは、レンズが近境界限界から離れている間に安定する場合があり、これらの場合、レンズは、オートフォーカスサーチ段階を開始する前に、近境界限界に直接移動されてもよい。
【００７４】
本明細書で開示する実施形態の例示的な非限定的な利点は、撮像デバイスがパンしている間にレンズが移動されるので、オートフォーカスサーチ段階を開始する前にレンズがすでに最適フォーカスレンズ位置に近いため、デフォーカスイベントの発生が減少することである。ユーザは、撮像デバイスのプレビュー画面においてデフォーカスイベントを見る可能性が低い。したがって、本明細書で開示する実施形態は、レンズが従来のオートフォーカスサーチ動作よりも速く、より正確に移動されるので、デフォーカスイベントを大幅に減少させる。
【００７５】
図5は、撮像デバイスのオートフォーカスサーチ動作の始めまたは前において最適フォーカスレンズ位置の方向を決定するプロセスのフローチャートである。プロセス500は、図2Aおよび図2Bに示す撮像デバイス200によって実行されてもよい。いくつかの実施形態では、最適フォーカスのためのレンズ位置の方向を決定する方法は、メモリ220によるソフトウェアソリューション、もしくはメモリ220のモジュールの任意の組合せとして実施されることが可能であり、または、撮像デバイス200内の他の場所、たとえば、プロセッサ205内の論理デバイスによって実行される1つまたは複数のプロセッサにおいて実施されることが可能である。
【００７６】
プロセス500は、開始ブロックにおいて開始し、次いで、ブロック502に移行し、ブロック502では、撮像デバイスは、シーンを監視する。一実施形態では、ブロック502は、撮像デバイスの監視段階を開始する。いくつかの実施形態では、撮像デバイスは、撮像デバイスのディスプレイ上のシーンの複数の画像フレームを取り込み、および/またはプレビューする。いくつかの実施形態では、撮像デバイスは、監視される対象のオブジェクトを自動的に選択する。
【００７７】
監視段階の一部として、プロセス500は、決定ブロック504に移行し、決定ブロック504では、プロセス500は、シーン変化が生じたかどうかを決定する。これに関して、撮像デバイスは、シーン変化を検出する任意の方法を利用してもよい。上記で説明したような例示的な方法は、ルーマ値、動き、および距離に基づくシーン変化検出を含む。撮像デバイスが、シーンが変化していないと決定した場合、プロセスは、ブロック502に戻り、シーン変化が検出されるまで、シーンを継続的に監視する。シーン変化が検出された場合、プロセスは、シーン変化の検出に続く各フレームに関するサブプロセス506に移行する。
【００７８】
各フレームについて、プロセス500は、ブロック508に移行し、ブロック508では、距離センサは、オブジェクトと撮像デバイスとの間の距離を検出する。いくつかの実施形態では、距離センサは、放射された光に基づいて距離を検出する(たとえば、飛行時間計算)ように構成されたレーザモジュールまたはレーザセンサである。別の実施形態では、距離センサは、撮像デバイスとオブジェクトとの間の距離を決定するように構成されたデュアルカメラシステムである。距離センサは、検出された距離を評価および処理のためにメモリ220に報告または送るように構成されてもよい。
【００７９】
ブロック508において距離が決定された後、プロセス500は、ブロック510に移行し、ブロック510では、レンズ位置が、ブロック508において検出された距離に基づいて決定される。レンズ位置は、式(1)〜式(3)を参照した上記の説明に従って計算されてもよい。
【００８０】
レンズ位置が所与のフレームについて決定された後、プロセス500は、ブロック512に移行し、ブロック512では、近境界限界および遠境界限界が設定される。一実施形態では、近境界限界および遠境界限界は、決定されたレンズ位置に基づいて設定される。他の実施形態では、近境界限界は、現在のレンズ位置と最適フォーカスのためのレンズ位置との間の可動範囲に沿って物理的に位置するように設定される。別の実施形態では、遠境界限界は、可動範囲に沿って物理的に位置するように設定され、最適フォーカスレンズ位置は、遠境界限界と現在のレンズ位置との間に位置する。
【００８１】
近境界限界および遠境界限界が設定された後、プロセス500は、ブロック514に移行し、ブロック514では、レンズは、近境界限界に向かう方向に移動される。いくつかの実施形態では、撮像デバイス、図2Bのオートフォーカス構成要素214、および/またはメモリ220のモジュールは、近境界限界に向けてレンズを移動させるように個別にまたは一緒に動作してもよい。いくつかの実施形態では、レンズは、所与のフレームに関する近境界限界に向けて、各フレームの所定の離散的ステップサイズ、たとえば、10レンズ位置だけ移動される。別の実施形態では、レンズは、次のフレームに関する分析が開始されるまで、シーンが安定するまで、および/またはレンズが近境界限界に位置するまで、連続動作で可動範囲に沿って移動される。一実施形態では、各ステップサイズに関するレンズ位置の数の選択は、調整または較正手順の一部であり得る。ユーザまたは製造業者は、自分の好みによって値をsとして、たとえば、10レンズ位置または11レンズ位置に設定することができる。ステップサイズがそうでなければならないレンズ位置の明確な数は、存在しない場合がある。しかしながら、特定の実施形態は、特定のデフォルト値を含んでもよい。ステップサイズを選択するときの考慮事項は、少なくとも、最適フォーカスのためのレンズ位置の精度と、オートフォーカスサーチに必要な時間とを含んでもよい。たとえば、より小さいステップサイズを選択することは、正確な最適フォーカスレンズ位置を返す場合があるが、オートフォーカスサーチ時間の増加を犠牲にする。代替的には、ステップサイズとしてより多くのレンズ位置を選択することは、精度を犠牲にして、サーチ時間を減少させる場合がある。
【００８２】
レンズが近境界限界に向けて移動された後、プロセス500は、ブロック516に移行し、ブロック516では、シーンが安定しているかどうかについて決定が行われる。上記で説明した例示的な方法は、ルーマ値および動きに基づく安定性決定を含む。撮像デバイスが、シーンが安定していないと決定した場合、プロセスは、サブプロセス506の開始に戻り、次のフレームに関するプロセスを繰り返す。
【００８３】
シーンが安定していると決定された場合、プロセス500は、決定ブロック518に移行し、決定ブロック518では、レンズが近境界限界に位置しているかについて決定が行われる。いくつかの実施形態では、シーンが安定していると決定された場合、レンズは、近境界限界に、またはその近くに位置するべきである。これらの例では、決定ブロック518は、レンズが近境界限界に位置すると決定し、ブロック522に進む。しかしながら、いくつかの例では、レンズは、シーンが安定しているとき、近境界限界に位置しない。それらの例では、決定ブロック518は、レンズが近境界限界から離れていると決定し、次いで、ブロック520に進む。ブロック520において、レンズは、近境界限界に移動される。
【００８４】
レンズが近境界限界にあると決定された後、またはレンズがブロック520において近境界限界に移動された後、プロセス500は、ブロック522に移行してもよい。ブロック522は、監視段階の終了を表してもよく、監視段階の終了では、シーンは、安定しており、撮像デバイスは、もはやパンしていない。したがって、ブロック522はまた、オートフォーカスサーチ段階の開始を表してもよい。ブロック522において、プロセス500は、図3を参照して上記で説明したように、各ステップに関するフォーカス値に基づいて精密オートフォーカスサーチ動作を実行してもよい。このようにして、プロセス500は、撮像デバイスが、最適フォーカスレンズ位置を迅速かつ正確に位置決めすることを可能にしてもよい。
【００８５】
以下の説明は、本明細書で開示する方法および装置の多数の例示的な変形形態を含む。例示的な変形形態は、本明細書で開示する実施形態の例示的な目的のためのものであり、決して限定的であることを意図していない。以下の例示的な例では、レンズの可動範囲は、0から100まで設定されてもよく、ここで、0は、マクロ機械的端部であり、100は、無限遠機械的端部である。最初に、撮像デバイスは、シーン変化を検出し、距離センサは、所与のフレームに関する新しい距離、たとえば、50cmを検出する。撮像デバイスは、次いで、所与のフレームの検出されたオブジェクト距離に基づいて、レンズ位置を60であると決定し、ここで、60は、最適フォーカスレンズ位置が約60であってもよいことを表すレンズ位置の推定値である。それは、正確に60であるかまたは60の近くのどこかにある場合がある。したがって、実際の最適フォーカスレンズ位置に位置することを確実するために、撮像デバイスは、レンズ位置60の周りで精密オートフォーカスサーチを実行するように構成されてもよい。
【００８６】
1つの例示的な例では、現在のレンズ位置は、10であってもよい。この場合、現在のレンズ位置は、マクロ機械的領域内であり、レンズがマクロ機械的端部と最適フォーカスレンズ位置との間に位置することを意味する。撮像デバイスは、最適フォーカスレンズ位置がレンズ位置60の近くのどこかにあると決定したので、近境界限界および遠境界限界は、たとえば、それぞれ40および80に設定されてもよい。デバイスがパンしている場合であっても、撮像デバイスは、可動範囲に沿って10のレンズ位置のステップサイズで近境界限界(たとえば、この例では40)に向けてレンズを移動させ始める。したがって、次のフレームに関して、レンズは、レンズ位置20に位置し、次いで、次のフレームに関して30に位置し、最終的に、次のフレームに関して40に位置する。レンズがレンズ位置40にあるとき、シーンはまた、安定している場合がある。シーンが安定しているとき、撮像デバイスは、次いで、オートフォーカス段階を開始してもよく、最適フォーカスレンズ位置を特定するために、近境界限界および遠境界限界(たとえば、レンズ位置40および80)の範囲内で精密オートフォーカスサーチを開始してもよい。
【００８７】
別の例示的な例では、現在のレンズ位置は、100であってもよい。前の例と同様に、オブジェクトは、撮像デバイスから50cmに位置してもよく、推定最適フォーカスレンズ位置は、レンズ位置60の周囲である。この例では、近境界限界および遠境界限界は、レンズ位置80および40である。この例では、近境界限界は、レンズ位置80であり、40ではないことに留意すべきである。これは、現在のレンズ位置は、無限遠機械的領域内の100であり、したがって、現在のレンズ位置に最も近い境界限界は、レンズ位置80であり、40ではないからである。撮像デバイスは、最適フォーカスレンズ位置がレンズ位置60の周囲のどこかであり、60に向けて移動すると決定する。したがって、撮像デバイスは、10のステップで近境界限界(たとえば、レンズ位置80)に向けてレンズを移動させ始める。したがって、次のフレームに関して、レンズは、レンズ位置90にあり、次いで、レンズ位置80にあり、次いで、撮像デバイスは、シーンが安定していると決定してもよい。シーンが安定していると決定されると、撮像デバイスは、オートフォーカス段階を開始してもよく、最適フォーカスレンズ位置を特定するために、近境界限界および遠境界限界(たとえば、レンズ位置80および40)の範囲で精密オートフォーカスサーチを開始してもよい。
【００８８】
別の例示的な例では、シーンは、安定していると決定されるが、レンズは、近限界にない。この例では、現在のレンズ位置は、レンズ位置10にあってもよい。前の例示におけるように、オブジェクトは、撮像デバイスから50cmに位置してもよく、したがって、最適フォーカスレンズ位置は、レンズ位置60の周りであるべきである。現在のレンズ位置は、マクロ機械的領域内であり、最適フォーカスレンズ位置は、約60であるので、撮像デバイスは、近境界限界および遠境界限界を、それぞれレンズ位置40および80に設定する。撮像デバイスは、次いで、10レンズ位置の増分だけ近境界限界(たとえば、レンズ位置40)に向けてレンズを移動させる。たとえば、撮像デバイスは、レンズを次のフレームにおけるレンズ位置20に移動させる。ここで、例示の目的のために、このフレームにおいて、撮像デバイスは、シーンが安定していると決定するが、レンズは現在、近境界限界(たとえば、レンズ位置40)ではないレンズ位置20にある。しかしながら、撮像デバイスは、レンズ位置40の近境界限界から始まる精密オートフォーカスサーチを開始する。この例では、精密オートフォーカスサーチ動作を開始する前に、撮像デバイスは、レンズが近境界限界にあるかどうかを決定するために現在のレンズ位置をチェックする。レンズが現在近境界限界にない場合、撮像デバイスは、近境界限界にレンズを移動させ、精密オートフォーカスサーチを開始する。本明細書における例示的な場合では、撮像デバイスは、レンズがレンズ位置20にあったとき、シーンが安定していると決定しており、レンズは、近境界限界にないので、撮像デバイスは、近境界限界(たとえば、レンズ位置40)にレンズを移動させ、精密オートフォーカスサーチを開始する。
【００８９】
代替的には、シーンが安定していないが、レンズが近境界限界に位置する場合、撮像デバイスは、撮像デバイスが、シーンが安定していると決定するまで、シーンを監視し続けるように構成される。シーンが安定すると、撮像デバイスは、精密オートフォーカスサーチを開始してもよい。いくつかの実施形態では、撮像デバイスは、レンズが近境界限界に位置している間に、シーンが安定していると決定するまで待機する。他の実施形態では、撮像デバイスは、シーンの安定性を監視し続け、各フレームについて、各フレームに関する最適フォーカスレンズ位置を再推定する。したがって、撮像デバイスは、シーンの安定性を監視し続けながら、各フレームに関する近境界限界を決定し続ける。
【００９０】
別の例示的な例では、撮像デバイスが、シーンが安定していると決定したとき、現在のレンズ位置は、近境界限界と遠境界限界との間に位置する。この例では、シーンが安定していると決定すると、撮像デバイスは、近境界限界にレンズを移動させ、次いで、精密オートフォーカスサーチを進めるように構成されてもよい。たとえば、撮像デバイスは、最適フォーカスレンズ位置がレンズ位置60の周りにあると決定してもよく、したがって、レンズが現在位置する場所に応じて、近境界限界および遠境界限界は、40および80である。
【００９１】
第1の例では、シーンが安定しているときの現在のレンズ位置は、レンズ位置45であり、したがって、レンズは、近境界限界と遠境界限界との間に位置する。この例では、近境界限界は、レンズ位置40に設定され、遠境界限界は、レンズ位置80に設定される。したがって、撮像デバイスが、シーンが安定していると決定したとき、撮像デバイスは、近位置(たとえば、レンズ位置40)にレンズを移動させ、次いで、レンズ位置40(近境界限界)からレンズ位置80(遠境界限界)までの精密オートフォーカスサーチを開始するように構成されてもよい。
【００９２】
第2の例では、シーンが安定しているときの現在のレンズ位置は、レンズ位置70であり、したがって、レンズは、近境界限界と遠境界限界との間に位置する。この例では、近境界限界は、レンズ位置80に設定され、遠境界限界は、レンズ位置40に設定される。したがって、撮像デバイスが、シーンが安定していると決定したとき、撮像デバイスは、近位置(たとえば、レンズ位置80)にレンズを移動させ、次いで、レンズ位置80(近境界限界)からレンズ位置40(遠境界限界)までの精密オートフォーカスサーチを開始するように構成されてもよい。
【００９３】
当業者は、本明細書に開示される実装形態に関連して説明した様々な例示的な論理ブロック、モジュール、回路、および処理ステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることをさらに理解するだろう。ハードウェアとソフトウェアのこの互換性を明示的に説明するために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、それらの機能の観点から一般的に上述されている。そのような機能が、ハードウェアまたはソフトウェアのどちらとして実装されるのかは、特定のアプリケーションと、システム全体に課される設計制約とに依存する。当業者は、説明した機能を特定のアプリケーションごとに様々な方法で実装してもよいが、そのような実装の決定は、本実施形態の範囲からの逸脱を生じさせるものとして解釈されるべきではない。当業者は、一部または部分が全体よりも小さいまたは等しいものを備えてもよいことを理解するであろう。たとえば、ピクセルの集合の一部は、それらのピクセルのサブ集合を指す場合がある。
【００９４】
本明細書で開示する実装形態に関連して説明した様々な例示的論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは他のプログラマブル論理デバイス、ディスクリートゲートもしはトランジスタロジック、ディスクリートハードウェア構成要素、または、本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行されてもよい。汎用プロセッサは、マイクロプロセッサであってもよいが、代替において、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってもよい。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサ、複数のマイクロプロセッサ、DSPコアと連携する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されてもよい。
【００９５】
本明細書に開示されている実施形態に関連して説明した方法またはプロセスのステップは、ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、または2つの組合せにおいて直接的に具体化され得る。ソフトウェアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、または当分野で知られている非一時的記憶媒体の任意の他の形態の中に存在し得る。例示的なコンピュータ可読記憶媒体がプロセッサに接続されると、そのようなプロセッサはコンピュータ可読記憶媒体から情報を読み出し、そこへ情報を書き込むことができる。代替として、記憶媒体はプロセッサと一体構成であってもよい。プロセッサおよび記憶媒体はASIC内に存在し得る。ASICは、ユーザ端末、カメラ、または他のデバイス内に存在し得る。代替において、プロセッサおよび記憶媒体は、ユーザ端末、カメラ、または他のデバイス内の別個の構成要素として存在してもよい。
【００９６】
参照のため、および様々なセクションを見つけるのを助けるために、本明細書に見出しが含まれる。これらの見出しは、それに関して説明した概念の範囲を限定することを意図しない。そのような概念は、本明細書全体にわたって適用性を有し得る。
【００９７】
開示された実装形態の前述の説明は、当業者が本明細書で説明した実施形態を製造または使用することを可能にするために提供される。本実装形態に対する様々な修正は、当業者には容易に明らかであり、本明細書で定義した一般的な原理は、実施形態の要旨または範囲から逸脱することなく、他の実装形態に適用されてもよい。したがって、開示された実施形態は、本明細書で示す実装形態に限定されることを意図するものではなく、代わりに、本明細書で開示する原理および新規な特徴と一致する最も広い範囲が与えられるべきである。
【符号の説明】
【００９８】
110  監視段階
120  オートフォーカスサーチ段階
132  監視段階開始点
135  点、シーン変化
137  点
145  点
150  点
200  撮像デバイス
205  プロセッサ
210  センサモジュール
212  レンズ
214  オートフォーカス構成要素
216  画像センサ、撮像センサ
218  取り付け空間
220  メモリ
221  入力処理モジュール
222  シーン変化検出モジュール
223  レンズ位置決定モジュール
224  境界限界決定モジュール
225  レンズ制御モジュール
226  安定性検出モジュール
227  オートフォーカス制御モジュール
230  距離センサ
240  シーン
250  可動範囲
251  無限遠機械的端部255に向かう方向
252  マクロ機械的端部254に向かう方向
254  マクロ機械的端部
255  無限遠機械的端部
270  作業メモリ
275  ストレージ
280  ディスプレイ
290  入力デバイス
301  ドット、ステップ
302  ドット、ステップ
303  ドット、ステップ
304  ドット、ステップ
305  ドット、ステップ
306  ドット、ステップ
307  ドット、ステップ
308  ドット、ステップ
309  ドット、ステップ
310  ドット、ステップ、監視段階
320  サーチ段階
330  点
331  シーン変化
332  フレーム
333  フレーム
334  フレーム
335  フレーム
340  近境界限界
350  遠境界限界
【図１】
2018517165.tif 000003
【図２Ａ】
2018517165.tif 000004
【図２Ｂ】
2018517165.tif 000005
【図３】
2018517165.tif 000006
【図４】
2018517165.tif 000007
【図５】
2018517165.tif 000008
【手続補正書】
【提出日】平成29年10月11日(2017.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減する方法であって、
シーンの変化を検出し、前記シーンが変化している間、
撮像デバイスを用いて、シーンを描写する複数のフレームを取り込むことであって、前記シーンの一部がオブジェクトに対応する、取り込むことと、
フレームごとに、
距離センサを使用して、前記複数のフレームの各々について前記オブジェクトと前記撮像デバイスとの間の距離を検出することと、
各フレームに関する前記オブジェクトの前記検出された距離に基づいて前記フレームに関するレンズ位置を決定することであって、レンズ位置が、アクチュエータによって前記レンズが移動され得る前記レンズ位置の範囲内の離散的な位置であり、前記決定されたレンズ位置が、そのフレームに関する推定された最適フォーカスレンズ位置である、決定することと、
前記シーンが連続的に変化する間に各フレームの前記決定されたレンズ位置に向けて前記レンズを移動させることとを行う、ステップと、
前記シーンが安定しているとの決定に応答してオートフォーカスサーチ動作を開始するステップと
を備える、方法。
【請求項２】
前記撮像デバイスが、連続オートフォーカスモードで動作するように構成される、請求項1に記載の方法。
【請求項３】
前記複数のフレームを監視するステップをさらに備え、前記複数のフレームを監視する前記ステップが、各フレームに関する変化量を決定するステップと、各フレームに関する前記変化量をしきい値変化量と比較するステップとを含む、請求項1に記載の方法。
【請求項４】
前記変化量が、ルーマ量、動き量、および距離量のうちの少なくとも1つである、請求項3に記載の方法。
【請求項５】
前記シーンの変化が、少なくとも1つのフレームに関する前記変化量が前記しきい値変化量よりも大きいときに検出される、請求項3に記載の方法。
【請求項６】
前記フレームに関するレンズ位置を決定する前記ステップが、
距離センサによって各フレームに関する前記検出された距離を報告するステップと、
各フレームに関する前記検出された距離を受信するステップと、
アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つに基づいて、各フレームに関する前記検出された距離を各フレームに関するレンズ位置に変換するステップと
をさらに備える、請求項1に記載の方法。
【請求項７】
前記最適フォーカスレンズ位置の前記推定に基づいて近境界限界および遠境界限界を決定するステップをさらに備える、請求項1に記載の方法。
【請求項８】
前記レンズ位置に向けて前記レンズを移動させる前記ステップが、前記近境界に向けて前記レンズを移動させるステップをさらに備える、請求項7に記載の方法。
【請求項９】
オートフォーカスサーチ動作を開始する前記ステップが、
実際の最適フォーカスレンズ位置を決定するステップ
をさらに備え、前記実際の最適フォーカスレンズ位置が、前記近境界限界と前記遠境界限界との間である、請求項8に記載の方法。
【請求項１０】
撮像装置であって、
シーンからの光をレンズの焦点面に集束するように構成された前記レンズと、
前記シーンからの前記集束された光に基づいて前記シーンを描写する複数のフレームを取り込むように構成された、ほぼ前記レンズの前記焦点面に配置された画像センサと、
前記シーンのオブジェクトと前記撮像デバイスとの間の距離を検出するように構成された距離センサと、
前記画像センサと前記レンズとに動作可能に結合されたプロセッサと、
前記プロセッサに動作可能に結合されたメモリ構成要素と
を備え、前記プロセッサ、前記距離センサおよび前記メモリ構成要素が集合的に、
シーンの変化を検出し、前記シーンが変化している間、
撮像デバイスを用いて、シーンを描写する複数のフレームを取り込むことであって、前記シーンの一部がオブジェクトに対応する、取り込むことと、
フレームごとに、
距離センサを使用して、前記複数のフレームの各々について前記オブジェクトと前記撮像デバイスとの間の距離を検出することと、
各フレームに関する前記オブジェクトの前記検出された距離に基づいて前記フレームに関するレンズ位置を決定することであって、前記決定されたレンズ位置が、そのフレームに関する推定された最適フォーカスレンズ位置である、決定することと、
前記シーンが連続的に変化する間、各フレームの前記決定されたレンズ位置に向けて前記レンズを移動させることとを行う、ステップと、
前記シーンが安定しているとの決定に応答してオートフォーカスサーチ動作を開始するステップと
を行うように構成された、撮像装置。
【請求項１１】
前記距離センサが、レーザセンサおよびデュアルカメラシステムのうちの少なくとも1つを備える、請求項10に記載の装置。
【請求項１２】
プロセッサおよび前記メモリ構成要素が、
前記複数のフレームを監視し、
各フレームに関する変化量を決定し、
各フレームに関する前記変化量をしきい値変化量と比較するようにさらに構成された、請求項10に記載の装置。
【請求項１３】
前記変化量が、ルーマ量、動き量、および距離量のうちの少なくとも1つである、請求項12に記載の装置。
【請求項１４】
前記プロセッサおよび前記メモリ構成要素が、比較に基づいて前記シーンの変化を検出するように構成され、前記プロセッサおよび前記メモリ構成要素が、少なくとも1つのフレームに関する前記変化量が前記しきい値変化量よりも大きいときに前記シーンの変化を検出するように構成された、請求項12に記載の装置。
【請求項１５】
前記距離センサが、各フレームに関する前記検出された距離を報告するようにさらに構成された、請求項10に記載の装置。
【請求項１６】
前記プロセッサおよび前記メモリ構成要素が、
各フレームに関する前記検出された距離を受信し、
各フレームに関する前記検出された距離と、アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つとに基づいて、各フレームに関するレンズ位置を決定するように構成された、請求項15に記載の装置。
【請求項１７】
前記プロセッサおよび前記メモリ構成要素が、前記最適フォーカスレンズ位置の前記推定に基づいて、近境界限界および遠境界限界を決定するようにさらに構成された、請求項16に記載の装置。
【請求項１８】
前記プロセッサおよび前記メモリ構成要素が、前記近境界に向けて前記レンズを移動させるようにさらに構成された、請求項17に記載の装置。
【請求項１９】
前記プロセッサおよび前記メモリ構成要素が、
精密オートフォーカスサーチ動作を実行し、
実際の最適フォーカスレンズ位置を決定するようにさらに構成され、前記実際の最適フォーカスレンズ位置が、前記推定された最適フォーカスレンズ位置に近接し、前記近境界限界と前記遠境界限界との間である、請求項18に記載の装置。
【請求項２０】
前記メモリ構成要素が、入力処理モジュール、変化決定モジュール、レンズ位置決定モジュール、レンズ制御モジュール、安定性決定モジュール、オートフォーカス制御モジュール、および境界限界決定モジュールのうちの少なくとも1つを備える、請求項17に記載の装置。
【請求項２１】
オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減するための装置であって、
シーンの変化を検出するための手段と、
前記シーンが変化している間、前記シーンを描写する複数のフレームを取り込むための手段であって、前記シーンの一部がオブジェクトに対応する、手段と、
前記複数のフレームのうちのフレームが取り込まれるたびに、前記シーンのオブジェクトと撮像デバイスとの間の距離を検出するための手段と、
各フレームの前記検出された距離に基づいて各フレームに関するレンズ位置を決定するための手段であって、前記決定されたレンズ位置が、そのフレームに関する推定された最適フォーカスレンズ位置である、手段と、
前記シーンが変化し続ける間、各フレームの前記レンズ位置に向けて前記レンズを移動させるための手段と、
前記シーンが安定していると決定するための手段と、
前記シーンが安定しているとの前記決定に基づいてオートフォーカスサーチ動作を開始するための手段と
を備える、装置。
【請求項２２】
各フレームに関する前記検出された距離を報告するための手段をさらに備える、請求項21に記載の装置。
【請求項２３】
レンズ位置を決定するための前記手段が、
各フレームに関する前記検出された距離を受信し、
各フレームに関する前記検出された距離と、アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つとに基づいて、各フレームに関するレンズ位置を決定するように構成された、請求項22に記載の装置。
【請求項２４】
前記最適フォーカスレンズ位置の前記推定に基づいて近境界限界および遠境界限界を決定するための手段をさらに備える、請求項23に記載の装置。
【請求項２５】
前記レンズを移動させるための前記手段が、前記近境界に向けて前記レンズを移動させるようにさらに構成された、請求項24に記載の装置。
【請求項２６】
実行されたとき、プロセッサに、オートフォーカスサーチ動作中に生じるデフォーカスイベントを低減させるための方法を実行させる命令を備えるコンピュータ可読記憶媒体であって、前記方法が、
シーンの変化を検出し、前記シーンが変化している間、
撮像デバイスを用いて、シーンを描写する複数のフレームを取り込むことであって、前記シーンの一部がオブジェクトに対応する、取り込むことと、
フレームごとに、
距離センサを使用して、前記複数のフレームの各々について前記オブジェクトと前記撮像デバイスとの間の距離を検出することと、
各フレームに関する前記オブジェクトの前記検出された距離に基づいて前記フレームに関するレンズ位置を決定することであって、レンズ位置が、アクチュエータによって前記レンズが移動され得る前記レンズ位置の範囲内の離散的な位置であり、前記決定されたレンズ位置が、そのフレームに関する推定された最適フォーカスレンズ位置である、決定することと、
前記シーンが連続的に変化する間に各フレームの前記決定されたレンズ位置に向けて前記レンズを移動させることとを行う、ステップと、
前記シーンが安定しているとの決定に応答してオートフォーカスサーチ動作を開始するステップと
を備える、コンピュータ可読記憶媒体。
【請求項２７】
各フレームに関するレンズ位置を決定する前記ステップが、
距離センサによって各フレームに関する前記検出された距離を報告するステップと、
各フレームに関する前記検出された距離を受信するステップと、
アンカー距離、アンカーレンズ位置、および少なくとも1つの撮像デバイス仕様のうちの少なくとも1つに基づいて、各フレームに関する前記検出された距離を各フレームに関するレンズ位置に変換するステップと
をさらに備える、請求項26に記載のコンピュータ可読記憶媒体。
【請求項２８】
前記レンズ位置に基づいて近境界限界および遠境界限界を決定するステップをさらに備える、請求項26に記載のコンピュータ可読記憶媒体。
【請求項２９】
前記レンズを前記レンズ位置に向けて移動させる前記ステップが、前記近境界に向けて前記レンズを移動させるステップをさらに備える、請求項28に記載のコンピュータ可読記憶媒体。
【国際調査報告】
2018517165.tif 000009
2018517165.tif 000010
2018517165.tif 000011