(57)【要約】  電子デバイスを用いた改善された追跡のためのシステム、デバイスおよび方法を開示する。本開示は、高度露出補正および／または安定化技法を採用する。したがって、追跡特徴は、劇的に変化する照明条件の下で、および／またはジッタなどのかく乱効果に露出されるときに追跡パフォーマンスを改善するために電子デバイス中で使用され得る。照明条件におよび／または追跡されるオブジェクトを含んでいる関心領域の移動に関する履歴データは、そのような条件の下で追跡システムを改善するために有利には採用される。【選択図】図８
2016530827.tif 000002
【特許請求の範囲】
【請求項１】
電子デバイスを用いてオブジェクトを追跡する方法であって、
前記オブジェクトを備える画像フレームの領域中のピクセルの平均光強度に基づいて基準値を定義することと、
前記オブジェクトを備える現在の画像フレームの前記領域中のピクセルの平均光強度を決定することと、
前記現在の画像フレーム中の前記領域について前記基準値と前記決定された平均光強度との間の差を計算することと、
前記差が強度限界よりも大きいとき、前記現在の画像フレーム中のピクセルの前記強度を調整することと、
前記現在の画像フレームに利得フィルタを適用することと、
前記現在の画像フレーム中の前記ピクセルを使用して前記オブジェクトを追跡することと
を備える、方法。
【請求項２】
調整することが、前記現在の画像フレームのあらゆるピクセルから前記差を減算することを備える、請求項１に記載の方法。
【請求項３】
前記差が強度限界よりも小さいとき、前記基準値を、前記現在の画像フレームの前記領域中のピクセルの前記平均光強度として周期的に再定義することをさらに備える、請求項１に記載の方法。
【請求項４】
利得フィルタを適用することが、前記領域の現在のパラメータと履歴パラメータとに基づいて前記領域の変動インジケータを計算することを備える、請求項１に記載の方法。
【請求項５】
利得フィルタを適用することが、前記変動インジケータに基づいて信頼レベルを決定することをさらに備える、請求項４に記載の方法。
【請求項６】
利得フィルタを適用することが、前記信頼レベルに基づいて利得を決定することと、前記利得に基づいて前記利得フィルタを決定することとをさらに備える、請求項５に記載の方法。
【請求項７】
前記オブジェクトを追跡することが、前記利得フィルタに基づいて前記現在の画像フレームの前記領域を調整することを備える、請求項６に記載の方法。
【請求項８】
電子デバイスを用いてオブジェクトを追跡するシステムであって、
プロセッサであって、
前記オブジェクトを備える画像フレームの領域中のピクセルの平均光強度に基づいて基準値を定義することと、
前記オブジェクトを備える現在の画像フレームの前記領域中のピクセルの平均光強度を決定することと、
前記現在の画像フレーム中の前記領域について前記基準値と前記決定された平均光強度との間の差を計算することと、
前記差が強度限界よりも大きいとき、前記現在の画像フレーム中のピクセルの前記強度を調整することと、
前記現在の画像フレームに利得フィルタを適用することと、
前記現在の画像フレーム中の前記ピクセルを使用して前記オブジェクトを追跡することと
を行うように構成されたプロセッサ
を備える、システム。
【請求項９】
前記プロセッサが、前記現在の画像フレームのあらゆるピクセルから前記差を減算することによってピクセルの前記強度を調整するように構成された、請求項８に記載のシステム。
【請求項１０】
前記プロセッサが、前記差が強度限界よりも小さいとき、前記基準値を、前記現在の画像フレームの前記領域中のピクセルの前記平均光強度として周期的に再定義するようにさらに構成された、請求項８に記載のシステム。
【請求項１１】
前記プロセッサが、前記領域の現在のパラメータと履歴パラメータとに基づいて前記領域の変動インジケータを計算することによって利得フィルタを適用するように構成された、請求項８に記載のシステム。
【請求項１２】
前記現在のパラメータと前記履歴パラメータとが、前記領域のそれぞれ現在のサイズと履歴サイズとを備える、請求項１１に記載のシステム。
【請求項１３】
前記現在のパラメータと前記履歴パラメータとが、前記領域のそれぞれ現在のロケーションと履歴のロケーションとを備える、請求項１１に記載のシステム。
【請求項１４】
前記プロセッサが、前記変動インジケータに基づいて信頼レベルを決定することによって利得フィルタを適用するように構成された、請求項１１に記載のシステム。
【請求項１５】
前記プロセッサが、前記信頼レベルに基づいて利得を決定することと、前記利得に基づいて前記利得フィルタを決定することとを行うことによって前記利得フィルタを適用するように構成された、請求項１４に記載のシステム。
【請求項１６】
前記プロセッサが、前記利得フィルタに基づいて前記現在の画像フレームの前記領域を調整することによって前記オブジェクトを追跡するように構成された、請求項１５に記載のシステム。
【請求項１７】
前記領域を調整することが、前記領域の前記ロケーションを調整することを備える、請求項１６に記載のシステム。
【請求項１８】
前記領域を調整することが、前記領域の前記サイズを調整することを備える、請求項１６に記載のシステム。
【請求項１９】
電子デバイスを用いてオブジェクトを追跡するシステムであって、
前記オブジェクトを備える画像フレームの領域中のピクセルの平均光強度に基づいて基準値を定義するための手段と、
前記オブジェクトを備える現在の画像フレームの前記領域中のピクセルの平均光強度を決定するための手段と、
前記現在の画像フレーム中の前記領域について前記基準値と前記決定された平均光強度との間の差を計算するための手段と、
前記差が強度限界よりも大きいとき、前記現在の画像フレーム中のピクセルの前記強度を調整するための手段と、
前記現在の画像フレームに利得フィルタを適用するための手段と、
前記現在の画像フレーム中の前記ピクセルを使用して前記オブジェクトを追跡するための手段と
を備える、システム。
【請求項２０】
調整するための前記手段が、前記現在の画像フレームのあらゆるピクセルから前記差を減算するための手段を備える、請求項１９に記載のシステム。
【請求項２１】
前記システムは、前記差が強度限界よりも小さいとき、前記基準値を、前記現在の画像フレームの前記領域中のピクセルの前記平均光強度として周期的に再定義するための手段をさらに備える、請求項１９に記載のシステム。
【請求項２２】
前記利得フィルタを適用するための前記手段が、
前記領域の現在のパラメータと履歴パラメータとに基づいて前記領域の変動インジケータを計算するための手段と、
前記変動インジケータに基づいて信頼レベルを決定するための手段と
を備える、請求項１９に記載のシステム。
【請求項２３】
前記利得フィルタを適用するための前記手段が、
前記信頼レベルに基づいて利得を決定するための手段と、
前記利得に基づいて前記利得フィルタを決定するための手段と
をさらに備える、請求項２２に記載のシステム。
【請求項２４】
前記オブジェクトを追跡するための前記手段が、前記利得フィルタに基づいて前記現在の画像フレームの前記領域を調整するための手段を備える、請求項２３に記載のシステム。
【請求項２５】
プロセッサによって実行されたとき、電子デバイスを用いてオブジェクトを追跡するための方法を実行する命令を記憶するように構成された非一時的コンピュータ可読媒体であって、前記方法が、
前記オブジェクトを備える画像フレームの領域中のピクセルの平均光強度に基づいて基準値を定義することと、
前記オブジェクトを備える現在の画像フレームの前記領域中のピクセルの平均光強度を決定することと、
前記現在の画像フレーム中の前記領域について前記基準値と前記決定された平均光強度との間の差を計算することと、
前記差が強度限界よりも大きいとき、前記現在の画像フレーム中のピクセルの前記強度を調整することと、
前記現在の画像フレームに利得フィルタを適用することと、
前記現在の画像フレーム中の前記ピクセルを使用して前記オブジェクトを追跡することと
を備える、非一時的コンピュータ可読媒体。
【請求項２６】
調整することが、前記現在の画像フレームのあらゆるピクセルから前記差を減算することを備える、請求項２５に記載のコンピュータ可読媒体。
【請求項２７】
前記方法は、前記差が強度限界よりも小さいとき、前記基準値を、前記現在の画像フレームの前記領域中のピクセルの前記平均光強度として周期的に再定義することをさらに備える、請求項２５に記載のコンピュータ可読媒体。
【請求項２８】
利得フィルタを適用することが、
前記領域の現在のパラメータと履歴パラメータとに基づいて前記領域の変動インジケータを計算することと、
前記変動インジケータに基づいて信頼レベルを決定することと
を備える、請求項２５に記載のコンピュータ可読媒体。
【請求項２９】
利得フィルタを適用することが、
前記信頼レベルに基づいて利得を決定することと、
前記利得に基づいて前記利得フィルタを決定することと
をさらに備える、請求項２８に記載のコンピュータ可読媒体。
【請求項３０】
前記オブジェクトを追跡することが、前記利得フィルタに基づいて前記現在の画像フレームの前記領域を調整することを備える、請求項２９に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、一般に、デジタル画像センサーによってキャプチャされたオブジェクトを追跡するシステムおよび方法に関する。特に、ビデオ記録デバイスを用いてオブジェクトを追跡するシステムおよび方法を開示する。
【背景技術】
【０００２】
[0002]安価なより小型の記録システムの出現とともに、記録業界が成長している。ますます多くの人々が、ビデオカメラおよびモバイルデバイスなどのデジタル記録システムを使用して自身の環境で記録オブジェクトを楽しんでいる。記録は、たとえば、業務のため、娯楽のため、または感情的な思い出を記録するためなど、様々な適用例で使用され得る。記録の膨大な数の使用があるとすれば、これらの記録デバイスのより多くの特徴および能力が望ましい。
【０００３】
[0003]したがって、デジタル記録システムが有し得る特徴のうちの１つは、それの視野内のオブジェクトを追跡することができる追跡システムである。たとえば、各々の内容その全体が本明細書に組み込まれる、米国特許番号第８，４８３，４３７号、第８，３１０，６６５号、第８，２４９，２９９号、および第８，２２４，０２９号は、オブジェクトを追跡するための記録システムを開示する。ただし、記録システムのいくつかの使用では、劇的に変化する照明条件（lighting conditions）の下でキャプチャされているオブジェクトの安定した追跡のための能力が必要になる。たとえば、ユーザは、サッカープレーヤがフィールドを明るいエリアから日陰のエリアに駆け降りる際にそのプレーヤを追跡し得る。そのような条件の下で動作する従来の追跡システムは、明るいエリアから暗いエリアに移動するターゲットにロックオンしたままであろうとする際に、最適に実行しないことがある。たとえば、従来の自動露出システムは、一般に、照明のこれらの変化に合わせるために使用される。しかしながら、これらのシステムは、場面中のターゲットオブジェクト上にロックを維持するのに十分早く光の劇的な変化に応答しないことがあり、したがって、追跡能力をもつ記録システムにおいて使用するのに最適でないことがある。
【０００４】
[0004]さらに、いくつかの従来の追跡システムは、追跡されているアイテムの真の移動と、実際には、記録デバイスのぶれによるノイズなどのシステム中のノイズによる見掛けの移動との間を識別するのが困難であり得る。
【発明の概要】
【０００５】
[0005]電子デバイスを用いて関心場面（a scene of interest）中でキャプチャされたオブジェクトを追跡する方法の実施形態を開示する。いくつかの実施形態では、本方法は、オブジェクトを備える第１の画像フレームの領域中のピクセルの平均光強度を決定することと、オブジェクトを備える第２の画像フレームの領域中のピクセルの平均光強度を決定することと、第１の画像フレーム中の領域と第２の画像フレーム中の領域とのための決定された平均光強度を比較することと、領域中のピクセルの平均光強度の変化が強度限界よりも大きいとき、第２の画像フレーム中のピクセルの強度を調整することと、第２の画像フレーム中のピクセルを使用してオブジェクトを追跡することとを備える。
【０００６】
[0006]いくつかの実施形態では、調整することは、オブジェクトを備える第１の画像フレームの領域中のピクセルの平均光強度として基準値を定義することを備える。
【０００７】
[0007]いくつかの実施形態では、領域中のピクセルの平均光強度の変化は、基準値と第２の画像フレームの領域中のピクセルの平均光強度との間の差を備える。
【０００８】
[0008]いくつかの実施形態では、調整することは、第２の画像フレームのあらゆるピクセルから差を減算することを備える。
【０００９】
[0009]いくつかの実施形態では、本方法は、差が強度限界よりも小さい場合、基準値を、第２の画像フレームの領域中のピクセルの平均光強度として周期的に再定義することをさらに備える。
【００１０】
[0010]いくつかの実施形態では、オブジェクトを追跡することは、領域の現在のパラメータと履歴パラメータとに基づいて領域の変動インジケータを計算することを備える。
【００１１】
[0011]いくつかの実施形態では、オブジェクトを追跡することは、変動インジケータと履歴パラメータとの比較に基づいて信頼レベルを計算することをさらに備える。
【００１２】
[0012]いくつかの実施形態では、本方法は、信頼レベルが、指定された信頼性しきい値よりも大きいとき、追跡システムに第２の画像フレームをパスすること（passing）をさらに備える。
【００１３】
[0013]いくつかの実施形態では、現在のパラメータと履歴パラメータとは、領域のそれぞれ現在のサイズと履歴サイズとを備える。
【００１４】
[0014]いくつかの実施形態では、現在のパラメータと履歴パラメータとは、領域のそれぞれ現在のロケーションと履歴ロケーションとを備える。
【００１５】
[0015]電子デバイスを用いてオブジェクトを追跡するためのシステムのいくつかの実施形態を開示する。いくつかの実施形態では、本システムは、オブジェクトを備える第１の画像フレームの領域中のピクセルの平均光強度を決定することと、オブジェクトを備える第２の画像フレームの領域中のピクセルの平均光強度を決定することと、第１の画像フレーム中の領域と第２の画像フレーム中の領域とのための決定された平均光強度を比較することと、領域中のピクセルの平均光強度の変化が強度限界よりも大きいとき、第２の画像フレーム中のピクセルの強度を調整することと、第２の画像フレーム中のピクセルを使用してオブジェクトを追跡することとを行うように構成されたプロセッサを備える。
【００１６】
[0016]いくつかの実施形態では、調整することは、オブジェクトを備える第１の画像フレームの領域中のピクセルの平均光強度として基準値を定義することを備え、ここにおいて、領域中のピクセルの平均光強度の変化は、基準値と第２の画像フレームの領域中のピクセルの平均光強度との間の差を備える。
【００１７】
[0017]いくつかの実施形態では、調整することは、第２の画像フレームのあらゆるピクセルから差を減算することをさらに備える。
【００１８】
[0018]いくつかの実施形態では、プロセッサは、差が強度限界よりも小さい場合、基準値を、第２の画像フレームの領域中のピクセルの平均光強度として周期的に再定義するようにさらに構成される。
【００１９】
[0019]いくつかの実施形態では、オブジェクトを追跡することは、領域の現在のサイズおよびロケーションと領域の履歴サイズおよびロケーションとに基づいて領域の変動インジケータを計算することを備える。
【００２０】
[0020]いくつかの実施形態では、オブジェクトを追跡することは、変動インジケータと領域の履歴サイズおよびロケーションとの比較に基づいて信頼レベルを計算することをさらに備える。
【００２１】
[0021]いくつかの実施形態では、本システムは、信頼レベルが、指定された信頼性しきい値よりも大きいとき、追跡システムに第２の画像フレームをパスすることをさらに備える。
【００２２】
[0022]いくつかの実施形態では、電子デバイスを用いてオブジェクトを追跡するためのシステムは、オブジェクトを備える第１の画像フレームの領域中のピクセルの平均光強度を決定するための手段と、オブジェクトを備える第２の画像フレームの領域中のピクセルの平均光強度を決定するための手段と、第１の画像フレーム中の領域と第２の画像フレーム中の領域とのための決定された平均光強度を比較するための手段と、領域中のピクセルの平均光強度の変化が強度限界よりも大きいとき、第２の画像フレーム中のピクセルの強度を調整するための手段と、第２の画像フレーム中のピクセルを使用してオブジェクトを追跡するための手段とを備える。
【００２３】
[0023]いくつかの実施形態では、調整するための手段は、オブジェクトを備える第１の画像フレームの領域中のピクセルの平均光強度として基準値を定義することを備え、ここにおいて、領域中のピクセルの平均光強度の変化は、基準値と第２の画像フレームの領域中のピクセルの平均光強度との間の差を備える。
【００２４】
[0024]いくつかの実施形態では、調整するための手段は、第２の画像フレームのあらゆるピクセルから差を減算するための手段をさらに備える。
【００２５】
[0025]いくつかの実施形態では、本システムは、差が強度限界よりも小さい場合、基準値を、第２の画像フレームの領域中のピクセルの平均光強度として周期的に再定義するための手段をさらに備える。
【００２６】
[0026]いくつかの実施形態では、オブジェクトを追跡するための手段は、領域の現在のサイズおよびロケーションと領域の履歴サイズおよびロケーションとに基づいて領域の変動インジケータを計算するための手段を備える。
【００２７】
[0027]いくつかの実施形態では、オブジェクトを追跡するための手段は、変動インジケータと領域の履歴サイズおよびロケーションとの比較に基づいて信頼レベルを計算するための手段と、信頼レベルが、指定された信頼性しきい値よりも大きいとき、追跡システムに第２の画像フレームをパスするための手段とをさらに備える。
【００２８】
[0028]プロセッサによって実行されたとき、電子デバイスを用いてオブジェクトを追跡するための方法を実行する命令を記憶するように構成された非一時的コンピュータ可読媒体のいくつかの実施形態を開示する。いくつかの実施形態では、本方法は、オブジェクトを備える第１の画像フレームの領域中のピクセルの平均光強度を決定することと、オブジェクトを備える第２の画像フレームの領域中のピクセルの平均光強度を決定することと、第１の画像フレーム中の領域と第２の画像フレーム中の領域とのための決定された平均光強度を比較することと、領域中のピクセルの平均光強度の変化が強度限界よりも大きいとき、第２の画像フレーム中のピクセルの強度を調整することと、第２の画像フレーム中のピクセルを使用してオブジェクトを追跡することとを備える。
【００２９】
[0029]いくつかの実施形態では、コンピュータ可読媒体の方法は、オブジェクトを備える第１の画像フレームの領域中のピクセルの平均光強度として基準値を定義することをさらに備え、ここにおいて、領域中のピクセルの平均光強度の変化は、基準値と第２の画像フレームの領域中のピクセルの平均光強度との間の差を備える。
【００３０】
[0030]いくつかの実施形態では、コンピュータ可読媒体の方法は、第２の画像フレームのあらゆるピクセルから差を減算することをさらに備える。
【００３１】
[0031]いくつかの実施形態では、コンピュータ可読媒体の方法は、差が強度限界よりも小さい場合、基準値を、第２の画像フレームの領域中のピクセルの平均光強度として周期的に再定義することをさらに備える。
【００３２】
[0032]いくつかの実施形態では、コンピュータ可読媒体の方法は、領域の現在のサイズおよびロケーションと領域の履歴サイズおよびロケーションとに基づいて領域の変動インジケータを計算することをさらに備える。
【００３３】
[0033]いくつかの実施形態では、コンピュータ可読媒体の方法は、変動インジケータと領域の履歴サイズおよびロケーションとの比較に基づいて信頼レベルを計算することと、信頼レベルが、指定された信頼性しきい値よりも大きいとき、追跡システムに第２の画像フレームをパスすることとをさらに備える。
【００３４】
[0034]本開示の上記および他の特徴は、添付の図面とともに、以下の説明と添付の特許請求の範囲とを読めばより明らかになろう。これらの図面が、本開示によるいくつかの実施形態を示すにすぎず、それの範囲を限定するものと見なすべきではあらず、本開示について、添付の図面の使用を通じて追加の特異性および詳細とともに説明することを理解されたい。以下の発明を実施するための形態では、本明細書の一部を形成する添付の図面を参照する。図面において、コンテキストが別段に規定しない限り、同様のシンボルは、一般に、同様の構成要素を識別する。詳細な説明、図面、および特許請求の範囲に記載されている例示的な実施形態は、限定することを意図していない。本明細書で提示する主題の範囲または趣旨から逸脱することなく、他の実施形態が利用され得、他の変化が行われ得る。本開示の態様は、本明細書で概して説明し、図面に示すように、そのすべてが明示的に企図され、本開示の一部とする多種多様な異なる構成に構成、置換、組合せ、および設計され得ることを容易に理解されよう。
【図面の簡単な説明】
【００３５】
【図１】[0035]従来の自動露出プロセスの実施形態と、それによって生成される得られた画像フレームとを示す図。
【図２】[0036]補正露出プロセスの実施形態と、それによって生成される得られた画像フレームとを示す図。
【図３Ａ】[0037]露出補正および安定化を有する追跡システムをもつ記録デバイスによって生成された画像フレームの実施形態を示す図。
【図３Ｂ】露出補正および安定化を有する追跡システムをもつ記録デバイスによって生成された画像フレームの実施形態を示す図。
【図４Ａ】[0038]変化する照明強度レベルおよび対応する補正強度レベルと、基準値の変化との実施形態を示すチャート。
【図４Ｂ】変化する照明強度レベルおよび対応する補正強度レベルと、基準値の変化との実施形態を示すチャート。
【図５】[0039]露出補正および安定化を管理するためのモジュールを有する追跡システムを備える記録デバイスのブロック図。
【図６】[0040]基準値と関心領域のパラメータとを初期化するための方法の一実施形態を図解するフローチャート。
【図７】[0041]露出補正および安定化のための方法の概要の一実施形態を図解するフローチャート。
【図８】[0042]基準値と変動インジケータとを使用した露出補正および安定化のための方法の一実施形態を示すフローチャート。
【図９】[0043]変動インジケータと信頼レベルとを決定するための計算ツールの結果の一実施形態を示す座標図。
【図１０Ａ】[0044]利得値を決定するために計算ツールを使用した結果の一実施形態を示す折れ線グラフ。
【図１０Ｂ】利得値を決定するために計算ツールを使用した結果の一実施形態を示す折れ線グラフ。
【図１０Ｃ】利得値を決定するために計算ツールを使用した結果の一実施形態を示す折れ線グラフ。
【図１０Ｄ】利得値を決定するために計算ツールを使用した結果の一実施形態を示す折れ線グラフ。
【図１０Ｅ】利得値を決定するために計算ツールを使用した結果の一実施形態を示す折れ線グラフ。
【図１０Ｆ】利得値を決定するために計算ツールを使用した結果の一実施形態を示す折れ線グラフ。
【図１０Ｇ】利得値を決定するために計算ツールを使用した結果の一実施形態を示す折れ線グラフ。
【図１０Ｈ】利得値を決定するために計算ツールを使用した結果の一実施形態を示す折れ線グラフ。
【発明を実施するための形態】
【００３６】
[0045]以下の発明を実施するための形態は、図１〜図７を参照しながら説明する進展のいくつかの特定の実施形態を対象とする。本明細書では、図面を参照されたい。ここで、同じ部分またはステップは、明快のために全体を通して同じ数字で指定され得る。本明細書における「一実施形態」、「実施形態」、または「いくつかの実施形態では」への言及は、実施形態に関して説明する特定の特徴、構造、または特性が、本発明の少なくとも１つの実施形態中に含まれることを意味する。本明細書の様々な場所における句「一実施形態」、「実施形態」、または「いくつかの実施形態では」の出現は、必ずしもすべてが同じ実施形態を指すとは限らず、他の実施形態を相互に含めない別個のまたは代替の実施形態を指すとも限らない。さらに、他の実施形態によってではなく、いくつかの実施形態によって示される様々な特徴について説明する。同様に、他の実施形態ではなく、いくつかの実施形態の要件であり得る様々な要件について説明する。
【００３７】
[0046]デジタルイメージングデバイスによってキャプチャされた関心場面中のオブジェクトを追跡するためのシステム、デバイスおよび方法について説明する。たとえば、ある人は、ゲームがプレーされている際にスポーツイベント中の１人の特定のプレーヤを追跡することを望み得る。それは、システムが、フィールドまたはコート上の他のプレーヤよりも厳密にその特定のプレーヤの移動を記録することを可能にする。一実施形態では、システムの追跡特徴は、関心オブジェクト上に追跡ロックを維持するために露出補正および安定化技法を使用して拡張される。たとえば、一実施形態は、指定されたオブジェクト上の追跡ロックを保持するために履歴画像データをより新しい画像データと比較することに基づく露出補正および安定化技法を使用する。関心オブジェクトを追跡するデジタルカメラの能力は、このようにして拡張される。露出補正は、追跡システムが追跡されているオブジェクトを見失う原因となり得る、追跡システム上の照明条件を変化する悪影響を低減することができる。
【００３８】
[0047]一実施形態では、デジタルイメージングデバイスは、それの追跡システム上のジッタ、ぶれ、ラグおよび他の好適でないファクタの効果を低減するように構成された画像安定化モジュールを含む。これによりデバイスは、重み付けフィルタに適用される信頼レベルを使用しながら、より正確に実際のオブジェクト移動を識別することが可能になる。デジタルイメージングデバイスのためのよりスムーズな、より信頼できる追跡システムを生成するために、これらのシステムおよび関連する方法が発見された。
【００３９】
[0048]動作中、デジタルイメージングシステムの実施形態は、デジタルカメラを形成する画像センサーとレンズとを含む画像キャプチャシステムを有する。一実施形態では、カメラの視野は、時間にわたって関心領域における光の平均強度についてサンプリングされる。さらに、システムは、追跡されているオブジェクトのサイズ、位置および配向を決定することができる。キャプチャされた光データの平均強度は、次いで、追跡される関心オブジェクトの露出の変化を補正するために使用され、一方、時間にわたってイメージングセンサーによってキャプチャされた移動情報は、関心オブジェクトより正確な追跡を可能にするために画像を安定化するために使用され得る。
【００４０】
[0049]一実施形態では、デジタルイメージングシステムは、キャプチャされたフレームが統合追跡システムに送られる前に何らかの方法で最初に調整されるべきかどうかを決定するように構成される。この決定を行う際に、現在の画像フレームからの光データが、以前の画像フレームからの履歴光データと比較される。光データは、キャプチャされた画像フレームの視野中の関心領域にわたる平均ピクセル値であり得る。指定されたしきい値を越えて照明条件の劇的な変化が検出された場合、照明条件が変化している間に、履歴光データが「基準値」として使用されるように定義され得る。劇的な照明変化の期間中に、新たにキャプチャされた各画像フレームが、以前の画像フレームの基準値に基づいて補正される。一実施形態では、キャプチャされたフレームは、基準値とそのフレームの照明条件との間に差をとり、その差を画像全体から減算することによって基準値を使用して補正される。この更新された画像が、次いで、処理のために追跡システムに送信される。この補正は、時間にわたって照明条件の劇的な変化が継続する限り継続する。照明条件が劇的に変化しないとき、不変のまたはわずかに変化した画像フレームが追跡システム上にパスされ得、基準値は、次の劇的な照明条件に備えてこの時間中に周期的に更新する。
【００４１】
[0050]別の実施形態では、関心領域中のオブジェクトについての履歴移動データが、追跡されているオブジェクトが実際に移動したかのかどうか、またはカメラのぶれまたはジッタがあるのかどうかを決定するために、より新しい移動データと比較される。移動データの２つのセットを比較することによって、オブジェクトの移動の大きさと方向とが計算される。計算された大きさおよび方向が実際の移動であるのか、単なるジッタであるのかを決定するために、信頼レベルが適用され、それにより、ある信頼性しきい値を上回る移動のみがシステムにその方向での追跡を行わせる。さらに、フィルタ重み付けまたは利得も適用され、これは、履歴移動データと併せて、オブジェクトの真の移動を見分ける能力を高め、典型的な追跡アルゴリズムの遅れ効果を低減する。
【００４２】
[0051]システムは、いくつかの実施形態では、最初に露出補正を適用し、次いで安定化を適用する。したがって、光データは、追跡システムに、適切に照明された画像フレームを送信するために最初に評価されることになる。次いで、移動データは、移動がジッタであるのか、または追跡されるオブジェクトの実際の移動であるのかを見分けるために、適切に照明された画像フレーム中で分析されることになる。
【００４３】
[0052]次に図１を参照すると、従来の自動露出プロセス５０と、それによって生成される得られた画像フレームとが示されている。プロセスは、通常の光条件１００で開始し得る。この照明条件の下で、追跡システムとともに使用するデバイスへの画像入力は、画像１１０中で行うように見え得る。次に、照明が明るくなる光条件変化１２０が発生し得る。したがって、記録されているアイテムは、明るい光条件１０１の対象となる。これにより、画像が露出オーバーし、飽和した画像１１１に示すように画質が劣化する。
【００４４】
[0053]明るい光条件１０１は、明るい光条件１０２が続くので、後で依然として存在する。デバイス、たとえば、カメラは、明るい光条件に調整するためにそれの自動露出を使用し得る。自動露出は、次いで、１０個以上のフレームの後に緩やかに効果を生じ、追跡のために使用される画像は、画像１１２に示すように、依然として品質が劣化している。後の時点で、明るい光条件１０２は、今度は明るい光条件１０３になり、自動露出が約１５フレーム後に動作し、追跡のために使用される画像は、画像１１３に示すように品質が良くなる。
【００４５】
[0054]次に、時点１２１において、照明が明るい光条件１０３でよりも暗くなる光条件変化が発生し得る。変化は、明るい光条件から通常の光条件に戻る変化１０４によって示すように、前の通常の照明条件１００に戻り得る。この時点で、画像は、露出不足になり得、したがって、追跡のために使用される画像は、品質が劣化し、暗い画像１１４に示すようになり得る。後の時点で、通常の光条件１０５の下で、自動露出は、約１５フレーム後に動作し得、追跡システム中で使用される画像は、画像１１５に示すようにより良い品質であり得る。図示のように、照明の劇的な変化が発生するときに時間にわたって画像をキャプチャするためのこの従来のプロセスは、変化する照明条件にかなり緩やかに反応する。
【００４６】
[0055]図１のプロセスとは対照的に、図２に、補正露出プロセスの実施形態と、それによって生成される得られた画像フレームとを示す。補正画像は、いくつかの実施形態では、元の画像に対してそれらが見え得るように示されている。いくつかの実施形態では、画像は、追跡システムへの入力である。図２の左側の列は、露出補正なしに見える画像の実施形態を示し、一方、右側の列は、追跡システムへの入力であり得る補正画像を示す。
【００４７】
[0056]図２の右側の列の補正画像は、本明細書で開示するデバイスおよび方法を使用して生成され得る。たとえば、通常の光条件の下でトラッカーのための元の画像入力は、画像２００のように見え得る。露出補正方法またはデバイスを使用して、通常の光条件の下で対応する補正画像は、画像２０２のように見え得る。元の画像２００について照明条件が通常であるので、補正画像２０２は、元の画像２００と同じまたは同様に見え得る。
【００４８】
[0057]しかしながら、明るい光条件の下で、元の画像は、画像２０４に示すように見え得る。自動露出では、画像２０４での明るい光条件は、そのような条件の下でアイテムを確実に追跡するのに十分に調整されないことがある。補正画像は、トラッカー能力を改善し得る。補正画像２０６は、追跡システムへの入力であり、より信頼できる追跡をもたらし得る。光が通常の状態に変化して戻ると、元の画像は、画像２０８に示すように見え得る。この元の画像２０８は、追跡システムのために最適ではない。したがって、補正画像２１０は、追跡システムのためのより良い入力画像として使用され得る。
【００４９】
[0058]図２に示す画像は、いくつかの画像フレームがどのように見えるかの実施形態である。他の画像フレームは別様に見え得る。示した画像は、例示のためのものにすぎない。外観がより明るいまたはより暗いか、または他の属性が変化する他の画像が、本明細書で開示する方法およびシステムにおいて使用され得、本開示の範囲内である。
【００５０】
[0059]図３Ａ〜図３Ｂは、露出補正および安定化を有する追跡システムをもつ記録デバイスによって生成された画像フレーム３００、３０２の実施形態を示す。図３Ａ中のフレーム３００は、照明条件３２０中の、飛んでいる鳥などの追跡されるオブジェクト３０５を示す。照明条件３２０は、やはり、照明条件３２０中のオブジェクト３０５を追跡している、図３Ｂに示すフレーム３０２と比較してより明るくまたはより暗くなり得る。フレーム３００、３０２は、照明強度３１５を有する関心領域３１０内の追跡されるオブジェクト３０５を示す。フレーム３０２中で追跡されているオブジェクトが、現在、明るい光源である太陽のより近くにあるので、図３Ｂ中の領域３１０内の強度は、図３Ａ中の領域３１０よりも明るくなる。領域３１０外で、フレーム３００は照明強度３２０を有し、これは、領域３１０内の強度３１５と同じであるか、または異なり得る。
【００５１】
[0060]図３Ａは、ある時間において第１の位置にある追跡されるオブジェクト３０５を示し、一方、図３Ｂは、後の時間において異なる位置および／または配向にある同じ追跡されるオブジェクト３０５を示す。本明細書で使用する「位置」および／または「配向」は、フレーム３００の平面中、ならびに／あるいはフレーム３００の平面の中および／またはその外のいずれかへのオブジェクト３０５の単なる移動または平行移動を指し得る。位置および配向はまた、オブジェクト３０５の回転または他の移動を指し得る。振動移動および／またはスムーズな移動を含む、オブジェクト３０５のあらゆる考えられる移動は、本開示の範囲内であり、位置、配向、ロケーション、座標などの用語によって示され得る。さらに、そのような移動は、オブジェクト３０５と、フレーム３００を作成するデバイスとの間の相対的な移動を指す。たとえば、いくつかの実施形態では、デバイスは、固定であり得、一方、オブジェクト３０５は移動している。いくつかの実施形態では、デバイスは、移動していることがあり、一方、オブジェクト３０５は固定である。いくつかの実施形態では、デバイスとオブジェクト３０５との両方は移動していることがある。さらに、そのような移動は、記録デバイスのズーム特徴により得る。たとえば、オブジェクト３０５は、オブジェクト３０５に対する、それぞれ、ズームアウトまたはズームインにより、フレーム３００中でより遠くに離れてまたはより近くに移動するように見え得る。フレーム３００、３０２を生成する、記録デバイスに対するオブジェクト３０５の見掛けの相対的な動きを生じる移動、または記録デバイスの特徴の任意の組合せが企図される。
【００５２】
[0061]図３Ａでは、追跡されるオブジェクト３０５をキャプチャする関心領域３１０が定義されている。本明細書でさらに詳細に説明するように、たとえば、図６および図１０Ａ〜図１０Ｈに関して、関心領域３１０は、追跡すべきオブジェクト３０５を選択することによって自動的にまたは手動で定義され得る。図３Ａに示すように、領域３１０は、ある幅とある高さとを有する長方形型の枠でオブジェクト３０５を囲んでいる。好ましい実施形態では、領域３１０は、オブジェクト３０５が移動するときオブジェクト３０５を領域３１０内に維持することを可能にする方法でオブジェクト３０５をキャプチャする。たとえば、領域３１０は、オブジェクト３０５をキャプチャし、さらに、領域３１０中のオブジェクト３０５の完全なキャプチャを保証するためにオブジェクト３０５の周りに追加の余白を与えるようにサイズ決定され得る。したがって、いくつかの実施形態では、領域３１０は、図示のように、オブジェクト３０５を完全に包含し得る。さらに、いくつかの実施形態では、たとえば、オブジェクト３０５が移動しており、領域３１０が、オブジェクト３０５の移動に応答している間に、領域３１０は、オブジェクト３０５を部分的にキャプチャし得る。
【００５３】
[0062]さらに他の実施形態では、領域３１０は、図示されているものよりも大きいフレーム３００のエリアをキャプチャし得る。たとえば、領域３１０は、オブジェクト３０５がキャプチャされることを保証するためにより大きく指定された余白により、より大きくなり得る。ここで「余白」は、オブジェクト３０５だけをキャプチャするのに必要な領域を越えた領域の追加の拡大を含む、それの普通の通常の意味を指す。たとえば、領域３１０は、長方形であり、図示のようにオブジェクト３０５の幅に基づいてサイズ決定され得る。領域３１０はまた、オブジェクト３０５の高さに基づいてサイズ決定され得る。オブジェクト３０５をキャプチャする領域３１０の他の実施形態および構成は、本明細書で明示的に対処または図示していないが、本開示の範囲内である。たとえば、円、三角形、または他の多角形など、４辺より多いまたは少ない領域３１０が企図される。さらに、領域３１０は、たとえば、オブジェクト３０５と同じまたは同様である形状または輪郭を有することによって、追跡されているオブジェクト３０５の形状に適合し得る。
【００５４】
[0063]図３Ｂを参照すると、フレーム３０２は、オブジェクト３０５が太陽、すなわち明るい光源の近くにあるときにオブジェクト３０５が関心領域３１０によって追跡されていることを示している。図示のように、オブジェクト３０５は、現在、太陽のより近くにあり、したがって、より明るいエリアにある。したがって、領域３１０内の強度は、フレーム３００と比較してフレーム３０２中でより明るくなる。フレーム３００、３０２中の照明強度の他の変化が可能である。たとえば、照明条件３２０は、フレーム３００と比較してフレーム３０２中でより明るくなり得る。図３Ｂの相対的により明るい照明条件３２０は、たとえば、環境照明の変化を含む、いくつかのファクタにより得る。照明３２０の変化は、たとえば、より明るいロケーションからより暗いロケーションに記録デバイスを移動すること、雲に覆われるまたは沈みかけた太陽などの環境の変化、太陽または他の光源などのより明るい光源を除去すること、記録デバイスへの光を遮ること、暗い建築物内から日光の下の外側に記録デバイスまたはオブジェクト３０５を移動することなどにより得る。
【００５５】
[0064]本明細書で説明する領域３１０および／または照明条件３２０内の強度は、時間にわたってより暗い条件からより明るい条件に移動し得るが、照明変化の他の変形形態が企図される。いくつかの実施形態では、領域３１０および／または照明条件３２０内の強度は、より明るい状態からより暗い状態に変化し得る。いくつかの実施形態では、領域３１０および／または照明条件３２０内の強度は、より暗い状態からより明るい状態を経てより暗い状態に、またはより明るい状態からより暗い状態を経てより明るい状態になど変化し得る。明示的に対処または図示していないが、領域３１０および／または照明条件３２０内の変化する強度の他の変形形態が、企図され、本開示の範囲内である。
【００５６】
[0065]図３Ｂに示す関心領域３１０は、オブジェクト３０５を完全にキャプチャする。オブジェクト３０５は、図示のように、フレーム３００からフレーム３０２に左から右に移動した。この移動は、オブジェクト３０５の移動、および／または記録デバイスの移動、および／またはデバイスのズーム特徴、またはそれらの任意の組合せにより得る。さらに、図３Ｂのフレーム３０２に示すオブジェクト３０５と領域３１０とは、図３Ａのフレーム３００に示すオブジェクト３０５と領域３１０とに対してより小さい。上述のように、これは、オブジェクト３０５が記録デバイスからより遠くに移動すること、および／または記録デバイスがオブジェクト３０５からより遠くに移動すること、および／または記録デバイスがオブジェクト３０５からズームアウトすること、および／または本明細書で説明する他の移動、またはそれらの任意の組合せにより得る。
【００５７】
[0066]いくつかの実施形態では、関心領域３１０は、それがオブジェクト３０５を追跡するときにサイズおよび／または形状を自動的に変化し得る。たとえば、図３Ｂに示す領域３１０は、図３Ａに対して幅および高さの寸法が減少された長方形である。図３Ｂの領域３１０は、相対的により短い幅および高さを有し、より長い幅および高さなど、サイズの他の変化も可能である。いくつかの実施形態では、領域３１０がオブジェクト３０５を追跡するとき、領域３１０も、形状を変化し得る。たとえば、領域は、追跡されているオブジェクト３０５がフレーム３００に示すように形状を変化するとき、オブジェクト３０５と一致するためにそれの形状をモーフ（morph）あるいは改変し得る。これは、オブジェクト３０５が実際に現実に形状を変化しているか、または、たとえば、オブジェクト３０５が記録デバイスに対して回転する場合に、フレーム３００、３０２によって単にそのように見え得ることにより得る。たとえば、上記で説明した、領域３１０の他の形状も可能である。
【００５８】
[0067]さらに、１つのフレーム３００から別のフレーム３０２への領域３１０のロケーションまたはサイズの変化は、量を変化するものであり得る。たとえば、領域３１０は、１つのフレームから別のフレームまでわずかに変化し得、あるいは領域３１０は、劇的に、もしくは中間の量だけ変化し得、または、まったく変化しないことがある。したがって、領域３１０の変化は、量の変化であり得る。領域３１０のサイズ、ロケーションなどの変化の量の決定は、たとえば、図６および図１０Ａ〜図１０Ｈに関して本明細書でさらに詳細に説明するように、これらの変化に基づいて変動インジケータを計算することによって行われ得る。
【００５９】
[0068]領域３１０がオブジェクト３０５を追跡するときの、領域３１０のロケーション、サイズ、形状、および／または他の属性の変化は、履歴領域データまたはパラメータとして記録および／または使用され得る。たとえば、図７および図１０Ａ〜図１０Ｈに関して本明細書でさらに詳細に説明するように、そのようなデータは、追跡システムを安定化するために開示する追跡方法のいくつかの実施形態において使用され得る。
【００６０】
[0069]さらに、領域３１０の任意の単一の属性、たとえば、ロケーションの変化への言及は、それの意味に、サイズまたは形状など、領域３１０の任意の他の属性の変化を含む。したがって、たとえば、本開示では領域３１０の「ロケーション」の変化について言及され得るが、この言葉は、領域３１０のサイズ、形状、配向および／または任意の他の属性の変化をも包含することを理解されたい。
【００６１】
[0070]オブジェクト３０５は、図３Ａから図３Ｂまでフレーム３００、３０２内にとどまり得るが、いくつかの実施形態では、同様に、フレーム３００の後に離れ、フレーム３０２で戻り得る。いくつかの実施形態では、フレーム３００および３０２は、連続していないことがあり、長い時間分離され得る。いくつかの実施形態では、本明細書で開示する追跡システムおよび方法は、オブジェクト３０５が記録デバイスの視野に戻るときにオブジェクト３０５を認識し得る。したがって、オブジェクト３０５は、それが可視であるフレーム３００中で追跡され、次いで、それが可視でないフレーム３００とフレーム３０２との中間に追跡されず、その後、それが再び可視であるフレーム３０２中で追跡され得る。オブジェクト３０５は、それが記録デバイスの視野を離れたので、または任意の他の理由、たとえば、それが画像フレーム中の別のオブジェクトによって覆い隠され得ることのために可視でないことがある。
【００６２】
[0071]図３Ａおよび図３Ｂに示すように、領域３１０内の照明強度は、照明強度３１５と呼ばれる。いくつかの実施形態では、この強度３１５は、領域３１０中でキャプチャされた平均照明強度である。たとえば、領域３１０中のすべてのまたは大部分のピクセルの強度が、決定され、次いで平均化され得る。いくつかの実施形態では、照明強度３１５は、領域３１０内の大部分のピクセルよりも少数のピクセルのサンプリングからの平均であり得る。いくつかの実施形態では、照明強度３１５は、いかなる平均化または他の計算も実行されない単なるサンプリングであり得る。他の実施形態では、照明強度３１５は、領域３１０中の照明強度を示す、領域３１０中のピクセルのすべて、大部分、または一部に対して実行される平均化以外の何らかの他の計算であり得る。領域３１０中でキャプチャされたピクセルの他のサンプルサイズおよび他の計算が、実行され得、照明強度３１５として表され得る。これらは、演算およびサンプルサイズの一部にすぎないが、他のものも、本開示の範囲内である。そのような計算のいくつかの実施形態のさらなる詳細について、たとえば、図６〜図８に関して本明細書で説明する。
【００６３】
[0072]図３Ａ〜図３Ｂに示すように、追跡されるオブジェクト３０５は、図３Ａ中のフレーム３００中の比較的より暗いロケーションから、図３Ｂ中のフレーム３０２の比較的より明るいロケーションに移動した。したがって、図３Ａ中の領域３１０内の照明強度３１５は、図３Ｂ中の領域３１０内の照明強度３１５と比較してより暗くなる。図示のように、これは、図３Ｂ中のオブジェクトが、現在、太陽の見通し線のより近くにあるときの環境照明条件３２０の変化により得る。しかしながら、上記で説明したように、領域３１０内の照明強度３１５の変化は、より暗い屋内からより明るい屋外に記録デバイスを移動することなど、様々な他のファクタにより得る。
【００６４】
[0073]さらに、１つのフレーム３００から別のフレームまでの照明強度３１５のこの変化は、量を変化するものであり得る。たとえば、照明強度３１５は、１つのフレームから別のフレームまでわずかに変化し得、または照明強度３１５は、劇的に変化し得る。この後者の状況、すなわち劇的である照明強度３１５の変化を、本明細書では、そのすべてが同じ概念を示す複数の方法で言及し得る。たとえば、照明強度３１５のそのような「劇的な」変化は、主要な、大きい、大規模の、ひどい、激しい、大きな、異常ななどと呼ばれることがある。同様に、劇的でない変化を、本明細書では、たとえば、目立たない、小さい、小規模の、劇的でない、わずかな、少しの、通常のなど、様々な方法で言及し得る。照明強度３１５の変化が大きいのか小さいのかの決定は、たとえば、図６〜図８に関して本明細書でさらに詳細に説明するように、照明強度３１５の変化を強度限界と比較することによって行われ得る。
【００６５】
[0074]本明細書で開示する追跡システム、デバイスおよび方法は、劇的であろうとそうでなかろうと照明条件３２０および／または照明強度３１５の上述の変化、ならびに関心領域３１０の上述の変化に対処にする。照明強度のそのような変化は、部分的に、現在の画像フレームの照明強度レベルの露出補正によって対処される。図４Ａは、変化する照明強度レベルとともに対応する補正強度レベルの実施形態を示すチャートである。図４Ｂは、補正デバイスおよび方法において使用され得る基準値が、図４Ａに示した変化する照明強度レベルに対してどのように変化するのかの実施形態を示すチャートである。基準値を使用して補正強度がどのようにして達成されるのかの詳細について、たとえば図６〜図８に関して本明細書でさらに詳細に説明し、一方、図４Ａ〜図４Ｂに、変化した照明条件に応答してこれらの値がどのように変化し得るかを示す。示した値は、本開示の実施形態の例であり、定量的要件を与えることを意図していない。代わりに、図４Ａ〜図４Ｂに示す値は、次に説明するように、それらの間の代表的な定性的な関係について説明するために使用される。
【００６６】
[0075]したがって、図４Ａ〜図４Ｂに、変化する元の照明条件の下で補正強度レベルと参照値とがどのように変化し得るかを示す。特に、図４Ａに、元の強度レベル（たとえば、図３Ａ〜図３Ｂからの照明強度３１５）と補正強度レベルとがどのように変化するかを示す。図４Ａ中の垂直軸は強度値であり得、水平軸は、時間または時間にわたって測定されるフレームであり得る。図４Ｂに、参照値がどのように変化し得るかを示す。図４Ｂ中の垂直軸は基準値の強度であり得、水平軸は、時間または時間にわたって測定されるフレームであり得る。
【００６７】
[0076]さらに、図４Ａおよび図４Ｂの水平軸は、図４Ａからの所与のフレームまたは時点が、図４Ｂ中の同じフレームまたは時点に対応するように整合され得る。たとえば、図４Ａの水平軸は、「０」の値から始まり、「２５０」で終わるラベルを含んでいる。同様に、図４Ｂの水平軸は、「０」の値から始まり、「２５０」で終わるラベルを含んでいる。図４Ａおよび図４Ｂの水平軸上のこれらのラベルは、同じフレームまたは時点を表す。
【００６８】
[0077]図４Ａでは、元の強度レベルは、たとえば、４０６における破線によって示されている。補正強度レベルは、たとえば、４０５における実線によって示されている。図４Ｂに、基準値が相応してどのように変化し得るかを示し、たとえば、線４００によって示している。たとえば、基準値は、最初は元の強度レベルに等しくなり得る。次いで、図４Ａ〜図４Ｂに示すように、強度が劇的に変化していない通常の照明条件の下で、図８に関して本明細書でさらに詳細に説明するように、基準値は、それが変化するときに元の強度レベルに一致するよう周期的に更新し得る。周期的更新のそのような期間は、図４Ｂ中で識別される期間４２６を介して示されており、これは、図４Ａ中に示す第１の「通常の光」条件に対応する。この時間中に、図４Ａに示すように、元の強度レベルは劇的に変化していない。したがって、補正強度レベルは、たとえば、図４Ａ中のロケーション４０２によって示すように。元の強度レベルと同様の値を有する。基準値は、周期的に更新するが、照明の劇的な変化に備えて更新されるにすぎない。期間４２６中の光が劇的に変化していないので、基準値は、強度を補正するために使用されておらず、したがって、補正強度レベルは元の強度レベルと同様である。したがって、時間にわたる補正強度レベルは、比較的平坦であり、元の強度レベルに一致する。
【００６９】
[0078]通常の光の期間４２６の後に、次いで、照明条件は劇的に変化し得る。第１の明るい光条件の下で、たとえば、図４Ａ上のロケーション４０４において、示されている変化は劇的である。４０４から、元の光強度は、ロケーション４０６によって示すように劇的にジャンプし得る。図４Ｂは、期間４２８に、光の劇的な変化のこの期間を示している。基準値は、次いで、期間４２８によって示されるロケーションにわって平坦な線４００によって示すように、周期的に更新することを停止し得る。基準値４００が周期的に更新することを停止すると、画像が基準値を使用して補正されるので、補正強度レベルは、図４Ａの４０５に示すようになる。元の強度レベルは、４０８に示すように自動露出によって影響を及ぼされているが、それは追跡システムにとって適切に反応しない。
【００７０】
[0079]照明条件は、次いで、通常の照明条件に変化して戻り得、元の強度レベルは、４１０に示す値に低下し得る。これは、４１０に示す補正レベルのわずかな変化の原因となり得る。これは、露出補正システムにおいて使用される特定のタイミングおよびしきい値レベルによる。わずかな変化は、図示のように負であることも正であることもある。図４Ｂに示すように、元の強度レベルは、次に、４１２にあり、一方、補正強度レベルは、基準値により４１１にあり、一定にとどまる。
【００７１】
[0080]別の明るい光条件は、たとえば、図４Ａの位置４１４に続き、変化は、この場合も劇的であり得る。４１４から、元の光強度は、たとえば、ロケーション４１６によって示すように劇的にジャンプし得る。図４Ｂは、期間４２８に、光の劇的な変化のこの期間を示している。基準値は、期間４２８にわたって線４００によって示すように、依然として周期的に更新されていないことがある。基準値４００が周期的に更新することを停止すると、画像が基準値を使用して補正されるので、補正強度レベルは、図４Ａの４１５に示すようになる。元の強度レベルは、４１８に示すように自動露出によって影響を及ぼされているが、それは追跡システムにとって適切ではない。
【００７２】
[0081]照明条件は、次いで、通常の照明条件に変化して戻り得、元の強度レベルは、４２０に示す値に低下し得る。これは、４２０に示す補正レベルのわずかな変化の原因となり得る。これは、露出補正システムにおいて使用される特定のタイミングおよびしきい値レベルによる。わずかな変化は、図示のように正であることも負であることもる。図４Ｂに示すように、元の強度レベルは、次に、４２２にあり、一方、補正強度レベルは、基準値により４２１にあり、一定にとどまる。
【００７３】
[0082]別の通常の光条件は、続き得、元の強度レベルは、図４Ａの４２４に示すレベルに増加され得る。４２４において、それ以上照明条件の劇的な変化がなく、したがって、基準値は、図４Ｂの４３０に示すように、この場合も周期的に更新し始め得る。補正強度レベルは、図４Ａ中の４２４に示すようなものであり得る。
【００７４】
[0083]元の強度レベルと、補正強度レベルと、変化する照明条件による基準値との間の上記で説明した関係は例にすぎない。これらの値の他の変形形態が可能であり、本開示の範囲内である。たとえば、より明るい照明に関与する劇的な照明条件について論じたが、より暗い照明に関与する劇的な照明条件も企図されることを理解されたい。図４に関する劇的により明るい照明の使用は、例示のためにすぎず、本開示の範囲を限定しない。照明のこれらの様々な変化は、様々なデバイスおよび追跡システムによって補正され得、照明と基準値との間のこれらの様々な関係は、様々なデバイスおよび追跡システムにおいて採用され得る。次に、１つのそのようなデバイスについて説明する。
【００７５】
[0084]図５に、露出補正および安定化をもつ追跡システムを備えるデジタルイメージングデバイス５００のブロック図を示す。デバイス５００は、イメージングセンサー５１５にリンクされたプロセッサ５２０を含む構成要素のセットを有する。作業メモリ５０５、ストレージ５１０、電子ディスプレイ５２５、およびメモリ５３０もプロセッサ５２０と通信している。
【００７６】
[0085]デバイス５００は、少なくとも１つのイメージングセンサーを有するセルフォン、デジタルカメラ、携帯情報端末、タブレット、または同様の装置であり得る。デバイス５００はまた、デスクトップパーソナルコンピュータ、ビデオ会議局など、より固定のデバイスであり得る。デバイス５００上で、複数のアプリケーションがユーザにとって利用可能であり得る。これらのアプリケーションは、旧来の写真アプリケーション、高ダイナミックレンジイメージング、パノラマビデオ、あるいは３Ｄ画像または３Ｄビデオなどの立体視イメージングを含み得る。
【００７７】
[0086]プロセッサ５２０は、汎用処理ユニット、またはイメージングアプリケーションのために特別に設計されたプロセッサであり得る。図示のように、プロセッサ５２０はメモリ５３０と作業メモリ５０５とに接続される。図示の実施形態では、メモリ５３０は、イメージングセンサー制御モジュール５３５と、関心オブジェクト検出モジュール５４０と、タッチスクリーン入力モジュール５５５と、設定管理モジュール５６０と、ウィンドウ表示モジュール５７０と、プレビュー制御モジュール５７５と、オペレーティングシステム５８０と、光測定モジュール５８５と、追跡モジュール５９０とを記憶する。これらのモジュールは、様々な画像処理タスクとデバイス管理タスクとを実行するようにプロセッサを構成する命令を含む。作業メモリ５０５は、メモリ５３０のモジュール中に含まれているプロセッサ命令の作業セットを記憶するためにプロセッサ５２０によって使用され得る。代替的に、作業メモリ５０５はまた、デバイス５００の動作中に作成された動的データを記憶するためにプロセッサ５２０によって使用され得る。
【００７８】
[0087]上述のように、プロセッサは、メモリに記憶されたいくつかのモジュールによって構成される。イメージングセンサー制御モジュール５３５は、イメージングセンサー５１５の焦点位置を調整するようにプロセッサ５２０を構成する命令を含む。イメージングセンサー制御モジュール５３５はまた、イメージングセンサー５１５を用いて画像をキャプチャするようにプロセッサ５２０を構成する命令を含む。したがって、画像キャプチャ制御モジュール５３５、イメージングセンサー５１５、および作業メモリ５０５とともに、プロセッサ５２０は、イメージングセンサーを使用して画像をキャプチャするための１つの手段を表す。関心オブジェクト検出モジュール５４０は、イメージングセンサー５１５によってキャプチャされた画像中の関心オブジェクトを検出するようにプロセッサ５２０を構成する命令を与える。いくつかの実施形態では、関心オブジェクトは、追跡されるオブジェクトであり得る。タッチスクリーン入力モジュール５５５は、タッチスクリーンディスプレイ、たとえば、ディスプレイ５２５からタッチ入力を受信するようにプロセッサ５２０を構成する命令を含み得る。設定管理モジュール５６０は、デバイス５００の様々なパラメータ設定を管理するための命令を含み得る。たとえば、プレビューウィンドウの構成に関するパラメータがモジュール５６０によって管理され得る。ウィンドウ表示モジュール５７０は、デバイス５００内のディスプレイ５２５上の生成されるプレビューウィンドウ内のデータのレイアウトを管理するための命令を含み得る。たとえば、プレビューウィンドウは、それの内の２つ以上の画像「ウィンドウ」を含み得る。いくつかの「ウィンドウ」は、異なるスケールでデータを表示し得る。ウィンドウ表示モジュール５７０内の命令は、これらのサブウィンドウの各々に関するデータを、ディスプレイ５２５の表示コマンドに変換するようにプロセッサを構成し得る。
【００７９】
[0088]プレビュー制御モジュール５７５は、本明細書で説明する方法に従って電子ディスプレイ５２５上にプレビューウィンドウを表示するようにプロセッサを構成する命令を含む。たとえば、プレビュー制御モジュール５７５は、イメージングセンサー５１５を使用して第１の画像をキャプチャするようにプロセッサ５２０を構成するためにイメージング制御モジュール５３５中のサブルーチンを呼び出す命令を含み得る。プレビュー制御モジュール５７５は、次いで、イメージングセンサー５１５によってキャプチャされた第１の画像中で関心オブジェクトを検出するために関心オブジェクト検出モジュール５４０を呼び出し得る。プレビュー制御モジュール中の命令は、次いで、ディスプレイ５２５上に表示すべきプレビューウィンドウをオペレータがどのように構成したかを決定するために、設定管理モジュール５６０を呼び出し得る。この情報は、イメージングセンサー５１５によってキャプチャされた画像データと関心オブジェクト検出モジュール５４０によって決定された関心オブジェクト情報とを使用して構成されるようにプレビューウィンドウをレイアウトするためにウィンドウ表示モジュール５７０に与えられ得る。ウィンドウ表示モジュール５７０は、表示を制御するためにオペレーティングシステム５８０中の命令を呼び出し、それに電子ディスプレイ５２５上に適切なプレビューウィンドウ構成を表示させ得る。
【００８０】
[0089]オペレーティングシステムモジュール５８０は、デバイス５００のメモリと処理リソースとを管理するようにプロセッサを構成する。たとえば、オペレーティングシステムモジュール５８０は、電子ディスプレイ５２５、ストレージ５１０、またはイメージング５１５などのハードウェアリソースを管理するためのデバイスドライバを含み得る。したがって、いくつかの実施形態では、上記で説明したプレビュー画像処理モジュール中に含まれている命令は、これらのハードウェアリソースと直接対話せず、代わりに、オペレーティングシステム構成要素５８０中にある標準サブルーチンまたはＡＰＩを通して対話し得る。オペレーティングシステム５８０内の命令は、次いで、これらのハードウェア構成要素と直接対話し得る。
【００８１】
[0090]プロセッサ５２０はストレージモジュール５１０にデータを書き込み得る。ストレージモジュール５１０は従来のディスクデバイスとして図式的に表されているが、複数の実施形態は、メモリディスク、ＵＳＢドライブ、フラッシュドライブ、リモート接続された記憶媒体、仮想ディスクドライバなどを含むように、ディスクベースのストレージデバイス、またはいくつかの他のタイプ記憶媒体のうちの１つのいずれかを含むことができることを当業者は理解されよう。
【００８２】
[0091]図５は、プロセッサとイメージングセンサーとメモリとを含むように別個の構成要素を備えるデバイスを示しているが、これらの別個の構成要素は、特定の設計目標を達成するために様々な方法で組み合わせられ得ることを当業者は認識されよう。たとえば、代替実施形態では、メモリ構成要素は、コストを節約し性能を改善するために、プロセッサ構成要素と組み合わせられ得る。
【００８３】
[0092]さらに、図５は、いくつかのモジュールを備えるメモリ構成要素５３０と、作業メモリを備える別個のメモリ５０５とを含むように２つのメモリ構成要素を示しているが、当業者は、異なるメモリアーキテクチャを利用するいくつかの実施形態を認識されよう。たとえば、メモリ５３０中に含まれているモジュールを実装するプロセッサ命令の記憶のための設計はＲＯＭまたはスタティックＲＡＭメモリを利用し得る。代替的に、プロセッサ命令は、デバイス５００に組み込まれるかまたは外部デバイスポートを介して接続されたディスクストレージデバイスからシステム開始時に読み取られ得る。プロセッサ命令は、次いで、プロセッサによる実行を可能にするためにＲＡＭにロードされ得る。たとえば、作業メモリ５０５はＲＡＭメモリであり得、命令は、プロセッサ５２０による実行の前に作業メモリ５０５にロードされる。
【００８４】
[0093]いくつかのデバイス５００は、露出補正および安定化能力を有し得る。これにより、デバイス５００は、デバイス５００の視野に対してアイテムが移動するときに安定した方法でアイテムを追跡することと、照明条件の劇的な変化を補正することとが可能になる。いくつかの実施形態では、それらのために、デバイス５００は、光測定モジュール５８５と追跡モジュール５９０とを含み得る。
【００８５】
[0094]追跡モジュール５９０は、本明細書で説明する方法に従って電子ディスプレイ５２５上でプレビューウィンドウ中のオブジェクトを追跡するようにプロセッサを構成する命令を含む。たとえば、追跡モジュール５９０は、イメージングセンサー５１５を使用して第１の画像をキャプチャするようにプロセッサ５２０を構成するためにイメージング制御モジュール５３５中のサブルーチンを呼び出す命令を含み得る。追跡モジュール５９０は、次いで、検出するために関心オブジェクト検出モジュール５４０を呼び出し、次いで、イメージングセンサー５１５によってキャプチャされた第１の画像中で関心オブジェクトを追跡し得る。プレビュー制御モジュール５７５中の命令は、次いで、ディスプレイ５２５上に表示すべき、たとえば、関心領域のためのプレビューウィンドウをオペレータがどのように構成したかを決定するために、設定管理モジュール５６０を呼び出し得る。この情報は、イメージングセンサー５１５によってキャプチャされた画像データと関心オブジェクト検出モジュール５４０によって決定された関心オブジェクト情報とを使用して構成されるように関心領域をレイアウトするためにウィンドウ表示モジュール５７０に与えられ得る。ウィンドウ表示モジュール５７０は、表示を制御するためにオペレーティングシステム５８０中の命令を呼び出し、それに電子ディスプレイ５２５上に適切なプレビューウィンドウ構成を表示させ得る。
【００８６】
[0095]デバイス５００は、様々な方法で補正を実施し得る。たとえば、画像５００または５０４または５０８は、イメージングセンサー５１５によって感知され、プロセッサ５２０に通信され得る。イメージングセンサー制御モジュール５３５または関心オブジェクト検出モジュール５４０は、たとえば、基準値４０５を計算するために、追跡される関心領域中の平均照明強度を分析し得る。基準値を使用して行われる演算、たとえば、現在の明るい光条件強度値から基準値を減算することは、オペレーティングシステム５８０またはプロセッサ５２０によって実行され得る。データは、作業メモリ５０５または記憶モジュール５１０に記憶され得る。データはまた、ウィンドウ表示モジュール５７０またはプレビュー制御モジュール５７５中の追跡システムへの入力であり得る。これらのモジュールは、デバイス５００のそれらのまたは任意の他のモジュール中の追跡システムに補正画像５０２または５０６または５１０を入力し得る。
【００８７】
[0096]いくつかの実施形態では、光測定モジュール５８５は、劇的な照明条件を補正するために使用され得る。モジュール５８５は、本明細書で説明する方法に従って電子ディスプレイ５２５上の光強度および／または関心領域中の光強度を測定するようにプロセッサを構成する命令を含む。たとえば、光測定モジュール５８５は、たとえば、イメージングセンサー５１５を使用して第１の画像フレームを分析するようにプロセッサ５２０を構成するためにイメージング制御モジュール５３５中のサブルーチンを呼び出す命令を含み得る。光測定モジュール５８５は、次いで、イメージングセンサー５１５によってキャプチャされた第１の画像、たとえば、関心領域中で関心オブジェクトを検出するために関心オブジェクト検出モジュール５４０を呼び出し得る。モジュール５８５または５４０のいずれかは、次いで、たとえば、異なる画像フレームからの照明強度レベルを比較することによって関心領域または画像フレーム中の他の場所中の光の強度を分析し得る。光測定モジュール５８５は、さらに、画像フレーム全体の照明強度を改変するためにそのような分析の結果を使用するように構成され得る。たとえば、光測定モジュール５８５は、照明条件の劇的な変化を補正するために、画像フレームに強度レベルを追加または減算するために、設定管理モジュール５６０またはプレビュー制御モジュール５７５を呼び出し得る。これらのまたは他のモジュールは、さらに、追跡システムに画像フレームに送るようにプロセッサを構成する命令を含み得る。さらに、これらのまたは同様の演算は、本明細書で開示する補正方法を実行するために他の画像フレームに対して実行され得る。
【００８８】
[0097]演算の多くの他の変形形態と、演算を実行する際に使用されるモジュールとが実装され得る。さらに、モジュール中の機能のいずれかが、様々なモジュールによって実行され得、１つの能力に対してただ１つのモジュールに限定される必要がないことがある。様々なモジュールの具陳される機能は、上述の機能を実行することが可能な唯一のモジュールまたは構成要素ではなく、開示する特徴がどのように実装され得るかの例としてリストされているにすぎない。
【００８９】
[0098]本明細書で開示するシステムおよびデバイスは、様々な補正および安定化方法を使用し得る。図６〜図８は、追跡するための露出補正および安定化のための方法の異なる実施形態のフローチャートであり、一方、図９および図１０Ａ〜図１０Ｈに、これらの方法のいくつかの実施形態のいくつかのステップにおいて採用され得る計算ツールの詳細を示す。
【００９０】
[0099]図６を参照すると、追跡システムのいくつかの実施形態を初期化する方法６００の実施形態を示す。方法６００は、ステップ６１０で開始し得、ここにおいて、追跡されるべきオブジェクトの選択が受信される。いくつかの実施形態では、選択は、手動で行われる。たとえば、ユーザは、画像フレーム３００から追跡すべきオブジェクト３０５を選択し得る。一実装形態では、フレーム３００は、タッチスクリーン上に表示され、ユーザは、オブジェクト３０５が位置するスクリーンのエリアにタッチする。いくつかの実施形態では、追跡されるべきオブジェクト３０５の確認が与えられる。
【００９１】
[0100]関心領域３１０は、次いで、ステップ６２０において定義され得る。領域３１０は、ディスプレイ１２５上のオブジェクト３０５を囲み得る。いくつかの実施形態では、領域３１０の定義は自動であり得る。たとえば、オブジェクト３０５は、たとえば、視野中のオブジェクトを分析し、それらを事前指定されたオブジェクト説明と比較し、それらの説明に一致するオブジェクトを認識することによって第１のインスタンス中で自動的に認識され得る。いくつかの実施形態では、オブジェクト３０５は、それが記録デバイスの視野を離れ、次いで戻った後に自動的に認識され、フレーム３００中に再び表示される。
【００９２】
[0101]さらに、ステップ６２０について、領域３１０は、様々な形状および／またはサイズで定義され得る。いくつかの実施形態では、これらの形状および／またはサイズは、オブジェクト３０５の形状、サイズ、移動、または他の属性など、オブジェクト３０５の特性に基づいて自動的に生成され得る。いくつかの実施形態では、領域３１０の形状またはサイズは、ユーザによって指定され得る。たとえば、ユーザは、関心領域３１０に、長方形などの特定の形状および１インチなどの余白を指定し得る。領域３１０は、次いで、長方形の形状をとり、追跡されているオブジェクトの周りに１インチの余白を残すことになる。追跡されるべきオブジェクト３０５の選択のための他の変形形態および構成、およびオブジェクトを追跡すべき関心領域３１０の定義のための他の変形形態および構成は、本明細書で明示的に対処されていないが、本開示の範囲内である。
【００９３】
[0102]方法６００は、次に、ステップ６３０に移動し得、ここにおいて、初期基準値が、関心領域３１０中のピクセルの平均光強度として定義される。強度は、ピクセルの輝度に対応する値を指し得る。一実装形態では、領域３１０中に含まれているピクセルのすべてまたは大部分が測定され、測定値に基づいて平均が計算される。いくつかの実施形態では、平均光強度は、領域３１０中の大部分のピクセルよりも少数のピクセルに基づいて計算される。いくつかの実施形態では、輝度または強度を示す他の計算が、領域３１０中で測定されたピクセルに対して実行される。さらに、関心領域３１０のほかに画像フレームのエリア内の光が分析され得る。たとえば、領域３１０内で測定された強度が誤りを生じる場合、領域３１０に隣接するか、またはそれからさらに離れたピクセルも測定され、計算において使用され得る。
【００９４】
[0103]ステップ６３０において最初の基準値を定義した後に、方法６００は、ステップ６４０に移動し得、ここにおいて、関心領域３１０の最初のサイズおよびロケーションが決定される。最初のサイズは、たとえば、長方形領域３１０の高さおよび幅を含み得る。最初のロケーションは、たとえば、領域３１０の中心点の座標を含み得る。いくつかの実施形態では、領域３１０のロケーションがＸおよびＹ座標で与えられ、ここで、Ｘは、たとえば、フレーム３００の水平座標を表し、Ｙは、垂直座標を表す。上述のように、サイズおよびロケーションは、エリア、輪郭、形状など、領域３１０に関する他のパラメータを含むことを理解されたい。
【００９５】
[0104]領域３１０のロケーションは、追跡システムのための追跡位置として使用され得る。したがって、最初の追跡位置は、画像フレーム３００中の領域３１０の中心のロケーションまたは座標として定義され得る。別のフレーム、たとえば、フレーム３０２では、追跡位置は、フレーム３０２中の領域３１０の中心の変更座標に変更され得る。最初のサイズ、エリア、形状などを定義するために同様の動作が実行され得る。
【００９６】
[0105]方法６００によって実行される初期化は、さらに、他の順序で実行され得、上記で説明した順序で実行される必要はない。たとえば、ステップ６４０中の領域の最初のサイズおよびロケーションは、基準値がステップ６３０において定義される前に実行され得る。方法６００中のステップの順序の他の変形形態が可能であり、本開示の範囲内である。さらに、方法６００は、サイズ、ロケーションなどの複数の値が決定および記憶され得るように繰り返し行われ得る。たとえば、方法６００は、基準値のための７つのエントリが記憶されるように７回繰り返され得、各値が過去の画像フレームに対応する。さらに、たとえば、領域３１０のサイズおよびロケーションのための７つのエントリは、同様に、履歴パラメータとして記憶され得る。これらの履歴パラメータは、次いで、図７および図１０Ａ〜図１０Ｈに関してさらに詳細に説明するように、追跡システムを安定化するために使用され得る。
【００９７】
[0106]基準値および関心領域３１０についての履歴パラメータが、たとえば、図６に関して上記で説明したように最初に定義された後、追跡システムを補正および安定化することに関する他の方法が実行され得る。図７に、１つのそのような方法７００の実施形態の概要を示す。
【００９８】
[0107]図７に、露出補正および安定化特徴を用いて追跡するための方法７００の実施形態の概要を示す。方法７００は、ステップ７１０で、現在の画像フレームを受信することによって開始し得る。フレーム３０２などの現在の画像フレームは、記録デバイスによって供給され得る。次に、ステップ７２０において、フレーム中の照明の任意の劇的な変化が補正され得る。たとえば、明るい光条件の下でのフレーム２０４はフレーム２０６として補正され得る。補正の後に、方法７００は、ステップ７３０に移動し、ここにおいて、追跡位置が履歴パラメータに基づいて安定化される。説明したように、追跡位置は領域３１０の中心であり得る。したがって、いくつかの実施形態では、領域３１０の中心は、領域３１０のロケーションおよびサイズを含み得る履歴パラメータを使用して安定化され得る。安定化の後に、ステップ７４０において、現在の画像フレームが追跡システムに送信される。
【００９９】
[0108]上記の説明は、露出補正および安定化の方法の実施形態の概要である。本方法の詳細を、次に、図８に示す方法８００の実施形態に関して説明する。
【０１００】
[0109]方法７００において領域３１０の基準値および履歴パラメータが定義されると、図８に示すように続きの補正および安定化のための方法８００が実行され得る。ただし、方法８００は方法７００を組み込み得ることを理解されたい。さらに、方法７００、８００の連続的な説明は、これらを実行する際のいかなる順序も暗示することを意図していない。
【０１０１】
[0110]図８に示すように、方法８００は、ステップ８１５で開始し得、ここにおいて、現在の画像フレームのための領域中のピクセルの光強度が測定される。いくつかの実施形態では、ピクセルのすべてまたは大部分のための光強度が測定され、平均が計算される。次に、ステップ８１７において、基準値と（ステップ８１５からの）平均強度との間の差が計算される。いくつかの実施形態では、この差は、平均強度から基準値を減算することによって計算される。
【０１０２】
[0111]次のステップ８２０において、ステップ８１７において計算された差が分析される。ステップ８２０のいくつかの実施形態では、その差と強度限界との関係が決定される。Ａが示され、ステップ８２０において、差が強度限界よりも大きいかどうかが決定され得る。強度限界は、ユーザによって指定されるか、または自動的に構成され得る。
【０１０３】
[0112]差が強度限界よりも大きい場合、プロセスは、ステップ８２５に移動して画像フレームを調整する。図示のように、ステップ８２５のいくつかの実施形態では、画像フレームは、画像フレーム全体から差を減算することによって調整される。たとえば、画像フレーム３０２中のあらゆるピクセルの輝度値が、それから減算される差を有することになる。この差が正値であった場合、平均強度が基準値よりも大きいことを意味し、フレーム３０２中の各ピクセルは、減算後により暗く見えることになる。これは、図２中の元のフレーム２０４と比較的暗い補正フレーム２０６で確認され得る。逆に、この差が負値であった場合、平均強度が基準値よりも小さいことを意味し、フレーム３０２中の各ピクセルは、減算後により明るく見えることになる。この状況は、図２中の元のフレーム２０８と比較的明るい補正フレーム２１０で確認され得る。ステップ８２５の後に、プロセス８００はステップ８４０に移動し、ここで、以下で説明するように、変動インジケータが計算される。
【０１０４】
[0113]ステップ８１７において計算された差が強度限界よりも大きい場合、プロセスは、ステップ８３０に移動する。ステップ８３０において、基準値を更新すべき時間であるかどうかが決定される。いくつかの実施形態では、基準値は周期的に更新される。それは、１秒ごとに、数秒ごとに、１分ごとに、またはそれらのある部分に更新され得る。更新の期間は、ユーザによって指定され得るか、または自動的に構成され得る。基準値を更新すべき時間である場合、方法８００は、ステップ８３５に移動し、ここで、基準値は、現在の画像フレームのための関心領域中のピクセルの平均光強度にリセットまたは再定義される。ここで、「リセット」は、必ずしも、それが前の値または０に設定されることを意味するとは限らない。それは、前の基準値と同じであることも、同じでないこともある、現在の画像フレームのための関心領域中のピクセルの強度に基づいて再定義されるか、またはそれに基づく値に設定されることを意味するにすぎない。基準値を更新すべき時間でない場合、方法８００は、代わりにステップ８４０に移動する。
【０１０５】
[0114]ステップ８４０において、変動インジケータは、関心領域の属性の変化に基づいて計算される。いくつかの実施形態では、図示のように、これらの属性は、領域のサイズおよび／またはロケーションを含むパラメータである。変動インジケータは、領域のパラメータの変化の方向だけでなく度合いまたは大きさを表し得る。たとえば、領域のサイズが大量に増加した場合、変動インジケータは、正になり、大きくなり得る。いくつかの実施形態では、領域が特定の方向に特定の量だけ移動した場合、インジケータはこれを反映し得る。たとえば、値は、右側および上側に向かって正になり、左側および下側に向かって負になる典型的なＸ−Ｙ座標システムが使用され得る。移動が右および上向きである場合、インジケータは正になり得る。さらに、右側および上側への移動が大きい場合、インジケータは、同様に大きくなり得る。反対の変化に反対の値が与えられ得る。Ｘ−Ｙ座標システムを使用した変動インジケータの計算について、たとえば、図９に関して本明細書でさらに詳細に説明する。
【０１０６】
[0115]いくつかの実施形態では、インジケータは、領域のサイズの変化をキャプチャし得る。たとえば、フレーム３００中の長方形領域３１０は、第１の幅および高さを有する。フレーム３０２中の領域３１０は、第１の幅および高さよりも大きい第２の幅および高さを有する。サイズのこの変化は、フレーム３０２中の次元からフレーム３００中の次元を減算することによって特徴づけられ得る。
【０１０７】
[0116]いくつかの実施形態では、変動インジケータは、ベクトルであり得る。ベクトルは、領域の変化の大きさおよび方向を示し得る。いくつかの実施形態では、アレイは、複数の属性の変化、または属性の詳細の変化を記録するために使用され得る。たとえば、アレイの第１の列は、長方形領域の水平サイズ上に関するデータを含み得、第２の列は、領域の垂直サイズに関するデータを含み得、第３の列は、領域の移動方向に関するデータを含み得、第４の列は、領域の移動の大きさに関するデータを含み得る。これらの値のすべては、個々に、方法８００において使用され得、または様々な値の一部または全部に基づいて計算された最終変動インジケータが使用され得る。領域が有し得る様々な形状、サイズ、ロケーションなどについて、他の変動インジケータが実装され得る。
【０１０８】
[0117]いくつかの実施形態では、複数の変動インジケータが決定および記憶され得る。たとえば、初期化方法６００が繰り返され得る。または、方法８００を繰り返し、方法８００が実行されるたびに変動インジケータを記憶し得る。いくつかの実施形態では、変動インジケータは、分析されたフレームごとに記憶される。いくつかの実施形態では、５つ、１０個、２０個、１００個など、限られた数の過去の変動インジケータだけが記憶され、したがって、現在のインジケータとともに、一定数の直近の過去のインジケータだけが記憶される。
【０１０９】
[0118]変動インジケータが計算されると、方法８００は、ステップ８４５に移動し、変動インジケータに基づいて信頼レベルを計算する。いくつかの実施形態では、信頼レベルは、インジケータの履歴値に基づいて計算される。たとえば、変動インジケータがインジケータ値の最近のセットと同様である場合、より高い信頼レベルを生じる。これは、領域の変化が、最近測定された変化と同様の変化である場合、変化がオブジェクトの移動によるものであるというより高い信頼性に本方法が帰するためである。逆に、現在のインジケータがインジケータ値の最近のセットと同様でない場合、より低い信頼レベルを生じる。低い信頼性は、領域の変化がオブジェクトの移動によらず、むしろ記録デバイスのぶれまたはジッタなどの他のファクタによる可能性があることを示す。履歴変動インジケータに基づいた信頼レベルの計算のさらなる詳細について、たとえば、図９および図１０Ａ〜図１０Ｈに関して本明細書で説明する。
【０１１０】
[0119]信頼レベルが計算されると、方法８００は、ステップ８５０に移動し、ここにおいて、重み付けまたは利得が信頼レベルに基づいて計算される。利得は、次いで、ステップ８５５において利得フィルタを計算するために使用される。次いで、ステップ８５７において、利得フィルタが追跡位置に適用される。いくつかの実施形態では、追跡位置は、領域３１０のロケーションおよび／またはサイズである。利得フィルタを適用した後に、方法８００は、ステップ８６０に移動し、ここにおいて、画像フレーム３０２は、追跡システムにパスされる。いくつかの実施形態では、方法８００は、次の画像フレームについて繰り返し得る。信頼レベル、利得および利得フィルタの計算、ならびに領域３１０に利得フィルタを適用することのさらなる詳細について、図９および図１０Ａ〜図１０Ｈに関して以下で説明する。
【０１１１】
[0120]図９に、変動インジケータを計算し、信頼レベルを取得するために使用され得る計算ツールの実施形態を示す。したがって、以下の説明は、方法８００中のステップ８４０および８４５のいくつかの実施形態に適用され得る。図示のように、デカルトＸ−Ｙ座標系９１０が使用され得る。システム９１０は、垂直Ｙ軸と交差する水平Ｘ軸を有し、軸上の矢印は、それらのそれぞれの正の方向を示す。２つの対角線も軸と交差し、したがって、８つのエリア９００〜９０７が定義される。したがって、たとえば、正のＸおよびＹ値でのいくつかの移動は、エリア９０６に入る方向９２０の移動であり得る。
【０１１２】
[0121]領域３１０の移動は、２つの画像フレームからの座標を使用して計算され得る。上述のように、画像フレーム３０２中の領域３１０のロケーションは、領域３１０の中心に対応する座標によって表され得る。１つの画像フレーム３０２から次のフレームへの領域３１０の移動は、現在の座標から前の座標を減算することによって計算され得る。たとえば、ｔ0によって表される、現在の画像フレーム中の領域の中心は、（Ｘ0，Ｙ0）＝（３，４）のＸ−Ｙ座標を有し得る。同様に、ｔ-1によって表される、前の画像フレーム中の領域の中心は、（Ｘ-1，Ｙ-1）＝（１，０）のＸ−Ｙ座標を有し得る。したがって、移動は、差（Ｘ0，Ｙ0）−（Ｘ-1，Ｙ-1）＝（３，４）−（１，０）＝（２，４）として表され得る。したがって、領域は、Ｘ方向に＋２単位、Ｙ方向に＋４単位移動した。この方向は、座標系９００上に、たとえば、エリア９６０に延びる矢印９０５によって示され得る。
【０１１３】
[0122]いくつかの実施形態では、Ｘ方向の変化が、どのエリア９００〜９０７に変動インジケータが位置するかを決定するために、Ｙ方向の変化と比較され得る。いくつかの実施形態では、Ｘの変化およびＹの変化の符号が、それらの変化の大きさの比率とともに使用され得る。たとえば、Ｘ方向に＋２単位、Ｙ方向に＋４単位の移動の場合、両方の移動の符号は正になる。さらに、これらの変化の大きさの比率は、次のように計算され得る。
【０１１４】
【数１】
2016530827.tif 000003
【０１１５】
[0123]したがって、Ｘの変化とＹの変化との両方が正である、大きさの比率が１よりも小さく、これは、エリア９０６に対応する。どのエリア９００〜９０７を変動インジケータに割り当てるべきかを決定するために、同様の演算が他の移動に対して行われ得る。たとえば、Ｘの変化が正であり、Ｙの変化が負であり、比率が１よりも大きい場合、これは、エリア９０５に対応する。エリア９００〜９０７の境界上にある変動インジケータの場合、境界のいずれかの側の一方または他方エリアが選定され得る。たとえば、インジケータがＸ軸上にある場合、エリア９０５または９０７のいずれかが選定され得る。これは、たとえば、変化のいずれかが０である場合に生じ得る。いくつかの実施形態では、これらおよび他の場合を扱うためのルールが確立される。１つのそのようなルールが表１に示されている。
【０１１６】
【表１】
2016530827.tif 000004
【０１１７】
[0124]いくつかの実施形態では、履歴変動インジケータが、現在のインジケータに起因する信頼レベルを決定する際に使用され得る。いくつかの実施形態では、履歴インジケータの多くが、あるエリア９００〜９０７に対応する場合、その同じエリア９００〜９０７中の現在のインジケータが、より高い信頼レベルを生じることになる。たとえば、｛ｔ-7，ｔ-6，ｔ-5，ｔ-4，ｔ-3，ｔ-2，ｔ-1｝として表され得る過去の７つのフレームがすべて、｛９０６，９０６，９０６，９０６，９０６，９０６，９０６｝として表され得る、それらのそれぞれのフレームのためのエリア９０６中に変動インジケータを有する場合、やはり、エリア９０６中にある現在のインジケータ９２０は、最高の信頼レベルを生じることになる。いくつかの実施形態では、信頼レベルの値は、何個の履歴変動インジケータが現在の変動インジケータに一致するかを計算することによって決定され得る。例を続けると、エリア９０６中の現在のインジケータがすべての７つの履歴インジケータに一致するので、したがって、エリア９０６中に、前の７つと現在のインジケータ９２０との８つのインジケータがあるので、信頼レベルは８になる。しかしながら、現在のインジケータ９２０がエリア９００中にあった場合、０の履歴インジケータに一致することになり、したがって、エリア９００中に、現在のインジケータ９２０の１つのインジケータしかないので、信頼レベルは１になることになる。したがって、いくつかの実施形態では、信頼レベルは、現在のインジケータ９２０のインスタンスの数として計算され、ここで、現在のインジケータ９２０がその数の中に含まれ得る。
【０１１８】
[0125]いくつかの実施形態では、現在のフレームと前のフレームと様々な利得値を決定するために信頼レベルが使用され得る。したがって、以下の説明は、方法８００中のステップ８５０のいくつかの実施形態に適用される。図１０Ａ〜図１０Ｈに、信頼レベルを現在の利得値に変換するために使用され得る、それぞれ、関係１００１〜１００８の実施形態を示す。様々な関係１００１〜１００８は、それぞれ、信頼レベル１〜８に対応する。したがって、たとえば、現在の信頼レベルが１である場合、図１０Ａに示す関係１００１が使用され、信頼レベルが２である場合、図１０Ｂに示す関係１００２が使用されるなどである。チャート１００１〜１００８の水平軸は、様々な利得変数に対応し、「８」は、現在の利得変数に対応し、「７」は、直前のフレームとしての利得変数に対応するなどである。利得変数の値は｛ａ-7，ａ-6，ａ-5，ａ-4，ａ-3，ａ-2，ａ-1，ａ0｝として表され得、ここで、利得変数は、それぞれ、現在のフレームと前の７つのフレームとの利得値を表す。たとえば、フレームｔ-7は、ａ-7によって表される利得値を有し、フレームｔ-6は、ａ-6によって表される利得値を有するなどである。適切な関係１００１−１００８に示す線を使用して、利得変数に、水平軸上のマーク１〜８に対応するＹ軸値が割り当てられる。たとえば、現在の信頼レベルが６である場合、図１０Ｆに示す関係１００６が使用される。関係１００６では、利得変数に割り当てられることになるＹ軸値｛ａ-7，ａ-6，ａ-5，ａ-4，ａ-3，ａ-2，ａ-1，ａ0｝は、それぞれ、｛０．０００，０．００２，０．００９，０．０３１，０．０８６，０．１８２，０．３０１，０．３８６｝になることになる。いくつかの実施形態では、関係１００１〜１００８が使用されるとき、すべて利得変数に新しい値が再割り当てされる。さらに、新しい利得値は、前の値と同じであることも、同じでないこともある。利得の他の値は、他の信頼レベルに割り当てられることになる。
【０１１９】
[0126]図１０Ａ〜図１０Ｈに示す関係１００１〜１００８は、説明のためのものにすぎないことを理解されたい。他の関係は、信頼レベルに基づいて利得値を計算するために使用され得る。
【０１２０】
[0127]利得値は、次いで、利得フィルタにおいて使用され得る。利得フィルタは、前に決定された利得値に従って現在のフレームを重み付けする。たとえば、最高の信頼性の８の場合、図１０Ｈに示す関係１００８が使用され、それにより、すべての利得変数が、ａ0およびａ-1、すなわち、現在のフレームおよび直前のフレームを除いて０の値を有し、それぞれ、約０．９８２および０．０１８の値をもつ。現在のフレーム中の高信頼度により、利得値のこの分布は、現在のフレームを最大に重み付けし、前のフレームは、極めて小さい重み付けを有する。いくつかの実施形態では、フレームに分布した利得値の和は１になる。
【０１２１】
[0128]利得フィルタにおける利得値｛ａ-7，ａ-6，ａ-5，ａ-4，ａ-3，ａ-2，ａ-1，ａ0｝の重み付け分布は、現在のフレームのための領域３１０のサイズおよび／またはロケーションを安定化するために使用され得る。したがって、以下の説明は、方法８００中のステップ８５７のいくつかの実施形態に適用される。いくつかの実施形態では、現在および前の７つのフレームについて、それらのフレーム中の領域３１０のロケーションに対応するＸおよびＹ座標が記憶され得る。たとえば、（Ｘ-7，Ｙ-7）は、フレームｔ-7中の領域３１０の中心のＸおよびＹ座標に対応し得、したがって、ａ-7の利得値は、安定化された座標（ＸS，ＹS）を決定するためにそれらの座標を重み付けするために使用される。同様の重み付けが、他のフレームとそれらのそれぞれの座標に対して行われ得る。たとえば、領域３１０のロケーションの安定化されたＸS座標は、次のように決定され得る。
【０１２２】
【数２】
2016530827.tif 000005
【０１２３】
[0129]同様の計算が、Ｙs座標に対して行われ得る。このようにして、領域３１０のための現在の座標（Ｘ0，Ｙ0）は、安定化された座標（ＸS，ＹS）に調整され得る。このようにして、領域３１０は、（ＸS，ＹS）に配置される。
【０１２４】
[0130]いくつかの実施形態では、領域３１０の履歴サイズは、追跡システムを安定化するために使用される。領域３１０のロケーションに関して上記で説明した同様の演算が領域３１０のサイズに対して実行され得る。たとえば、前のフレームｔ-1と比較した現在のフレームｔ0中の領域のサイズの変化は、領域３１０の様々な寸法を使用して計算され得る。たとえば、現在の画像フレーム中の領域は、幅が３で高さが４であり、データセット（Ｘ0，Ｙ0）＝（３，４）として表され得る。同様に、前の画像フレーム中の領域のサイズは、幅が２で高さが５であり、（Ｘ-1，Ｙ-1）＝（２，５）として表され得る。したがって、サイズの変化は、差（Ｘ0，Ｙ0）−（Ｘ-1，Ｙ-1）＝（３，４）−（２，５）＝（１，−１）として表され得る。したがって、領域は、幅が１単位だけ増加し、高さが１単位だけ減少した。同様の計算が、いくつかの前のフレームに対して行われ得、したがって、いくつかの変動インジケータが定義される。現在の変動インジケータと履歴変動インジケータとは、次いで、上記で説明したように、信頼レベル、利得、および利得フィルタを決定するために使用され得る。
【０１２５】
[0131]論理ブロック、モジュールおよびフローチャートシーケンスは、例示的なものにすぎない。本明細書で説明するフローチャートにおいて実施されるステップ、決定、およびプロセスが、本明細書で説明する順序以外の順序で実行され得ることを当業者ならば理解されよう。したがって、特定のフローチャートおよび説明は、関連するプロセスが説明した特定の順序で実行されることを限定するものではない。
【０１２６】
[0132]本明細書で開示する実施形態に関して説明した様々な例示的な論理ブロック、モジュール、および方法ステップが、電子ハードウェア、コンピュータ可読媒体に記憶され、プロセッサによって実行可能であるソフトウェア、または両方の組合せとして実装され得ることを、当業者は認識されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、およびステップについて、概してそれらの機能性に関して上述した。そのような機能性が、ハードウェアまたはソフトウェアのどちらとして実施されるのかは、特定の応用例と、システム全体に課せられる設計制約とに依存する。当業者は、特定の適用例ごとに様々な方法で記載された機能を実装し得るが、そのような実装の決定は、本発明の範囲からの逸脱を引き起こすと解釈されるべきではない。
【０１２７】
[0133]本明細書で開示した実施形態に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタロジック、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行し得る。汎用プロセッサはマイクロプロセッサであり得るが、代替実施形態では、プロセッサは、任意の従来型プロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、計算デバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【０１２８】
[0134]ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で知られている任意の他の形態の記憶媒体中に常駐し得る。例示的記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むようにプロセッサに結合される。代替として、記憶媒体は、プロセッサと一体化され得る。プロセッサおよび記憶媒体はＡＳＩＣ中に常駐し得る。
【０１２９】
[0135]上記の詳細な説明では、様々な実施形態に適用されるように本発明の新規の特徴を示し、説明し、指摘したが、当業者なら、本発明の趣旨から逸脱することなく、示されるデバイスまたはプロセスの形態および詳細において様々な省略、置換および変更を行うことができ得ることを理解されよう。認識されるように、本発明は、いくつかの特徴が他の特徴とは別々に使用または実行され得るので、本明細書に記載の特徴および利益のすべてを与えるわけではない形態内で実施され得る。本発明の範囲は、上記の説明によってというよりむしろ添付の特許請求の範囲によって示される。特許請求の範囲の同等物の意味および範囲内に入るすべての変更は、特許請求の範囲内に包含されるものである。
【０１３０】
[0136]これらのサブシステムの各々が、様々な技法およびハードウェアを使用して相互接続され、制御可能に接続されること、および本開示が、いかなる接続の特定の方法または接続ハードウェアにも限定されないことを当業者は認識されよう。
【０１３１】
[0137]本技術は、多数の他の汎用または専用のコンピューティングシステム環境または構成で動作可能である。本発明とともに使用するのに好適であり得る、よく知られているコンピューティングシステム、環境、および／または構成の例としては、限定はしないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、マイクロコントローラまたはマイクロコントローラベースシステム、プログラマブルコンシューマーエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などがある。
【０１３２】
[0138]本明細書で使用する命令は、システムにおいて情報を処理するためのコンピュータ実装ステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェア中に実装され、システムの構成要素によって引き受けられる任意のタイプのプログラムされたステップを含み得る。
【０１３３】
[0139]マイクロプロセッサは、Ｐｅｎｔｉｕｍ（登録商標）プロセッサ、ＰｅｎｔｉｕｍＰｒｏプロセッサ、８０５１プロセッサ、ＭＩＰＳ（登録商標）プロセッサ、Ｐｏｗｅｒ  ＰＣ（登録商標）プロセッサ、またはＡｌｐｈａ（登録商標）プロセッサなど、任意の従来の汎用のシングルチップまたはマルチチップのマイクロプロセッサであり得る。さらに、マイクロプロセッサは、デジタル信号プロセッサまたはグラフィックスプロセッサなど、任意の従来の専用マイクロプロセッサであり得る。マイクロプロセッサは、一般に、従来のアドレスライン、従来のデータライン、および１つまたは複数の従来の制御線を有する。
【０１３４】
[0140]本システムは、Ｌｉｎｕｘ（登録商標）、ＵＮＩＸ（登録商標）、またはＭｉｃｒｏｓｏｆｔ  Ｗｉｎｄｏｗｓ（登録商標）など、様々なオペレーティングシステムとともに使用され得る。
【０１３５】
[0141]システム制御は、Ｃ、Ｃ＋＋、ＢＡＳＩＣ、Ｐａｓｃａｌ、．ＮＥＴ（たとえば、Ｃ＃）、またはＪａｖａ（登録商標）などの任意の従来のプログラミング言語で書かれ、従来のオペレーティングシステムのもとで動作し得る。Ｃ、Ｃ＋＋、ＢＡＳＩＣ、Ｐａｓｃａｌ、Ｊａｖａ、およびＦＯＲＴＲＡＮは、実行可能コードを作成するために多くの商用コンパイラが使用され得る業界標準プログラミング言語である。システム制御はまた、Ｐｅｒｌ、Ｐｙｔｈｏｎ、またはＲｕｂｙなどのインタープリタ型言語を使用して書かれ得る。ＰＨＰ、ＪａｖａＳｃｒｉｐｔ（登録商標）などの他の言語も使用され得る。
【０１３６】
[0142]上記の説明は、本明細書で開示するシステム、デバイス、および方法のいくつかの実施形態を詳述する。しかしながら、上記が原文にどのくらい詳細に掲載されても、システム、デバイス、および方法は、多くの方法で実施され得ることが諒解されよう。また、上記のように、本発明のいくつかの特徴または態様について説明する際の特定の用語の使用は、その用語が関連する技術の特徴または態様の任意の特定の特徴を含むことに限定するように、その用語が本明細書で再定義されることを暗示するために行われるべきでないことに留意されたい。
【０１３７】
[0143]説明した技術の範囲から逸脱することなく、様々な修正および変更が行われ得ることを、当業者は諒解されよう。そのような修正および変更は、実施形態の範囲内に入るものとする。また、一実施形態に含まれる部分は、他の実施形態と互換性があり、示された実施形態の１つまたは複数の部分は、任意の組合せで他の示された実施形態とともに含まれ得ることを、当業者は諒解されよう。たとえば、本明細書で説明した、および／または図に示した様々な構成要素のうちのいずれかは、組み合わせられ、交換され、または他の実施形態から除外され得る。
【０１３８】
[0144]本明細書における実質的に任意の複数および／または単一の用語の使用に関して、当業者は、コンテキストおよび／または用途に合わせて、複数から単数に、および／または単数から複数に変換し得る。明快のために、様々な単一／複数の並べ替えを本明細書に明確に記載し得る。
【０１３９】
[0145]一般に、本明細書で使用される用語は、「オープンな」用語（たとえば、「含む（including）」という用語は、「限定はしないが、含む」と解釈されるべきであり、「有する」という用語は、「少なくとも有する」と解釈されるべきであり、「含む（includes）」という用語は、「限定はしないが、含む」と解釈されるべきであるなど）として全般的に意図されることを、当業者は理解されよう。導入された特許請求の範囲の記載の特定の数が意図される場合、そのような意図は、特許請求の範囲に明示的に記載され、そのような記載がない場合、そのような意図はないことを、当業者はさらに理解されよう。たとえば、以下の添付の特許請求の範囲は、理解を助けるものとして、特許請求の範囲の列記を導入するために「少なくとも１つ」および「１つまたは複数」という導入句の使用を含んでいることがある。しかしながら、そのような句の使用は、同じ特許請求の範囲が「１つまたは複数」または「少なくとも１つ」という導入句、および「１つ（a）」または「１つ（an）」などの不定冠詞（たとえば、「１つ（a）」および／または「１つ（an）」は、典型的には「少なくとも１つ」あるいは「１つまたは複数」を意味するものと解釈されるべきである）を含むときでも、不定冠詞「１つ（a）」または「１つ（an）」による特許請求の範囲の列記の導入が、１つのそのような列記のみを含む実施形態に導入されるそのような特許請求の範囲の列記を含む任意の特定の特許請求の範囲を限定し、同じことが、特許請求の範囲の列記を導入するのに使用される定冠詞の使用にあてはまることを暗示するものと解釈されるべきでない。
【０１４０】
[0146]加えて、導入された特許請求の範囲の列記の特定の数が明示的に列記されても、そのような列記は、典型的には、少なくとも列記された数を意味する（たとえば、他の修飾子のない「２つの列記」のそのままの列記が、典型的には、少なくとも２つの列記または２つ以上の列記を意味する）ものと解釈されるべきであることを当業者は認識されよう。さらに、「Ａ、Ｂ、およびＣのうちの少なくとも１つなど」に類似する慣例が使用されるこれらの事例では、一般に、当業者が慣例を理解するという意味で、そのような構成が意図される（たとえば、「Ａ、Ｂ、およびＣのうちの少なくとも１つを有するシステム」は、限定はしないが、Ａのみを、Ｂのみを、Ｃのみを、ＡおよびＢをともに、ＡおよびＣをともに、ＢおよびＣをともに、ならびに／またはＡ、Ｂ、およびＣをともに有するシステムを含むなど）。
【０１４１】
[0147]さらに、２つ以上の選択的用語を表す、ほぼすべての選言的言葉および／または句は、明細書、特許請求の範囲、または図面を問わず、用語の１つ、用語のいずれか、または両方の用語を含む可能性を考えるものと理解されるべきであることを、当業者は理解されよう。たとえば、「ＡまたはＢ」という句は、「Ａ」または「Ｂ」、あるいは「ＡおよびＢ」の可能性を含むものと理解されよう。
【０１４２】
[0148]本明細書で引用するすべての文献は、その全体が参照により本明細書に組み込まれる。刊行物および特許または参照により組み込まれる特許出願が本明細書中に含まれている開示と矛盾する範囲で、本明細書は、いかなるそのような矛盾する資料に取って代わり、および／またはそれに優先するものとする。
【０１４３】
[0149]本明細書で使用する「備える（comprising）」という用語は、「含む（including）」、「含んでいる（containing）」、「によって特徴づけられる（characterized by）」と同義であり、内包的または非限定的であり、追加の未記載の要素または方法ステップを除外しない。
【０１４４】
[0150]本明細書および特許請求の範囲において使用される量を表すすべての数は、「約」という用語によってすべての事例において変更されるものとして理解されたい。したがって、特に明記しない限り、本明細書および添付の特許請求の範囲に記載する数値パラメータは、本発明によって取得することを求める所望のプロパティに応じて変化し得る近似値である。少なくとも、特許請求の範囲への均等論の適用を限定しようと試みるものではなく、各数値パラメータを、いくつかの有効数字および通常の丸め手法に照らして解釈されたい。
【０１４５】
[0151]上記の説明は、本発明のいくつかの方法、デバイスおよびシステムを開示する。本発明は、方法、デバイスおよびシステムの変更を受けやすい。当業者には、本開示の考慮または本明細書で開示する本発明の実施からそのような変更形態が明らかになろう。したがって、本発明は、本明細書で開示する特定の実施形態に限定されるものではなく、以下の特許請求の範囲において実施される、本発明の真の範囲および趣旨に含まれるすべての変更形態および代替形態をカバーする。
【図３Ａ】
2016530827.tif 000006
【図３Ｂ】
2016530827.tif 000007
【図４Ａ】
2016530827.tif 000008
【図４Ｂ】
2016530827.tif 000009
【図５】
2016530827.tif 000010
【図６】
2016530827.tif 000011
【図７】
2016530827.tif 000012
【図８】
2016530827.tif 000013
【図９】
2016530827.tif 000014
【図１０Ａ】
2016530827.tif 000015
【図１０Ｂ】
2016530827.tif 000016
【図１０Ｃ】
2016530827.tif 000017
【図１０Ｄ】
2016530827.tif 000018
【図１０Ｅ】
2016530827.tif 000019
【図１０Ｆ】
2016530827.tif 000020
【図１０Ｇ】
2016530827.tif 000021
【図１０Ｈ】
2016530827.tif 000022
【図１】
2016530827.tif 000023
【図２】
2016530827.tif 000024
【手続補正書】
【提出日】平成28年5月17日(2016.5.17)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
[0095]デバイス５００は、様々な方法で補正を実施し得る。たとえば、画像２００または２０４または２０８は、イメージングセンサー５１５によって感知され、プロセッサ５２０に通信され得る。イメージングセンサー制御モジュール５３５または関心オブジェクト検出モジュール５４０は、たとえば、基準値４０５を計算するために、追跡される関心領域中の平均照明強度を分析し得る。基準値を使用して行われる演算、たとえば、現在の明るい光条件強度値から基準値を減算することは、オペレーティングシステム５８０またはプロセッサ５２０によって実行され得る。データは、作業メモリ５０５または記憶モジュール５１０に記憶され得る。データはまた、ウィンドウ表示モジュール５７０またはプレビュー制御モジュール５７５中の追跡システムへの入力であり得る。これらのモジュールは、デバイス５００のそれらのまたは任意の他のモジュール中の追跡システムに補正画像２０２または２０６または２１０を入力し得る。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2016530827.tif 000025
【国際調査報告】
2016530827.tif 000026
2016530827.tif 000027
2016530827.tif 000028