(57)【特許請求の範囲】
【請求項１】
予め記録された又はライブ映像の素材の複数のフレームを使用して写真をキャプチャする方法であって、前記方法は、
フレーム内の第１のトラッキングエリアを得ることと、
フレーム内の第２のトラッキングエリアを得ることと、ここにおいて、前記第１のトラッキングエリアは第１のオブジェクトをトラッキングし、前記第２のトラッキングエリアは第２のオブジェクトをトラッキングする、
複数のフレームにわたって前記第１のトラッキングエリア及び前記第２のトラッキングエリアをモーショントラッカによってトラッキングすることと、ここにおいて、前記モーショントラッカは、前の映像フレームと現在の映像フレームとの間でのターゲットオブジェクトの位置及び位置の変化の少なくともいずれかを推定するためにフレームからフレームへの映像フレーム上における点の動きをトラッキングし、第１のフレームにおいて、前記第１のフレームにおいてキャプチャされた第１のトラッキングされたオブジェクトの前記第１のトラッキングエリアと、前記第１のフレームにおいてキャプチャされた第２のトラッキングされたオブジェクトの前記第２のトラッキングエリア、の重なりの量を決定し、ここにおいて、前記ターゲットオブジェクトは、前記第１のオブジェクト又は前記第２のオブジェクトに対応する、
前記重なりの前記量がスレショルドを通過した時点で前記写真をキャプチャすることと、
を備える、方法。
【請求項２】
前記写真は、前記重なりの前記量が前記スレショルドよりも大きくなった時点でキャプチャされる請求項１に記載の方法。
【請求項３】
前記写真は、前記重なりの前記量が前記スレショルドよりも小さくなった時点でキャプチャされる請求項１に記載の方法。
【請求項４】
前記写真は、予め記録された映像素材からキャプチャされる請求項１に記載の方法。
【請求項５】
前記写真は、ライブの素材からキャプチャされる請求項１に記載の方法。
【請求項６】
前記第１のトラッキングエリア及び前記第２のトラッキングエリアは、フォーカスリングを介してユーザによって入れられる請求項１に記載の方法。
【請求項７】
前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングすることは、ユーザがタッチ画面から指を離した後に生じる、又は、
前記第２のトラッキングエリアは、アクションラインを備える、
請求項１に記載の方法。
【請求項８】
予め記録された又はライブ映像の素材の複数のフレームを使用して写真をキャプチャするための装置であって、
フレーム内の第１のトラッキングエリアを得るための手段と、
フレーム内の第２のトラッキングエリアを得るための手段と、ここにおいて、前記第１のトラッキングエリアは第１のオブジェクトをトラッキングし、前記第２のトラッキングエリアは第２のオブジェクトをトラッキングする、
複数のフレームにわたって前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングするための手段と、ここにおいて、前記トラッキングするための手段は、前の映像フレームと現在の映像フレームとの間でのターゲットオブジェクトの位置及び位置の変化の少なくともいずれかを推定するためにフレームからフレームへの映像フレーム上における点の動きをトラッキングし、第１のフレームにおいて、前記第１のフレームにおいてキャプチャされた第１のトラッキングされたオブジェクトの前記第１のトラッキングエリアと、前記第１のフレームにおいてキャプチャされた第２のトラッキングされたオブジェクトの前記第２のトラッキングエリア、の重なりの量を決定し、ここにおいて、前記ターゲットオブジェクトは、前記第１のオブジェクト又は前記第２のオブジェクトに対応する、
前記重なりの前記量がスレショルドを通過した時点で前記写真をキャプチャするための手段と、
を備える、装置。
【請求項９】
前記写真は、前記重なりの前記量が前記スレショルドよりも大きくなった時点でキャプチャされる請求項８に記載の装置。
【請求項１０】
前記写真は、前記重なりの前記量が前記スレショルドよりも小さくなった時点でキャプチャされる請求項８に記載の装置。
【請求項１１】
前記第１のトラッキングエリア及び前記第２のトラッキングエリアは、フォーカスリングを介してユーザによって入れられる請求項８に記載の装置。
【請求項１２】
前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングすることは、ユーザがタッチ画面から指を離した後に生じる請求項８に記載の装置。
【請求項１３】
前記装置は、スマートフォン又はタブレットコンピュータである請求項８に記載の装置。
【請求項１４】
前記装置は、カメラを含む請求項８に記載の装置。
【請求項１５】
コンピュータによって読み取り可能な命令を有するコンピュータプログラムであって、前記命令は、請求項１から７のいずれか一項に記載の方法を実行することを電子デバイスに行わせるためのコード備える、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
［０００１］本出願は、“ＴＲＡＣＫＥＲ  ＡＳＳＩＳＴＥＤ  ＩＭＡＧＥ  ＣＡＰＴＵＲＥ”（トラッカ補助画像キャプチャ）に関する米国仮特許出願一連番号第６１／８３５，４１４号（出願日：２０１３年６月１４日）に関連するものであり、“ＴＲＡＣＫＥＲ  ＡＳＳＩＳＴＥＤ  ＩＭＡＧＥ  ＣＡＰＴＵＲＥ”（トラッカ補助画像キャプチャ）に関する米国仮特許出願一連番号第６１／８３５，４１４号（出願日：２０１３年６月１４日）からの優先権を主張するものである。
【０００２】
［０００２］本開示は、概して、電子デバイスに関するものである。より具体的には、本開示は、トラッカ補助画像キャプチャのためのシステム及び方法に関するものである。
【背景技術】
【０００３】
［０００３］過去数十年において、電子デバイスの使用が一般的になっている。特に、電子技術の進歩が、ますます複雑化しかつ便利になっている電子デバイスの費用を低減させている。費用の低減及び消費者の要求が、電子デバイスの使用を大きく増加させており、現代社会においては実際上遍く存在している。電子デバイスの使用が拡大しているのに応じて、電子デバイスの新しい及び改良された特徴を求める要求も増大している。より具体的には、新しい機能を実行する及び／又はより高速で、より効率的に、又はより高い品質で機能を実行する電子デバイスがしばしば求められている。
【０００４】
［０００４］幾つかの電子デバイス（例えば、カメラ、ビデオカムコーダ、デジタルカメラ、携帯電話、スマートフォン、コンピュータ、テレビ、等）は、画像をキャプチャ又は利用する。例えば、デジタルカメラは、デジタル画像をキャプチャすることができる。
【０００５】
［０００５］電子デバイスの新しい及び／又は改良された特徴がしばしば求められている。この説明からわかるように、電子デバイスの新しい及び／又は改良された特徴を追加するシステム及び方法が有益であることができる。
【発明の概要】
【０００６】
［０００６］ピクチャ処理のための方法が説明される。第１のトラッキングエリアが得られる。第２のトラッキングエリアも得られる。その方法は、第１のトラッキングエリア及び第２のトラッキングエリアをトラッキング（ｔｒａｃｋ）することを開始することを含む。第２のトラッキングエリアと重なり合っている第１のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理が行われる。
【０００７】
［０００７］ピクチャ処理は、第２のトラッキングエリアと重なり合っている第１のトラッキングエリアの部分がスレショルドよりも大きくなった時点で行うことができる。ピクチャ処理は、第２のトラッキングエリアと重なり合っている第１のトラッキングエリアの部分がスレショルドよりも小さくなった時点でも行うことができる。ピクチャ処理は、写真をキャプチャすることを含むことができる。写真は、予め記録された映像素材（ｖｉｄｅｏ  ｆｏｏｔａｇｅ）から又は素材からキャプチャすることができる。ピクチャ処理は、映像シーケンスを編集することも含むことができる。第１のトラッキングエリアによってトラッキングされたオブジェクトは、映像シーケンスから取り除くことができる。
【０００８】
［０００８］第１のトラッキングエリアは、映像シーケンスの第１のフレームにおいて第２のトラッキングエリアとスレショルド超だけ重なり合っていると決定することができる。映像シーケンスの第２のフレームを選択することができる。第１のトラッキングエリアは、第２のフレーム内の第２のトラッキングエリアと重なり合うことができない。第１のフレーム内の第１のトラッキングエリアは、第２のフレームからの対応する置き換えエリアで置き換えることができる。
【０００９】
［０００９］第２のフレームは、第１のフレームよりも時間的に遅れて生じることができる。第２のフレームは、第１のフレームよりも時間的に早く生じることもできる。編集された第１のフレームは、編集された映像シーケンスの一部として格納することができる。第１のトラッキングエリア及び第２のトラッキングエリアは、フォーカスリングを介してユーザによって入ることができる。第１のトラッキングエリア及び第２のトラッキングエリアをトラッキングすることを開始することは、ユーザがタッチ画面から指を離した後に生じることができる。第２のトラッキングエリアは、アクションラインを含むことができる。
【００１０】
［００１０］ピクチャ処理のために構成された電子デバイスについても説明される。その電子デバイスは、プロセッサと、プロセッサと電子的な通信状態にあるメモリと、メモリに格納された命令と、を含む。それらの命令は、第１のトラッキングエリアを得るために実行可能である。それらの命令は、第２のトラッキングエリアを得るためにも実行可能である。それらの命令は、第１のトラッキングエリア及び第２のトラッキングエリアをトラッキングすることを開始するためにさらに実行可能である。それらの命令は、第２のトラッキングエリアと重なり合っている第１のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うためにも実行可能である。
【００１１】
［００１１］ピクチャ処理のための装置について説明される。その装置は、第１のトラッキングエリアを得るための手段を含む。その装置は、第２のトラッキングエリアを得るための手段も含む。その装置は、第１のトラッキングエリア及び第２のトラッキングエリアをトラッキングすることを開始するための手段をさらに含む。その装置は、第２のトラッキングエリアと重なり合っている第１のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うための手段も含む。
【００１２】
［００１２］ピクチャ処理のためのコンピュータプログラム製品についても説明される。そのコンピュータプログラム製品は、命令を有する非一時的なコンピュータによって読み取り可能な媒体を含む。それらの命令は、第１のトラッキングエリアを得ることを電子デバイスに行わせるためのコードを含む。それらの命令は、第２のトラッキングエリアを得ることを電子デバイスに行わせるためのコードも含む。それらの命令は、第１のトラッキングエリア及び第２のトラッキングエリアをトラッキングすることを開始することを電子デバイスに行わせるためのコードをさらに含む。それらの命令は、第２のトラッキングエリアと重なり合っている第１のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を電子デバイスに行わせるためのコードも含む。
【図面の簡単な説明】
【００１３】
【図１】［００１３］現在のシステム及び方法における使用のための電子デバイスを例示したブロック図である。
【図２Ａ】［００１４］オブジェクトトラッキング及び検出モジュールを例示したブロック図である。
【図２Ｂ】［００１５］プロセッサによって実装される図２Ａのシステム内の幾つかのコンポーネントを例示する。
【図３】［００１６］動きに基づくトラッキング及びオブジェクト検出を行うための方法を例示した流れ図である。
【図４】［００１７］動きに基づくトラッキングを行うための方法を例示した流れ図である。
【図５】［００１８］前進−後退誤差に基づいて動きに基づくトラッキングにおけるトラッキング誤差を推定するための方法を例示した流れ図である。
【図６】［００１９］オブジェクト検出を行うための方法を例示した流れ図である。
【図７】［００２０］現在のシステム及び方法とともに使用することができる複数の異なるウィンドウサイズを例示したブロック図である。
【図８】［００２１］オブジェクトトラッキング及び検出モジュールの他の可能な構成を例示したブロック図である。
【図９】［００２２］平滑化モジュールを例示したブロック図である。
【図１０】［００２３］動きトラッキング結果内のジッターを平滑化するための方法を例示した流れ図である。
【図１１】［００２４］オブジェクトトラッキングを用いてピクチャ処理を行うための方法の流れ図である。
【図１２Ａ】［００２５］オブジェクトトラッキングを用いたピクチャ処理の一例を示す。
【図１２Ｂ】［００２６］オブジェクトトラッキングを用いたピクチャ処理の例も示す。
【図１３】［００２７］オブジェクトトラッキングを用いたピクチャ処理の他の例を示す。
【図１４】［００２８］オブジェクトトラッキングを用いた映像シーケンスに関するピクチャ処理を行うための方法の流れ図である。
【図１５】［００２９］電子デバイス上に表示された未編集の映像シーケンス及び編集された映像シーケンスの両方の複数のフレームを例示する。
【図１６】［００３０］電子デバイス内に含めることができる幾つかのコンポーネントを例示する。
【発明を実施するための形態】
【００１４】
［００３１］モバイルプラットフォーム（例えば、タブレット、電話）からのカメラを用いて画像内のオブジェクト又はその画像内のユーザによって定義された対象領域をトラッキングするのは困難であることがある。リアルタイムの性能（１秒当たり〜３０フレーム（ｆｐｓ））を要求することができる。幾つかの構成は、ロバスト（ｒｏｂｕｓｔ）なトラッキングを得るためにオプティカルフローに基づくトラッカ及び画像コンテンツに基づく検出器の出力を結合することができる。しかしながら、既存のアルゴリズムの計算は、モバイルプラットフォームがリアルタイムの性能を達成する上で法外になることがある。
【００１５】
［００３２］現在のシステム及び方法は、トラッキング及び検出アルゴリズムの速度を向上させるための次の技法、すなわち、（１）各フレームにおいて可能な検出の一部分を使用する（例えば、ウィンドウの位置をランダムに選択する）、（２）以前の検出されたターゲットサイズに近い幾つかの空間的スケールのみをオブジェクト検出のために選択する、（３）前のトラッキングの信頼値に基づいて、部分的画像又は全体的画像のいずれにおいてオブジェクトを探索するかを決定する、（４）以前のトラッキング結果に基づいて検出ウィンドウ数を動的に調整する、（５）トラッカ及びオブジェクト検出器を平行して走らせる代わりに、トラッカのほうが計算的により低コストであるため、トラッカを最初に適用する、及び、（６）トラッカの信頼度がある一定のスレッドよりも低いときのみにオブジェクト検出器を走らせる、を実装することができる。技術的利点のうちの１つは、ターゲットオブジェクトをトラッキング及び／又は検出するために使用される計算を減らすことである。
【００１６】
［００３３］トラッキング及び検出アルゴリズムの１つの特定の用途は、ピクチャ処理である。ピクチャ処理は、写真を撮ること及び／又は映像を編集することを含むことができる。ピクチャ処理を実装することは、説明されるトラッキング及び検出アルゴリズムの現実世界の用途を提供することができる。
【００１７】
［００３４］ここにおいて使用される場合、用語“トラッキングする”及びそれの変形は、特定のオブジェクトを識別するのではなく、動きに基づくプロセスを意味する。例えば、オブジェクトトラッキング及び検出モジュールは、フレームからフレームへの動きをトラッキングし、電子デバイスの動き（例えば、カメラがパンしている場合）又はフレームからフレームへのオブジェクトの動きに基づいてターゲットオブジェクトの位置、サイズ又はフレームを決定することができる。用語“検出する”又はそれの変形は、例えば、フレームの一部分を基準画像と比較することによってターゲットオブジェクトを識別するのを試みるプロセスを意味する。例えば、オブジェクトトラッキング及び検出モジュールは、ターゲットオブジェクトを識別することを試みてキャプチャされたフレームの一部分を（ターゲットオブジェクトの）基準画像と比較することができる。一例においては、検出は、ターゲットをもはやトラッキングすることができないときに（例えば、オブジェクトが視野外に出た場合に）検出を使用することができる。動きに基づくトラッキング及びオブジェクト検出を行うシステム及び方法が以下においてより詳細に説明される。
【００１８】
［００３５］図１は、現在のシステム及び方法における使用のための電子デバイス１０２を例示したブロック図である。電子デバイス１０２は、無線通信デバイス、モバイルデバイス、移動局、加入者局、クライアント、クライアント局、ユーザ装置（ＵＥ）、遠隔局、アクセス端末、モバイル端末、端末、ユーザ端末、加入者ユニット、等と呼ぶこともできる。電子デバイスの例は、ラップトップ又はデスクトップコンピュータ、携帯電話、スマートフォン、無線モデム、電子リーダー、タブレットデバイス、ゲームシステム、等を含む。これらのデバイスのうちの一部は、１つ以上の工業規格に準拠して動作することができる。
【００１９】
［００３６］電子デバイス１０２、例えば、スマートフォン又はタブレットコンピュータ、は、カメラを含むことができる。カメラは、画像センサ１１４と、光学システム１１８（例えば、レンズ）の視野内に位置するオブジェクトの画像を画像センサ１１４上に集束させる光学システム１１８と、を含むことができる。電子デバイス１０２は、カメラソフトウェアアプリケーションと、ディスプレイ画面と、を含むこともできる。カメラアプリケーションが走っているときには、光学システム１１８の視野内に位置するオブジェクトの画像を画像センサ１１４によって録画することができる。画像センサ１１４によって録画中の画像は、ディスプレイ画面上に表示することができる。これらの画像は、相対的に高いフレームレートで高速で連続して表示することができ、いずれかの所定の時点において、光学システム１１８の視野内に位置するオブジェクトがディスプレイ画面上に表示される。現在のシステム及び方法は、キャプチャされた映像フレームの点で説明されているが、ここにおいて説明される技法は、あらゆるデジタル画像に対して使用することができる。従って、用語映像フレーム及びデジタル画像は、ここおいては互換可能な形で使用することができる。
【００２０】
［００３７］カメラアプリケーションのユーザインタフェース１２０は、ディスプレイ画面上に表示中の１つ以上のオブジェクトをトラッキングするのを可能にすることができる。電子デバイス１０２のユーザは、トラッキングされるべきオブジェクトを選択するのを許可されることができる。さらに、選択されたオブジェクトは、オブジェクトをのちに検出するための基準として使用することができる。
【００２１】
［００３８］一構成においては、ディスプレイは、例えば、指、スタイラス又はその他のツールによって物理的に触れることから入力を受け取るタッチ画面１１６である。タッチ画面１１６は、トラッキングされるべきターゲットオブジェクトを定義するタッチ入力を受け取ることができる。例えば、電子デバイス１０２が対象となる動物を含む自然の場面をキャプチャ中である場合は、ユーザは、その動物をトラッキングする又は必要な場合は検出するのを希望することを示す囲みボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）を描くことができる。ターゲットオブジェクトは、あらゆる適切な方法で選択することができる。例えば、トラッキングされるべき、検出されるべき、又は両方であるべきターゲットオブジェクトを選択するために、顔の認識、歩行者の認識、等を使用することができる。一構成においては、複数のオブジェクトをトラッキングすることができる。ユーザインタフェース１２０は、ユーザが、例えば１つ以上のターゲットオブジェクトを選択する（すなわち、定義する）ために、オブジェクトトラッキング及び検出モジュール１０４と対話するのを可能にすることができる。タッチ画面１１６は、ビューファインダ１３１を含むことができる。ビューファインダ１３１は、映像ストリーム又はライブフィードを表示するタッチ画面１１６の部分を意味することができる。例えば、ビューファインダ１３１は、カメラによって得られたビューを電子デバイス１０２上に表示することができる。
【００２２】
［００３９］電子デバイス１０２は、選択されたオブジェクトをトラッキングするための及び／又は映像フレームにおいてオブジェクトを検出するためのオブジェクトトラッキング及び検出モジュール１０４を含むことができる。オブジェクトトラッキング及び検出モジュール１０４は、１つ以上のオブジェクトをトラッキングするためのモーショントラッカ１０６を含むことができる。モーショントラッカ１０６は、前の映像フレームと現在の映像フレームとの間でのターゲットオブジェクトの位置及び／又は位置の変化を推定するためにフレームからフレームへの画像（例えば、映像フレーム）上における点の動きをトラッキングするために動きに基づくことができる。
【００２３】
［００４０］オブジェクトトラッキング及び検出モジュール１０４は、映像フレーム上のオブジェクトを検出するためのオブジェクト検出器１０８を含むこともできる。オブジェクト検出器１０８は、現在の映像フレームの全体又は一部分を選択されたオブジェクト又は（例えば、映像フレームのシーケンス内の）キャプチャされた前の映像フレーム１１２の一部分と比較することによってオブジェクトを検出するために、動きに基づくモデルではなく、オブジェクトモデルを使用することができる。オブジェクト検出器１０８は、映像フレーム内の複数のオブジェクトを検出するために使用することができる。
【００２４】
［００４１］オブジェクトトラッキング及び検出モジュール１０４は、メモリバッファ１１０を含むこともできる。メモリバッファ１１０は、１つ以上のキャプチャされたフレーム及びキャプチャされた映像フレームに関連するデータを格納することができる。一例においては、メモリバッファ１１０は、前のキャプチャされた映像フレーム１１２を格納することができる。オブジェクトトラッキング及び検出モジュール１０４は、動きに基づくトラッキング及び／又はオブジェクト検出を行う際にキャプチャされた前の映像フレーム１１２に関してメモリバッファ１１０から提供されたデータを使用することができる。データは、ターゲットオブジェクトをより正確にトラッキング及び／又は検出するために動きに基づくトラッキング及びオブジェクト検出を個別に適合化するためにメモリバッファ１１０からフィードバックを介して動きトラッカ１０６又はオブジェクト検出器１０８に提供することができる。例えば、メモリバッファ１１０は、オブジェクトをトラッキング又は検出するときにそのオブジェクトの位置及びサイズをより正確に突き止めるために使用することができる１つ以上のパラメータを動きトラッカ１０６及びオブジェクト検出器１０８に提供するために動きトラッカ１０６及びオブジェクト検出器１０８に位置及びウィンドウサイズのデータを提供することができる。
【００２５】
［００４２］上記のように、電子デバイス１０２は、動きに基づくトラッキングを行うことができる。動きに基づくトラッキングは、様々な方法を用いて行うことができる。一例においては、トラッキングは、動きトラッカ１０６が一対の画像Ｉｔ、Ｉｔ＋１（例えば、映像フレーム）及び囲みボックスβｔを受け入れ、囲みボックスβｔ＋１を出力するメディアンフロー法によって行われる。囲みボックスβｔ内の長方形の格子上で一組の点を初期化することができ、ＩｔとＩｔ＋１との間での疎らな（ｓｐａｒｓｅ）動きフローを生成するためにそれらの点をトラッキングする。点予測の品質を推定することができ、各点に誤差を割り当てることができる。最悪の予測のうちの一部分（例えば、５０％）は、フィルタリングして取り除くことができ、残りの予測は、囲みボックス全体の変位を推定するために使用される。モーショントラッカ１０６は、電子デバイス１０２によってキャプチャされた各映像フレームに関する動きに基づくトラッキングを行うことができる。同様の方法において、動きに基づくトラッキングは、１つ以上の勾配（例えば、ｘ及びｙ勾配）を計算し、及び、時間勾配を計算するために一対のフレーム間の差を使用し、及び、現在の映像フレーム内のターゲットオブジェクトを正確にトラッキングするために複数の勾配値を使用することによって行うことができる。動きに基づくトラッキングに関するさらなる詳細が以下において提供される。
【００２６】
［００４３］動きに基づくトラッキングを行うときには、モーショントラッカ１０６は、動きトラッキング法の計算された又は推定された精度に基づいてトラッキング信頼値を決定することができる。幾つかの構成においては、トラッキング信頼値は、ターゲットオブジェクトが現在の映像フレーム又は映像フレームの定義されたウィンドウ内に入る尤度又は確率に対応する０と１との間の実数であることができる。トラッキング信頼値は、トラッキングスレショルドと比較することができる。トラッキング信頼値がトラッキングスレショルドよりも大きい場合は、ターゲットオブジェクトが現在の映像フレーム内で見つかる尤度が高くなることができる。代替として、トラッキング信頼値がトラッキングスレショルド以下である場合は、ターゲットオブジェクトが現在の映像フレーム内で見つかるかどうかの尤度が低くなるか又は不確実になる。様々なトラッキング信頼値決定方法を使用することができる。一構成においては、トラッキング信頼値は、現在の映像フレーム内のトラッキングされたウィンドウ（例えば、トラッキングパッチウィンドウ）と以前にキャプチャされた映像フレームからの以前に格納された画像パッチとの間の正規化相互相関（ＮＣＣ）を計算することによって決定される。トラッキング信頼値を決定することに関するさらなる詳細が以下において提供される。
【００２７】
［００４４］電子デバイス１０２は、オブジェクト検出を行うこともできる。オブジェクト検出は、様々な方法を用いて行うことができる。一構成においては、オブジェクト検出は、ターゲットオブジェクトが現在の映像フレームにおいて又は現在の映像フレームの特定のウィンドウ又はウィンドウの部分組内において見つかるかどうかを決定するために映像フレーム内のウィンドウの複数の部分組の内容がビューイングされるスライディングウィンドウ法を用いて行われる。すべての可能なウィンドウ位置及びサイズ又はそれらの部分組を映像フレーム内において探索することができる。例えば、各ウィンドウは、データのピクセルに対応することができ、オブジェクト検出器１０８は、ターゲットオブジェクトが特定のウィンドウ又はサブウィンドウ内に存在する信頼度（例えば、バイナリインジケータ）を決定するためにデータのピクセルを用いて１つ以上の計算を行うことができる。１つ以上のウィンドウに関連する信頼度に基づいて、検出器信頼値は、現在の映像フレームに関して入手することができる。さらに、オブジェクト検出の精度又は効率を向上させるために追加の技法を使用することができる。これらの技法のうちの一部が以下において説明される。
【００２８】
［００４５］幾つかの構成においては、モーショントラッカ１０６及びオブジェクト検出器１０８は、平行にではなく順次に動作することができる。例えば、電子デバイス１０２は、選択されたオブジェクト（例えば、ターゲットオブジェクト）の動きに基づくトラッキングを行うこと及びトラッキングされたパラメータに基づいて選択されたオブジェクトのオブジェクト検出を順次に行うことができる。一構成においては、電子デバイス１０２は、現在の映像フレームにおいて動きに基づくトラッキングを行うことができる。電子デバイス１０２は、トラッキングされたパラメータに基づいて現在のフレームにおけるオブジェクト検出を行うことができる。一構成においては、トラッキングされたパラメータは、信頼値とスレショルドの比較に基づくことができる。例えば、トラッキング信頼値がトラッキングスレショルドを下回る場合は、電子デバイス１０２は、オブジェクト検出を行うことができる。代替として、トラッキング信頼値がトラッキングスレショルドを上回る場合は、電子デバイス１０２は、現在の映像フレームに関するオブジェクト検出をスキップし、現在の映像フレームの動きトラッキング結果に基づいて次の映像フレームにおける動きに基づくトラッキングを行うことができる。換言すると、オブジェクト検出は、動きに基づくトラッキングがあまり良好でない、例えば、トラッキング信頼値がトラッキングスレショルドを下回る、ときのみに行うことができる。その他のトラッキングされたパラメータは、オブジェクト検出が行われるかどうか及び／又はどのようにして行われるかを考慮するときに使用することができる。トラッキングされるパラメータの例は、ターゲットオブジェクトの領域、ウィンドウ位置、ウィンドウサイズ、スケールレベル、ターゲットサイズ、トラッキング及び／又は検出信頼値、又は、ターゲットオブジェクトの効率的なトラッキング及び／又は検出を容易にするために使用することができるその他のパラメータを含むことができる。
【００２９】
［００４６］トラッキングされたパラメータに基づいて動きに基づくトラッキング及びオブジェクト検出を順次に行うことは、電子デバイス１０２がコストのかかる計算を行わずに映像フレーム内のターゲットオブジェクトをトラッキング及び／又は検出するのを可能にすることができる。具体的には、動きに基づくトラッキングは、オブジェクト検出よりも計算集約性が低いことができるため、電子デバイス１０２は、オブジェクト検出をスキップすることができ、現在の映像フレーム内のターゲットオブジェクトを正確にトラッキングするために動きに基づくトラッキングを使用することができる。例えば、トラッキング信頼値が特定のターゲットスレショルドを超えると電子デバイス１０２が決定した場合は、電子デバイス１０２は、現在の映像フレーム内のターゲットオブジェクトの位置又は存在を正確に決定する上で現在の映像フレームに関してオブジェクト検出を行う必要がないと決定することができる。さらに、オブジェクト検出は多くの事例において有益であることができるため、電子デバイス１０２は、ターゲットオブジェクトをより正確に検出するために又はトラッキングスレショルド値との比較に基づいて動きに基づくトラッキングが不適切である事例においてオブジェクト検出を行うためにオブジェクト検出を使用することができる事例を決定することができる。
【００３０】
［００４７］幾つかの構成においては、現在の映像フレームに関してオブジェクト検出をスキップするのではなく、オブジェクト検出を行うプロセスを絞り込むために又は個別に適合化するために、メモリバッファ１１０によって提供された動きに基づくトラッキングの結果及び／又は追加の情報を使用することができる。例えば、動きに基づくトラッキング法を用いてターゲットオブジェクトを正確にトラッキングすることができない場合、電子デバイス１０２は、位置、ウィンドウスケール、又は、動きに基づくトラッキングを介して提供されるパラメータなしの場合よりも低い計算電力を用いてオブジェクトをより正確に検出するためにオブジェクト検出中に使用することができるターゲットオブジェクトに関連するその他のトラッキングされたパラメータに関する情報を依然として推定又は入手することができる。従って、動きに基づくトラッキングがトラッキングスレショルドを超えるトラッキング信頼値を提供しない事例においても、オブジェクト検出を順次行うときに動きに基づくトラッキングの結果を使用することができる。
【００３１】
［００４８］電子デバイス１０２のビューファインダ１３１は、第１のトラッキングエリア１３３と、第２のトラッキングエリア１３５と、を含むことができる。第１のトラッキングエリア１３３及び第２のトラッキングエリア１３５の両方とも、タッチ画面１１６を使用するユーザによって指定することができる。例えば、ユーザは、タッチ画面１１６上のフォーカスリングを第１のトラッキングエリア１３３及び第２のトラッキングエリア１３５の希望される位置にドラッグすることができる。要求ではないが、トラッキングエリアのうちの１つは静止することができる。例えば、第１のトラッキングエリア１３３は、歩いている人に追従することができ、第２のトラッキングエリア１３５は、静止している樹木を網羅することができる。一構成においては、第２のトラッキングエリア１３５は、電子デバイス１０２上のタッチ画面１１６全体を網羅することができる。
【００３２】
［００４９］電子デバイス１０２は、ピクチャ処理モジュール１３７を含むことができる。ピクチャ処理モジュール１３７は、異なるタイプのピクチャ処理、例えば、写真を撮る又は予め録画された映像を編集する、を提供することができる。ピクチャ処理モジュール１３７は、重なり合い１４３を含むことができる。重なり合い１４３は、第１のトラッキングエリア１３３と第２のトラッキングエリア１３５との間の重なり合いの量を反映させることができる。例えば、重なり合い１４３は、第１のトラッキングエリア１３３及び第２のトラッキングエリア１３５が互いにまったく重なり合っていない場合は、０％であることができる。同様に、重なり合い１４３は、第１のトラッキングエリア１３３が第２のトラッキングエリア１３５と完全に重なっている場合（又は、いずれのトラッキングエリアがより大きいかに依存して、第２のトラッキングエリア１３５が第１のトラッキングエリア１３３に完全に重なっている場合）は、１００％であることができる。
【００３３】
［００５０］ピクチャ処理モジュール１３７は、スレショルド１４５を含むことができる。重なり合い１４３は、ピクチャ処理が行われるべきかどうかを決定するためにスレショルド１４５と比較することができる。例えば、重なり合い１４３がスレショルド１４５よりも大きくなったときに写真１４９を撮ることができる。他の例として、重なり合い１４３がスレショルド１４５よりも小さくなったときに写真１４９を撮ることができる。さらに他の例においては、重なり合い１４３がスレショルド１４５よりも大きくなったとき又は小さくなったときに映像編集を行うことができる。映像編集の一例においては、編集された映像シーケンスを得るために未編集の映像シーケンス１４７内のフレームを編集することができる。
【００３４】
［００５１］図２Ａは、オブジェクトトラッキング及び検出モジュール２０４を例示したブロック図である。オブジェクトトラッキング及び検出モジュール２０４は、電子デバイス又は無線デバイス内に実装することができる。オブジェクトトラッキング及び検出モジュール２０４は、オプティカルフローモジュール２２６及びトラッキング信頼値２０８を有するモーショントラッカ２０６を含むことができる。オブジェクトトラッキング及び検出モジュール２０４は、スキャナロケータ２３０、スキャナスケーラ２３６、分類器２３８及び検出信頼値２４０を有するオブジェクト検出器２０８も含むことができる。メモリバッファ２１０は、モーショントラッカ２０６及びオブジェクト検出器２０８に提供することができるキャプチャされた前の映像フレーム２１２に関連するデータを格納することができる。オブジェクトトラッキング及び検出モジュール２０４、モーショントラッカ２０６、オブジェクト検出器２０８及びメモリバッファ２１０は、図１と関係させて上述されるオブジェクトトラッキング及び検出モジュール１０４、モーショントラッカ１０６、オブジェクト検出器１０８及びメモリバッファ１１０の構成であることができる。
【００３５】
［００５２］モーショントラッカ２０６は、現在の映像フレーム（Ｎ）２２４に関して動きに基づくトラッキングを行うために使用することができる。例えば、前の映像フレーム（Ｎ−１）２２２及び現在の映像フレーム（Ｎ）２２４を（例えば、電子デバイス１０２）によって受信することができる。前の映像フレーム（Ｎ−１）２２２は、映像フレームのシーケンスにおいて現在の映像フレーム（Ｎ）２２４の直前に先行することができる。オブジェクトトラッキング及び検出モジュール２０４によって追加の映像フレームを入手及び処理することができる。前の映像フレーム（Ｎ−１）２２２は、モーショントラッカ２０６に提供することができる。さらに、メモリバッファ２１０は、ここにおいてはキャプチャされた前の映像フレーム２２２と呼ばれる前の映像フレーム（Ｎ−１）２２２に関連するデータを格納することができる。幾つかの構成においては、メモリバッファ２１０は、前の映像フレーム（Ｎ−１）２２２に関する情報を電子デバイス１０２から（例えば、カメラから）直接入手することができる。メモリバッファ２１０は、前の映像フレーム（Ｎ−１）２２２内のどこでオブジェクトがトラッキング及び／又は検出されたかを指定することができる融合モジュール２６０から前の映像フレーム（Ｎ−１）２２２に関するトラッキング結果を入手することもできる。前の映像フレーム（Ｎ−１）２２２又はその他の以前にキャプチャされた映像フレームに関するこの情報は、メモリバッファ２１０に格納することができる。
【００３６】
［００５３］モーショントラッカ２０６は、映像フレームのシーケンス内の現在の映像フレーム（Ｎ）を引き続き受信することができる。モーショントラッカ２０６は、（例えば、メモリバッファ２１０から提供された情報を用いて）現在の映像フレーム（Ｎ）２２４を前の映像フレーム（Ｎ−１）２２２と比較することができる。モーショントラッカ２０６は、オプティカルフローモジュール２２６を用いて現在の映像フレーム（Ｎ）２２２におけるオブジェクトの動きをトラッキングすることができる。オプティカルフローモジュール２２６は、現在の映像フレーム（Ｎ）２２４におけるオブジェクトの動きに基づくトラッキングを行うためのハードウェア及び／又はソフトウェアを含むことができる。
【００３７】
前の映像フレーム（Ｎ−１）２２２及び現在の映像フレーム（Ｎ）２２４を比較することによって、モーショントラッカ２０６は、ターゲットオブジェクトが現在の映像フレーム（Ｎ）２２４内に存在する尤度に関連するトラッキング信頼値２２８を決定することができる。一例においては、トラッキング信頼値２２８は、ターゲットオブジェクトが現在の映像フレーム（Ｎ）２２４内に又は現在の映像フレーム（Ｎ）２２４内のウィンドウ内に存在する確実性の割合に基づいた（例えば、０と１との間の）実数である。
【００３８】
［００５４］オブジェクト検出器２０８は、現在の映像フレーム（Ｎ）２２４におけるオブジェクトを検出するために使用することができる。例えば、オブジェクト検出器２０８は、映像フレームシーケンス内の現在の映像フレーム（Ｎ）２２４を受信することができる。オブジェクト検出器２０８は、トラッキングされたパラメータに基づいて現在の映像フレーム（Ｎ）２２４に関するオブジェクト検出を行うことができる。トラッキングされたパラメータは、ターゲットオブジェクトを正確にトラッキング中である尤度に対応するトラッキング信頼値２２８を含むことができる。より具体的には、トラッキングされたパラメータは、トラッキング信頼値２２８とトラッキングスレショルド２５０との比較を含むことができる。トラッキングされたパラメータは、メモリバッファ２１０から提供された情報を含むこともできる。オブジェクトを検出するときに使用することができるトラッキングされたパラメータの幾つかの例は、領域、ウィンドウ位置、ウィンドウサイズ、又は、オブジェクト検出を行うときにパラメータとしてオブジェクト検出器２０８によって使用することができるその他の情報を含む。
【００３９】
［００５５］オブジェクト検出器２０８は、スキャナロケータ２３０を含むことができる。スキャナロケータ２３０は、ウィンドウ位置選択器２３２と、ランダマイザ２３４と、を含むことができる。ウィンドウ位置選択器２３２は、映像フレーム内の複数のウィンドウを選択することができる。例えば、映像フレームは、各々が関連する位置及びサイズを有する複数のウィンドウを含むことができる。一構成においては、各映像フレームは、複数の（例えば、約１万の）重なり合うウィンドウに分割され、各々は、映像フレーム内のすべてのピクセルの一部分を含む。代替として、あらゆる適切な数のウィンドウが存在することができ、それらは、重なり合うことができない。スキャナロケータ２３０内のウィンドウ位置選択器２３２は、ターゲットオブジェクトを識別するのを試みるべきウィンドウの位置を選択することができる。ランダマイザ２３４は、オブジェクトを検出するための様々なサイズ及び位置のウィンドウをランダムに選択することができる。幾つかの構成においては、ランダマイザ２３４は、映像フレーム内のウィンドウをランダムに選択する。代替として、ランダマイザ２３４は、１つ以上の要因に基づいてウィンドウをより精密に選択することができる。例えば、ランダマイザ２３４は、領域、サイズ又はオブジェクトが所在する可能性が最も高い一般的位置に基づいてウィンドウの選択を制限することができる。この情報は、メモリバッファ２１０を介して入手することができ、又は、全面的に信頼する上では十分に正確ではないが、オブジェクト検出を行うときに役立つ情報を提供することができる動きに基づくトラッキングを介して入手することができる。従って、ランダマイザ２３４は、探索すべき複数のウィンドウをランダムに選択することができる一方で、オブジェクト検出器２０８に提供された情報に基づいてウィンドウの選択を絞り込むことができ、従って、完全にはランダムでない。
【００４０】
［００５６］オブジェクト検出器２０８は、スキャナスケーラ２３６を含むこともでき、それは、ある一定のサイズのウィンドウを描く又は選択するために使用することができる。ウィンドウサイズは、オブジェクトを検出するときに又は画像が特定のウィンドウ内に存在するかどうかを検出するためにウィンドウの選択をオリジナルの画像と比較するときにウィンドウのサイズを絞るためにスキャナロケータ２３０によって使用することができる。スキャナスケーラ２３６は、オブジェクトを定義するときに一定のサイズ又はスケールレベルの１つ以上のウィンドウを最初に選択すること、又は代替として、メモリバッファ２１０から提供された情報に基づいて一定のサイズ又はスケールレベルの１つ以上のウィンドウを描くことができる。
【００４１】
［００５７］分類器２３８は、ターゲットオブジェクトの一部又は全体が特定のウィンドウ内で見つかるかどうかを決定するために使用することができる。幾つかの構成においては、分類器２３８は、ターゲットオブジェクトが特定のウィンドウ又はサブウィンドウ内で検出されるかどうかを示すために各ウィンドウに関する２進値を生成することができる。この分類（例えば、２進分類）は、オブジェクト検出器２０８によって探索される各ウィンドウに関して行うことができる。具体的には、分類器２３８は、オブジェクトが検出される各ウィンドウに関しては２進１、オブジェクトが検出されない各ウィンドウに関しては２進０を生成することができる。１及び０の数又は組み合わせに基づいて、オブジェクト検出器２０８は、ターゲットオブジェクトが現在の映像フレーム（Ｎ）２２４内に存在する尤度を示す検出信頼値２４０を決定することができる。幾つかの構成においては、検出信頼値２４０は、オブジェクトが正確に検出されている割合又は確率を示す０と１との間の実数である。
【００４２】
［００５８］オブジェクト検出器２０８は、領域、ターゲットサイズ、ウィンドウサイズ、スケールレベル、ウィンドウ位置及び１つ以上の信頼値を含む様々なトラッキングされたパラメータに従ってオブジェクト検出を行うことができる。映像フレームのウィンドウ又はウィンドウの部分組が探索され、オブジェクト検出器２０８が各々の探索されたウィンドウに関する２進値を得た時点で、オブジェクト検出器２０８は、ウィンドウサイズ及び最高の信頼値を有する現在の映像フレーム上の位置又は領域を決定することができる。この位置及びウィンドウサイズは、ターゲットオブジェクトをより正確にトラッキング及び／又は検出するために後続するトラッキング及び検出において使用することができる。
【００４３】
［００５９］上記のように、ターゲットオブジェクトを検出する際にはオブジェクト検出器２０８によって様々な方法を使用することができる。一構成においては、ターゲットオブジェクトを検出することは、すべての可能なウィンドウ位置及びすべての可能なウィンドウサイズにおいてウィンドウに関する２進分類を行うことを含むことができる。しかしながら、すべての可能なウィンドウを探索することは、リソース集約的である。従って、他の構成においては、オブジェクト検出器は、映像フレーム内のすべての可能なウィンドウではなく、ウィンドウ位置及びサイズの部分組を探索することができる。例えば、オブジェクト検出器２０８は、すべての可能なウィンドウのうちの１％を探索することができる。次に、検出が不成功である（例えば、検出信頼値２４０が検出スレショルド２５２よりも小さい）場合は、後続するキャプチャされたフレームにおいてより高い比率のウィンドウ位置、例えば、２％、を探索することができる。探索されるウィンドウ位置の比率の段階は、均一、非均一、低速又は高速であることができ、すなわち、連続するフレームは、１％、２％、３％、４％又は１％、２％、４％、８％であることができる。一構成においては、探索されるフレームの比率は、高い検出信頼値に応えて、すなわち、ターゲットオブジェクトが確実に次の映像フレームであるようにするために、非常に高く（例えば、８０％、９０％、１００％）設定することができる。例えば、探索されるフレームの比率は、検出及びトラッキングモジュール値２５６を超える検出及びトラッキング信頼値に応えて少なくとも８０％まで飛び越すことができる。代替として、その比率は、６０％、７０％、９０％、等まで飛び越すことができる。さらに、検出及びトラッキングスレショルド値のための適切な値を使用することができる、例えば、０．６、０．６５、０．７、０．７５、０．８、０．８５、等。さらに、探索されるウィンドウの比率は、ランダマイザ２３４（乱数生成器）に基づいてランダムに決定することができる。例えば、１％と１５％との間のウィンドウのランダムな比率をキャプチャされたフレームにおいて探索することができる。すべてのウィンドウ位置の部分組を探索することによって、オブジェクト検出は、電子デバイス１０２ではより少ないリソースを使用することができる。
【００４４】
［００６０］さらに、現在のシステム及び方法は、各位置に関するウィンドウサイズの部分組を探索することができる。各ウィンドウサイズは、ここにおいてはスケールレベルと呼ばれ、各スケールレベルは、特定のウィンドウサイズに対応する。例えば、２０の可能なスケールレベルが存在することができる。すべての２０のスケールレベルを探索するのではなく、スケールレベル又はウィンドウサイズの部分組を各ウィンドウ位置において探索することができる。
【００４５】
［００６１］現在のシステム及び方法は、探索されるウィンドウ位置及びサイズを個別に適合化するためにメモリバッファ２１０からのフィードバックを使用することもできる。換言すると、ターゲットオブジェクトが成功裏に検出及び／又はトラッキングされた最後にキャプチャされた映像フレームの位置及びサイズを、現在の映像フレーム（Ｎ）２２４を探索するための開始点として使用することができる。例えば、ターゲットオブジェクトが最近の映像フレーム内で検出及びトラッキングされた（すなわち、最近キャプチャされた映像フレームに関する検出及びトラッキング信頼値２５６が検出及びトラッキングスレショルドを上回る）場合は、スキャナロケータは、最近のフレームに関連する位置及びサイズにおいて現在のキャプチャされたフレームを探索するのを開始することができる。例えば、ターゲットオブジェクトがオプティカルシステムの視野から出るか又はある距離の地点で消えた場合は、そのターゲットオブジェクトは、そのターゲットオブジェクトがオプティカルシステムの視野から出るか又はある距離の地点で消えたときと同じサイズで再度現れる可能性がより高い。従って、オブジェクト検出を行うときに後続する映像フレームにおいてターゲットオブジェクトを検出するためにサイズ又はサイズの範囲を予測することができる。
【００４６】
［００６２］さらに、キャプチャされた映像フレーム（Ｎ）２２４内で探索されるウィンドウ位置及びウィンドウサイズの探索範囲は、最近の映像フレーム（例えば、前の映像フレーム（Ｎ−１）２２２）内のターゲットオブジェクトに関連するウィンドウ位置及びウィンドウサイズと同様のそれらに限定することができる。ここにおいて使用される場合、用語“探索範囲”は、映像フレーム内のターゲットオブジェクトを検出及び／又はトラッキングするときに利用することができる候補のウィンドウ位置又は候補のウィンドウサイズ（又は両方）の組を意味する。例えば、探索されるウィンドウ位置の部分組は、ターゲットオブジェクトが最近の映像フレーム内のどこにおいて見つかったか、例えば、現在の映像フレーム（Ｎ）２２４の象限又は１／２のうちの１つ、に基づいて現在の映像フレーム（Ｎ）２２４の一部分内から選択することができる。換言すると、探索空間は、ターゲットオブジェクトが最後にトラッキング又は検出された場所の近くに限定することができる。同様に、各ウィンドウ位置に関して探索されるフレームのサイズは、ターゲットオブジェクトが最近の映像フレーム内で見つかったウィンドウのサイズに基づいて制限することができる。例えば、８のスケールレベルを有するウィンドウを用いて最近のフレームにおいてオブジェクトが検出された場合は、スキャナスケーラ２３６は、８±３の現在の映像フレーム（Ｎ）２２４に関するウィンドウスケールレベル、すなわち、スケールレベル５乃至１１、のみを選択することができる。これは、低確率の探索をさらに排除し、オブジェクト検出の効率を向上させることができる。代替として、最近の（最近でない）映像フレームがターゲットオブジェクトを検出しなかった（すなわち、最近の映像フレームに関する検出及びトラッキング信頼値２５６が検出及びトラッキングスレショルドを下回る）場合は、オブジェクト検出器２０８は、探索される探索空間（ウィンドウ位置）を拡大することができ、例えば、１つの画像のより広い範囲又は画像全体を探索の対象にすることができる。
【００４７】
［００６３］オブジェクトトラッキング及び検出モジュール２０４は、単一のウィンドウを形成するために複数のウィンドウを融合するための融合モジュールを含むことができる。最初に２つの信頼値、すなわち、オブジェクト検出器２０８からの検出信頼値２４０及びモーショントラッカ２０６からのトラッキング信頼値２２５、が存在する。融合モジュール２６０は、２つの信頼値を結合して（例えば、より大きいそれを選択する）１つの検出及びトラッキング信頼値２５６にすることができる。検出及びトラッキング信頼値２５６は、ターゲットオブジェクトが映像フレームにおいて識別されたかどうかを示すことができる。一構成においては、検出及びトラッキング信頼値２５６は、０と１との間の実数であることができ、ここで、０は、特定の映像フレームにおいてターゲットオブジェクトが識別された最低の可能な信頼度を示し、１は、ターゲットオブジェクトが特定の映像フレームにおいて識別された最高の可能な信頼度を示す。換言すると、検出及びトラッキング信頼値２５６は、ターゲットオブジェクトが見つかった尤度の全体的な指標として働くことができる。さらに、検出及びトラッキング信頼値２５６は、次の映像フレーム内で探索すべきウィンドウ位置、ウィンドウサイズ又はウィンドウの比率を決定するために使用されるパラメータであることができる。融合モジュール２６０は、現在の映像フレーム（Ｎ）２２４に関する情報をメモリバッファ２１０に提供するために使用することができる。一例においては、融合モジュール２６０は、トラッキングされたウィンドウ２４２に関する情報（例えば、ウィンドウ位置２２４、ウィンドウサイズ２４６、等）及び検出及びトラッキング信頼値２５６をメモリバッファ２１０に提供することができる。融合モジュール２６０は、結合されたトラッキング結果（例えば、囲みボックス）を形成するために及び検出及びトラッキング信頼値２５６を計算するためにモーショントラッカ２０６及びオブジェクト検出器２０８からのトラッキング結果（例えば、囲みボックス）を使用することができる。
【００４８】
［００６４］メモリバッファ２１０は、前の映像フレーム（Ｎ−１）２２２、現在の映像フレーム（Ｎ）２２４又はその他のキャプチャされた映像フレームに関連する１つ以上の値を格納することができる。一構成においては、メモリバッファ２１０は、キャプチャされた前の映像フレーム２１２を格納し、それは、前の映像フレーム（Ｎ−１）２２２に対応する情報を含むことができる。キャプチャされた前の映像フレーム２１２は、各ウィンドウ２４２に関する位置２４４と、ウィンドウサイズ２４６と、（例えば、分類器２３８からの）２進決定２４８と、を含む、１つ以上のウィンドウ２４２に関する情報を含むことができる。キャプチャされた前の映像フレーム２１２は、トラッキングスレショルド２５０と、検出スレショルド２５２と、検出及びトラッキングスレショルド２５４と、を含むこともできる。トラッキングスレショルド２５０は、トラッキング信頼度がトラッキングスレショルド２５０よりも大きいかどうかを決定する２５８ためにモーショントラッカ２０６又はオブジェクトトラッキング及び検出モジュール２０４上の回路（例えば、信頼度比較器）に提供することができる。検出スレショルド２５２は、検出信頼値２４０が検出スレショルド２５２よりも大きいかどうかを決定するためにオブジェクト検出器２０８及びオブジェクトトラッキング及び検出モジュール２０４上のその他の回路に提供することができる。検出及びトラッキングスレショルド２５４は、トラッキングスレショルド２５０及び検出スレショルド２５２に基づく結合された値であることができる。検出及びトラッキングスレショルド２５４は、動きに基づくトラッキング及びオブジェクト検出に関する結合された信頼値を決定するために検出及びトラッキング信頼値２５６と比較することができる。スレショルドの各々は、ターゲットオブジェクトが映像フレーム内に所在する尤度に基づくことができる。オブジェクトトラッキング及び検出モジュール２０４は、特定の検出及びトラッキング信頼値２５６が得られるまで現在の映像フレーム（Ｎ）２２４に関する動きに基づくトラッキング及び／又は検出を行うことができる。さらに、動きに基づくトラッキング及びオブジェクト検出は、複数の映像フレームのシーケンス内の各フレームに関して行うことができる。
【００４９】
［００６５］動きに基づくトラッキング及びオブジェクト検出を行うことは、動きに基づくトラッキングを順次に行い、トラッキングされたパラメータに基づくオブジェクト検出によって後続されることを含むことができる。特に、現在のシステム及び方法は、２段階のトラッキング及び検出アプローチ法を実装することができる。動きに基づくトラッキングは、実際のオブジェクトを使用されるオブジェクト検出として識別するのではなく、場面の相対的な動きに基づくため、動きに基づくトラッキングは、電子デバイスにおいてはオブジェクト検出を行うよりもリソース集約性が低いことができる。従って、オブジェクト検出器２０８の代わりにモーショントラッカ２０６を使用するのがより効率的であることができ、ここで、ターゲットオブジェクトは、オブジェクト検出を行わずに正確にトラッキングすることができる。
【００５０】
［００６６］従って、オブジェクト検出器２０８と並行してモーショントラッカ２０６を使用する代わりに、オブジェクトトラッキング及び検出モジュール２０４は、モーショントラッカ２０６が不十分である、すなわち、動きトラッキング及びオブジェクト検出（行われる場合）が並行ではなく順次に行われる場合のみにオブジェクト検出器２０８を使用する。トラッキングが行われる各映像フレームに関して、モーショントラッカ２０６は、トラッキング信頼値２２８を生成することができ、それは、ターゲットオブジェクトが現在の映像フレーム（Ｎ）２２４内に存在する尤度を示す０と１との間の実数であることができる。
【００５１】
［００６７］２段階式トラッキング及び検出アプローチ法の一構成においては、モーショントラッカ２０６は、最初に、現在の映像フレーム（Ｎ）２２４に関する動きに基づくトラッキングを行うことができる。モーショントラッカ２０６は、動きに基づくトラッキングプロセスに基づいてトラッキング信頼値２２８を決定することができる。メモリバッファ２１０によって提供されたトラッキング信頼値２２８及びトラッキングスレショルド２５０を使用して、オブジェクトトラッキング及び検出モジュール２０４内の回路（例えば、信頼度比較器）は、トラッキング信頼値２２８がトラッキングスレショルド２５０を超えるかどうかを決定する２５８ことができる。トラッキング信頼値２２８がトラッキングスレショルド２５０よりも大きい場合は、オブジェクトトラッキング及び検出モジュール２０４は、出力２６２を生成するために、オブジェクト検出を行うことをスキップし、融合モジュール２６０にトラッキング結果を提供することができる。出力２６２は、ターゲットオブジェクトが現在の映像フレーム（Ｎ）２２４内に存在することを示す表示を含むことができる。さらに、出力２６２は、ターゲットオブジェクトに関する追加情報を含むことができる。
【００５２】
［００６８］トラッキング信頼値２２８がトラッキングスレショルド２５０を超えない場合は、オブジェクト検出器２０８は、現在の映像フレーム（Ｎ）２２４に関するオブジェクト検出を引き続いて行うことができる。オブジェクト検出は、現在の映像フレーム（Ｎ）２２４内のすべてのウィンドウ又はウィンドウの部分組に関して行うことができる。オブジェクト検出器２０８は、動きに基づくトラッキングの結果及び／又はメモリバッファ２１０から提供された情報に基づいてウィンドウの部分組、ウィンドウサイズ又はその他の検出基準を選択することもできる。オブジェクト検出は、オブジェクト検出器２０８に提供された１つ以上のトラッキングされたパラメータに基づいてロバストネスがより高い又はより低いプロセスを用いて行うことができる。オブジェクト検出器２０８は、検出信頼値２４０を決定し、検出信頼値２４０を検出スレショルド２５２と比較することができる。検出信頼値２４０が検出スレショルド２５２を上回る場合は、オブジェクト検出器２０８は、出力２６２を生成するために融合モジュール２６０に検出結果を提供することができる。出力２６２は、ターゲットオブジェクトが現在の映像フレーム（Ｎ）２２４内に存在することを示す表示を含めること及び／又は検出されたオブジェクトに関する情報を含めることができる。
【００５３】
［００６９］代替として、検出信頼値２４０が検出スレショルド２５２以下である場合は、オブジェクト検出器２０８は、よりロバストな方法を用いてオブジェクト検出を再度行うことができ、例えば、現在の映像フレーム（Ｎ）２２４内のより多くの数のウィンドウを探索することができる。オブジェクト検出器２０８は、条件を満たしている検出信頼値２４０が得られるまでオブジェクト検出プロセスを繰り返すことができる。条件を満たしている検出信頼値２４０が得られ、従って、現在の映像フレーム内のターゲットオブジェクトが識別された時点で、オブジェクトトラッキング及び検出モジュール２０４は、次の映像フレームに関するトラッキング及び検出を行うために使用することができる。
【００５４】
［００７０］図２Ｂは、プロセッサ２６４によって実装中の図２Ａのシステム内の幾つかのコンポーネントを例示する。図２Ａにおいて示されるように、オブジェクトトラッキング及び検出モジュール２０４は、プロセッサ２６４によって実装することができる。異なるコンポーネントを実装するために異なるプロセッサを使用することができる（例えば、１つのプロセッサは、モーショントラッカ２０６を実装するために使用することができ、他のプロセッサは、オブジェクト検出器２０８を実装するために使用することができ、さらに他のプロセッサは、メモリバッファ２１０を実装するために使用することができる）。
【００５５】
［００７１］図３は、動きに基づくトラッキング及びオブジェクト検出を行うための方法３００を例示した流れ図である。方法３００は、電子デバイス１０２、例えば、オブジェクトトラッキング及び検出モジュール１０４、によって実装することができる。電子デバイス１０２は、前の映像フレーム（Ｎ−１）２２２及び現在の映像フレーム（Ｎ）２２４を比較することによって現在の映像フレーム（Ｎ）２２４に関する動きに基づくトラッキングを行う３０２ことができる。オブジェクトをトラッキングすることは、対になった画像間の点をトラッキングすることによってメディアンフロー法を用いて行うことができる。その他の動きに基づくトラッキング方法を使用することもできる。さらに、動きに基づくトラッキングは、メモリバッファ１１０を介して提供されたキャプチャされた前の映像フレーム１１２に関する情報を用いて現在の映像フレーム（Ｎ）２２４に関して行うことができる。
【００５６】
［００７２］電子デバイス１０２は、トラッキング信頼値２２８を決定する３０４ことができる。トラッキング信頼値２２８は、ターゲットオブジェクトが正確にトラッキングされている尤度又は確実性を示すことができる。電子デバイス１０２は、トラッキング信頼値２２８がトラッキングスレショルド２５０よりも大きいかどうかを決定する３０６ことができる。トラッキング信頼値２２８がトラッキングスレショルド２５０よりも大きい場合は、電子デバイス１０２は、次の映像フレームに関する動きに基づくトラッキングを行う３０８ことができる。さらに、電子デバイス１０２は、動きに基づくトラッキングの結果に基づいて現在の映像フレーム（Ｎ）２２４に関するオブジェクト検出を行うのをスキップすることができる。換言すると、オブジェクト検出は、動きトラッキングがあまり良好でないとき、すなわち、トラッキング信頼値２２８がトラッキングスレショルド２５０よりも大きくない場合、のみに現在の映像フレーム（Ｎ）２２４に関して行うことができる。しかしながら、トラッキング信頼値２２８がトラッキングスレショルド２５０よりも大きくない場合は、電子デバイス１０２は、現在の映像フレーム（Ｎ）２２４に関するオブジェクト検出を行う３１０ことができる。電子デバイス１０２は、動きに基づくトラッキングに引き続いてオブジェクト検出を行うことができる。幾つかの構成においては、オブジェクト検出は、より高い検出信頼値２４０を得るために様々なロバストネス（ｒｏｂｕｓｔｎｅｓｓ）で複数回行うことができる。
【００５７】
［００７３］図４は、動きに基づくトラッキングを行うための方法４００を例示した流れ図である。方法４００は、電子デバイス１０２、例えば、オブジェクトトラッキング及び検出モジュール１０４、によって実装することができる。電子デバイス１０２は、囲みボックスを用いてターゲットオブジェクトを識別する４０２ことができる。オブジェクトを識別する４０２ことは、タッチ画面１１６又は対象オブジェクトが選択されるその他の入力方法を用いて手作業で行うことができる。複数のオブジェクトを同様の方法で識別することができる。さらに、トラッキングされるべきオブジェクトを識別するためにその他の入力方法を使用することができる。一例においては、オブジェクトは、ターゲットオブジェクトの周囲に囲みボックスを手作業で描くことによって識別される。
【００５８】
［００７４］電子デバイス１０２は、囲みボックス内の格子上の点を初期化する４０４ことができる。格子上の点は、囲みボックス全体にわたって均一に配置することができる。さらに、それらの点は、２つの画像（例えば、前の映像フレーム（Ｎ−１）２２２及び現在の映像フレーム（Ｎ）２２４）の間の格子上でトラッキングする４０６ことができる。一例においては、それらの点は、画像間において疎らなモーションフローを生成するＬｕｃａｓ−Ｋａｎａｄｅトラッカによってトラッキングされる。電子デバイス１０２は、２つの画像（例えば、前の映像フレーム（Ｎ−１）２２２及び現在の映像フレーム（Ｎ）２２４）の間のトラッキング誤差を推定する４０８ことができる。トラッキング誤差を推定する４０８ことは、トラッキングされた点のうちの各点に誤差値を割り当てることを含むことができる。さらに、トラッキング誤差を推定する４０８ことは、例えば、前進−後退誤差、正規化相互相関（ＮＣＣ）及び平方和差分を含む様々な方法を用いて行うことができる。推定されたトラッキング誤差は、トラッキング信頼値２２８を入手し、究極的には、ターゲットオブジェクトが現在の映像フレーム（Ｎ）２２４内に存在する尤度を決定するために使用することができる。一構成においては、トラッキング信頼値２２８は、現在の映像フレーム（Ｎ）２２４及び前の映像フレーム（Ｎ−１）２２２内のトラッキングされたウィンドウ間の正規化相互相関（ＮＣＣ）を計算することによって得ることができる。トラッキング誤差は、図５に関係させて以下においてより詳細に説明される前進−後退誤差推定を含む追加の技法を用いて推定することもできる。さらに、電子デバイス１０２は、フィルタリングして４１０範囲外の点予測を取り除くことができる。例えば、電子デバイス１０２は、フィルタリングして最悪の予測のうちの５０％を取り除くことができる。残りの予測は、囲みボックスの変位を推定するために使用することができる。
【００５９】
［００７５］電子デバイス１０２は、囲みボックスを更新する４１２ことができる。囲みボックスを更新する４１２ことは、更新された囲みボックスが次の映像フレームに関する新しい囲みボックスになるような形で行うことができる。次に、次の映像フレームに関して動きに基づくトラッキングプロセスを繰り返すことができ、トラッキング信頼値２２８がトラッキングスレショルド２５０以下である場合は、動きに基づくトラッキングプロセスは、ターゲットオブジェクトを正確にトラッキングすることができるまで次の映像フレームに関して中断することができる。幾つかの構成においては、現在の映像フレーム（Ｎ）２２４に関する動きに基づくトラッキングが満足のいく結果を提供しない場合は、電子デバイス１０２は、ターゲットオブジェクトの位置を突き止める際により高い信頼度を得るために現在の映像フレーム（Ｎ）２２４に関するオブジェクト検出を行うことができる。幾つかの構成においては、動きに基づくトラッキングが（例えば、ターゲットオブジェクトが映像フレームの範囲から出るときに）満足のいく結果を生み出すことができない場合は、ターゲットオブジェクトが検出されるまで後続する映像フレームに関してオブジェクト検出を行うことができる。
【００６０】
［００７６］図５は、前進−後退誤差に基づいて動きに基づくトラッキングにおけるトラフィック誤差を推定するための方法５００を例示した流れ図である。方法５００は、電子デバイス１０２（例えば、オブジェクトトラッキング及び検出モジュール１０４）によって実装することができる。幾つかの構成においては、電子デバイス１０２は、トラッキングされたウィンドウ間の正規化相互相関（ＮＣＣ）を計算することができる。正規化相互相関（ＮＣＣ）は、トラッキング信頼値２２８を決定するために使用することができる。電子デバイス１０２は、正規化相互相関（ＮＣＣ）を補完する様々なトラッキング誤差推定技法（例えば、前進−後退誤差、平方和差分）を使用することもできる。前進−後退誤差推定を用いた一例においては、電子デバイス１０２は、フォワードトラジェクトリ（ｆｏｒｗａｒｄ  ｔｒａｊｅｃｔｏｒｙ）を決定するために前の映像フレーム（Ｎ−１）２２２と現在の映像フレーム（Ｎ）２２４の間でのフォワードトラッキングを行う５０２ことができる。フォワードトラッキングは、ｋのステップに関して画像を前方にトラッキングすることを含むことができる。その結果得られるフォワードトラジェクトリは、（ｘｔ、ｘｔ＋１、．．．、ｘｔ＋ｋ）に等しいことができ、ここで、ｘｔは、時間的な点位置であり、ｋは、画像のシーケンスの長さを示す。電子デバイス１０２は、バックワードトラジェクトリを決定するために現在の映像フレーム（Ｎ）２２４と前の映像フレーム（Ｎ−１）２２２との間でバックワードトラッキングを行う５０４ことができる。その結果得られるバックワードトラジェクトリは、
【数１】
0006522595.tif 000002
【００６１】
に等しくなることができ、ここで、
【数２】
0006522595.tif 000003
【００６２】
である。
【００６３】
［００７７］電子デバイス１０２は、フォワードトラジェクトリとバックワードトラジェクトリとの間の前進−後退誤差を決定する５０６ことができる。前進−後退誤差は、フォワードトラジェクトリとバックワードトラジェクトリとの間の距離であると定義することができる。さらに、トラジェクトリの比較のために様々な距離を定義することができる。一構成においては、前進−後退誤差を決定するときには妥当性検査トラジェクトリの最初の点と最後の点との間のユークリッド距離を使用することができる。一構成においては、前進−後退誤差は、トラッキング誤差として使用することができ、それは、トラッキング信頼値２２８を決定するために使用することができる。
【００６４】
［００７８］図６は、オブジェクト検出を行うための方法６００を例示した流れ図である。方法６００は、電子デバイス１０２（例えば、オブジェクトトラッキング及び検出モジュール１０４）によって実装することができる。電子デバイス１０２は、現在の映像フレーム（Ｎ）２２４内のウィンドウ位置及びサイズの部分組を探索することによって現在の映像フレーム（Ｎ）２２４に関するオブジェクト検出及び動きに基づくトラッキングを行う６０２ことができる。
【００６５】
［００７９］電子デバイス１０２は、検出及びトラッキング信頼値２５６を決定する６０４ことができる。検出及びトラッキング信頼値２５６は、現在の映像フレーム（Ｎ）２２４においてターゲットオブジェクトが見つけられるかどうかに関する信頼度を提供することができる。電子デバイス１０２は、検出及び信頼値２５６が検出及びトラッキングスレショルド２５４よりも大きいかどうかも決定する６０６ことができる。検出及び信頼値２５６が検出及びトラッキングスレショルド２５４よりも大きい場合は、電子デバイス１０２は、次の映像フレーム内のウィンドウ及びサイズの部分組（例えば、同じ部分組）を用いて次の映像フレームに関するオブジェクト検出を行う６０８ことができる。代替として、検出及び信頼値２５６が検出及びトラッキングスレショルド２５４よりも小さい場合は、電子デバイス１０２は、次の映像フレームにおけるウィンドウ位置及びサイズのより大きい部分組を用いて次の映像フレームに関するオブジェクト検出を行う６１０ことができる。幾つかの構成においては、信頼値２５６が検出及びトラッキングスレショルド２５４よりも小さい場合は、電子デバイス１０２は、次の映像フレームの探索空間全体及び／又はすべてのウィンドウを用いて次の映像フレームに関するオブジェクト検出を行う６１０ことができる。
【００６６】
［００８０］図７は、現在のシステム及び方法とともに使用することができる複数の異なるウィンドウサイズ７６６を有する画像ウィンドウ７００を例示したブロック図である。具体的には、図７は、１０の可能なウィンドウサイズ７６６ａ−ｊの組を例示する。各ウィンドウサイズ７６６は、スケールレベル（例えば、１乃至１０）に対応することができる。ここにおいては長方形として示されているが、探索されるウィンドウは、あらゆる形状、例えば、正方形、長方形、円形、楕円形、ユーザによって定義された形、等であることができる。さらに、あらゆる数のウィンドウサイズ７６６又はスケールレベルを利用することができ、例えば、５、１５、２０、３０、等である。
【００６７】
［００８１］上述されるように、探索範囲は、ある特定の位置に関して使用されるウィンドウサイズの部分組によって表すことができ、例えば、現在の映像フレーム（Ｎ）２２４において探索されるウィンドウサイズは、最近のフレーム内のターゲットオブジェクトに関連するウィンドウ位置及びウィンドウサイズに類似するそれらに限定することができる。例えば、フィードバックなしで、オブジェクト検出器２０８は、各々の選択されたウィンドウ位置に関してすべての１０のウィンドウサイズ７６６ａ−ｊを探索することができる。しかしながら、第５のウィンドウサイズ７６６ｅを有するウィンドウを用いて最近の（最近でない）映像フレームにおいてオブジェクトが検出された場合は、スキャナスケーラ２３６は、５±３の現在のキャプチャされたフレームに関するウィンドウサイズ、すなわち、ウィンドウサイズ２乃至８、のみを選択することができる。換言すると、第１のウィンドウサイズ７６６ａ、第９のウィンドウサイズ７６６ｉ及び第１０のウィンドウサイズ７６６ｊを有するウィンドウは、最近の又は前の映像フレーム（Ｎ−１）２２２からのフィードバックに基づいて探索することができない。これは、低確率の探索をさらに排除し、オブジェクト検出の効率を向上させることができる。換言すると、最近の映像フレームからのフィードバックを使用することは、実施される計算を減少させるのに役立つことができる。代替として、最近の映像フレームがターゲットオブジェクトを検出しなかった（すなわち、最近のキャプチャされたフレームに関する検出及びトラッキング信頼値２５６が検出及びトラッキングスレショルド２５４よりも小さい）場合は、オブジェクト検出器２０８は、サイズレベルの部分組を用いることによって探索を制限することができない。
【００６８】
［００８２］図８は、オブジェクトトラッキング及び検出モジュール８０４の他の可能な構成を例示したブロック図である。図８において例示されるオブジェクトトラッキング及び検出モジュール８０４は、図２において例示されるオブジェクトトラッキング及び検出モジュール２０４と同様のモジュールを含むことができ及び同様の機能を実行することができる。具体的には、図８において例示されるオブジェクト検出器８０８、モーショントラッカ８０６、スキャナロケータ８３０、ウィンドウ位置選択器８３２、ランダマイザ８３４、スキャナスケーラ８３６、分類器８３８、融合モジュール８６０、メモリバッファ８１０、キャプチャされた前の映像フレーム８１２、ウィンドウ８４２、位置８４４、サイズ８４６、２進決定８４８、トラッキングスレショルド８５０、検出スレショルド８５２、検出及びトラッキングスレショルド８５４、検出信頼値８４０、トラッキング信頼値８２８及び検出及びトラッキング信頼値８５６は、図２において例示されるオブジェクト検出器２０８、モーショントラッカ２０６、スキャナロケータ２３０、ウィンドウ位置選択器２３２、ランダマイザ２３４、スキャナスケーラ２３６、分類器２３８、融合モジュール２６０、メモリバッファ２１０、キャプチャされた前の映像フレーム２１２、ウィンドウ２４２、位置２４４、サイズ２４６、２進決定２４８、トラッキングスレショルド２５０、検出スレショルド２５２、検出及びトラッキングスレショルド２５４、検出信頼値２４０、トラッキング信頼値２２８及び検出及びトラッキング信頼値２５６に対応することができ及び図２において例示されるオブジェクト検出器２０８、モーショントラッカ２０６、スキャナロケータ２３０、ウィンドウ位置選択器２３２、ランダマイザ２３４、スキャナスケーラ２３６、分類器２３８、融合モジュール２６０、メモリバッファ２１０、キャプチャされた前の映像フレーム２１２、ウィンドウ２４２、位置２４４、サイズ２４６、２進決定２４８、トラッキングスレショルド２５０、検出スレショルド２５２、検出及びトラッキングスレショルド２５４、検出信頼値２４０、トラッキング信頼値２２８及び検出及びトラッキング信頼値２５６と同様の機能を有することができる。
【００６９】
［００８３］さらに、オブジェクトトラッキング及び検出モジュール８０４は、ターゲットの動き及び検出の誤差に起因するジッターの影響を低減させるために使用される平滑化モジュール８６１を含むことができる。換言すると、平滑化モジュール８６１は、トラッキング結果を平滑化し、探索ウィンドウが位置（ｘ、ｙ）８４４及びサイズ（幅、高さ）８４６の両方においてより平滑なトラジェクトリを有するようにする。平滑化モジュール８６１は、単純な移動平均（ＭＡ）フィルタ又は自己回帰（ＡＲ）フィルタであることができる。位置８４４及びサイズ８４６に関する平滑化度は、異なることができる。位置８４４の平滑化には予測フィルタ、例えば、カルマンフィルタ、も適切であることができる。従って、平滑化モジュール８６１は、平滑化されていない位置８６３及び平滑化されていないサイズ８６５を入力として受信し、平滑化された位置８６７及び平滑化されたサイズ８６９を出力することができる。
【００７０】
［００８４］図９は、平滑化モジュール９６１を例示したブロック図である。平滑化モジュール９６１は、ターゲットの動き及びトラッキング誤差に起因するジッターの影響を低減させるために使用することができ、このため、トラッキング結果（囲みボックス）は、位置（ｘ、ｙ）８４４及びサイズ（幅、高さ）の両方においてより平滑なトラジェクトリを有する。一構成においては、位置平滑化フィルタ９７１及びサイズ平滑化フィルタ９７３は、平滑化されていない位置９６３及び平滑化されていないサイズ９６５を入力として受信し、平滑化された位置９６７及び平滑化されたサイズ９６９を出力するために自己回帰（ＡＲ）モデルを用いて実装される。
【００７１】
［００８５］自己回帰（ＡＲ）モデルにおいて、平滑化されるべき変数、位置又はサイズ、をＸとする。さらに、オブジェクトトラッカによるＸの出力をＸ’とする。この構成においては、時間ｔにおけるＸの平滑化されたフィルタリング、Ｘｔ、は以下の方程式（１）に従って表すことができる。
【数３】
0006522595.tif 000004
【００７２】
ここで、Ｘ’ｔは、時間ｔにおけるＸのトラッカ出力であり、Ｘｔ−１は、時間ｔ−１におけるＸの平滑化された結果であり、Ｗ（０≦Ｗ≦−１）は、平滑化の効果を制御する平滑化重みである。例えば、Ｘ’ｔは、現在の映像フレーム（Ｎ）２２４に関して選択されたウィンドウ位置又はウィンドウサイズであることができ、Ｘｔ−１は、前の映像フレーム（Ｎ−１）２２２に関して使用されるウィンドウ位置又はウィンドウサイズであることができる。
【００７３】
［００８６］位置平滑化フィルタ９７１及びサイズ平滑化フィルタ９７３に関して異なる平滑化重み、Ｗ、を使用することができる。例えば、一構成においては、Ｗｌｏｃａｔｉｏｎ＝０．８及びＷｓｉｚｅ＝０．４であり、このため、ウィンドウ位置に対してより少ない平滑化の効果があり、ウィンドウサイズに対してより強い平滑化の効果が存在する。平滑化重みのこの選択は、より小さいトラッキング遅延及びより小さいジッターをもたらす。
【００７４】
［００８７］さらに、平滑化重みの選択は、検出及びトラッキング信頼値８５６がある一定のスレショルド（例えば、検出及びトラッキングスレショルド８５４）を下回るときには低減させることもできる。これは、潜在的なトラッキング又は検出誤差が高いときにより強いフィルタリングを提供することができる。例えば、低いトラッキング信頼に応答して（例えば、検出及びトラッキング信頼値８５６が検出及びトラッキングスレショルド８５４を下回る）、位置及びサイズに関する平滑化重みは、Ｗｌｏｃａｔｉｏｎ＝０．６５及びＷｓｉｚｅ＝０．２にそれぞれ設定することができる。換言すると、重みのうちの１つ又は両方を小さくすることができ、それは、ウィンドウ位置及びサイズ選択を、現在の映像フレームのウィンドウ位置及びサイズよりも前の映像フレームのそれらにより大きく依存させることができる。
【００７５】
［００８８］さらに、重み付けは、検出及びトラッキング信頼値８５６ではなくトラッキング信頼値８２８又は検出信頼値８４０に基づくことができる。例えば、平滑重みＷｌｏｃａｔｉｏｎ及びＷｓｉｚｅは、トラッキング信頼値８２８がトラッキングスレッド８５０を下回ることに応じて小さくすることができる。すなわち、不良な動きトラッキングに応じてより強いフィルタリングを使用することができる。代替として、平滑化重みは、検出信頼値８４０が検出スレショルド８５２を下回ることに応じて小さくすることができる。すなわち、不良なオブジェクト検出に応じてより強いフィルタリングを使用することができる。
【００７６】
［００８９］他の構成においては、ウィンドウ位置を平滑化するためにカルマンフィルタを使用することができる。該構成においては、フィルタリングは、以下の方程式（２）乃至（７）に従って定義することができる。
【数４】
0006522595.tif 000005
【数５】
0006522595.tif 000006
【００７７】
［００９０］ここで、ｘｋ−１は、時間ｋ−１における前の状態であり、ｘｋは、ｘｋ＝［ｘ，ｙ，ｘ・，ｙ・］によって定義される現在の状態であり、ここで、（ｘ，ｙ）は、バウンディングボックスの中心位置であり、（ｘ・，ｙ・）は、各方向における速度である。さらに、状態遷移モデル、Ｆｋ、及び観測モデル、Ｈ、は、以下の方程式（４）及び（５）によってそれぞれ定義することができる。
【数６】
0006522595.tif 000007
【数７】
0006522595.tif 000008
【００７８】
［００９１］ここで、Δｔは、チューナブルな（ｔｕｎａｂｌｅ）パラメータである。さらに、ｗｋは、以下の式（６）に従って共分散Ｑを有するゼロ平均多変量正規分布（すなわち、ｗｋ〜Ｎ（０，Ｑ））から導き出されると仮定されるプロセス雑音である。
【数８】
0006522595.tif 000009
【００７９】
［００９２］ここで、σ１は、チューナブルなパラメータである。同様に、ｗｋは、以下の方程式（７）に従って共分散Ｒを有するゼロ平均ガウス白雑音（すなわち、ｖｋ〜Ｎ（０，Ｒ））であると仮定される観測雑音である。
【数９】
0006522595.tif 000010
【００８０】
［００９３］ここで、σ２は、チューナブルなパラメータである。
【００８１】
［００９４］図１０は、動きトラッキング結果におけるジッターを平滑化するための方法１０００を例示する流れ図である。方法１０００は、電子デバイス１０２、例えば、電子デバイス１０２内のオブジェクトトラッキング及び検出モジュール８０４、によって実行することができる。電子デバイス１０２は、現在の映像フレーム２２４に関連する１つ以上のウィンドウ位置及び１つ以上のウィンドウサイズ、例えば、平滑化されていない位置８６３及び平滑化されていないサイズ８６５、を決定する１００２ことができる。電子デバイス１０２は、１つ以上の平滑化されたウィンドウ位置８６７及び１つ以上の平滑化されたウィンドウサイズ８６９を生成するために１つ以上のウィンドウ位置及び１つ以上のウィンドウサイズをフィルタリングする１００４こともできる。例えば、これは、移動平均フィルタ、自己回帰フィルタ又はカルマンフィルタを使用することを含むことができる。一構成においては、低いトラッキング信頼（例えば、検出及びトラッキング信頼値８５６が検出及びトラッキングスレッド８５４を下回る）に応じて、位置及びサイズに関する平滑化重みを小さくすることができる。代替として、平滑化重みは、検出信頼値８４０又はトラッキング信頼値８２８に基づいて小さくすることができる。電子デバイスは、１つ以上の平滑化されたウィンドウ位置８６７及び１つ以上の平滑化されたサイズ８６９によって定義された１つ以上のウィンドウを用いて現在の映像フレーム２２４内のターゲットオブジェクトを検出する１００６こともできる。
【００８２】
［００９５］図１１は、オブジェクトトラッキングを用いてピクチャ処理を行うための方法１１００の流れ図である。方法１１００は、電子デバイス１０２によって実行することができる。電子デバイス１０２は、第１のトラッキングエリア１３３を得る１１０２ことができる。電子デバイス１０２は、第２のトラッキングエリア１３５を得ることもできる。一構成においては、それらのトラッキングエリアのうちの各々は、タッチ画面１１６又はビューファインダ１３１を用いて電子デバイス１０２によって得ることができる。一例として、第２のトラッキングエリア１３５は、ビューファインダ１３１全体を網羅することができる。
【００８３】
［００９６］タッチ画面１１６内のエリア（典型的には正方形又は円であるが、その他の形状も使用することができる）は、ユーザによって定義することができる。このエリアは、トラッキングエリア又はフォーカスリングと呼ぶことができる。フォーカスリングは、電子デバイス１０２のユーザがトラッキングのためのオブジェクト又はエリアを素早く選択するのを可能にすることができるユーザインタフェース（ＵＩ）要素であることができる。一例として、ユーザは、フォーカスリングをエリア又はオブジェクト上に置き、それによってフォーカスリングをオブジェクトに取り付けることができる。ユーザの指がタッチ画面から離れた時点で、フォーカスリングがオブジェクトのトラッキングを開始することができる。
【００８４】
［００９７］フォーカスリングは、オブジェクトトラッキングの状態（例えば、オブジェクトをトラッキング中である、オブジェクトをトラッキング中でない、トラッキング中であるがオブジェクトが失われている）に依存して外観を変えることができる。フォーカスリングは、任意で形作られたオブジェクトのトラッキングを可能にするためにサイズを変えること又は形状を変える（例えば、円から楕円形又は正方形に変える）ことができる。一構成においては、トラッキングされたオブジェクト上のフォーカスリングに触れることは、電子デバイス１０２がそのオブジェクトをトラッキングするのを停止させることができる。フォーカスリングは、タッチ画面１１６又はビューファインダ１３１内においてオブジェクトに追従することができる。
【００８５】
［００９８］電子デバイス１０２が第１のトラッキングエリア１３３をトラッキングする１１０６ことを開始することができる。電子デバイス１０２は、第２のトラッキングエリア１３５をトラッキングする１１０８ことも開始することができる。電子デバイス１０２は、第１のトラッキングエリア１３３及び第２のトラッキングエリア１３５の重なり合い１４３がスレショルド１４５を通過した時点でピクチャ処理１１１０を行うことができる。構成に依存して、ピクチャ処理は、重なり合い１４３がスレショルド１４５を上回ったときに又は重なり合い１４３がスレショルド１４５を下回ったときに生じることができる。ピクチャ処理は、写真を撮ること及び／又は映像編集を行うこと（例えば、映像フレームからオブジェクトを取り除くこと）を含むことができる。
【００８６】
［００９９］図１２Ａは、オブジェクトトラッキングを用いるピクチャ処理の一例を示す。複数のフレーム１２５３ａ及びｂが例示される。フレーム１２５３は、予め録画された映像シーケンス１４７の一部又はビューファインダ１３１を用いて電子デバイス１０２を通じて見られるライブフレームであることができる。フレームｍ１２５３ａにおいて、歩いている人の周囲に第１のトラッキングエリア１２３３ａが示され、静止している樹木の周囲に第２のトラッキングエリア１２３５ａが示されている。ユーザは、歩いている人が静止している樹木の前にいる時点で写真１４９を撮るのを希望することができる。フレームｍ１２５３ａにおいて、第１のトラッキングエリア１２３３ａは、第２のトラッキングエリア１２３５ａと重なり合っていない（すなわち、重なり合い１４３が０％である）。電子デバイス１０２は、重なり合い１４３が５０％に達した時点でピクチャ処理を行うように構成することができる。この構成においては、電子デバイス１０２は、重なり合い１４３が５０％に達した時点で写真を撮るように構成することができる。
【００８７】
［００１００］フレームｎ１２５３ｂにおいて、フレームｍ１２５３ａから時間が経過している。第１のトラッキングエリア１２３３ｂは、歩いている人の上にとどまっており、第２のトラッキングエリア１２３５ｂは、静止している樹木上にとどまっている。歩いている人は移動しているため、今は、第１のトラッキングエリア１２３３ｂは、第２のトラッキングエリア１２３５ｂと５０％超だけ重なり合っている。従って、電子デバイス１０２は、重なり合い１２４３ａが５０％に達した時点で写真１４９（この場合は、樹木の前を歩いている人の写真１４９）を撮るように構成されている。
【００８８】
［００１０１］図１２Ｂは、オブジェクトトラッキングを用いたピクチャ処理の例も示す。複数のフレーム１２５３ｃ及びｄが例示される。フレーム１２５３は、予め録画された映像シーケンス１４７の一部又はビューファインダ１３１を通じて見られるライブフレームであることができる。フレームｍ１２５３ｃにおいて、歩いている人の周囲に第１のトラッキングエリア１２３３ａが示され、静止している樹木の近くにアクションライン１２８７が例示されている。アクションライン１２８７は、垂直線、水平線、又はその他のタイプの線（例えば、曲線）であることができる。第１のトラッキングエリア１２３３ｃ及びアクションライン１２８７の両方とも、ユーザによって設定することができる。ユーザは、歩いている人がアクションライン１２８７を越えた時点で（すなわち、重なり合い１２４３ｂが生じたときに）写真（又は連続的な写真）を撮ること又はその他の映像処理を行うことを希望することができる。
【００８９】
［００１０２］フレームｎ１２５３ｄにおいて、フレームｍ１２５３ｃから時間が経過している。第１のトラッキングエリア１２３３ｄは、歩いている人の上にとどまっており、アクションライン１２８７は、静止している樹木の近くにとどまっている。歩いている人は移動しているため、今は、第１のトラッキングエリア１２３３ｄはアクションライン１２８７と重なり合っている。電子デバイス１０２は、第１のトラッキングエリア１２３３ｄがアクションライン１２８７を越えた時点で写真１４９を撮るか又はその他のピクチャ処理を行うように構成することができる。
【００９０】
［００１０３］図１３は、オブジェクトトラッキングを用いたピクチャ処理の他の例を示す。複数のフレーム１２５３ａ及びｂが例示される。フレーム１２５３は、予め録画された映像シーケンス１４７の一部又はビューファインダ１３１を通じて見られるライブフレームであることができる。フレームｎ１３５３ａにおいて、歩いている人の周囲に第１のトラッキングエリア１３３３ａが示され、静止している樹木の周囲に及びその樹木の周囲のエリアの周囲に第２のトラッキングエリア１３３５ａが例示されている。ユーザは、歩いている人がもはや見えなくなった時点で写真１４９（例えば、自然の写真）を撮ることを希望することができる。フレームｍ１３５３ａにおいて、第２のトラッキングエリア１３３５ａが第１のトラッキングエリア１３３３ａと完全に重なり合っている（すなわち、重なり合い１３４３が１００％である）。電子デバイス１０２は、重なり合い１３４３が０％に達した時点でピクチャ処理を行うように構成することができる。この構成においては、電子デバイス１０２は、重なり合い１３４３が０％に達した時点で写真１４９を撮るように構成することができる。
【００９１】
［００１０４］フレームｎ１３５３ｂにおいて、フレームｍ１３５３ａから時間が経過している。第１のトラッキングエリア１３３３ｂは、歩いている人の上にとどまっており、第２のトラッキングエリア１３３５ｂは、静止している樹木上にとどまっている。歩いている人は移動しているため、第１のトラッキングエリア１３３３ａは、もはや第２のトラッキングエリア１３３５ｂと重なり合っていない。従って、電子デバイス１０２は、重なり合い１３４３が０％に達した時点で写真１４９（この場合は、歩いている人がいない静止している樹木の写真１４９）を撮るように構成されている。
【００９２】
［００１０５］図１４は、オブジェクトトラッキングを用いて映像シーケンス１４７に関するピクチャ処理を行うための方法１４００の流れ図である。方法１４００は、電子デバイス１０２によって実行することができる。ユーザは、ピクチャ処理のために電子デバイス１０２において複数のトラッキングエリアを選択することができる。電子デバイス１０２は、映像シーケンス１４７の第１のフレームにおいて第１のトラッキングエリア１３３が第２のトラッキングエリア１３５とスレショルド１４５超だけ重なり合っていると決定する１４０２ことができる。電子デバイス１０２は、映像シーケンス１４７から第２のフレームを選択する１４０４ことができる。第２のフレームは、第２のフレームの第１のトラッキングエリア１３３が第１のフレームの第１のトラッキングエリア１３３に対応する第２のフレームの置き換えエリアに重なり合わないような形で選択することができる。第２のフレームの置き換えエリアは、第１のフレームにおける第１のトラッキングエリア１３３の位置を反映させることができる。従って、置き換えエリアは、第１のトラッキングエリア１３３の背後の背景を示すことができる。第２のフレームは、第１のフレームの前又は後に生じるフレームであることができる。
【００９３】
［００１０６］電子デバイス１０２は、第１のフレームの第１のトラッキングエリア１３３を第２のフレームの対応する置き換えエリアで置き換えることができる。電子デバイス１０２は、編集された第１のフレームを編集された映像シーケンス１５１の一部として格納することができる。
【００９４】
［００１０７］図１５は、デバイス１０２上に表示された未編集の映像シーケンス１５４７及び編集された映像シーケンス１５５１の両方の複数のフレーム１５５３ａ乃至ｄを例示する。編集された映像シーケンス１５５１を入手するために未編集の映像シーケンス１５４７においてオブジェクトトラッキングを用いたピクチャ処理を行うことができる。未編集の映像シーケンス１５４７のフレームｍ１５５３ａ、フレームｎ１５５３ｂ及びフレームｏ１５５３ｃが例示される。フレーム１５５３ａ乃至ｃは、順次である（フレームｎ１５５３ｂがフレームｍ１５５３ａの後に生じる）が、フレーム１５５３ａ乃至ｃの間で追加のフレーム（示されていない）が生じることができる（例えば、フレームｎ１５５３ｂが、フレームｍ１５５３ａに引き続く中間フレームでない）。
【００９５】
［００１０８］フレームｍ１５５３ａは、歩いている人と静止している樹木とを含む。ユーザは、歩いている人を含む第１のトラッキングエリア１５３３ａ及び静止している樹木及び電子デバイス１０２を使用しているその歩いている人を含む第２のトラッキングエリア１５３５ａを選択することができる。一構成においては、第２のトラッキングエリア１５３５ａは、静止しているように構成することができる。ユーザは、未編集の映像シーケンス１５４７から歩いている人を取り除くように電子デバイス１０２を構成することもできる。
【００９６】
［００１０９］ピクチャ処理は、第１のトラッキングエリア１５３３が第２のトラッキングエリア１５３５と重なり合わなくなった時点でフレームｍ１５５３ａの第１のトラッキングエリア１５３３ａを他のフレーム１５５３からの置き換えエリア１５５５で置き換えることができる。換言すると、フレームｍ１５５３ａ内の歩いている人は、その歩いている人が背景を露出させるだけ十分に移動した時点でその歩いている人の背後の背景で置き換えることができる。
【００９７】
［００１１０］フレームｎ１５５３ｂは、（移動している第１のトラッキングエリア１５３３ｂによって囲まれている）歩いている人と、（静止している第２のトラッキングエリア１５３５ｃによって囲まれている）静止している樹木と、を含む。フレームｎ１５５３ｂの第１のトラッキングエリア１５３３ｂはフレームｎ１５５３ｂの第２のトラッキングエリア１５３５ｂと重なり合っているため、フレームｎ１５５３ｂは、フレームｍ１５５３ａでの置き換えのための適切なフレームとして選択することができない。
【００９８】
［００１１１］フレームｏ１５５３ｃは、（移動している第１のトラッキングエリア１５３３ｃによって囲まれている）歩いている人と、（静止している第２のトラッキングエリア１５３５ｃによって囲まれている）静止している樹木と、を含む。フレームｏ１５５３ｃの第１のトラッキングエリア１５３３ｃはフレームｏ１５５３ｃの第２のトラッキングエリア１５３５ｃと重なり合っていないため、フレームｍ１５５３ａ内での置き換えのためにフレームｏ１５３３ｃを選択することができる。置き換えエリア１５５５は、フレームｍ１５５３ａの第１のトラッキングエリア１５３３ａに対応することができる。従って、置き換えエリア１５５５は、フレームｍ１５５３ａにおいて隠されている、歩いている人の背後の背景を含むことができる。ピクチャ処理は、フレームｍ１５５３ａの第１のトラッキングエリア１５３３ａをフレームｏ１５５３ｃの置き換えエリア１５５で置き換えることができる。従って、編集された映像シーケンス１５５１では、フレームｍ１５５３ｄは、歩いている人が取り除かれた状態で示されている。
【００９９】
［００１１２］図１６は、電子デバイス１６０２内に含めることができる幾つかのコンポーネントを例示する。電子デバイス１６０２は、移動局、ユーザ装置（ＵＥ）、アクセスポイント、等、例えば、図１において例示される電子デバイス１０２、であることができる。電子デバイス１６０２は、プロセッサ１６０３を含む。プロセッサ１６０３は、汎用の単一チップ又は多チップのマイクロプロセッサ（例えば、ＡＲＭ）、専用マイクロプロセッサ（例えば、デジタル信号プロセッサ（ＤＳＰ））、マイクロコントローラ、プログラマブルゲートアレイ、等であることができる。プロセッサ１６０３は、中央処理装置（ＣＰＵ）と呼ぶことができる。電子デバイス１６０２内では単一のプロセッサ１６０３のみが示されているが、代替構成においては、プロセッサ１６０３の組み合わせ（例えば、ＡＲＭ及びＤＳＰ）を使用することが可能である。
【０１００】
［００１１３］電子デバイス１６０２は、メモリ１６０５も含む。メモリ１６０５は、電子情報を格納することが可能なあらゆる電子的コンポーネントであることができる。メモリ１６０５は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、磁気ディスク記憶媒体、光記憶媒体、ＲＡＭ内のフラッシュメモリデバイス、プロセッサとともに含まれる搭載メモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、等として具現化することができ、それらの組み合わせを含む。
【０１０１】
［００１１４］メモリ１６０５にはデータ１６０７ａ及び命令１６０９ａを格納することができる。命令１６０９ａは、ここにおいて開示される方法を実装するためにプロセッサ１６０３によって実行可能である。命令１６０９ａを実行することは、メモリ１６０５に格納されるデータ１６０７ａの使用を含むことができる。プロセッサ１６０３が命令１６０９ａを実行するときには、命令１６０９ｂの様々な部分をプロセッサ１６０３にローディングすることができ、様々なデータ１６０７ａをプロセッサ１６０３にローディングすることができる。
【０１０２】
［００１１５］電子デバイス１６０２は、電子デバイス１６０２への信号の送信又は電子デバイス１６０２からの信号の受信を可能にするための送信機１６１１と受信機１６１３とを含む。送信機１６１１及び受信機１６１３は、トランシーバ１６１５として総称することができる。トランシーバ１６１５にはアンテナ１６１７を電気的に結合することができる。電子デバイスは、複数の送信機、複数の受信機、複数のトランシーバ及び／又は追加のアンテナを含むこともできる（示されていない）。
【０１０３】
［００１１６］電子デバイス１６０２は、デジタル信号プロセッサ（ＤＳＰ）１６２１を含むことができる。電子デバイス１６０２は、通信インタフェース１６２３も含むことができる。通信インタフェース１６２３は、ユーザが電子デバイス１６０２と対話するのを可能にすることができる。
【０１０４】
［００１１７］電子デバイス１６０２の様々なコンポーネントを１つ以上のバスによってまとめて結合することができ、それらは、電力バス、制御信号バス、状態信号バス、データバス、等を含むことができる。明確化を目的として、図１６では様々なバスがバスシステム１６１９として例示される。
【０１０５】
［００１１８］ここにおいて説明される技法は、直交多重方式に基づく通信システムを含む様々な通信システムに関して使用することができる。該通信システムの例は、直交周波数分割多元接続（ＯＦＤＭＡ）システム、単一搬送波周波数分割多元接続（ＳＣ−ＦＤＭＡ）システム、等を含む。ＯＦＤＭＡシステムは、直交周波数分割多重（ＯＦＤＭ）を利用し、それは、全体的なシステム帯域幅を複数の直交副搬送波に分割する変調技法である。これらの副搬送波は、トーン、ビン、等と呼ぶこともできる。ＯＦＤＭの場合は、各副搬送波は、データとともに独立して変調することができる。ＳＣ−ＦＤＭＡシステムは、システム帯域幅にわたって分布する副搬送波で送信するためにインターリービングされたＦＤＭＡ（ＩＦＤＭＡ）を、隣接する副搬送波の１つのブロックで送信するためにローカル化されたＦＤＭＡ（ＬＦＤＭＡ）を、又は、隣接する副搬送波の複数のブロックで送信するために拡張されたＦＤＭＡ（ＥＦＤＭＡ）を、利用することができる。概して、変調シンボルは、ＯＦＤＭの場合は周波数領域で及びＳＣ−ＦＤＭＡの場合は時間領域で送信される。
【０１０６】
［００１１９］本開示により、電子デバイス内の回路は、前の映像フレーム及び現在の映像フレームを比較することによって現在の映像フレームに関して動きに基づくトラッキングを行うように好適化することができる。同じ回路、異なる回路、又は、同じ回路又は異なる回路の第２の部分を、トラッキングされたパラメータに基づいて現在の映像内でオブジェクト検出を行うように好適化することができる。第２の部分は、有利なことに第１の部分に結合することができ、又は、第１の部分と同じ回路内において具現化することができる。さらに、同じ回路、異なる回路、又は、同じ回路又は異なる回路の第３の部分を、上述される機能を提供する回路又は回路の一部分の構成を制御するように好適化することができる。
【０１０７】
［００１２０］用語“決定する”は、非常に様々な行動を包含し、従って、“決定する”は、計算すること、演算すること、処理すること、導き出すこと、調査すること、検索すること（例えば、テーブル、データベース又は他のデータ構造における検索）、確認すること、等を含むことができる。さらに、“決定する”は、受信すること（例えば、情報を受信する）、アクセスすること（例えば、メモリ内のデータにアクセス）、等を含むことができる。さらに、“決定する”は、解決すること、選抜すること、選択すること、確立すること、等を含むことができる。
【０１０８】
［００１２１］句“〜に基づいて”は、別の明記がないかぎり、“〜のみに基づく”ことは意味しない。換言すると、句“〜に基づく”は、“〜のみに基づく”こと及び“少なくとも〜に基づく”ことの両方を表す。
【０１０９】
［００１２２］用語“プロセッサ”は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、ステートマシン、等を包含するように広範に解釈されるべきである。幾つかの状況下においては、“プロセッサ”は、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、等を意味することができる。用語“プロセッサ”は、処理デバイスの組み合わせ、例えば、ＤＳＰと、１つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサとの組合せ、又はあらゆるその他の構成を意味することができる。
【０１１０】
［００１２３］用語“メモリ”は、電子情報を格納することが可能なあらゆる電子的コンポーネントを包含するように広範に解釈されるべきである。用語メモリは、様々なタイプのプロセッサによって読み取り可能な媒体、例えば、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、非揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光学データ記憶装置、レジスタ、等、を意味することができる。メモリは、プロセッサがそのメモリから情報を読み取ること及び／又はそのメモリに情報を書き込むことができる場合にそのプロセッサと電子的通信状態にあると言われる。プロセッサに一体化されているメモリは、プロセッサと電子的通信状態にある。
【０１１１】
［００１２４］用語“命令”及び“コード”は、あらゆるタイプのコンピュータによって読み取り可能な命令を含むように広範に解釈されるべきである。例えば、用語“命令”及び“コード”は、１つ以上のプログラム、ルーチン、サブルーチン、関数、プロシージャ、等を意味することができる。“命令”及び“コード”は、単一のコンピュータによって読み取り可能な文又は数多くのコンピュータによって読み取り可能な文を備えることができる。
【０１１２】
［００１２５］ここにおいて説明される機能は、ハードウェアによって実行されるソフトウェア又はファームウェア内に実装することができる。それらの機能は、コンピュータによって読み取り可能な媒体において１つ以上の命令として格納することができる。用語“コンピュータによって読み取り可能な媒体”又は“コンピュータプログラム製品”は、コンピュータ又はプロセッサによってアクセスすることができるあらゆる有形な記憶媒体を意味する。例として、及び限定することなしに、コンピュータによって読み取り可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ又はその他の光ディスク記憶装置、磁気ディスク記憶装置又はその他の磁気記憶デバイス、又は、希望されるプログラムコードを命令又はデータ構造の形態で搬送又は格納するために使用することができ及びコンピュータによってアクセスすることができるあらゆるその他の媒体、を備えることができる。ここにおいて用いられるときのディスク（ｄｉｓｋ及びｄｉｓｃ）は、コンパクトディスク（ＣＤ）（ｄｉｓｃ）と、レーザーディスク（登録商標）（ｄｉｓｃ）と、光ディスク（ｄｉｓｃ）と、デジタルバーサタイルディスク（ＤＶＤ）（ｄｉｓｃ）と、フロッピー（登録商標）ディスク（ｄｉｓｋ）と、Ｂｌｕ−ｒａｙ（登録商標）ディスク（ｄｉｓｃ）と、を含み、ここで、ｄｉｓｋは、通常は磁気的にデータを複製し、ｄｉｓｃは、レーザを用いて光学的にデータを複製する。コンピュータによって読み取り可能な媒体は、有形及び非一時的であることができることが注目されるべきである。用語“コンピュータプログラム製品”は、コンピューティングデバイス又はプロセッサによって実行すること、処理すること又は計算することができるコード又は命令（例えば、“プログラム”）と組み合わさったそのコンピューティングデバイス又はプロセッサを意味する。ここにおいて使用される場合、用語“コード”は、コンピューティングデバイス又はプロセッサによって実行可能なソフトウェア、命令、コード又はデータを意味することができる。
【０１１３】
［００１２６］ソフトウェア又は命令は、送信媒体を通じて送信することもできる。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、より対線、デジタル加入者ライン（ＤＳＬ）、又は無線技術、例えば、赤外線、無線、及びマイクロ波、を用いてウェブサイト、サーバ、又はその他の遠隔ソースから送信される場合は、該同軸ケーブル、光ファイバケーブル、より対線、ＤＳＬ、又は無線技術、例えば赤外線、無線、及びマイクロ波、は、送信媒体の定義の中に含まれる。
【０１１４】
［００１２７］ここにおいて開示される方法は、説明される方法を達成するための１つ以上のステップ又は行動を備える。方法のステップ及び／又は行動は、請求項の範囲を逸脱することなしに互いに互換可能である。換言すると、説明されている方法の適切な動作のためにステップ又は行動の特定の順序が要求されないかぎり、特定のステップ及び／又は行動の順序及び／又は使用は、請求項の範囲を逸脱することなしに変更することができる。
【０１１５】
［００１２８］さらに、ここにおいて説明される方法及び技法を実行するためのモジュール及び／又はその他の該当する手段、例えば、図２Ａ、２Ｂ、３乃至６、１０、１１及び１４によって例示されるそれら、は、ダウンロードすること及び／又はデバイスによってその他の方法で入手することができることが評価されるべきである。例えば、デバイスは、ここにおいて説明される方法を実行するための手段の転送を容易にするためにサーバに結合することができる。代替として、ここにおいて説明される様々な方法は、記憶手段（例えば、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、物理的記憶媒体、例えば、コンパクトディスク（ＣＤ）又はフロッピーディスク、等）を介して提供することができ、従って、デバイスは、そのデバイスに記憶手段を結合するか又は提供した時点で様々な方法を入手することができる。
【０１１６】
［００１２９］請求項は、上において例示される正確な構成及びコンポーネントに限定されないことが理解されるべきである。請求項の範囲を逸脱することなしにここにおいて説明されるシステム、方法、及び装置の配置、動作及び詳細の様々な修正、変更及び変形を行うことができる。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ピクチャ処理のための方法であって、
第１のトラッキングエリアを得ることと、
第２のトラッキングエリアを得ることと、
前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングすることを開始することと、
前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うことと、を備える、方法。
［Ｃ２］
前記ピクチャ処理は、前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの前記部分が前記スレショルドよりも大きくなった時点で行われるＣ１に記載の方法。
［Ｃ３］
前記ピクチャ処理は、前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの前記部分が前記スレショルドよりも小さくなった時点で行われるＣ１に記載の方法。
［Ｃ４］
前記ピクチャ処理は、写真をキャプチャすることを備えるＣ１に記載の方法。
［Ｃ５］
前記写真は、前記予め記録された映像素材からキャプチャされるＣ４に記載の方法。
［Ｃ６］
前記写真は、ライブの素材からキャプチャされるＣ４に記載の方法。
［Ｃ７］
前記ピクチャ処理は、映像シーケンスを編集することを備えるＣ１に記載の方法。
［Ｃ８］
前記第１のトラッキングエリアによってトラッキングされたオブジェクトは、前記映像シーケンスから取り除かれるＣ７に記載の方法。
［Ｃ９］
前記第１のトラッキングエリアは、前記映像シーケンスの第１のフレームにおいて前記スレショルド超だけ前記第２のトラッキングエリアと重なり合っていると決定することと、
前記映像シーケンスの第２のフレームを選択することであって、前記第１のトラッキングエリアは、前記第２のフレーム内の前記第２のトラッキングエリアと重なり合わないことと、
前記第１のフレーム内の前記第１のトラッキングエリアを前記第２のフレームからの対応する置き換えエリアで置き換えることと、をさらに備えるＣ８に記載の方法。
［Ｃ１０］
前記第２のフレームは、前記第１のフレームよりも時間的に後に生じるＣ９に記載の方法。
［Ｃ１１］
前記第２のフレームは、前記第１のフレームよりも時間的に早く生じるＣ９に記載の方法。
［Ｃ１２］
前記編集された第１のフレームを編集された映像シーケンスの一部として格納することをさらに備えるＣ９に記載の方法。
［Ｃ１３］
前記第１のトラッキングエリア及び前記第２のトラッキングエリアは、フォーカスリングを介してユーザによって入られるＣ１に記載の方法。
［Ｃ１４］
前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングすることを開始することは、ユーザがタッチ画面から指を離した後に生じるＣ１に記載の方法。
［Ｃ１５］
前記第２のトラッキングエリアは、アクションラインを備えるＣ１に記載の方法。
［Ｃ１６］
ピクチャ処理のために構成された電子デバイスであって、
プロセッサと、
前記プロセッサと電子的通信状態にあるメモリと、
メモリに格納された命令であって、
第１のトラッキングエリアを得、
第２のトラッキングエリアを得、
前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングすることを開始し、及び
前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うために実行可能である命令と、を備える、電子デバイス。
［Ｃ１７］
前記ピクチャ処理は、前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの前記部分が前記スレショルドよりも大きくなった時点で行われるＣ１６に記載の電子デバイス。
［Ｃ１８］
前記ピクチャ処理は、前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの前記部分が前記スレショルドよりも小さくなった時点で行われるＣ１６に記載の電子デバイス。
［Ｃ１９］
前記ピクチャ処理は、写真をキャプチャすることを備えるＣ１６に記載の電子デバイス。
［Ｃ２０］
前記写真は、前記予め記録された映像素材からキャプチャされるＣ１９に記載の電子デバイス。
［Ｃ２１］
前記写真は、ライブの素材からキャプチャされるＣ１９に記載の電子デバイス。
［Ｃ２２］
前記ピクチャ処理は、映像シーケンスを編集することを備えるＣ１６に記載の電子デバイス。
［Ｃ２３］
前記第１のトラッキングエリアによってトラッキングされたオブジェクトは、前記映像シーケンスから取り除かれるＣ２２に記載の電子デバイス。
［Ｃ２４］
前記命令は、
前記第１のトラッキングエリアは、前記映像シーケンスの第１のフレームにおいて前記スレショルド超だけ前記第２のトラッキングエリアと重なり合っていると決定し、
前記映像シーケンスの第２のフレームを選択し、ここにおいて、前記第１のトラッキングエリアは、前記第２のフレーム内の前記第２のトラッキングエリアと重なり合わず、及び
前記第１のフレーム内の前記第１のトラッキングエリアを前記第２のフレームからの対応する置き換えエリアで置き換えるためにさらに実行可能であるＣ２３に記載の電子デバイス。
［Ｃ２５］
前記第２のフレームは、前記第１のフレームよりも時間的に後に生じるＣ２４に記載の電子デバイス。
［Ｃ２６］
前記第２のフレームは、前記第１のフレームよりも時間的に早く生じるＣ２４に記載の電子デバイス。
［Ｃ２７］
前記命令は、前記編集された第１のフレームを編集された映像シーケンスの一部として格納するためにさらに実行可能であるＣ２４に記載の電子デバイス。
［Ｃ２８］
前記第１のトラッキングエリア及び前記第２のトラッキングエリアは、フォーカスリングを介してユーザによって入られるＣ１６に記載の電子デバイス。
［Ｃ２９］
前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングすることを開始することは、ユーザがタッチ画面から指を離した後に生じるＣ１６に記載の電子デバイス。
［Ｃ３０］
前記第２のトラッキングエリアは、アクションラインを備えるＣ１に記載の電子デバイス。
［Ｃ３１］
ピクチャ処理のための装置であって、
第１のトラッキングエリアを得るための手段と、
第２のトラッキングエリアを得るための手段と、
前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングすることを開始するための手段と、
前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うための手段と、を備える、装置。
［Ｃ３２］
前記ピクチャ処理は、前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの前記部分が前記スレショルドよりも大きくなった時点で行われるＣ３１に記載の装置。
［Ｃ３３］
前記ピクチャ処理は、前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの前記部分が前記スレショルドよりも小さくなった時点で行われるＣ３１に記載の装置。
［Ｃ３４］
前記ピクチャ処理は、写真をキャプチャすることを備えるＣ３１に記載の装置。
［Ｃ３５］
前記ピクチャ処理は、映像シーケンスを編集することを備えるＣ３１に記載の装置。
［Ｃ３６］
前記第１のトラッキングエリアによってトラッキングされたオブジェクトは、前記映像シーケンスから取り除かれるＣ３５に記載の装置。
［Ｃ３７］
前記第１のトラッキングエリアは、前記映像シーケンスの第１のフレームにおいて前記スレショルド超だけ前記第２のトラッキングエリアと重なり合っていると決定するための手段と、
前記映像シーケンスの第２のフレームを選択するための手段であって、前記第１のトラッキングエリアは、前記第２のフレーム内の前記第２のトラッキングエリアと重なり合わない手段と、
前記第１のフレーム内の前記第１のトラッキングエリアを前記第２のフレームからの対応する置き換えエリアで置き換えるための手段と、をさらに備えるＣ３６に記載の装置。
［Ｃ３８］
ピクチャ処理のためのコンピュータプログラム製品であって、命令を有する非一時的なコンピュータによって読み取り可能な媒体を備え、前記命令は、
第１のトラッキングエリアを得ることを電子デバイスに行わせるためのコードと、
第２のトラッキングエリアを得ることを前記電子デバイスに行わせるためのコードと、
前記第１のトラッキングエリア及び前記第２のトラッキングエリアをトラッキングすることを開始することを前記電子デバイスに行わせるためのコードと、
前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの部分がスレショルドを通過した時点でピクチャ処理を行うことを前記電子デバイスに行わせるためのコードと、を備える、コンピュータプログラム製品。
［Ｃ３９］
前記ピクチャ処理は、前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの前記部分が前記スレショルドよりも大きくなった時点で行われるＣ３８に記載のコンピュータプログラム製品。
［Ｃ４０］
前記ピクチャ処理は、前記第２のトラッキングエリアと重なり合っている前記第１のトラッキングエリアの前記部分が前記スレショルドよりも小さくなった時点で行われるＣ３８に記載のコンピュータプログラム製品。
［Ｃ４１］
前記ピクチャ処理は、写真をキャプチャすることを備えるＣ３８に記載のコンピュータプログラム製品。
［Ｃ４２］
前記ピクチャ処理は、映像シーケンスを編集することを備えるＣ３８に記載のコンピュータプログラム製品。
［Ｃ４３］
前記第１のトラッキングエリアによってトラッキングされたオブジェクトは、前記映像シーケンスから取り除かれるＣ４２に記載のコンピュータプログラム製品。
［Ｃ４４］
前記命令は、
前記第１のトラッキングエリアは、前記映像シーケンスの第１のフレームにおいて前記スレショルド超だけ前記第２のトラッキングエリアと重なり合っていると決定することを前記電子デバイスに行わせるためのコードと、
前記映像シーケンスの第２のフレームを選択することを前記電子デバイスに行わせるためのコードであって、前記第１のトラッキングエリアは、前記第２のフレーム内の前記第２のトラッキングエリアと重なり合わないコードと、
前記第１のフレーム内の前記第１のトラッキングエリアを前記第２のフレームからの対応する置き換えエリアで置き換えることを前記電子デバイスに行わせるためのコードと、をさらに備えるＣ４３に記載のコンピュータプログラム製品。
【図１】
0006522595.tif 000011
【図２Ａ】
0006522595.tif 000012
【図２Ｂ】
0006522595.tif 000013
【図３】
0006522595.tif 000014
【図４】
0006522595.tif 000015
【図５】
0006522595.tif 000016
【図６】
0006522595.tif 000017
【図７】
0006522595.tif 000018
【図８】
0006522595.tif 000019
【図９】
0006522595.tif 000020
【図１０】
0006522595.tif 000021
【図１１】
0006522595.tif 000022
【図１２Ａ】
0006522595.tif 000023
【図１２Ｂ】
0006522595.tif 000024
【図１３】
0006522595.tif 000025
【図１４】
0006522595.tif 000026
【図１５】
0006522595.tif 000027
【図１６】
0006522595.tif 000028