(57)【特許請求の範囲】
【請求項１】
一連の画像内のターゲットを追跡するための方法であって、
モバイルデバイスによって、第１の画像をキャプチャすることであって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャすることと、
前記モバイルデバイスによって、前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することと、
前記モバイルデバイスによって、前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することと、
前記モバイルデバイスによって、前記姿勢情報を使用して前記第１の画像を修正することと、
前記モバイルデバイスによって、追跡テンプレートを作成するために前記修正された第１の画像をクロップすることと、
前記モバイルデバイスによって、前記第１の画像を使用して作成された前記追跡テンプレートを使用して、第２の画像内の前記ターゲットの位置を特定することと
を備える、方法。
【請求項２】
前記モバイルデバイスによって、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第１の画像の少なくとも一部分をリモートサーバに送信することと、
前記モバイルデバイスによって、前記リモートサーバから前記記憶された基準テンプレートを受信することと
を備える、請求項１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項３】
前記モバイルデバイスによって、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信することと、
前記モバイルデバイスによって、前記リモートサーバから前記記憶された基準テンプレートを受信することと
を備える、請求項１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項４】
前記モバイルデバイスによって、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第１の画像の少なくとも１つの記述子を、前記記憶された基準テンプレートの少なくとも１つの記述子と比較すること
を備える、請求項１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項５】
前記モバイルデバイスによって、前記第１の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信することと、
前記モバイルデバイスによって、前記記憶された基準テンプレートにリンクされた前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することと
をさらに備える、請求項１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項６】
前記モバイルデバイスによって、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することが、前記第２の画像を提示することと同時に、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示することを備える、請求項５に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項７】
前記第２の画像を提示することと同時に、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示することが、
拡張現実ディスプレイの使用と、
前記拡張現実ディスプレイ上の、前記記憶された基準テンプレートにリンクされた前記データの前記少なくとも前記一部分のディスプレイのロケーションが、前記第２の画像中の前記ターゲットのロケーションによって影響を及ぼされることと
を備える、請求項６に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項８】
前記追跡テンプレートを使用して、前記第２の画像内の前記ターゲットの位置を特定することに続いて、前記モバイルデバイスによって、前記追跡テンプレートを使用して、前記一連の画像の追加画像の各画像内の前記ターゲットの位置を特定することをさらに備える、請求項１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項９】
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムであって、プロセッサに、
第１の画像をキャプチャさせることであって、
ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャさせることと、
前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することと、
前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することと、
前記姿勢情報を使用して前記第１の画像を修正することと、
追跡テンプレートを作成するために前記修正された第１の画像をクロップすることと、
第２の画像をキャプチャさせることと、
前記第１の画像を使用して作成された前記追跡テンプレートを使用して、前記第２の画像内の前記ターゲットの位置を特定することと
を行わせるように構成されたプロセッサ可読命令を備える、コンピュータプログラム。
【請求項１０】
前記プロセッサに、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、
前記第１の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることとのためのプロセッサ可読命令を備える、請求項９に記載のコンピュータプログラム。
【請求項１１】
前記プロセッサに、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、
前記第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることとのためのプロセッサ可読命令を備える、請求項９に記載のコンピュータプログラム。
【請求項１２】
前記プロセッサに、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第１の画像の少なくとも１つの記述子を、前記記憶された基準テンプレートの少なくとも１つの記述子と比較すること
を行わせるように構成されたプロセッサ可読命令を備える、請求項９に記載のコンピュータプログラム。
【請求項１３】
前記プロセッサに、
前記第１の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信させることと、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることと
を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項９に記載のコンピュータプログラム。
【請求項１４】
前記プロセッサに、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、前記第２の画像が提示されることと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させるように構成されたプロセッサ可読命令を備える、請求項１３に記載のコンピュータプログラム。
【請求項１５】
前記プロセッサに、前記第２の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
拡張現実ディスプレイを使用することと、
前記第２の画像中の前記ターゲットのロケーションに基づいて、前記拡張現実ディスプレイ上の、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報のディスプレイのロケーションを調整することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項１４に記載のコンピュータプログラム。
【請求項１６】
前記プロセッサに、
前記追跡テンプレートを使用して、前記第２の画像内の前記ターゲットの位置を特定することに続いて、前記追跡テンプレートを使用して、一連の画像の各画像内の前記ターゲットの位置を特定すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項９に記載のコンピュータプログラム。
【請求項１７】
一連の画像内のターゲットを追跡するためのデバイスであって、
画像キャプチャデバイスと、
プロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって読取り可能なメモリであって、前記プロセッサによって実行されたとき、前記プロセッサに、
前記画像キャプチャデバイスによって第１の画像をキャプチャさせることであって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャさせることと、
前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することと、
前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することと、
前記姿勢情報を使用して前記第１の画像を修正することと、
追跡テンプレートを作成するために前記修正された第１の画像をクロップすることと、
第２の画像をキャプチャさせることと、
前記第１の画像を使用して作成された前記追跡テンプレートを使用して、前記第２の画像内の前記ターゲットの位置を特定することと
を行わせる一連のプロセッサ可読命令を記憶したメモリと
を備える、デバイス。
【請求項１８】
前記プロセッサに、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第１の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることと
を行わせるように構成されたプロセッサ可読命令を備える、請求項１７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項１９】
前記プロセッサに、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることと
を行わせるように構成されたプロセッサ可読命令を備える、請求項１７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項２０】
前記プロセッサに、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第１の画像の少なくとも１つの記述子を、前記記憶された基準テンプレートの少なくとも１つの記述子と比較すること
を行わせるように構成されたプロセッサ可読命令を備える、請求項１７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項２１】
前記プロセッサに、
前記第１の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信させることと、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることと
を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項１７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項２２】
前記プロセッサに、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、前記第２の画像が提示されることと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させるように構成されたプロセッサ可読命令を備える、請求項２１に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項２３】
前記プロセッサに、前記第２の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
拡張現実ディスプレイを使用することと、
前記第２の画像中の前記ターゲットのロケーションに基づいて、前記拡張現実ディスプレイ上の、前記データの前記少なくとも前記一部分のディスプレイのロケーションを調整することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項２２に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項２４】
前記プロセッサに、
前記追跡テンプレートを使用して、前記画像キャプチャデバイスによってキャプチャされた前記第２の画像内の前記ターゲットの位置を特定することに続いて、前記追跡テンプレートを使用して、前記画像キャプチャデバイスによってキャプチャされた前記一連の画像の各画像内の前記ターゲットの位置を特定すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項１７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項２５】
前記デバイスが、セルラーフォン、タブレットコンピュータ、およびスマートフォンからなるグループから選択される、請求項１７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項２６】
一連の画像内のターゲットを追跡するための装置であって、
第１の画像をキャプチャするための手段であって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャするための手段と、
前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出するための手段と、
前記第１の画像を使用して姿勢情報を生成するための手段であって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成するための手段と、
前記姿勢情報を使用して前記第１の画像を修正するための手段と、
追跡テンプレートを作成するために前記修正された第１の画像をクロップするための手段と、
前記第１の画像を使用して作成された前記追跡テンプレートを使用して、前記第１の画像をキャプチャするための前記手段によってキャプチャされた第２の画像内の前記ターゲットの位置を特定するための手段と
を備える、装置。
【請求項２７】
前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出するための前記手段が、
前記第１の画像をリモートサーバに送信するための手段と、
前記記憶された基準テンプレートを受信するための手段と
を備える、請求項２６に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【請求項２８】
前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出するための前記手段が、
前記第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信するための手段と、
前記記憶された基準テンプレートを受信するための手段と
を備える、請求項２６に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【請求項２９】
前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出するための前記手段が、
前記第１の画像の少なくとも１つの記述子を、前記記憶された基準テンプレートの少なくとも１つの記述子と比較するための手段
を備える、請求項２６に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【請求項３０】
前記第１の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信するための手段と、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段と
をさらに備える、請求項２６に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【請求項３１】
前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示するための前記手段が、前記第２の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示するための手段を備える、請求項３０に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【請求項３２】
前記第２の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための前記手段が、
拡張現実ディスプレイを使用するための手段と、
前記第２の画像中の前記ターゲットのロケーションに少なくとも部分的に基づいて、前記拡張現実ディスプレイ上の、前記データの前記少なくとも前記一部分のディスプレイのロケーションを調整するための手段と
を備える、請求項３１に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【請求項３３】
前記追跡テンプレートを使用して、前記第１の画像をキャプチャするための前記手段によってキャプチャされた前記一連の画像の各追加画像内の前記ターゲットの位置を特定するための手段
をさらに備える、請求項２６に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【請求項３４】
一連の画像内のターゲットを追跡するための方法であって、
コンピュータシステムによって、モバイルデバイスから第１の画像を受信することであって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記コンピュータシステムによって、前記第１の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別することと、
前記コンピュータシステムによって、前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することと、
前記コンピュータシステムによって、前記姿勢情報を使用して前記第１の画像を修正することと、
前記コンピュータシステムによって、前記第１の画像に基づいて追跡テンプレートを作成するために前記修正された第１の画像をクロップすることであって、前記追跡テンプレートが、前記モバイルデバイスによって前記一連の画像中で前記ターゲットを追跡するために使用される、クロップすることと、
前記コンピュータシステムによって、前記追跡テンプレートを前記モバイルデバイスに送信することと
を備える、方法。
【請求項３５】
前記コンピュータシステムによって、前記記憶された基準テンプレートを前記モバイルデバイスに送信すること
をさらに備える、請求項３４に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項３６】
前記コンピュータシステムによって、前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信すること
をさらに備える、請求項３４に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
【請求項３７】
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムであって、プロセッサに、
モバイルデバイスから第１の画像を受信することであって、
ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記第１の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別することと、
前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することと、
前記姿勢情報を使用して前記第１の画像を修正することと、
前記第１の画像に基づいて追跡テンプレートを作成するために前記修正された第１の画像をクロップすることであって、前記追跡テンプレートが、前記モバイルデバイスによって一連の画像中で前記ターゲットを追跡するために使用される、クロップすることと、
前記追跡テンプレートを前記モバイルデバイスに送信させることと
を行わせるように構成されたプロセッサ可読命令を備える、コンピュータプログラム。
【請求項３８】
前記プロセッサに、
前記記憶された基準テンプレートを前記モバイルデバイスに送信させることを行わせるように構成されたプロセッサ可読命令をさらに備える、請求項３７に記載のコンピュータプログラム。
【請求項３９】
前記プロセッサに、
前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信させること
を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項３７に記載のコンピュータプログラム。
【請求項４０】
一連の画像内のターゲットを追跡するためのデバイスであって、
プロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって読取り可能なメモリであって、前記プロセッサによって実行されたとき、前記プロセッサに、
モバイルデバイスから第１の画像を受信することであって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記第１の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別することと、
前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することと、
前記姿勢情報を使用して前記第１の画像を修正することと、
前記第１の画像に基づいて追跡テンプレートを作成するために前記修正された第１の画像をクロップすることであって、前記追跡テンプレートが、前記モバイルデバイスによって前記一連の画像中で前記ターゲットを追跡するために使用される、クロップすることと、
前記追跡テンプレートを前記モバイルデバイスに送信させることと
を行わせる一連のプロセッサ可読命令を記憶したメモリと
を備える、デバイス。
【請求項４１】
前記一連のプロセッサ可読命令が、前記プロセッサに、
前記記憶された基準テンプレートを前記モバイルデバイスに送信させることを行わせるように構成されたプロセッサ可読命令をさらに備える、請求項４０に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項４２】
前記一連のプロセッサ可読命令が、前記プロセッサに、
前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信させること
を行わせるように構成されたプロセッサ可読命令をさらに備える、請求項４０に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
【請求項４３】
一連の画像内のターゲットを追跡するための装置であって、
モバイルデバイスから第１の画像を受信するための手段であって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信するための手段と、
前記第１の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別するための手段と、
前記第１の画像を使用して姿勢情報を生成するための手段であって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成するための手段と、
前記姿勢情報を使用して前記第１の画像を修正するための手段と、
前記第１の画像に基づいて追跡テンプレートを作成するために前記修正された第１の画像をクロップするための手段であって、前記追跡テンプレートが、前記一連の画像中で前記ターゲットを追跡するために使用される、クロップするための手段と、
前記追跡テンプレートを前記モバイルデバイスに送信するための手段と
を備える、装置。
【請求項４４】
前記記憶された基準テンプレートを前記モバイルデバイスに送信するための手段
をさらに備える、請求項４３に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【請求項４５】
前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信するための手段
をさらに備える、請求項４３に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
相互参照
本特許協力条約出願は、「Dynamic Template Tracking」と題する、２０１１年３月４日に出願された米国仮出願第６１／４４９，５００号、代理人整理番号第１１１０１８Ｐ１号、および「Dynamic Template Tracking」と題する、２０１１年１２月２日に出願された米国非仮出願第１３／３１０，５２９号、代理人整理番号第１１１０１８号の優先権を主張する。これらの出願は、すべての目的のために全文が参照により組み込まれる。
【背景技術】
【０００２】
画像のセット内のターゲットの検出および追跡は、拡張現実（augmented reality）など、様々な目的のために有用であり得る。たとえば、ターゲットを検出し、追跡することは、現実世界の状況を追加情報で拡張するために使用され得る。画像キャプチャデバイスによってキャプチャされた画像は、画像キャプチャデバイスの視野中のエンティティに関係するグラフィックまたは音など、追加の感覚入力（sensory input）をユーザに与える情報で拡張され得る。拡張現実のいくつかの形態は、ユーザが追加の感覚入力で拡張することを望むエンティティに向けられているカメラを有するデバイスを伴う。拡張現実のこの形態を実行することは、第１に、画像内のエンティティを検出すること、第２に、後続の画像中でエンティティを追跡すること、および第３に、画像を追加情報で拡張することの少なくとも３つの段階を伴うことがある。画像内のターゲットを検出することに続いて、後続の画像中で、ターゲットの位置がシフトしたときおよび／またはターゲットのカメラのパースペクティブが変化したときにターゲットを追跡することは、信頼できないことがあり、および／またはプロセッサ集約的であり得る。
【発明の概要】
【０００３】
一連の画像内のターゲットを追跡するためのシステム、方法、デバイス、コンピュータプログラム、および装置について説明する。一連の画像内のターゲットを追跡するための方法の一例が提示され得る。本方法は、モバイルデバイスによって、第１の画像をキャプチャすることを含み得る。ターゲットが第１の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。本方法は、モバイルデバイスによって、第１の画像を使用して作成された追跡テンプレートを使用して、第２の画像内のターゲットの位置を特定することを含み得る。
【０００４】
そのような方法の実施形態は、以下のうちの１つまたは複数を含み得る。本方法は、モバイルデバイスによって、第１の画像を使用して、ターゲットを追跡するための追跡テンプレートを作成することを含み得る。本方法は、モバイルデバイスによって、第１の画像の少なくとも一部分をリモートサーバに送信することを含み得る。本方法は、モバイルデバイスによって、リモートサーバから第１の画像を使用して作成された追跡テンプレートを受信することを含み得る。本方法は、モバイルデバイスによって、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第１の画像内のターゲットを検出することを含み得る。モバイルデバイスによって、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第１の画像内のターゲットを検出することは、モバイルデバイスによって、第１の画像の少なくとも一部分をリモートサーバに送信することと、モバイルデバイスによって、リモートサーバから記憶された基準テンプレートを受信することとを備え得る。モバイルデバイスによって、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第１の画像内のターゲットを検出することは、モバイルデバイスによって、第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信することと、モバイルデバイスによって、リモートサーバから記憶された基準テンプレートを受信することとを備え得る。モバイルデバイスによって、記憶された基準テンプレートに対応する第１の画像内のターゲットを検出することは、モバイルデバイスによって、第１の画像の少なくとも１つの記述子を、記憶された基準テンプレートの少なくとも１つの記述子と比較することを備え得る。本方法は、モバイルデバイスによって、第１の画像内のターゲットを検出したことに少なくとも部分的に基づいて、記憶された基準テンプレートにリンクされたデータを受信することを含み得る。
【０００５】
そのような方法の実施形態はまた、以下のうちの１つまたは複数を含み得る。本方法は、モバイルデバイスによって、記憶された基準テンプレートにリンクされたデータの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することを含み得る。モバイルデバイスによって、記憶された基準テンプレートにリンクされたデータの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することは、第２の画像を提示することと同時に、記憶された基準テンプレートにリンクされたデータの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することを備え得る。第２の画像を提示することと同時に、記憶された基準テンプレートにリンクされたデータの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することは、拡張現実ディスプレイの使用と、拡張現実ディスプレイ上の、記憶された基準テンプレートにリンクされたデータの少なくとも一部分のディスプレイのロケーションが、第２の画像中のターゲットのロケーションによって影響を及ぼされることとを備え得る。本方法は、追跡テンプレートを使用して、第２の画像内のターゲットの位置を特定することに続いて、モバイルデバイスによって、追跡テンプレートを使用して、一連の画像の追加画像の各画像内のターゲットの位置を特定することを含み得る。本方法は、モバイルデバイスによって、第１の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを含み得る。本方法は、モバイルデバイスによって、姿勢情報を使用して第１の画像を修正することを含み得る。本方法は、モバイルデバイスによって、追跡テンプレートを作成するために第１の画像をクロップすることを含み得る。
【０００６】
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムの一例が提示され得る。本コンピュータプログラムは、プロセッサに、第１の画像をキャプチャさせることを行わせるように構成されたプロセッサ可読命令を備え得る。ターゲットが第１の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。プロセッサ可読命令は、プロセッサに、第２の画像をキャプチャさせることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、第１の画像を使用して作成された追跡テンプレートを使用して、第２の画像内のターゲットの位置を特定することを行わせるように構成され得る。
【０００７】
そのようなコンピュータプログラムの実施形態は、以下のうちの１つまたは複数を含み得る。プロセッサ可読命令は、プロセッサに、第１の画像を使用して、ターゲットを追跡するための追跡テンプレートを作成することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、第１の画像の少なくとも一部分をリモートサーバに送信させることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、リモートサーバから第１の画像を使用して作成された追跡テンプレートを受信することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第１の画像内のターゲットを検出することを行わせるように構成され得る。プロセッサに、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第１の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、第１の画像の少なくとも一部分をリモートサーバに送信させることと、リモートサーバから記憶された基準テンプレートを受信させることとのためのプロセッサ可読命令を備え得る。プロセッサに、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第１の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信させることと、リモートサーバから記憶された基準テンプレートを受信させることとのためのプロセッサ可読命令を備える。
【０００８】
そのようなコンピュータプログラムの実施形態はまた、以下のうちの１つまたは複数を含み得る。プロセッサに、記憶された基準テンプレートに対応する第１の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第１の画像の少なくとも１つの記述子を、記憶された基準テンプレートの少なくとも１つの記述子と比較することを行わせるように構成されたプロセッサ可読命令を備える。プロセッサ可読命令は、プロセッサに、第１の画像内のターゲットを検出したことに少なくとも部分的に基づいて、記憶された基準テンプレートにリンクされたデータを受信させることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成され得る。プロセッサに、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第２の画像が提示されることと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令を備え得る。プロセッサに、第２の画像を提示することと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令は、プロセッサに、拡張現実ディスプレイを使用することと、第２の画像中のターゲットのロケーションに基づいて、拡張現実ディスプレイ上の、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報のディスプレイのロケーションを調整することとを行わせるように構成されたプロセッサ可読命令をさらに備え得る。プロセッサ可読命令は、プロセッサに、追跡テンプレートを使用して、第２の画像内のターゲットの位置を特定することに続いて、追跡テンプレートを使用して、一連の画像の各画像内のターゲットの位置を特定することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、第１の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、姿勢情報を使用して第１の画像を修正することと、追跡テンプレートを作成するために第１の画像をクロップすることとを行わせるように構成され得る。
【０００９】
一連の画像内のターゲットを追跡するためのデバイスの一例が提示され得る。本デバイスは画像キャプチャデバイスを含み得る。本デバイスはプロセッサを含み得る。本デバイスは、プロセッサに通信可能に結合され、プロセッサによって読取り可能なメモリであって、プロセッサによって実行されたとき、プロセッサに、画像キャプチャデバイスによって第１の画像をキャプチャさせることを行わせる一連のプロセッサ可読命令を記憶したメモリを含み得る。ターゲットが第１の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。プロセッサ可読命令は、プロセッサによって実行されたとき、第２の画像をキャプチャさせることを行うように構成され得る。プロセッサ可読命令は、プロセッサによって実行されたとき、第１の画像を使用して作成された追跡テンプレートを使用して、第２の画像内のターゲットの位置を特定することを行うように構成され得る。
【００１０】
そのような方法の実施形態は、以下のうちの１つまたは複数を含み得る。プロセッサ可読命令は、プロセッサによって実行されたとき、プロセッサに、第１の画像を使用して、ターゲットを追跡するための追跡テンプレートを作成することを行わせるように構成され得る。本デバイスは、プロセッサに、第１の画像の少なくとも一部分をリモートサーバに送信させることと、リモートサーバから第１の画像を使用して作成された追跡テンプレートを受信することとを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、プロセッサに、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第１の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。プロセッサに、記憶された基準テンプレートに対応する第１の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第１の画像の少なくとも一部分をリモートサーバに送信させることと、リモートサーバから記憶された基準テンプレートを受信させることとを行わせるように構成されたプロセッサ可読命令を備え得る。プロセッサに、記憶された基準テンプレートに対応する第１の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信させることと、リモートサーバから記憶された基準テンプレートを受信させることとを行わせるように構成されたプロセッサ可読命令を備え得る。プロセッサに、記憶された基準テンプレートに対応する第１の画像内のターゲットを検出することを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第１の画像の少なくとも１つの記述子を、記憶された基準テンプレートの少なくとも１つの記述子と比較することを行わせるように構成されたプロセッサ可読命令を備え得る。
【００１１】
そのような方法の実施形態はまた、以下のうちの１つまたは複数を含み得る。本デバイスは、プロセッサに、第１の画像内のターゲットを検出したことに少なくとも部分的に基づいて、記憶された基準テンプレートにリンクされたデータを受信させることと、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることとを行わせるように構成されたプロセッサ可読命令をさらに備え得る。プロセッサに、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令は、プロセッサに、第２の画像が提示されることと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令を備え得る。プロセッサに、第２の画像を提示することと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることを行わせるように構成されたプロセッサ可読命令は、プロセッサに、拡張現実ディスプレイを使用することと、第２の画像中のターゲットのロケーションに基づいて、拡張現実ディスプレイ上の、データの少なくとも一部分のディスプレイのロケーションを調整することとを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、プロセッサに、追跡テンプレートを使用して、画像キャプチャデバイスによってキャプチャされた第２の画像内のターゲットの位置を特定することに続いて、追跡テンプレートを使用して、画像キャプチャデバイスによってキャプチャされた一連の画像の各画像内のターゲットの位置を特定することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、プロセッサに、第１の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、プロセッサに、追跡テンプレートを作成するために第１の画像を修正し、クロップすることを行わせるように構成されたプロセッサ可読命令をさらに備え得る。本デバイスは、セルラーフォン、タブレットコンピュータ、およびスマートフォンからなるグループから選択され得る。
【００１２】
一連の画像内のターゲットを追跡するための装置の一例が提示され得る。本装置は、第１の画像をキャプチャするための手段を含み得る。ターゲットが第１の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。本装置は、第１の画像を使用して作成された追跡テンプレートを使用して、第１の画像をキャプチャするための手段によってキャプチャされた第２の画像内のターゲットの位置を特定するための手段を含み得る。
【００１３】
そのような装置の実施形態は、以下のうちの１つまたは複数を含み得る。本装置は、第１の画像を使用して、ターゲットを追跡するための追跡テンプレートを作成するための手段を含み得る。本装置は、第１の画像の少なくとも一部分をリモートサーバに送信するための手段を含み得る。本装置は、リモートサーバから第１の画像を使用して作成された追跡テンプレートを受信するための手段を含み得る。本装置は、ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、第１の画像内のターゲットを検出するための手段を含み得る。記憶された基準テンプレートに対応する第１の画像内のターゲットを検出するための手段は、第１の画像をリモートサーバに送信するための手段と、記憶された基準テンプレートを受信するための手段とを備え得る。記憶された基準テンプレートに対応する第１の画像内のターゲットを検出するための手段は、第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信するための手段と、記憶された基準テンプレートを受信するための手段とを備え得る。記憶された基準テンプレートに対応する第１の画像内のターゲットを検出するための手段は、第１の画像の少なくとも１つの記述子を、記憶された基準テンプレートの少なくとも１つの記述子と比較するための手段を備え得る。本装置は、第１の画像内のターゲットを検出したことに少なくとも部分的に基づいて、記憶された基準テンプレートにリンクされたデータを受信するための手段を含み得る。本装置は、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段を含み得る。
【００１４】
そのような装置の実施形態はまた、以下のうちの１つまたは複数を含み得る。データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段は、第２の画像を提示することと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段を備え得る。第２の画像を提示することと同時に、データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段は、拡張現実ディスプレイを使用するための手段と、第２の画像中のターゲットのロケーションに少なくとも部分的に基づいて、拡張現実ディスプレイ上の、データの少なくとも一部分のディスプレイのロケーションを調整するための手段とを備え得る。本装置は、追跡テンプレートを使用して、第１の画像をキャプチャするための手段によってキャプチャされた一連の画像の各追加画像内のターゲットの位置を特定するための手段を含み得る。本装置は、第１の画像を使用して姿勢情報を生成するための手段であって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成するための手段を含み得る。本装置は、姿勢情報を使用して第１の画像を修正するための手段を含み得る。本装置は、追跡テンプレートを作成するために第１の画像をクロップするための手段を含み得る。
【００１５】
一連の画像内のターゲットを追跡するための方法の一例が提示され得る。本方法は、コンピュータシステムによって、モバイルデバイスから第１の画像を受信することを含み得る。ターゲットが第１の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。本方法は、コンピュータシステムによって、第１の画像に基づいて追跡テンプレートを作成することであって、追跡テンプレートが、モバイルデバイスによって一連の画像中でターゲットを追跡するために使用される、作成することを含み得る。本方法は、コンピュータシステムによって、追跡テンプレートをモバイルデバイスに送信することを含み得る。
【００１６】
そのような方法の実施形態は、以下のうちの１つまたは複数を含み得る。本方法は、コンピュータシステムによって、第１の画像を使用して、ターゲットに対応する記憶された基準テンプレートを識別することを含み得る。本方法は、コンピュータシステムによって、記憶された基準テンプレートをモバイルデバイスに送信することを含み得る。本方法は、コンピュータシステムによって、記憶された基準テンプレートにリンクされたデータをモバイルデバイスに送信することを含み得る。本方法は、コンピュータシステムによって、第１の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを含み得る。追跡テンプレートを作成することは、コンピュータシステムによって、姿勢情報を使用して第１の画像を修正することを備え得る。追跡テンプレートを作成することは、コンピュータシステムによって、修正された第１の画像をクロップすることをさらに備え得る。
【００１７】
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムの一例が提示され得る。本コンピュータプログラムは、プロセッサに、モバイルデバイスから第１の画像を受信することを行わせるように構成されたプロセッサ可読命令を備え得る。第１の画像はターゲットであり得る。ターゲットは、追跡されるべきエンティティであり得る。プロセッサ可読命令は、プロセッサに、第１の画像に基づいて追跡テンプレートを作成することであって、追跡テンプレートが、モバイルデバイスによって一連の画像中でターゲットを追跡するために使用される、作成することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、追跡テンプレートをモバイルデバイスに送信させることを行わせるように構成され得る。
【００１８】
そのようなコンピュータプログラムの実施形態は、以下のうちの１つまたは複数を含み得る。プロセッサ可読命令は、プロセッサに、第１の画像を使用して、ターゲットに対応する記憶された基準テンプレートを識別することを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、記憶された基準テンプレートをモバイルデバイスに送信させることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、記憶された基準テンプレートにリンクされたデータをモバイルデバイスに送信させることを行わせるように構成され得る。プロセッサ可読命令は、プロセッサに、第１の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを行わせるように構成され得る。プロセッサに、第１の画像に基づいて追跡テンプレートを作成することを行わせるように構成されたプロセッサ可読命令は、姿勢情報を使用して第１の画像を修正することを行うように構成されたプロセッサ可読命令を備え得る。プロセッサに、第１の画像に基づいて追跡テンプレートを作成することを行わせるように構成されたプロセッサ可読命令は、修正された第１の画像をクロップすることを行うように構成されたプロセッサ可読命令を備え得る。
【００１９】
一連の画像内のターゲットを追跡するためのデバイスの一例が提示され得る。本デバイスはプロセッサを含み得る。本デバイスは、プロセッサに通信可能に結合され、プロセッサによって読取り可能なメモリであって、プロセッサによって実行されたとき、プロセッサに、モバイルデバイスから第１の画像を受信することを行わせる一連のプロセッサ可読命令を記憶したメモリを含み得る。ターゲットが第１の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。プロセッサ可読命令は、プロセッサに、第１の画像に基づいて追跡テンプレートを作成することであって、追跡テンプレートが、モバイルデバイスによって一連の画像中でターゲットを追跡するために使用される、作成することを行わせるようにさらに構成され得る。プロセッサ可読命令は、プロセッサに、追跡テンプレートをモバイルデバイスに送信させることを行わせるようにさらに構成され得る。
【００２０】
そのようなデバイスの実施形態は、以下のうちの１つまたは複数を含み得る。一連のプロセッサ可読命令は、プロセッサに、第１の画像を使用して、ターゲットに対応する記憶された基準テンプレートを識別することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。一連のプロセッサ可読命令は、プロセッサに、記憶された基準テンプレートをモバイルデバイスに送信させることを行わせるように構成されたプロセッサ可読命令をさらに備え得る。一連のプロセッサ可読命令は、プロセッサに、記憶された基準テンプレートにリンクされたデータをモバイルデバイスに送信させることを行わせるように構成されたプロセッサ可読命令をさらに備え得る。一連のプロセッサ可読命令は、プロセッサに、第１の画像を使用して姿勢情報を生成することであって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成することを行わせるように構成されたプロセッサ可読命令をさらに備え得る。プロセッサに、第１の画像に基づいて追跡テンプレートを作成することを行わせるように構成されたプロセッサ可読命令は、姿勢情報を使用して第１の画像を修正することを行うように構成されたプロセッサ可読命令を備え得る。プロセッサに、第１の画像に基づいて追跡テンプレートを作成することを行わせるように構成されたプロセッサ可読命令は、修正された第１の画像をクロップすることを行うように構成されたプロセッサ可読命令を備え得る。
【００２１】
一連の画像内のターゲットを追跡するための装置の一例が提示され得る。本装置は、モバイルデバイスから第１の画像を受信するための手段を含み得る。ターゲットが第１の画像内にあり得る。ターゲットは、追跡されるべきエンティティであり得る。本装置は、第１の画像に基づいて追跡テンプレートを作成するための手段であって、追跡テンプレートが、一連の画像中でターゲットを追跡するために使用される、作成するための手段を含み得る。本装置は、追跡テンプレートをモバイルデバイスに送信するための手段を含み得る。
【００２２】
そのような装置の実施形態は、以下のうちの１つまたは複数を含み得る。本装置は、第１の画像を使用して、ターゲットに対応する記憶された基準テンプレートを識別するための手段を含み得る。本装置は、記憶された基準テンプレートをモバイルデバイスに送信するための手段を含み得る。本装置は、記憶された基準テンプレートにリンクされたデータをモバイルデバイスに送信するための手段を含み得る。本装置は、第１の画像を使用して姿勢情報を生成するための手段であって、姿勢情報が、記憶された基準テンプレートとターゲットとの間の関係を表す、生成するための手段を含み得る。追跡テンプレートを作成するための手段は、姿勢情報を使用して第１の画像を修正するための手段を備え得る。追跡テンプレートを作成するための手段は、修正された第１の画像をクロップするための手段をさらに備え得る。
【００２３】
以下の図面を参照すれば、本発明の性質および利点のさらなる理解が得られ得る。添付の図において、同様の構成要素または特徴は同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、参照ラベルの後に、ダッシュと、それらの同様の構成要素同士を区別する第２のラベルとを続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、その説明は、第２の参照ラベルにかかわらず、同じ第１の参照ラベルを有する同様の構成要素のうちのいずれか１つに適用可能である。
【図面の簡単な説明】
【００２４】
【図１】エンティティを検出し、追跡するように構成されたモバイルデバイスの一実施形態を示す図。
【図２】動的テンプレート追跡のために構成されたシステムの一実施形態を示す図。
【図３】キャプチャされた画像の一実施形態を示す図。
【図４】図３のキャプチャされた画像中のターゲットを表す基準テンプレートの一実施形態を示す図。
【図５】キャプチャされた画像の別の実施形態を示す図。
【図６】修正された、図５のキャプチャされた画像の一実施形態を示す図。
【図７】クロップされた、図６の修正された画像の一実施形態を示す図。
【図８】動的テンプレート追跡のための方法の一実施形態を示す図。
【図９】モバイルデバイスによって実行される動的テンプレート追跡のための方法の一実施形態を示す図。
【図１０】リモートサーバと通信しているモバイルデバイスによって実行される動的テンプレート追跡のための方法の一実施形態を示す図。
【図１１】リモートサーバと通信しているモバイルデバイスによって実行される動的テンプレート追跡のための方法の別の実施形態を示す図。
【図１２】コンピュータシステムの一実施形態を示す図。
【発明を実施するための形態】
【００２５】
画像のセット内のターゲットを検出し、追跡することは、拡張現実など、様々な目的のために有用であり得る。ターゲットと呼ばれる、追跡されることが望まれるエンティティが検出されると、後続の画像内のターゲットのロケーションが追跡され得る。たとえば、ユーザが、セルラーフォンなどのモバイルデバイスのカメラをエンティティの概略的な方向に向けている場合、エンティティは、最初にターゲットとして検出され、次いで、後続の画像中で追跡され得る。後続の画像内のエンティティのロケーションは、モバイルデバイスを保持するユーザの動きおよび／または追跡されているターゲットの動きにより変化し得る。
【００２６】
拡張現実の様々な形態は、画像内のエンティティが検出され、後続の画像中で追跡されることに依拠し得る。追加情報を含んでいるそのような画像がユーザに表示され得る（すなわち、追加情報で画像を拡張する）。ユーザに提示される追加情報は、どのエンティティが画像中に存在するかに少なくとも部分的に基づき得る。そのようなエンティティは、ターゲットとして検出され、後続のキャプチャされた画像中で追跡され得る。追加情報は、ターゲットと同時にユーザに提示され得る。したがって、ターゲットが後続の画像中で追跡されているとき、ユーザに提示される追加情報のロケーションは、後続の画像内のターゲットのロケーションによって影響を及ぼされ得る。
【００２７】
一例として、ムービーレンタルストアを訪問している間、ユーザは、セルラーフォンなどのモバイルデバイスのカメラをＤＶＤケースに向け得る。ＤＶＤケースに向けられている間、モバイルデバイスは、（ＤＶＤケースが、記憶された基準テンプレートに十分類似するので）ＤＶＤケースをターゲットとして検出し、その特定のＤＶＤケースのムービーにリンクされた情報を検索し得る。この例では、情報はＤＶＤのためのムービートレーラである。セルフォンのカメラによってキャプチャされた後続の画像中でＤＶＤケースが可視である間、ムービーのトレーラの再生が、その後キャプチャされた画像の上に重ねられ、トレーラのサウンドトラックが、場合によっては、セルフォンのオーディオシステムによって音声として再生される。したがって、後続の画像がモバイルデバイスのディスプレイスクリーンを介してユーザに表示されるとき、ユーザは、ＤＶＤケースの上に重なったムービーのトレーラを見ることができる。ユーザがモバイルデバイスおよびそれのカメラを移動したとき、ターゲットとして識別されたＤＶＤケースは、後続のキャプチャされた画像中で追跡され続ける。ディスプレイスクリーン上に提示されたトレーラの配置および／またはパースペクティブは、後続の画像内のＤＶＤケースのロケーションが変化したとき、トレーラがＤＶＤケース上に直接表示されるように見えるように調整される。ユーザが、モバイルデバイスのカメラによってキャプチャされた画像中に第２のＤＶＤケースが存在するようにセルフォンを移動した場合、第２のＤＶＤケースに関連するムービーに関連するトレーラが、第２のＤＶＤケースの上に重ねられ得る。
【００２８】
上記の例は、拡張現実とともに使用する、エンティティの検出および追跡の１つの可能な適用例を表す。より一般的には、拡張現実は、現実世界のエンティティを追加情報で補足するために使用され得る。そのような現実世界のエンティティはほぼ無限である。バーコード、消費者製品、ポスター、広告、星座、建築物、ランドマーク、人々、テキスト、および記号はすべて、ビデオ、テキスト、および／またはオーディオなどの追加情報で拡張され得るエンティティであり得る。拡張現実のほかに、本明細書で説明するエンティティの検出および追跡のための構成は、追加の用途を有し得る。
【００２９】
カメラが画像をキャプチャし、その画像の上に追加情報が重ねられる場合、検出および追跡は、追加情報に関連するターゲットを追跡するために実行され得る。検出では、コンピュータデバイスが、画像中に存在する１つまたは複数のエンティティを識別することを試みる。（「ターゲット」と呼ばれる）エンティティが画像中で認識されると、追跡が実行され得る。ターゲットは、１つまたは複数のその後キャプチャされた画像中で追跡され得る。一般に、ターゲットの追跡は、ターゲットの検出よりも少ない処理を使用する。
【００３０】
検出のいくつかの形態では、カメラによってキャプチャされた画像からの情報（たとえば、キーポイント、記述子）は、記憶された基準テンプレートにリンクされた情報（たとえば、キーポイント、記述子）と比較される。記憶された基準テンプレートが一致である（たとえば、ある量の許容差内で類似する）ことがわかった場合、記憶された基準テンプレートは、カメラによってキャプチャされた後続の画像中での追跡のために使用され得る。しかしながら、追跡のための記憶された基準テンプレートの使用は、良好な追跡のためには有効でないことがある。たとえば、記憶された基準テンプレートは、カメラによってキャプチャされた画像中に存在するターゲットに類似し得、「一致」と見なされ得るが、記憶された基準テンプレートとターゲットとの間の差異が、後続の画像中での追跡に悪影響を及ぼし得る。
【００３１】
したがって、記憶された基準テンプレートが、画像中に現れるターゲットに一致させられた後、追跡のために記憶された基準テンプレートを使用するのではなく、追跡テンプレートが画像から作成され得る。したがって、追跡テンプレートは、実際のターゲットの画像を使用して作成されたので、追跡テンプレートは、ターゲットに極めてぴったり一致することが予想され得る。したがって、使用されている追跡テンプレートが基準テンプレートよりもターゲットに類似するので、追跡はより良好になり得、および／またはあまりプロセッサ集約的にならないことがある。基準テンプレートおよび／または基準テンプレートに関連する情報は、検索され、場合によっては拡張現実ディスプレイの一部として、ユーザに提示され得る。
【００３２】
図１に、動的テンプレート追跡を使用して、エンティティを検出し、追跡するように構成されたモバイルデバイス１１０−１を含むシステム１００の一実施形態を示す。システム１００は、１つまたは複数のエンティティを検出し、追跡する（たとえば、複数の画像中で位置を特定する）ように構成された例示的な構成である。図示の実施形態では、エンティティは、エンティティに関係する追加情報が拡張現実ディスプレイを介してユーザに提示され得るように、識別され、追跡される。
【００３３】
モバイルデバイス１１０−１はユーザ１３０によって保持されている（簡単のために、図１ではユーザの手のみを示す）。モバイルデバイス１１０−１は、スマートフォンなどのセルラーフォンであり得る。モバイルデバイス１１０−１はまた、ポータブル音楽プレーヤ、ハンドヘルドゲームデバイス、タブレットコンピュータ、ラップトップコンピュータ、またはＰＤＡなど、画像をキャプチャすることとユーザ１３０に画像を表示することとが可能な何らかの他のタイプのポータブル電子デバイスであり得る。モバイルデバイス１１０−１は画像キャプチャデバイス１２０を含む。画像キャプチャデバイス１２０は、静止画像および／またはビデオをキャプチャするように構成され得る。いくつかの実施形態では、画像キャプチャデバイス１２０は、毎秒約３０個の画像をキャプチャすることが可能である。画像キャプチャデバイス１２０の視野は、想像線１７０−１および１７０−２によって示されている。
【００３４】
システム１００では、モバイルデバイス１１０−１の画像キャプチャデバイス１２０は、ＤＶＤケース１４０を含む１つまたは複数の画像（たとえば、ビデオまたは一連の静止画像であり得る、一連の画像）をキャプチャしている。画像の一部または全部は、モバイルデバイス１１０−１のディスプレイスクリーンを介してユーザ１３０に提示され得る。ＤＶＤケース１４０は、ＤＶＤタイトル１６０とグラフィックデザイン１５０とを表示する。ＤＶＤタイトル１６０およびグラフィックデザイン１５０は、（「ビデオコンテンツ」と総称される）特定のムービーまたはＴＶショーに固有であり得る。したがって、ＤＶＤケース１４０の、画像キャプチャデバイス１２０によってキャプチャされた画像は、（たとえば、ＤＶＤケース１４０に固有のデータを指定するようにユーザ１３０に要求することなしに）ＤＶＤケース１４０に関連するビデオコンテンツを識別するのに十分な情報を含んでいることがある。モバイルデバイス１１０−１のディスプレイ（図示せず）は、（ＤＶＤタイトル１６０とグラフィックデザイン１５０とを含む）ＤＶＤケース１４０を含む画像キャプチャデバイス１２０の視野をユーザ１３０に表示し得る。図２のシステム２００などのシステムが、１）ＤＶＤケース１４０など、モバイルデバイス１１０−１の視野中のエンティティを識別するため、２）ＤＶＤケース１４０の前の画像のために作成された追跡テンプレートを使用して、画像キャプチャデバイス１２０によってキャプチャされた後続の画像中でＤＶＤケース１４０を追跡するため、３）ＤＶＤケース１４０に関連する、ビデオコンテンツなどの追加データを識別するため、および４）モバイルデバイス１１０−１の拡張現実ディスプレイを介してなど、ユーザに追加データを提示するために使用され得る。追加情報がムービートレーラである場合、ムービートレーラは、モバイルデバイス１１０−１のディスプレイスクリーン上のＤＶＤケース１４０の一部または全部の上に重ねられ得る。たとえば、ＤＶＤトレーラはグラフィックデザイン１５０の上に重なり得る（したがって、少なくとも部分的にグラフィックデザイン１５０を隠し得る）。ＤＶＤタイトル１６０は、ユーザ１３０にとってモバイルデバイス１１０−１のディスプレイ上で可視のままになり得る。ユーザ１３０の手がモバイルデバイス１１０−１を移動したとき、画像キャプチャデバイス１２０によってキャプチャされた画像内のＤＶＤケース１４０の位置は変化し得る。したがって、モバイルデバイス１１０−１を介して表示されるトレーラの配置およびパースペクティブは調整され得る。
【００３５】
図１のシステム１００は、動的テンプレート追跡を実行するモバイルデバイスの可能な適用例を表す。ただし、システム１００は一例にすぎないことを理解されたい。ＤＶＤカバーの拡張現実のほかに、多くの他の適用例が可能であり得る。たとえば、バーコード、テキスト、製品、人々、広告、建築物、ランドマーク、および／または記号の画像は、動的テンプレート追跡および／または拡張現実のための他の実施形態において使用され得る他のエンティティであり得る。
【００３６】
モバイルデバイス１１０−１によってキャプチャされた画像内のターゲットを検出するために、画像から導出された情報が、記憶された基準情報と比較され得る。たとえば、モバイルデバイス１１０−１によってキャプチャされた画像内の様々なキーポイントは、キーポイントの一部または全部の近傍におけるルミネセンスの階調度（gradient）を詳述する記述子の作成とともに、代表的な記憶された基準テンプレートを識別するために使用され得る。キャプチャされた画像からの１つまたは複数のキーポイントおよび／または記述子は、１つまたは複数の記憶された基準テンプレートからの１つまたは複数のキーポイントおよび／または記述子と比較され得る。モバイルデバイス１１０−１によってキャプチャされた画像のキーポイントおよび／または記述子と基準テンプレートのキーポイントおよび／または記述子との間の比較は、モバイルデバイス１１０−１によってキャプチャされた画像中に存在するターゲットを表す可能性のある基準テンプレートが識別されることを可能にし得る。モバイルデバイス１１０−１によってキャプチャされた画像中のエンティティを「表す」基準テンプレートは、基準テンプレートとキャプチャされた画像中のエンティティとが追加情報の同じセットにリンクされることが予想されるのに十分、キャプチャされた画像中のエンティティに類似する基準テンプレートであり得る。これの一例として、同じムービーのためのＤＶＤケースとムービーポスターの記憶された基準テンプレートとについて考える。ケース上の情報の構成と基準テンプレート上の情報の構成とは異なり得るが（たとえば、異なるロケーション、わずかに異なるグラフィック）、ＤＶＤケースと基準テンプレートの両方は、基準テンプレートにリンクされた追加情報であり得る同じムービートレーラに関係する。したがって、基準テンプレートはＤＶＤケースとの差異を有するが、両方は、同じ基礎をなす情報（同じムービー）に関係し、基準テンプレートにリンクされたトレーラはＤＶＤケースに関係する。
【００３７】
図２に、動的テンプレート追跡のために構成されたシステム２００の一実施形態を示す。システム２００は、モバイルデバイス１１０、ワイヤレスネットワーク２１０、ネットワーク２２０、リモートサーバ２３０、および基準データベース２４０などの構成要素を含み得る。
【００３８】
モバイルデバイス１１０は、ワイヤレスネットワーク２１０とワイヤレス通信することができる。ワイヤレスネットワーク２１０はセルラーネットワークを表し得る。いくつかの実施形態では、モバイルデバイス１１０の一部または全部は、家庭用Ｗｉ−Ｆｉネットワークなどのローカルワイヤレスネットワークと通信し得る。ワイヤレスネットワークの他の実施形態も可能である。ワイヤレスネットワーク２１０は、ネットワーク２２０を介してリモートサーバ２３０と通信し得る。ネットワーク２２０は、（インターネットなどの）公衆ネットワーク、（企業内イントラネットなどの）プライベートネットワーク、またはそれらの何らかの組合せを表し得る。
【００３９】
リモートサーバ２３０は、モバイルデバイス１１０が、動的テンプレート追跡を実行するときにそれと通信するように構成されたコンピュータシステムを表し得る。リモートサーバ２３０は、ローカルで記憶された、記憶された基準テンプレートを有し得るか、または記憶された基準テンプレートへのリモートアクセスを有し得る。基準テンプレートは基準データベース２４０−１に記憶され得る。基準テンプレートは、モバイルデバイス１１０によってキャプチャされた画像中のターゲットであり得るエンティティの画像（またはキーポイントおよび記述子）のセットであり得る。たとえば、様々なエンティティの数十個、数百個、数千個、さらには数十万個の画像（またはキーポイントおよび記述子）が基準テンプレートとして記憶され得る。これらの基準テンプレートの一部または全部が追加情報にリンクされ得る。多数の基準テンプレートが存在する場合、基準データベース２４０−１は著しく大きい記憶容量を必要とし得る。各基準テンプレートは、それに関連する（１００個のキーポイントなどの）様々なキーポイントと、それらのキーポイントの一部または全部に関連する記述子とを有し得る。これらのキーポイントおよび記述子は、基準テンプレートが、ある量の許容差内で、モバイルデバイス１１０−１によってキャプチャされた画像中に存在するエンティティを表すかどうかを判断するために使用され得る。いくつかの実施形態では、基準テンプレートは、エンティティをターゲットとして識別するのに十分な情報を含んでおり、基準テンプレートが表すエンティティの画像を含んでいない。
【００４０】
いくつかの実施形態では、基準データベース２４０−１が、リモートサーバ２３０と通信し、ワイヤレスネットワーク２１０およびネットワーク２２０を介してモバイルデバイス１１０によってアクセス可能であるのではなく、基準テンプレートがモバイルデバイスによってローカルで記憶され得る。モバイルデバイス１１０−１を参照すると、基準データベース２４０−２はローカルで記憶され得る。基準データベース２４０−２は、基準データベース２４０−１と同様のデータを含み得る。いくつかの実施形態では、基準データベース２４０−２は、代表的な基準テンプレートについて最初に探索され得、何も見つからなかった場合、基準データベース２４０−１が探索され得る。基準データベース２４０−２のみが使用される場合、リモートサーバ２３０との通信は必要でないことがある。基準データベース２４０−２にローカルで記憶された基準テンプレートは、モバイルデバイス１１０−１において利用可能な記憶空間の量により、基準データベース２４０−１に記憶された基準テンプレートよりも数が少ないことがある。基準データベース２４０はまた、各基準テンプレートにリンクされた追加データを記憶し得る。いくつかの実施形態では、そのようなデータは、別個のストレージ構成に記憶される。
【００４１】
モバイルデバイス１１０は、図示のように３つのモバイルデバイスを含み得る。モバイルデバイス１１０のこの数は例示のためのものにすぎず、より多いまたはより少ないモバイルデバイスが存在し得る。モバイルデバイス１１０−１は、追加の構成要素を有するものとして示されている。他のモバイルデバイスも、これらまたは同様の構成要素を有し得る。モバイルデバイス１１０−１は、プロセッサ２１２と、画像キャプチャデバイス１２０と、ディスプレイ２１４と、基準データベース２４０−２とを含んでいる。プロセッサ２１２は、キーポイントおよび／または記述子を識別するためになど、画像キャプチャデバイス１２０によってキャプチャされた画像を処理するために使用され得る。画像キャプチャデバイス１２０は、静止画像および／またはビデオ（たとえば、前の画像のすぐ後にキャプチャされた一連の画像）をキャプチャし得る。ディスプレイ２１４は、画像キャプチャデバイス１２０によってキャプチャされた画像の一部または全部をユーザに提示するために使用され得る。ディスプレイ２１４は、リモートサーバ２３０から検索されたデータがその上に重ねられた、画像キャプチャデバイス１２０によってキャプチャされた画像など、拡張現実ディスプレイをユーザに提示するために使用され得る。ディスプレイ２１４は、モバイルデバイスのディスプレイスクリーンであり得る。いくつかの実施形態では、ディスプレイは、ユーザによって着用される眼鏡など、何らかの形態のヘッドマウントディスプレイであり得る。そのような実施形態では、画像キャプチャデバイスは、眼鏡に取り付けられ、および／または（画像キャプチャデバイス１２０が、ユーザが見ている可能性のあるものと同様のシーンを含んでいる画像をキャプチャするように）眼鏡が面する方向に向けられ得る。基準データベース２４０−２は、画像キャプチャデバイス１２０によってキャプチャされた画像中のターゲットを識別するための基準テンプレートを記憶するために使用され得る。
【００４２】
いくつかの実施形態では、モバイルデバイス１１０−１によってキャプチャされた画像の処理は、モバイルデバイス１１０−１によって実行される。他の実施形態では、画像処理の一部または全部は、リモートサーバ２３０によってなど、リモートで実行され得る。そのような実施形態では、モバイルデバイス１１０−１は、処理のために、キャプチャされた画像をリモートサーバ２３０に送信し得る。リモートサーバ２３０による処理に続いて、追跡がモバイルデバイス１１０−１によってローカルで実行され得る。
【００４３】
図３に、モバイルデバイスによってキャプチャされた画像３００の一実施形態を示す。この実施形態では、ユーザは、図１のモバイルデバイス１１０−１などのモバイルデバイスを使用して、ムービーポスター３１０の画像をキャプチャした。図示の実施形態では、ムービーポスター３１０は、「スーパーアクションムービー：復讐」と呼ばれるムービーのものである。ムービーポスター３１０上には、ムービーに関連するグラフィックがある。画像をキャプチャするために使用されるモバイルデバイスを操作するユーザが、ポスターに対して斜めから画像をキャプチャしたので、ムービーポスター３１０は歪んだように見える。ムービーポスター３１０に加えて、他のエンティティが、キャプチャされた画像中に存在し得る。一例として、２つのライト３２０が示されている。
【００４４】
モバイルデバイスによってキャプチャされたこの画像から、（モバイルデバイスによってローカルで、または図２のリモートサーバ２３０などのリモートサーバによって）キーポイントおよび／または記述子が識別され得る。キーポイントおよび／または記述子は、ローカルまたはリモートのいずれかで記憶された基準テンプレートを識別するために使用され得る。基準テンプレートは、それぞれ基準データベース２４０−２または基準データベース２４０−１など、モバイルデバイスまたはリモートストレージデバイスのいずれかによって複数の基準テンプレートの中で記憶され得る。
【００４５】
図４に、基準テンプレート４００の一実施形態を示す。基準テンプレート４００は、ムービー「スーパーアクションムービー：復讐」のための、突出したＤＶＤをもつＤＶＤケースの画像である。基準テンプレート４００は、図３の画像３００にリンクされたキーポイントおよび／または記述子と、図４の基準テンプレート４００にリンクされたキーポイントおよび／または記述子との類似度に基づいて、複数の基準テンプレートから選択されていることがある。したがって、図４の識別された基準テンプレート４００は、図３の画像３００のＤＶＤカバーに正しく関係する。ムービーポスター３１０と基準テンプレート４００のＤＶＤケースとは異なるエンティティであるが、両方は、同じ基礎をなす情報、すなわちムービー「スーパーアクションムービー：復讐」に関係する。したがって、ムービーのためのトレーラなど、基準テンプレート４００に関係する情報は、ムービーポスターに関係する可能性がある。
【００４６】
図３のターゲット（ムービーポスター３１０）と図４の基準テンプレート４００との間の差異が存在する。たとえば、基準テンプレート４００と画像３００のターゲットとの間の１つの主要な差異は、基準テンプレート４００では、ＤＶＤケースからＤＶＤが部分的に突出していることである。さらに、ムービーのタイトルが、基準テンプレート４００では画像３００のムービーポスター３１０とは異なる位置にある。基準テンプレート４００の下部の「スタジオ２７プロダクション」という文言など、他の差異も存在する。そのような差異は、検出が依然として正確に実行され得るのに十分わずかであり得る。しかしながら、そのような差異は、基準テンプレート４００が、モバイルデバイスによってキャプチャされた後続の画像中で画像３００のターゲットを追跡するために使用される場合、追跡に悪影響を及ぼし得る。
【００４７】
したがって、追跡のために基準テンプレートを使用するのではなく、動的テンプレート追跡は、追跡テンプレートが、追跡されるべきターゲットのキャプチャされた画像から作成されることを可能にする。画像中のターゲットが基準テンプレートを使用して検出された後、モバイルデバイスによってキャプチャされた画像は、モバイルデバイスによってキャプチャされた後続の画像中での追跡のために使用される追跡テンプレートを作成するために様々な処理を受け得る。図３および図４の例を参照すると、基準テンプレート４００は、画像３００中のムービーポスター３１０のターゲットを検出するために使用され得る。しかしながら、ターゲットを追跡するために、追跡テンプレートが画像３００から作成され得る。
【００４８】
図６および図７に、図５のキャプチャされた画像に基づいて作成され得る画像を示す。図６および７図では、図５の画像５００のキーポイントおよび／または記述子と基準テンプレートのキーポイントおよび記述子との比較を通して識別されたチェッカーボードがターゲットとして識別された。
【００４９】
図５は、図１のモバイルデバイス１１０−１などのモバイルデバイスによってキャプチャされた画像５００の一実施形態を示している。画像５００のキーポイントおよび／または記述子と、１つまたは複数の基準テンプレートのキーポイントおよび／または記述子との間の比較に基づいて、特定の基準テンプレートが、画像５００内のターゲットを表すものとして識別され得る。この基準テンプレートは、チェッカーボードがターゲットであることを示し得る。したがって、追跡のために、追跡テンプレートが画像５００から作成され得る。図６は、画像５００を使用して作成された修正された画像の一実施形態を示している。修正された画像６００は、画像を標準座標系に変換することによって、（チェッカーボードに対して斜めに保持されているモバイルデバイスが画像５００をキャプチャしたことなどによる）画像ひずみを補正する。修正は、アフィンワーピング（Affine warping）または透視ワーピング（perspective warping）などの方法を使用して実行され得る。修正により、修正された画像６００のチェッカーボードは、近似的に正面から見られているようになり得る。図７は、修正された画像６００を使用して作成されたクロップされた画像の一実施形態を示している。画像７００は、画像７００中にターゲット（およびターゲット上の物体）のみが実質的に存在するようにクロップされ得る。したがって、画像７００は、画像５００をキャプチャしたモバイルデバイスによってキャプチャされた後続の画像中でチェッカーボードを追跡するための追跡テンプレートとして使用され得る。
【００５０】
モバイルデバイス１１０−１などのモバイルデバイスは、システム２００、または動的テンプレート追跡のために構成された何らかの他のシステムとともに、動的テンプレート追跡のための様々な方法を実行するために使用され得る。図８に、モバイルデバイスを使用して実行される動的テンプレート追跡のための方法８００の一実施形態を示す。方法８００の各段階は、モバイルデバイス１１０−１などのモバイルデバイスによって実行され得る。代替的に、方法８００の各段階は、リモートサーバ２３０などのコンピュータシステムによって実行され得る。
【００５１】
段階８１０において、基準追跡テンプレートの記憶されたセットを使用して、第１の画像内のターゲットを検出する。ターゲットである第１の画像内のエンティティを検出するために、第１の画像のための１つまたは複数のキーポイントおよび／または記述子が識別され得る。これらのキーポイントおよび記述子は、１つまたは複数の基準テンプレートのためのキーポイントおよび／または記述子と比較され得る。基準テンプレートのうちの１つのためのキーポイントおよび／または記述子が、第１の画像のためのキーポイントおよび／または記述子に十分近い（たとえば、所定の量の許容差内である）場合、基準テンプレートは、第１の画像内のターゲットを表すと見なされ得る。このターゲットが基準テンプレートに一致するので、このターゲットは追跡され得る。
【００５２】
段階８２０において、第１の画像内で検出されたターゲットのための追跡テンプレートを作成する。追跡テンプレートは、第１の画像を使用して作成され得る。第１の画像は、追跡されるべきターゲットのみを実質的に含んでいる画像を作成するために修正および／またはクロップされ得る。したがって、追跡テンプレートは、基準テンプレートとの比較のために使用された第１の画像から作成され得る。いくつかの実施形態では、追跡テンプレートは、ターゲットの第１の画像がキャプチャされる前またはキャプチャされた後にキャプチャされた何らかの他の画像によって作成され得る。
【００５３】
段階８３０において、追跡テンプレートを使用して、第２の画像中のターゲットの位置を特定する。第２の画像は、第１の画像の後にキャプチャされ得る。第１の画像がキャプチャされたときと第２の画像がキャプチャされたときとの間に１つまたは複数の他の画像がキャプチャされ得ることを理解されたい。たとえば、画像キャプチャデバイスは、ビデオの形態で画像を継続的にキャプチャし得る。第２の画像の後にキャプチャされた画像中のターゲットの位置も、追跡テンプレートを使用して特定され得る。したがって、追跡テンプレートは、ビデオなど、一連のキャプチャされた画像中でターゲットを追跡するために使用され得る。追跡されている実際のターゲットの画像を使用して作成された追跡テンプレートを使用してターゲットを追跡することは、基準テンプレートを使用する追跡よりも有効であり得る（たとえば、ターゲットを正しく追いかける可能性が高いことがあり、および／またはあまりプロセッサ集約的でないことがある）。
【００５４】
図９に、モバイルデバイスによって実行される動的テンプレート追跡のための方法９００の一実施形態を示す。方法９００の実施形態では、基準テンプレートは、モバイルデバイスによってローカルで記憶される。方法９００は、システム２００、または動的テンプレート追跡のために構成された何らかの他のシステムを使用して実行され得る。図２のシステム２００を参照すると、モバイルデバイス１１０−１は、基準データベース２４０−２に記憶された基準テンプレートを使用し得る。
【００５５】
段階９１０において、モバイルデバイスによって複数の基準テンプレートを記憶する。これらの基準テンプレートは、有形（たとえば、非一時的）コンピュータ可読媒体を使用して記憶され得る。これらの基準テンプレートは、段階９２０において動的テンプレート追跡のための画像がキャプチャされる前に記憶され得る。いくつかの実施形態では、複数の基準テンプレート中に存在する基準テンプレートの数は、１０など、小さいことがある。他の実施形態では、記憶された基準テンプレートの数は、数千または数十万に上り得る。基準テンプレートは、データベースを使用してモバイルデバイス上に記憶され得る。いくつかの実施形態では、基準テンプレートのすべては特定のトピックを対象とし得る。たとえば、各基準テンプレートはムービーに関連し得る。基準テンプレートは画像であり得る。画像は、キーポイントおよび記述子にリンクされ得る。いくつかの実施形態では、基準テンプレートは、対応する画像が記憶されることなしに、キーポイントおよび記述子のみを含み得る。各基準テンプレートは、モバイルデバイスによってローカルで記憶された追加情報、またはリモートサーバにおいてなど、リモートで記憶された追加情報のいずれかにリンクされ得る。
【００５６】
段階９２０において、モバイルデバイスは画像をキャプチャする。図２のモバイルデバイス１１０−１を参照すると、画像キャプチャデバイス１２０が、画像をキャプチャするために使用され得る。画像は、静止画像またはビデオのフレームであり得る。段階９３０において、モバイルデバイスによって、この画像内の様々なキーポイントおよび／または記述子を識別する。いくつかの実施形態では、段階９２０においてキャプチャされた画像中の約１００個のキーポイントが識別される。キーポイントの一部または全部について、（対応するキーポイントの近傍におけるルミネセンスの階調度を表す）記述子が作成され得る。
【００５７】
段階９４０において、基準テンプレートを記憶するコンピュータ可読記憶媒体にアクセスし、キャプチャされた画像内のエンティティを表す基準テンプレートを検索する。段階９３０において、キャプチャされた第１の画像について識別されたキーポイントおよび記述子を使用して、段階９４０において、記憶された基準テンプレートを探索する。探索は、（ある量の許容差内で）類似するキーポイントおよび／または記述子を有する基準テンプレートを識別する試みであり得る。基準テンプレートが、ある量の許容差内で第１の画像に類似するキーポイントおよび／または記述子を有しない場合、これは、追跡されるべきターゲットが画像内に存在しない（または、少なくとも、うまく識別され得なかった）ことを意味し得る。類似するキーポイントと記述子とを有する基準テンプレートが見つかった場合、この基準テンプレートは、段階９２０においてキャプチャされた画像中のターゲットであるエンティティを表すと判断され得る。一例として、画像３００は、図４の基準テンプレート４００と同じムービーに関係するポスターのターゲットを含んでいる。類似するが、画像３００のムービーポスターと基準テンプレート４００とは同等ではなく、ただし、基準テンプレートがターゲットを表すと見なされるのに十分類似し得る。
【００５８】
段階９５０において、モバイルデバイスによって姿勢情報を生成する。ホモグラフィなどの技法が、段階９４０において検索された基準テンプレートと段階９２０においてキャプチャされた画像のターゲットとの間の関係を表す姿勢情報を生成するために使用され得る。たとえば、この姿勢情報は、（図３の画像３００のムービーポスター３１０などの）斜めにキャプチャされた画像中のターゲットと（図４の基準テンプレート４００などの）基準テンプレートとの間の関係を記述するのに役立ち得る。
【００５９】
段階９６０において、ターゲットを含んでいるキャプチャされた画像を修正する。段階９２０においてキャプチャされた画像を修正することは、画像を標準座標系に変換することによって、（ターゲットに対して斜めに保持されているモバイルデバイスが画像５００をキャプチャしたことによって生じた画像ひずみなどの）画像ひずみを補正することができる。これは、第１の画像に基づいて新しい画像を作成すること、または第１の画像を変更することを伴い得る。アフィンワーピングまたは透視ワーピングなどの方法が使用され得る。したがって、段階９６０の後に、ターゲットが近似的に正面から見られているかのように見える画像が作成され得る。
【００６０】
段階９７０において、段階９６０の修正された画像をクロップする。クロッピングは、ターゲット以外の、修正されたキャプチャされた画像の一部または全部を削除し得る。画像をクロップすることは、修正された画像を編集すること、または修正された画像から新しい画像を作成することを伴い得る。したがって、段階９７０の後に、ターゲットの修正されクロップされた画像がモバイルデバイスによって作成されていることがある。前の３つの段階は様々な画像処理機能を指すが、コントラスト調整、画像回転、輝度調整、カラー調整など、他の画像処理も実行され得ることを理解されたい。
【００６１】
段階９８０において、段階９７０において作成された、修正されクロップされた画像は、第１の画像のキャプチャの後にモバイルデバイスによってキャプチャされた画像中でターゲットを追跡するための追跡テンプレートとして使用され得る。そのような追跡は、モバイルデバイスの画像キャプチャデバイスによってキャプチャされた各（または少なくともいくつかの）後続の画像中のターゲットの位置を特定することを伴うことがある。この修正されクロップされた画像を追跡テンプレートとして使用することは、追跡テンプレートが、後続の画像中で追跡されているターゲットの実際の画像から作成されるので、効率的な追跡を可能にし得る。したがって、追跡テンプレートを使用する追跡は、ターゲットを表すと判断された基準テンプレートと実際のターゲットとの間の可能な差異により、基準テンプレートを使用する追跡よりも良好であり得る。
【００６２】
段階９９０において、段階９４０において検索された基準テンプレートにリンクされたユーザ識別可能情報（またはデータ）をユーザに提示する。このユーザ識別可能データは、モバイルデバイスによってローカルで記憶され得るか、またはリモートサーバによってなどリモートで記憶され得る。リモートで記憶された場合、モバイルデバイスは、選択された基準テンプレートに基づくデータを最初に要求し得る。ユーザ識別可能データの一部または全部がユーザに提示され得る。たとえば、図３および図４の例を参照すると、図４の基準テンプレート４００に関連するデータは、ＤＶＤ上のムービーのためのトレーラであり得る。このトレーラが、モバイルデバイスによってユーザに提示され得る。いくつかの実施形態では、基準テンプレートに関連するデータは、拡張現実ディスプレイを介してユーザに提示される。再びムービートレーラの例を参照すると、トレーラは、モバイルデバイスのスクリーン上でユーザに提示され得る。スクリーンは、モバイルデバイスの画像キャプチャデバイスによってキャプチャされた一連の画像（たとえば、ビデオストリーム）を示し得る。ターゲットは、この一連の画像中で追跡され続け得る。トレーラは、一連の画像の上に重なり得る。たとえば、トレーラは、場合によっては、段階９５０において生成された姿勢情報を使用して、モバイルデバイスの視野中に存在するムービーポスター上で再生しているように見えるように表示され得る。画像キャプチャデバイスが移動され、したがって、画像キャプチャデバイスの視野中のムービーポスターターゲットが移動した場合、依然として、トレーラがムービーポスター上で再生されているように見えるように、トレーラを表示するために使用されるスクリーンの部分が変化し得る。これが行われている間、モバイルデバイスの画像キャプチャデバイスによってキャプチャされた画像は、キーポイントおよび記述子を識別し、そのようなキーポイントおよび記述子を記憶された基準テンプレートと比較することによって、追加のターゲットについて探索され得る。
【００６３】
図１０に、リモートサーバと通信するモバイルデバイスによって実行される動的テンプレート追跡のための方法の一実施形態を示す。方法１０００の実施形態では、基準テンプレートは、画像をキャプチャするために使用されるモバイルデバイスからリモートで記憶される。方法１０００は、システム２００、または動的テンプレート追跡のために構成された何らかの他のシステムを使用して実行され得る。図２のシステム２００を参照すると、モバイルデバイス１１０−１は、システム２００のリモートサーバ２３０などのリモートサーバから基準テンプレートが検索される間、画像をキャプチャし得る。
【００６４】
段階１００５において、リモートコンピュータシステムによって複数の基準テンプレートを記憶する。これらの基準テンプレートは、有形（たとえば、非一時的）コンピュータ可読媒体を使用して記憶され得る。これらの基準テンプレートは、段階１０１０において動的テンプレート追跡のための画像がキャプチャされる前に記憶され得る。いくつかの実施形態では、基準テンプレートの数は、１０など、小さいことがある。他の実施形態では、複数の基準テンプレート中の基準テンプレートの数は、数千または数十万に上り得る。基準テンプレートは、リモートサーバによってデータベースに記憶され得る。いくつかの実施形態では、基準テンプレートのすべては特定のトピックを対象とし得る。たとえば、各基準テンプレートはムービーに関連し得る。基準テンプレートは画像であり得る。画像は、キーポイントおよび記述子にリンクされ得る。いくつかの実施形態では、基準テンプレートは、実際の画像が記憶されることなしに、キーポイントおよび記述子のみを含み得る。各基準テンプレートは、モバイルデバイスによってローカルで記憶された追加情報、またはリモートサーバにおいてなど、リモートで記憶された追加情報のいずれかにリンクされ得る。
【００６５】
段階１０１０において、モバイルデバイスは画像をキャプチャする。図２のモバイルデバイス１１０−１を参照すると、画像キャプチャデバイス１２０が、画像をキャプチャするために使用され得る。画像は、静止画像またはビデオのフレームであり得る。段階１０２０において、モバイルデバイスによって、この画像内の様々なキーポイントおよび／または記述子を識別する。いくつかの実施形態では、段階１０１０においてキャプチャされた画像中の約１００個のキーポイントが識別される。キーポイントの一部または全部について、（対応するキーポイントの近傍におけるルミネセンスの階調度を表す）記述子が作成され得る。
【００６６】
段階１０３０において、１つまたは複数のネットワークを使用して、モバイルデバイスによってキーポイントおよび／または記述子をリモートサーバに送信する。段階１０３２において、リモートサーバによってキーポイントおよび／または記述子を受信する。いくつかの実施形態では、キーポイントのみが使用され、いくつかの実施形態では、キーポイントと記述子とが使用され得る。記述子のみを使用することも可能であり得る。
【００６７】
段階１０３４において、キーポイントおよび／または記述子に基づいて、リモートサーバは、有形（たとえば、非一時的な製造された）コンピュータ可読媒体から（ある量の許容差内で）類似するキーポイントおよび／または記述子にリンクされた基準テンプレートを検索する。たとえば、リモートサーバは、基準テンプレートを探索するために、コンピュータ可読媒体に記憶された、図２の基準データベース２４０−２などのデータベースにアクセスし得る。検索される基準テンプレートは、リモートサーバによって記憶された、数百個、数千個、または数十万個の基準テンプレートの中から選択され得る。段階１０３６において、リモートサーバによって検索された、第１の画像中のターゲットを表すと判断された基準テンプレートをモバイルデバイスに送信する。第１の画像中のターゲットを表す基準テンプレートがないと判断された場合、そのように指示する応答がモバイルデバイスに送信され得る。段階１０４０において、モバイルデバイスによって、もしあれば、基準テンプレートを受信する。
【００６８】
段階１０５０において、モバイルデバイスによって、リモートサーバから受信した基準テンプレートを使用する再検出を実行する。再検出は、段階１０１０においてキャプチャされた画像よりも最近キャプチャされた画像内のターゲットを再検出することを伴い得る。たとえば、いくつかの実施形態では、モバイルデバイスは、毎秒数回など、定期的に画像をキャプチャしていることがある。段階１０１０と段階１０４０との間に経過した時間中に、ユーザは、ターゲットが、異なる角度から見られているようにおよび／または画像キャプチャデバイスの視野内の異なる位置にあるように、モバイルデバイスを移動していることがある。この時間中に、モバイルデバイスは、画像をキャプチャし続けていることがある。したがって、再検出は、基準テンプレートとターゲットとの間の（より）正確な関係を考慮に入れるために、より最近のキャプチャされた画像が、姿勢情報を生成するために使用されることを可能にし得る。したがって、段階１０５０は、再検出のために使用されるべき、ターゲットの１つまたは複数の追加画像のキャプチャを伴い得る。段階１０５０の再検出は、より最近キャプチャされた画像内に存在するキーポイントおよび／または記述子を識別することを伴い得る。
【００６９】
段階１０６０において、モバイルデバイスによって姿勢情報を生成する。ホモグラフィなどの技法が、段階１０４０において受信された基準テンプレートと段階１０１０または段階１０５０においてキャプチャされた画像のターゲットとの間の関係を表す姿勢情報を生成するために使用され得る。
【００７０】
段階１０７０において、ターゲットを含んでいるキャプチャされた画像を修正する。段階１０１０においてキャプチャされた画像を修正することは、画像を標準座標系に変換することによって、（ターゲットに対して斜めに保持されているモバイルデバイスが画像５００をキャプチャしたことによって生じた画像ひずみなどの）画像ひずみを補正することができる。これは、第１の画像に基づいて新しい画像を作成すること、または第１の画像を変更することを伴い得る。アフィンワーピングまたは透視ワーピングなどの方法が使用され得る。したがって、段階１０７０の後に、ターゲットが近似的に正面から見られているかのように見える画像が作成され得る。
【００７１】
段階１０８０において、段階１０７０の修正された画像をクロップする。クロッピングは、ターゲット以外の、修正されたキャプチャされた画像の一部または全部を削除し得る。画像をクロップすることは、修正された画像を編集すること、または修正された画像から新しい画像を作成することを伴い得る。したがって、段階１０８０の後に、ターゲットの修正されクロップされた画像がモバイルデバイスによって作成されていることがある。
【００７２】
段階１０９０において、第２の画像をキャプチャする。１つまたは複数の追加画像が、段階１０５０においてなど、段階１０１０と段階１０９０との間に、モバイルデバイスの画像キャプチャデバイスによってキャプチャされていることがある。
【００７３】
段階１０９５において、段階１０８０において作成された、修正されクロップされた画像は、段階１０９０においてキャプチャされた第２の画像など、第１の画像のキャプチャの後にモバイルデバイスによってキャプチャされた画像中でターゲットを追跡するための追跡テンプレートとして使用され得る。そのような追跡は、モバイルデバイスの画像キャプチャデバイスによってキャプチャされた各（または少なくともいくつかの）後続の画像中のターゲットを識別することを伴うことがある。この修正されクロップされた画像を追跡テンプレートとして使用することは、追跡テンプレートが、後続の画像中で追跡されるべきターゲットの実際の画像から作成されるので、効率的な追跡を可能にし得る。したがって、追跡テンプレートを使用する追跡は、ターゲットを表す基準テンプレートと実際のターゲットとの間の可能な差異により、基準テンプレートを使用する追跡よりも良好であり得る。
【００７４】
段階１０９５と同時に、段階１０４０において受信された基準テンプレートにリンクされたデータをユーザに提示する。このデータはリモートサーバから検索され得る。リモートサーバは、段階１０３４において基準テンプレートを検索したことに応答して、このデータを送信し得る。データの一部または全部がユーザに提示され得る。いくつかの実施形態では、基準テンプレートに関連するデータ（および／または基準テンプレートの画像）は、拡張現実ディスプレイを介してユーザに提示される。
【００７５】
図１１に、リモートサーバと通信するモバイルデバイスによって実行される動的テンプレート追跡のための方法１１００の別の実施形態を示す。方法１１００の実施形態では、基準テンプレートは、画像をキャプチャするために使用されるモバイルデバイスからリモートで記憶される。さらに、モバイルデバイスによってキャプチャされた画像の処理がリモートサーバによって実行される。方法１１００は、システム２００、または動的テンプレート追跡のために構成された何らかの他のシステムを使用して実行され得る。図２のシステム２００を参照すると、モバイルデバイス１１０−１は、システム２００のリモートサーバ２３０などのリモートサーバによって処理が実行される間、画像をキャプチャし得る。
【００７６】
段階１１０５において、リモートコンピュータシステムによって複数の基準テンプレートを記憶する。これらの基準テンプレートは、コンピュータ可読媒体を使用して記憶され得る。これらの基準テンプレートは、段階１１１０において動的テンプレート追跡のための画像がキャプチャされる前に記憶され得る。いくつかの実施形態では、複数の基準テンプレート中に存在する基準テンプレートの数は、１０など、小さいことがある。他の実施形態では、基準テンプレートの数は、数千または数十万に上り得る。基準テンプレートは、リモートサーバによってデータベースに記憶され得る。いくつかの実施形態では、基準テンプレートのすべては特定のトピックを対象とし得る。基準テンプレートは画像であり得る。画像は、キーポイントおよび記述子にリンクされ得る。いくつかの実施形態では、基準テンプレートは、実際の画像が記憶されることなしに、キーポイントおよび記述子のみを含み得る。各基準テンプレートは、リモートサーバにおいてなど、モバイルデバイスからリモートで記憶された追加情報にリンクされ得る。
【００７７】
段階１１１０において、モバイルデバイスは画像をキャプチャする。図２のモバイルデバイス１１０−１を参照すると、画像キャプチャデバイス１２０が、画像をキャプチャするために使用され得る。画像は、静止画像またはビデオのフレームであり得る。段階１１１５において、１つまたは複数のネットワークを介して、モバイルデバイスによってキャプチャされた第１の画像をリモートサーバに送信する。段階１１２０において、リモートサーバは第１の画像を受信する。
【００７８】
段階１１２５において、リモートサーバによって、この画像内の様々なキーポイントおよび／または記述子を識別する。いくつかの実施形態では、段階１１１０においてキャプチャされた画像中の約１００個のキーポイントが識別される。キーポイントの一部または全部について、（対応するキーポイントの近傍におけるルミネセンスの階調度を表す）記述子が作成され得る。
【００７９】
キーポイントおよび／または記述子に基づいて、リモートサーバは、段階１１３０において、コンピュータ可読媒体から（ある量の許容差内で）類似するキーポイントおよび／または記述子にリンクされた基準テンプレートを検索する。たとえば、リモートサーバは、基準テンプレートを探索するために、コンピュータ可読媒体に記憶された、図２の基準データベース２４０−２などのデータベースにアクセスし得る。検索される基準テンプレートは、リモートサーバによって記憶された、数百個、数千個、または数十万個の基準テンプレートの中から選択され得る。ターゲットを表す基準テンプレートが、キャプチャされた画像中に見つからないと判断された場合、そのように指示する応答がモバイルデバイスに送信され得る。
【００８０】
段階１１３５において、リモートサーバによって姿勢情報を生成する。ホモグラフィなどの技法が、段階１１３０において検索された基準テンプレートと段階１１１０においてキャプチャされた画像のターゲットとの間の関係を表す姿勢情報を生成するために使用され得る。
【００８１】
段階１１４０において、ターゲットを含んでいるキャプチャされた画像を修正する。段階１１１０においてキャプチャされた画像を修正することは、画像を標準座標系に変換することによって、（ターゲットに対して斜めに保持されているモバイルデバイスが画像５００をキャプチャしたことによって生じた画像ひずみなどの）画像ひずみを補正することができる。これは、第１の画像に基づいて新しい画像を作成すること、または第１の画像を変更することを伴い得る。アフィンワーピングまたは透視ワーピングなどの方法が、段階１１３５において生成された姿勢を使用して画像をワーピングするために使用され得る。したがって、段階１１４０の後に、ターゲットが近似的に正面から見られているかのように見える画像が作成され得る。
【００８２】
段階１１４５において、段階１１４０の修正された画像をクロップする。クロッピングは、ターゲット以外の、修正されたキャプチャされた画像の一部または全部を削除し得る。画像をクロップすることは、修正された画像を編集すること、または修正された画像から新しい画像を作成することを伴い得る。したがって、段階１１４５の後に、追跡テンプレートとして使用されるべき、ターゲットの修正されクロップされた画像が、リモートサーバによって作成されていることがある。モバイルデバイスではなく、リモートサーバにおける追跡テンプレートのそのような作成は、リモートサーバにおいて増加した処理能力が利用可能であること、および／または（たとえば、モバイルデバイスによってバッテリーが使用されている場合）電力消費に対する懸念がより少ないことにより、より効率的であり得る。段階１１５０において、追跡テンプレートをモバイルデバイスに送信する。段階１１５５において、モバイルデバイスによって追跡テンプレートを受信する。段階１１６０において、モバイルデバイスは、メモリなどのローカルコンピュータ可読媒体を使用して追跡テンプレートを記憶する。
【００８３】
段階１１６５において、モバイルデバイスによって、リモートサーバから受信した基準テンプレートを使用する再検出を実行する。再検出は、段階１１１０においてキャプチャされた画像よりも最近キャプチャされた画像内のターゲットを再検出することを伴い得る。たとえば、いくつかの実施形態では、モバイルデバイスは、毎秒数回など、定期的に画像をキャプチャしていることがある。段階１１１０と段階１１６５との間に経過した時間中に、ユーザは、ターゲットが、異なる角度から見られているようにおよび／または画像キャプチャデバイスの視野内の異なる位置にあるように、モバイルデバイスを移動していることがある。この時間中に、モバイルデバイスは、画像をキャプチャし続けていることがある。したがって、再検出は、基準テンプレートとターゲットとの間の（より）正確な関係を考慮に入れるために、より最近のキャプチャされた画像が、姿勢情報を生成するために使用されることを可能にし得る。したがって、段階１１６５は、再検出のために使用されるべき１つまたは複数の追加画像のキャプチャを伴い得る。段階１１６５の再検出は、より最近キャプチャされた画像内に存在するキーポイントと記述子とを識別することを伴い得る。
【００８４】
段階１１７０において、第２の画像をキャプチャする。明快のために、１つまたは複数の追加画像が、段階１１６５においてなど、段階１１１０と段階１１７０との間に、モバイルデバイスの画像キャプチャデバイスによってキャプチャされていることがある。
【００８５】
段階１１７５において、段階１１５５においてモバイルデバイスによって受信された、修正されクロップされた画像は、モバイルデバイスによってキャプチャされた第２の画像中でターゲットを追跡するための追跡テンプレートとして使用され得る。そのような追跡は、第２の画像中のターゲットを識別することを伴うことがある。この修正されクロップされた画像を追跡テンプレートとして使用することは、追跡テンプレートが、後続の画像中で追跡されているターゲットの実際の画像から作成されるので、有効な（たとえば、より正確な）追跡を可能にし得る。したがって、追跡テンプレートを使用する追跡は、ターゲットを表す基準テンプレートと実際のターゲットとの間の可能な差異により、基準テンプレートを使用する追跡よりも良好であり得る。
【００８６】
画像は、モバイルデバイスによってキャプチャされ続け得る。段階１１８０において、第２の画像中のターゲットの位置を特定するために使用された追跡テンプレートを使用して、これらのその後キャプチャされた画像中で画像を追跡する。追跡テンプレートは、ターゲットが、もはや画像キャプチャデバイスの視野中になくなるまで、または、もはや追跡されることを望まれなくなるまで、その後キャプチャされた画像中のターゲットの位置を特定し続けるために使用され得る。モバイルデバイスの画像キャプチャデバイスによってキャプチャされた画像の一部または全部が、場合によっては、データがその上に重ねられた拡張ディスプレイの形態でユーザに提示され得る。その後キャプチャされた画像中のターゲットの位置を特定するために追跡テンプレートを使用する際に、前にキャプチャされた画像からの追加情報（たとえば、前の画像中のターゲットのロケーション）も使用され得る。
【００８７】
段階１１７０以降と同時に、段階１１３０において検索された基準テンプレートにリンクされたデータをユーザに提示する。このデータはリモートサーバから検索され得る。リモートサーバは、段階１１３０において基準テンプレートを検索したことに応答して、このデータを送信し得る。データの一部または全部がユーザに提示され得る。いくつかの実施形態では、基準テンプレートに関連するデータ（および／または基準テンプレートの画像）は、拡張現実ディスプレイを介してユーザに提示される。
【００８８】
モバイルデバイス１１０−１を含むモバイルデバイス１１０など、前に詳述したモバイルデバイスはコンピュータ化され得る。図１２に、コンピュータシステムの一実施形態を示す。コンピュータシステム１２００は、モバイルデバイスの構成要素のいくつかを表し得、図２のリモートサーバ２３０など、説明したリモートサーバを表し得る。図１２は、本明細書で説明する、様々な他の実施形態によって提供される方法を実行することができ、ならびに／あるいはホストコンピュータシステムおよび／またはモバイルデバイスとして機能することができる、コンピュータシステム１２００の一実施形態の概略図を与えている。図１２は、様々な構成要素の一般化された図を与えるものにすぎず、それらの構成要素のいずれかまたはすべては適宜に利用され得る。図１２は、したがって、個々のシステム要素が、比較的分離された方法または比較的より統合された方法で、どのように実装され得るかを概括的に示している。
【００８９】
バス１２０５を介して電気的に結合され得る（または、適宜に、他の方法で通信していることがある）ハードウェア要素を備えるコンピュータシステム１２００が示されている。ハードウェア要素は、限定はしないが、（デジタル信号処理チップ、グラフィックスアクセラレーションプロセッサなどの）１つまたは複数の汎用プロセッサおよび／または１つまたは複数の専用プロセッサを含む、１つまたは複数のプロセッサ１２１０と、限定はしないが、マウス、キーボードなどを含むことができる１つまたは複数の入力装置１２１５と、限定はしないが、ディスプレイデバイス、プリンタなどを含むことができる１つまたは複数の出力デバイス１２２０とを含み得る。そのようなディスプレイデバイスは、眼鏡など、何らかの形態のヘッドマウントディスプレイであり得る。
【００９０】
コンピュータシステム１２００は、限定はしないが、ローカルストレージおよび／またはネットワークアクセス可能ストレージを備えることができ、ならびに／あるいは、限定はしないが、ディスクドライブ、ドライブアレイ、光ストレージデバイス、プログラム可能でフラッシュアップデート可能なランダムアクセスメモリ（「ＲＡＭ」）および／または読取り専用メモリ（「ＲＯＭ」）などのソリッドステートストレージデバイスなどを含むことができる、１つまたは複数のストレージデバイス１２２５をさらに含み得る（および／または、それらと通信していることがある）。そのようなストレージデバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、任意の適切なデータストアを実装するように構成され得る。
【００９１】
コンピュータシステム１２００はまた、限定はしないが、モデム、ネットワークカード（ワイヤレスまたはワイヤード）、赤外線通信デバイス、（Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信ファシリティなどの）ワイヤレス通信デバイスおよび／またはチップセットなどを含むことができる、通信サブシステム１２３０を含み得る。通信サブシステム１２３０は、データが、（一例を挙げると、以下で説明するネットワークなどの）ネットワーク、他のコンピュータシステム、および／または本明細書で説明する他のデバイスと交換されることを可能にし得る。多くの実施形態では、コンピュータシステム１２００は、上記で説明したように、ＲＡＭまたはＲＯＭデバイスを含むことができる作業メモリ１２３５をさらに備える。
【００９２】
コンピュータシステム１２００はまた、オペレーティングシステム１２４０、デバイスドライバ、実行可能ライブラリ、および／または１つまたは複数のアプリケーションプログラム１２４５などの他のコードを含む、作業メモリ１２３５内に現在位置するものとして示されている、ソフトウェア要素を備えることができ、１つまたは複数のアプリケーションプログラム１２４５は、様々な実施形態によって提供されるコンピュータプログラムを備え得、ならびに／あるいは、本明細書で説明する、他の実施形態によって提供される方法を実装するようにおよび／またはシステムを構成するように設計され得る。単に例として、上記で説明した（１つまたは複数の）方法に関して説明した１つまたは複数のプロシージャは、コンピュータ（および／またはコンピュータ内のプロセッサ）によって実行可能なコードおよび／または命令として実装され得、一態様では、次いで、そのようなコードおよび／または命令は、説明した方法に従って１つまたは複数の動作を実行するように汎用コンピュータ（または他のデバイス）を構成するためおよび／または適応させるために使用され得る。また、プロセッサ可読命令は、そのような様々な命令を実行するように構成された専用ハードウェアを指し得る。たとえば、そのようなプロセッサ可読命令は、特定用途向け集積回路（ＡＳＩＣ）によって実行され得る。
【００９３】
これらの命令またはコードのセットは、上記で説明した（１つまたは複数の）ストレージデバイス１２２５などのコンピュータ可読記憶媒体上に記憶され得る。場合によっては、記憶媒体は、コンピュータシステム１２００などのコンピュータシステム内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピュータシステムとは別個（たとえば、コンパクトディスクなどの取外し可能媒体）であり得、ならびに／あるいは、記憶媒体が、その上に記憶された命令／コードで汎用コンピュータをプログラムし、構成し、および／または適応させるために使用され得るようなインストールパッケージで提供され得る。これらの命令は、コンピュータシステム１２００によって実行可能である実行可能コードの形態をとり得、ならびに／あるいは、（たとえば、様々な一般に利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティなどのいずれかを使用して）コンピュータシステム１２００上でコンパイルおよび／またはインストールしたときに実行可能コードの形態をとる、ソースコードおよび／またはインストール可能コードの形態をとり得る。
【００９４】
実質的な変形形態が、特定の要件に従って製作され得ることが当業者には明らかであろう。たとえば、カスタマイズされたハードウェアも使用され得、ならびに／あるいは、特定の要素が、ハードウェア、（アプレットなどのポータブルソフトウェアを含む）ソフトウェア、または両方で実装され得る。さらに、ネットワーク入力／出力デバイスなど、他のコンピューティングデバイスへの接続が採用され得る。
【００９５】
上述のように、一態様では、いくつかの実施形態は、本発明の様々な実施形態による方法を実行するための（コンピュータシステム１２００などの）コンピュータシステムを採用し得る。実施形態のセットによれば、そのような方法のプロシージャの一部または全部は、プロセッサ１２１０が、作業メモリ１２３５中に含まれている（オペレーティングシステム１２４０、および／またはアプリケーションプログラム１２４５などの他のコードに組み込まれ得る）１つまたは複数の命令の１つまたは複数のシーケンスを実行したことに応答して、コンピュータシステム１２００によって実行される。そのような命令は、（１つまたは複数の）ストレージデバイス１２２５のうちの１つまたは複数など、別のコンピュータ可読媒体から作業メモリ１２３５に読み込まれ得る。単に例として、作業メモリ１２３５中に含まれている命令のシーケンスの実行は、（１つまたは複数の）プロセッサ１２１０に、本明細書で説明した方法の１つまたは複数のプロシージャを実行させ得る。
【００９６】
本明細書で使用する「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の様式で動作させるデータを与えることに関与する任意の媒体を指す。コンピュータシステム１２００を使用して実装される一実施形態では、様々なコンピュータ可読媒体は、実行のために（１つまたは複数の）プロセッサ１２１０に命令／コードを与えることに関与し得、ならびに／あるいはそのような命令／コードを記憶および／または搬送するために使用され得る。多くの実装形態では、コンピュータ可読媒体は、物理および／または有形記憶媒体である。そのような媒体は、不揮発性メディアまたは揮発性メディアの形態をとり得る。不揮発性媒体は、たとえば、（１つまたは複数の）ストレージデバイス１２２５などの光ディスクおよび／または磁気ディスクを含む。揮発性媒体は、限定はしないが、作業メモリ１２３５などのダイナミックメモリを含む。
【００９７】
物理および／または有形コンピュータ可読媒体の共通形態は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、穴のパターンをもつ任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、あるいはコンピュータが命令および／またはコードを読み取ることができる任意の他の媒体を含む。
【００９８】
コンピュータ可読媒体の様々な形態は、実行のために１つまたは複数の命令の１つまたは複数のシーケンスを（１つまたは複数の）プロセッサ１２１０に搬送することに関与し得る。単に例として、命令は、初めに、リモートコンピュータの磁気ディスクおよび／または光ディスク上で搬送され得る。リモートコンピュータは、命令をそれのダイナミックメモリにロードし、それらの命令を、伝送媒体上で、コンピュータシステム１２００によって受信および／または実行されるべき信号として送り得る。
【００９９】
通信サブシステム１２３０（および／またはそれの構成要素）が、概して信号を受信し、次いで、バス１２０５が、信号（および／またはその信号によって搬送されるデータ、命令など）を作業メモリ１２３５に搬送し得、（１つまたは複数の）プロセッサ１２１０が、作業メモリ１２３５から命令を検索し、実行する。作業メモリ１２３５によって受信された命令は、場合によっては、（１つまたは複数の）プロセッサ１２１０による実行の前または後のいずれかにストレージデバイス１２２５に記憶され得る。
【０１００】
上記で説明した方法、システム、およびデバイスは例である。様々な構成は、適宜に様々なプロシージャまたは構成要素を省略、置換、または追加し得る。たとえば、代替構成では、本方法は、説明した順序とは異なる順序で実行され得、ならびに／あるいは様々な段階が追加、省略、および／または組み合わせられ得る。また、いくつかの構成に関して説明した特徴は、様々な他の構成において組み合わせられ得る。構成の異なる態様および要素が、同様にして組み合わせられ得る。また、技術は発展し、したがって、要素の多くは例であり、本開示または特許請求の範囲を限定しない。
【０１０１】
説明では、（実装形態を含む）例示的な構成の完全な理解が得られるように具体的な詳細を与えた。ただし、構成は、これらの具体的な詳細なしに実施され得る。たとえば、構成を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法を不要な詳細なしに示した。この説明は、例示的な構成を与えるにすぎず、特許請求の範囲の範囲、適用性、または構成を限定しない。そうではなく、構成の上記の説明は、説明した技法を実装することを可能にする説明を当業者に与えるものである。本開示の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得る。
【０１０２】
また、構成は、流れ図またはブロック図として示されるプロセスとして説明されることがある。各々は動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実行され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、図中に含まれない追加のステップを有し得る。さらに、本方法の例は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装した場合、必要なタスクを実行するためのプログラムコードまたはコードセグメントは、有形でありおよび／または製造され得る記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは、説明したタスクを実行し得る。
【０１０３】
いくつかの例示的な構成を説明したが、本開示の趣旨から逸脱することなく、様々な変更形態、代替構成、および等価物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素であり得、他のルールが、本発明の適用よりも優先するかまたは他の方法で本発明の適用を変更し得る。また、上記の要素が考慮される前に、考慮されている間に、または考慮された後に、いくつかのステップが行われ得る。したがって、上記の説明は特許請求の範囲を限定しない。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
一連の画像内のターゲットを追跡するための方法であって、
モバイルデバイスによって、第１の画像をキャプチャすることであって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャすることと、
前記モバイルデバイスによって、前記第１の画像を使用して作成された追跡テンプレートを使用して、第２の画像内の前記ターゲットの位置を特定することと
を備える、方法。
［Ｃ２］
前記モバイルデバイスによって、前記第１の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
をさらに備える、Ｃ１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ３］
前記モバイルデバイスによって、前記第１の画像の少なくとも一部分をリモートサーバに送信することと、
前記モバイルデバイスによって、前記リモートサーバから前記第１の画像を使用して作成された前記追跡テンプレートを受信することと
をさらに備える、Ｃ１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ４］
前記モバイルデバイスによって、前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出すること
をさらに備える、Ｃ１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ５］
前記モバイルデバイスによって、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第１の画像の少なくとも一部分をリモートサーバに送信することと、
前記モバイルデバイスによって、前記リモートサーバから前記記憶された基準テンプレートを受信することと
を備える、Ｃ４に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ６］
前記モバイルデバイスによって、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信することと、
前記モバイルデバイスによって、前記リモートサーバから前記記憶された基準テンプレートを受信することと
を備える、Ｃ４に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ７］
前記モバイルデバイスによって、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することが、
前記モバイルデバイスによって、前記第１の画像の少なくとも１つの記述子を、前記記憶された基準テンプレートの少なくとも１つの記述子と比較すること
を備える、Ｃ４に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ８］
前記モバイルデバイスによって、前記第１の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信することと、
前記モバイルデバイスによって、前記記憶された基準テンプレートにリンクされた前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することと
をさらに備える、Ｃ４に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ９］
前記モバイルデバイスによって、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づくユーザ識別可能情報を提示することが、前記第２の画像を提示することと同時に、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示することを備える、Ｃ８に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ１０］
前記第２の画像を提示することと同時に、前記記憶された基準テンプレートにリンクされた前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示することが、
拡張現実ディスプレイの使用と、
前記拡張現実ディスプレイ上の、前記記憶された基準テンプレートにリンクされた前記データの前記少なくとも前記一部分のディスプレイのロケーションが、前記第２の画像中の前記ターゲットのロケーションによって影響を及ぼされることと
を備える、Ｃ９に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ１１］
前記追跡テンプレートを使用して、前記第２の画像内の前記ターゲットの位置を特定することに続いて、前記モバイルデバイスによって、前記追跡テンプレートを使用して、前記一連の画像の追加画像の各画像内の前記ターゲットの位置を特定すること
をさらに備える、Ｃ１に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ１２］
前記モバイルデバイスによって、前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
をさらに備える、Ｃ４に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ１３］
前記モバイルデバイスによって、前記姿勢情報を使用して前記第１の画像を修正することと、
前記モバイルデバイスによって、前記追跡テンプレートを作成するために前記第１の画像をクロップすることと
をさらに備える、Ｃ１２に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ１４］
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムであって、プロセッサに、
第１の画像をキャプチャさせることであって、
ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャさせることと、
第２の画像をキャプチャさせることと、
前記第１の画像を使用して作成された追跡テンプレートを使用して、前記第２の画像内の前記ターゲットの位置を特定することと
を行わせるように構成されたプロセッサ可読命令を備える、コンピュータプログラム。
［Ｃ１５］
前記プロセッサに、
前記第１の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ１４に記載のコンピュータプログラム。
［Ｃ１６］
前記プロセッサに、
前記第１の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記第１の画像を使用して作成された前記追跡テンプレートを受信することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ１４に記載のコンピュータプログラム。
［Ｃ１７］
前記プロセッサに、
前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ１４に記載のコンピュータプログラム。
［Ｃ１８］
前記プロセッサに、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、
前記第１の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることとのためのプロセッサ可読命令を備える、Ｃ１７に記載のコンピュータプログラム。
［Ｃ１９］
前記プロセッサに、前記ターゲットと前記記憶された基準テンプレートとの間の前記対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、
前記第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることとのためのプロセッサ可読命令を備える、Ｃ１７に記載のコンピュータプログラム。
［Ｃ２０］
前記プロセッサに、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第１の画像の少なくとも１つの記述子を、前記記憶された基準テンプレートの少なくとも１つの記述子と比較すること
を行わせるように構成されたプロセッサ可読命令を備える、Ｃ１７に記載のコンピュータプログラム。
［Ｃ２１］
前記プロセッサに、
前記第１の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信させることと、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることと
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ１７に記載のコンピュータプログラム。
［Ｃ２２］
前記プロセッサに、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、前記第２の画像が提示されることと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させるように構成されたプロセッサ可読命令を備える、Ｃ２１に記載のコンピュータプログラム。
［Ｃ２３］
前記プロセッサに、前記第２の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
拡張現実ディスプレイを使用することと、
前記第２の画像中の前記ターゲットのロケーションに基づいて、前記拡張現実ディスプレイ上の、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報のディスプレイのロケーションを調整することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ２２に記載のコンピュータプログラム。
［Ｃ２４］
前記プロセッサに、
前記追跡テンプレートを使用して、前記第２の画像内の前記ターゲットの位置を特定することに続いて、前記追跡テンプレートを使用して、一連の画像の各画像内の前記ターゲットの位置を特定すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ１４に記載のコンピュータプログラム。
［Ｃ２５］
前記プロセッサに、
前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することを行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ１７に記載のコンピュータプログラム。
［Ｃ２６］
前記プロセッサに、
前記姿勢情報を使用して前記第１の画像を修正することと、
前記追跡テンプレートを作成するために前記第１の画像をクロップすることとを行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ２５に記載のコンピュータプログラム。
［Ｃ２７］
一連の画像内のターゲットを追跡するためのデバイスであって、
画像キャプチャデバイスと、
プロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって読取り可能なメモリであって、前記プロセッサによって実行されたとき、前記プロセッサに、
前記画像キャプチャデバイスによって第１の画像をキャプチャさせることであって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャさせることと、
第２の画像をキャプチャさせることと、
前記第１の画像を使用して作成された追跡テンプレートを使用して、前記第２の画像内の前記ターゲットの位置を特定することと
を行わせる一連のプロセッサ可読命令を記憶したメモリと
を備える、デバイス。
［Ｃ２８］
前記プロセッサに、
前記第１の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ２７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ２９］
前記プロセッサに、
前記第１の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記第１の画像を使用して作成された前記追跡テンプレートを受信することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ２７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３０］
前記プロセッサに、
前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ２７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３１］
前記プロセッサに、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第１の画像の少なくとも一部分をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることとを行わせるように構成されたプロセッサ可読命令を備える、Ｃ３０に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３２］
前記プロセッサに、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信させることと、
前記リモートサーバから前記記憶された基準テンプレートを受信させることとを行わせるように構成されたプロセッサ可読命令を備える、Ｃ３０に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３３］
前記プロセッサに、前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出することを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
前記第１の画像の少なくとも１つの記述子を、前記記憶された基準テンプレートの少なくとも１つの記述子と比較すること
を行わせるように構成されたプロセッサ可読命令を備える、Ｃ３０に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３４］
前記プロセッサに、
前記第１の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信させることと、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示させることと
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ３０に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３５］
前記プロセッサに、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、前記第２の画像が提示されることと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させるように構成されたプロセッサ可読命令を備える、Ｃ３４に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３６］
前記プロセッサに、前記第２の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示させることを行わせるように構成された前記プロセッサ可読命令が、前記プロセッサに、
拡張現実ディスプレイを使用することと、
前記第２の画像中の前記ターゲットのロケーションに基づいて、前記拡張現実ディスプレイ上の、前記データの前記少なくとも前記一部分のディスプレイのロケーションを調整することと
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ３５に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３７］
前記プロセッサに、
前記追跡テンプレートを使用して、前記画像キャプチャデバイスによってキャプチャされた前記第２の画像内の前記ターゲットの位置を特定することに続いて、前記追跡テンプレートを使用して、前記画像キャプチャデバイスによってキャプチャされた前記一連の画像の各画像内の前記ターゲットの位置を特定すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ２７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３８］
前記プロセッサに、
前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することを行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ３０に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ３９］
前記プロセッサに、
前記追跡テンプレートを作成するために前記第１の画像を修正し、クロップすることを行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ３８に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ４０］
前記デバイスが、セルラーフォン、タブレットコンピュータ、およびスマートフォンからなるグループから選択される、Ｃ２７に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ４１］
一連の画像内のターゲットを追跡するための装置であって、
第１の画像をキャプチャするための手段であって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、キャプチャするための手段と、
前記第１の画像を使用して作成された追跡テンプレートを使用して、前記第１の画像をキャプチャするための前記手段によってキャプチャされた第２の画像内の前記ターゲットの位置を特定するための手段と
を備える、装置。
［Ｃ４２］
前記第１の画像を使用して、前記ターゲットを追跡するための前記追跡テンプレートを作成するための手段
をさらに備える、Ｃ４１に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ４３］
前記第１の画像の少なくとも一部分をリモートサーバに送信するための手段と、
前記リモートサーバから前記第１の画像を使用して作成された前記追跡テンプレートを受信するための手段と
をさらに備える、Ｃ４１に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ４４］
前記ターゲットと記憶された基準テンプレートとの間の対応に少なくとも部分的に基づいて、前記第１の画像内の前記ターゲットを検出するための手段
をさらに備える、Ｃ４１に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ４５］
前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出するための前記手段が、
前記第１の画像をリモートサーバに送信するための手段と、
前記記憶された基準テンプレートを受信するための手段と
を備える、Ｃ４４に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ４６］
前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出するための前記手段が、
前記第１の画像に基づく少なくとも１つの記述子をリモートサーバに送信するための手段と、
前記記憶された基準テンプレートを受信するための手段と
を備える、Ｃ４４に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ４７］
前記記憶された基準テンプレートに対応する前記第１の画像内の前記ターゲットを検出するための前記手段が、
前記第１の画像の少なくとも１つの記述子を、前記記憶された基準テンプレートの少なくとも１つの記述子と比較するための手段
を備える、Ｃ４４に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ４８］
前記第１の画像内の前記ターゲットを検出したことに少なくとも部分的に基づいて、前記記憶された基準テンプレートにリンクされたデータを受信するための手段と、
前記データの少なくとも一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための手段と
をさらに備える、Ｃ４４に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ４９］
前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示するための前記手段が、前記第２の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づく前記ユーザ識別可能情報を提示するための手段を備える、Ｃ４８に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ５０］
前記第２の画像を提示することと同時に、前記データの少なくとも前記一部分に少なくとも部分的に基づくユーザ識別可能情報を提示するための前記手段が、
拡張現実ディスプレイを使用するための手段と、
前記第２の画像中の前記ターゲットのロケーションに少なくとも部分的に基づいて、前記拡張現実ディスプレイ上の、前記データの前記少なくとも前記一部分のディスプレイのロケーションを調整するための手段と
を備える、Ｃ４９に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ５１］
前記追跡テンプレートを使用して、前記第１の画像をキャプチャするための前記手段によってキャプチャされた前記一連の画像の各追加画像内の前記ターゲットの位置を特定するための手段
をさらに備える、Ｃ４１に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ５２］
前記第１の画像を使用して姿勢情報を生成するための手段であって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成するための手段
をさらに備える、Ｃ４４に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ５３］
前記姿勢情報を使用して前記第１の画像を修正するための手段と、
前記追跡テンプレートを作成するために前記第１の画像をクロップするための手段とをさらに備える、Ｃ５２に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ５４］
一連の画像内のターゲットを追跡するための方法であって、
コンピュータシステムによって、モバイルデバイスから第１の画像を受信することであって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記コンピュータシステムによって、前記第１の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって前記一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
前記コンピュータシステムによって、前記追跡テンプレートを前記モバイルデバイスに送信することと
を備える、方法。
［Ｃ５５］
前記コンピュータシステムによって、前記第１の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
をさらに備える、Ｃ５４に記載の方法。
［Ｃ５６］
前記コンピュータシステムによって、前記記憶された基準テンプレートを前記モバイルデバイスに送信すること
をさらに備える、Ｃ５５に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ５７］
前記コンピュータシステムによって、前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信すること
をさらに備える、Ｃ５５に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ５８］
前記コンピュータシステムによって、前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成すること
をさらに備える、Ｃ５５に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ５９］
前記追跡テンプレートを作成することが、
前記コンピュータシステムによって、前記姿勢情報を使用して前記第１の画像を修正すること
を備える、Ｃ５８に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ６０］
前記追跡テンプレートを作成することが、
前記コンピュータシステムによって、前記修正された第１の画像をクロップすることをさらに備える、Ｃ５９に記載の前記一連の画像内の前記ターゲットを追跡するための方法。
［Ｃ６１］
非一時的プロセッサ可読媒体上に常駐するコンピュータプログラムであって、プロセッサに、
モバイルデバイスから第１の画像を受信することであって、
ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記第１の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
前記追跡テンプレートを前記モバイルデバイスに送信させることと
を行わせるように構成されたプロセッサ可読命令を備える、コンピュータプログラム。
［Ｃ６２］
前記プロセッサに、
前記第１の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ６１に記載のコンピュータプログラム。
［Ｃ６３］
前記プロセッサに、
前記記憶された基準テンプレートを前記モバイルデバイスに送信させることを行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ６２に記載のコンピュータプログラム。
［Ｃ６４］
前記プロセッサに、
前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信させること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ６２に記載のコンピュータプログラム。
［Ｃ６５］
前記プロセッサに、
前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することを行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ６２に記載のコンピュータプログラム。
［Ｃ６６］
前記プロセッサに、前記第１の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
前記姿勢情報を使用して前記第１の画像を修正すること
を行うように構成されたプロセッサ可読命令を備える、Ｃ６５に記載のコンピュータプログラム。
［Ｃ６７］
前記プロセッサに、前記第１の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
前記修正された第１の画像をクロップすること
を行うように構成されたプロセッサ可読命令を備える、Ｃ６６に記載のコンピュータプログラム。
［Ｃ６８］
一連の画像内のターゲットを追跡するためのデバイスであって、
プロセッサと、
前記プロセッサに通信可能に結合され、前記プロセッサによって読取り可能なメモリであって、前記プロセッサによって実行されたとき、前記プロセッサに、
モバイルデバイスから第１の画像を受信することであって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信することと、
前記第１の画像に基づいて追跡テンプレートを作成することであって、前記追跡テンプレートが、前記モバイルデバイスによって前記一連の画像中で前記ターゲットを追跡するために使用される、作成することと、
前記追跡テンプレートを前記モバイルデバイスに送信させることと
を行わせる一連のプロセッサ可読命令を記憶したメモリと
を備える、デバイス。
［Ｃ６９］
前記一連のプロセッサ可読命令が、前記プロセッサに、
前記第１の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別すること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ６８に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ７０］
前記一連のプロセッサ可読命令が、前記プロセッサに、
前記記憶された基準テンプレートを前記モバイルデバイスに送信させることを行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ６９に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ７１］
前記一連のプロセッサ可読命令が、前記プロセッサに、
前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信させること
を行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ６９に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ７２］
前記一連のプロセッサ可読命令が、前記プロセッサに、
前記第１の画像を使用して姿勢情報を生成することであって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成することを行わせるように構成されたプロセッサ可読命令をさらに備える、Ｃ６９に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ７３］
前記プロセッサに、前記第１の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
前記姿勢情報を使用して前記第１の画像を修正すること
を行うように構成されたプロセッサ可読命令を備える、Ｃ７２に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ７４］
前記プロセッサに、前記第１の画像に基づいて前記追跡テンプレートを作成することを行わせるように構成された前記プロセッサ可読命令が、
前記修正された第１の画像をクロップすること
を行うように構成されたプロセッサ可読命令を備える、Ｃ７３に記載の前記一連の画像内の前記ターゲットを追跡するためのデバイス。
［Ｃ７５］
一連の画像内のターゲットを追跡するための装置であって、
モバイルデバイスから第１の画像を受信するための手段であって、
前記ターゲットが前記第１の画像内にあり、
前記ターゲットが、追跡されるべきエンティティである、受信するための手段と、
前記第１の画像に基づいて追跡テンプレートを作成するための手段であって、前記追跡テンプレートが、前記一連の画像中で前記ターゲットを追跡するために使用される、作成するための手段と、
前記追跡テンプレートを前記モバイルデバイスに送信するための手段と
を備える、装置。
［Ｃ７６］
前記第１の画像を使用して、前記ターゲットに対応する記憶された基準テンプレートを識別するための手段
をさらに備える、Ｃ７５に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ７７］
前記記憶された基準テンプレートを前記モバイルデバイスに送信するための手段をさらに備える、Ｃ７６に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ７８］
前記記憶された基準テンプレートにリンクされたデータを前記モバイルデバイスに送信するための手段
をさらに備える、Ｃ７６に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ７９］
前記第１の画像を使用して姿勢情報を生成するための手段であって、前記姿勢情報が、前記記憶された基準テンプレートと前記ターゲットとの間の関係を表す、生成するための手段
をさらに備える、Ｃ７６に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ８０］
前記追跡テンプレートを作成するための前記手段が、
前記姿勢情報を使用して前記第１の画像を修正するための手段
を備える、Ｃ７９に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
［Ｃ８１］
前記追跡テンプレートを作成するための前記手段が、
前記修正された第１の画像をクロップするための手段
をさらに備える、Ｃ８０に記載の前記一連の画像内の前記ターゲットを追跡するための装置。
【図１】
0005864622.tif 000002
【図２】
0005864622.tif 000003
【図３】
0005864622.tif 000004
【図４】
0005864622.tif 000005
【図５】
0005864622.tif 000006
【図６】
0005864622.tif 000007
【図７】
0005864622.tif 000008
【図８】
0005864622.tif 000009
【図９】
0005864622.tif 000010
【図１０】
0005864622.tif 000011
【図１１】
0005864622.tif 000012
【図１２】
0005864622.tif 000013