(57)【要約】システム及び方法は、拡張現実情報の取得又は実装を提供することができる。論理アーキテクチャを使用して、画像キャプチャ・デバイスに関する低加速状態を検出することができる。論理アーキテクチャは、低加速状態に応じて、画像キャプチャ・デバイスに関連付けられたビデオからデータを選択することができる。論理アーキテクチャはまた、そのデータを使用して、ビデオのための拡張現実情報を取得することができる。さらに、論理アーキテクチャは、拡張現実情報を用いてビデオを変更することができ、拡張現実情報を含むビデオを表示することができる。
2015529911.tif 000002
【特許請求の範囲】
【請求項１】
画像キャプチャ・デバイスに関する低加速状態を検出する検出ステップと、
前記低加速状態に応じて、前記画像キャプチャ・デバイスに関連付けられたビデオからデータを選択する選択ステップと、
前記データを使用して、前記ビデオのための拡張現実情報を取得するステップと、
を含む、
方法。
【請求項２】
前記検出ステップは、高加速状態と前記低加速状態との間の遷移を識別するステップを含む、
請求項１記載の方法。
【請求項３】
前記検出は、加速度閾値及び分類閾値のうちの１以上に基づく、
請求項１記載の方法。
【請求項４】
前記データは、特徴及びクエリ画像のうちの１以上を含み、前記選択ステップは、前記特徴及び前記クエリ画像のうちの１以上を抽出するステップを含む、
請求項１記載の方法。
【請求項５】
前記選択は、前記低加速状態中の予め定められた期間に基づく、
請求項１記載の方法。
【請求項６】
前記拡張現実情報を用いて前記ビデオを変更するステップと、
前記拡張現実情報を含む前記ビデオを表示するステップと、
のうちの１以上をさらに含む、
請求項１乃至５いずれか一項記載の方法。
【請求項７】
１以上の命令を含むコンピュータ読み取り可能媒体であって、前記１以上の命令がプロセッサ上で実行されたとき、前記１以上の命令は、前記プロセッサに、
画像キャプチャ・デバイスに関する低加速状態を検出させ、
前記低加速状態に応じて、前記画像キャプチャ・デバイスに関連付けられたビデオからデータを選択させ、
前記データを使用して、前記ビデオのための拡張現実情報を取得させる、
コンピュータ読み取り可能媒体。
【請求項８】
前記１以上の命令が実行されたとき、前記１以上の命令は、プロセッサに、高加速状態と前記低加速状態との間の遷移を識別させる、
請求項７記載のコンピュータ読み取り可能媒体。
【請求項９】
前記１以上の命令が実行されたとき、前記１以上の命令は、プロセッサに、加速度閾値及び分類閾値のうちの１以上に基づいて、前記低加速状態を検出させる、
請求項７記載のコンピュータ読み取り可能媒体。
【請求項１０】
前記データは、特徴及びクエリ画像のうちの１以上を含み、前記１以上の命令が実行されたとき、前記１以上の命令は、プロセッサに、前記ビデオから前記特徴及び前記クエリ画像のうちの１以上を抽出させる、
請求項７記載のコンピュータ読み取り可能媒体。
【請求項１１】
前記１以上の命令が実行されたとき、前記１以上の命令は、プロセッサに、前記低加速状態中の予め定められた期間に基づいて、前記データを選択させる、
請求項７記載のコンピュータ読み取り可能媒体。
【請求項１２】
前記１以上の命令が実行されたとき、前記１以上の命令は、プロセッサに、前記拡張現実情報を取得するために、前記データをリモート・プロセッサに対して送信させる、
請求項７記載のコンピュータ読み取り可能媒体。
【請求項１３】
前記１以上の命令が実行されたとき、前記１以上の命令は、プロセッサに、前記ビデオ内の前記データを識別するデータ識別決定と、前記ビデオ内の前記データに関連する情報を識別するデータ情報決定とのうちの１以上に基づいて、前記データを解析させる、
請求項７記載のコンピュータ読み取り可能媒体。
【請求項１４】
前記１以上の命令が実行されたとき、前記１以上の命令は、プロセッサに、
前記拡張現実情報に基づいて前記ビデオを変更すること、及び
前記拡張現実情報を含む前記ビデオを表示すること
のうちの１以上を行わせる、
請求項７乃至１３いずれか一項記載のコンピュータ読み取り可能媒体。
【請求項１５】
画像キャプチャ・デバイスに関する低加速状態を検出する状態モジュールと、
前記低加速状態に応じて、前記画像キャプチャ・デバイスに関連付けられたビデオからデータを選択する選択モジュールであって、前記データは、前記ビデオのための拡張現実情報を取得するために使用される、選択モジュールと、
を備えた、
装置。
【請求項１６】
前記状態モジュールは、
高加速状態と、前記低加速状態と、加速度閾値を超えたときとのうちの１以上を検出する加速モジュールと、
分類閾値を超えたときを検出する分類モジュールと、
のうちの１以上を含む、
請求項１５記載の装置。
【請求項１７】
前記データは、特徴及びクエリ画像のうちの１以上を含み、前記選択モジュールは、前記ビデオから前記特徴及び前記クエリ画像のうちの１以上を抽出する、
請求項１５記載の装置。
【請求項１８】
前記選択モジュールは、前記低加速状態中の予め定められた期間に基づいて、前記データを選択する、
請求項１５記載の装置。
【請求項１９】
前記拡張現実情報を取得するために、前記データをリモート装置に送信する通信モジュールをさらに備えた、
請求項１５記載の装置。
【請求項２０】
前記データを解析する解析モジュールをさらに備え、前記解析モジュールは、
前記ビデオ内の前記データを識別するデータ識別モジュールと、
前記ビデオ内の前記データに関連する情報を識別するデータ情報モジュールと、
のうちの１以上を含む、
請求項１５記載の装置。
【請求項２１】
前記拡張現実情報を含む前記ビデオを提示するディスプレイをさらに備えた、
請求項１５乃至２０いずれか一項記載の装置。
【請求項２２】
システムであって、
前記システムに電力を供給する電源と、
画像キャプチャ・デバイスに関する低加速状態を検出する状態モジュールと、
前記低加速状態に応じて、前記画像キャプチャ・デバイスに関連付けられたビデオからデータを選択する選択モジュールであって、前記データは、前記ビデオのための拡張現実情報を取得するために使用される、選択モジュールと、
を備えた、
システム。
【請求項２３】
前記状態モジュールは、
高加速状態と、前記低加速状態と、加速度閾値を超えたときとのうちの１以上を検出する加速モジュールと、
分類閾値を超えたときを検出する分類モジュールと、
のうちの１以上を含む、
請求項２２記載のシステム。
【請求項２４】
前記データは、特徴及びクエリ画像のうちの１以上を含み、前記選択モジュールは、前記ビデオから前記特徴及び前記クエリ画像のうちの１以上を抽出する、
請求項２２記載のシステム。
【請求項２５】
前記選択モジュールは、前記低加速状態中の予め定められた期間に基づいて、前記データを選択する、
請求項２２記載のシステム。
【請求項２６】
前記拡張現実情報を取得するために、前記データをリモート・システムに送信する通信モジュールをさらに備えた、
請求項２２記載のシステム。
【請求項２７】
前記データを解析する解析モジュールをさらに備え、前記解析モジュールは、
前記ビデオ内の前記データを識別するデータ識別モジュールと、
前記ビデオ内の前記データに関連する情報を識別するデータ情報モジュールと、
のうちの１以上を含む、
請求項２２記載のシステム。
【請求項２８】
前記ビデオ、前記データ、及び前記拡張現実情報のうちの１以上を記憶するストレージをさらに備え、前記ビデオ内の物体が、前記画像キャプチャ・デバイスの視野外に出た後、前記物体が、前記拡張現実情報とともに提示される、
請求項２２乃至２７いずれか一項記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
実施形態は、一般に、拡張現実（ＡＲ）情報を決定又は実装することに関する。より詳細には、実施形態は、画像キャプチャ・デバイスに関する加速状態を検出し、画像キャプチャ・デバイスに関連付けられたビデオのためのＡＲ情報を取得するために、加速状態に応じて、そのビデオからデータを選択することに関する。実施形態はまた、ＡＲ情報に基づいて、ビデオを変更することに関する。
【０００２】
ＡＲ情報は、画像キャプチャ・デバイスに関連付けられたビデオを変更するために、取得又は使用することができる。しかしながら、ＡＲ情報を取得することは、ビデオの連続フレーム間の差を見つけるためにモーション・ベクトルを計算する等、非常に複雑なプロセスを必要とする場合がある。さらに、ＡＲ情報を取得することは、解析のために一定の時間間隔でビデオ・フレームを送信する等、不正確な結果をもたらし得るプロセスを含む場合がある。また、ＡＲ情報を取得することは、ビデオの全フレーム等、相当量のデータが解析のために継続的に伝送されることを必要とする場合がある。したがって、プロセッサの利用、電力の利用、帯域幅の利用等、リソースの不必要な利用が存在し得る。
【図面の簡単な説明】
【０００３】
以下の明細書及び添付の特許請求の範囲を読み、図面を参照することにより、本発明の実施形態の様々な利点が、当業者に明らかになるであろう。
【図１Ａ】一実施形態に従った、画像キャプチャ・デバイスに関する低加速状態に基づいて、拡張現実（ＡＲ）情報を取得するためのアプローチの例。
【図１Ｂ】一実施形態に従った、画像キャプチャ・デバイスに関する低加速状態に基づいて、ＡＲ情報を取得するためのアプローチの例。
【図２】一実施形態に従った、画像キャプチャ・デバイスに関する低加速状態に基づいて、ＡＲ情報を取得する方法の例のブロック図。
【図３】一実施形態に従った、画像キャプチャ・デバイスに関する低加速状態に基づいて、ＡＲ情報を取得する方法の例のフローチャート。
【図４】一実施形態に従った論理アーキテクチャの例のブロック図。
【図５】一実施形態に従ったシステムの例のブロック図。
【図６】一実施形態に従った、画像キャプチャ・デバイスに関する低加速状態に基づいて、ＡＲ情報を取得するための例のプロット。
【図７】一実施形態に従った、画像キャプチャ・デバイスに関する低加速状態に基づいて、ＡＲ情報を取得するためのフローを含むシステムの例のブロック図。
【図８】一実施形態に従ったプロセッサの例のブロック図。
【図９】一実施形態に従ったシステムの例のブロック図。
【発明を実施するための形態】
【０００４】
図１Ａは、拡張現実（ＡＲ）情報を取得するためのアプローチを示している。図示した例において、装置１２は、スクリーン１４、前面カメラ１６、及び後面カメラ１８を含む。装置１２は、ラップトップ、携帯情報端末（ＰＤＡ）、無線スマートフォン、メディア・コンテンツ・プレーヤ、イメージング・デバイス、モバイル・インタネット・デバイス（ＭＩＤ）、スマートフォン、スマート・タブレット、スマートＴＶ等の任意のスマート・デバイス、プロジェクタ、眼鏡（例えば、ゴーグル）等、又はそれらの組合せといった任意のビデオ・ディスプレイ・プラットフォームを含み得る。後面カメラ１８は、装置１２の視野内にある実物体２０のビデオをキャプチャすることができ、ユーザ１０は、スクリーン１４上で実物体２０を観察することができる。ビデオは、リアルタイムにレンダリングされてもよいし、後の時間に見るために記憶されてもよいし、それらの組合せであってもよい。
【０００５】
装置１２が実物体２０に近づくとき、装置１２に関する高加速状態が存在する。加速度計等の装置１２のセンサは、高加速状態を検出することができ、実物体２０がスクリーン１４上でユーザ１０に提示されるが、ＡＲ情報は提供されない。ユーザ１０が、実物体２０を観察するために止まるとき、装置１２に関する、高加速状態から低加速状態への遷移が存在する。一実施形態において、低加速状態を検出することは、閾値を超えることに基づき得る。そのような閾値として、例えば、加速度閾値、分類閾値（classification  threshold  value）等、又はそれらの組合せがある。
【０００６】
データは、低加速状態に応じて、自動的に選択され得る。例えば、データは、低加速状態中の予め定められた期間に基づいて、自動的に選択され得る。一実施形態において、データは、実物体２０の特徴、実物体２０の画像、実物体２０を含むビデオの１つのフレーム等、又はそれらの組合せを含む。さらに、データは、ビデオから抽出され得、実物体２０に関する情報等のビデオに関するＡＲ情報を取得するために使用され得る。例えば、データは、例えば、ビデオ内の実物体２０を識別するために、ビデオ内の実物体２０に関連する情報を識別するために、及びそれらの組合せのために、使用され得る。さらに、データは、装置１２において解析されてもよいし、データ解析のためにリモート装置（例えば、リモート・サーバ）に伝送されてもよいし、又は、それらの組合せであってもよい。例示するアプローチでは、実物体２０に関連付けられた情報を含むＡＲ情報２４が取得され、低加速状態に応じて、ユーザ１０に対して、スクリーン１４上で実物体２０を含むビデオ内に提示される。
【０００７】
図１Ｂは、ＡＲ情報を取得するための別のアプローチを示している。例示するアプローチでは、装置１２及び実物体２０の一方又は両方が、互いに対して動き、装置１２の加速度計が、装置１２に関する高加速状態を検出する。装置１２及び実物体２０が互いを通過する場合において、実物体２０が装置１２の視野を横切るので、前面カメラ１６又は後面カメラ１８が、実物体２０のビデオをキャプチャする。ビデオは、後の時間に見るために記憶されてもよい。ユーザ１０が、例えば、ストレージからビデオを取り出すために止まるとき、装置１２に関する、高加速状態から低加速状態への遷移が存在し、ビデオからのデータが、低加速状態に応じて、自動的に選択される。例示するアプローチでは、実物体２０に関連付けられた情報を含むＡＲ情報２４が取得され、低加速状態に応じて、ユーザ１０に対して、スクリーン１４上で実物体２０を含むビデオ内に提示される。
【０００８】
次に図２に移ると、ＡＲ情報を取得するための方法１０２が示されている。方法１０２は、論理命令のセットとして、及び／又は、マシン読み取り可能記憶媒体若しくはコンピュータ読み取り可能記憶媒体、コンフィギュラブル・ロジック、回路技術を用いた固定機能ロジック・ハードウェア、又はそれらの任意の組合せに記憶されたファームウェアとして、実装することができる。マシン読み取り可能記憶媒体又はコンピュータ読み取り可能記憶媒体としては、例えば、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、フラッシュ・メモリ等がある。コンフィギュラブル・ロジックとしては、例えば、プログラマブル・ロジック・アレイ（ＰＬＡ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）等がある。回路技術を用いた固定機能ロジック・ハードウェアとしては、例えば、特定用途向け集積回路（ＡＳＩＣ）、ＣＭＯＳ、トランジスタ・トランジスタ・ロジック（ＴＴＬ）技術等がある。例えば、方法１０２に示されたオペレーションを実行するためのコンピュータ・プログラム・コードは、１以上のプログラミング言語の任意の組合せで記述することができる。そのようなプログラミング言語として、Ｃ＋＋等のオブジェクト指向プログラミング言語や、「Ｃ」プログラミング言語又は同様のプログラミング言語等の従来の手続型プログラミング言語がある。さらに、方法１０２は、前述の回路技術のうちいずれかを用いて実装することができる。
【０００９】
図示した処理ブロック１２６は、画像キャプチャ・デバイスに関する低加速状態等の加速状態を検出することを提供する。画像キャプチャ・デバイスは、ラップトップ、ＰＤＡ、無線スマートフォン、メディア・コンテンツ・プレーヤ、イメージング・デバイス、ＭＩＤ、スマートフォン、スマート・タブレット、スマートＴＶ等の任意のスマート・デバイス、プロジェクタ、眼鏡（例えば、ゴーグル）等、又はそれらの組合せといった任意のプラットフォームを含み得る。さらに、画像キャプチャ・デバイスは、カメラ等のセンサを備えることができる。加速状態の検出は、センサ、オペレーティング・システム、アプリケーション等、又はそれらの組合せを含む、ビデオ・パイプラインの任意の段階又はコンポーネントで実現され得る。例えば、モーション・センサ（例えば、加速度計）は、低加速状態を検出することができる。さらに、モーション・センサは、例えば、高加速状態から低加速状態への遷移といった低加速状態と高加速状態との間の遷移を検出することができる。また、モーション・センサは、加速度閾値、分類閾値等、又はそれらの組合せといった閾値に基づいて、低加速状態を検出することができる。
【００１０】
図示した処理ブロック１２８は、低加速状態等の加速状態に応じて、画像キャプチャ・デバイスに関連付けられたビデオからデータを選択することを提供する。データは、ビデオの任意の部分の特徴を含み得る。例えば、その特徴は、人間の特徴（例えば、顔認識）等の、ビデオ内の実物体の特徴とすることができる。ＳＩＦＴ（scale  invariant  feature  transform）、ＣＨｏＧ（compressed  histogram  of  gradients）記述子等、又はそれらの組合せといった任意のプロセスを用いることにより、特徴を決定することができる。さらに、データは、ビデオ内の実物体の画像、ビデオのフレーム等、又はそれらの組合せを含み得る。ビデオ又はデータは、任意のフォーマットを含み得る。そのようなフォーマットとして、例えば、ＪＰＥＧ（joint  photographic  experts  group  format）、ＧＩＦ（graphics  interchange  format）、ＴＩＦＦ（tagged  image  file  format）、ＲＡＷ（raw  image  file  format）、ＭＰＥＧ（moving  picture  experts  group  format）、ＷＭＶ（windows（登録商標）  media  video  format）フォーマット等、又はそれらの組合せがある。
【００１１】
データは、センサ、ネットワーク・インタフェース・コンポーネント、メモリ、ストレージ、ハード・ディスク、オペレーティング・システム、アプリケーション等、又はそれらの組合せを含む、ビデオ・パイプラインの任意の段階又はコンポーネントで選択され得る。例えば、ビデオが、メモリ等の、ビデオ・パイプラインの任意の段階又はコンポーネントで受信されたとき、あるいは、アクセス可能なとき、データがビデオから選択され得る。さらに、データは、低加速状態中等の加速状態中の予め定められた期間に基づいて、自動的に選択され得る。さらに、データは、ビデオの任意の段階又はコンポーネントで抽出され得る。
【００１２】
データは、リモート・プロセッサ、リモート装置、リモート・システム等、又はそれらの組合せに伝送され得る。例えば、ネットワーク・インタフェース・コンポーネントは、多様な目的のために、通信機能を提供することができる。そのような目的として、セルラ電話（例えば、Ｗ−ＣＤＭＡ（登録商標）（ＵＭＴＳ）、ＣＤＭＡ２０００（ＩＳ−８５６／ＩＳ−２０００）等）、ＷｉＦｉ（登録商標）（例えば、ＩＥＥＥ８０２．１１，１９９９  Ｅｄｉｔｉｏｎ，ＬＡＮ／ＭＡＮ無線ＬＡＮ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）（例えば、ＩＥＥＥ８０２．１５．１−２００５，無線パーソナル・エリア・ネットワーク）、ＷｉＭａｘ（登録商標）（例えば、ＩＥＥＥ８０２．１６−２００４，ＬＡＮ／ＭＡＮブロードバンド無線ＬＡＮ）、全地球測位システム（ＧＰＳ）、スペクトル拡散（例えば、９００ＭＨｚ）、及び他の無線周波数（ＲＦ）テレフォニの目的がある。さらに、データは、ユーザに対するローカル・デバイス（例えば、ユーザのモバイル・デバイス）に記憶することができ、そのようなローカル・デバイス内で使用することができる。
【００１３】
図示した処理ブロック１３０は、データを使用して、ビデオのためのＡＲ情報を取得することを提供する。一実施形態において、データは、ＡＲ情報を取得するために解析することができる。例えば、データは識別することができる。例えば、ビデオの特徴が識別されてもよいし、ビデオ内の物体が識別されてもよいし、ビデオの画像が識別されてもよいし、ビデオのフレームが識別されてもよいし、それらの組合せであってもよい。さらに、例えば、特徴に関連する情報が識別されてもよいし、物体に関連する情報が識別されてもよいし、画像に関連する情報が識別されてもよいし、フレームに関連する情報が識別されてもよいし、それらの組合せであってもよい。任意のプロセスを使用して、ＡＲ情報を取得するために、データを解析することができる。
【００１４】
例えば、ペアワイズ特徴マッチング・プロセスは、クエリ画像をデータベース画像に対してマッチングすることができる。このプロセスは、クエリ画像をマッチングするために、最も可能性が高い候補のショート・リストに対してペアワイズ比較を実行することを含み得る。特徴のインデクシングはまた、最適ビン優先（best-bin-first）ストラテジによるＳＩＦＴ記述子の近似最近傍探索を用いること、記述子のトレーニング・セットのｋ平均クラスタリングにより構築されたＢｏＦコードブックを用いるＢｏＦモデル、語彙ツリー（ＶＴ）を作成するために階層的ｋ平均クラスタリングを含む構築されたコードブックを用いること、局所性鋭敏型ハッシュ・プロセス（locally-sensitive  hashing  process）を用いること、任意の他のツリーベースのプロセスを用いること等の任意のプロセスを含み得る。
【００１５】
データを解析するために、幾何検証プロセス（geometric  verification  process）も使用することができる。例えば、クエリ画像及びデータベース画像内の特徴位置情報は、特徴マッチ（feature  match）がこれら２つの画像間の視点の変化と一致していることを確認するために、使用することができる。幾何検証を実行するために、任意のプロセスを使用することができる。例えば、ランダム・サンプル・コンセンサス（random  sample  consensus）等の回帰プロセスが使用されてもよいし、特徴オリエンテーション情報（feature-orientation  information）に基づくチェックが使用されてもよいし、回帰プロセス前の再ランキングが使用されてもよい、等である。
【００１６】
データの解析から、ＡＲ情報を取得することができる。例えば、ＣＤカバーの選択されたデータ（例えば、クエリ画像）内には識別情報が存在しないことがある。クエリ画像とデータベース画像とのペアワイズ比較から、ＡＲ情報を取得することができる。例えば、ＣＤカバーを見ることは、ＣＤカバーを識別するために、及び、著作権、リリース日、著者、タイトル等、又はそれらの組合せといったＣＤに関連する情報を決定するために、ペアワイズ比較を生じさせ得る。情報は、マッチング・プロセスを実行する同じデータベースから決定されてもよいし、インタネット・サーバ・データベース等の別のデータベースから決定されてもよい。
【００１７】
図示した方法１０２はまた、ＡＲ情報を実装することも提供する。例えば、図示した処理ブロック１３２は、ＡＲ情報を用いてビデオを変更することを提供する。ビデオは、センサ、ネットワーク・インタフェース・コンポーネント、メモリ、ストレージ、ハード・ディスク、オペレーティング・システム、アプリケーション等、又はそれらの組合せを含む、ビデオ・パイプラインの任意の段階又はコンポーネントで変更され得る。さらに、ＡＲ情報が決定されたとき、ビデオは、ＡＲ情報を用いて変更され得る。さらに、ＡＲ情報が受信されたとき、アクセス可能なとき等、又はそれらの組合せのときに、ビデオは、ＡＲ情報を用いて変更され得る。例えば、ＡＲ情報が、リモート・デバイスから、ネットワーク・インタフェース・コンポーネントから、メモリから、ストレージから、又はそれらの組合せから受信されたとき、あるいはアクセス可能なとき、ビデオは変更され得る。例えば、ＡＲ情報をビデオ内の関連する実物体に重ね合わせることにより、ＡＲ情報がビデオに含まれるよう、ビデオが変更され得る。
【００１８】
図示した処理ブロック１３４は、ＡＲ情報を含むビデオを表示することを提供する。ディスプレイ・デバイスは、ラップトップ、ＰＤＡ、無線スマートフォン、メディア・コンテンツ・プレーヤ、イメージング・デバイス、ＭＩＤ、スマートフォン、スマート・タブレット、スマートＴＶ等の任意のスマート・デバイス、プロジェクタ、眼鏡（例えば、ゴーグル）等、又はそれらの組合せといった任意のプラットフォームであり得る。したがって、ＡＲ情報を含む変更されたビデオが、迅速に、正確に、自動的に、又はこれらが合わされた形で、ユーザに提示され得る。
【００１９】
図３は、ＡＲ情報を取得するための方法２０２を示している。方法２０２は、本明細書で説明した技術のうちのいずれかを用いて実装することができる。図示した処理ブロック２３８は、低加速状態を検出する。ブロック２４０において、ビデオが画像キャプチャ・デバイスに関連付けられているかどうかを判定するための判定がなされ得る。例えば、ビデオは、画像キャプチャ・センサ（例えば、カメラ）を含むディスプレイ・デバイスにより提示されてもよいし、表示のために、（例えば、ストレージ、メモリ等から）選択されてもよいし、それらの組合せであってもよい。ビデオが、画像キャプチャ・デバイスに関連付けられていない場合、低加速状態の検出は、後の時間に実行され得る。ビデオが、画像キャプチャ・デバイスに関連付けられている場合、ブロック２４４において、画像キャプチャ・デバイスに関する低加速状態が存在するかどうかを判定するための判定がなされ得る。画像キャプチャ・デバイスに関する低加速状態が存在しない場合、ブロック２４６において、閾値を超えているかどうかを判定するための判定がなされ得る。例えば、加速度閾値を超えているかどうか、分類閾値を超えているかどうか、又はそれらの組合せについて判定され得る。閾値を超えている場合、低加速状態への遷移が存在し得る。画像キャプチャ・デバイスに関する低加速状態が存在する場合、又は低加速状態への遷移が存在する場合、処理ブロック２４８において、データがビデオから選択され、処理ブロック２５０において、そのデータを使用して、ＡＲ情報を取得する。
【００２０】
次に図４に移ると、装置４０２は、ＡＲ情報を取得するための論理アーキテクチャ４５４を含む。論理アーキテクチャ４５４は、一般に、ラップトップ、ＰＤＡ、無線スマートフォン、メディア・プレーヤ、イメージング・デバイス、ＭＩＤ、スマートフォン、スマート・タブレット、スマートＴＶ等の任意のスマート・デバイス、プロジェクタ、眼鏡（例えば、ゴーグル）、サーバ等、又はそれらの組合せといったプラットフォームに組み込むことができる。論理アーキテクチャ４５４は、アプリケーション、オペレーティング・システム、メディア・フレームワーク、ハードウェア・コンポーネント、又はそれらの組合せの中に実装することができる。論理アーキテクチャ４５４は、ネットワーク・インタフェース・コンポーネント、メモリ、プロセッサ、ハード・ドライブ、オペレーティング・システム、アプリケーション等、又はそれらの組合せといった、ビデオ・パイプラインの任意のコンポーネントの中に実装することができる。例えば、論理アーキテクチャ４５４は、中央処理装置（ＣＰＵ）、グラフィカル処理装置（ＧＰＵ）、ビジュアル処理装置（ＶＰＵ）等のプロセッサ、センサ、オペレーティング・システム、アプリケーション等、又はそれらの組合せの中に実装することができる。装置４０２は、バッテリ等の電源４９８、電力コネクタ等、又はそれらの組合せを含み得る。
【００２１】
図示した例において、論理アーキテクチャ４５４は、画像キャプチャ・デバイスに関する低加速状態等の加速状態を検出する状態モジュール４５６を含む。状態モジュール４５６は、高加速状態、低加速状態等、又はそれらの組合せを検出する加速モジュール４５８を含み得る。加速モジュール４５８はまた、加速度閾値を超えたときを検出することができる。加速モジュール４５８はまた、例えば、低加速状態への遷移といった遷移を判定することができる。さらに、状態モジュール４５６は、分類閾値を超えたときを検出する分類モジュール４６０を含み得る。一実施形態において、分類モジュール４６０は、加速状態がある時間期間の間一定を保っていたかどうかを判定することができる。
【００２２】
図示した例において、論理アーキテクチャ４５４は、低加速状態に応じて、画像キャプチャ・デバイス（例えば、センサ４９４）に関連付けられたビデオからデータを選択する選択モジュール４６２を含む。そのデータを使用して、ビデオのためのＡＲ情報を取得することができる。選択モジュール４６２は、例えば、ビデオから特徴を抽出することができ、ビデオからクエリ画像を抽出することができ、ビデオからフレームを抽出することができ、又は、それらの組合せを実行することができる。選択モジュール４６２は、低加速状態中等の加速状態中の予め定められた期間に基づいて、データを選択することができる。例えば、データは、低加速状態の開始時に、低加速状態が開始した後に、低加速期間の開始と分類閾値との間においてランダムに、分類閾値を超えた後であって高加速状態への遷移の前に、等、又はそれらの組合せのタイミングで、選択することができる。
【００２３】
図示した例において、論理アーキテクチャ４５４はまた、データを解析する解析モジュール４６４を含む。解析モジュール４６４は、ビデオ内の特徴、ビデオ内の物体、ビデオ内の画像、ビデオ内のフレーム等、又はそれらの組合せを識別するデータ識別モジュール４６６を含み得る。例えば、データ（例えば、クエリ画像）は、道路の特徴（例えば、ランドマーク）を含み得、その特徴は、クエリ画像とデータベース内の画像（例えば、データベース画像）との間のペアワイズ比較を用いて識別することができる。例えば、特徴を識別するために、クエリ画像を識別するために、適切なデータベース画像を選択するために、又はそれらの組合せのために、位置情報（例えば、ＧＰＳ情報）を含む他の情報が使用されてもよい。解析モジュール４６４はまた、ビデオ内のデータに関連する情報を識別するデータ情報モジュール４６８を含み得る。例えば、データを説明する情報（例えば、ランドマークの名前）は、例えば、ストレージ４９０内のローカル・データベースから識別されてもよいし、例えば、オンライン・インタネット・サーバ内のリモート・データベースから識別されてもよい。さらに、ビデオ内のデータに関連する情報を識別するために、他の情報が使用されてもよい。
【００２４】
図示した例において、論理アーキテクチャ４５４はまた、論理アーキテクチャ４５４がストレージ４９０、アプリケーション４９２、センサ４９４、ディスプレイ４９６等、又はそれらの組合せといったコンポーネントと通信することを可能にする通信モジュール４７０を含む。例えば、状態モジュール４５６は、加速状態を検出するために、センサ４９４と直接的に通信してもよいし、通信モジュール４７０を使用して、センサ４９４と通信してもよい。さらに、選択モジュール４６２は、データを選択するために、ストレージ４９０と直接的に通信してもよいし、通信モジュール４７０を使用して、ストレージ４９０と通信してもよい。さらに、解析モジュール４６４から取得されたＡＲ情報は、ＡＲ情報がビデオとともに提示され得るように、ストレージ４９０、アプリケーション４９２、ディスプレイ４９６等と直接的に通信されてもよいし、通信モジュール４７０を使用して通信されてもよい。一実施形態において、通信モジュール４７０は、ネットワーク・インタフェース・コンポーネントと通信することができる、あるいは、ネットワーク・インタフェース・コンポーネントと一体化することができる。例は別個のモジュールを示しているが、論理アーキテクチャ４５４のモジュールの１以上は、１以上の結合されたモジュールとして実装されてもよいことは明らかである。
【００２５】
図５は、ＡＲ情報を取得するためのシステム５０２の例のブロック図を示している。システム５０２は、電力をシステム５０２に供給する電源５９８、ＡＲ情報とともにビデオを提示するディスプレイ５９６、システム５０２にビデオを提供する画像キャプチャ・システム５９４、システム・メモリ（図示せず）、大容量ストレージ（図示せず）、ネットワーク・インタフェース・コンポーネント（図示せず）等、又はそれらの組合せといった他のシステム・コンポーネントとともに、論理アーキテクチャ５５４を含み得る。さらに、システム５０２は、専用グラフィック・メモリ（図示せず）を含む専用グラフィック・コンポーネント等の、画像を受信又は処理するための専用コンポーネントを含み得る。
【００２６】
図示した例において、システム５０２は、画像キャプチャ・システム５９２に関する低加速状態等の加速状態を検出する状態モジュール５５６を含む。画像キャプチャ・システム５９４は、カメラを含み得、ディスプレイ５９６に接続され得る。さらに、システム５０２は、低加速状態に応じて、画像キャプチャ・システム５９４により提供されるビデオからデータを選択する選択モジュール５６２を含む。さらに、システム５０２は、データを解析し、ＡＲ情報を取得する解析モジュール５６４を含む。また、システム５０２は、ストレージ４９０等の他のシステム・コンポーネント、及びリモート・システム５７２と通信する通信モジュール５７０を含む。一実施形態において、リモート・システム５７２は、例えば、ペアワイズ比較を実現するために、画像のデータベースを含み得る。モジュール５５６、５６２、５６４、及び５７０のいずれも、リモート・システム５７２に含まれてもよい。図示した例において、システム５０２は、例えば、ストレージ５９０からの、画像キャプチャ・システム５９４からの、ＡＲ情報を用いて変更されたビデオを提示することができる。
【００２７】
次に図６に移ると、画像キャプチャ・デバイスに関する低加速状態に基づいてＡＲ情報を取得するための例のプロット６０２が示されている。図示した例において、プロット６０２は、プラットフォームに関連付けられている加速度計ベクトル（Ｇ）を、時間の変数（例えば、時間）に関連付ける。加速度計ベクトル（Ｇ）は、３つの次元（例えば、ｇｘ，ｇｙ，ｇｚ）を含む。ベクトルの絶対値は、以下の計算式
【００２８】
【数１】
2015529911.tif 000003
を用いて得ることができる。
【００２９】
Ｇが０に等しいとき、静止状態又は等速運動であり得る。Ｇは、画像キャプチャ・デバイスのパンニング・スピード（panning  speed）に直接的に関連付けることができ、これは、３つの状態、すなわち、静止、バースト・モーション（burst  motion）、及び非レギュラ・モーション（non-regular  motion）の間の遷移状態にあり得る。モーション値は、ノイズを含み得るので、加速度閾値（Ｔａ）を用いて、高加速状態６７４及び低加速状態６７６を用いるビデオを分類することができる。例えば、センサ・データ（例えば、Ｇ）が、加速度閾値（Ｔａ）以下に属する場合、画像キャプチャ・デバイスに関する低加速状態６７６であることが示される。さらに、センサ・データが、加速度閾値（Ｔａ）以下に属さない場合、画像キャプチャ・デバイスに関する高加速状態６７４であることが示される。したがって、低加速状態６７６を検出することができ、高加速状態６７４から低加速状態６７６への遷移を識別することができ、高加速状態６７４及び低加速状態６７６を、高加速状態６７４、低加速状態６７６、及びそれらの組合せ中にキャプチャされたビデオの部分に関連付けることにより、ビデオを分類することができる。
【００３０】
さらに、ラン・レングス時間を用いて、加速状態を検出することができる。例えば、ラン・レングス時間は、低加速状態のそれぞれについて測定することができ、これは、加速状態が一定を保っている時間を表し得る。したがって、ラン・レングス時間が分類閾値（Ｔｃ）を超えるまで、あるいは、ラン・レングス時間が分類閾値（Ｔｃ）を超えない限り、状態（又は、ビデオ分類）は変わり得ない。したがって、状態の検出における比較的急速な時間的振動は抑制され得る。さらに、モーション・センサ（例えば、加速度計）を用いて現在の動きと以前の動きとの間のモーション・ベクトル（例えば、Ｇ）の差を決定することにより、その差が予め定められた閾値を超えたときにデータ（例えば、クエリ・フレーム）の選択又は伝送を達成することが可能となり得る。同様に、モーション・ベクトル間の差が比較的小さいとき、フレームが選択又は伝送されることは必要とされない。
【００３１】
データは、加速状態中の予め定められた期間に基づいて選択され得る。例えば、データは、低加速状態６７６が存在する全ての時間の開始時に選択されてもよいし、低加速状態６７６中のある期間において開始時（例えば、０秒）からランダムに選択されてもよいしい、低加速状態６７６への遷移の開始時（Ｔｔ）からランダムに選択されてもよいし、遷移の開始（Ｔｔ）から分類閾値（Ｔｃ）までの期間中においてランダムに選択されてもよいし、分類閾値（Ｔｃ）と高加速度閾値への遷移（例えば、Ｔａ）との間の期間中においてランダムに選択されてもよいし、それらの組合せであってもよい。したがって、６４０ｘ４８０サイズの画像について、約５０Ｋｂと６０Ｋｂとの間の平均クエリ・フレームが迅速に伝送され得る。一実施形態において、ＪＰＥＧ圧縮ビューファインダ・フレーム等のフレームが選択又は伝送され得る。さらに、ユーザ関心モデル（user  attention  model）に関連する比較的低い／静止した動きの分類に起因する最大化された正確さに加えて、比較的低い計算コスト又は電力使用が存在し得る。
【００３２】
図７は、低加速状態に基づいてビデオ・ストリーム７７３を変更するための、ＡＲ情報を取得するためのフローを含むシステム７０２の例のブロック図を示している。図示した例において、システム７０２は、高加速状態７７４及び低加速状態７７６を検出し、高加速状態７７４及び低加速状態７７６を、ビデオ・ストリーム７７３のそれぞれの部分に関連付ける。低加速状態７７６中のビデオ・ストリーム７７３のデータ（例えば、クエリ・フレーム）が、分類閾値（Ｔｃ）を超えたとき等の、低加速状態７７６中の予め定められた期間に基づいて選択される。データ（例えば、クエリ・フレーム）が、データ抽出７７７において抽出される。データが、フレーム符号化７７８において符号化され得、リモート・プロセッサ、リモート装置、リモート・システム等、又はそれらの組合せに伝送され得る。一実施形態において、データは、リモートの画像データベース・サーバに伝送される。データが伝送されると、データは、フレーム復号化７７９において復号化され得、次いで、識別オペレーション７８０においてＡＲ情報を取得するために使用され得る。さらに、データは、データ抽出７７７の後、識別オペレーション７８０においてＡＲ情報を取得するために、直接的に使用され得る。
【００３３】
データは、ＡＲ情報を用いてビデオ・ストリーム７７３を変更するために、使用され得る。データが、データ抽出７７７において抽出され、識別オペレーション７８０において識別情報（identification  information）を取得するために直接的に使用されるとき、ＡＲ情報は、情報挿入オペレーション７８４に直接伝送され得る。データがリモート位置に伝送される場合、ＡＲ情報は、変更オペレーション７８１においてデータ（例えば、クエリ画像）を変更することができ、変更されたデータ（例えば、変更されたクエリ画像）が、フレーム符号化７８２において符号化され得る。変更されたデータは、フレーム復号化７８３において復号化され得、情報挿入７８４に伝送され得る。情報挿入７８４において、識別オペレーション７８０からのＡＲ情報が、ビデオ・ストリーム７７３内の元のフレームに挿入され得る、元のフレームが、ビデオ・ストリーム７７３において、変更オペレーション７８１からの変更されたフレームに置換され得る、又は、それらの組合せが提供され得る。さらに、ＡＲ情報は、後の使用のために記憶されてもよい。同様に、データ抽出７７７において選択又は抽出されたデータ、識別オペレーション７８０、変更オペレーション７８１、情報挿入７８４等、又はそれらの組合せに対応する識別された特徴、物体、画像等が、情報挿入７８４において挿入され得る。
【００３４】
図８は、一実施形態に従ったプロセッサ・コア２００を示している。プロセッサ・コア２００は、マイクロプロセッサ、組み込みプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ネットワーク・プロセッサ、又はコードを実行する他のデバイス等の、任意の種類のプロセッサのコアであり得る。図８には１つのプロセッサ・コア２００しか示されていないが、処理エレメントは、代替的に、図８に示したプロセッサ・コア２００を２以上含んでもよい。プロセッサ・コア２００は、シングルスレッド型のコアであってもよいが、少なくとも１つの実施形態において、プロセッサ・コア２００は、１コア当たり２以上のハードウェア・スレッド・コンテキスト（すなわち、「論理プロセッサ」）を含み得るマルチスレッド型であってもよい。
【００３５】
図８はまた、プロセッサ２００に接続されたメモリ２７０を示している。メモリ２７０は、当業者に知られ、あるいは当業者に利用可能な多様なメモリ（メモリ階層の様々なレイヤを含む）のうちのいずれかとすることができる。メモリ２７０は、プロセッサ・コア２００により実行される１以上のコード２１３の命令を含み得る。コード２１３は、すでに説明した論理アーキテクチャ４５４（図４）又は論理アーキテクチャ５５４（図５）を実装し得る。プロセッサ・コア２００は、コード２１３により指示される命令群からなるプログラム・シーケンスに従う。各命令が、フロント・エンド部分２１０に入力され、１以上のデコーダ２２０により処理され得る。デコーダ２２０は、その出力として、予め定められたフォーマットの固定幅マイクロ・オペレーション等のマイクロ・オペレーションを生成し得る、あるいは、元のコード命令を反映した他の命令、マイクロ命令、又は制御信号を生成し得る。図示したフロント・エンド２１０はまた、実行のために一般にリソースを割り当て、変換命令に対応するオペレーションを待ち行列に入れる、レジスタ・リネーミング・ロジック２２５及びスケジューリング・ロジック２３０を含む。
【００３６】
実行ユニット２５５−１〜２５５−Ｎのセットを有する実行ロジック２５０を含むプロセッサ２００が示されている。いくつかの実施形態は、特定の機能又は機能のセットに特化した複数の実行ユニットを含み得る。他の実施形態は、特定の機能を実行することができる１つの実行ユニットのみを含み得る。図示した実行ロジック２５０は、コード命令により指定されるオペレーションを実行する。
【００３７】
コード命令により指定されるオペレーションの実行の完了後、バック・エンド・ロジック２６０は、コード２１３の命令をリタイアする。一実施形態において、プロセッサ２００は、命令のアウト・オブ・オーダ実行を可能にするが、命令のイン・オーダ・リタイアメントを必要とする。リタイアメント・ロジック２６５は、当業者に知られた多様な形態（例えば、リオーダ・バッファ等）を取り得る。このようにして、プロセッサ・コア２００は、少なくとも、デコーダにより生成される出力、レジスタ・リネーミング・ロジック２２５により使用されるハードウェア・レジスタ及びテーブル、及び実行ロジック２５０により変更されるレジスタ（図示せず）に関して、コード２１３の実行中に変換される。
【００３８】
図８には示されていないが、処理エレメントは、プロセッサ・コア２００を有するチップ上に他のエレメントを含んでもよい。例えば、処理エレメントは、プロセッサ・コア２００とともにメモリ制御ロジックを含んでもよい。処理エレメントは、Ｉ／Ｏ制御ロジックを含んでもよく、且つ／あるいはメモリ制御ロジックと統合されたＩ／Ｏ制御ロジックを含んでもよい。処理エレメントはまた、１以上のキャッシュを含んでもよい
次に図９を参照すると、本発明の一実施形態に従ったシステムの実施形態１０００のブロック図が示されている。第１の処理エレメント１０７０及び第２の処理エレメント１０８０を含むマルチプロセッサ・システム１０００が図９に示されている。２つの処理エレメント１０７０及び１０８０が図示されているが、システムの実施形態１０００は、１つの処理エレメントのみを含んでもよいことを理解されたい。
【００３９】
システム１０００が、ポイント・ツー・ポイント相互接続システムとして示されている。システム１０００において、第１の処理エレメント１０７０及び第２の処理エレメント１０８０は、ポイント・ツー・ポイント相互接続１０５０を介して接続されている。図９に示した相互接続のいずれか又は全てが、ポイント・ツー・ポイント相互接続ではなく、マルチドロップ・バスとして実装されてもよいことを理解すべきである。
【００４０】
図９に示されるように、処理エレメント１０７０及び１０８０の各々は、第１のプロセッサ・コア及び第２のプロセッサ・コア（すなわち、プロセッサ・コア１０７４ａ及びプロセッサ・コア１０７４ｂとプロセッサ・コア１０８４ａ及びプロセッサ・コア１０８４ｂ）を含むマルチコア・プロセッサであり得る。そのようなコア１０７４ａ、１０７４ｂ、１０８４ａ、１０８４ｂは、図８に関連して上述した形と同様の形で、命令コードを実行するよう構成され得る。
【００４１】
処理エレメント１０７０及び１０８０の各々は、少なくとも１つの共有キャッシュ１８９６を含み得る。共有キャッシュ１８９６ａ、１８９６ｂは、コア１０７４ａ、１０７４ｂ、１０８４ａ、１０８４ｂ等のプロセッサの１以上のコンポーネントによりそれぞれ使用されるデータ（例えば、命令）を記憶することができる。例えば、共有キャッシュは、プロセッサのコンポーネントによる高速アクセスのために、メモリ１０３２、１０３４に記憶されたデータをローカルにキャッシュすることができる。１以上の実施形態において、共有キャッシュは、レベル２（Ｌ２）、レベル３（Ｌ３）、レベル４（Ｌ４）、若しくは他のレベルのキャッシュ等の１以上の中間レベル・キャッシュ、ラスト・レベル・キャッシュ（ＬＬＣ）、及び／又はそれらの組合せを含み得る。
【００４２】
２つの処理エレメント１０７０及び１０８０しか図示されていないが、本発明の範囲は、そのように限定されるものではないことを理解されたい。他の実施形態において、１以上のさらなる処理エレメントが、所与のプロセッサ内に提供されてもよい。代替的に、処理エレメント１０７０、１０８０のうちの１以上が、アクセラレータ又はフィールド・プログラマブル・ゲート・アレイ等の、プロセッサ以外のエレメントであってもよい。例えば、１以上のさらなる処理エレメントは、第１のプロセッサ１０７０と同種の１以上のさらなるプロセッサ、第１のプロセッサ１０７０と異種又は非対称の１以上のさらなるプロセッサ、（例えば、グラフィック・アクセラレータ又はデジタル信号処理（ＤＳＰ）ユニット等の）アクセラレータ、フィールド・プログラマブル・ゲート・アレイ、又は任意の他の処理エレメントを含んでもよい。アーキテクチャ、マイクロアーキテクチャ、熱、及び電力消費の特性等を含む性能メトリックの範囲の観点から、処理エレメント１０７０と処理エレメント１０８０との間には様々な差が存在する可能性がある。これらの差は、処理エレメント１０７０、１０８０中で非対称及び異種として効果的に現れ得る。少なくとも１つの実施形態において、様々な処理エレメント１０７０、１０８０は、同一のダイ・パッケージ内に存在し得る。
【００４３】
第１の処理エレメント１０７０は、メモリ・コントローラ・ロジック（ＭＣ）１０７２と、ポイント・ツー・ポイント（Ｐ−Ｐ）インタフェース１０７６及び１０７８とをさらに含み得る。同様に、第２の処理エレメント１０８０は、ＭＣ１０８２と、Ｐ−Ｐインタフェース１０８６及び１０８８とを含み得る。図９に示されるように、ＭＣ１０７２及びＭＣ１０８２は、プロセッサをそれぞれのメモリ、すなわち、メモリ１０３２及びメモリ１０３４に接続する。メモリ１０３２及びメモリ１０３４は、それぞれのプロセッサにローカルにアタッチされたメイン・メモリの一部分であり得る。ＭＣロジック１０７２及びＭＣロジック１０８２は、処理エレメント１０７０及び処理エレメント１０８０に統合されたものとして示されているが、代替実施形態においては、ＭＣロジックは、処理エレメント１０７０及び処理エレメント１０８０に統合されたものではなく、処理エレメント１０７０及び処理エレメント１０８０の外部の別個のロジックであってよい。
【００４４】
第１の処理エレメント１０７０及び第２の処理エレメント１０８０は、Ｐ−Ｐ相互接続１０７６、１０８６、及び１０８４をそれぞれ介して、Ｉ／Ｏサブシステム１０９０に接続され得る。図９に示されるように、Ｉ／Ｏサブシステム１０９０は、Ｐ−Ｐインタフェース１０９４及びＰ−Ｐインタフェース１０９８を含む。さらに、Ｉ／Ｏサブシステム１０９０は、Ｉ／Ｏサブシステム１０９０を高性能グラフィックス・エンジン１０３８に接続するインタフェース１０９２を含む。一実施形態において、バス１０４９を使用して、グラフィックス・エンジン１０３８をＩ／Ｏサブシステム１０９０に接続することができる。代替的に、ポイント・ツー・ポイント相互接続１０３９が、これらのコンポーネントを接続してもよい。
【００４５】
次に、Ｉ／Ｏサブシステム１０９０は、インタフェース１０９６を介して、第１のバス１０１６に接続され得る。一実施形態において、第１のバス１０１６は、ＰＣＩ（peripheral  component  interconnect）バス、又は、ＰＣＩエクスプレス・バス若しくは別の第３世代Ｉ／Ｏ相互接続バス等のバスであり得るが、本発明の範囲は、そのように限定されるものではない。
【００４６】
図９に示されるように、スクリーン１４（図１Ａ及び図１Ｂ）、ディスプレイ４９６（図４）、又はディスプレイ５９６（図５）等の様々なＩ／Ｏデバイス１０１４が、第１のバス１０１６とともに、バス・ブリッジ１０１８に接続され得る。バス・ブリッジ１０１８は、第１のバス１０１６を第２のバス１０２０に接続し得る。一実施形態において、第２のバス１０２０は、ＬＰＣ（low  pin  count）バスであり得る。例えば、キーボード／マウス１０１２、１以上の通信デバイス１０２６（これらは、コンピュータ・ネットワークと通信し得る）、及びデータ・ストレージ・ユニット１０１８を含む様々なデバイスが、第２のバス１０２０に接続され得る。データ・ストレージ・ユニット１０１８は、例えば、ディスク・ドライブ、又は他の大容量ストレージ・デバイス等を含み、一実施形態において、コード１０３０を含み得る。コード１０３０は、上述した方法の１以上の実施形態を実行するための命令を含み得る。したがって、例示したコード１０３０は、論理アーキテクチャ４５４（図４）又は論理アーキテクチャ５５４（図５）を実装し得、すでに説明したコード２１３（図８）と同様のものであり得る。さらに、オーディオＩ／Ｏ１０２４が、第２のバス１０２０に接続され得る。
【００４７】
他の実施形態も意図されていることに留意されたい。例えば、図９のポイント・ツー・ポイント・アーキテクチャの代わりに、システムは、マルチドロップ・バス又は別のそのような通信トポロジを実装してもよい。また、図９のエレメントは、代替的に、図９に示されたチップよりも多い又は少ない集積チップを用いて分割されてもよい。
【００４８】
実施形態は、ＡＲ情報を取得することができる、コンピュータにより実施される方法を含み得る。コンピュータにより実施される方法は、画像キャプチャ・デバイスに関する加速状態を検出する検出ステップを含み得る。加速状態は、低加速状態、高加速状態、又はそれらの組合せを含み得る。検出ステップは、高加速状態と低加速状態との間の遷移を識別するステップを含み得る。検出は、加速度閾値、分類閾値、又はそれらの組合せに基づき得る。
【００４９】
コンピュータにより実施される方法はまた、例えば、低加速状態等の加速状態に応じて、画像キャプチャ・デバイスに関連付けられたビデオからデータを選択する選択ステップを含み得る。データは、特徴、クエリ画像等、又はそれらの組合せを含み得る。選択ステップは、ビデオから、特徴、クエリ画像、又はそれらの組合せを抽出するステップを含み得る。選択は、低加速状態中等の加速状態中の予め定められた期間に基づき得る。コンピュータにより実施される方法は、データを使用して、ビデオのためのＡＲ情報を取得するステップをさらに含み得る。コンピュータにより実施される方法はまた、ＡＲ情報を用いてビデオを変更するステップ、ＡＲ情報を含むビデオを表示するステップ、又はそれらの組合せを含み得る。
【００５０】
実施形態はまた、命令のセットを有するコンピュータ読み取り可能記憶媒体を含み得る。命令がプロセッサにより実行された場合、命令は、プロセッサに、ＡＲ情報を取得させ得る。命令が実行された場合、命令は、プロセッサに、画像キャプチャ・デバイスに関する低加速状態等の加速状態を検出させ得る。命令が実行された場合、命令は、プロセッサに、高加速状態と低加速状態との間の遷移を識別させ得る。命令が実行された場合、命令は、プロセッサに、加速度閾値、分類閾値、又はそれらの組合せに基づいて、低加速状態等の加速状態を検出させ得る。
【００５１】
命令が実行された場合、命令は、プロセッサに、低加速状態に応じて、画像キャプチャ・デバイスに関連付けられたビデオからデータを選択させ得る。命令が実行された場合、命令は、プロセッサに、ビデオから、特徴、クエリ画像、又はそれらの組合せを抽出させ得る。命令が実行された場合、命令は、プロセッサに、低加速状態中の予め定められた期間に基づいて、データを選択させ得る。命令が実行された場合、命令は、プロセッサに、ＡＲ情報を取得するために、データをリモート・プロセッサに対して送信させ得る。命令が実行された場合、命令は、プロセッサに、拡張現実情報に基づいてビデオを変更すること、拡張現実情報を含むビデオを表示すること、又はそれらの組合せを行わせ得る。
【００５２】
実施形態はまた、ＡＲ情報を取得するためのロジックを有する装置を含み得る。装置は、画像キャプチャ・デバイスに関する低加速状態等の加速状態を検出する状態モジュールを含み得る。状態モジュールは、高加速状態、低加速状態、加速度閾値を超えたとき、又はそれらの組合せを検出する加速モジュールを含み得る。加速モジュールは、低加速状態と高加速状態との間の遷移を識別することができる。状態モジュールは、分類閾値を超えたときを検出する分類モジュールを含み得る。
【００５３】
装置は、低加速状態に応じて、画像キャプチャ・デバイスに関連付けられたビデオからデータを選択する選択モジュールを含み得、データは、ビデオのためのＡＲ情報を取得するために使用され得る。選択モジュールは、ビデオから、特徴、クエリ画像、又はそれらの組合せを抽出することができる。選択モジュールは、低加速状態中等の加速状態中の予め定められた期間に基づいて、データを選択することができる。
【００５４】
装置は、データを解析する解析モジュールを含み得る。解析モジュールは、ビデオ内のデータを識別するデータ識別モジュール、ビデオ内のデータに関連する情報を識別するデータ情報モジュール、又はそれらの組合せを含み得る。装置は、ＡＲ情報を取得するために、データをリモート装置に送信する通信モジュールを含み得る。装置は、ＡＲ情報を含むビデオを提示するディスプレイを含み得る。
【００５５】
実施形態はまた、ＡＲ情報を取得するためのロジックを有するシステムを含み得る。システムは、画像キャプチャ・デバイスに関する低加速状態等の加速状態を検出する状態モジュールを含み得る。状態モジュールは、高加速状態、低加速状態、加速度閾値を超えたとき、又はそれらの組合せを検出する加速モジュールを含み得る。加速モジュールは、低加速状態と高加速状態との間の遷移を識別することができる。状態モジュールは、分類閾値を超えたときを検出する分類モジュールを含み得る。
【００５６】
システムは、低加速状態に応じて、画像キャプチャ・デバイスに関連付けられたビデオからデータを選択する選択モジュールを含み得、データは、ビデオのためのＡＲ情報を取得するために使用され得る。選択モジュールは、ビデオから、特徴、クエリ画像、又はそれらの組合せを抽出することができる。選択モジュールは、低加速状態中等の加速状態中の予め定められた期間に基づいて、データを選択することができる。
【００５７】
システムは、データを解析する解析モジュールを含み得る。解析モジュールは、ビデオ内のデータを識別するデータ識別モジュール、ビデオ内のデータに関連する情報を識別するデータ情報モジュール、又はそれらの組合せを含み得る。システムは、ＡＲ情報を取得するために、データをリモート装置に送信する通信モジュールを含み得る。
【００５８】
システムは、電源、ユーザ・インタフェース、画像キャプチャ・システム、システム・メモリ、ネットワーク・インタフェース・コンポーネント等、又はそれらの組合せといったシステム・コンポーネントとともに、ロジックを含み得る。さらに、システムは、モーション・センサ等のセンサを含み得る。システムは、ＡＲ情報を含むビデオを提示するディスプレイを含み得る。システムは、ビデオ、データ、拡張現実情報、又はそれらの組合せを記憶するストレージを含み得る。データは、ビデオ内の物体の画像を含み得、ビデオ内の物体が、画像キャプチャ・デバイスの視野外に出た後、ビデオ内の物体が、ＡＲ情報とともに提示され得る。
【００５９】
様々な実施形態は、ハードウェア・エレメント、ソフトウェア・エレメント、又は両方の組合せを用いて実装することができる。ハードウェア・エレメントの例は、プロセッサ、マイクロプロセッサ、回路、回路エレメント（例えば、トランジスタ、抵抗、キャパシタ、インダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル・ロジック・デバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップ・セット等を含み得る。ソフトウェアの例は、ソフトウェア・コンポーネント、プログラム、アプリケーション、コンピュータ・プログラム、アプリケーション・プログラム、システム・プログラム、マシン・プログラム、オペレーティング・システム・ソフトウェア、ミドルウェア、ファームウェア、ソフトウェア・モジュール、ルーチン、サブルーチン、ファンクション、メソッド、プロシージャ、ソフトウェア・インタフェース、アプリケーション・プログラム・インタフェース（ＡＰＩ）、命令セット、コンピューティング・コード、コンピュータ・コード、コード・セグメント、コンピュータ・コード・セグメント、ワード、値、シンボル、又はそれらの任意の組合せを含み得る。実施形態がハードウェア・エレメント及び／又はソフトウェア・エレメントを用いて実装されるかどうかの決定は、任意の数のファクタに応じて変わり得る。そのようなファクタとして、所望の計算レート、電力レベル、熱耐性、処理サイクル割り当て、入力データ・レート、出力データ・レート、メモリ・リソース、データ・バス・スピード、及び、他の設計制約又は性能制約がある。
【００６０】
少なくとも１つの実施形態の１以上の態様は、プロセッサ内の様々なロジックを表す、マシン読み取り可能媒体に記憶された代表的命令により実装され得る。代表的命令がマシンにより読み込まれたとき、代表的命令は、本明細書で説明した技術を実行するためのロジックをマシンに組み立てさせる。「ＩＰコア」として知られているそのような代表が、有体のマシン読み取り可能媒体に記憶され得、実際にロジック又はプロセッサを作る製造マシンにロードするために、様々な顧客又は製造施設に提供され得る。
【００６１】
本発明の実施形態は、全ての種類の半導体集積回路（「ＩＣ」）チップとともに使用するために適用可能である。これらのＩＣチップの例は、プロセッサ、コントローラ、チップセット・コンポーネント、プログラマブル・ロジック・アレイ（ＰＬＡ）、メモリ・チップ、ネットワーク・チップ等を含むが、これらに限定されるものではない。さらに、図面のうちのいくつかにおいて、信号導線が、線により表されている。いくつかは、より多くの構成信号路を示すために異なり得るものであり、いくつかは、複数の構成信号路を示すために番号ラベルを有し得るものであり、且つ／あるいは、いくつかは、主要な情報のフロー方向を示すために１以上の端部において矢印を有し得るものである。しかしながら、これは、限定的なものとして解釈すべきではない。そうではなく、そのようなさらなる詳細は、回路のより容易な理解を促すために、１以上の例示的な実施形態に関連して使用され得る。さらなる情報を有していようがいまいが、示された信号線のいずれも、実際には、複数の方向に伝搬し得る１以上の信号を含み得、差動ペア、光ファイバ回線、及び／又はシングル・エンド回線を用いて実装される任意の適切な種類の信号方式（例えば、デジタル回線又はアナログ回線）により実装され得る。
【００６２】
サイズ／モデル／値／範囲の例が提供されたかもしれないが、本発明の実施形態は、そのような例に限定されるものではない。製造技術（例えば、フォトリソグラフィ）が時間とともに成熟するにつれ、より小さなサイズのデバイスを製造できると予想される。さらに、例示及び説明の単純さのために、且つ本発明の実施形態の所定の態様を曖昧にしないようにするために、ＩＣチップ及び他のコンポーネントへの周知の電力／接地接続が、図面内に示されているかもしれないし、示されていないかもしれない。さらに、本発明の実施形態を曖昧にするのを避けるために、構成をブロック図の形態で示すことができ、そのようなブロック図の構成の実装に関する詳細が、実施形態が実装されるプラットフォームに大きく依存すること、すなわち、そのような詳細が、十分に当業者の視野内にあるべきであることも鑑みている。本発明の例示的な実施形態を説明するために、特定の詳細（例えば、回路）が記載される場合、本発明の実施形態は、そのような特定の詳細なしでも、あるいはそのような特定の詳細の変形を用いても実施できることが当業者には明らかなはずである。したがって、本説明は、限定ではなく例示としてみなされるべきである。
【００６３】
いくつかの実施形態は、例えば、命令又は命令のセットを記憶することができるマシン、若しくは、有体のコンピュータ読み取り可能媒体又は製品を用いて実装することができる。そのような命令又は命令のセットは、マシンにより実行された場合、マシンに、実施形態に従った方法及び／又はオペレーションを実行させ得る。そのようなマシンは、例えば、任意の適切な処理プラットフォーム、コンピューティング・プラットフォーム、コンピューティング・デバイス、処理デバイス、コンピューティング・システム、処理システム、コンピュータ、プロセッサ等を含み得、ハードウェア及び／又はソフトウェアの適切な組合せを用いて実装され得る。マシン読み取り可能媒体又は製品は、例えば、任意の適切な種類のメモリ・ユニット、メモリ・デバイス、メモリ製品、メモリ媒体、ストレージ・デバイス、ストレージ製品、記憶媒体、及び／又はストレージ・ユニット、例えば、メモリ、取り外し可能な媒体若しくは取り外し不可能な媒体、消去可能な媒体若しくは消去不可能な媒体、書き込み可能な媒体若しくは再書き込み可能な媒体、デジタル媒体若しくはアナログ媒体、ハード・ディスク、フロッピ・ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、光ディスク、磁気媒体、光磁気媒体、取り外し可能なメモリ・カード若しくはディスク、様々な種類のＤＶＤ、テープ、カセット等を含み得る。命令は、ソース・コード、コンパイルされたコード、解釈されたコード、実行可能コード、静的コード、動的コード、暗号化されたコード等の任意の適切な種類のコードを含み得、そのようなコードは、任意の適切な高水準プログラミング言語、低水準プログラミング言語、オブジェクト指向プログラミング言語、ビジュアル・プログラミング言語、コンパイル型プログラミング言語、及び／又はインタプリタ型プログラミング言語を用いて実装され得る。
【００６４】
具体的に別途示されない限り、「処理する」、「計算する」、「算出する」、「決定する」等の語は、コンピュータ若しくはコンピューティング・システム又は同様の電子コンピューティング・デバイスの動作及び／又はプロセスを指し、このようなコンピュータ等は、コンピューティング・システムのレジスタ及び／又はメモリ内の物理量（例えば、電子）として表されるデータを操作し、且つ／あるいは、そのようなデータを、コンピューティング・システムのメモリ、レジスタ、若しくは他のそのような情報記憶デバイス、伝送デバイス、又は表示デバイス内の物理量として同様に表される他のデータに変換することが理解できよう。実施形態は、このようなコンテキストに限定されない。
【００６５】
本明細書において、「接続される」という語は、問題となっているコンポーネント間の直接的又は間接的な任意の種類の関係を指すために使用することができ、電気的接続、機械的接続、流体接続、光学的接続、電磁的接続、電気機械的接続、又は他の接続に適用することができる。さらに、本明細書において、「第１の」、「第２の」等の語は、説明を容易にするためだけに使用することができ、別途示されない限り、特定の時間的又は経時的な意味を有さない。さらに、不定冠詞「ａ」又は「ａｎ」は、「１以上」又は「少なくとも１つ」という意味を有する。
【００６６】
上記説明から、本発明の実施形態の幅広い技術を様々な形で実施できることを当業者は理解するであろう。したがって、本発明の実施形態が、その特定の例に関連して説明されたが、図面、明細書、及び特許請求の範囲を検討すると、他の変更が当業者に明らかになるため、本発明の実施形態の真の範囲は、そのように限定されるべきではない。
【図１Ａ】
2015529911.tif 000004
【図１Ｂ】
2015529911.tif 000005
【図２】
2015529911.tif 000006
【図３】
2015529911.tif 000007
【図４】
2015529911.tif 000008
【図５】
2015529911.tif 000009
【図６】
2015529911.tif 000010
【図７】
2015529911.tif 000011
【図８】
2015529911.tif 000012
【図９】
2015529911.tif 000013
【国際調査報告】
2015529911.tif 000014
2015529911.tif 000015