(57)【要約】  有形の拡張現実オブジェクトの相互作用を提供するための方法、コンピュータプログラム製品、および装置が開示される。一実施形態では、カメラを有するデバイスを使用して実オブジェクトを制御する方法は、少なくとも1つのオブジェクトの選択を受信するステップと、カメラが捕捉した複数の画像内の少なくとも1つのオブジェクトを追跡するステップと、追跡するステップに少なくとも一部基づいて、マシンインターフェースを介して、制御信号をデバイスから実オブジェクトに送信させるステップとを含む。
2015532739.tif 000002
【特許請求の範囲】
【請求項１】
カメラを有するデバイスを使用して実オブジェクトを制御する方法であって、
少なくとも1つのオブジェクトの選択を受信するステップと、
前記カメラが捕捉した複数の画像内の前記少なくとも1つのオブジェクトを追跡するステップと、
追跡する前記ステップに少なくとも一部基づいて、マシンインターフェースを介して、制御信号を前記デバイスから前記実オブジェクトに送信させるステップと
を含む方法。
【請求項２】
追跡する前記ステップが、
前記デバイスに対する前記少なくとも1つのオブジェクトの相対的なポーズを判断するステップと、
前記相対的なポーズを使用して、前記少なくとも1つのオブジェクトの状態を更新するステップと
を含む3次元追跡を実行するステップを含む、請求項1に記載の方法。
【請求項３】
相対的なポーズを判断する前記ステップが、
前記少なくとも1つのオブジェクトの前に捕捉された画像に対する前記少なくとも1つのオブジェクトの前記相対的なポーズを検出するステップを含む、請求項2に記載の方法。
【請求項４】
受信する前記ステップが、
前記少なくとも1つのオブジェクトのクローズアップ視野を取得するためのズームインを識別するステップ
を含む、請求項1に記載の方法。
【請求項５】
受信する前記ステップが、
前記少なくとも1つのオブジェクトが前記デイバスの中央スクリーンに配置されていることを判断するステップ
を含む、請求項1に記載の方法。
【請求項６】
前記実オブジェクトが、前記少なくとも1つのオブジェクトを含み、制御信号を送信させる前記ステップが、
前記少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングするステップと、
ユーザ定義の制御機構を前記デバイスのディスプレイ上に提供するステップと
を含む、請求項1に記載の方法。
【請求項７】
制御信号を送信させる前記ステップが、
前記デバイスの動きを使用して、前記制御機構の動作をエミュレートするステップ
をさらに含む、請求項6に記載の方法。
【請求項８】
前記マシンインターフェースが、
Bluetooth(登録商標)、
Wi-Fi、および
IR
のうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項９】
前記複数の画像のうちの少なくとも1つの画像が、前記デバイスのタッチスクリーン上に表示され、少なくとも1つのオブジェクトの選択を受信する前記ステップが、ユーザ入力に関する情報を、前記少なくとも1つのオブジェクトを識別する前記タッチスクリーン上で受信するステップを含む、請求項1に記載の方法。
【請求項１０】
前記デバイスの視野内のラジオを追跡するステップと、
前記ラジオが奏でる歌の拡張を提供するステップと、
前記ラジオが流れているという判断に基づいて、前記歌の音量を調整するステップと
をさらに含む、請求項1に記載の方法。
【請求項１１】
前記デバイスの視野内のテレビジョンを追跡するステップと、
オブジェクトが前記テレビジョンの近くに配置されていることを判断するステップと、
前記オブジェクトが前記テレビジョンの近くに配置されていることに基づいて、前記テレビジョン上で再生しているビデオの拡張をトリガするステップと
をさらに含む、請求項1に記載の方法。
【請求項１２】
制御信号を送信させる前記方法が、前記少なくとも1つのオブジェクトが回転していることを判断するステップであって、前記制御信号が前記実オブジェクトにチャネルを変更するように、または音量を変更するように命令する信号を含む、判断するステップを含む
請求項1に記載の方法。
【請求項１３】
前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトが別々のオブジェクトを含み、前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトの各々が物理オブジェクトである、請求項1に記載の方法。
【請求項１４】
実オブジェクトを制御するためのデバイスであって、
カメラと、
処理論理を含む制御ユニットとを備え、前記処理論理が、
少なくとも1つのオブジェクトの選択を受信するように構成された論理と、
前記カメラが捕捉した複数の画像内の前記少なくとも1つのオブジェクトを追跡するように構成された論理と、
前記追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号を前記デバイスから前記実オブジェクトに送信させるように構成された論理と
を含むデバイス。
【請求項１５】
前記少なくとも1つのオブジェクトを追跡するように構成された前記論理が、
前記デバイスに対する前記少なくとも1つのオブジェクトの相対的なポーズを判断するように構成された論理と、
前記相対的なポーズを使用して、前記少なくとも1つのオブジェクトの状態を更新するように構成された論理と
を含む3次元追跡を実行することを含む、請求項14に記載のデバイス。
【請求項１６】
相対的なポーズを判断するように構成された前記論理が、
前記少なくとも1つのオブジェクトの前に捕捉された画像に対する前記少なくとも1つのオブジェクトの前記相対的なポーズを検出するように構成された論理を含む、請求項15に記載のデバイス。
【請求項１７】
前記選択を受信するように構成された前記論理が、
前記少なくとも1つのオブジェクトのクローズアップ視野を取得するためのズームインを識別するように構成された論理
を含む、請求項15に記載のデバイス。
【請求項１８】
前記選択を受信するように構成された前記論理が、
前記少なくとも1つのオブジェクトが前記デイバスの中央スクリーンに配置されていることを判断するように構成された論理
を含む、請求項14に記載のデバイス。
【請求項１９】
前記実オブジェクトが、前記少なくとも1つのオブジェクトを含み、制御信号を送信させるように構成された前記論理が、
前記少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングするように構成された論理と、
ユーザ定義の制御機構を前記デバイスのディスプレイ上に提供するように構成された論理と
を含む、請求項14に記載のデバイス。
【請求項２０】
制御信号を送信させるように構成された前記論理が、
前記デバイスの動きを使用して、前記制御機構の動作をエミュレートするように構成された論理
をさらに含む、請求項19に記載のデバイス。
【請求項２１】
前記マシンインターフェースが、
Bluetooth(登録商標)、
Wi-Fi、および
IR
のうちの少なくとも1つを含む、請求項14に記載のデバイス。
【請求項２２】
前記複数の画像のうちの少なくとも1つの画像が、前記デバイスのタッチスクリーン上に表示され、少なくとも1つのオブジェクトの選択を受信するように構成された前記論理が、ユーザ入力に関する情報を、前記少なくとも1つのオブジェクトを識別する前記タッチスクリーン上で受信するように構成された論理を含む、請求項14に記載のデバイス。
【請求項２３】
前記デバイスの視野内のラジオを追跡するように構成された論理と、
前記ラジオが奏でる歌の拡張を提供するように構成された論理と、
前記ラジオが流れているという判断に基づいて、前記歌の音量を調整するように構成された論理と
をさらに含む、請求項14に記載のデバイス。
【請求項２４】
前記デバイスの視野内のテレビジョンを追跡するように構成された論理と、
オブジェクトが前記テレビジョンの近くに配置されていることを判断するように構成された論理と、
前記オブジェクトが前記テレビジョンの近くに配置されていることに基づいて、前記テレビジョン上で再生しているビデオの拡張をトリガするように構成された論理と
をさらに含む、請求項14に記載のデバイス。
【請求項２５】
制御信号を送信させるように構成された前記論理が、前記少なくとも1つのオブジェクトが回転していることを判断することであって、前記制御信号が前記実オブジェクトにチャネルを変更するように、または音量を変更するように命令する信号を含む、判断することを行うように構成された論理を含む
請求項14に記載のデバイス。
【請求項２６】
前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトが別々のオブジェクトを含み、前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトの各々が物理オブジェクトである、請求項14に記載のデバイス。
【請求項２７】
1つまたは複数のコンピュータシステムによって実行するための命令を記憶する非一時的媒体であって、前記命令が、
カメラを有するデバイスにおいて少なくとも1つのオブジェクトの選択を受信するための命令と、
前記カメラが捕捉した複数の画像内の前記少なくとも1つのオブジェクトを追跡するための命令と、
前記追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号を前記デバイスから前記実オブジェクトに送信させるための命令と
を含む非一時的媒体。
【請求項２８】
カメラを有するデバイスを使用して実オブジェクトを制御するためのシステムであって、
少なくとも1つのオブジェクトの選択を受信するための手段と、
前記カメラが捕捉した複数の画像内の前記少なくとも1つのオブジェクトを追跡するための手段と、
前記追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号を前記デバイスから前記実オブジェクトに送信させるための手段と
を含むシステム。
【請求項２９】
追跡するための前記手段が、
前記デバイスに対する前記少なくとも1つのオブジェクトの相対的なポーズを判断するための手段と、
前記相対的なポーズを使用して、前記少なくとも1つのオブジェクトの状態を更新するための手段と
を含む3次元追跡を実行するための手段を含む、請求項28に記載のシステム。
【請求項３０】
相対的なポーズを判断するための前記手段が、
前記少なくとも1つのオブジェクトの前に捕捉された画像に対する前記少なくとも1つのオブジェクトの前記相対的なポーズを検出するための手段を含む、請求項29に記載のシステム。
【請求項３１】
受信するための前記手段が、
前記少なくとも1つのオブジェクトのクローズアップ視野を取得するためのズームインを識別するための手段
を含む、請求項28に記載のシステム。
【請求項３２】
受信するための前記手段が、
前記少なくとも1つのオブジェクトが前記デイバスの中央スクリーンに配置されていることを判断するための手段
を含む、請求項28に記載のシステム。
【請求項３３】
前記実オブジェクトが、前記少なくとも1つのオブジェクトを含み、制御信号を送信させるための前記手段が、
前記少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングするための手段と、
ユーザ定義の制御機構を前記デバイスのディスプレイ上に提供するための手段と
を含む、請求項28に記載のシステム。
【請求項３４】
制御信号を送信させるための前記手段が、
前記デバイスの動きを使用して、前記制御機構の動作をエミュレートするための手段
をさらに含む、請求項33に記載のシステム。
【請求項３５】
前記マシンインターフェースが、
Bluetooth(登録商標)、
Wi-Fi、および
IR
のうちの少なくとも1つを含む、請求項28に記載のシステム。
【請求項３６】
前記複数の画像のうちの少なくとも1つの画像が、前記デバイスのタッチスクリーン上に表示され、少なくとも1つのオブジェクトの選択を受信するための前記手段が、ユーザ入力に関する情報を、前記少なくとも1つのオブジェクトを識別する前記タッチスクリーン上で受信するための手段を含む、請求項28に記載のシステム。
【請求項３７】
前記デバイスの視野内のラジオを追跡するための手段と、
前記ラジオが奏でる歌の拡張を提供するための手段と、
前記ラジオが流れているという判断に基づいて、前記歌の音量を調整するための手段と
をさらに含む、請求項28に記載のシステム。
【請求項３８】
前記デバイスの視野内のラジオを追跡するための手段と、
オブジェクトが前記テレビジョンの近くに配置されていることを判断するための手段と、
前記オブジェクトが前記テレビジョンの近くに配置されていることに基づいて、前記テレビジョン上で再生しているビデオの拡張をトリガするための手段と
をさらに含む、請求項28に記載のシステム。
【請求項３９】
制御信号を送信させるための手段が、前記少なくとも1つのオブジェクトが回転していることを判断する手段であって、前記制御信号が前記実オブジェクトにチャネルを変更するように、または音量を変更するように命令する信号を含む、判断する手段を含む
請求項28に記載のシステム。
【請求項４０】
前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトが別々のオブジェクトを含み、前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトの各々が物理オブジェクトである、請求項28に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、2013年3月15日に出願した、「Augmentation  of  Tangible  Objects  as  User  Interface  Controller」という表題の米国出願第13/815,813号、2012年7月26日に出願した、「Interactions  of  Tangible  and  Augmented  Reality  Objects」という表題の米国仮出願第61/676,246号、2012年7月26日に出願した、「Maintaining  Continuity  of  Augmentations」という表題の米国仮出願第61/676,249号、2012年7月26日に出願した、「Method  and  Apparatus  for  Controlling  Augmented  Reality」という表題の米国仮出願第61/676,278号、2012年7月26日に出願した、「Interactions  of  Tangible  and  Augmented  Reality  Objects」という表題の米国仮出願第61/676,255号、および2012年7月26日に出願した、「Tangible  Items'  Effect  on  Particle  System  Augmentation  in  Virtual  Spaces」という表題の米国仮出願第61/676,274号の利益を主張するものである。前述の米国出願は、その全体が参照により本明細書に組み込まれている。
【０００２】
本開示は、拡張現実の分野に関する。詳細には、本開示は、有形の拡張現実オブジェクトの相互作用に関する。
【背景技術】
【０００３】
従来の拡張現実アプリケーションは、その要素が、ビデオ、音声、グラフィックス、またはGPSデータなど、コンピュータ生成の感覚入力(computer-generated  sensory  input)によって拡張され得る実世界環境のライブビューを提供する。そのようなアプリケーションの場合、現実の視野をコンピューティングデバイスによって修正することが可能であり、そのようなアプリケーションは、ユーザの現実の知覚を拡張して、ユーザの環境に関して、より多くの情報を提供することができる。たとえば、拡張コンテンツは、整合の間のゲーム統計および要約など、環境要素とともに、リアルタイムで、意味的コンテキストで適用され得る。スマートフォンなどのモバイルデバイスの普及に伴い、実世界オブジェクト上に仮想オブジェクトをオーバレイした、環境に関する人工情報など、追加の拡張コンテンツとともに、ユーザを取り巻く実世界に関する情報をモバイルデバイス上に表示することが可能である。
【０００４】
従来の拡張現実アプリケーションは、ユーザがユーザ定義のインターフェースを用いて有形の仮想環境と相互作用するのを可能にすることによって改善され得る。従来の拡張現実アプリケーションは、ユーザが自ら選好に合わせて自らの環境をカスタマイズするのを可能にすることによって改善され得る。加えて、従来の拡張現実アプリケーションは、有形の実世界オブジェクトと拡張現実オブジェクトとの間の相互作用を識別して、それらを提供することによって改善され得、これはユーザが自らの環境に関与するのをさらに促すことができる。したがって、従来の拡張現実アプリケーションを改善することができる方法、コンピュータプログラム製品、および拡張現実対応デバイスの必要性が存在する。
【発明の概要】
【課題を解決するための手段】
【０００５】
本開示は、有形の拡張現実オブジェクトの相互作用に関する。本開示の実施形態によれば、カメラを有するデバイスを使用して実オブジェクトを制御する方法は、少なくとも1つのオブジェクトの選択を受信するステップと、カメラが捕捉した複数の画像内の少なくとも1つのオブジェクトを追跡するステップと、追跡するステップに少なくとも一部基づいて、マシンインターフェースを介して、制御信号をデバイスから実オブジェクトに送信させるステップとを含む。
【０００６】
追跡する方法は、デバイスに対する少なくとも1つのオブジェクトの相対的なポーズを判断するステップと、その相対的なポーズを使用して、少なくとも1つのオブジェクトの状態を更新するステップとを含む3次元追跡を実行するステップを含む。相対的なポーズを判断する方法は、少なくとも1つのオブジェクトの前に捕捉された画像に対する少なくとも1つのオブジェクトの相対的なポーズを検出するステップを含む。少なくとも1オブジェクトを選択する方法は、少なくとも1つのオブジェクトのクローズアップ視野を取得するためにズームインするステップを含む。少なくとも1つのオブジェクトを選択する方法は、その少なくとも1つのオブジェクトをデバイスの中央スクリーンに配置するステップを含む。
【０００７】
本開示の態様によれば、実オブジェクトは少なくとも1つのオブジェクトを含み、制御信号を送信させるステップは、その少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングするステップと、ユーザ定義の制御機構をデバイスのディスプレイ上に提供するステップとを含む。
【０００８】
制御信号を送信させる方法は、デバイスの動きを使用して、制御機構の動作をエミュレートするステップをさらに含む。マシンインターフェースは、Bluetooth(登録商標)、Wi-Fi、およびIRのうちの少なくとも1つを含む。複数の画像のうちの少なくとも1つの画像は、デバイスのタッチスクリーン上に表示可能であり、少なくとも1つのオブジェクトの選択を受信する方法は、ユーザ入力に関する情報を、少なくとも1つのオブジェクトを識別するタッチスクリーン上で受信するステップを含む。
【０００９】
この方法は、デバイスの視野内のラジオを追跡するステップと、ラジオが奏でる歌の拡張を提供するステップと、ラジオが流れているという判断に基づいて、歌の音量を調整するステップとをさらに含む。この方法は、デバイスの視野内のテレビジョンを追跡するステップと、オブジェクトがテレビジョンの近くに置かれていることを判断するステップと、そのオブジェクトがテレビジョンの近くに置かれていることに基づいて、テレビジョン上のビデオ再生の拡張をトリガするステップとをさらに含む。制御信号を送信させる方法は、少なくとも1つのオブジェクトが回転していることを判断するステップであって、制御信号が実オブジェクトにチャネルを変更するように、または音量を変更するように命令する信号を含む、判断するステップを含む。
【００１０】
本開示の別の実施形態によれば、実オブジェクトを制御するためのデバイスは、カメラと、処理論理を含む制御ユニットとを備え、処理論理は、少なくとも1つのオブジェクトの選択を受信するように構成された論理と、カメラが捕捉した複数の画像内の少なくとも1つのオブジェクトを追跡するように構成された論理と、追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号をデバイスから実オブジェクトに送信させるように構成された論理とを含む。
【００１１】
本開示のさらに別の実施形態によれば、カメラを有するデバイスを使用して実オブジェクトを制御するためのコンピュータプログラム製品は、1つまたは複数のコンピュータシステムによる実行のための命令を記憶した非一時的媒体を備え、これらの命令は、少なくとも1つのオブジェクトの選択を受信するための命令と、カメラが捕捉した複数の画像内の少なくとも1つのオブジェクトを追跡するための命令と、追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号をデバイスから実オブジェクトに送信させるための命令とを含む。
【００１２】
本開示のさらに別の実施形態によれば、カメラを有するデバイスを使用して実オブジェクトを制御するためのシステムは、少なくとも1つのオブジェクトの選択を受信するための手段と、カメラが捕捉した複数の画像内の少なくとも1つのオブジェクトを追跡するための手段と、追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号をデバイスから実オブジェクトに送信させるための手段とを含む。
【００１３】
本開示の上述の特徴および利点、ならびにその追加の特徴および利点は、以下の図面とともに本開示の実施形態の詳細な説明を読めば、より明確に理解されよう。
【図面の簡単な説明】
【００１４】
【図１】本開示のいくつかの態様による拡張現実対応デバイスを例示する図である。
【図２】本開示のいくつかの態様による、ある例示的な拡張現実対応デバイスのブロック図である。
【図３】本開示のいくつかの態様による、オブジェクトとARDとの間の相対的な位置に少なくとも一部基づいて、相互作用を提供する方法を例示する図である。
【図４】本開示のいくつかの態様による、相互作用において仮想キャラクターに第一焦点を与える方法を例示する図である。
【図５】本開示のいくつかの態様による、オブジェクトとARDとの間の相対的な移動に少なくとも一部基づいて相互作用を提供するさらに別の方法を例示する図である。
【図６】本開示のいくつかの態様による、事象に少なくとも一部基づいて拡張をトリガする方法を例示する図である。
【図７】本開示のいくつかの態様による、焦点内にないオブジェクトに少なくとも一部基づいて拡張を提供し続ける方法を例示する図である。
【図８】本開示のいくつかの態様による、ARDからのオブジェクトの視野に少なくとも一部基づいて相互作用事象を制御する方法を例示する図である。
【図９】本開示のいくつかの態様による、別のオブジェクトの追加に少なくとも一部基づいて相互作用を提供するさらに別の方法を例示する図である。
【図１０】本開示のいくつかの態様による、別のキャラクターの追加に少なくとも一部基づいて相互作用を提供するさらに別の方法を例示する図である。
【図１１】本開示のいくつかの態様による、再開したシーンに少なくとも一部基づいて相互作用を提供するさらに別の方法を例示する図である。
【図１２】本開示のいくつかの態様による、オブジェクトとARDとの間の距離に少なくとも一部基づいて相互作用をトリガする方法を例示する図である。
【図１３】本開示のいくつかの態様による、オブジェクトおよびARDの移動に少なくとも一部基づいて相互作用をトリガする方法を例示する図である。
【図１４】本開示のいくつかの態様による、オブジェクトオンオブジェクト(object-on-object)に少なくとも一部基づいて相互作用を提供する方法を例示する図である。
【図１５】本開示のいくつかの態様による、オブジェクトインオブジェクト(object-in-object)の相対的な方向に少なくとも一部基づいて相互作用を提供するさらに別の方法を例示する図である。
【図１６】本開示のいくつかの態様による、別のオブジェクトの方向に少なくとも一部基づいてオブジェクトの拡張を提供する方法を例示する図である。
【図１７】いくつかの実施形態における、有形の拡張現実オブジェクトの相互作用を提供する流れ図である。
【図１８】いくつかの実施形態における、有形の拡張現実オブジェクトの相互作用を提供する別の流れ図である。
【図１９Ａ】本開示のいくつかの態様による、自動ホームコントロールデバイスとして使用されているARDの一例を示す図である。
【図１９Ｂ】本開示のいくつかの態様による、自動ホームコントロールデバイスとして使用されているARDの一例を示す図である。
【図１９Ｃ】本開示のいくつかの態様による、自動ホームコントロールデバイスとして使用されているARDの一例を示す図である。
【図１９Ｄ】本開示のいくつかの態様による、自動ホームコントロールデバイスとして使用されているARDの一例を示す図である。
【図２０】いくつかの実施形態における、有形の拡張現実オブジェクトの相互作用を提供するさらに別の流れ図である。
【発明を実施するための形態】
【００１５】
図面を通して同様の番号が使用される。
【００１６】
有形の拡張現実オブジェクトの相互作用の実施形態が開示される。以下の説明は、いかなる当業者でも本開示を実施し、使用することができるようにするために提示される。特定の実施形態およびアプリケーションの説明は、例としてのみ提供される。本明細書で説明する例の様々な修正および組合せが当業者には容易に明らかであり、本明細書で定義した一般原理は、本開示の趣旨および範囲から逸脱することなく他の例およびアプリケーションに適用できる。したがって、本開示は、説明され示される例に限定されることが意図されず、本明細書で開示される原理および特徴に一致する最大の範囲を与えられることが意図される。「例示的」または「例」という用語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。「例示的」もしくは「例」として本明細書に記載される任意の態様または実施形態は、他の態様もしくは実施形態に比べて好ましいか、または有利であると必ずしも解釈されるべきではない。
【００１７】
図1は、本開示のいくつかの態様による拡張現実対応デバイスを例示する図である。図1に示すように、拡張現実対応デバイス(ARD)14は、ハウジング101と、ディスプレイ112と、1つまたは複数のスピーカ118と、マイクロフォン116とを含む。タッチスクリーンディスプレイであってよいディスプレイ112は、カメラ108によって捕捉された画像、または任意の他の所望のユーザインターフェース情報を示すことができる。当然、ARD14は、本開示に関係するとは限らない追加の構成要素を含み得る。
【００１８】
本明細書で使用される場合、ARDデバイスは、セルラーもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、または他の適したモバイルプラットフォームなどの任意のポータブル電子デバイスを指す。モバイルプラットフォームは、航法測位信号など、ワイヤレス通信信号および/またはナビゲーション信号を受信することが可能であり得る。ARDという用語はまた、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、パーソナルナビゲーションデバイス(PND)において行われるかにかかわらず、短距離ワイヤレス接続、赤外線接続、有線接続、または他の接続によってなど、PNDと通信するデバイスを含むことが意図される。また、ARDは、ポーズ追跡の際に使用される画像を捕捉することが可能であると同様に、拡張現実ユーザインターフェース機能を実行することも可能な、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットコンピュータ、スマートフォン、デジタルカメラなどを含めて、すべての電子デバイスを含むことが意図される。
【００１９】
図2は、本開示のいくつかの態様による、ある例示的な拡張現実対応デバイスのブロック図を示す。ARD14のモバイルプラットフォームは、個々の写真またはビデオのフレームのいずれかであってよい、環境の画像を捕捉するためのカメラ108を含む。ARD14のモバイルプラットフォームは、それを用いてARD14のモバイルプラットフォームがその位置および方向、すなわち、ポーズを判断することができるデータを提供するために使用され得るセンサ109を含むことも可能である。ARD14のモバイルプラットフォームとともに使用され得るセンサの例には、線形加速度計として使用される加速度計、水晶センサ、ジャイロ、マイクロ電気機械システム(MEMS)センサ、ならびに磁力計が含まれる。
【００２０】
ARD14のモバイルプラットフォームは、画像を表示することができるディスプレイ112を含むユーザインターフェース110も含み得る。ユーザインターフェース110は、キーパッド114、または、ユーザが情報をARD14のモバイルプラットフォームに入力することができる他の入力デバイスを含むことも可能である。所望される場合、仮想キーパッドをタッチセンサ付きディスプレイ112に組み込むことによってキーパッド114を取り除くことができる。ユーザインターフェース110は、たとえば、モバイルプラットフォームがセルラー電話である場合、マイクロフォン116および1つまたは複数のスピーカ118を含むこともできる。当然、ARD14のモバイルプラットフォームは、本開示に関係しない他の要素を含むことが可能である。
【００２１】
ARD14のモバイルプラットフォームは、任意の他の所望の特徴とともに、カメラ108、およびセンサ109、ならびにユーザインターフェース110に接続可能であり、これらと通信する制御ユニット120をさらに含む。制御ユニット120は、1つまたは複数のプロセッサ122と、関連するメモリ/記憶装置124とによって提供され得る。制御ユニット120は、ソフトウェア126、ならびにハードウェア128、およびファームウェア130を含むことも可能である。制御ユニット120は、ARD14の位置を追跡すると同様に、ARD14によって監視される1つまたは複数のオブジェクトの位置も追跡するように構成された追跡ユニット132を含む。制御ユニット120は、ARD14のディスプレイ112上に拡張現実相互作用を提示するように構成された拡張現実ユーザインターフェースユニット134をさらに含むことが可能である。わかりやすいように、追跡ユニット132および拡張現実ユーザインターフェースユニット134は、プロセッサ122および/またはハードウェア128とは切り離して例示されるが、ソフトウェア126内およびファームウェア130内の命令に基づいて、プロセッサ122内および/もしくはハードウェア128内で組み合わせること、ならびに/または実装することが可能である。
【００２２】
本開示の態様によれば、ARD14は、1つまたは複数の有形インターフェース項目とともに使用され得る。本明細書で説明する例の多くでは、有形インターフェース項目は、「オブジェクト」または「トイ(toys)」と呼ばれる。しかしながら、他のタイプの有形オブジェクトを使用することも可能であり、本明細書で開示する技法はトイに限定されない。たとえば、有形インターフェース項目は、コーラ缶、コーヒーカップ、雑誌、またはARD14のカメラの視野内にあり得る他の有形項目など、ユーザの環境内の1つもしくは複数の項目を含み得る。
【００２３】
ARD14が提供する拡張は、継続的な話の経路(story  path)を形成することができる。そのような継続的な話の経路は、本明細書で「シーン」と呼ばれる場合がある。ARD14の拡張論理は、ユーザの注意を監視して、ユーザが特定のシーンに対する関心を失ったと思われる場合、シーンを変更するように構成され得る。ユーザと相互作用するための技法、およびARD14が提供する拡張コンテンツを調整するための技法は、下でより詳細に説明される。
【００２４】
本開示の実施形態によれば、ARD14および/またはオブジェクトを異なる相対的な位置に移動させることによって、異なる拡張をトリガするための多数の様式が存在する。図3に示す例では、ARD14を(Bernie21とも呼ばれる)有形オブジェクト21に向けて移動させることによって拡張をトリガし得る。ARD14が有形オブジェクト21の近くに移動することに応答して、(拡張Bernie31とも呼ばれる)拡張仮想キャラクター31は、(音声20によって表される)「近くに」と言うことができる。同様に、別の例示的な状況では、ARD14をオブジェクト21から離れるように移動させることによって、拡張をトリガし得る。ARD14がオブジェクト21からさらに離れることに応答して、拡張仮想キャラクター31は「遠くに」と言うことができる。別の例では、ズームアウトし、次いで、ズームインせずに(すなわち、離れ、次いで、近づけることなく)ARD14をあるオブジェクトの近くから別のオブジェクトの近くに移動させることによって拡張をトリガし得る。ARD14がそのオブジェクトをそのディスプレイの視野内に置くことに応答して、拡張仮想キャラクター31はその手を振ることができる。
【００２５】
さらに別の例では、初めに遠くに移動させ、次いで、前のシーンからオブジェクトに向けて移動させることによって拡張をトリガし得る。同様に、ARDがオブジェクト21に向けて移動することに応答して、拡張仮想キャラクター31はその手を振ることができる。他の手法では、ARD14とオブジェクト21などのオブジェクトとの間の幾何学的関係を変更することによって様々な拡張をトリガし得る。さらに他の手法では、ARD14とオブジェクトとの間の距離、ARD14とオブジェクト21とが互いに対して実質的に静止状態に留まる時間量などの要因の組合せに基づいて様々な拡張をトリガし得る。
【００２６】
上に示した例では、ARDを使用した探究を促すことができる。オブジェクトに近づくこと、またはオブジェクトからさらに離れることに関する様々な拡張でユーザに見返りを与えることができる。ユーザは、デバイスを片手で維持し、それにより、もう片方の手で自由に有形プレイに従事することによって、この動作を実行することができる。
【００２７】
本開示の実施形態によれば、ARD14がオブジェクト21にズームインすることに応答して、拡張を変更することができる。ズーム機能は、ARD14をオブジェクト21に近づけて移動させることによって達成され得る。ズーム機能は、オブジェクト21をARD14に近づけて移動させることによっても達成され得る。あるいは、ズーム機能は、ARD14のディスプレイ内のオブジェクト21の視野のソフトウェアおよび/またはハードウェア調整を実行することによって達成され得る。
【００２８】
様々な実装形態では、拡張をトリガすることは、図4に示すように、仮想キャラクター31が回転してARD14の方向を見るなど、ARD14スクリーン上のオブジェクト21の拡張が第一焦点を得るとして表現され得る。別の手法では、拡張を変更して、仮想キャラクター31にユーザに対して手を振らせることができる。さらに別の手法では、拡張を変更して、仮想キャラクター31に「ちょっと、君!」と言わせることができる。
【００２９】
さらに他の実装形態では、ARD14とオブジェクト21との間の幾何学的関係の変更に従って事象をトリガし得る。たとえば、ARD14がTVにズームインするとき、ビデオが再生を開始することができるか、またはARD14がトイレにズームインするとき、花が飛び出してもよい。図6の例に示すように、ARD14が浴槽22にズームインすることに応答して、泡で満ちた拡張浴槽32をARD14のディスプレイ上に示すことができる。
【００３０】
焦点外のオブジェクトの要素があるオブジェクトの焦点によって影響を受けることで、シーンを変更することができる。たとえば、BernieがBrettと議論している間に、ARD14がBernieにズームインする場合、Brettが「ちょっと、Bernie、あそこにいるのは誰だい?」と言うことによって、ユーザとの相互作用を作成することができる。別の例では、ARD14が浴槽22で遊んでいる可能性のあるBernie21上にズームインする場合、浴槽の泡の音が小さくなるか、または図7に示すように、拡張浴槽32からの泡33が拡張Bernie31の周りを漂うことが可能である。さらに別の例では、(床など)背景12の拡張を示すことができる。いくつかの実施形態では、1つまたは複数のオブジェクトの解像度を調整することができる。たとえば、仮想絵画にズームすること、または仮想絵画に対するARD14の「位置」に基づいて、その絵画の解像度を調整することができる。
【００３１】
相互作用の態様に基づいてシーンを開始することができる。たとえば、拡張Bernie31は「近くに」と言うことができ、ユーザは近くに移動することによって応答することができ、次いで、ARD14は、ユーザが命令に従うことに応答して、Bernieに「そう!」と言わせ、かつ/またはBernieにダンスをさせる新しい拡張をトリガすることによって、ユーザに見返りを与えるように構成され得る。
【００３２】
本開示の実施形態によれば、ARD14がオブジェクト21からズームアウトすることに応答して、拡張を変更することができる。ズーム機能は、ARD14をオブジェクト21から離れるように移動させることによっても達成され得る。あるいは、ズーム機能は、ARD14上のズームアウト機能を使用することによって、または、オブジェクト21をARD14からさらに移動させることによって、達成され得る。
【００３３】
一手法では、トリガされる事象は、図8に示すように、ARD14がトリガオブジェクト、たとえば、TV24からズームアウトした後、継続することができる。他の実装形態では、トリガされる事象は、ARD14がズームアウトした後、継続することができない。たとえば、ARD14がズームアウトすると、TV24を消して、暗くさせることができる。さらに別の手法では、ズームアウトは、シーンを終了して、シーンを変更するか、または前のシーンを再開することができる。たとえば、拡張Bernie31は、ユーザを見るのをやめて、再びTVを見ることができる。さらに別の手法では、相互作用の態様に基づいて、シーンを継続することができる。たとえば、拡張Bernie21は「遠くに」と言うことができ、シーンは、拡張BernieがARD14からさらに離れることを示すように調整され得る。
【００３４】
他の実装形態では、ARD14が、まずズームアウトせずに、あるオブジェクト上のズーム状態から別のオブジェクト上のズーム状態に移動するとき、異なる拡張または組み合わされた拡張が発生し得る。移動は、1)ARD14の横移動または回転移動、2)フレーム内からの1つのオブジェクトおよび新しいオブジェクトのARD14に近接するフレーム内への移動、ならびに3)前のオブジェクトが依然としてフレーム内に存在し得ると同時に、ARD14に近接する新しいオブジェクトの導入、を含み得るが、これらに限定されない。
【００３５】
異なる拡張は、前のオブジェクトズーム状態からのシーンの継続であり得る。図9に示す一手法では、仮想TV34内でビデオが再生されているTV24上にズームインする間に、(TV24が依然としてフレーム内にあろうが、なかろうが)Bernie21をフレーム内に導入することは、「おや、君はTVを見ているのか!僕も一緒に見ていいかな?」と言わせることによって、仮想Bernie31をユーザと相互作用させる。図10に示す別の手法では、Bernie21にズームインして、仮想Bernieに「ああ、君か」と言わせることからパンして、犬25にズームインするとき、仮想犬35は「Bernieの言う通り、君か!」と言う(20)。
【００３６】
さらに他の実装形態では、ズームアウトした後、ARD14は同じオブジェクトに再度ズームインすることができ、この場合、前のズームアウトは、別のオブジェクトにまずズームせずに、そのシーンを終了させている。異なる拡張でシーンを再び初めから取り上げることができ、たとえば、Bernieは「やあ!また君か!」と言うことができる。
【００３７】
さらに他の実装形態では、シーンを再度取り上げなくてもよく、代わりに、1)時間t(たとえば、2〜5分)が経過した場合、2)(たとえば、電気皮膚反応シグネチャによって)ARD14が新しいユーザを検出した場合、3)ARD14がある形で(たとえば、スクリーンを下にして)置かれている場合、または4)ARD14が、その間にズームアウトモードで、異なる床もしくは異なるオブジェクトを探索するように構成されている場合を含むが、これらに限定されないシナリオで新しいシーンを開始することができる。新しいシーンは第1のズーム状態シーンの繰り返しであり得ることに留意されたい。さらに別の例では、新しいシーンは、仮想キャラクターの新しい表現であり得、これはユーザに新しい経験を提示することができる。
【００３８】
別のオブジェクトにズームするか、または異なる領域もしくはオブジェクトを探索した後、シーンは、前の経験から追加のストーリ展開要素を取り上げることができる。図11に示す例では、シーンはBernie21から異なる部屋内の犬25に移動し、次いで、Bernie21に戻ることができ、仮想Bernie31は、たとえば「やあ、君!僕はまだお風呂に入っているんだ。犬と一緒にTV番組を楽しんだかい?」と言うことによって、ユーザと相互作用することができる。
【００３９】
図12に示す他の実装形態では、オブジェクトがARD14からどの程度近いか(オブジェクトの相対的なサイズ)に応じて、拡張16は異なり得る。要素は、1)遠くから、浴槽の水が渦を巻くこと、2)ARD14が近づくと、泡が出現し始めること、および3)ARD14がさらに近づくと、拡張ゴム製のアヒルが飛び出してよいこと、を含み得るが、これらに限定されない。
【００４０】
本開示の実施形態によれば、ARD14は、拡張のトリガとして、ターゲット位置状態を使用するように構成され得る。たとえば、ARD14は、デバイスの2×6度の相対的な位置相互作用(relative  position  interaction)と3Dマーカーとをサポートするように構成され得る。ARD14はあるオブジェクトに対して任意の位置に移動することができ、そのオブジェクトはARD14に対して任意の位置に移動することができるか、またはそれら両方は互いに対してともに移動することができる。完全な範囲の探索および拡張を促して、見返りを与えるために、各位置および/または移動は、異なる拡張相互作用をトリガし得る。位置および/または動きは、床など、参照背景12に関して分類され得ることに留意されたい。
【００４１】
図13に示すように、ARD14は、参照背景12上に配置され得るオブジェクトに対して移動することができる。拡張画像は変更し得るのに対して、床12に対して追跡されているオブジェクトの相対的な位置は変更し得ない。床12を使用して、ARD14、オブジェクト、またはARD14とオブジェクトの両方の組合せが動いている可能性があるなど、どの項目が移動している可能性があるかを判断することができる。たとえば、オブジェクトはARD14に対して移動し得る。別の例では、オブジェクトは参照床12上に配置されることが可能であり、ARD14の視野内で拡張画像が変更し得るのに対して、床12に対して追跡されているオブジェクトの相対的な位置は変更する。
【００４２】
さらに別の例では、ARD14とオブジェクトは両方とも互いに対して移動することができる。この例では、オブジェクトは参照床12上に配置されることが可能であり、ARD14の視野内で拡張画像は変更し得るのに対して、参照床に対して追跡されているオブジェクトの相対的な位置はARD14が観測する変更未満であり得る。
【００４３】
さらに別の例では、ARD14およびオブジェクトは、互いに対して位置を維持することができるが、その位置は床12に対して変更し得る。たとえば、オブジェクトおよびARD14を取り上げて、一緒に遊戯用の床領域外部に移動させることができ、それにより、オブジェクトの拡張画像はARD14視野内で変更し得ないのに対して、床12に対して追跡されているオブジェクトの相対的位置は変更している。ARD14またはオブジェクトが移動しているかどうかを追跡せずに、ARD14とオブジェクトとの間の距離の変化を監視することによって、それらの間の相対的な位置および/または相対的な動きを分類することが可能であることに留意されたい。本開示の態様によれば、分類の各々は、異なる拡張をトリガし得る。
【００４４】
図14に示すような、いくつかの実装形態では、ARD14は、オブジェクトオンオブジェクト相互作用をサポートするように構成され得る。オブジェクトが別のオブジェクト上に配置されている場合、この動作、または結果として生じる状態は拡張をトリガし得る。たとえば、ARD14はBernie21がトイレ27に配置されているのを観測する場合、拡張Bernie31は「トイレに行くとき休憩するよ」と言うことができる。加えて、複数のオブジェクトを重ねることは新しい拡張オブジェクトの作成をトリガし得る。たとえば、Bernie21をトイレ27の上に重ねることは、拡張トイレ37の上部に座った拡張Bernie31の新しい組み合わされた拡張100をもたらし得る。別の例では、車の形を形成するためにブロックを重ねることは車の拡張をトリガし得る。ブロックが新しい形を作成するために使用される場合、ユーザは、ブロックがもはや視野内にない可能性がある後ですら、作成された拡張を維持することができる。
【００４５】
別の手法では、ARD14は、オブジェクトビサイドオブジェクト(object-beside-object)相互作用をサポートするように構成され得る。互いに隣り合って配置されたオブジェクトは、新しい拡張オブジェクトの作成をトリガし得る。たとえば、ブロックを互いに隣り合うように配置することは、拡張ビデオスクリーンがそれらのブロック上にオーバレイされることをトリガし得る。また、より多くのブロックを追加して、スクリーンをより大きくすることができる。オブジェクトの相対的な方向は異なる拡張をトリガし得る。たとえば、BernieをBurtの方向に向けることは、これらのキャラクターが互いに挨拶する拡張をトリガし得るのに対して、BernieをBurtの背後に置くことは、Bernieが話すとき、Bertが驚く拡張をトリガし得る。
【００４６】
さらに別の手法では、ARD14は、オブジェクトアバブオブジェクト(object-above-object)相互作用またはオブジェクトビローオブジェクト(object-below-object)相互作用をサポートするように構成され得る。オブジェクトが別のオブジェクトの上に配置されている場合、この動作は拡張をトリガし得る。たとえば、花瓶の上に水が保持されている場合、それは花瓶から育つ花の拡張をトリガし得る。別の例では、ピアノである曲が演奏されている状態でピアノが拡張されている場合、ユーザは、ギターの上にピアノを維持して、ピアノとギターの両方からの音を含む歌の拡張をトリガし得る。
【００４７】
他の実装形態では、ARD14は、位置とともに、動作または方向によって拡張をトリガさせるように構成され得る。たとえば、「流す」動きでピアノがギターの上でひっくり返された場合、拡張は、ピアノの演奏を中止することができ、ギターがその曲の演奏を始めることができるように、曲をピアノからギターに「流す」ことができる。「流す」ことは異なる量で行うことができることに留意されたい。たとえば、キーボードをギターの上で若干ひっくり返し、次いで、スーザフォーンの上でひっくり返したとき、これらの動作は曲のうちの一部を各楽器に渡す拡張をトリガし得る。
【００４８】
一手法では、トリガされた拡張が持続する場合、1)ギターがサウンドボード上に「流れ」て、そのサウンドボードからギター曲を演奏する拡張をトリガすること、2)次いで、ユーザがARDの視野をピアノに移動させて、ピアノに新しい曲を演奏させる動作を実行すること、3)次いで、ユーザが、サウンドボード上にピアノを移動させ(視野をピアノおよびサウンドボードに移動させ)、サウンドボードが、依然として、ギター曲を演奏し得ること、4)ピアノがサウンドボード上に「流れ」、サウンドボードから流れるギター曲にピアノ曲を加える拡張をトリガすること、または5)ドラム、ギターなど、他の楽器を用いて上記を繰り返して、サウンドボード上に複雑な歌を構築することができることを含むが、これらに限定されないシーンを示すことができる。
【００４９】
別の手法では、拡張は持続して、1)ユーザが曲を中断するための動作を実行する、たとえば、サウンドボードを揺すり、曲を消すこと、もしくは歌をごみ箱に「流す」こと、またはユーザが歌を保存することを選ぶこと、2)所定の期間にわたって、すべての楽器がARD14の視野から外されている可能性があること、あるいは3)アプリケーションを閉じるか、またはARD14をオフにすることができることのうちの1つもしくは複数が検出され得るまで、サウンドボードから複雑な曲を継続的に演奏させることができる。
【００５０】
さらに他の実装形態では、ARD14は、オブジェクトインオブジェクト相互作用をサポートするように構成され得る。この例では、オブジェクトは部分的または完全に別のオブジェクト内に含まれることが可能であり、これは、特定の相互作用をトリガし得る新しい状態を作成し得る。1つのシナリオでは、パーシャルインステートオンアパーシャルインオンリーステートオブジェクト(partial-in  state  on  a  partial-in  only  state  object)は拡張をトリガし得る。たとえば、Bernieが浴槽内に配置されるとき、Bernieが風呂に入っていることを示す拡張をトリガし得る。
【００５１】
別のシナリオでは、パーシャルインステートオンアマルチインステートオブジェクト(partial-in  state  on  a  multi-in  state  object)は拡張をトリガし得る。たとえば、車は、1つまたは複数の扉から入るなど、Bernieがその中にすっぽりと収まるのに十分大きい場合がある。Bernieが車に入る各異なる段階は、拡張をトリガし得る状態を表することができる。別の例では、Bernieは、ARDが観測する車のスケールと相対的なスケールで、車の開いている助手席(または、空席)側の扉を遮断し、それによって、Bernieが車の近くにいるか、またはよく見えるところにいることを示し、拡張Bernieは「車に乗るよ」と言うことができる。さらに別の例では、Bernieは、ARD14が観測する運転席(もしくは、空席)側の扉の床上のある場所に隣接し得るか、またはその場所と同じ場所に位置し得る床上の場所を占有することができ、そのシナリオでは、拡張Bernieは「ドライブに行くよ」と言うことができる。
【００５２】
さらに別のシナリオでは、フルインステートオンアシングルオアマルチインステートオブジェクト(full-in  state  on  a  single  or  multi-in  state  object)は拡張をトリガし得る。遮断が部分的であるとき、たとえば、Bernieが車の中にいるとき、車の窓越しにBernieを見ることができ、これは車のエンジン開始の音の拡張をトリガすることができ、仮想Bernieが「じゃあ、行ってくるよ!」と言うことよって、ユーザとの相互作用を実行することができる。遮断が完全であるとき、たとえば、ARD14が車の中で半分以上Bernieを見ることができないとき、車の扉は閉まっており、Bernieは可視でなく、シーンの流れはBernieが車の中にいる状態のまま継続する。これは車のエンジン開始の音をトリガすることができ、仮想Bernieは「じゃあ、行ってくるよ!」と言うことができる。
【００５３】
さらに別のシナリオでは、オブジェクトインオブジェクト状態は、外部オブジェクトの拡張に影響を及ぼし得る。Bernieが「車内」(車の内部)状態であることがわかっている場合、実世界でBernieが車の中にいることが観測されることが可能であろうが、なかろうが、Bernieに車を運転させる拡張がトリガされ得る。さらに別のシナリオでは、外部オブジェクトはオブジェクトインオブジェクト状態の拡張に影響を及ぼし得る。Bernieが「車内」状態であることがわかっている場合、Bernieに運転帽と運転用手袋とを身に着けさせる拡張がトリガされ得る。Bernieが車内状態を終了するとき、たとえば、Bernieがもはや帽子をかぶっていないとき、拡張は終了する。他のシナリオでは、車内状態が終了した後、拡張は継続し得る。
【００５４】
さらに別のシナリオでは、第1のオブジェクトが第2のオブジェクト内に見られるとき、遮断を伴うシーンの継続性が発生し得る。たとえば、Bernieが車の窓越しに見られる場合、Bernieは遮断されている。ARD14が車の上に移動して、屋根越しにBernieを見ることができない場合、1)Bernieは観測可能であり得るが、Bernieがもはやそこには存在しない角度から車が観測されるまで、2)Bernieが車内に見られるまで、3)Bernieが他の場所で見られるまで、4)車がARD14の視野内にない状態で、ある時間量が経過するまで、5)ARD14がある時間量t2(たとえば、1分)にわたって置かれるまで、あるいは6)ARD14が置かれて、床からの最大高度差を検査することによって、または(GSRなど)生物学的識別検査器、心臓の鼓動、顔認識、指紋、もしくはそれらの何らかの組合せなどの方法によって検出され得る、別のユーザによって取り上げられるまで、Bernieが車の中にいる(第1のオブジェクトが依然として第2のオブジェクト内にある)と仮定される状態でシーンを継続することができる。第1のオブジェクトが第2のオブジェクト内に入る状態が見られるとき、遮断を伴うシーンの継続が発生し得、この場合、第2のオブジェクトは第1のオブジェクトを完全に遮断する可能性があり、たとえば、Bernieは窓のない車の中にいる可能性があることに留意されたい。さらに別のシナリオでは、あるオブジェクトを別のオブジェクトの上部に配置することによって、オブジェクトオーバ状態(object-over  state)が実現され得る。この状態は、オブジェクトイン状態(object-in  state)と同じ拡張または異なる拡張をトリガし得る。たとえば、トイキャラクターを電話ボックス内に配置して、部分的または全部に覆うことができるなど、あるオブジェクトは別のオブジェクトを物理的に覆うことが可能であり得る。
【００５５】
図15に示すように、オブジェクト同士の間の相対的な方向は異なる拡張をトリガし得る。この例では、2つ以上のオブジェクトは、互いに対して複数の方向または整合を有することが可能であり、異なる方向は異なる拡張をトリガし得る。たとえば、Bernie21が浴槽22内に配置されるとき、水を跳ね上げて、泡をたてている拡張Bernie31を示すことができる。別の例では、Bernie21が浴槽22内に横たわるとき、バスタイムの歌を歌う拡張Bernie31を示すことができる。
【００５６】
図16に示すように、あるオブジェクトの方向は別のオブジェクトの状態に影響を及ぼし得る。あるオブジェクトが別のオブジェクトの拡張に影響を与える場合、第1のオブジェクトの方向は、第2のオブジェクトの拡張を判断し得る。たとえば、犬25を電話ボックス28内に配置することができ、この場合、犬25は電話ボックス28によって完全に遮断され得るか、または犬25は電話ボックス28の窓越しに可視であり得る。1)電話ボックス28は床12に対して移動することができる、2)電話ボックス28はARD14に対して移動することができる、または3)ARD14は電話ボックス28に対して移動することができるなど、電話ボックス28は、次いで、任意の方向に向きを変えることができる。
【００５７】
別の手法では、電話ボックス28の方向は、拡張犬35がスーパードッグ、配達犬、または子犬に変身するように、犬25の拡張に影響を及ぼし得る。拡張電話ボックス38またはその一部を通してこの拡張を見ることができ、犬25が電話ボックス28を出た後に拡張を見ることもでき、または犬が25電話ボックス28の内と外の両方にいる場合があるとき、拡張を見ることも可能であることに留意されたい。
【００５８】
さらに別の手法では、拡張は、a)犬25が電話ボックス28にいる間、b)犬25が電話ボックス28を出ると、c)犬25が電話ボックス28から所定の距離内にいる間、d)電話ボックス28を離れた後の時間である、ある期間の間、e)犬25が電話ボックス28に再び入るか、または車でドライブに行くまで、f)その拡張が追加の拡張と混合される場合、たとえば、拡張スーパードッグ35が車に入ることができ、次いで、拡張スーパードッグ35が、運転手の帽子と手袋とをやはり身に着けることができる場合、ならびにg)1)犬25がARD14の視野内にいない状態で、ある時間量t1(たとえば、2分)が経過するまで、2)ARD14がある時間量t2(たとえば、1分)の間置かれるまで、または3)ARD14が置かれて、床からの最大高度差を検査することによって、あるいは(GSRなど)生物学的識別検査器、心臓の鼓動、顔認識、指紋、またはそれらの任意の組合せなどの方法によって検出され得る、別のユーザによって取り上げられるまで、拡張されたシーンを通して、を含むが、これらに限定されない状況のうちの1つもしくは複数において継続し得る。
【００５９】
本開示の態様によれば、オブジェクトビハインドオブジェクト(object-behind-object)(遮断)相互作用は、異なる拡張をトリガし得る。別のオブジェクトを部分的に遮断するオブジェクトは動作をトリガし得る。たとえば、Bernie21がTV24の背後にいる(すなわち、Bernie21がTV24によって部分的に遮断され得る)シーンは、拡張Bernie31がTV34(図示せず)を修理することをトリガし得る。場合によっては、2つのオブジェクトのうちの1つだけの拡張、両方のオブジェクトの拡張、または2つのオブジェクトの組合せ拡張への影響が存在し得ることに留意されたい。
【００６０】
さらに別の手法では、1つまたは複数のオブジェクトに対するARD14の移動は、以下の例にあるように拡張をトリガし得る。ロボット同士の間の格闘の拡張ゲームでは、ロボットのうちの1つが撃たれて、壊れた場合、ARD14は、そのロボットにズームインするように構成可能であり、次いで、ARD14は、レンチのように回転して、ロボットを修理するように構成可能である。あるいは、別の動作を使用して、タッチスクリーン上でロボットに触れることができるなど、ロボットをつかむことができ、その場合、ARD14は、レンチのように回転して、ロボットを修理するように構成可能である。加えて、ARD14は、ロボットに燃料補給するために変換したり、戻ったりすることができるか、または動作を取り消すために振動動作をARD14に適用することができる。
【００６１】
本開示の実施形態によれば、オブジェクトは、拡張のための有形調整として使用され得る。拡張は、音量、照度、コンテンツなど、調整可能な態様を有し得る。いくつかの実装形態では、オブジェクトの移動を使用して、次のように状態を変更することができる。一手法では、オブジェクトはその独自の状態の態様を変更することができる。たとえば、ARDの視野内のラジオは、歌を奏でている拡張をトリガすることができ、ラジオを回転させることは、ラジオの音量を増大または減少させることができる。
【００６２】
別の手法では、電話ボックス28を回転させることは、図16に示すように、犬25の拡張を変更し得るなど、オブジェクトは別のオブジェクトの状態の態様を変更することができる。たとえば、TV24の近くにBernie21を配置することは、拡張TV34上でビデオを再生する拡張をトリガすることができ、Bernie21を回転させることは、TV24のチャネルを変更させることができる。
【００６３】
さらに別の手法では、複数のオブジェクトは、それらのオブジェクト自体の拡張または他のオブジェクトの拡張に影響を及ぼし得る。たとえば、拡張TV34の向きを変えることは、拡張内のTV24のチャネルを変更させることができる。他の実装形態では、Bernie21の向きを変えることは、音量を調整させることができ、別のオブジェクトの向きを変えることは、TV24の輝度を調整させることができる。
【００６４】
さらに他の実装形態では、オブジェクトの位置は、そのオブジェクトの拡張または他のオブジェクトの拡張に影響を及ぼし得る。たとえば、拡張ラジオの音量は、拡張ラジオを上下に移動させること、拡張ラジオを前方に引くこと、および/または拡張ラジオを後方に押すことによって制御され得る。ラジオの位置は、床、ARD14、または別のオブジェクトに対して観測され得る。
【００６５】
本開示の実施形態によれば、オブジェクトのジェスチャは、拡張のトリガとして使用され得る。オブジェクトを自然なプレイジェスチャ(natural  play  gesture)で移動して、関連する拡張をトリガすることができる。たとえば、花瓶の上で水を傾けることは、花に水を与える拡張をトリガし得る。
【００６６】
本開示のいくつかの態様によれば、1)拡張BrettはBernieに質問することができ、この場合、ユーザは、応答して、Bernieにうなずかせるか、もしくは頭を振らせて、それに応じて、拡張された肯定的な応答または否定的な応答を提供することができる、2)チェスボード上でチェスの駒を移動させることは、移動した駒と、取られる駒との間で拡張名人の戦いをトリガすることができ、移動した駒が戦いに勝利する、3)小冊子を左または右に迅速に移動させることは、小冊子の仮想ページをめくらせることができる、および4)ギターを軽くたたくことは、拡張歌のリズムを設定し得る、を含むが、これらに限定されない例示的な相互作用を実装することができる。
【００６７】
本開示の実施形態によれば、オブジェクトのジェスチャは、シーン作成として使用され得る。ユーザが実世界でプレイすることを促すことができる。たとえば、ユーザは、自然なプレイジェスチャでオブジェクトを移動させて、1)ユーザがキャラクターの首を縦に振らせる場合、拡張シーンは、キャラクターが合意していることを反映し、ユーザがキャラクターの首を横に振らせる場合、拡張シーンは、キャラクターが合意していないことを反映すること、2)ユーザがBernieにBurtにおじぎさせる場合、拡張シーンは、BernieがBurtに挨拶しているのを反映することができること、3)ユーザが犬25を上下に跳ねさせる場合、拡張犬35は興奮して、所定の存続期間にわたって興奮した状態であり続け、それに応じて、シーンに影響を与えることができること、および4)ユーザが、犬25を横たわらせる場合、拡張犬35は疲れているように見えることが可能であり、そこに放置された場合、眠りに落ちること、を含むが、これらに限定されない、自己作成されたシーン展開をトリガし得る。互いに「静かに!」と言うなど、他の拡張キャラクターが犬の動作に応答することが可能である。
【００６８】
本開示の実施形態によれば、ARDは、環境状態相互作用を実行するように構成され得る。オブジェクトは、床など、背景によって確立された拡張環境内に常駐することができる。ユーザが、環境を探索して、その環境内の要素と相互作用することを促すことができる。以下の例では、壁、扉、および窓は、有形要素ではなく、仮想であると仮定し得る。いくつかの実装形態では、1)キャラクターを窓の隣に移動させること、2)キャラクターを窓に面するように移動させること、または3)キャラクター、たとえば、Bernieが「ん〜、ここは暖かい。窓を開けてもいいかな?」と言うことによって、催促されることによって、閉じられた窓を開けることができるなど、ユーザは拡張環境内の拡張要素を動作させることができる。この拡張の後に、Bernieにうなずかせるか、または首を振らせるなど、ユーザからの入力が続いてよい。加えて、窓に対するARD14の方向に従って、拡張環境内の仮想要素を動作させることができる。一実装形態では、窓を見上げることは、窓を開けることをトリガすることができ、窓を見下ろすことは、窓を閉めることをトリガし得る。
【００６９】
いくつかの実装形態では、ARD14を仮想窓に非常に近づけて移動させることは、環境状態相互作用をトリガし得る。加えて、ARD14に仮想窓を通過させることは、窓を開けて、ARD14が通過するのを可能にし得る。さらに、スクリーン上をたたくこと、および/または「窓を開けろ」など、音声コマンドを発行することによって、拡張環境内の仮想要素を動作させることができる。
【００７０】
本開示のいくつかの態様によれば、図2の制御ユニット120によって、図17、図18、および図20で説明する機能を実装することができる。いくつかの実装形態では、これらの機能は、追跡ユニット132および拡張現実ユーザインターフェースユニット134によって実行される機能を含めて、上で説明したARDの様々な機能を実行するために、プロセッサ122、ソフトウェア126、ハードウェア128、およびファームウェア130、またはこれらのブロックの組合せによって実行可能である。図17は、本開示のいくつかの実施形態による、有形の拡張現実オブジェクトの相互作用を提供する流れ図を示す。ブロック1702で、制御ユニット120は、1つまたは複数のオブジェクトの捕捉された画像に少なくとも一部基づいて、1つまたは複数のオブジェクトの3次元追跡を実行するように構成され得る。ブロック1704で、制御ユニット120は、捕捉された画像に少なくとも一部基づいて、1つまたは複数のオブジェクトのうちの少なくとも1つのオブジェクトの状態変更を検出するように構成され得る。ブロック1706で、制御ユニット120は、少なくとも1つのオブジェクトの状態変更に応答して、拡張をレンダリングさせるように構成可能であり、この場合、拡張のタイプは、少なくとも1つのオブジェクトの状態変更に少なくとも一部基づく。1つまたは複数のオブジェクトは、複数のオブジェクトを含み得ることに留意されたい。
【００７１】
本開示の実施形態によれば、ブロック1702において実行される方法は、ブロック1710〜1712において実行される方法をさらに含んでよい。たとえば、ブロック1710で、制御ユニット120は、ARDに対する複数のオブジェクトの相対的なポーズを判断することと、複数のオブジェクトの相対的なポーズを使用して、複数のオブジェクトの状態を更新することであって、複数のオブジェクトの状態が複数のオブジェクトの関係情報を含む、更新することとを行うように構成され得る。ブロック1710において実行される方法は、ブロック1730〜1732において実行される方法をさらに含んでよい。ブロック1730で、制御ユニット120は、複数のオブジェクトの前に捕捉した画像に関して、複数のオブジェクトのポーズを検出する。ブロック1732で、制御ユニット120は、画像内の新しいオブジェクトを検出して、その新しいオブジェクトを含めるために、複数のオブジェクトを更新する。関係情報は、ゲーム内の複数のオブジェクト間の関係、ストーリ内の複数のオブジェクト間の関係、および背景に対する複数のオブジェクト同士の間の関係のうちの少なくとも1つを含む。
【００７２】
ブロック1704において実行される方法は、ブロック1714〜1720において実行される方法をさらに含んでよい。ブロック1714で、制御ユニット120は、ARDに対する少なくとも1つのオブジェクトの位置変更を検出する。ブロック1716で、制御ユニット120は、ARDに対する少なくとも1つのオブジェクトの方向変更を検出する。ブロック1718で、制御ユニット120は、少なくとも2つのオブジェクト同士の間の位置変更を検出する。ブロック1720で、制御ユニット120は、複数のオブジェクト間のコンステレーションの変更を検出する。
【００７３】
ブロック1714において実行される方法は、ブロック1734において実行される方法をさらに含んでよく、この場合、制御ユニット120は、1)ARDに対して変換されている少なくとも1つのオブジェクトを検出する、2)少なくとも1つのオブジェクトがARDに対する第1の所定の距離に達したことを検出する、または3)少なくとも1つのオブジェクトがARDに対して第1の所定のジェスチャ動作を経験したことを検出する。ブロック1716において実行される方法は、ブロック1736において実行される方法をさらに含んでよく、この場合、制御ユニット120は少なくとも1つのオブジェクトがARDに対して回転していることを検出する。
【００７４】
同様に、ブロック1718において実行される方法は、ブロック1738において実行される方法をさらに含んでよく、この場合、制御ユニット120は、1)少なくとも2つのオブジェクトが互いに対して移動していることを検出する、2)少なくとも2つのオブジェクトが互いに対する第2の所定の距離に達したことを検出する、および3)少なくとも2つのオブジェクトのうちの1つが他のオブジェクトに対して第2の所定のジェスチャ動作を経験したことを検出する。
【００７５】
ブロック1706において実行される方法は、ブロック1722〜1724において実行される方法をさらに含んでよい。拡張のタイプは、1)ブロック1722で説明した、ARDのディスプレイ内での複数のオブジェクト間の相互作用、2)ブロック1724で説明した、ARDのディスプレイ内での少なくとも1つのオブジェクトとARDとの間の相互作用、および3)少なくとも1つのオブジェクトの状態変更に少なくとも一部基づく焦点を有する1つまたは複数の要素の表現、を含むが、これらに限定されないタイプの拡張を含み得る。
【００７６】
少なくとも1つのオブジェクトの状態変更は、ARDと少なくとも1つのオブジェクトとの間の幾何学的関係の変更、捕捉された画像を送信するカメラの視野内の少なくとも1つのオブジェクトと別のオブジェクトとの間の幾何学的関係の変更、および少なくとも1つのオブジェクトの特徴の変更のうちの少なくとも1つを含み得る。
【００７７】
ブロック1706における拡張は、ARDからの少なくとも1つのオブジェクトの視野に少なくとも一部基づく相互作用、少なくとも1つのオブジェクトとARDとの間の相対的移動に少なくとも一部基づく相互作用、少なくとも1つのオブジェクトとARDとの間の距離に少なくとも一部基づく相互作用、少なくとも1つのオブジェクトからの催促に少なくとも一部基づく相互作用、および少なくとも1つのオブジェクトからのジェスチャに少なくとも一部基づく相互作用のうちの少なくとも1つを含み得る。
【００７８】
ブロック1706における拡張は、複数のオブジェクト内のオブジェクトオンオブジェクトに少なくとも一部基づく相互作用、複数のオブジェクトのオブジェクトビサイドオブジェクトに少なくとも一部基づく相互作用、複数のオブジェクト内のオブジェクトアバブオブジェクトに少なくとも一部基づく相互作用、複数のオブジェクト内のオブジェクトインオブジェクトに少なくとも一部基づく相互作用、および複数のオブジェクト内のオブジェクトビハインドオブジェクトに少なくとも一部基づく相互作用のうちの少なくとも1つをさらに含み得る。
【００７９】
少なくとも1つのオブジェクトの状態変更を検出する方法は、ARDに対する少なくとも1つのオブジェクトへのズームインを検出するステップ、およびARDに対する少なくとも1つのオブジェクトからのズームアウトを検出するステップのうちの少なくとも1つを含み得る。
【００８０】
図18は、本開示のいくつかの態様による、有形の拡張現実オブジェクトの相互作用を提供する別の流れ図を示す。ブロック1802で、制御ユニット120は、捕捉された画像に少なくとも一部基づいて、1つまたは複数のメインオブジェクトの3次元追跡を実行するように構成可能であり、1つまたは複数のメインオブジェクトのうちの少なくとも1つのメインオブジェクトは、一緒に連結されて、少なくとも1つのメインオブジェクトを形成する、1つまたは複数のサブオブジェクトを含む。ブロック1804で、制御ユニット120は、1つまたは複数のサブオブジェクトのうちの少なくとも1つのサブオブジェクトの状態変更を検出するように構成され得る。ブロック1806で、制御ユニット120は、少なくとも1つのサブオブジェクトの状態変更に応答して、拡張をレンダリングするための情報を生成するように構成され得る。
【００８１】
本開示の実施形態によれば、ブロック1802において実行される方法は、ブロック1810〜1812において実行される方法をさらに含んでよい。たとえば、ブロック1810で、制御ユニット120は、その対応するメインオブジェクトに対する少なくとも1つのサブオブジェクトの相対的なポーズを判断する。ブロック1812で、制御ユニット120は、その少なくとも1つのサブオブジェクトの相対的なポーズを使用して、対応するメインオブジェクトの状態を更新し、この場合、対応するメインオブジェクトの状態は、対応するメインオブジェクトの関係情報を含む。ブロック1810において実行される方法は、ブロック1830〜1832において実行される方法をさらに含んでよい。ブロック1830で、制御ユニット120は対応するメインオブジェクトの前に捕捉された画像に対する捕捉された画像内の対応するメインオブジェクトのポーズを検出する。ブロック1832で、制御ユニット120は、画像内の新しいオブジェクトを検出して、新しいオブジェクトを含めるために、1つまたは複数のメインオブジェクトを更新する。関係情報は、1)ゲーム内の1つまたは複数のメインオブジェクト間の関係、2)ストーリ内の1つまたは複数のメインオブジェクト間の関係、および3)背景に対する1つまたは複数のメインオブジェクト間の関係を含むが、これらに限定されない、関係のうちの少なくとも1つを含むことに留意されたい。
【００８２】
ブロック1804において実行される方法は、ブロック1814〜1818において実行される方法をさらに含んでよい。ブロック1814で、制御ユニット120は、その対応するメインオブジェクトに対する少なくとも1つのサブオブジェクトの位置変更を検出する。ブロック1816で、制御ユニット120は、その対応するメインオブジェクトに対する少なくとも1つのサブオブジェクトの方向変更を検出する。ブロック1814において実行される方法は、ブロック1834において実行される方法をさらに含んでよい。ブロック1834で、制御ユニット120は、その対応するメインオブジェクトに対して変換されている、少なくとも1つのサブオブジェクトを検出するか、その少なくとも1つのサブオブジェクトがその対応するメインオブジェクトに対する第1の所定の位置に達したことを検出するか、またはその少なくとも1つのサブオブジェクトがその対応するメインオブジェクトに対して第1の所定のジェスチャ動作を経験したことを検出する。ブロック1816において実行される方法は、ブロック1836において実行される方法をさらに含んでよい。ブロック1836で、制御ユニット120は、少なくとも1つのサブオブジェクトがその対応するメインオブジェクトに対して回転していることを検出する。
【００８３】
ブロック1818で、制御ユニット120は、少なくとも1つのサブオブジェクトが少なくとも1自由度だけ移動したことを検出するか、または1つもしくは複数のサブオブジェクトが互いと無関係に移動したことを検出する。ブロック1806において実行される方法は、ブロック1820〜1822において実行される方法をさらに含んでよい。ブロック1820で、制御ユニット120は、ARDのディスプレイ内に複数のメインオブジェクトとそれらの対応するサブオブジェクトとの間の相互作用を提示する。ブロック1822で、制御ユニット120は、ARDのディスプレイ内に複数のメインオブジェクトと、それらの対応するサブオブジェクトと、ARDとの間の相互作用を提示する。
【００８４】
本開示のいくつかの態様によれば、状態変更は、少なくとも1つのサブオブジェクトをその対応するメインオブジェクトに追加することを含むことが可能であり、状態変更は、その対応するメインオブジェクトから少なくとも1つのサブオブジェクトを除去することをさらに含むことが可能である。ブロック1806の情報は、その対応するメインオブジェクト、および対応するメインオブジェクト以外のメインオブジェクトに対する少なくとも1つのサブオブジェクトのポーズに基づいて生成され得る。ブロック1806において実行される方法は、1)車の扉が開けられたことを検出するとすぐに、車に入ることに関する拡張を提示すること、2)車のボンネットが開けられたことを検出するとすぐに、車のエンジンを検査することに関する拡張を提示すること、3)車のボンネットが開けられたことを検出するとすぐに、車のエンジンを修理することに関する拡張を提示すること、および4)車のトランクが開けられたことを検出するとすぐに、車に荷物を積むことに関する拡張を提示することをさらに含み得るが、これらに限定されない。
【００８５】
図20は、本開示のいくつかの態様による、有形の拡張現実オブジェクトの相互作用を提供するさらに別の流れ図を示す。ブロック2002で、制御ユニット120は、少なくとも1つのオブジェクトの選択を受信するように構成され得る。ブロック2004で、制御ユニット120は、カメラが捕捉した複数の画像内の少なくとも1つのオブジェクトを追跡するように構成され得る。ブロック2006で、制御ユニット120は、追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号をデバイスから実オブジェクトに送信させるように構成され得る。
【００８６】
ブロック2004において実行される方法は、ブロック2010〜2014において実行される方法をさらに含んでよい。ブロック2010で、制御ユニット120は、デバイスに対する少なくとも1つのオブジェクトの相対的なポーズを判断する。ブロック2012で、制御ユニット120は、その相対的なポーズを使用して、少なくとも1つのオブジェクトの状態を更新する。制御ユニット120は、ブロック2014で、その少なくとも1つのオブジェクトのクローズアップ視野を取得するためにズームインして、ブロック2032で、その少なくとも1つのオブジェクトをデバイスの中央スクリーンに配置する。ブロック2010において実行される方法は、ブロック2030において実行される方法をさらに含んでよい。ブロック2030で、制御ユニット120は、少なくとも1つのオブジェクトの前に捕捉された画像に対する少なくとも1つのオブジェクトの相対的なポーズを検出する。
【００８７】
ブロック2006において実行される方法は、ブロック2016〜2020において実行される方法をさらに含んでよい。ブロック2016で、制御ユニット120は、少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングして、ブロック2018で、制御ユニット120は、ユーザ定義の制御機構をデバイスのディスプレイ上に提供する。ブロック2020で、制御ユニット120は、デバイスの動きを使用して、制御機構の動作をエミュレートする。
【００８８】
ブロック2006のマシンインターフェースは、Bluetooth(登録商標)、Wi-Fi、およびIRを含み得るが、これらに限定されないことに留意されたい。複数の画像のうちの少なくとも1つの画像は、デバイスのタッチスクリーン上に表示され、この場合、少なくとも1つのオブジェクトの選択を受信するステップは、ユーザ入力に関する情報をタッチスクリーン上で受信するステップを含み得る。
【００８９】
1つの例示的なアプリケーションでは、制御ユニット120は、デバイスの視野内のラジオを追跡して、ラジオが奏でる歌の拡張を提供して、ラジオが流れているという判断に基づいて、歌の音量を調整するように構成され得る。別の例示的なアプリケーションでは、制御ユニット120は、デバイスの視野内のテレビジョンを追跡して、オブジェクトがテレビジョンの近くに配置されていることを判断して、配置されたオブジェクトに基づいて、テレビジョン上のビデオ再生の拡張をトリガするように構成され得る。さらに別の例示的なアプリケーションでは、制御ユニット120は、TV番組の残りの部分を示すポストイットノート(post-it  note)を追跡して、そのTV番組を録画するようにデジタルビデオレコーダの録画設定を変更させるように構成され得る。
【００９０】
図19A、図19B、図19C、および図19Dは、自動ホームコントロールデバイスとして使用されている拡張現実対応デバイスの例を示す。図19A、図19B、図19C、および図19Dに示す例では、家庭用品29、すなわち、コーラ缶、および家庭用品12、すなわち、雑誌が例示され、家庭用品29および12に関する拡張オブジェクト34がARD14上に提供される。他のタイプの家庭用オブジェクトまたは他のタイプのオブジェクトを使用することも可能である。
【００９１】
いくつかの実装形態では、拡張オブジェクト34は、拡張オブジェクト34に関連する(実世界オブジェクトまたは実オブジェクトと呼ばれる場合もある)有形オブジェクトを完全にカバーすることができる。他の実装形態では、拡張オブジェクト34は有形項目の一部だけをカバーすることができる。たとえば、拡張オブジェクト34の一部によってカバーされた有形項目を見ることができるか、または有形項目をフィルタリングして、より微細な外観を提供することができる。適用され得るフィルタのタイプのいくつかの例は、シーンの残りの部分に対する有形項目の輝度、明暗差、および/または彩度を低減するためのフィルタである。いくつかの実装形態では、拡張コンテンツが有形項目の画像よりも小さい場合ですら、環境拡張を使用して、その項目のすべてまたは一部をカバーすることができる。たとえば、図19Aに示す例では、拡張コンテンツ16は、有形項目、すなわち、雑誌12をカバーする。拡張コンテンツ16は、コーラ缶29よりも小さくてよいが、環境拡張は、ARD14が表示する拡張コンテンツ内で缶の明暗差および彩度を低減している。
【００９２】
図19A、図19B、図19C、および図19Dに示す例など、いくつかの実装形態では、有形項目に関して提供される拡張コンテンツは、有形項目とは異なるタイプのオブジェクトのものであり得る。たとえば、図19A、図19B、図19C、および図19Dのコーラ缶29は、テレビジョンセットのように見える拡張オブジェクト34に置換されている。他のタイプの表現を用いることができる。拡張コンテンツと有形項目との関連付けは、(1)有形項目と拡張コンテンツとの間の関連付けが再度割り当てられるまで、複数のARを通した永続的な持続セッション、(2)使用セッションの存続期間にわたる(たとえば、アプリケーションがオンにされている限り)定着的な(sticky)持続、または(3)「シーン」の存続期間にわたる緩やかな持続であり得る。
【００９３】
本開示の態様によれば、ARD14とともに使用され得るある種のオブジェクトは、1つもしくは複数の顔の特徴(たとえば、目、口、または耳)、あるいは他の特徴(たとえば、アニメーション化された動き)など、それらのオブジェクトに関連する擬人化の特徴を有し得る。ARD14の拡張論理は、デバイスのユーザと通信するためのこれらの擬人化の特徴を使用する関連する拡張コンテンツを提供するように構成され得る。たとえば、トイの拡張表現をアニメーション化して、感情を示すこと、シーンの中を移動すること、歌うこと、話すこと、およびユーザに注目する(すなわち、ユーザを「聴取」する)ことができる。
【００９４】
オブジェクトはターゲット参照背景上に常駐し得る。たとえば、トイは、床、テーブルトップ、プレイマット、または他の表面の上に常駐し得る。ARD14は、参照床に加えて、1つまたは複数のトイを追跡するように構成され得る。ARD14は、オプションで、ARD14が提供するAR視野内で、床、および実世界の他の部分の上に背景拡張をオーバレイすることができる。図19A、図19B、図19C、および図19Dは、項目、すなわち、コーラ缶29が、ARD14上に表示される拡張コンテンツに関する参照面として機能し得る、雑誌など、ターゲット参照背景12上に常駐する、ある例を示す。テーブルトップ、書籍、紙切れ、壁、または他の項目など、他のターゲット参照背景は、参照面としても機能し得る。ARD14が提供する拡張コンテンツ内に参照面を含めることは、オプションであってよい。
【００９５】
図20は、本開示のいくつかの態様による、有形の拡張現実オブジェクトの相互作用を提供するさらに別の流れ図を示す。ブロック2002で、制御ユニット120は、少なくとも1つのオブジェクトの選択を受信するように構成され得る。ブロック2004で、制御ユニット120は、カメラが捕捉した複数の画像内の少なくとも1つのオブジェクトを追跡するように構成され得る。ブロック2006で、制御ユニット120は、追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号をデバイスから実オブジェクトに送信させるように構成され得る。
【００９６】
ブロック2004において実行される方法は、ブロック2010〜2014において実行される方法をさらに含んでよい。ブロック2010で、制御ユニット120は、デバイスに対する少なくとも1つのオブジェクトの相対的なポーズを判断する。ブロック2012で、制御ユニット120は、その相対的なポーズを使用して、少なくとも1つのオブジェクトの状態を更新する。制御ユニット120は、ブロック2014で、その少なくとも1つのオブジェクトのクローズアップ視野を取得するためにズームインして、ブロック2032で、その少なくとも1つのオブジェクトをデバイスの中央スクリーンに配置する。ブロック2010において実行される方法は、ブロック2030において実行される方法をさらに含んでよい。ブロック2030で、制御ユニット120は、少なくとも1つのオブジェクトの前に捕捉された画像に対する少なくとも1つのオブジェクトの相対的なポーズを検出する。
【００９７】
ブロック2006において実行される方法は、ブロック2016〜2020において実行される方法をさらに含んでよい。ブロック2016で、制御ユニット120は、少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングして、ブロック2018で、制御ユニット120は、ユーザ定義の制御機構をデバイスのディスプレイ上に提供する。ブロック2020で、制御ユニット120は、デバイスの動きを使用して、制御機構の動作をエミュレートする。
【００９８】
ブロック2006のマシンインターフェースは、Bluetooth(登録商標)、Wi-Fi、およびIRを含み得るが、これらに限定されないことに留意されたい。複数の画像のうちの少なくとも1つの画像は、デバイスのタッチスクリーン上に表示され、この場合、少なくとも1つのオブジェクトの選択を受信するステップは、ユーザ入力に関する情報をタッチスクリーン上で受信するステップを含み得る。
【００９９】
本開示の態様によれば、いくつかの技法を使用して、画像フレーム内の特徴を識別および追跡することが実行され得る。一手法では、特徴を識別する方法は、各2×2勾配行列の最小固有値を検査することによって実行され得る。次いで、2つの窓の間の差を最小化するニュートン・ラフソン法を使用して特徴が追跡される。多重解像度追跡の方法は、画像間の比較的大きな変位を可能にする。あるフレームから次のフレームに特徴を追跡する間、誤差が蓄積し得ることに留意されたい。潜在的に不良な特徴を検出するために、モバイルデバイスは、現在のフレーム内の特徴を囲む窓内の画像信号が、前のフレーム内の特徴を囲む窓内の画像信号に依然として類似するかどうかを監視するように構成され得る。多くのフレームを通して特徴を追跡することができるので、画像コンテンツは変形する場合がある。この課題に対処するために、相似またはアフィンマッピングを用いて、一貫性検査を実行することができる。
【０１００】
本開示の態様によれば、画像内のオブジェクトを識別するために、オブジェクト上の点を抽出して、そのオブジェクトの(キーポイント、特徴点、または略して特徴とも呼ばれる)特徴記述子を提供することができる。次いで、多くの他のオブジェクトを含むテスト画像内のオブジェクトの位置特定を試みるとき、トレーニング画像から抽出されたこの記述子を使用して、そのオブジェクトを識別することができる。信頼性が高い認識を実行するために、トレーニング画像から抽出された特徴は、画像スケール、雑音、および照度の変更下ですら、検出可能であり得る。そのような点は、通常、オブジェクトエッジなど、画像の高コントラスト領域に存在する。
【０１０１】
これらの特徴の別の特性は、元のシーン内のこれらの特徴同士の間の相対的な位置は画像ごとに変わらない可能性があるということである。たとえば、扉の四隅だけが特徴として使用される場合、扉の位置にかかわらず、これらの四隅は機能し得るが、フレーム内の点が使用される場合、扉が開かれた場合、または閉じられた場合、認識は失敗する可能性がある。同様に、連結したオブジェクト内またはフレキシブルなオブジェクト内に位置する特徴は、処理されているセット内の2つの画像同士の間でその内部幾何形状に何らかの変更が発生した場合、一般に、機能しない可能性がある。いくつかの実装形態では、SIFTは、画像から多数の特徴を検出および使用し、これは、すべての特徴整合誤差の平均誤差における局所変化によって引き起こされる誤差の寄与を削減し得る。したがって、開示される方法は、クラッタ内ですら、および部分的な遮断を受けてすら、オブジェクトを識別することができるが、これは、SIFT特徴記述子が均一スケーリング、方向に対して不変であり得、アフィン歪み(affine  distortion)および照度変化に対して部分的に不変であり得るからである。
【０１０２】
たとえば、オブジェクトのキーポイントを、まず参照画像のセットから抽出して、データベース内に記憶することができる。新しい画像からの各特徴をこのデータベースと比較して、それらの特徴ベクトルのユークリッド距離に基づいて、候補整合特徴を見出すことによって、新しい画像内のオブジェクトが認識される。整合の完全セットから、新しい画像内のオブジェクトおよびその位置、スケール、ならびに方向に関して一致したキーポイントのサブセットを識別して、良好な整合をフィルタ除去することができる。一貫性のあるクラスタの判断は、生成されたハフ変換のハッシュ表実装形態を使用することによって実行され得る。オブジェクトおよびそのポーズに関して一致した、3つ以上の特徴の各クラスタは、次いで、さらに詳細なモデル検証を受けることが可能であり、その後、異常値が廃棄され得る。次いで、適合の精度と推定誤整合の数とに基づいて、特徴の特定のセットがオブジェクトの存在を示す確率を計算することが可能である。テストに合格するオブジェクト整合は、高い信頼性で正確として識別され得る。
【０１０３】
本開示の態様によれば、画像特徴生成は、画像を、その各々が画像変換、スケーリング、および回転に対して不変であると同様に、照度変更に対しても不変であり得、局所的な幾何学的歪みに対して頑強であり得る特徴ベクトルの大きな収集物に変換する。これらの特徴は、霊長類の視覚内のオブジェクト認識に関して使用される下側頭皮質内の神経細胞と類似の性質を共有する。キー位置は、一連の平滑化および再サンプリングされた画像に対してスケール空間で適用されるガウス関数の差の結果の最大値および最小値として定義され得る。低コントラスト候補点、およびエッジに沿ったエッジ反応点を廃棄することができる。最も頻度の高い方向(dominant  orientations)を局在化されたキーポイントに割り当てる。この手法は、整合および認識に関してキーポイントがより安定していることを保証する。次いで、キー位置の半径を囲む画素を考慮して、局所的な画像配向面のぼかしおよび再サンプリングによって、局所的なアフィン歪みに対して頑強なSIFT記述子が取得され得る。
【０１０４】
特徴整合および索引付けは、SIFTキーを記憶することと、新しい画像から整合キーを識別することとを含み得る。一手法では、限定された量の計算を使用して、高い確率を有する最近隣を識別するために使用され得るベストビンファースト検索(best-bin-first  search)方法とも呼ばれるk-dツリーアルゴリズムの修正。ベストビンファーストアルゴリズムは、特徴空間内のビンをクエリ位置から最近距離の順序で検索することができるように、k-dツリーアルゴリズムに関して、修正された検索順序を使用する。この検索順序は、検索順序を効率的に判断するために、ヒープベースの優先待ち行列(heap-based  priority  queue)の使用を必要とする。トレーニング画像からキーポイントのデータベース内のその最近隣を識別することによって、各キーポイントに関する最善の候補整合を見出すことができる。最近隣は、所与の記述子ベクトルから最小ユークリッド距離を有するキーポイントとして定義され得る。整合が正確である確率は、最近隣から第2の最近隣までの距離の率をとることによって判断され得る。
【０１０５】
1つの例示的な実装形態では、距離比が0.8を超える整合は拒否されてよく、これは誤整合の90%を排除するのに対して、正確な整合の5%未満を廃棄する。ベストビンファーストアルゴリズムの効率をさらに改善するために、所定の数(たとえば、100個)の最近隣候補を検査した後、検索を止めることができる。100,000個のキーポイントのデータベースの場合、これは、正確な最近隣検索に関しておよそ2桁の加速を実現し得、さらに、正確な整合の数において5%未満の損失をもたらす。
【０１０６】
この例示的な実装形態の場合、ハフ変換を使用して、信頼性が高いモデル仮説をクラスタ化して、特定のモデルポーズに関して一致するキーに関して検索することができる。その特徴に一致し得るオブジェクトポーズを決定する(vote)ための各特徴を使用することによって、一貫性のある解釈を用いて特徴のクラスタを識別するために、ハフ変換を使用することができる。特徴のクラスタがオブジェクトの同じポーズを決定することが見出されたとき、正確である解釈の確率は任意の単一の特徴に関するよりもより高い可能性がある。整合仮説からモデルの位置、方向、およびスケールを予測するために、ハッシュ表内に記入を生み出すことができる。ビン内の少なくとも3つの記入のクラスタを識別するためにハッシュ表を検索することができ、ビンをサイズの降順にソートすることができる。
【０１０７】
本開示の態様によれば、SIFTキーポイントの各々は、2D位置、スケール、および方向を指定することができる。加えて、データベース内の各整合キーポイントは、その整合キーポイントが見出されるトレーニング画像に対するそのパラメータの記録を有し得る。これらの4つのパラメータによって暗示される相似変換は、3Dオブジェクトに関する6自由度のポーズ空間の近似値であり得、また任意の非剛体変形に対応しない。したがって、例示的な実装形態は、方向に関して30度の広いビンサイズ、2倍のスケール、および位置に関して(予測されたスケールを使用して)最大予想トレーニング画像寸法の0.25倍を使用することができる。より大きなスケールで生成されたSIFTキーサンプルには、より小さなスケールのSIFTキーサンプルよりも2倍の重みを与えることができる。この手法を用いると、より大きなスケールは、事実上、より小さなスケールで検査するための可能性が最も高い近隣をフィルタリングすることができる。この手法は、最も雑音の低いスケールにより大きな重みを与えることによって認識性能も改善する。本開示の態様によれば、ビン割当ての境界効果の課題を回避するために、各キーポイント整合は各次元内の2個の近接ビンを決定して、各仮説に関して合計で16個の記入を与えて、ポーズ範囲をさらに広げることができる。
【０１０８】
本開示の態様によれば、所与のパラメータ解に関して、各画像特徴とモデルとの間の一致を検査することによって、異常値を除去することができる。たとえば、線形最小二乗解を考慮すると、各整合は、ハフ変換ビン内のパラメータに関して使用される誤差の半分の範囲内で一致することが必要とされ得る。異常値が廃棄されると、残りの点を用いて線形最小二乗解を解くことができ、このプロセスを反復することができる。いくつかの実装形態では、異常値を廃棄した後、所定数未満の点(たとえば、3個の点)が残る場合、整合は拒否され得る。加えて、トップダウン整合段階を使用して、相似変換近似値または他の誤差により、ハフ変換ビンから欠落している可能性がある、予測モデル位置に一致する任意のさらなる整合を追加することができる。
【０１０９】
モデル仮説を受け入れるか、または拒否する決定は、詳細な確率モデルに基づくことが可能である。この方法は、まず、モデルの予測されたサイズと、領域内の特徴の数と、整合の精度とを考慮して、モデルポーズに対して予想される誤整合の数を計算する。次いで、ベイズ確率解析は、見出された実際の整合特徴数に基づいて、そのオブジェクトが存在し得る確率を出すことが可能である。正確な解釈に関する最終的な確率が所定の割合(たとえば、95%)を超える場合、モデルを受け入れることができる。
【０１１０】
本開示の態様によれば、一手法では、クラッタ状況下または部分的な遮断状況下で対処するために、SIFTの回転不変量汎化(generalization)として、回転不変量特徴変換(RIFT:rotation  invariant  feature  transform)方法を用いることができる。等しい幅の同心リングに分割された円正規化パッチ(circular  normalized  patches)を使用して、RIFT記述子を構築することが可能であり、各リング内の勾配方向ヒストグラムを計算することが可能である。回転不変を維持するために、中心から外に向かう方向に対して各点における方向を測定することができる。
【０１１１】
別の手法では、正規化ロバスト不変特徴(G-RIF:generalized  robust  invariant  feature)方法を使用することができる。G-RIFは、知覚的情報を空間符号化と組み合わせる統一形式でエッジ方向、エッジ密度、および色相情報を符号化する。オブジェクト認識方式は、近接コンテキストベースの決定を使用して、オブジェクトモデルを推定する。
【０１１２】
さらに別の手法では、再現性、独自性、および頑強性に関して前に提案された方式をしのぐ可能性があるスケールおよび回転不変関心ポイント検出器(scale  and  rotation-invariant  interest  detector)/記述子を使用する高速化ロバスト特徴(SURF:speeded  up  robust  feature)方法を使用することができる。SURFは、計算時間を削減するための画像畳み込み用の積分画像に依存し、(検出器に関する高速ヘシアン行列ベースの測定と、配分ベースの記述子とを使用する)優れた既存の検出器および記述子の強度に基づく。SURF方法は、関心ポイント近隣内のハールウェーブレット応答の配分を記述する。速度に関して積分画像を使用することができ、64次元を使用して、特徴計算および整合に関する時間を削減することができる。索引付けステップは、記述子の整合速度および頑強性を高めるラプラシアンの信号に基づくことが可能である。
【０１１３】
さらに別の手法では、主成分分析SIFT(PCA-SIFT:principle  component  analysis  SIFT)方法を使用することができる。いくつかの実装形態では、PCA-SIFT記述子は、サポート領域内で計算されたxおよびy方向の画像勾配のベクトルである。勾配領域は、39×39位置でサンプリングされ得る。したがって、ベクトルは次元3042のものであり得る。PCAを用いて、次元を36に削減することができる。さらに別の手法では、そのロバスト性および独自性を高めるように設計されたSIFT記述子の拡張である勾配位置方向ヒストグラム(GLOH:Gradient  location-orientation  histogram)方法を用いることができる。いくつかの実装形態では、SIFT記述子は、(半径が6、11、および15に設定される)半径方向に3個のビンと、角度方向に8個のビンとを有し、結果として17個の位置ビンを有するログ極性(log-polar)位置グリッドに関して計算され得る。中央ビンは、角度方向に分割されなくてよい。勾配方向は、16個のビン内で量子化されて、結果として、272ビンヒストグラムをもたらし得る。PCAを用いて、この記述子のサイズを削減することができる。様々な画像から収集された画像パッチに関して、PCAに関する共分散行列を推定することができる。次いで、記述のために128個の最も大きな固有ベクトルを使用することができる。
【０１１４】
さらに別の手法では、現在のモバイルデバイス限界範囲内で、2オブジェクト認識アルゴリズム(two-object  recognition  algorithm)を使用するために用いることができる。典型的なSIFT手法とは対照的に、特徴検出のために、加速セグメントテストからの特徴(FAST:Features  from  Accelerated  Segment  Test)コーナー検出器を使用することができる。この手法は、特徴が異なるスケールレベルで作成され得るオフライン準備段階と、特徴が、モバイルデバイスのカメラの画像の現在の固定スケールレベルで作成され得るオンライン段階とを区別する。1つの例示的な実装形態では、特徴は、所定の固定パッチサイズ(たとえば、15×15画素)から作成されることが可能であり、36次元を有するSIFT記述子を形成する。認識パイプライン内にスケーラブルな語彙ツリー(scalable  vocabulary  tree)を統合することによって、この手法をさらに拡張することが可能である。これは、モバイルデバイス上の多数のオブジェクトの効率的な認識を可能にする。
【０１１５】
本開示の態様によれば、局所画像特徴の検出および記述は、オブジェクト認識に役立つ可能性がある。SIFT特徴は、局所的であり得、特定の関心ポイントにおけるオブジェクトの外観に基づくことが可能であり、画像のスケールおよび回転に対して不変であり得る。SIFT特徴は、やはり、照度、雑音の変化、および視野内の微小変化に対して頑強であり得る。これらの特性に加えて、これらの特徴は非常に特徴的であり得、抽出が比較的容易であり得、低い不整合確率で正確なオブジェクト識別を可能にし得る。これらの特徴は、局所特徴の(大型)データベースに対して比較的に容易に整合することができ、ベストビンファースト検索を用いたK次元(k-d)ツリーなど、一般に確率的なアルゴリズムを使用することができる。SIFT特徴のセットによるオブジェクト記述は、部分的な遮断に対しても頑強であり得る。たとえば、オブジェクトからわずか3個のSIFT特徴はその位置およびポーズを計算するのに十分であり得る。いくつかの実装形態では、認識は、小型データベースに関して、現代的なコンピュータハードウェア上で、疑似リアルタイムで実行され得る。
【０１１６】
本開示の態様によれば、カメラの視野内のオブジェクトを移動させることによってもたらされる異常値を除去するために、ランダムサンプルコンセンサス(RANSAC)技法を用いることができる。RANSCAは、異常値を含む、観測されたデータのセットから数学モデルのパラメータを推定するために反復方法を使用することに留意されたい。この方法は関連する確率を有する合理的な結果を生み出すため、この方法は非決定論的であり得、より多くの反復が実行されるにつれて、確率を高めることができる。
【０１１７】
1つの例示的な実装形態では、観測されたデータ値のセット、対応する信頼性パラメータを有する観測に適合し得るパラメータ化されたモデル。この例示的な実装形態では、この方法は、元のデータのランダムサブセットを反復的に選択する。これらのデータは、仮説的正常値であり得、この仮説は、次いで、次のようにテストされ得る。
1.モデルは仮説的正常値に適合し得、すなわち、モデルのすべての自由パラメータは正常値から再構築される。
2.次いで、適合モデルに対してすべての他のデータをテストすることができ、点が推定モデルに十分適合する場合、その点を仮説的に正常値であると見なすことができる。
3.十分な数の点が仮説的正常値として分類されている場合、推定モデルを許容可能と見なすことができる。
4.モデルは仮説的正常値の初期セットからだけ推定されているので、すべての仮説的正常値からモデルを再度推定することができる。
5.最終的に、モデルに対する正常値の誤差を推定することによって、モデルを評価することができる。
【０１１８】
上記の手順を所定回数繰り返し、毎回、あまりにも少ない点が正常値として分類されているので拒否され得るモデル、または対応する誤差測定とともに精緻化されたモデルのいずれかを生み出すことができる。後者の場合、誤差が前に保存されたモデルよりも低い場合、精緻化されたモデルを維持することができる。
【０１１９】
別の例示的な実装形態では、モデルベースの動き追跡方法を使用して、カメラの視野内の移動オブジェクトを積極的に識別および除去することができる。一手法では、追跡の対象は、モデル認識の問題として処理され得る。ターゲットの2進表現を追跡することができ、ハウスドルフ距離ベースの検索を使用して、対象物に関する画像の領域を検索することができる。ターゲット(モデル)の2進表現の場合、ガウス平滑化画像の標準キャニーエッジ(canny  edge)検出器からの出力は、モデル履歴の概念を用いて拡張され得る。各フレームで、現在の画像および現在のモデルからのキャニーエッジを使用して、各ターゲットに関してハウスドルフ検索を実行することができる。加えて、アフィン推定を実行して、正味背景運動を概算することができる。これらの2つの検索の結果から、ターゲットに関する情報を収集して、ターゲットの動きを概算するため、ならびに、ターゲットの領域内の動きから背景を分離するために、この情報を使用することができる。(オブジェクトが遮断されて影になる、オブジェクトがフレームを離れる、またはカメラ画像の歪みが不良な画像品質をもたらすなど)有害/異常状態に対処することを可能にするために、ターゲットの過去の動きおよびサイズ変更、ターゲットの特徴的視野(ターゲットが追跡されてきた様々な様式の正確な表現を実現する、時間を通じたスナップショット)、および過去の整合品質など、ターゲットに関する履歴データを保持することが可能である。
【０１２０】
ターゲットを追跡する履歴は、有害/異常状態を単に補助する以上に有用な可能性があり、固体運動追跡方法の一部は、フレームごとの動き比較方法だけでなく、履歴データを必要とする場合がある。この履歴状態は、何をターゲットの一部と見なすべきであるか(たとえば、同じ速度で移動するオブジェクトに近接して移動する物をオブジェクト内に組み込むべきであること)をどのように決定するかに関する情報を提供することができ、動きおよびサイズに関する情報を用いて、この方法は、失われた対象がどこに行ったか、またはその対象がどこに再現し得るかを予測的に推定することができる(これは、フレームを離れて、後の時点で再現するターゲットを回復する際に有用である)。
【０１２１】
動き追跡方法の本質的な課題は、(静的カメラとは対照的に)カメラは任意の動きを有する場合があり、これはカメラの動きの予測不可能な変化に対処し得る追跡システムの開発を困難にすることによってもたらされる場合がある。計算的に効率的なアフィン背景推定方式を使用して、カメラおよびシーンの動きに関する情報を提供することが可能である。
【０１２２】
本開示の態様によれば、画像に関するアフィン変換を、時間t+dtの画像に対して、時間tで実行することができ、これは、2つの画像内の動きを相関することを可能にする。この背景情報は、この方法が、時間tの画像から時間t+dtの画像を合成することと、正味シーン動作の近似であり得るアフィン変換とを可能にする。t+dtにおける実際の画像とt+dtにおける生成画像との差を利用して、ターゲットを取り巻く空間から画像特徴を除去することができるので、この合成画像は、新しいモデル情報を生成して、モデル空間から背景クラッタを除去する際に有用であり得る。
【０１２３】
検索空間を浄化するためのツールとしてアフィン変換を使用することに加えて、ターゲットの座標移動を正規化するためにこの合成画像を使用することも可能であり、背景がどのように移動し得るかを追跡するためのベクトルと、ターゲットがどのように移動し得るかを追跡するためのベクトルとを有することによって、2つのベクトルの差を利用して、背景に対するターゲットの動きを記述するベクトルを生成することができる。このベクトルは、この方法が、ターゲットがどこにいるべきかを予測的に整合し、有害状態を予期することを可能にする(たとえば、動きの方向を見越すことは、近づきつつある障害に関する手掛かりを提供すると同様に、有害状態の場合、オブジェクトがどこに存在し得るかを追跡することができる)。オブジェクトが有害状態に入ったとき、この方法は、背景運動を推定することが依然として可能であり、モデルの前の動きの知識とともにその推定を使用して、モデルがどこに再現する可能性があるか、またはフレームに再び入る可能性があるかを推測することができる。
【０１２４】
背景推定は、オブジェクトの長期的追跡における主な要因であり得る。背景推定なしに、短期的追跡を実行することが可能であるが、ある時間期間後には、背景の良好な推定なしに、オブジェクトの歪みおよび危険に効果的に対処するのは困難な場合があることに留意されたい。
【０１２５】
本開示の態様によれば、整合演算子としてハウスドルフ距離を使用することの利点のうちの1つは、ハウスドルフ距離は、整合の間、形状の変化に対して極めて耐性であり得ることであるが、整合演算子としてハウスドルフ距離を使用することは、追跡されているオブジェクトをより正確に定義することを必要とする場合がある。
【０１２６】
一手法では、時間t+1画像から新しいモデルを捕える直線膨張(straight  dilation)ベースの方法を使用することができる。(発生することが非常に多い)オブジェクトに近接する非オブジェクト特徴が存在し得る、いくつかの状況では、膨張方法はシーン全体をモデル内にゆっくりと組み込むことが可能であるので、この方法は効果的でない場合があることに留意されたい。したがって、モデル形状の変化に対して耐性があり得る、フレームごとにモデルを更新するが、あまり緩やか(relaxed)ではなく、そのため、非モデル画素のモデル内への組込みを採用することができる。1つの例示的な実装形態は、背景除去と、現在のモデル整合窓に前のモデルを追加して、安定した画素と思われるもの、ならびに、安定していない可能性があるので、経時的にモデルから排除される可能性、またはモデル内に組み込まれる可能性のいずれかがある、それらの画素を取り巻く新しい画素の利用との組合せを使用することである。この手法は、画像内のクラッタからモデルを比較的清浄に保つ際に効果的であり得る。たとえば、この手法を用いると、トラックに近接する道路はもはや画素ごとにモデル内に引き込まれない。モデルは膨張しているように見える場合があるが、これはそれらのモデルがどのように構築されているかの履歴的な影響の結果である場合があるが、この方法は、場合によっては、次のフレーム内で整合するより多くのモデル画素を有し得るので、検索結果をより明確にする特徴も有し得ることに留意されたい。
【０１２７】
各フレームにおいて、実行されるべきかなりの量の計算が存在し得ることに留意されたい。いくつかの実装形態によれば、モバイルデバイスは、各ターゲットの平滑化/特徴抽出、ハウスドルフ整合(たとえば、モデルごとに1つの整合)、ならびに、アフィン背景推定を実行するように構成され得る。これらの動作の各々は、個々に、非常に計算的に高価であり得る。モバイルデバイス上でリアルタイム性能を達成するために、設計は、可能な限り並行処理を使用するように構成され得る。
【０１２８】
少なくとも段落[00148]〜[00150]、図1〜図2、図17〜図20、およびそれらの対応する説明は、少なくとも1つのオブジェクトの選択を受信するための手段と、カメラが捕捉した複数の画像内の少なくとも1つのオブジェクトを追跡するための手段と、追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号をデバイスから実オブジェクトに送信させるための手段とを提供することに留意されたい。
【０１２９】
本明細書において説明される方法論およびモバイルデバイスは、アプリケーションに応じて種々の手段によって実施することができる。たとえば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実施され得る。ハードウェアの実施態様の場合、処理ユニットは、本明細書で説明される機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実現することができる。本明細書では、「制御論理回路」という用語は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せによって実装された論理回路を包含する。
【０１３０】
ファームウェアおよび/またはソフトウェアの実施態様の場合、それらの方法論は、本明細書において説明される機能を実行するモジュール(たとえば、手順、関数など)によって実施することができる。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明される方法論の実施において使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され、処理ユニットによって実行され得る。メモリは、処理ユニット内に実装され、または処理ユニットの外部に実装される可能性がある。本明細書において用いられるときに、「メモリ」という用語は、長期、短期、揮発性、不揮発性、または他の記憶デバイスのいずれかのタイプを指しており、任意の特定のタイプのメモリもしくはメモリの数には限定されず、あるいはメモリが格納される媒体のタイプに関して限定されない。
【０１３１】
ファームウェアおよび/またはソフトウェアに実装される場合、機能は、コンピュータ可読媒体に1つまたは複数の命令またはコードとして記憶され得る。例は、データ構造によって符号化されたコンピュータ可読媒体およびコンピュータプログラムによって符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は製造物品の形態をとり得る。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体である可能性がある。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するために使用され、コンピュータによってアクセスされ得る任意の他の媒体を含むことができ、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０１３２】
コンピュータ可読媒体に記憶するのに加えて、命令および/またはデータは、通信装置に含まれる伝送媒体上の信号として与えられ得る。たとえば、通信装置は、命令およびデータを示す信号を有するトランシーバを含み得る。命令およびデータは、少なくとも1つのプロセッサに特許請求の範囲において概説する機能を実施させるように構成される。すなわち、通信装置は、開示する機能を実行するための情報を示す信号を有する伝送媒体を含む。第1の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第1の部分を含んでよく、一方、第2の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第2の部分を含んでよい。
【０１３３】
本開示は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などの、種々のワイヤレス通信ネットワークとともに実現することができる。「ネットワーク」および「システム」という用語は、しばしば互換的に使用される。「位置」および「場所」という用語は、しばしば互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE:Long  Term  Evolution)ネットワーク、WiMAX(IEEE802.16)ネットワークなどとすることができる。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95規格、IS-2000規格、およびIS-856規格を含む。TDMAネットワークは、Global  System  for  Mobile  Communications(GSM(登録商標))、Digital  Advanced  Mobile  Phone  System(D-AMPS)、または何らかの他のRATを実装することができる。GSM(登録商標)およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記述される。3GPPおよび3GPP2の文書は、公的に入手可能である。WLANは、IEEE802.11xネットワークであり得、またWPANはBluetooth(登録商標)ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークであり得る。また、本技法は、WWAN、WLAN、および/またはWPANの任意の組合せとともに実施することができる。
【０１３４】
移動局は、セルラー通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくはナビゲーション信号を受信することができる他の適切なモバイルデバイスなどのデバイスを指している。「移動局」という用語はまた、短距離ワイヤレス接続、赤外線接続、ワイヤライン接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、またはPNDにおいて行われるかにかかわらず含むことが意図される。また、「移動局」は、インターネット、Wi-Fi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むことが意図される。上記の任意の動作可能な組合せも「移動局」と見なされる。
【０１３５】
何かが「最適化される」、「必要とされる」という指摘または他の指摘は、最適化されるシステム、または「必要とされる」要素が存在するシステムのみに本開示が適用されること(または他の指摘に起因する他の制限)を示すものではない。これらの表現は、特定の説明された実装形態のみを指す。当然、多くの実装形態が可能である。本技法は、開発中であるか今後開発されるプロトコルを含む、本明細書で論じるプロトコル以外のプロトコルで使用できる。
【０１３６】
同じ基本的な根底をなす機構および方法を依然として使用しながら、開示される実施形態の多くの可能な変更および組合せを使用できることを、当業者は認識されよう。上記の説明は、説明の目的で、特定の実施形態に関して書かれている。しかしながら、上で示した論述は網羅的なものでも、あるいは本開示を開示された厳密な形態に限定しようとするものでもない。多くの修正および変形が、上記の教示に鑑みて可能である。本開示の原理およびその実際の適用について説明するために、また、企図される特定の用途に合わせて様々な修正を加えて本開示および様々な実施形態を他の当業者が最善の形で利用できるように、実施形態が選択され、説明されている。
【符号の説明】
【０１３７】
12  背景、参照背景、床、参照床、家庭用品、雑誌
14  拡張現実対応デバイス(ARD)
16  拡張コンテンツ、拡張
20  音声
21  有形オブジェクト、Bernie、オブジェクト
22  浴槽
24  TV
25  犬
27  トイレ
28  電話ボックス
29  家庭用品、コーラ缶
31  拡張仮想キャラクター、拡張Bernie
32  拡張浴槽
33  泡
34  仮想TV、TV、拡張TV、拡張オブジェクト
35  拡張犬
37  拡張トイレ
38  拡張電話ボックス
100  拡張
101  ハウジング
108  カメラ
109  センサ
110  ユーザインターフェース
112  ディスプレイ
114  キーパッド
116  マイクロフォン
118  スピーカ
120  制御ユニット
122  プロセッサ
124  メモリ/記憶装置
126  ソフトウェア
128  ハードウェア
130  ファームウェア
132  追跡ユニット
134  拡張現実ユーザインターフェースユニット
【図１】
2015532739.tif 000003
【図２】
2015532739.tif 000004
【図３】
2015532739.tif 000005
【図４】
2015532739.tif 000006
【図５】
2015532739.tif 000007
【図６】
2015532739.tif 000008
【図７】
2015532739.tif 000009
【図８】
2015532739.tif 000010
【図９】
2015532739.tif 000011
【図１０】
2015532739.tif 000012
【図１１】
2015532739.tif 000013
【図１２】
2015532739.tif 000014
【図１３】
2015532739.tif 000015
【図１４】
2015532739.tif 000016
【図１５】
2015532739.tif 000017
【図１６】
2015532739.tif 000018
【図１７】
2015532739.tif 000019
【図１８】
2015532739.tif 000020
【図１９Ａ】
2015532739.tif 000021
【図１９Ｂ】
2015532739.tif 000022
【図１９Ｃ】
2015532739.tif 000023
【図１９Ｄ】
2015532739.tif 000024
【図２０】
2015532739.tif 000025
【手続補正書】
【提出日】平成26年5月24日(2014.5.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラを有するデバイスを使用して実オブジェクトを制御する方法であって、
少なくとも1つのオブジェクトの選択を受信するステップと、
前記カメラが捕捉した複数の画像内の前記少なくとも1つのオブジェクトを追跡するステップと、
追跡する前記ステップに少なくとも一部基づいて、マシンインターフェースを介して、制御信号を前記デバイスから前記実オブジェクトに送信させるステップと
を含み、
前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトが、別々のオブジェクトを含み、前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトの各々が物理オブジェクトである方法。
【請求項２】
追跡する前記ステップが、
前記デバイスに対する前記少なくとも1つのオブジェクトの相対的なポーズを判断するステップと、
前記相対的なポーズを使用して、前記少なくとも1つのオブジェクトの状態を更新するステップと
を含む3次元追跡を実行するステップを含む、請求項1に記載の方法。
【請求項３】
相対的なポーズを判断する前記ステップが、
前記少なくとも1つのオブジェクトの前に捕捉された画像に対する前記少なくとも1つのオブジェクトの前記相対的なポーズを検出するステップを含む、請求項2に記載の方法。
【請求項４】
受信する前記ステップが、
前記少なくとも1つのオブジェクトのクローズアップ視野を取得するためのズームインを識別するステップを含む、請求項1に記載の方法。
【請求項５】
受信する前記ステップが、
前記少なくとも1つのオブジェクトが前記デイバスの中央スクリーンに配置されていることを判断するステップを含む、請求項1に記載の方法。
【請求項６】
前記実オブジェクトが、前記少なくとも1つのオブジェクトを含み、制御信号を送信させる前記ステップが、
前記少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングするステップと、
ユーザ定義の制御機構を前記デバイスのディスプレイ上に提供するステップと
を含む、請求項1に記載の方法。
【請求項７】
制御信号を送信させる前記ステップが、
前記デバイスの動きを使用して、前記制御機構の動作をエミュレートするステップをさらに含む、請求項6に記載の方法。
【請求項８】
前記マシンインターフェースが、
Bluetooth(登録商標)、
Wi-Fi、または
IR
のうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項９】
前記複数の画像のうちの少なくとも1つの画像が、前記デバイスのタッチスクリーン上に表示され、少なくとも1つのオブジェクトの選択を受信する前記ステップが、ユーザ入力に関する情報を、前記少なくとも1つのオブジェクトを識別する前記タッチスクリーン上で受信するステップを含む、請求項1に記載の方法。
【請求項１０】
前記デバイスの視野内のラジオを追跡するステップと、
前記ラジオが奏でる歌の拡張を提供するステップと、
前記ラジオが流れているという判断に基づいて、前記歌の音量を調整するステップと
をさらに含む、請求項1に記載の方法。
【請求項１１】
前記デバイスの視野内のテレビジョンを追跡するステップと、
オブジェクトが前記テレビジョンの近くに配置されていることを判断するステップと、
前記オブジェクトが前記テレビジョンの近くに配置されていることに基づいて、前記テレビジョン上で再生しているビデオの拡張をトリガするステップと
をさらに含む、請求項1に記載の方法。
【請求項１２】
制御信号を送信させる前記方法が、前記少なくとも1つのオブジェクトが回転していることを判断するステップであって、前記制御信号が前記実オブジェクトにチャネルを変更するように、または音量を変更するように命令する信号を含む、判断するステップを含む請求項1に記載の方法。
【請求項１３】
実オブジェクトを制御するためのデバイスであって、
カメラと、
処理論理を含む制御ユニットとを備え、前記処理論理が、
少なくとも1つのオブジェクトの選択を受信するように構成された論理と、
前記カメラが捕捉した複数の画像内の前記少なくとも1つのオブジェクトを追跡するように構成された論理と、
前記追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号を前記デバイスから前記実オブジェクトに送信させるように構成された論理と
を含み、
前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトが別々のオブジェクトを含み、前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトの各々が物理オブジェクトであるデバイス。
【請求項１４】
前記少なくとも1つのオブジェクトを追跡するように構成された前記論理が、
前記デバイスに対する前記少なくとも1つのオブジェクトの相対的なポーズを判断するように構成された論理と、
前記相対的なポーズを使用して、前記少なくとも1つのオブジェクトの状態を更新するように構成された論理と
を含む3次元追跡を実行することを含む、請求項13に記載のデバイス。
【請求項１５】
相対的なポーズを判断するように構成された前記論理が、
前記少なくとも1つのオブジェクトの前に捕捉された画像に対する前記少なくとも1つのオブジェクトの前記相対的なポーズを検出するように構成された論理を含む、請求項14に記載のデバイス。
【請求項１６】
前記選択を受信するように構成された前記論理が、
前記少なくとも1つのオブジェクトのクローズアップ視野を取得するためのズームインを識別するように構成された論理を含む、請求項14に記載のデバイス。
【請求項１７】
前記選択を受信するように構成された前記論理が、
前記少なくとも1つのオブジェクトが前記デイバスの中央スクリーンに配置されていることを判断するように構成された論理を含む、請求項13に記載のデバイス。
【請求項１８】
前記実オブジェクトが、前記少なくとも1つのオブジェクトを含み、制御信号を送信させるように構成された前記論理が、
前記少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングするように構成された論理と、
ユーザ定義の制御機構を前記デバイスのディスプレイ上に提供するように構成された論理と
を含む、請求項13に記載のデバイス。
【請求項１９】
制御信号を送信させるように構成された前記論理が、
前記デバイスの動きを使用して、前記制御機構の動作をエミュレートするように構成された論理をさらに含む、請求項18に記載のデバイス。
【請求項２０】
前記マシンインターフェースが、
Bluetooth(登録商標)、
Wi-Fi、または
IR
のうちの少なくとも1つを含む、請求項13に記載のデバイス。
【請求項２１】
前記複数の画像のうちの少なくとも1つの画像が、前記デバイスのタッチスクリーン上に表示され、少なくとも1つのオブジェクトの選択を受信するように構成された前記論理が、ユーザ入力に関する情報を、前記少なくとも1つのオブジェクトを識別する前記タッチスクリーン上で受信するように構成された論理を含む、請求項13に記載のデバイス。
【請求項２２】
前記デバイスの視野内のラジオを追跡するように構成された論理と、
前記ラジオが奏でる歌の拡張を提供するように構成された論理と、
前記ラジオが流れているという判断に基づいて、前記歌の音量を調整するように構成された論理と
をさらに含む、請求項13に記載のデバイス。
【請求項２３】
前記デバイスの視野内のテレビジョンを追跡するように構成された論理と、
オブジェクトが前記テレビジョンの近くに配置されていることを判断するように構成された論理と、
前記オブジェクトが前記テレビジョンの近くに配置されていることに基づいて、前記テレビジョン上で再生しているビデオの拡張をトリガするように構成された論理と
をさらに含む、請求項13に記載のデバイス。
【請求項２４】
制御信号を送信させるように構成された前記論理が、前記少なくとも1つのオブジェクトが回転していることを判断することであって、前記制御信号が前記実オブジェクトにチャネルを変更するように、または音量を変更するように命令する信号を含む、判断することを行うように構成された論理を含む請求項13に記載のデバイス。
【請求項２５】
1つまたは複数のコンピュータシステムによって実行するための命令を記憶する非一時的媒体であって、前記命令が、
カメラを有するデバイスにおいて少なくとも1つのオブジェクトの選択を受信するための命令と、
前記カメラが捕捉した複数の画像内の前記少なくとも1つのオブジェクトを追跡するための命令と、
前記追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号を前記デバイスから前記実オブジェクトに送信させるための命令と
を含み、
前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトが別々のオブジェクトを含み、前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトの各々が物理オブジェクトである非一時的媒体。
【請求項２６】
カメラを有するデバイスを使用して実オブジェクトを制御するためのシステムであって、
少なくとも1つのオブジェクトの選択を受信するための手段と、
前記カメラが捕捉した複数の画像内の前記少なくとも1つのオブジェクトを追跡するための手段と、
前記追跡に少なくとも一部基づいて、マシンインターフェースを介して、制御信号を前記デバイスから前記実オブジェクトに送信させるための手段と
を含み、
前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトが別々のオブジェクトを含み、前記実オブジェクト、前記デバイス、および前記少なくとも1つのオブジェクトの各々が物理オブジェクトであるシステム。
【請求項２７】
追跡するための前記手段が、
前記デバイスに対する前記少なくとも1つのオブジェクトの相対的なポーズを判断するための手段と、
前記相対的なポーズを使用して、前記少なくとも1つのオブジェクトの状態を更新するための手段と
を含む3次元追跡を実行するための手段を含む、請求項26に記載のシステム。
【請求項２８】
相対的なポーズを判断するための前記手段が、
前記少なくとも1つのオブジェクトの前に捕捉された画像に対する前記少なくとも1つのオブジェクトの前記相対的なポーズを検出するための手段を含む、請求項27に記載のシステム。
【請求項２９】
受信するための前記手段が、
前記少なくとも1つのオブジェクトのクローズアップ視野を取得するためのズームインを識別するための手段を含む、請求項26に記載のシステム。
【請求項３０】
受信するための前記手段が、
前記少なくとも1つのオブジェクトが前記デイバスの中央スクリーンに配置されていることを判断するための手段を含む、請求項26に記載のシステム。
【請求項３１】
前記実オブジェクトが、前記少なくとも1つのオブジェクトを含み、制御信号を送信させるための前記手段が、
前記少なくとも1つのオブジェクトに関する制御機構の拡張をレンダリングするための手段と、
ユーザ定義の制御機構を前記デバイスのディスプレイ上に提供するための手段と
を含む、請求項26に記載のシステム。
【請求項３２】
制御信号を送信させるための前記手段が、
前記デバイスの動きを使用して、前記制御機構の動作をエミュレートするための手段をさらに含む、請求項31に記載のシステム。
【請求項３３】
前記マシンインターフェースが、
Bluetooth(登録商標)、
Wi-Fi、または
IR
のうちの少なくとも1つを含む、請求項26に記載のシステム。
【請求項３４】
前記複数の画像のうちの少なくとも1つの画像が、前記デバイスのタッチスクリーン上に表示され、少なくとも1つのオブジェクトの選択を受信するための前記手段が、ユーザ入力に関する情報を、前記少なくとも1つのオブジェクトを識別する前記タッチスクリーン上で受信するための手段を含む、請求項26に記載のシステム。
【請求項３５】
前記デバイスの視野内のラジオを追跡するための手段と、
前記ラジオが奏でる歌の拡張を提供するための手段と、
前記ラジオが流れているという判断に基づいて、前記歌の音量を調整するための手段と
をさらに含む、請求項26に記載のシステム。
【請求項３６】
前記デバイスの視野内のテレビジョンを追跡するための手段と、
オブジェクトが前記テレビジョンの近くに配置されていることを判断するための手段と、
前記オブジェクトが前記テレビジョンの近くに配置されていることに基づいて、前記テレビジョン上で再生しているビデオの拡張をトリガするための手段と
をさらに含む、請求項26に記載のシステム。
【請求項３７】
制御信号を送信させるための手段が、前記少なくとも1つのオブジェクトが回転していることを判断する手段であって、前記制御信号が前記実オブジェクトにチャネルを変更するように、または音量を変更するように命令する信号を含む、判断する手段を含む請求項26に記載のシステム。
【国際調査報告】
2015532739.tif 000026
2015532739.tif 000027
2015532739.tif 000028