(57)【特許請求の範囲】
【請求項１】
コンピュータビジョンの応用例を強化する方法であって、
機器に結合されたカメラにより取得される、ユーザの指で生成された少なくとも1つの事前定義されたジェスチャを電子的に検出するステップと、
前記少なくとも1つの事前定義されたジェスチャが、前記機器によって表示される視野内の物体を、指の表現を使用して指す動作であると決定するステップと、
ユーザの指の動きおよび動きの方向を追跡するステップと、
表示装置上の前記指の表現の形状を、前記表示装置によって表示される前記視野内にさらに細く伸長させ、かつ先端を尖らせて、前記指す動作のためにユーザの指の到達範囲を前記視野内にさらに拡大するステップと
を含み、
前記表示装置上の前記指の表現の形状を前記視野内にさらに細く伸長させ、かつ先端を尖らせる特定の方向への動きは、前記特定の方向へのユーザの指の前記動きと直接比例する、方法。
【請求項２】
前記機器は、前記カメラの視野内でユーザの指により生成される前記事前定義されたジェスチャを検出し、前記カメラは後ろ向きカメラである、請求項1に記載の方法。
【請求項３】
前記機器は、前記カメラの視野内でユーザの指により生成される前記事前定義されたジェスチャを検出し、前記カメラは前向きカメラである、請求項1に記載の方法。
【請求項４】
前記少なくとも1つの事前定義されたジェスチャは第1のジェスチャおよび第2のジェスチャを含み、前記第1のジェスチャを検出すると、前記機器は、前記指の表現の形状を変えることが可能なモードをアクティブにし、前記第2のジェスチャを検出すると、前記機器は、前記表示装置に表示された前記指の表現の形状を変える、請求項1に記載の方法。
【請求項５】
前記機器に結合された前記表示装置上の前記少なくとも1つの事前定義されたジェスチャで選択された仮想物体を表示するステップをさらに含む、請求項1に記載の方法。
【請求項６】
前記機器は、手持ち型機器、ビデオゲーム機、タブレット、スマートフォン、オートフォーカスカメラ、携帯情報端末、およびモバイル機器、のうちの1つである、請求項1に記載の方法。
【請求項７】
プロセッサと、
前記プロセッサに結合されたカメラと、
前記プロセッサに結合された表示装置と、
前記プロセッサに結合された持続性のコンピュータ可読記憶媒体であって、
機器に結合された前記カメラにより取得される、ユーザの指で生成された少なくとも1つの事前定義されたジェスチャを電子的に検出する手順と、
前記少なくとも1つの事前定義されたジェスチャが、前記機器によって表示される視野内の物体を、指の表現を使用して指す動作であると決定する手順と、
ユーザの指の動きおよび動きの方向を追跡する手順と、
前記表示装置上の前記指の表現の形状を、前記表示装置によって表示される前記視野内にさらに細く伸長させて、かつ先端を尖らせて、前記指す動作のためにユーザの指の到達範囲を前記視野内にさらに拡大する手順と
を実行するために前記プロセッサにより実行可能なコードを含むコンピュータ可読記憶媒体と
を備え、
前記表示装置上の前記指の表現の形状を前記視野内にさらに細く伸長させ、かつ先端を尖らせる特定の方向への動きは、前記特定の方向へのユーザの指の前記動きと直接比例する、機器。
【請求項８】
前記少なくとも1つの事前定義されたジェスチャは第1のジェスチャおよび第2のジェスチャを含み、前記第1のジェスチャを検出すると、前記機器は、前記指の表現の形状を変えることが可能なモードをアクティブにし、前記第2のジェスチャを検出すると、前記機器は、前記表示装置に表示された前記指の表現の形状を変える、請求項7に記載の機器。
【請求項９】
前記コンピュータ可読記憶媒体は、前記機器に結合された前記表示装置上の前記少なくとも1つの事前定義されたジェスチャで選択された仮想物体を表示する手順を実行するために前記プロセッサにより実行可能なコードをさらに含む、請求項7に記載の機器。
【請求項１０】
プロセッサに結合された持続性のコンピュータ可読記憶媒体であって、
機器に結合されたカメラにより取得される、ユーザの指で生成された少なくとも1つの事前定義されたジェスチャを電子的に検出する手順と、
前記少なくとも1つの事前定義されたジェスチャが、前記機器によって表示される視野内の物体を、指の表現を使用して指す動作であると決定する手順と、
ユーザの指の動きおよび動きの方向を追跡する手順と、
表示装置上の前記指の表現の形状を、前記表示装置によって表示される前記視野内にさらに細く伸長させ、かつ先端を尖らせて、前記指す動作のためにユーザの指の到達範囲を前記視野内にさらに拡大する手順と
を実行するために前記プロセッサにより実行可能なコンピュータプログラムを含み、
前記表示装置上の前記指の表現の形状を前記視野内にさらに細く伸長させ、かつ先端を尖らせる特定の方向への動きは、前記特定の方向へのユーザの指の前記動きと直接比例する、コンピュータ可読記憶媒体。
【請求項１１】
前記少なくとも1つの事前定義されたジェスチャは第1のジェスチャおよび第2のジェスチャを含み、前記第1のジェスチャを検出すると、前記機器は、前記指の表現の形状を変えることが可能なモードをアクティブにし、前記第2のジェスチャを検出すると、前記機器は、前記表示装置に表示された前記指の表現の形状を変える、請求項10に記載のコンピュータ可読記憶媒体。
【請求項１２】
前記機器に結合された前記表示装置上の前記少なくとも1つの事前定義されたジェスチャで選択された仮想物体を表示する手順を実行するために前記プロセッサにより実行可能なコンピュータプログラムをさらに含む、請求項10に記載のコンピュータ可読記憶媒体。
【請求項１３】
コンピュータビジョンを強化する方法を行う装置であって、
機器に結合されたカメラにより取得される、ユーザの指で生成された少なくとも1つの事前定義されたジェスチャを電子的に検出する手段と、
前記少なくとも1つの事前定義されたジェスチャが、前記機器によって表示される視野内の物体を、指の表現を使用して指す動作であると決定する手段と、
ユーザの指の動きおよび動きの方向を追跡する手段と、
表示装置上の前記指の表現の形状を、前記表示装置によって表示される前記視野内にさらに細く伸長させ、かつ先端を尖らせて、前記指す動作のためにユーザの指の到達範囲を前記視野内にさらに拡大する手段と
を備え、
前記表示装置上の前記指の表現の形状を前記視野内にさらに細く伸長させ、かつ先端を尖らせる特定の方向への動きは、前記特定の方向へのユーザの指の前記動きと直接比例する、装置。
【請求項１４】
前記少なくとも1つの事前定義されたジェスチャは第1のジェスチャおよび第2のジェスチャを含み、前記第1のジェスチャを検出すると、前記機器は、前記指の表現の形状を変えることが可能なモードをアクティブにする手段を提供し、前記第2のジェスチャを検出すると、前記機器は、前記表示装置に表示された前記指の表現の形状を変える手段を提供する、請求項13に記載の装置。
【請求項１５】
前記機器に結合された前記表示装置上の前記少なくとも1つの事前定義されたジェスチャで選択された仮想物体を表示する手段をさらに含む、請求項13に記載の装置。
【請求項１６】
前記表示装置によって表示される前記視野をさらに拡大表示して、前記指す動作のためにユーザの指の到達範囲を前記視野内にさらに拡大するステップをさらに含み、
前記視野をさらに拡大表示する特定の方向への動きは、前記特定の方向へのユーザの指の前記動きと直接比例する、請求項1に記載の方法。
【請求項１７】
前記表示装置上の前記指の表現の形状を前記視野内にさらに細く伸長させ、かつ先端を尖らせる特定の方向への動きは、前記特定の方向へのユーザの指の前記動きの加速度と直接比例する、請求項1に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータビジョンの応用例（applications）で対話の範囲を拡大するジェスチャ制御による技術に関する。
関連出願の相互参照
本出願は、2011年6月21日に出願された米国仮出願第61/499,645号、名称「Gesture-Controlled Technique to Expand Interaction Radius in Computer Vision Applications」に対する優先権を主張する、2012年4月27日に出願された米国特許出願第13/457,840号、名称「Gesture-Controlled Technique to Expand Interaction Radius in Computer Vision Applications」に対する優先権を主張し、同米国特許出願は参照により本明細書に組み込まれる。
【背景技術】
【０００２】
コンピュータビジョンは、機器がその周辺環境を知覚することを可能にする。コンピュータビジョンは、表示装置にユーザの周辺の現実世界を増強させることにより、拡張現実の応用を可能にする。タブレット、スマートフォン、ビデオゲーム機、携帯情報端末、オートフォーカス(point-and-shoot)カメラ、およびモバイル機器のような現在の手持ち型機器は、カメラで感覚的入力を捕捉させることにより、いくつかの形態のコンピュータビジョンを可能にすることができる。これらの手持ち型機器では、ユーザが機器と対話するための有効な領域がユーザの腕の長さで制限される。ユーザと現実世界との対話がそのように幾何学的に制限されているために、結果として手持ち型機器によって容易になる現実世界と拡張世界の物体とユーザが対話する能力が制限される。したがって、ユーザは、手持ち型機器の画面上での対話、またはユーザの腕の長さで制限される狭い範囲に制約される。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ユーザと機器との対話の空間的制約は、手持ち型機器を片方の手でユーザの視界内に置くことが必要とされる拡張現実の場合に大きくなる。もう一方のふさがっていない手を使用して機器または現実世界と対話することができる。ユーザが対話する空間の幾何学的制限は、手持ち型機器を保持しているユーザの腕の長さ、およびユーザが快適に表示装置を見られるユーザと手持ち型機器との間の最大距離に制限される。
【０００４】
手持ち型機器で生じる別の問題は、指を使用して機器のタッチ画面と対話することにより達成されるコントロールの粒度の制限である。さらに、技術の進歩に伴い、画面の解像度が急速に向上しており、その結果機器が表示できる情報量が増している。画面の解像度が向上した結果、ユーザがより細かい精度で機器と正確に対話することが難しくなっている。この問題を緩和するのを助けるために、一部の機器製造者は、ユーザがより細かい粒度でコントロールすることができるワンド(wand)を提供している。しかし、手持ち型機器を操作するためにさらに別の物品を持ち歩き、保護し、取り出すことは、そうしたワンドが市場で受け入れられる際の大きな障壁となっている。
【課題を解決するための手段】
【０００５】
カメラの前でジェスチャを使用してカメラの視野内における現実世界との活動の範囲を拡大して、ユーザがより細かい粒度で現実世界および拡張世界の中にさらに入り込み、対話できるようにする技術が提供される。
【０００６】
例えば、現実世界の活動の範囲の拡大は、カメラの視野内で行われる手または指のジェスチャによりトリガされる。そのジェスチャが認識され、結果として、手または指が視覚的に拡大されて機器の表示装置に提示される視野内に深く入り込む。そして、拡大された身体の末端部を使用して現実世界および拡張世界内でより遠くにある物体と対話することができる。
【０００７】
ユーザによる少なくとも1つの事前定義されたジェスチャを伴うコンピュータビジョンの応用例を強化する方法の一例は、機器に結合されたカメラにより取得される、ユーザの末端部で生成された少なくとも1つの事前定義されたジェスチャを電子的に検出するステップと、少なくとも1つの事前定義されたジェスチャを検出するのに応答して、機器に結合された表示装置上で視覚的キューの形状を変えるステップと、ユーザの末端部の動きを検出するのに応答して、表示装置に表示された視覚的キューを更新するステップと含むことができる。機器は、手持ち型機器、ビデオゲーム機、タブレット、スマートフォン、オートフォーカスカメラ、携帯情報端末、およびモバイル機器、の1つとすることができる。一態様では、視覚的キューはユーザの末端部の表現を含み、視覚的キューの形状を変えるステップは、表示装置上の視覚的キューを、表示装置に提示される視野内にさらに拡大するステップを含む。別の態様では、視覚的キューの形状を変えるステップは、表示装置に提示されるユーザの末端部の表現の先端を細くするステップを含む。
【０００８】
例示的な状況の1つでは、機器は、後ろ向きカメラの視野内でユーザの末端部により生成された事前定義されたジェスチャを検出する。別の例示的状況では、機器は、前向きカメラの視野内でユーザの末端部により生成された事前定義されたジェスチャを検出する。
【０００９】
一部の実施では、少なくとも1つの事前定義されたジェスチャは第1のジェスチャおよび第2のジェスチャを含み、第1のジェスチャを検出すると、機器は、視覚的キューの形状を変えることが可能なモードをアクティブにし、第2のジェスチャを検出すると、機器は、表示装置に表示された視覚的キューの形状を変える。一実施形態では、視覚的キューは、機器に結合された表示装置に表示されるユーザの末端部の拡大の表現を含むことができる。別の実施形態では、視覚的キューは、少なくとも1つの事前定義されたジェスチャで選択され、機器に結合された表示装置に表示された仮想物体を含むことができる。表示装置上で視覚的キューを拡大するステップは、ユーザの末端部の動きの動きおよび方向を追跡するステップと、ユーザの末端部の動きの方向に表示装置上で視覚的キューを拡大するステップであって、機器の表示装置上に表現される視覚的キューを特定の方向に拡大するステップは、その方向におけるユーザの末端部の動きと直接比例する、ステップとを含むことができる。
【００１０】
システムを実施する例示的機器は、プロセッサと、プロセッサに結合されたカメラと、プロセッサに結合された表示装置と、プロセッサに結合された持続性のコンピュータ可読記憶媒体であって、機器に結合されたカメラにより取得される、ユーザの末端部で生成された少なくとも1つの事前定義されたジェスチャを電子的に検出するステップ、少なくとも1つの事前定義されたジェスチャを検出するのに応答して、機器に結合された表示装置上で視覚的キューの形状を変えるステップ、および、ユーザの末端部の動きを検出するのに応答して、表示装置に表示された視覚的キューを更新するステップを含む方法を実施するためにプロセッサにより実行可能なコードを含むコンピュータ可読記憶媒体とを備える。
【００１１】
機器は、手持ち型機器、ビデオゲーム機、タブレット、スマートフォン、オートフォーカスカメラ、携帯情報端末、およびモバイル機器、の1つとすることができる。一態様では、視覚的キューはユーザの末端部の表現を含み、視覚的キューの形状を変えるステップは、表示装置上の視覚的キューを、表示装置に提示される視野内にさらに拡大するステップを含む。別の態様では、視覚的キューの形状を変えるステップは、表示装置に提示されるユーザの末端部の表現の先端を細くするステップを含む。
【００１２】
例示的な状況の1つでは、機器は、後ろ向きカメラの視野内でユーザの末端部により生成された事前定義されたジェスチャを検出する。別の例示的状況では、機器は、前向きカメラの視野内でユーザの末端部により生成された事前定義されたジェスチャを検出する。一部の実施では、少なくとも1つの事前定義されたジェスチャは第1のジェスチャおよび第2のジェスチャを含み、第1のジェスチャを検出すると、機器は、視覚的キューの形状を変えることが可能なモードをアクティブにし、第2のジェスチャを検出すると、機器は、表示装置に表示された視覚的キューの形状を変える。
【００１３】
上記のような機器の実装は、以下の特徴の1つまたは複数を含むことができる。一実施形態では、視覚的キューは、機器に結合された表示装置に表示されるユーザの末端部の拡大の表現を含むことができる。別の実施形態では、視覚的キューは、少なくとも1つの事前定義されたジェスチャで選択され、機器に結合された表示装置に表示された仮想物体を含むことができる。表示装置上で視覚的キューを拡大するステップは、ユーザの末端部の動きの動きおよび方向を追跡するステップと、ユーザの末端部の動きの方向に表示装置上で視覚的キューを拡大するステップであって、機器の表示装置上に表現される視覚的キューを特定の方向に拡大するステップは、その方向におけるユーザの末端部の動きと直接比例する、ステップとを含むことができる。
【００１４】
例示的なプロセッサに結合された持続性のコンピュータ可読記憶媒体は、機器に結合されたカメラにより取得される、ユーザの末端部で生成された少なくとも1つの事前定義されたジェスチャを電子的に検出するステップ、少なくとも1つの事前定義されたジェスチャを検出するのに応答して、機器に結合された表示装置上で視覚的キューの形状を変えるステップ、および、ユーザの末端部の動きを検出するのに応答して、表示装置に表示された視覚的キューを更新するステップを含む方法を実施するためにプロセッサにより実行可能なコードを含む。
【００１５】
機器は、手持ち型機器、ビデオゲーム機、タブレット、スマートフォン、オートフォーカスカメラ、携帯情報端末、およびモバイル機器、の1つとすることができる。一態様では、視覚的キューはユーザの末端部の表現を含み、視覚的キューの形状を変えるステップは、表示装置上の視覚的キューを、表示装置に提示される視野内にさらに拡大するステップを含む。別の態様では、視覚的キューの形状を変えるステップは、表示装置に提示されるユーザの末端部の表現の先端を細くするステップを含む。
【００１６】
例示的な状況の1つでは、機器は、後ろ向きカメラの視野内でユーザの末端部により生成された事前定義されたジェスチャを検出する。別の例示的状況では、機器は、前向きカメラの視野内でユーザの末端部により生成された事前定義されたジェスチャを検出する。一部の実施では、少なくとも1つの事前定義されたジェスチャは第1のジェスチャおよび第2のジェスチャを含み、第1のジェスチャを検出すると、機器は、視覚的キューの形状を変えることが可能なモードをアクティブにし、第2のジェスチャを検出すると、機器は、表示装置に表示された視覚的キューの形状を変える。
【００１７】
上記のような持続性のコンピュータ可読ストレージの実装は、以下の特徴の1つまたは複数を含むことができる。一実施形態では、視覚的キューは、機器に結合された表示装置に表示されるユーザの末端部の拡大の表現を含むことができる。別の実施形態では、視覚的キューは、少なくとも1つの事前定義されたジェスチャで選択され、機器に結合された表示装置に表示された仮想物体を含むことができる。表示装置上で視覚的キューを拡大するステップは、ユーザの末端部の動きの動きおよび方向を追跡するステップと、ユーザの末端部の動きの方向に表示装置上で視覚的キューを拡大するステップであって、機器の表示装置上に表現される視覚的キューを特定の方向に拡大するステップは、その方向におけるユーザの末端部の動きと直接比例する、ステップとを含むことができる。
【００１８】
コンピュータビジョンの応用例を強化する方法を行う例示的装置は、機器に結合されたカメラにより取得される、ユーザの末端部で生成された少なくとも1つの事前定義されたジェスチャを電子的に検出する手段と、少なくとも1つの事前定義されたジェスチャを検出するのに応答して、機器に結合された表示装置上で視覚的キューの形状を変える手段と、少なくとも1つの事前定義されたジェスチャを検出するのに応答して、機器に結合された表示装置上で視覚的キューの形状を変える手段と、を備える。
【００１９】
機器は、手持ち型機器、ビデオゲーム機、タブレット、スマートフォン、オートフォーカスカメラ、携帯情報端末、およびモバイル機器、の1つとすることができる。一態様では、視覚的キューはユーザの末端部を表現する手段を含み、視覚的キューの形状を変える手段は、表示装置上の視覚的キューを、表示装置に提示される視野内にさらに拡大する手段を含む。別の態様では、視覚的キューの形状を変えることは、表示装置に提示されるユーザの末端部の表現の先端を細くする手段を含む。
【００２０】
例示的な状況の1つでは、機器は、後ろ向きカメラの視野内でユーザの末端部により生成された事前定義されたジェスチャを検出する。別の例示的状況では、機器は、前向きカメラの視野内でユーザの末端部により生成された事前定義されたジェスチャを検出する。一部の実施では、少なくとも1つの事前定義されたジェスチャは第1のジェスチャおよび第2のジェスチャを含み、第1のジェスチャを検出すると、機器は、視覚的キューの形状を変える手段を可能にするモードをアクティブにする手段を有し、第2のジェスチャを検出すると、機器は、表示装置に表示された視覚的キューの形状を変える。
【００２１】
上記方法を行うシステムにおける上記装置の例示的な設定は、以下の特徴の1つまたは複数を含むことができる。一実施形態では、視覚的キューは、機器に結合された表示装置に表示されるユーザの末端部の拡大を表現する手段を備えることができる。別の実施形態では、視覚的キューは、少なくとも1つの事前定義されたジェスチャで選択され、機器に結合された表示装置に表示された仮想物体を含むことができる。表示装置上で視覚的キューを拡大するステップは、ユーザの末端部の動きの動きおよび方向を追跡する手段と、ユーザの末端部の動きの方向に表示装置上で視覚的キューを拡大する手段であって、機器の表示装置上に表現される視覚的キューを特定の方向に拡大することは、その方向におけるユーザの末端部の動きと直接比例する、手段とを含むことができる。
【００２２】
上記では、以下の詳細な説明をよりよく理解できるように、本開示に係る例の特徴および技術的利点を概説した。その他の特徴および利点は以下で述べる。開示される概念および具体例は、本開示の同じ目的を実施するための他の構造に変更を加える、または設計するための基本として直ちに利用することができる。そのような均等の構成は添付の特許請求の範囲の主旨および範囲から逸脱しない。本明細書に開示される概念をその編成と動作方法の両方に関して特徴づけると考えられる特徴は、伴う利点と併せて、添付図面と関連して以下の説明を検討することからよりよく理解されよう。各図は、例示および説明の目的でのみ提供され、特許請求の範囲の制限を定義するものではない。
【００２３】
以下の説明では図面を参照するが、すべての図面を通じて同様の参照符号を使用して同様の要素を参照する。1つまたは複数の技術の各種詳細が本明細書に記載されるが、他の技術も可能である。事例によっては、各種技術の説明を助けるために、公知の構造および装置はブロック図の形態で示される。
【００２４】
本開示により提供される例の性質および利点のさらなる理解は、本明細書の残りの部分および図面を参照することにより実現することができ、いくつかの図面すべてを通じて同様の参照符号を使用して同様の構成要素を参照する。事例によっては、参照符号に副次的な標識を関連付けて、複数の同様の構成要素の1つを表す。存在する副次的な標識を指定せずに参照符号を参照する時、その参照符号はすべての同様の構成要素を指す。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態を手持ち型機器上で使用するための例示的なユーザ構成設定を示す図である。
【図２】本発明の実施形態を手持ち型機器上で使用するための別の例示的なユーザ構成設定を示す図である。
【図３】本発明の実施形態を手持ち型機器上で使用するためのさらに別の例示的なユーザ構成設定を示す図である。
【図４】本発明の実施形態を実施するためにユーザにより使用される事前に定義されたジェスチャの例を示す図である。
【図５】コンピュータビジョンの応用例で手持ち型機器との対話の範囲を拡大する方法500を説明する簡略流れ図である。
【図６】コンピュータビジョンの応用例で手持ち型機器との対話の範囲を拡大する方法600を説明する別の簡略流れ図である。
【図７】コンピュータビジョンの応用例で手持ち型機器との対話の範囲を拡大する方法700を説明する別の簡略流れ図である。
【図８】コンピュータビジョンの応用例で手持ち型機器との対話の範囲を拡大する方法800を説明するさらに別の簡略流れ図である。
【図９】本発明の実施形態を実施する際に用いられる機器の部分を組み込んだ例示的なコンピューティングシステムの図である。
【発明を実施するための形態】
【００２６】
本発明の実施形態は、事前に定義されたジェスチャを使用してカメラの視野内の現実世界との対話の範囲を拡大する技術を含む。機器に結合されたカメラの前でユーザによって行われる事前に定義されたジェスチャにより、ユーザは、現実世界および拡張世界への到達範囲をより細かい粒度で拡大することができる。
【００２７】
図1の例を参照すると、ユーザ102は片方の手で手持ち型機器を保持し、ふさがっていない方の手で手持ち型機器と対話することにより、手持ち型機器104と対話する。ユーザ102が手持ち型機器104と対話する際の最大の範囲は、手持ち型機器104を保持している腕108をどれだけ伸ばせるかによって決まる。ユーザと手持ち型機器104の対話の最大範囲は、手持ち型機器104の表示装置を見る能力を著しく損なわずにユーザ102が手持ち型機器を前に出せる距離によっても制約される。手持ち型機器104は、カメラや表示装置などの入力感覚装置が結合されている任意のコンピューティング機器であってよい。手持ち型機器の例には、これらに限定されないが、ビデオゲーム機、タブレット、スマートフォン、携帯情報端末、オートフォーカスカメラ、およびモバイル機器が含まれる。一実施形態では、手持ち型機器は前向きカメラおよび後ろ向きカメラを有することができる。一部の実施では、前向きカメラと表示装置は手持ち型機器の同じ面に配置され、ユーザが手持ち型機器の表示装置と対話する時には前向きカメラがユーザの方を向く。後ろ向きカメラは、多くの事例では、手持ち型機器の反対側の面に配置することができる。使用時、手持ち型機器に結合された後ろ向きカメラは、ユーザから離れる方向を向くことができる。上記の構成設定では、ユーザ102の一方の腕110および一方の手112はふさがっておらず、手持ち型機器104の視野内で自由に対話することができる。手持ち型機器の視野は、所与の瞬間に入力感覚装置で感知される観察可能な現実世界の範囲である。この構成では、ユーザ102が手持ち型機器104と対話するための有効な領域は、手持ち型機器104とユーザ102との間の領域に制限される。表示装置がタッチ画面でもある一部の実施形態では、ユーザは、タッチ画面である表示装置を通じて機器と対話することができる。結果として、ユーザが現実世界と対話できる空間に関する空間的制限により、ユーザが手持ち型機器によって容易になる現実世界および拡張世界の物体と対話する能力が制限される。したがって、ユーザ102は、機器の画面での対話またはユーザ102と手持ち型機器104の間の狭い領域に制限される。
【００２８】
本発明の実施形態は、手持ち型機器104との対話の範囲ならびにしたがって現実世界および拡張世界との対話の範囲を増大することにより、ユーザが、図1の例を参照して説明した空間的制限を克服することを可能にする。図2の例を参照すると、一実施形態では、ユーザ202は、手持ち型機器206の表示装置を直接見る204。手持ち型機器206は入力感覚装置208を有する。一実施形態では、入力感覚装置は、手持ち型機器のユーザから離れる側にある後ろ向きカメラである。カメラの視野216は、現実世界の方に向かって、ユーザから離れる方向に広がっている。ユーザの空いている腕212および空いている手210は、カメラの視野216内で現実世界および拡張世界と対話することができる。図2に説明する構成では、ユーザはカメラを越えて対話の範囲を増大させることができる。また、ユーザ202は、カメラの視野内で対話しながら、手持ち型機器206をより近くに保持して、手持ち型機器206の表示装置に表示された細かい部分をよく見えるようにすることもできる。
【００２９】
本発明の一実施形態では、手持ち型機器は、後ろ向きカメラの視野216内で末端部を使用してユーザにより行われる事前に定義されたジェスチャを検出して、手持ち型機器206との対話の範囲をさらに広げることができる。ジェスチャは、指の伸展(図4に示す)、またはユーザ202が拡張世界内での対話の奥行きと範囲を拡大したいと思っていることを示す示唆として手持ち型機器206が検出できる他の明確なサインとすることができる。一部の実施形態では、手持ち型機器は、事前に定義されたジェスチャを検出すると、ユーザが本発明の実施形態を実施することを可能にするモードを有効にする。手持ち型機器206は、事前に定義されたジェスチャを認識するように事前にプログラムすることができる。別の実施形態では、手持ち型機器206は、新しいジェスチャを学習する、または既知のジェスチャの定義を更新することができる。また、手持ち型機器は、手持ち型機器206がユーザから教えられる新しいジェスチャを学習することができるトレーニングモードを容易にすることができる。
【００３０】
事前に定義されたジェスチャを検出すると、手持ち型機器206は、表示装置に提示された現実世界および拡張世界の中に視覚的キューを拡大することが可能なモードに入ることができる。手持ち型機器206は、視覚的キューを表示装置に提示される視野216内にさらに拡大できるようにすることにより、対話の範囲の拡大を実現する。一部の実施形態では、視覚的キューは人の末端部である。人の末端部の例には、指、手、腕、または脚が含まれる。視覚的キューは、手持ち型機器206が視覚的キューの形状を変えることにより、表示装置に提示される視野内で拡大することができる。例えば、視覚的キューが指である場合には、表示装置上でユーザに提示される指をさらに細長くすることができる。別の実施では、指を細くし、とがらせて指を長くする視覚的効果を作り出すことができる。さらに別の実施形態では、指を長くすると共に細くして表示装置に提示することができる。表示装置に表示される視野は、画像を拡大および縮小することにより調整して、視覚的キューの到達範囲をさらに増すこともできる。
【００３１】
手持ち型機器206では、はるかに長い到達範囲とはるかに高い粒度で、拡大されたユーザの末端部で現実世界および拡張世界の中のより見分けやすい物体と対話し、操作することができる。例えば、本発明の実施形態を使用すると、拡張現実内で2メートル離れたところにある小さな立方体を正確に操作することができる。特定の動きの速度および方向を使用して、人間の末端部がどれだけ現実世界または拡張世界の中に広がることができるかを判断することができる。別の例では、機器で、ユーザは外国で遠くの掲示板の文章を選択して手持ち型機器206で翻訳することができる。手持ち型機器に組み込まれた本発明の実施形態は、ユーザが視覚的キューを使用して掲示板まで手を伸ばし、翻訳する外国語の文章を選択することを可能にする。拡大された人間の末端部と物体との対話の種類は、これらに限定されないが、現実世界および拡張世界内の物体を指さす、移動する、回す、押す、つかむ、回転させる、および固定することを含むことができる。
【００３２】
拡大されたユーザの末端部からの視覚的キューはまた、手持ち型機器と対話するためのワンドの必要性にとって代わる。ワンドを使用すると、ユーザは、タッチ画面の表示装置に表示された物体とより細かい粒度で対話することができる。しかし、ユーザはワンドを持ち歩いて、ワンドを使用して手持ち型機器と対話しようとするたびに取り出す必要がある。また、ワンドの粒度は調整することができない。拡大されたユーザの末端部から生成される視覚的キューは、ワンドに備わるより高い粒度という利点ももたらす。手持ち型機器206の表示装置に表示されるユーザの末端部を細くし、とがらせることにより、ユーザは、はるかに細かい粒度で物体を選択または操作することができる。手持ち型機器206の表示装置に表示される視覚的キューの使用により、ユーザは表示装置による従来の要素の表示内にある物体を選択し、操作することもできる。例えば、視覚的キューにより、ユーザはPhotoshop(R)のような細かい粒度を必要とし、機能の豊富なアプリケーションを扱うことができ、あるいは単に写真の群衆の中から一人の人を選択することができる。同様に、拡張現実の状況では、細かい粒度で視覚的キューに直ちにアクセスできることにより、ユーザは、カメラの視野内にあり、手持ち型機器206の表示装置に表示されている群衆から一人の人をはるかに容易に選び出すことができる。
【００３３】
再度図1の例を参照すると、手持ち型機器は、図2を参照して説明する本発明の実施形態を行うこともできる。図1で、手持ち型機器104との対話の領域は、主としてユーザ102と手持ち型機器104との間の空間に制限される。ユーザ102の側を向く前向きカメラを有する手持ち型機器では、ユーザ102は、手または指を使用して手持ち型機器と対話することができる。ユーザ102による事前に定義されたジェスチャで、表示装置に視覚的キューを表示するようにカメラに示唆することができる。視覚的キューとしては、ユーザの指または手の表現を使用することができる。ユーザ102が指を前方に動かすと指の表現は細くなり、鋭くなって、機器とより高い粒度で対話することが可能になる。手持ち型機器104の両側の面にカメラがある場合には、ユーザは図1の構成で拡張現実の物体と対話することもできる。一実施では、ユーザ102の方を向く側にあるカメラで検出された指または手の表現が、ユーザと反対側を向いたカメラから見える視野を表示する表示装置に重畳される。
【００３４】
図3を参照すると、本発明の実施形態を実施する構成設定の別の例として、ユーザ302は、左手306が手持ち型機器310の入力感覚装置316の視野内にある限り、左腕304を身体の前に、または体の左側に向かって伸ばすことができる。ユーザ302は、右手312で手持ち型機器310を持つ。機器は、ユーザの方を向く側にある前向きカメラである入力感覚装置316を有する。ユーザの手、ユーザの眼、および機器が三角形308を形成し、ユーザがより高い柔軟性で機器と対話することを可能にする。この構成は、図1について述べた構成と同様である。ただし、この構成では、ユーザ302と手持ち型機器310の対話の範囲をより大きくすることができる。本発明の実施形態は、上記で図1および図2に関して述べた手持ち型機器310で実施することができる。
【００３５】
図4に、本発明の実施形態を操作するために手持ち型機器により検出されるユーザのジェスチャの例を示す。手持ち型機器は、指の伸展を、表示装置に提示される視野内への指の到達範囲を拡大させる示唆として検出することができる。この実施形態では、ユーザは、手を握った状態で拡張世界との対話を開始する(ブロック402)。機器は、指の伸展を拡張世界との有効な対話として検出するように予めプログラムされるか、またはトレーニングされる。手持ち型機器が、ユーザが指を伸ばすのを検出すると(ブロック404〜406)、手持ち型機器は、ユーザの対話の範囲を現実世界または拡張世界の中に拡大することが可能なモードに入る。ユーザが指を所定の速度(速さ)またはそれ以上の速度で動かすと、手持ち型機器は拡張世界との対話を検出し、表示装置に表示され、ユーザに知覚される視野内への指の拡大を開始することができる(ブロック408)。ユーザの手がユーザが指している方向に動き続けると、手持ち型機器が表示する指はより長くなり、よりとがった形になる(ブロック410)。手持ち型機器は、指の加速(特定方向への速度の変化)に応じて指を拡大することもできる。指がより長くなり、とがった形になっていることを手持ち型機器が検出すると、手持ち型機器は、ユーザが指の到達範囲を現実世界および拡張世界の中にさらに拡大し、現実世界および拡張世界でより高い粒度の操作を行えるようにする。同様に、指が引っ込んだことを手持ち型機器が検出すると、指を短くし、指先を太くして、表示装置上で元の大きさの手および指に戻す。
【００３６】
別の実施形態では、手持ち型機器は、ユーザが仮想物体をアクティブにすることができるユーザのジェスチャを認識する。仮想物体の選択は、ジェスチャが手持ち型機器に認識される時に実行されているアプリケーションに依存することもできる。例えば、手持ち型機器の前景で実行されているアプリケーションがゴルフゲームのアプリケーションである場合は、手持ち型機器はゴルフクラブを選択することができる。同様に前景で実行されているアプリケーションが写真の編集ツールである場合は、選択される仮想物体は代わりにペイントブラシや鉛筆とすることができる。仮想物体の例は、仮想のワンド、仮想のゴルフクラブ、仮想の手等である。選択可能な仮想物体は表示装置上にバーメニューとして表示することもできる。一実施では、反復的または別個のジェスチャで、バーメニューから異なる仮想物体を選択することもできる。同様に、上記のように、仮想物体がアクティブな状態の時にユーザが末端部を動かす速度および方向により、仮想物体をそれに比例して現実世界または拡張世界の中に拡大する、または縮小させることができる。
【００３７】
手持ち型機器により異なるジェスチャを検出することにより、異なる拡大モードおよび仮想物体を同時にアクティブにすることができる。例えば、機器は、腕を動かして腕の到達範囲を拡大した後に指を伸展することで指の到達範囲を拡大することができる、ユーザによって始動される拡大モードをアクティブにすることができる。
【００３８】
図5は、コンピュータビジョンの応用例で対話の範囲を拡大する方法500を説明する簡略流れ図である。方法500は、ハードウェア(回路、専用ロジック等)、ソフトウェア(汎用コンピューティングシステムまたは専用マシンで実行されるものなど)、ファームウェア(組み込みソフトウェア)、またはそれらの組み合わせからなる処理ロジックにより行われる。一実施形態では、方法500は図9の機器900により行われる。方法500は、図1、図2、および図3に説明した構成設定で行うことができる。
【００３９】
図5の例示的な流れを参照すると、ブロック502で、ユーザが手持ち型機器の入力感覚装置の視野内で事前に定義されたジェスチャを生成する。事前に定義されたジェスチャは、機器の入力感覚装置で電子的に検出される。一実施形態では、入力感覚装置はカメラである。手持ち型機器は、前向きカメラおよび/または後ろ向きカメラを有することができる。一部の実施では、前向きカメラと表示装置は手持ち型機器の同じ面に配置され、ユーザが手持ち型機器の表示装置と対話している時、前向きカメラはユーザの方を向く。後ろ向きカメラは、多くの事例で、手持ち型機器の反対側の面に配置することができる。使用時、機器に結合された後ろ向きカメラは、ユーザから離れる方向を向くことができる。事前に定義されたジェスチャに応答して、ブロック504で、手持ち型機器の表示装置でユーザに対して提示される視野内で視覚的キューの形状を変えることができる。ブロック506で、手持ち型機器は、拡大された視覚的キューを使用して、表示装置に提示される視野内の物体と対話する。
【００４０】
ブロック504で、視覚的キューの形状の変化により、ユーザは現実世界と拡張世界との隙間を埋めることができる。ユーザの腕、手、および指の大きさと特性は、拡張世界内の物体と対話するには適していない。手持ち型機器は、末端部または他の視覚的キューの形状を変えることにより、ユーザが、手持ち型機器の表示装置に表示された物体を操作できるようにする。一部の実施形態では、表示装置に表示される視野は、手持ち型機器が視覚的キューの形状の変化の知覚を与えることにより変化させることもできる。例示的な設定では、手持ち型機器の表示装置は、ドアのある部屋を表示することができる。現在の技術を使用すると、現実世界でユーザが使用する場合と同じ動きの精度でユーザによるドアの取っ手の回転を模擬することは難しい。従来技術の手持ち型機器がユーザによる動きの詳細を捕捉できる場合でも、従来技術の手持ち型機器は、ドアの細部とドアとユーザとの対話を、ユーザがドアの取っ手を正確に操作するだけの有意な形で投影することはできない。手持ち型機器により行われる本発明の実施形態は、例えば(カメラの視野内にある)腕および手の大きさを劇的に縮小することにより視覚的キューの形状を変えることができ、それによりユーザは正確にドアの取っ手と対話することができる。
【００４１】
図5に示す具体的なステップは、本発明の一実施形態による動作モードを切り替える特定の方法を提供することを理解されたい。したがって、代替実施形態では、他のステップの連続を行うことも可能である。例えば、本発明の代替実施形態は、上記のステップを異なる順序で行うことができる。例として、ユーザが第3の動作モードから第1の動作モードへの変更、第4の動作モードから第2のモードへの変更、またはそれらの任意の組み合わせを選択することができる。さらに、図5に示す個々のステップは、それら個々のステップに合わせて適当な様々な順序で行うことが可能な複数の下位ステップを含むことができる。さらに、特定の応用例に応じて追加的なステップを加える、または削除することもできる。当業者は、方法500の多数の変形、改変、および代替形態を認識されよう。
【００４２】
図6は、コンピュータビジョンの応用例において対話の範囲を拡大する方法600を説明する別の簡略流れ図である。方法600は、ハードウェア(回路、専用ロジック等)、ソフトウェア(汎用コンピューティングシステムまたは専用マシンで実行されるものなど)、ファームウェア(組み込みソフトウェア)、またはそれらの組み合わせからなる処理ロジックにより行われる。一実施形態では、方法600は図9の機器900により行われる。方法600は、図1、図2、および図3に説明した構成で行うことができる。
【００４３】
図6の例示的な流れを参照すると、ブロック602で、ユーザが手持ち型機器の入力感覚装置の視野内で事前に定義されたジェスチャを生成する。手持ち型機器は、手持ち型機器の入力感覚装置を使用して、事前に定義されたジェスチャを電子的に検出する。一実施形態では、入力感覚装置はカメラである。手持ち型機器は前向きカメラおよび/または後ろ向きカメラを有することができる。一部の実施では、前向きカメラと表示装置は、手持ち型機器の同じ面に配置され、ユーザが手持ち型機器の表示装置と対話している時、前向きカメラはユーザの方を向く。後ろ向きカメラは、多くの事例で手持ち型機器の反対側の面に配置することができる。使用時、機器に結合された後ろ向きカメラは、ユーザから離れる方向を向くことができる。ジェスチャに応答して、ブロック604で、手持ち型機器は表示装置に提示された視野内に視覚的キューをさらに拡大する。ブロック606で、手持ち型機器は拡大された視覚的キューを用いて、表示装置に提示される視野内でユーザによって操作される物体と対話する。
【００４４】
ブロック604で、手持ち型機器は、ユーザの末端部の到達範囲が拡大していることを検出し、視覚的キューをさらに手持ち型機器の表示装置に提示される視野内に拡大することにより、ユーザが末端部の到達範囲を拡大できるようにする。手持ち型機器は、視覚的キューの到達範囲を拡大するという知覚をいくつかの形で作り出すことができる。一実施では、手持ち型機器は、表示装置上の末端部の表現の長さを伸ばすことができる。例えば視覚的キューが指の場合、手持ち型機器は、表示装置でユーザに提示される指をさらに長くすることができる。別の実施では、手持ち型機器は、手持ち型機器上での末端部の表現を細くし、鋭くして、末端部が表示装置で表示される視野内で遠くまで達しているという知覚をユーザに与えることができる。表示装置に表示される視野は、画像を拡大および縮小して視覚的キューの到達範囲をさらに増すことによって調整することもできる。ここに記載される例示的な実施は非制限的であり、視覚的キューの到達範囲を拡大することによって遠くまで達しているという知覚は、本明細書に記載の技術を組み合わせることにより、または表示装置に表示される視覚的キューの到達範囲を拡大するという同じ視覚的効果を生じさせる他の技術を使用することによって生じさせることができる。ブロック606で、拡大された視覚的キューで、ユーザは表示装置に表示された視野内で遠くにある物体と対話することができる。例えば、ユーザは拡大された到達範囲を使用して、野の花が咲く草地に手を伸ばし、興味を持った花を摘むことができる。
【００４５】
図6に示す具体的ステップは、本発明の一実施形態による動作モードを切り替える特定の方法を提供することを理解されたい。したがって、代替実施形態では他のステップの連続を行うことも可能である。例えば、本発明の代替実施形態は、上記のステップを異なる順序で行うことができる。例として、ユーザが第3の動作モードから第1の動作モードへの変更、第4の動作モードから第2のモードへの変更、またはそれらの任意の組み合わせを選択することができる。さらに、図6に示す個々のステップは、それら個々のステップに合わせて適当な様々な順序で行うことが可能な複数の下位ステップを含むことができる。さらに、特定の応用例に応じて追加的なステップを加える、または削除することもできる。当業者は、方法600の多数の変形、改変、および代替形態を認識されよう。
【００４６】
図7は、コンピュータビジョンの応用例において対話の範囲を拡大する方法700を説明する別の簡略流れ図である。方法700は、ハードウェア(回路、専用ロジック等)、ソフトウェア(汎用コンピューティングシステムまたは専用マシンで実行されるものなど)、ファームウェア(組み込みソフトウェア)、またはそれらの組み合わせからなる処理ロジックにより行われる。一実施形態では、方法700は図9の機器900により行われる。方法700は、図1、図2、および図3に説明した構成設定で行うことができる。
【００４７】
図7の例示的フローを参照すると、ブロック702で、手持ち型機器は、手持ち型機器の入力感覚装置の視野内でユーザにより生成された事前に定義されたジェスチャを検出する。事前に定義されたジェスチャは、機器の入力感覚装置により電子的に検出される。一実施形態では、入力感覚装置はカメラである。手持ち型機器は前向きカメラおよび/または後ろ向きカメラを有することができる。一部の実施では、前向きカメラと表示装置は、手持ち型機器の同じ面に配置され、ユーザが手持ち型機器の表示装置と対話している時、前向きカメラはユーザの方を向く。後ろ向きカメラは、多くの事例で手持ち型機器の反対側の面に配置することができる。使用時、機器に結合された後ろ向きカメラは、ユーザから離れる方向を向くことができる。事前に定義されたジェスチャに応答して、ブロック704で、手持ち型機器の表示装置により提示される視覚的キューの形状が細くなる、かつ/またはとがった形になる。ブロック706で、手持ち型機器は、拡大された視覚的キューを使用して、表示装置に提示された視野内でユーザに操作される物体と対話する。
【００４８】
ブロック704で、手持ち型機器の表示装置に表示される視覚的キューの形状が細くなり、かつ/または鋭くなる。表示装置に表示される視覚的キューが細くなり、鋭くなることにより、ユーザは視覚的キューをポインティングデバイスまたはワンドとして使用することができる。視覚的キューはユーザの末端部とすることができる。人の末端部の例には、指、手、腕、または脚が含まれる。一実施形態では、ユーザが末端部を遠ざかる方向に動かすと、視覚的キューはより細く、鋭くなる。手持ち型機器がユーザが末端部を元の位置に戻すのを検出すると、手持ち型機器は、末端部の幅および形状を通常に戻すことができる。したがって、表示装置に表示された視覚的キューの幅および鋭さは、ユーザが末端部を前後に動かすことにより容易に調整することができる。ユーザの末端部を使用して手持ち型機器により生成され、表示装置に表示される視覚的キューは、ワンドに備わるより細かい粒度という利点ももたらす。表示装置に表示されるユーザの末端部を細くし、鋭くすることにより、ユーザは、はるかに細かい粒度で物体を選択または操作することができる。視覚的キューの使用により、ユーザは、表示装置による物体の従来の表示内で物体を選択し、操作することもできる。例えば、視覚的キューを使用すると、ユーザはPhotoshop(R)のような細かい粒度を必要とし、機能が豊富なアプリケーションを扱うことができ、あるいは単に群衆を写した写真から一人の人を選択することができる。同様に、拡張現実の状況では、細かい粒度で視覚的キューに直ちにアクセスできることにより、ユーザは、後ろ向きカメラの視野内にあり、手持ち型機器の表示装置に表示されている群衆から一人の人をはるかに容易に選び出すことができる。
【００４９】
図7に示す具体的なステップは、本発明の一実施形態による動作モードを切り替える特定の方法を提供することを理解されたい。したがって、代替実施形態では、他のステップの連続を行うことも可能である。例えば、本発明の代替実施形態は、上記のステップを異なる順序で行うことができる。例として、ユーザが第3の動作モードから第1の動作モードへの変更、第4の動作モードから第2のモードへの変更、またはそれらの任意の組み合わせを選択することができる。さらに、図7に示す個々のステップは、それら個々のステップに合わせて適当な様々な順序で行うことが可能な複数の下位ステップを含むことができる。さらに、特定の応用例に応じて追加的なステップを加える、または削除することもできる。当業者は、方法700の多数の変形、改変、および代替形態を認識されよう。
【００５０】
図8は、コンピュータビジョンの応用例において対話の範囲を拡大する方法800を説明するさらに別の簡略流れ図である。方法800は、ハードウェア(回路、専用ロジック等)、ソフトウェア(汎用コンピューティングシステムまたは専用マシンで実行されるものなど)、ファームウェア(組み込みソフトウェア)、またはそれらの組み合わせからなる処理ロジックにより行われる。一実施形態では、方法800は図9の機器900により行われる。方法800は、図1、図2、および図3に説明した構成設定で行うことができる。
【００５１】
図8を参照すると、ブロック802で、ユーザが手持ち型機器の入力感覚装置の視野内で事前に定義されたジェスチャを生成する。事前に定義されたジェスチャは、機器の入力感覚装置で電子的に検出される。一実施形態では、入力感覚装置はカメラである。手持ち型機器は、前向きカメラおよび/または後ろ向きカメラを有することができる。一部の実施では、前向きカメラと表示装置は、手持ち型機器の同じ面に配置され、ユーザが手持ち型機器の表示装置と対話している時、前向きカメラはユーザの方を向く。後ろ向きカメラは、多くの事例で手持ち型機器の反対側の面に配置することができる。使用時、機器に結合された後ろ向きカメラは、ユーザから離れる方向を向くことができる。
【００５２】
ジェスチャに応答して、ブロック804で、手持ち型機器は、ユーザの末端部の動きの運動および方向の追跡を開始する。一実施形態では、手持ち型機器は、ブロック802で事前に定義されたジェスチャを検出するのに応答して特殊なモードをアクティブにする。手持ち型機器がこの特殊モードにある時には、特定の末端部に関連付けられた運動を、手持ち型機器がこの特殊モードにある時間にわたって追跡することができる。手持ち型機器は、事前に定義された方向または事前に定義された速度もしくはそれ以上の速度の運動を追跡することができる。ブロック806で、末端部がさらにカメラから離れるのに応じて、視覚的キューが表示装置に提示される視野の中へとさらに拡大する。同様に、ユーザの末端部がカメラに向かって引き戻された場合は、視覚的キューも表示装置に提示される視野内で縮むことができる。ブロック808で、機器は拡大された視覚的キューを使用して、表示装置に提示された視野内でユーザにより操作される物体と対話することができる。
【００５３】
図8に示す具体的なステップは、本発明の一実施形態による動作モードを切り替える特定の方法を提供することを理解されたい。したがって、代替実施形態では他のステップの連続を行うことも可能である。例えば、本発明の代替実施形態は、上記のステップを異なる順序で行うことができる。例として、ユーザが第3の動作モードから第1の動作モードへの変更、第4の動作モードから第2のモードへの変更、またはそれらの任意の組み合わせを選択することができる。さらに、図8に示す個々のステップは、それら個々のステップに合わせて適当な様々な順序で行うことが可能な複数の下位ステップを含むことができる。さらに、特定の応用例に応じて追加的なステップを加える、または削除することもできる。当業者は、方法800の多数の変形、改変、および代替形態を認識されよう。
【００５４】
図9に示すコンピュータシステムは、上記のコンピュータ化された機器の一部として組み込むことができる。例えば、機器900は、手持ち型機器の構成要素の一部に相当することができる。手持ち型機器は、カメラなどの入力感覚装置および表示装置を備えた任意のコンピューティング機器であってよい。手持ち型機器の例には、これらに限定されないが、ビデオゲーム機、タブレット、スマートフォン、オートフォーカスカメラ、携帯情報端末、およびモバイル機器が含まれる。図9は、本明細書に記載される各種の他の実施形態により提供される方法を行う、かつ/またはホストコンピュータシステム、リモートキオスク/端末、販売時点情報管理機器、モバイル機器、セットトップボックス、および/またはコンピュータシステムとして機能することが可能な機器900の一実施形態の概略的な図示を提供する。図9は、単に各種構成要素の一般化された図示を提供するものであり、それらのいずれかまたはすべてを適宜利用することができる。したがって、図9は、個々のシステム要素を比較的独立した形で、または比較的統合された形で実装する方式を広く示す。
【００５５】
図の機器900は、バス905を介して電気的に結合する(または適宜他の方式で通信状態にある)ことができるハードウェア要素を備える。ハードウェア要素は、これらに限定しないが、1つまたは複数の汎用プロセッサおよび/または1つまたは複数の特殊目的プロセッサ(デジタル信号処理チップ、グラフィックアクセスセラレーションプロセッサ等)を含む1つまたは複数のプロセッサ910、これらに限定しないがカメラ、マウス、キーボード等を含む1つまたは複数の入力装置915、これらに限定しないが表示装置、プリンタ等を含む1つまたは複数の出力装置920を含みうる。
【００５６】
機器900はさらに1つまたは複数の持続性記憶装置925を含む(かつ/または通信状態にある)ことができ、持続性記憶装置925は、これらに限定しないが、ローカルおよび/またはネットワークを通じてアクセス可能な記憶域であり、かつ/またはこれらに限定しないが、ディスクドライブ、ドライブアレイ、光学記憶装置、ランダムアクセスメモリ(「RAM」)および/または読み取り専用メモリ(「ROM」)などのソリッドステート記憶装置を含むことができ、それらはプログラム可能、フラッシュ更新可能等とすることができる。そのような記憶装置は、これらに限定しないが、各種のファイルシステム、データベース構造等を含む適切なデータ記憶を実装するように構成することができる。
【００５７】
機器900は通信サブシステム930も含むことが可能であり、通信サブシステム930は、これらに限定しないが、モデム、ネットワークカード(無線または有線)、赤外線通信機器、ワイヤレス通信機器および/またはチップセット(Bluetooth（登録商標）機器、802.11機器、WiFi機器、WiMax機器、セルラー通信設備等)等を含むことができる。通信サブシステム930は、ネットワーク(一例を挙げると下記で説明するネットワーク)、他のコンピュータシステム、および/または本明細書に記載される他の機器とデータを交換させることができる。多くの実施形態では、機器900はさらに持続性の作業メモリ935を含み、作業935メモリは上記のようにRAMまたはROM機器を含むことができる。
【００５８】
機器900は、図では現在作業メモリ935にあるソフトウェア要素も備えることができ、これには、オペレーティングシステム940、デバイスドライバ、実行可能ライブラリ、および/または1つまたは複数のアプリケーションプログラム945などの他のコードが含まれ、アプリケーションプログラム945は、各種実施形態で提供されるコンピュータプログラムからなる、かつ/または本明細書に記載される他の実施形態で提供される方法を実施する、かつ/またはシステムを構成するように設計することができる。単なる例として、上記で方法に関して説明した1つまたは複数の手順は、コンピュータ(および/またはコンピュータ内部のプロセッサ)により実行可能なコードおよび/または命令として実施することができ、一態様では、そのようなコードおよび/または命令を使用して、ここに記載される方法に従って1つまたは複数の動作を行うように汎用コンピュータ(または他の機器)を構成および/または適合することができる。
【００５９】
これらの命令および/またはコードのセットを上記の記憶装置925などのコンピュータ可読記憶媒体に記憶することができる。場合によっては、記憶媒体は機器900などのコンピュータシステム内に内蔵されることもある。他の実施形態では、記憶媒体は、コンピュータシステムとは別個とするか(例えばコンパクトディスクなどの取外し可能媒体)、かつ/またはインストールパッケージとして提供して、記憶媒体を使用して、媒体に記憶された命令/コードで汎用コンピュータをプログラム、構成および/または適合することができる。これらの命令は機器900で実行できる実行可能コードの形態をとることができ、かつ/またはソースコードおよび/またはインストール可能コードの形態をとって、機器900で(例えば各種の一般に利用可能なコンパイラ、インストールプログラム、圧縮/解凍ユーティリティ等を使用して)コンパイルおよび/またはインストールされると、実行可能コードの形態をとることができる。
【００６０】
特定の要件に従って実質的な変形を作製することができる。例えば、カスタマイズされたハードウェアを使用してもよく、かつ/または特定の要素をハードウェア、ソフトウェア(アプレットなどの移植性のソフトウェアを含む)、またはその両方として実装してもよい。さらに、ネットワーク入出力装置などの他のコンピューティング機器への接続を使用してもよい。
【００６１】
一部の実施形態では、本開示による方法を行うためにコンピュータシステムまたは機器(機器900等)を用いることができる。例えば、本明細書に記載される方法の手順の一部またはすべては、プロセッサ910が作業メモリ935に保持された1つまたは複数の命令(オペレーティングシステム940および/またはアプリケーションプログラム945などの他のコードに組み込むこともできる)の1つまたは複数のシーケンスを実行するのに応答して機器900によって行うことができる。そのような命令を記憶装置925の1つまたは複数などの別のコンピュータ可読媒体から作業メモリ935に読み込むことができる。単なる例として、作業メモリ935に保持された命令シーケンスの実行により、プロセッサ910に本明細書に記載の方法の1つまたは複数の手順を行わせることができる。
【００６２】
本明細書で使用する用語「機械可読媒体」および「コンピュータ可読媒体」は、機械を特定の方式で動作させるデータを提供することに関与する任意の媒体を指す。機器900を使用して実施される実施形態では、実行のために命令/コードをプロセッサ910に提供する際に各種のコンピュータ可読媒体が関係し、かつ/またはそのような命令/コードを記憶および/または(例えば信号として)搬送するために使用される可能性がある。多くの実施では、コンピュータ可読媒体は物理的かつ/または有形の記憶媒体である。そのような媒体は、これらに限定しないが、不揮発性の媒体、揮発性の媒体、および伝送媒体を含む多くの形態をとることができる。不揮発性の媒体は、例えば記憶装置925などの光ディスクおよび/または磁気ディスクを含む。揮発性の媒体は、これらに限定しないが、作業メモリ935などの動的メモリを含む。伝送媒体は、これらに限定しないが、バス905を構成する配線などの同軸ケーブル、銅線、および光ファイバー、ならびに通信サブシステム930の各種構成要素(および/または通信サブシステム930が他の機器との通信を提供する媒体)を含む。したがって、伝送媒体は、波の形態をとることもできる(これらに限定しないが、電波および赤外線によるデータ通信時に生成されるものなどの電波、音波および/または光波を含む)。
【００６３】
物理的および/または有形のコンピュータ可読媒体の一般的な形態には、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または他の磁気媒体、CD-ROM、他の光学媒体、パンチカード、紙テープ、孔のパターンを備えた他の物理媒体、RAM、PROM、EPROM、FLASH-EPROM、他のメモリチップまたはカートリッジ、下記で説明する搬送波、またはコンピュータが命令および/またはコードを読み出すことが可能な他の媒体が含まれる。
【００６４】
実行のために1つまたは複数の命令の1つまたは複数のシーケンスをプロセッサ910に搬送する際に各種形態のコンピュータ可読媒体が関係する可能性がある。単なる例として、命令は当初リモートコンピュータの磁気ディスクおよび/または光ディスクに保持しておくことができる。リモートコンピュータは、命令を動的メモリにロードし、命令を信号として伝送媒体を通じて送信し、機器900で受信および/または実行することができる。これらの信号は、電磁気信号、音響信号、光信号等の形をとるが、すべて、本発明の各種実施により命令をその中に符号化することが可能な搬送波の例である。
【００６５】
通信サブシステム930(および/またはその構成要素)は、一般に信号を受信し、バス905が次いでその信号(および/または信号で搬送されるデータ、命令等)を作業メモリ935に搬送し、プロセッサ910が作業メモリ935から命令を取り出し、実行する。作業メモリ935に受け取られた命令は、任意で、プロセッサ910で実行する前または後に持続性記憶装置925に記憶される場合もある。
【００６６】
上記の方法、システム、および装置は例である。各種実施形態では、適宜各種手順または構成要素を省略、置き換え、または追加することができる。例えば、代替構成では、本明細書に記載の方法を、記載の順序とは異なる順序で行ってよく、かつ/または各種段階を追加、省略、および/または組み合わせてよい。また、特定の実施形態に関して記載される特徴を各種の他の実施形態で組み合わせてよい。実施形態の種々の態様および要素も同様に組み合わせることができる。また、技術が発展するため、要素の多くは例であり、本開示の範囲をそれらの具体例に限定しない。
【００６７】
説明では実施形態の完全な理解を提供するために具体的な詳細事項を示す。ただし、実施形態はそれらの具体的詳細を用いずに実施することが可能である。例えば、公知の回路、プロセス、アルゴリズム、構造、および技術は、実施形態を曖昧にすることを回避するために不要な詳細は説明せずに述べている。本明細書の説明では例示的な実施形態のみを示し、本発明の範囲、適用可能性、または構成を制限する意図はない。そうではなく、上記の実施形態の説明は、当業者が本発明の実施形態を実施形態できるようにするための説明を提供する。本発明の主旨および範囲から逸脱することなく、要素の機能および機能に各種変更を加えてよい。
【００６８】
また、一部の実施形態は、流れ図またはブロック図として示されるプロセスとして説明した。各図は動作を連続したプロセスとして説明する場合もあるが、動作の多くは、並行してまたは同時に行うことができる。また、動作の順序は入れ替えることもできる。プロセスは、図に含まれていない追加的なステップを有することができる。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの組み合わせにより実施することができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードとして実装される場合、関連するタスクを行うプログラムコードまたはコード部分は記憶媒体などのコンピュータ可読媒体に記憶することができる。プロセッサが、関連するタスクを行うことができる。
【００６９】
いくつかの実施形態を説明したが、本開示の主旨から逸脱することなく、各種の変更、代替構成、および均等物を使用することができる。例えば、上記の要素は単により大きなシステムの構成要素とすることもでき、その場合は他の規則が本発明の適用よりも優先されるか、または他の形で本発明の適用を変更する可能性がある。また、上記の要素が考慮される前、最中、または後にいくつかのステップを行うことも可能である。したがって上記の説明は本開示の範囲を制限しない。
【符号の説明】
【００７０】
102、202、302  ユーザ
104、206、310  手持ち型機器
208、316  入力感覚装置
216  視野
【図１】
0005833750.tif 000002
【図２】
0005833750.tif 000003
【図３】
0005833750.tif 000004
【図４】
0005833750.tif 000005
【図５】
0005833750.tif 000006
【図６】
0005833750.tif 000007
【図７】
0005833750.tif 000008
【図８】
0005833750.tif 000009
【図９】
0005833750.tif 000010