(57)【要約】      （修正有）【課題】拡張又は仮想現実環境におけるオブジェクトの選択方法を提供する。【解決手段】複数の実際のオブジェクト及び／又は仮想のオブジェクト８、１０、１２、１４、１６、１８、２０を含む環境において、オブジェクトを選択する方法であって、環境は、ディスプレイデバイス４を介してユーザ２に対して表示され、方法は、複数のオブジェクト８、１０、１２、１４、１６、２０の各オブジェクトに対するジェスチャパスの割り当てを含み、ジェスチャパスは、オブジェクトを選択するためにユーザ２によって実行される一連のジェスチャを含む。【選択図】図６
2018081694.tif 000002
【特許請求の範囲】
【請求項１】
複数の実際のオブジェクト及び／又は仮想のオブジェクト（８、１０、１２、１４、１６、１８、２０）を含む環境においてオブジェクトを選択する方法であって、前記環境は、ディスプレイデバイス（４）を介してユーザ（２）に表示され、
前記方法は、前記複数のオブジェクト（８、１０、１２、１４、１６、１８、２０）の各オブジェクトに対するジェスチャパスの割り当て（３６）を含み、前記ジェスチャパスは、前記オブジェクトを選択するために前記ユーザ（２）によって実行される一連のジェスチャを含む、方法。
【請求項２】
前記オブジェクト上又は前記オブジェクトの近くにスーパーインポーズされるタグとして各オブジェクトの前記ジェスチャパスが表示されること（３６）を含む、請求項１に記載の方法。
【請求項３】
前記ジェスチャパスの各ジェスチャは、前記ジェスチャの向きに従った向きの矢印の形式で表示される、請求項１又は２に記載の方法。
【請求項４】
前記ユーザ（２）によって実行されるジェスチャを検出すること（３８）と、
依然として前記オブジェクトを選択するために実行される前記ジェスチャパスの残っているジェスチャを表示することと、
を含む、請求項１乃至３のいずれか１項記載の方法。
【請求項５】
遂行される残りのジェスチャの第１のジェスチャに対応しないユーザ（２）の検出されたジェスチャに対するオブジェクトを検出することと、
前記検出されたオブジェクトを破棄することと、
を含む、請求項１乃至４のいずれか１項記載の方法。
【請求項６】
遂行される残りのジェスチャの第１のジェスチャに対応しない前記ユーザの検出されたジェスチャに対するオブジェクトを検出することと、
前記検出されたオブジェクトの前記残りのジェスチャを変更することであって、前記環境の各オブジェクトの前記残りのジェスチャは、前記環境の任意の他のオブジェクトの前記残りのジェスチャとは異なる、変更することと、
を含む、請求項１乃至４のいずれか１項記載の方法。
【請求項７】
前記オブジェクトに割り当てられた前記ジェスチャパスが、完全に遂行されたとき、前記オブジェクトが選択される（４２）、請求項１乃至６のいずれか１項記載の方法。
【請求項８】
前記ジェスチャが手のジェスチャである、請求項１乃至７のいずれか１項記載の方法。
【請求項９】
前記ジェスチャパスの前記割り当ては、前記ユーザの快適さを考慮する、請求項１乃至８のいずれか１項記載の方法。
【請求項１０】
複数の実際のオブジェクト及び／又は仮想のオブジェクト（８、１０、１２、１４、１６、１８、２０）を含む環境においてオブジェクトを選択する選択デバイス（５０）であって、前記環境は、ディスプレイデバイス（４）を介してユーザ（２）に表示され、前記選択デバイス（５０）は、前記複数のオブジェクト（８、１０、１２、１４、１６、１８、２０）の各オブジェクトに対するジェスチャパスの割り当て（３６）を含み、前記ジェスチャパスは、前記オブジェクトを選択するために前記ユーザ（２）によって実行される一連のジェスチャを含む、選択デバイス。
【請求項１１】
アサインメントモジュール（５４）が、
遂行される残りのジェスチャの第１のジェスチャに対応しない前記ユーザの検出されたジェスチャに対するオブジェクトを検出することと、
前記検出されたオブジェクトの前記残りのジェスチャを変更することであって、前記環境の各オブジェクトの前記残りのジェスチャは、前記環境の任意の他のオブジェクトの前記残りのジェスチャとは異なる、変更することと、
を実行するように構成される、請求項１０に記載の選択デバイス。
【請求項１２】
前記環境を分析し、前記環境の前記複数のオブジェクトを検出するように構成される環境分析モジュール（５２）を含む、請求項１０又は１１に記載の選択デバイス。
【請求項１３】
前記環境分析モジュール（５２）は、前記ユーザの視点から部分的に又は全体的に隠蔽されるオブジェクトを検出するように構成される、請求項１２に記載の選択デバイス。
【請求項１４】
前記ユーザ（２）によって遂行されるジェスチャを分析するように構成されるジェスチャ分析モジュール（５６）を含む、請求項１０乃至１３のいずれか１項記載の選択デバイス。
【請求項１５】
コンピュータに請求項１乃至９のいずれか１項記載の前記方法を実行するようにするコンピュータ実行可能命令を含む、コンピュータ読取可能プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、人間とコンピュータとの対話（interaction:相互作用）に関連する。より具体的には、本発明は、実際（現実）のオブジェクト（real  objects：リアルオブジェクト）及び／又は仮想のオブジェクト（virtual  objects：バーチャルオブジェクト）を含む、拡張（augmented）現実環境又は仮想現実環境（virtual  reality  environment）におけるオブジェクトとユーザの対話に取り組む。それ故に、本発明は、環境におけるオブジェクトの選択方法及び対応する選択デバイスに関係する。本発明は、さらに、本発明の選択方法を実行するコンピュータプログラムに関係する。
【背景技術】
【０００２】
このセクションで説明されるアプローチは、遂行することができるが、以前に着想され、又は遂行されたアプローチを必ずしも必要としない。したがって、本明細書で別途指示がない限り、本セクションで説明されるアプローチは、本出願の請求項に対する先行技術ではなく、本セクションに含めることによって先行技術であると認めるものでもない。
【０００３】
コンピュータ、スマートフォン及びタブレットなどのマルチメディアデバイスとの一般的なユーザとの対話は、キーボードイベント、マウスイベント及びピンチ、ズーム、タッチなどのスクリーンタッチイベントのようなユーザ入力に通常依存している。
【０００４】
非直接的なトリガとして一般に使用される、音声及びジェスチャコマンドなどの他の対話も普及してきており、関連するコンテキストの分析が、ユーザによって予測されるアクションと連動することが通常必要である。
【０００５】
このコンテキストは、ユーザによって現在使用される特定のアプリケーションに一般に関連し、それに限定される可能性があり得る。この場合、考慮されるコンテキストは、例えば、ユーザによって行われる最近のクエリ又は最後に開かれたメニュなどを含む。
【０００６】
このコンテキストは、部屋におけるユーザの物理的位置及び部屋に存在しているアイテムの物理的位置などの周辺のユーザ環境も含み、自身の裸眼を通して又はシースルーデバイス又はヘッドマウントディスプレイ（ＨＭＤ）を使用して、ユーザはそれらを知覚する。周辺のユーザ環境における実際のオブジェクトを含むコンテキストの例は、図１に示されている。
【０００７】
図１の例において、ヘッドマウントディスプレイ（a  head-mounted  display）４を装着したユーザ２は、部屋６に位置する多数の実際のオブジェクトと対話することができる。例えば、これらのオブジェクトは、カメラ８及び新聞１０などのテーブル７上に置かれたオブジェクトを含む。
【０００８】
その上、変更された現実（altered  reality）又は仮想現実のアプリケーションなどのいくつかのケースでは、コンテキストは、ユーザの周囲にあるものから実際のオブジェクト及び／又は仮想のオブジェクトを含むことができる。そのようなコンテキストの例は、図２に示されている。
【０００９】
変更された現実によって、拡張現実（複合現実（mixed  reality）とも呼ばれる）のケース場合、すなわち、シーンにおいて実際のオブジェクトにいくつかの仮想オブジェクトを加えたもの、及び、ユーザによって直接又はシースルーメガネをなどのデバイスを使用して見られる、実際のオブジェクトを、例えば、サイズ、色、プレゼンス、又は位置において変更したケースの両方を意味する。
【００１０】
図２の例において、ヘッドマウントディスプレイ４を装着したユーザ２は、実際のオブジェクト８、１０と対話できる。ユーザ２は、部屋６に位置する仮想のオブジェクトとも対話する。例えば、仮想のオブジェクトは、地球儀１２、ゲームパッド１４、イコライザ１６、キャラクタ１８及び歯車２０を含む。これらの仮想のオブジェクトは、ヘッドマウントディスプレイ４中のアプリケーションに関連することができる。例えば、仮想オブジェクトは、例えば、ゲームを起動するためのゲームパッド１４などのいくつかの関連するアプリケーションをトリガすることを起動することができる、利用可能なアプリケーションのアバタ又はエレメントのアバタとして提供することができる。
【００１１】
ユーザの周辺の環境における複数の実際の及び／又は仮想のオブジェクトの場合は、自身が対話を意図するオブジェクトを具体的に示す必要がユーザにはある。オブジェクトのこの選択は、誤ったオブジェクトの選択によるユーザの意図の誤解を避けるために非常に正確である必要がある。
【００１２】
共通のゲームのアプローチでは、対話のそのようなトリガをすることは、一回で少数のオブジェクトに限定される。オブジェクトの数は、プレーヤによって使用されるゲームパッドのボタンの数に通常関連付けられる。いくつかのゲーム、例えば、プレイステーション３及びプレイステーション４のコンソールでのヘビーレインムーブエディション（Heavy  Rain  Move  Edition）は、プレイシーンにおいて特定の制御デバイス及びオブジェクトの精密にチューニングされたレイアウトを使用する。
【００１３】
米国特許出願公開第２０１３／０３２８９２５号資料は、複合現実（mixed  reality）環境における仮想オブジェクト上のユーザのフォーカスを解釈するシステムを説明する。このシステムは、１つ以上の処理ユニットに接続されたシースルー（see-through）、ヘッドマウントディスプレイデバイスを含む。ヘッドマウントディスプレイユニットと共同する処理ユニットは、ホログラフオブジェクトとしても参照される、１つ以上の仮想オブジェクトをユーザに表示することができる。ユーザは、表示された仮想オブジェクトと対話することができる。推論、表現ジェスチャ及びヒューリスティックルールを使用して、仮想オブジェクトのうちどれにユーザがフォーカスし、対話しそうであるかをシステムは決定する。その時点で、システムは、他の仮想オブジェクト以上に選択された仮想オブジェクトを強調し、バラエティ豊かな方法で選択された仮想オブジェクトと対話することができる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】米国特許出願公開第２０１３／０３２８９２５号明細書
【００１５】
この資料では、ユーザが対話したいオブジェクトの選択は、仮想オブジェクトに関するユーザの頭又は目又は手の位置を判定することによって、又は仮想オブジェクトに関するユーザの手の動きを判定することによって行われる。
【００１６】
従来技術の解決策の１つの問題は、接近して側にあるグループ化されたオブジェクトの場合、正確にオブジェクトの選択を管理することができない点である。また、現存する解決策は、ユーザの視点から、実際の及び／又は仮想のオブジェクトの部分的又は全体的なオーバーラップを正確に取り扱うことができない。
【００１７】
図３は、多数の仮想オブジェクトを有する現実的な拡張されたシーンの例を示す。そのようなシーンは、現存のシステムを通して容易に管理できない。
【００１８】
図３のシーンに存在するオブジェクトは、図２のシーンに存在するそれらと同じであり、新聞１０のすごく近くあり、新聞を部分的に覆うカメラ８がある。
【００１９】
例えば、それらが非常に近くにあり、又は部分的又は全体的に隠蔽されているときに、テーブル７上にあるカメラ８又は新聞１０などの、図３のシーンにおいて特定のオブジェクトを、例えば、彼／彼女の手２２によって、ある対話をいかに容易にユーザ２がトリガすることができるか？
【発明の概要】
【００２０】
本発明は、この状況を改善する解決策を提案する。
【００２１】
それに応じて、複数の実際のオブジェクト及び／又は仮想のオブジェクトを含む環境においてオブジェクトを選択する方法であって、環境は、ディスプレイデバイスを介してユーザに表示され、方法は、複数のオブジェクトの各オブジェクトに対するジェスチャパスの割り当てを含み、ジェスチャパスは、オブジェクトを選択するためにユーザによって実行される一連のジェスチャを含む方法を本発明は提供する。
【００２２】
それ故に、ジェスチャパスの割当ては、環境の各オブジェクトを一意的に識別することによって、ユーザの視点から他のオブジェクトによって部分的に又は全体的に覆われた（covered）場合でも、任意のオブジェクトを選択することが可能となる。
【００２３】
ある実施形態によると、タグは、オブジェクト上又はオブジェクトの近くにスーパーインポーズされるように各オブジェクトのジェスチャパスを表示することを、この方法は含む。
【００２４】
例えば、ユーザの視点から見えるオブジェクトに対して、タグは、オブジェクト上にスーパーインポーズされた半透明の覆われたテクスチャを持つ。ユーザが自身の視点から見えないオブジェクトに対しては、可視にするために、タグはオブジェクトの近くに置かれる。代替案としては、隠蔽されたオブジェクトは、半透明のテクスチャで表示され、タグはそれ自身が半可視になるように、オブジェクト上にスーパーインポーズされる。
【００２５】
有利に、ジェスチャパスの各ジェスチャは、ジェスチャの向きに従った向きの矢印の形で表示される。
【００２６】
ある実施形態によると、方法は、
・ユーザによって実行されるジェスチャを検知することと、
・依然としてオブジェクトの選択を実行されるジェスチャパスの残りのジェスチャを表示することと、
を含む。
【００２７】
それ故に、ユーザは、各ジェスチャの後で、依然として各オブジェクトの選択を実行される残りのジェスチャ（remaining  gestures）を知る。
【００２８】
第１の実施形態によると、方法は、
・遂行される残りのジェスチャの第１のジェスチャに対応しないユーザの検出されたジェスチャに対するオブジェクトを検出することと、
・検出されたオブジェクトを破棄することと、
を含む。
【００２９】
好ましくは、検出されたオブジェクトは、ユーザによって非選択可能になる検出されたオブジェクト上で十字形の形のタグをスーパーインポーズすることによって破棄される。
【００３０】
第２の実施形態によると、方法は、
・遂行される残りのジェスチャの第１のジェスチャに対応しないユーザの検出されたジェスチャに対して、オブジェクトを検出することと、
・検出されたオブジェクトの残りのジェスチャを変更することであって、環境の各オブジェクトの残りのジェスチャは、環境の任意の他のオブジェクトの残りのジェスチャとは異なる、変更することと、
を含む。
【００３１】
それ故に、この第２の実施形態によると、ユーザが選択したいターゲットのオブジェクトのジェスチャパスに対応していないジェスチャをユーザが誤って実行した場合、対応するジェスチャパスが動的に変更されるので、このオブジェクトを選択することが依然として（still）可能である。
【００３２】
有利に、そのオブジェクトに割当てられたジェスチャパスが完全に遂行されたときに、そのオブジェクトは選択される。
【００３３】
ある実施形態によると、ジェスチャは、手のジェスチャである。
【００３４】
手のジェスチャの向きは、容易に検出できるので、これは有利である。
【００３５】
有利には、ジェスチャパスの割当ては、ユーザの快適さを考慮する。
【００３６】
例えば、オブジェクトの選択を遂行するためのジェスチャを判定するときには、ユーザの物理的な手の限界も考慮される。
【００３７】
本発明は、また、複数の実際のオブジェクト及び／又は仮想のオブジェクトを含む環境におけるオブジェクトを選択する選択デバイスを提供し、この環境は、ディスプレイを通して、ユーザに表示され、この選択デバイスは、少なくとも１つのプロセッサを含み、選択デバイスは、複数のオブジェクトの各オブジェクトにジェスチャパスを割り当てるように構成されたアサインメントモジュールを含み、ジェスチャパスは、オブジェクトを選択するためのユーザによって実行される一連のジェスチャパスを含む。
【００３８】
ある実施形態によれば、アサインメントモジュールは、
・遂行される残りのジェスチャの第１のジェスチャに対応しないユーザの検出されたジェスチャに対してオブジェクトを検出することと、
・検出されたオブジェクトの残りのジェスチャを変更することであって、環境の各オブジェクトの残りのジェスチャは、環境の任意の他のオブジェクトの残りのジェスチャとは異なる、変更することと、
を行うように構成される。
【００３９】
ある実施形態によると、選択デバイスは、環境を分析し、環境の複数のオブジェクトを検出するように構成された環境分析モジュールを含む。
【００４０】
有利に、環境分析モジュールは、ユーザの視点から部分的に又は全体的に隠蔽されたオブジェクトを検出するように構成される。
【００４１】
ある実施形態によると、選択デバイスは、ユーザによって遂行されるジェスチャを分析するように構成されるジェスチャ分析モジュールを含む。
【００４２】
本発明による方法は、プログラム可能な装置上でソフトウェアとして実装することができる。それは、ハードウェアだけ、又はソフトウェアだけ、又はそれらの組合せで実装することができる。
【００４３】
本発明は、ソフトウェアとして実装することができるので、本発明は、任意の適切な搬送媒体上のプログラム可能な装置に対して提供するコンピュータ読取可能コードとして具体化することができる。搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又は半導体メモリデバイスのような記憶媒体を含むことができる。
【００４４】
本発明は、それ故に、コンピュータに本発明の選択方法の実行を可能とするコンピュータ実行可能命令を含むコンピュータ読取可能プログラムを提供する。
【００４５】
図７の概略図は、そのようなコンピュータプログラムに対する一般的なアルゴリズムの例を解説する。
【図面の簡単な説明】
【００４６】
本発明は、添付図面の図において、例として解説され、制限するためではなく、図面において、参照番号は、類似する要素を指す：
【００４７】
【図１】既に説明したように、実際のオブジェクトのみを含む環境の概略図である。
【図２】既に説明したように、実際のオブジェクトと仮想のオブジェクトとを含む拡張現実環境の概略図である。
【図３】既に説明したように、相互に近くにある多数のオブジェクトを含む拡張現実環境の例を示す。
【図４】図３の環境における本発明の実装例を示す。
【図５】図３の環境における本発明の第１の実施形態の実装例を示す。
【図６】図３の環境における本発明の第２の実施形態の実装例を示す。
【図７】本発明の実施形態による選択方法のステップを示すフローチャートである。
【図８】本発明の実施形態による、選択デバイスを説明する概略図である。
【発明を実施するための形態】
【００４８】
本発明の実施形態は、図３を参照して既に説明された拡張現実環境において実装される。
【００４９】
図４において、この環境も表現される。この環境において、ヘッドマウントディスプレイ４を装着したユーザ２は、実際のオブジェクト８、１０と対話することができる。ユーザ２は、仮想オブジェクト１２、１４、１６、１８、２０とも対話することができる。例えば、これらの仮想オブジェクトは、例えば、ゲームなどのヘッドマウントディスプレイ４におけるアプリケーションに関連することができる。シーンとも呼ばれる、図４において表現される環境は、ヘッドマウントディスプレイ４を装着したユーザ２の視界に対応する。
【００５０】
有利に、ユーザ２は、彼／彼女の手２２を動かすことによってオブジェクト８、１０、１２、１４、１６、１８、２０の中のオブジェクトとの対話に関与する。手２２は、矢印（arrows）２４によって表現される複数の動きに従って動かすことができる。
【００５１】
以下の説明では、ジェスチャは、２Ｄ（２次元）又は３Ｄ（３次元）空間における、体の部分、好ましくは手の最小限の動きを意味し、ジェスチャは、ユーザのコマンド検出を担当する分析システムによって検出可能である。例えば、ユーザが、静止位置から４ｃｍ右に、彼／彼女の右手を僅かに動かし、次にまた静止する。これは、ジェスチャ動き単位（a  gesture  movement  unit）を表現する。
【００５２】
ジェスチャパス（gesture  path）によって、上述の単位ジェスチャ（unit  gestures）の組合せ、すなわち、時系列（a  temporal  sequence）を意味する。
【００５３】
２Ｄ空間において、ユーザの手の現在の位置の周りで典型的に定義される、手のデプス（depth）変更は典型的には無視され、ここでデプスは時間内の手の変化を推定する観察するデバイスまでの手からの距離である。そのような観察デバイスは、例えば、カメラなどの検出するデバイスを含む。
【００５４】
３Ｄ空間において、観察するデバイスに関して、手のデプスの位置の変化も考慮され、追加の単位ジェスチャ（unit  gestures）を許し、それは例えば、ある「押す（press）」ジェスチャ（手のジェスチャの推定を担当する観察するデバイスに向かって手を僅かに動かす）又はある「リリース（release）」ジェスチャ（そのデバイスから手を僅かに遠ざける）である。
【００５５】
ジェスチャの開始と終了（個々のジェスチャパス）は、動き推定処理（move  estimation  process）において検出される動きの欠如であり得る。ジェスチャの終わりは、継続時間のしきい値（duration  time  threshold）（例えば、単位ジェスチャは、最長で３秒間の長さと設定できる）として定義することもでき、又はジェスチャパスは、累積したジェスチャの単位が、既知のジェスチャ（すなわち、システムが、コマンドとして認識しようとするジェスチャ）のいずれにも属さないと直ぐに終了するように設定することもできる。
【００５６】
また、「手の」ジェスチャは、例えば、リモコンのようなコントローラとして使用されるオブジェクトによって作られるジェスチャを含む。
【００５７】
有利には、表現される実施形態において、ユーザの手２２によって実行されるジェスチャは、２Ｄジェスチャであり、すなわち、ジェスチャは、ユーザの手２２に近い平面領域にある。
【００５８】
別の例によると、手の生理的な限界（hand  physiological  limitation）又はユーザの快適さの要求（user’s  comfort  requirement）に関してもまだ、ユーザ２の手２２の周辺の境界領域における３Ｄジェスチャも考慮される。実際に、手２２は、その初期ジェスチャ開始点近くに留まり、例えば、ユーザの位置から遠く離れることができない。
【００５９】
図４に示された実施形態によると、オブジェクトの選択に従事している間、シーンの各候補のオブジェクトは、例えば、半透明に覆われたテクスチャ（semi-transparent  covering  texture）を使用することによって、多かれ少なかれ部分的にトリガされるように一時的にレンダリングされる。タグ（tag）は、有利に、一連の矢印の形で表現され、ユーザ２が最終的に各オブジェクトの選択を達成する必要がある残りのジェスチャを表示する、動的な情報を含む。これらの残りのジェスチャは、そのオブジェクトを選択するために手２２を使用してユーザ２が達成する必要があるジェスチャパス（gesture  path）を提供する。
【００６０】
意図する選択目的のため、各瞬間でのジェスチャパスを構成する、残りのジェスチャは、識別できるように形成され、すなわち、シーンからの的確ないずれのオブジェクトも、図４に示されるように、同時に表現される同じ残りのジェスチャパスを持たず、シーンのそれぞれのオブジェクトは、他のオブジェクトのジェスチャパスとは異なるジェスチャパスを有する。
【００６１】
ジェスチャパスと各オブジェクトとの関係によって、例えば、それらが全体的に又は部分的に他のオブジェクトによって隠れたなどにより、例えそれらがユーザ２に対して見えないとしても、環境のすべてのオブジェクトは選択することができる。覆い隠されたオブジェクトの選択のこの可能性を改善するために、それに関連するジェスチャパスを表示するのに役立つ半透明のテクスチャのオブジェクトの上書きのサイズを縮小することができる。
【００６２】
図５に表現された第１の実施形態によると、ユーザ２が手２２で、あるオブジェクトに対して遂行できる残りのジェスチャの第１のジェスチャに対応しないジェスチャを行うとき、次に、このオブジェクトは、選択から破棄され（discarded）、すなわち、ユーザ２は、最早このオブジェクトを選択できない。
【００６３】
例えば、ユーザ２は、オブジェクト１８及び２０のみのジェスチャパスの第１のジェスチャに対応する、矢印２６によって表現されるジェスチャに従って、手２２を一寸動かすことによって、すべての他のオブジェクト８、１０、１２、１６は、選択から破棄される。
【００６４】
例えば、非選択になるオブジェクト８、１０、１２、１４、１６上に十字形（cross）の形でタグが重ね合わせることによって、この破棄は、ユーザ２に示される。オブジェクトはそのサイズを縮小するとこによって破棄されたと見せることも可能である。
【００６５】
希望するオブジェクトの迅速な選択（quick  selection）を達成するために、第１の実施形態は有利である。しかしながら、第１の実施形態は、エラートレラント（error-tolerant）ではない。実際に、ユーザ２は、例えば、ゲームパッド１４を選択することに興味を持つが、しかしながら、残念ながらゲームパッド１４に関連する残りのジェスチャパスの第１のジェスチャに対応しない誤ったジェスチャを行うことがあり得る。
【００６６】
有利に、第２の実施形態によると、ユーザ２によって誤ったジェスチャが行われた後であっても、オブジェクトを選択することが依然として可能である。
【００６７】
図６に表現された、この第２の実施形態によると、ユーザ２は、あるオブジェクトに関して遂行できる残りのジェスチャの第１のジェスチャに対応しないジェスチャを行うとき、このオブジェクトの残りのジェスチャは変更され、一方、それは、環境の他のオブジェクトの残りのジェスチャとは依然として異なる。第２の実施形態は、ユーザ２によって遂行された任意の誤ったジェスチャからの回復を許す。
【００６８】
それ故に、破棄する代わりに、第１の実施形態でのように、オブジェクト８、１０、１２、１４、１６は、依然として選択可能だが、それは新しいジェスチャパスによってである。
【００６９】
オブジェクト８、１０、１２、１４、１６のジェスチャパスのみが変更される点に留意することは重要である。ユーザ２のジェスチャがジェスチャパスの最初のジェスチャと一致する、オブジェクト１８、２０のジェスチャパスは変更されない。これは、選択プロセスがこれらのオブジェクトに対して同じままであり、第２の実施形態による回復オプションの起動にもかかわらず、追加の選択時間にユーザが直面することはないという点で有利である。
【００７０】
誤ったジェスチャの場合、図７を参照して後述されるように、すべてのジェスチャの検出を再実行する必要がなく、希望するオブジェクトを依然として選択することができる。それ故に、第２の実施形態は、オブジェクトの選択の実行時間に関して最小限のコストで、誤ったジェスチャを元の状態に戻す（fixing）ことを許す。
【００７１】
本発明の第２の実施形態のアプローチは、各現在のしかし廃棄される可能性があるオブジェクトの各ジェスチャパスの動的なリアルタイム更新をもたらす。
【００７２】
有利に、ジェスチャパスの変更は、例えば、新しい赤い色又は不連続な矢印を使用するなどして、ユーザ２に視覚的に伝えることができる。
【００７３】
ジェスチャパスの変更があったとき、物理的な手の限界及びユーザの快適さも考慮される。それ故に、ジェスチャパスが、手２２をその初期の位置よりも遠ざけたり、又はユーザ２にとって潜在的に快適ではない領域に導いたとき、次に、再計算されたジェスチャパスは、その初期の位置の近くにユーザの手２２を戻したパス、又はより快適な位置にすら導くパスを好み、一方、すべてのオブジェクトに対する特徴的なジェスチャパスは維持する。
【００７４】
また、有利に、２Ｄジェスチャのみが考慮されるとき、ユーザ２は、３Ｄジェスチャを行うと、ジェスチャパスが再計算される。代替方法としては、例えば、ユーザに自身が好むジェスチャ領域を定義されるために、ユーザのジェスチャが評価される２Ｄ平面の向きは、ユーザの第１の３Ｄジェスチャから先ず推定することができる。
【００７５】
図７のフローチャートは、本発明の好ましい実施形態によるオブジェクトの選択の方法のステップを示す。
【００７６】
第１のステップ３０の間、環境レイアウトが、好ましくは３Ｄスキャニング（3D  scanning）を通して、推定される。この３Ｄスキャニングは、以下のステップの１つ又は組合せを含むことができる：
・デプスを検知すること、
・カラーステレオキャプチャ、
・イメージ特徴抽出、例えば、ユーザ２の場所（location）及び／又は方向（orientation）に特有の特徴を抽出するなどの、データベース特徴抽出により達成される可能性がある。既知のオブジェクトの事前学習データベースが、ユーザ環境のレイアウトの推定を助けるために、空間的／サイズの特徴、色特徴、デプス特徴などを通して説明されるオブジェクトにおいて使用することができる。例えば、椅子、ソファ、テーブルのデータベースがこの目的に使用することができる。
【００７７】
例えば、推定は、ユーザ２は、住居の特定の部屋にいると特定することができ、居間に例えば、ソファ、ＴＶ、コーヒーテーブルなどの関連するオブジェクトを認識することができる。
【００７８】
実際のオブジェクトの検出後、仮想オブジェクトが、例えば、同じ部屋の同じ場所に、又は他の部屋などの別の場所のいずれかのシーンに追加される。
【００７９】
ステップ３２で、環境の１つ以上のオブジェクトの部分的な又は全体的な隠蔽（occultation）が検出される。この隠蔽は、実際のオブジェクト及び／又は仮想オブジェクトの間で部分的に又は全体的に覆うことに一般的に起因する。
【００８０】
次に、検出された隠蔽は、ユーザに提示されるオブジェクトの外観を変更することによって、ステップ３４で処理される。例えば、ユーザの視点から見ると、完全に隠蔽されたオブジェクトは、例えば、半透明にオーバーレイすることによって、視覚的にアレンジされ、これらのオブジェクトのそれぞれに対して何らかの表示割当てを行う。例えば、２つの他のオブジェクトを完全に隠蔽しているオブジェクトは、３つに分かれてそのオリジナルの表示が見え、２つの他のオブジェクトは、元々隠蔽されたオブジェクトエリアの内部にいくらかの表示エリアが割当てられる。ユーザインタフェースにおけるレンダリングされたディスプレイでの半透明の及び／又は着色されたサブエリアは、そのような隠蔽処理の可能性がある出力である。
【００８１】
ステップ３６で、各オブジェクトに割当てられたジェスチャパスは、選択可能なオブジェクトと呼ばれ、ユーザによって選択できる。このジェスチャパスは、タグとしてヘッドマウントデバイス４上に表示される。
【００８２】
ステップ３８で、ユーザのジェスチャの開始（start）が検出される。次に、ジェスチャの遂行が推定される。
【００８３】
ステップ４０で、本発明の第２の実施形態によって、１つ以上のオブジェクトの１つ以上のジェスチャパスにこのジェスチャが一致しないと検出されたとき、このジェスチャパスは、更新される。
【００８４】
ステップ４２で、ユーザ２は、あるオブジェクトのジェスチャパスを完了したとき、そのオブジェクトが選択される。
【００８５】
この選択されたオブジェクトを使用してユーザができるアクションのリストが有利にユーザに表示される。
【００８６】
ある実施形態によると、オーディオフィードバックは、表示の代わりに、又は表示と組み合わせて、実装される。
【００８７】
ユーザは、次に希望するアクションを選ぶ。このアクションは、ズームのようなユーザインタフェースアクションであり得る。これは、また、選択されたオブジェクトを使用したコンテンツ再生又は任意の他のアクションでも良い。
【００８８】
ステップ４４で、希望するアクションが実行される。
【００８９】
図８は、本発明の実施形態による選択デバイス５０を図示する。
【００９０】
特に、ヘッドマウントディスプレイは、十分な処理能力と検出ハードウェア性能を有するときは、選択デバイス（selection  device）５０は、例えば、ヘッドマウントディスプレイ４自体である。それは、また、ＰＣ、スマートフォン、セットトップボックス、ゲートウェイ又は１つ以上のプロセッサ、ネットワーク接続性及びシーン（３Ｄ）検出能力を有する任意の他のデバイスであり得る。
【００９１】
選択デバイス５０は、環境分析モジュール（environment  analysis  module）５２を含む。この環境分析モジュール５２は、有利には、３Ｄシーンスキャナを含む。
【００９２】
選択デバイス５０は、また、環境分析モジュール５２によって検知される各選択可能なオブジェクトにジェスチャパスをアサインするように構成されたアサインメントモジュール（assignment  module）５４を含む。アサインメントモジュール５４は、必要なときに、本発明の第２の実施形態によって、ジェスチャパスを更新するように構成される。
【００９３】
実施形態によると、選択デバイス５０は、ユーザ２によって遂行されたジェスチャを分析するように構成されるジェスチャ分析モジュール（gesture  analysis  module）５６を含む。このジェスチャ分析モジュール５６は、好ましくは、平面（plan）（２Ｄジェスチャ）における、ユーザの手２２のジェスチャを検出するように構成される。
【００９４】
ユーザのジェスチャの３Ｄシーンスキャニング（3D  scene  scanning）及び識別／トラッキング（identification  /  tracking）は、例えば、ヘッドマウントディスプレイ４に組み込まれた及び／又はユーザ環境で空間的に限定されたカメラからのイメージセグメンテーションなどの視覚的な手がかり上で行われ、正確なユーザの手のトラッキング及びシーンレイアウト推定を許す。
【００９５】
代替案としては、ユーザのジェスチャの３Ｄシーンスキャニング及び識別／トラッキングは、タイムオブフライト選択（Time-Of-Flight  selection）、又は赤外線において投射されたパターンからのデプス推定、又はステレオビジョンカメラ、又はそれらの組合せによる、純粋なデプスセンシングに基づいて、ＤＥＰＴＨカメラを使用した３Ｄ特徴抽出により実行される。
【００９６】
本発明の好ましい実施形態として何が現在考慮されるべきかを図示して、説明したように、様々な他の変更が可能であり、本発明の真の範囲から逸脱することなく均等物と置換可能であることが、当業者によって理解される。加えて、多くの変形が、本明細書で説明される中心となる発明の概念から逸脱することなく本発明の教示に対する特定の状況に適応することができる。その上、本発明の実施形態は、上述のすべての構成要件を含む必要はないかもしれない。その結果、本発明は、説明される特定の実施形態に限定されることを意図しておらず、添付請求項の範囲に入るすべての実施形態を本発明は含む。
【００９７】
「備える（comprise）」、「含む（include）」、「包含する（incorporate）」、「含む（contain）」、「である（is）」及び「持つ、有する（have）」などの表現は、この説明及び関連する請求項を解釈するときに、非排他的な態様で解釈されるべきであり、すなわち、必要であるとも明示的に定義されていない他のアイテム又はコンポーネントを考慮に入れるように解釈すべきではない。単数形への言及は、また複数形への言及と解釈されるべきであり、逆もまた同様である。
【００９８】
本説明で開示した様々なパラメータは変更することができ、開示され、及び／又は請求される様々な実施形態は、本発明の範囲から逸脱することなく組み合わせることができることを、当業者であれば、容易に理解する。
【図１】
2018081694.tif 000003
【図２】
2018081694.tif 000004
【図３】
2018081694.tif 000005
【図４】
2018081694.tif 000006
【図５】
2018081694.tif 000007
【図６】
2018081694.tif 000008
【図７】
2018081694.tif 000009
【図８】
2018081694.tif 000010
【外国語明細書】
2018081694000001.pdf