(57)【要約】【解決手段】ジェスチャに基づく対話は、仮想現実画像、拡張現実画像、および複合現実画像のうち１つまたは複数を備える第１の画像を表示し、第１のジェスチャを取得し、第１のジェスチャおよび第１の画像に対応するサービスシナリオに少なくとも一部基づいて第１の操作を取得し、サービスシナリオには第１のジェスチャが入力されており、第１の操作に従って操作することを含む。【選択図】図２
2019535055.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
仮想現実画像、拡張現実画像、および複合現実画像のうち１つまたは複数を備える第１の画像を提供し、
第１のジェスチャを取得し、
前記第１のジェスチャおよび前記第１の画像に対応するサービスシナリオに少なくとも一部基づいて第１の操作を取得し、前記第１のサービスシナリオには前記第１のジェスチャが入力されており、
前記第１の操作に従って端末を操作すること
を備える方法。
【請求項２】
請求項１に記載の方法であって、前記第１の操作を取得することは、前記第１のジェスチャおよび前記第１の画像に対応する前記サービスシナリオに少なくとも一部基づいて記第１の操作を決定することを備える方法。
【請求項３】
請求項１に記載の方法はさらに、
前記第１の操作を決定する前に、
前記第１のジェスチャが入力された前記サービスシナリオに少なくとも一部基づいて、前記サービスシナリオに対応する対話モデルを取得し、
前記対話モデルに少なくとも一部基づいて、前記第１のジェスチャに対応する前記第１の操作を決定すること
を備える方法。
【請求項４】
請求項３に記載の方法であって、前記対話モデルは、ジェスチャ分類モデルおよびジェスチャタイプから操作へのマッピングを備え、前記ジェスチャ分類モデルは、前記第１のジェスチャに基づいて対応するジェスチャタイプを決定することに関連して使用される方法。
【請求項５】
請求項４に記載の方法であって、前記第１のジェスチャに対応する前記第１の操作を決定することは、
前記ジェスチャ分類モデルに少なくとも一部基づいて前記サービスシナリオの下で前記第１のジェスチャに関連付けられているジェスチャタイプを決定し、
前記第１のジェスチャに関連付けられている前記ジェスチャタイプ、およびジェスチャタイプから操作への前記マッピングに少なくとも一部基づいて前記第１の操作を決定すること
を備える方法。
【請求項６】
請求項３に記載の方法なさらに、
ユーザ情報に少なくとも一部基づいて前記第１のジェスチャに関連付けられているユーザに対応するジェスチャ分類モデルを取得することを備える方法。
【請求項７】
請求項６に記載の方法であって、前記ユーザに対応する前記ジェスチャ分類モデルを取得することは、
前記ユーザに関連付けられているユーザ識別子を取得し、
前記ユーザ識別子に対応する前記ジェスチャ分類モデルを取得し、１つのユーザ識別子は１つのジェスチャ分類モデルに一意に対応し、
前記対応するユーザが配置されているユーザグループを決定するための基礎としてユーザグループ分け情報および前記ユーザ情報を使用し、前記対応するユーザが配置されている前記ユーザグループに対応する前記ジェスチャ分類モデルを取得し、複数のユーザグループの中の１つのユーザグループは１人または複数のユーザを備え、１つのジェスチャ分類モデルに一意に対応すること
を備える方法。
【請求項８】
請求項６に記載の方法であって、前記ユーザに対応する前記ジェスチャ分類モデルを取得することは、
前記グループ分け情報および前記ユーザ情報に少なくとも一部基づいて、前記ユーザが属するユーザグループを決定し、
前記ユーザグループに対応する前記ジェスチャ分類モデルを取得し、１つのユーザグループは、１つまたは複数のユーザを備え、１つのジェスチャ分類モデルに一意に対応すること
を備える方法。
【請求項９】
請求項４に記載の方法はさらに、
前記サービスシナリオの下で前記第１のジェスチャを取得した後、第２のジェスチャを取得したことに応答して第２の操作を取得し、
前記第２の操作と前記第１の操作の関係に少なくとも一部基づいて前記ジェスチャ分類モデルを更新すること
を備える方法。
【請求項１０】
請求項９に記載の方法であって、前記ジェスチャ分類モデルを更新することは、
前記第１の操作の対象オブジェクトが前記第２の操作の対象オブジェクトと同じである場合、かつ前記第１の操作および前記第２の操作に対応する操作動作がそれぞれ異なる場合、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを更新し、および
前記第２の操作の前記対象オブジェクトが前記第１の操作の前記対象オブジェクトの副対象物である場合、前記第２のジェスチャに応答して前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを変更せず維持すること
のうち少なくとも１つを備える方法。
【請求項１１】
請求項１０に記載の方法であって、
前記第１の操作が第１のメニューを開くための操作に対応し、かつ前記第２の操作が前記第１のメニューを閉じるための操作に対応する場合、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャ分類モデルを更新し、または
前記第１の操作が第２のメニューを開くための操作に対応し、かつ前記第２の操作が前記第２のメニューから得られるメニュー選択肢を選択するための操作に対応する場合、前記第２のジェスチャを取得したことに応答して、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを変更せず維持する
方法。
【請求項１２】
請求項３に記載の方法はさらに、
前記第１のジェスチャおよび前記第１のジェスチャに応答して操作される前記第１の操作に関連付けられている情報を備える、前記サービスシナリオの下での対話操作情報をサーバに送信し、
前記サービスシナリオに対応する前記対話モデルを受信し、前記受信した対話モデルは前記サーバに送信された前記サービスシナリオの下での前記対話操作情報に少なくとも一部基づいて前記サーバにより更新されること
を備える方法。
【請求項１３】
請求項１に記載の方法であって、前記第１のジェスチャを取得することは、
ユーザの少なくとも一方の手により行われた前記第１のジェスチャから第１のジェスチャデータを取得し、
前記第１のジェスチャデータに少なくとも一部基づいて、前記少なくとも一方の手の１つまたは複数の関節を認識し、
前記１つまたは複数の認識された関節に少なくとも一部基づいて前記第１のジェスチャに関連付けられているジェスチャタイプを決定すること
を備える方法。
【請求項１４】
請求項１に記載の方法であって、前記第１のジェスチャは、
片手のジェスチャ、または両手を組み合わせたジェスチャ
を含む方法。
【請求項１５】
請求項１に記載の方法であって、前記第１の操作は、ユーザインタフェース操作を含む方法。
【請求項１６】
請求項１５に記載の方法であって、前記ユーザインタフェース操作は、メニュー操作を含む方法。
【請求項１７】
請求項１に記載の方法であって、前記サービスシナリオは、
仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ、ＶＲ）サービスシナリオ、または
拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ、ＡＲ）サービスシナリオ、または
複合現実（ｍｉｘｅｄ  ｒｅａｌｉｔｙ、ＭＲ）サービスシナリオ
を備える方法。
【請求項１８】
機器であって、
１つまたは複数のプロセッサであって、
仮想現実画像、拡張現実画像、および複合現実画像のうち１つまたは複数を備える第１の画像を提供し、
第１のジェスチャを取得し、
前記第１のジェスチャおよび前記第１の画像に対応するサービスシナリオに少なくとも一部基づいて第１の操作を取得し、前記第１の画像に対応するサービスシナリオは前記第１のジェスチャが入力された状況であり、
前記第１の操作に従って前記機器を操作する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリと
を備える機器。
【請求項１９】
機器であって、
１つまたは複数のプロセッサであって、
仮想現実シナリオ、拡張現実シナリオ、または複合現実シナリオの下で第１のジェスチャを取得し、
前記第１のジェスチャが、１つまたは複数の条件を満たすか否かを判断し、
前記第１のジェスチャが、前記１つまたは複数の条件を満たすと判断された場合、オーディオデータ、画像データ、ビデオデータのうち１つ、またはそれらの組合せを備えるデータ出力を制御する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されたている１つまたは複数のメモリと
を備える機器。
【請求項２０】
機器であって、
１つまたは複数のプロセッサであって、
第１の画像を提供し、前記第１の画像は第１のオブジェクトおよび第２のオブジェクトを備え、前記第１のオブジェクトおよび前記第２のオブジェクトのうち少なくとも一方は、仮想現実オブジェクト、拡張現実オブジェクト、または複合現実オブジェクトであり、
前記第１のオブジェクトに関連付けられている第１のジェスチャに関連付けられている情報を取得し、
前記第１のジェスチャに対応する第１の操作に少なくとも一部基づいて前記第２のオブジェクトを処理する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリと
を備える機器。
【請求項２１】
コンピュータプログラム製品であって、非一時的コンピュータ可読記憶媒体の形で具体化され、
端末により送信された対話操作情報を取得し、前記対話操作情報は、ジェスチャ情報、および前記ジェスチャ情報に少なくとも一部基づいて実行された操作を備え、
前記対話操作情報および前記対話操作情報に関連付けられているサービスシナリオに少なくとも一部基づいて、前記サービスシナリオに対応する対話モデルを更新し、前記対話モデルは、ジェスチャに基づく対応する操作の決定に関連して使用され、
前記更新された対話モデルを記憶し、
前記端末に前記更新された対話モデルを通信する
ためのコンピュータ命令を備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、参照により本明細書に事実上組み込まれる、２０１６年９月２９日に出願された、名称を「ジェスチャに基づく対話の方法および手段」とする中国特許出願２０１６１０８６６３６７．０号に基づく優先権を主張する。
【０００２】
本出願は、コンピュータ技術の分野に関する。特には、本出願は、ジェスチャに基づく対話のための方法、機器、およびシステムに関する。
【背景技術】
【０００３】
仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ、ＶＲ）技術は、仮想世界の作成および体験を可能にするコンピュータシミュレーション技術である。ＶＲ技術は、コンピュータを使用して、シミュレートされた環境を生成する。ＶＲ技術は、多数の情報源を融合させて、（シミュレートされた）環境にユーザを没入させる、対話型で３次元の動的で視覚的な物理的活動システムシミュレーションである。関連技術によれば、ＶＲ技術は、シミュレーション技術と、コンピュータ・グラフィックス・ヒューマン・マシン・インタフェース技術、マルチメディア技術、検出技術、ネットワーク技術、およびさまざまな他の技術との組合せである。いくつかの実装形態では、ＶＲ技術は、頭の回転、および目、手、または他の身体の動きに基づき、コンピュータを採用して、当事者の動きに適合したデータを処理して、ユーザ入力に対するリアルタイム応答を作り出すことができる。
【０００４】
拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ、ＡＲ）技術は、コンピュータ技術を使用して、現実世界に仮想情報を適用する。ＡＲ技術は、実環境および仮想オブジェクトが実際の環境に同時に存在するように、同じ環境または空間の上に実環境および仮想オブジェクトを重ね合わせる。
【０００５】
複合現実（ｍｉｘｅｄ  ｒｅａｌｉｔｙ、ＭＲ）技術は、拡張現実および仮想現実を含む。複合現実は、仮想世界（たとえば、デジタル物体を備える環境）と現実（たとえば、実際のオブジェクト）を組み合わせることにより生成される新しい視覚的環境を指す。新しい視覚的環境では、物理的オブジェクトおよび仮想オブジェクト（すなわちデジタルオブジェクト）は共存し、リアルタイムで対話する。ＡＲフレームワークによれば、実環境から仮想オブジェクトを比較的容易に区別することができる。対照的に、ＭＲフレームワークによれば、物理的オブジェクトおよび仮想オブジェクト、ならびに物理的環境および仮想環境は、一体的に統合される。
【０００６】
ＶＲ、ＡＲ、またはＭＲの技術では、１つのアプリケーションが、多くのサービスシナリオを有することができ、異なるサービスシナリオにおける同じユーザジェスチャが、実装を必要とする異なる仮想操作を有することができる。多重シナリオアプリケーションに関して、ジェスチャに基づく対話をどのように達成するかという問題に対する解決手段は、依然として存在しない。
【０００７】
以下の詳細な記述および添付図面で、本発明のさまざまな実施形態について開示する。
【図面の簡単な説明】
【０００８】
【図１】本出願のさまざまな実施形態による、ジェスチャに基づく対話のためのシステムの機能ブロック図である。
【０００９】
【図２】本出願のさまざまな実施形態による、ジェスチャに基づく対話のための方法のフローチャートである。
【００１０】
【図３】本出願のさまざまな実施形態による、ジェスチャに基づく対話のための方法のフローチャートである。
【００１１】
【図４】本出願のさまざまな実施形態による、ジェスチャに基づく対話のための方法のフローチャートである。
【００１２】
【図５】本出願のさまざまな実施形態による、ジェスチャに基づく対話のための方法のフローチャートである。
【００１３】
【図６】本出願のさまざまな実施形態による、ジェスチャに基づく対話のためのコンピュータシステムの機能図である。
【発明を実施するための形態】
【００１４】
本発明は、処理として、装置として、システムとして、物質の構成物として、コンピュータ可読記憶媒体に組み込まれたコンピュータプログラム製品として、ならびに／またはプロセッサ、例えば、プロセッサに接続されているメモリに記憶されている、および／もしくはプロセッサに接続されているメモリにより提供される命令を実行するように構成されたプロセッサを含む、さまざまな方法で実行され得る。本明細書では、これらの実装形態、または本発明が取り得る任意の他の形態を技術と呼んでよい。一般に、開示する処理のステップの順序は、本発明の範囲内で変更され得る。特に指定のない限り、タスクを実施するように構成されていると記述されるプロセッサまたはメモリなどの構成要素は、所与の時間にタスクを実施するように一時的に構成される一般的な構成要素として、またはタスクを実施するように製造された特殊な構成要素として実装されてよい。本明細書で使用するとき、「プロセッサ」という用語は、コンピュータプログラム命令などのデータを処理するように構成された１つまたは複数の機器、回路、および／もしくは処理コアを指す。
【００１５】
本発明の原理を例示する添付図と共に、本発明の１つまたは複数の実装形態の詳細な記述を以下に提供する。そのような実施形態に関連して本発明について記述するが、本発明はどの実施形態にも限定されない。本発明の範囲は、特許請求の範囲だけにより限定され、本発明は、数多くの代替形態、修正形態、および均等形態を包含する。本発明が十分に理解され得るように、以下の記述で数多くの具体的な詳細について示す。これらの詳細は、例示するために提供され、これらの具体的な詳細の一部またはすべてなしで、特許請求の範囲に従って本発明を実践することができる。明確にするために、本発明に関係がある技術分野で公知の技術要素については、本発明を不必要に不明瞭にしないように、詳細には記述していない。
【００１６】
本明細書で使用されるとき、端末は、一般にネットワークシステム内部で（たとえば、ユーザが）使用する、かつ１つまたは複数のサーバと通信するために使用する機器を指す。本開示のさまざまな実施形態によれば、端末は、通信機能を支援する構成要素を含む。たとえば、端末は、スマートホン、タブレット機器、携帯電話、ビデオ電話、電子書籍リーダ、デスクトップコンピュータ、ラップトップコンピュータ、ネットブックコンピュータ、パーソナルコンピュータ、携帯情報端末（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｃｅ、ＰＤＡ）、携帯マルチメディアプレーヤ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ、ＰＭＰ）、ｍｐ３プレーヤ、携帯医療機器、カメラ、ウェアラブル機器（たとえば、ヘッドマウント機器（Ｈｅａｄ−Ｍｏｕｎｔｅｄ  Ｄｅｖｉｃｅ、ＨＭＤ）、電子式生地、電子式装具、電子式ネックレス、電子式アクセサリ、電子式タトゥー、またはスマートウオッチ）、スマート家庭用電気製品、車両搭載移動局などとすることができる。端末はさまざまなオペレーティングシステムを走らせることができる。
【００１７】
端末は、さまざまな入出力モジュールを有することができる。たとえば、端末は、タッチスクリーンもしくは他の表示装置、１つもしくは複数のセンサ、音響入力（たとえば、ユーザの音声）を入力することができるマイクロホン、カメラ、マウス、または端末に接続された他の外部入力機器などを有することができる。
【００１８】
さまざまな実施形態が、ジェスチャに基づく対話方法を提供する。ジェスチャに基づく対話方法は、多数の実装形態（たとえば、サービスシナリオ）を伴うＶＲ、ＡＲ、またはＭＲの用途に適用することができる、または多数の実装形態を有する類似の用途に適している。さまざまな状況（たとえば、スポーツ関連の用途、戦闘関連の用途など）でジェスチャに基づく対話方法を実装することができる。いくつかの実施形態では、ジェスチャは端末により検出され、ジェスチャに少なくとも一部は基づきＶＲ、ＡＲ、またはＭＲのアプリケーションにコマンドまたは命令が提供される。たとえば、ジェスチャを検出したことに応答して、コマンドまたは命令を生成することができ、ＶＲ、ＡＲ、またはＭＲのアプリケーションにコマンドまたは命令を提供することができる。
【００１９】
さまざまな実施形態によれば、異なるサービスシナリオに対応するように対話モデルが設定される。ジェスチャに基づき対応する操作を決定するステップに関連して、対話モデルが使用され得る。対話モデルは、ジェスチャからコマンドへのマッピングを備えることができる、または他の方法でそのマッピングに対応することができる。対話モデルを端末にローカルに、またはサービスにおいてなど遠隔に記憶することができる。たとえば、対話モデルをデータベースに記憶することができる。対話モデルは、１つまたは複数のジェスチャ（たとえば、単一のジェスチャ、またはジェスチャの組合せ）が得られている場合に実施するコマンドを規定することができる。
【００２０】
さまざまな実施形態によれば、端末は、１つまたは複数のセンサを使用してジェスチャを得る。ジェスチャは、端末に関連付けられているユーザにより実行されたジェスチャに対応し得る。センサは、カメラ、撮像機器などを含むことができる。
【００２１】
多重シナリオアプリケーションを実行中の端末は、ユーザのジェスチャを得る（たとえば、取得する）場合、そのジェスチャが存在するサービスシナリオに対応する対話モデルを使用して、サービスシナリオの下でジェスチャに対応する操作を決定して、その操作を実行することができる。端末は、ジェスチャに関連付けられているアプリケーションまたはシナリオ（たとえば、ジェスチャが実行された、または他の方法で端末に入力された状況）を決定することができ、（たとえば、特定のサービスシナリオまたは状況に関する、操作からジェスチャへのマッピングに基づき）ジェスチャに対応する操作を決定することができる。したがって、多数のサービスシナリオが存在する場合、得られたジェスチャ（たとえば、ユーザのジェスチャ）に基づき実行される操作は、得られたジェスチャに適合するアプリケーションまたはシナリオ（たとえば、サービスシナリオ）である。
【００２２】
場合によっては、多重シナリオアプリケーションは、多くのサービスシナリオを有する。（たとえば、多重シナリオアプリケーションの中の）多数のサービスシナリオの間を切り替えることが可能である。たとえば、スポーツ関連の仮想現実アプリケーションは、多くのスポーツシナリオを、すなわち、卓球ダブルスのシナリオ、バドミントンダブルスのシナリオなどを備える。ユーザは、異なるスポーツシナリオおよび／または構成（たとえば、シングルスの卓球のシナリオ、シングルスのバドミントンのシナリオなど）の中から選択することができる。別の例として、シミュレートされた戦闘仮想現実アプリケーションは、多くの戦闘シナリオを、すなわち、ピストル射撃シナリオ、接近戦シナリオなどを備える。いくつかの実施形態では、ユーザの選択およびアプリケーション設定に従って、異なる戦闘シナリオの間を切り替えることが可能である。得られたジェスチャ（たとえば、ユーザのジェスチャ）に少なくとも一部は基づき、多重シナリオアプリケーションにより提供される多重シナリオの中から所望のシナリオを選択することができる。
【００２３】
場合によっては、アプリケーションは、別のアプリケーションを起動する。たとえば、ユーザまたは端末は、多数のアプリケーションの間を切り替えることができる。一例として、１つのアプリケーションが、１つのサービスシナリオに対応することができる。得られたジェスチャ（たとえば、ユーザのジェスチャ）に少なくとも一部は基づき、複数のアプリケーションの中から所望のアプリケーションを選択することができる。いくつかの実施形態では、ジェスチャは、複数のアプリケーションの間をトグルで切り替える（たとえば、規定された順序の複数のアプリケーションを反復する）ための機能に対応することができる。いくつかの実施形態では、ジェスチャは、特有のアプリケーション（たとえば、得られた特有のジェスチャに関連する、事前に規定されたアプリケーション）に切り替える、または特有のアプリケーションを選択するための機能に対応することができる。
【００２４】
サービスシナリオは事前に規定され得、またはサーバにより設定され得る。たとえば、多重シナリオアプリケーションの場合、アプリケーションの設定ファイルの中で、もしくはアプリケーションのコードの中で、シナリオ分割は事前に規定され得、またはサーバによりシナリオ分割は設定され得る。端末は、アプリケーションの設定ファイルの中に、サーバにより分割されたシナリオに関係がある情報を記憶することができる。いくつかの実施形態では、サービスシナリオの分割は、アプリケーションの設定ファイルの中に、またはアプリケーションのコードの中に、事前に規定される。サーバは、必要に応じてアプリケーションシナリオを再分割して、再分割されたサービスシナリオに関係がある情報を端末に送信することができ、その結果、多重シナリオアプリケーションの柔軟性が高まる。アプリケーションの設定ファイルの中で、もしくはアプリケーションのコードの中で、シナリオ再分割が事前に規定され得、またはサーバによりシナリオ再分割が設定され得る。多重シナリオアプリケーションに関して実施されたシナリオ分割を逆転することにより、シナリオ再分割を実施することができる。
【００２５】
場合によっては、多重シナリオアプリケーションを実行する端末は、多重シナリオアプリケーションを実行可能な任意の電子機器である。端末は、ジェスチャを得る（たとえば、取り込む）ように構成されている構成要素、取り込まれたジェスチャに対する応答操作をサービスシナリオに基づき行うように構成されている構成要素、さまざまなシナリオに関連付けられている情報を表示するように構成されている構成要素などを含むことができる。仮想現実アプリケーションを走らせる端末の一例として、ジェスチャを得るように構成されている構成要素は、赤外線カメラ、またはさまざまな種類のセンサ（たとえば、光センサまたは加速度計など）を含むことができ、（たとえば、情報を）表示するように構成されている構成要素は、仮想現実シナリオ画像、ジェスチャに基づく応答操作結果などを表示することができる。ジェスチャを得るように構成されている構成要素、さまざまなシナリオに関連する情報を表示するように構成されている構成要素、取り込まれたジェスチャに対する応答操作をサービスシナリオに基づき行うように構成されている構成要素などは、端末の一体部分でなくても良く、（たとえば、有線接続また無線接続を介して）端末に動作可能に接続されている外部構成要素であってもよい。
【００２６】
（Ｉ）サービスシナリオおよびユーザに対する対話モデルの対応
【００２７】
場合によっては、サービスシナリオに対応する対話モデルは、その多重シナリオアプリケーションを使用するすべてのユーザに適している。一例として、その多重シナリオアプリケーションを使用するすべてのユーザ（または１人または複数のユーザ）に関して、同じサービスシナリオの下でジェスチャに関して応答操作が行われる場合、そのようなユーザのすべては、同じ対話モデルを使用して、そのサービスシナリオの下でジェスチャに対応する操作を決定する。ジェスチャからコマンド（またはシナリオに関連して行われる操作）へのマッピングは、複数のユーザに関して同じ可能性がある。たとえば、多数のユーザにより提供された（たとえば、入力された）同じジェスチャは、そのようなジェスチャを得たことに応答して端末に同じ操作を行わせる。いくつかの実施形態では、ジェスチャからコマンド（またはシナリオに関連して行われる操作）へのマッピングは、複数のユーザに関して異なる可能性がある。たとえば、多数のユーザにより提供された（たとえば、入力された）同じジェスチャは、そのような同じジェスチャを得たことに応答して、異なるユーザに関して端末に異なる操作を行わせる。ユーザは、ジェスチャからコマンド（またはシナリオに関連して行われる操作）へのマッピングを構成することができる。
【００２８】
場合によっては、複数のユーザは得、異なるユーザグループが異なる対話モデルを使用し、１つのユーザグループ内のユーザが同じ対話モデルを使用する。ユーザグループに分割され得る。ユーザをユーザグループに分割することは、ユーザの挙動特性または挙動習慣をよりよく適合させることに関連して使用され得る（たとえば、異なるユーザが、ジェスチャからコマンドへの異なる相関関係を、自然である、または好ましいと思う可能性がある）。同じ、または類似する挙動特性または挙動習慣を有するユーザを、同じユーザグループに割り当てることができる。たとえば、ユーザの年齢に従ってユーザをグループ分けすることができる。一般に、異なる年齢のユーザは、そのようなユーザが同じタイプのジェスチャを実施するときでさえ、ユーザの手のサイズおよび手の動きに違いがあるために、ジェスチャ認識結果に違いを引き起こす可能性がある。１つまたは複数の他の要因（たとえば、身長および体重などのような、ユーザに関連する特性）に従ってユーザをグループ分けすることができる。本出願のさまざまな実施形態は、これに関して制限を有しない。
【００２９】
場合によっては、ユーザは、サービスまたはアプリケーションを登録する。たとえば、ユーザは、アプリケーションを実行させる端末を登録することができる、またはサービス（たとえば、シナリオに関連付けられているサービス）を提供するサーバを登録することができる。ユーザは、ユーザ登録に関連付けられている識別子を得ることができる。一例として、ユーザは、登録後、ユーザアカウント番号（たとえば、ユーザＩＤに対応するユーザアカウント番号）を得る。ユーザ登録情報は、ユーザの年齢情報を含むことができる。いくつかの実施形態では、異なるユーザグループが異なるユーザ年齢に対応するように、（たとえば、ユーザ登録情報に関連する）ユーザの年齢情報に少なくとも一部は基づき、複数のユーザを異なるユーザグループに分割する。ユーザ登録情報は、位置情報（たとえば、地理的位置）、（たとえば、好ましい言語またはネイティブ言語に関連する）言語情報、（たとえば、ユーザの特有のアクセス可能性要件に関連する）アクセス可能性情報などを含むことができる。前述のユーザ登録情報のうち１つまたは複数に少なくとも一部は基づき、複数のユーザはユーザグループに分割され得る。
【００３０】
場合によっては、ユーザは、多重シナリオアプリケーションを使用する前に（たとえば、サーバがホスティングし得る多重シナリオアプリケーション、または多重シナリオアプリケーションに関連付けられているサービス）にログオンする。ユーザは、ユーザアカウント番号を使用してログオンする。ログインリクエストに、またはログイン成功に応答して、ユーザアカウント番号を用いて、ユーザが登録した年齢情報を探索し、その結果、ユーザが属するユーザグループを決定することが可能である。その後すぐに、ユーザのグループに対応する対話モデルに基づいて、ユーザのジェスチャに対する応答操作が実行され得る。
【００３１】
表１は、サービスシナリオとユーザグループと対話モデルの間の関係を提示する。表１に提供するように、同じサービスシナリオの下で、異なるグループは、異なる対話モデルに対応する。当然のことながら、異なるユーザグループに対応する対話モデルが同じであることもまた可能である。一般性を失うことなく、１つのユーザグループに関して、異なるサービスシナリオの下で使用する対話モデルは、一般に異なる。対話モデルは、１つまたは複数のジェスチャから（たとえば、対応するジェスチャが得られていることに応答して走らせるべき）１つまたは複数のコマンドへの１組のマッピングに対応することができる。
【表１】
2019535055.tif 000003
【００３２】
場合によっては、各ユーザに対応する対話モデルがセットアップされ得る（たとえば規定され得る）。各ユーザ（またはユーザの各サブセット）に対応する対話のセットアップは、ユーザの挙動特性または挙動習慣に、よりよく適合させることに関連して使用され得る。いくつかの実施形態では、ユーザは、サービスまたはアプリケーションを登録する。たとえば、ユーザは、アプリケーションを実行させる端末を登録することができる、またはサービス（たとえば、シナリオに関連付けられているサービス）を提供するサーバを登録することができる。ユーザは、ユーザ登録に関連付けられている識別子を得ることができる。一例として、ユーザは、登録後、ユーザアカウント番号（たとえば、ユーザＩＤに対応するユーザアカウント番号）を得る。異なるユーザＩＤは、異なる対話モデルに対応する。いくつかの実施形態では、多重シナリオアプリケーションを使用する前に、ユーザは、（サーバによってホスティングされ得る多重シナリオアプリケーション、または多重シナリオアプリケーションに関連付けられているサービス）にログオンする。ユーザは、ユーザアカウント番号を使用してログオンする。ログインリクエストに、またはログイン成功に応答して、ユーザアカウント番号を用いてユーザのＩＤを検索する（たとえば、調べる）ことができ（またはユーザのＩＤに対応するユーザアカウント番号を検索することができ）、その後すぐに、ユーザのＩＤに対応する対話モデルに基づき、ユーザのジェスチャに対する応答操作を実行する。
【００３３】
表２は、サービスシナリオとユーザＩＤと対話モデルの間の関係を提示する。表２に提供するように、同じサービスシナリオの下で、異なるユーザＩＤは異なる対話モデルに対応する。一般性を失うことなく、同じユーザＩＤに関して、異なるサービスシナリオの下で使用する対話モデルは、一般に異なる。対話モデルは、１つまたは複数のジェスチャから（たとえば、対応するジェスチャが得られることに応答して実行するための）１つまたは複数のコマンドへの１組のマッピングに対応し得る。
【表２】
2019535055.tif 000004
【００３４】
（ＩＩ）対話モデルの入力および出力
【００３５】
いくつかの実施形態では、対話モデルは、ジェスチャと操作の間の対応関係を規定する。対話モデルの入力データは、ジェスチャデータを含むことができる。出力データは、操作情報（操作コマンドなど）を含むことができる。一例として、操作情報は、関連入力データが得られていることに応答して呼び出されるべき１つまたは複数の機能（または実施されるべき操作）を備えることができる。別の例として、操作情報は、実行されるべき、または関連入力データが得られていることに応答して端末が切り替えられるべき、１つまたは複数のアプリケーションに対応することができる。
【００３６】
（ＩＩＩ）対話モデルの構造
【００３７】
いくつかの実施形態では、対話モデルは、ジェスチャ分類モデル、およびジェスチャタイプと操作の間のマッピング関係を含む。ジェスチャに基づき（たとえば、得られた１つまたは複数のジェスチャに基づき）対応するジェスチャタイプを決定するステップに関連してジェスチャ分類モデルが使用され得る。ジェスチャ分類モデルは、すべてのユーザに適用可能とすることができる。異なるユーザグループに関して各ジェスチャ分類モデルを構成すること、または異なるユーザに関して各ジェスチャ分類モデルを構成することもまた可能である。サンプルトレーニングを通して、またはユーザジェスチャおよびジェスチャに基づく操作に関する学習を通して、ジェスチャ分類モデルを得ることができる。たとえば、端末または（たとえば、サービスにより提供される）サービスをトレーニングするようにユーザを促して、ジェスチャ分類モデルを規定するステップに関連する操作と１つまたは複数のジェスチャを関連づけることができる。
【００３８】
ジェスチャ分類モデル、またはその一部分を端末にローカルに、またはサーバ（たとえば、端末が通信状態にあるサーバ、および／または端末にサービスを提供するサーバ）に遠隔的に記憶することができる。
【００３９】
サービスシナリオを更新する必要がない限り、ジェスチャタイプと操作の間のマッピング関係は、一般に元のまま残る。異なるサービスシナリオに関して、必要に応じてジェスチャタイプと操作の間のマッピング関係を事前に規定することが可能である。いくつかの実施形態では、ジェスチャタイプと操作の間のマッピング関係をユーザが構成することができる。ユーザの嗜好、ユーザ設定、またはユーザが端末にジェスチャを入力することに関連する履歴情報に従って、ジェスチャタイプと操作の間のマッピング関係を設定することができる。
【００４０】
（ＩＶ）対話モデルにより規定されるジェスチャタイプおよび操作
【００４１】
さまざまな実施形態によれば、ジェスチャタイプは、１つまたは複数のジェスチャタイプに対応する。ジェスチャタイプは、片手ジェスチャタイプ、両手ジェスチャタイプ、片手または両手の１本または複数の指を使用するジェスチャ、顔の表情、ユーザの身体の１つまたは複数の部分の動きなどを含むことができる。
【００４２】
片手ジェスチャタイプは、片手の手のひらの中心の向きをＶＲオブジェクトに合わせるジェスチャを含むことができる。たとえば、そのような片手ジェスチャタイプは、ＶＲオブジェクトに向かって移動するジェスチャ、ＶＲオブジェクトから離れる方向へ移動するジェスチャ、手のひらが前後に動くジェスチャ、手のひらがＶＲシナリオ画像の平面に平行に、またはその上方に動くジェスチャなどを含むことができる。
【００４３】
片手ジェスチャタイプは、片手の手のひらの中心がＶＲオブジェクトから離れる方向を向くジェスチャを含むことができる。たとえば、そのような片手ジェスチャタイプは、ＶＲオブジェクトに向かって移動するジェスチャ、ＶＲオブジェクトから離れる方向へ移動するジェスチャ、手のひらが前後に動くジェスチャ、手のひらがＶＲシナリオ画像の平面に平行に、またはその上方に動くジェスチャなどを含むことができる。
【００４４】
片手ジェスチャタイプは、片手の拳を握りしめるジェスチャ、または片手の指を合わせるジェスチャを含むことができる。
【００４５】
片手ジェスチャタイプは、片手の握り拳を開くジェスチャ、または指を大きく広げるジェスチャを含むことができる。
【００４６】
片手ジェスチャタイプは、右手ジェスチャを含むことができる。
【００４７】
片手ジェスチャタイプは、左手ジェスチャを含むことができる。
【００４８】
両手ジェスチャタイプは、左手の手のひらの中心をＶＲオブジェクトに向けて、右手の手のひらの中心の向きをＶＲオブジェクトから離れる方向に向ける組合せジェスチャを含むことができる。
【００４９】
両手ジェスチャタイプは、右手の手のひらの中心をＶＲオブジェクトに向けて、左手の手のひらの中心の向きをＶＲオブジェクトから離れる方向へ向ける組合せジェスチャを含むことができる。
【００５０】
両手ジェスチャタイプは、左手の１本または複数の指を大きく広げて（たとえば、仮想クリック活動などの、選択に関連する事前に規定された運動を実施することにより）右手の１本の指が選択を入力する組合せジェスチャを含むことができる。
【００５１】
両手ジェスチャタイプは、左手および右手を互いに周期的に交差させるジェスチャを含むことができる。
【００５２】
さまざまな他の片手ジェスチャタイプおよび／または両手ジェスチャタイプが可能である。
【００５３】
ジェスチャタイプと操作の間のさまざまなマッピング関係が可能である。ジェスチャタイプと操作の間の１つまたは複数の規定されたマッピング関係の例を以下で提供する。
【００５４】
片手の拳を開くこと、または指を大きく広げることを含むジェスチャを、メニューを開くことに関連付けられている操作にマッピングすることができる。たとえば、そのような片手ジェスチャの入力に応答して、現在操作されている（たとえば、端末の表示装置上で実行している、またはそこに表示している）アプリケーションに関連するメニューを開くことができる。別の例として、そのような片手ジェスチャの入力に応答して、バックグラウンドで走らせているオペレーティングシステムまたは他のアプリケーションに関連するメニューを開くことができる。
【００５５】
片手の拳を握りしめること、または指を合わせることを含むジェスチャを、メニューを閉じることに関連付けられている操作にマッピングすることができる。たとえば、そのような片手ジェスチャの入力に応答して、現在操作している（たとえば、端末の表示装置上で実行している、またはそこに表示している）アプリケーションに関連するメニューを閉じることができる。
【００５６】
片手の１本の指が選択を入力する（たとえば、タッチスクリーン上などで端末をタッチすることによる）こと含むジェスチャを、メニュー内のメニュー選択肢を選択すること（たとえば、メニュー内の選択肢を選択すること、または次の下位レベルのメニューを開くこと）に関連する操作にマッピングすることができる。
【００５７】
右手の手のひらの中心の向きをＶＲオブジェクトに向けて、左手の手のひらの中心の向きをＶＲオブジェクトから離れたる方向に向ける組合せジェスチャを、メニューを開いて、１本の指が選択したメニュー選択肢を選択することに関連する操作にマッピングすることができる。
【００５８】
上記は、単なる例である。実際に適用する際には、ジェスチャタイプと操作の間のマッピング関係を、必要に応じて、または他の方法で要求に応じて規定することができる。
【００５９】
（Ｖ）対話モデルを構築する方法
【００６０】
対話モデルまたはジェスチャ分類モデルを、前もって構築すること、または他の方法であらかじめ規定することができる。たとえば、対話モデルまたはジェスチャ分類モデルをアプリケーションのインストールパッケージでセットアップし、その結果、アプリケーションをインストールした後、端末に記憶することができる。別の例として、サーバが、対話モデルまたはジェスチャ分類モデルを端末に送信することができる。サーバが対話モデルまたはジェスチャ分類モデルを端末に送信する構築方法は、すべてのユーザに適用可能な対話モデルまたはジェスチャ分類モデルに適している（この状況では、特有の対話モデルまたはジェスチャ分類モデルは、特有のユーザのために必要ない）。
【００６１】
場合によっては、初期対話モデルまたは初期ジェスチャ分類モデルを前もって規定され得る。いくつかの実施形態では、前もって規定された対話モデルおよびジェスチャ分類モデルは更新される。たとえば、ジェスチャに関する統計情報またはジェスチャに基づく操作に関する統計情報に少なくとも一部は基づき、前もって規定された対話モデルまたはジェスチャ分類モデルは更新、または他の方法で修正され得る。前もって規定された対話モデルまたはジェスチャ分類モデルに対する更新または修正は、自己学習処理に基づき実施され得る。自己学習処理は、前もって規定された対話モデルまたはジェスチャ分類モデルに対する更新または修正に関連する（たとえば、アプリケーションの）ユーザ使用法データを使用する。いくつかの実施形態では、端末は、前もって規定された対話モデルまたはジェスチャ分類モデルを更新することができる。いくつかの実施形態では、サーバは、前もって規定された対話モデルまたはジェスチャ分類モデルを更新することができる。それに応じて、履歴情報または統計情報を使用して（たとえば、端末またはサーバにより）更新を通知することに基づき、対話モデルまたはジェスチャ分類モデルを絶えず改善する（最適化する）ことができる。履歴情報または統計情報は、アプリケーション、端末、および／またはジェスチャの入力の使用法に関連付けられている情報を含む。この構築方法は、特有のユーザに適用可能な対話モデルまたはジェスチャ分類モデルに適している。
【００６２】
場合によっては、初期対話モデルまたは初期ジェスチャ分類モデルが前もって規定される。その後、端末は、ジェスチャおよびジェスチャに基づく操作に関する統計情報（または履歴情報）をサーバに送信する。サーバは、統計情報を分析して、ジェスチャおよびジェスチャに基づく操作に関する統計情報に従って、対話モデルまたはジェスチャ分類モデルを更新することができる。対話モデルまたはジェスチャ分類モデルに対する更新に関連付けられている情報を、端末によって得ることができる。たとえば、サーバは、更新された対話モデルまたはジェスチャ分類モデルを端末に送信することができる。対話モデルまたはジェスチャ分類モデルが更新されると、更新された対話モデルまたはジェスチャ分類モデルを端末（または複数の端末）にプッシュされ得る、および／または前もって規定された時間に従って、対話モデルまたはジェスチャ分類モデルは端末に送信され得る。それに応じて、対話モデルまたはジェスチャ分類モデルは、履歴情報または統計情報を使用して（たとえば、学習手法により）更新を通知するために、絶えず改善される（たとえば、最適化される）。履歴情報または統計情報は、アプリケーション、端末、および／またはジェスチャ入力の使用法に関連する情報を含む。この構築方法は、特有のユーザグループに適用可能な、またはすべてのユーザに適用可能な対話モデルまたはジェスチャ分類モデルに適している。任意選択的に、サーバは、クラウドに基づくオペレーティングシステムを採用することができる。一例として、サーバは、サーバのクラウドコンピューティング能力を使用して、そこから恩恵を受けることができる。当然のことながら、この構築方法はまた、特有のユーザに適用可能な対話モデルまたはジェスチャ分類モデルに適している。サーバは、更新された対話モデルを記憶することができ、更新された対話モデルを端末に通信することができる。
【００６３】
図面を考慮して、本出願の実施形態の詳細な記述を以下で提供する。
【００６４】
図１は、本出願のさまざまな実施形態による、ジェスチャに基づく対話のためのシステムの機能ブロック図である。
【００６５】
図１を参照すると、ジェスチャに基づく対話のためのシステム１００が提供される。システム１００は、図２の処理２００、図３の処理３００、図４の処理４００、および／または図５の処理５００のすべてまたは一部を実装することができる。図６のコンピュータシステム６００によりシステム１００を実装することができる。
【００６６】
図１に示すように、システム１００は、１つまたは複数の機能を実施する１つまたは複数のモジュール（たとえば、ユニットまたは機器）を含むことができる。たとえば、システム１００は、シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、対話評価モジュール１３０、対話モデルモジュール１４０、操作実行モジュール１５０、および対話モデル学習モジュール１６０を含む。
【００６７】
シナリオ認識モジュール１１０は、サービスシナリオを認識するように構成される。シナリオ認識モジュール１１０により得られる認識結果は、端末またはサーバの状況に関連付けられている情報（たとえば、端末またはサーバ上で実行されているアプリケーション、端末またはサーバに関連付けられている、またはログインしたユーザなど）を含むことができる。ジェスチャ認識モジュール１２０は、ユーザのジェスチャを認識するように構成されている。ジェスチャ認識モジュール１２０により得られる認識結果は、指および／または指関節の状態および動きに関連付けられている情報を含むことができる。対話評価モジュール１３０は、得られたサービスシナリオに関連して得られたジェスチャに対応する操作を決定する。たとえば、対話評価モジュール１３０は、認識されたサービスシナリオおよび認識されたジェスチャを使用して、得られたサービスシナリオに関連して得られたジェスチャに対応する操作を決定することができる。対話モデルモジュール１４０は、対話モデル（たとえば、ジェスチャとサービスシナリオの間のマッピング）を記憶するように構成されている。対話評価モジュール１３０は、得られたサービスシナリオに関連して得られたジェスチャに対応する操作を決定するための基礎として、対話モデルモジュール１４０に記憶されている対話モデルを使用することができる。対話評価モジュール１３０は、得られたジェスチャおよび得られたサービスシナリオに関連付けられている操作に関して、対話モデルモジュール１４０に記憶されているジェスチャとサービスシナリオの間のマッピングを検索することができる。操作実行モジュール１５０は、対話モデルにより決定された操作を実行するように構成されている。一例として、操作実行モジュール１５０は、操作に関連付けられている命令を実行するための１つまたは複数のプロセッサを含むことができる。対話モデルにより決定された操作は、アプリケーションを開く、またはアプリケーションに切り替えること、アプリケーションのメニューを得る、または表示すること、端末のアプリケーションまたはオペレーティングシステムの特有の機能を実施することなどを含むことができる。対話モデル学習モジュール１６０は、統計情報または履歴情報を分析するように構成されている。たとえば、対話モデル学習モジュール１６０は、操作実行モジュール１５０により実行された操作に関連付けられている統計情報を分析することができる。たとえば、対話モデル学習モジュール１６０は、操作実行モジュール１５０により実行された操作に関連付けられている統計情報を学習して、対応する対話モデルを改善する、または最適化することができる。対話モデル学習モジュール１６０は、対話モデルモジュール１４０に記憶されている対応する対話モデルを更新することができる。
【００６８】
対話モデルモジュール１４０は、記憶媒体であり得る。場合によっては、記憶媒体は、シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、対話評価モジュール１３０、操作実行モジュール１５０、および対話モデル学習モジュール１６０のうち１つまたは複数にローカルに存在することができる。たとえば、記憶媒体は、シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、対話評価モジュール１３０、操作実行モジュール１５０、および対話モデル学習モジュール１６０のうち１つまたは複数を備える端末にローカルに存在することができる。場合によっては、記憶媒体は、シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、対話評価モジュール１３０、操作実行モジュール１５０、および対話モデル学習モジュール１６０のうち１つまたは複数に対して遠隔的に存在することができる。たとえば、ネットワーク（たとえば、ＬＡＮなどの有線ネットワーク、インターネットまたはＷＡＮなどの無線ネットワークなど）を介して、シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、対話評価モジュール１３０、操作実行モジュール１５０、および対話モデル学習モジュール１６０のうち１つまたは複数に記憶媒体を接続することができる。
【００６９】
シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、対話評価モジュール１３０、対話モデルモジュール１４０、操作実行モジュール１５０、および対話モデル学習モジュール１６０のうち１つまたは複数を１つまたは複数のプロセッサにより実行され得る。１つまたは複数のプロセッサは、シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、対話評価モジュール１３０、対話モデルモジュール１４０、操作実行モジュール１５０、および対話モデル学習モジュール１６０の１つまたは複数の機能の実行に関連する命令を実行することができる。場合によっては、シナリオ認識モジュール１１０、ジェスチャ認識モジュール１２０、対話評価モジュール１３０、対話モデルモジュール１４０、操作実行モジュール１５０、および対話モデル学習モジュール１６０のうち１つまたは複数は、少なくとも一部にはカメラなどのような１つまたは複数のセンサにより実行され、または接続される。たとえば、ジェスチャ認識モジュール１２０は、カメラ、またはユーザなどのオブジェクトの動きまたは場所を検出するように構成されている別のセンサから得られる、指および／または指関節の状態および動きに関連付けられている情報を得ることができる。
【００７０】
いくつかの実施形態では、対話評価モジュール１３０は、対応する対話モデルを決定するための基礎としてユーザ情報を使用することができる、および／またはユーザ情報に対応する、決定された対話モデルを使用して、認識されたサービスシナリオの下でユーザの適切なジェスチャに対応する操作を決定することができる。
【００７１】
図２は、本出願のさまざまな実施形態による、ジェスチャに基づく対話のための方法のフローチャートである。
【００７２】
図２を参照すると、ジェスチャに基づく対話のための処理２００が提供されている。図１のシステム１００および／または図６のコンピュータシステム６００により、処理２００の全てまたは一部を実装することができる。端末により処理２００を実行することができる。対応する多重シナリオアプリケーションが始動する場合、処理２００を起動することができる。たとえば、多重シナリオアプリケーションを実行させるように選択されたことに応答して、処理２００を実施することができる。
【００７３】
２１０では、第１の画像が提供される。たとえば、端末により第１の画像が表示される。対応する多重シナリオアプリケーションが始動するとき（たとえば、それに応答して）、第１の画像が表示され得る。いくつかの実施形態では、第１の画像は、仮想現実画像、拡張現実画像、および複合現実画像のうち１つ、またはそれらの２つ以上の組合せを備える。端末の表示装置、または端末に動作可能に接続された表示装置（たとえば、タッチスクリーン、端末に接続されたヘッドセットなど）を使用して、第１の画像は表示され得る。端末によりアプリケーションが実行されていることに関連して、第１の画像は表示され得る。いくつかの実施形態では、表示するためにサーバにより端末に第１の画像が送信される。第１の画像は、ビデオなどの複数の画像に対応、またはビデオなどの複数の画像を備え得る。第１の画像は端末にローカルに記憶され得る。対応する多重シナリオアプリケーションと共に、端末上に第１の画像が記憶され得る。いくつかの実施形態では、第１の画像は、端末により生成される。いくつかの実施形態では、端末は、遠隔のリポジトリから（たとえば、サーバから）第１の画像を得ることができる。
【００７４】
２２０では、ユーザのジェスチャが得られる。第１のジェスチャを得るステップに関連して、１つまたは複数のセンサが用いられ得る。たとえば、１つまたは複数のセンサは、画像を取り込むように構成されているカメラ、画像を取り込むように構成されている赤外線カメラ、音響を取り込むように構成されているマイクロホン、タッチに関連する情報を取り込むように構成されているタッチスクリーンなどを含み得る。１つまたは複数のセンサは、端末の一部であってよく、または端末に接続されても良い。端末は、第１のジェスチャを得るために、１つまたは複数のセンサから情報を得て、１つまたは複数のセンサから得た情報を集約、または組み合わせ得る。たとえば、端末は、１つまたは複数のセンサから得た情報に少なくとも一部は基づいて第１のジェスチャを決定することができる。
【００７５】
いくつかの実施形態では、ユーザのジェスチャを取り込む複数のモードが提供される。たとえば、赤外線カメラを使用して、画像を取り込むことができ、取り込んだ画像に対してジェスチャ認識を実施することにより、ユーザのジェスチャを得ることができる。それに応じて、素手のジェスチャを取り込むことが可能である。
【００７６】
１つまたは複数のセンサにより得られた情報は、雑音または他の歪みを含む可能性がある。いくつかの実施形態では、そのような雑音または他の歪みを除去または低減するために、１つまたは複数のセンサにより得られた情報が処理され得る。１つまたは複数のセンサにより得られた情報の処理は、画像強調、画像２値化、グレースケール変換、雑音除去などのうち１つまたは複数を含むことができる。他の前処理技術が実行され得る。
【００７７】
たとえば、ジェスチャ認識の精度を改善するために、赤外線カメラにより取り込まれた画像は、雑音を除去するために前処理され得る。
【００７８】
一例として、画像に対して画像強調処理を実施することができる。外部照明が不十分である、または強すぎる場合、取り込んだ画像を改善するために、輝度強調が使用され得る。画像強調は、ジェスチャ検出および認識の精度を改善することができる。具体的には、輝度パラメータ検出が実施され得る。輝度パラメータ検出は、ビデオフレームの平均Ｙ値の計算、およびしきい値Ｔの使用を含み得る。Ｙ＞Ｔである場合、輝度が過大であると判断される。そうではなくＹ≦Ｔである場合、取り込まれた画像は十分薄暗いとみなされる。いくつかの実施形態では、非線形アルゴリズムを使用して、Ｙ強調を計算する。Ｙ強調は、たとえば、Ｙ’＝Ｙ×ａ＋ｂに従って計算され得る。式中、ａは重み値に対応し、ｂはオフセット値である。
【００７９】
一例として、画像に対して画像２値化処理が実行され得る。画像２値化は、画像上の画素点のグレースケール値を０または２５５に設定することを指す。たとえば、画像が全体として明白な白黒効果を示すように、２値化を使用して画像が処理される。
【００８０】
一例として、画像に対してグレースケール画像変換処理が実行され得る。ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ）モデルでは、Ｒ＝Ｇ＝Ｂである場合、色はグレースケール色として表現され、そこでは、Ｒ＝Ｇ＝Ｂの値はグレースケール値と呼ばれる。したがって、グレースケール画像の各画素は、グレースケール値を記憶するために１バイトだけを必要とする（また、強度値または輝度値とも呼ばれる）。グレースケール値の範囲は、０〜２５５である。
【００８１】
一例として、画像に対して雑音除去処理が実行され得る。雑音除去は、画像から雑音点を除去すること（または低減すること）
を含むことができる。
【００８２】
いくつかの実施形態では、ジェスチャの精度要件および性能要件（応答速度など）は、画像前処理を実施すべきか否かの決定、または使用すべき画像処理方法を決定するための基礎として役立つ可能性がある。
【００８３】
１つまたは複数のセンサから得た情報に少なくとも一部は基づき、第１のジェスチャが決定され得る。たとえば、１つまたは複数のセンサのセンサから得た情報に対応するジェスチャを得るために探索が実行され得るように、ジェスチャと１つまたは複数のセンサから得た情報の特性との間のマッピングが記憶され得る。第１の画像に対応するジェスチャが得られる。
【００８４】
ジェスチャの認識中、ジェスチャ分類モデルを使用して、ジェスチャが認識され得る。ジェスチャ分類モデルを使用してジェスチャが認識されるとき、モデルの入力パラメータは、赤外線カメラを用いて取り込まれた画像（または前処理された画像）とされ、出力パラメータはジェスチャタイプとされ得る。サポート・ベクター・マシン（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ、ＳＶＭ）、畳込ニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ、ＣＮＮ）、ＤＬ、または任意の他の適切な取り組み方法に基づき、学習による取り組み方法を使用してジェスチャ分類モデルが得られ得る。ジェスチャ分類モデルは、端末にローカルに、またはサーバに遠隔に記憶され得る。ジェスチャ分類モデルがサーバに遠隔的に記憶される場合、端末は、第１の画像に関連する情報をサーバに送信することができ、サーバは、第１のジェスチャ（または、関連するジェスチャタイプ）を決定するために、ジェスチャ分類モデルを使用し得る、または端末は、第１のジェスチャ（または関連するジェスチャタイプ）を端末が決定できるように、ジェスチャ分類モデルに関連付けられている情報を得ることができる。
【００８５】
さまざまな実施形態が、指を曲げるジェスチャなどの、さまざまなタイプのジェスチャをサポートする。それに応じて、このタイプのジェスチャを認識するために、関節認識が実行され得る。関節認識に基づく指関節の状態の検出が可能であり、その結果、対応するタイプのジェスチャが決定され得る。関節認識技法の例には、Ｋｉｎｅｃｔアルゴリズム、および他の適切なアルゴリズムが含まれる。いくつかの実施形態では、関節認識が実施される関節情報を得るために、手のモデリングが使用される。
【００８６】
２３０では、第１の操作が得られる。たとえば、第１のジェスチャに少なくとも一部は基づき、第１の操作が決定され得る。第１の操作を得るステップは、端末またはサーバが第１の操作を決定するステップを備えることができる。いくつかの実施形態では、第１のジェスチャ、および第１の画像に対応するサービスシナリオに少なくとも基づき、第１の操作が決定される。第１の操作は、第１の画像に対応するサービスシナリオの状況で第１のジェスチャに対応する第１の操作を見つけ出すために、ジェスチャとサービスシナリオの間のマッピングに対して探索を実施することにより得られ得る。第１の操作は、単一の操作、または２つ以上の操作の組合せに対応する可能性がある。いくつかの実施形態では、多重シナリオアプリケーションは、複数のサービスシナリオを含み、第１の画像は、複数のサービスシナリオのうち少なくとも１つに関連付けられている。第１の画像に対応するサービスシナリオは、第１の画像に対応するサービスシナリオを見つけ出すために、ジェスチャとサービスシナリオの間のマッピングに対して探索を実施することにより得られ得る。いくつかの実施形態によれば、画像が複数のサービスシナリオに関連付けられている場合、第１の画像に対応するサービスシナリオは、ジェスチャと画像と第１の画像の間のマッピングに対して探索を実施することにより得られ得る。
【００８７】
２４０では、第１の操作に従う機器の操作が実行される。いくつかの実施形態では、端末は、第１の操作に従って操作される。たとえば、端末は、第１の操作を実行することができる。
【００８８】
いくつかの実施形態では、第１の操作は、ユーザインタフェース操作に対応する。たとえば、第１の操作は、メニュー操作（たとえば、メニューを開く、メニューを閉じる、現在のメニューのサブメニューを開く、現在のメニューからメニュー選択肢を選択する、または他のそのような操作）であり得る。したがって、メニュー操作の実施に関連して、メニューを開く、メニューを描画する、およびユーザにメニューを表示することを含む、さまざまな操作が実行され得る。いくつかの実施形態では、ＶＲ表示構成要素を使用して、ユーザにメニューが表示される。いくつかの実施形態では、ＡＲまたはＭＲの表示構成要素を使用して、ユーザにメニューが表示される。
【００８９】
さまざまな実施形態によれば、第１の操作は、メニュー操作に限定されない。さまざまな他の操作（たとえば、アプリケーションを開く、アプリケーションに切り替える、インターネットまたはウェブサービスから特有の情報を得るなど）が実行され得る。たとえば、第１の操作は、音声プロンプト操作などの別の操作であっても良い。
【００９０】
さまざまな実施形態によれば、複数のサービスシナリオが存在する場合、現在のサービスシナリオに適合するように、ジェスチャに基づき実行される操作が行われる（たとえば、選択される）。
【００９１】
処理２００は、サービスシナリオに対応する対話モデルを得ることをさらに含むことができる。たとえば、第１のジェスチャが得られたサービスシナリオに少なくとも一部は基づき、対話モデルが取得され得る。２３０が実行される前に、対話モデルが得られ得る。いくつかの実施形態では、２３０において、第１のジェスチャに従って、サービスシナリオの下で第１のジェスチャに対応する第１の操作を決定するために、サービスシナリオに対応する対話モデルが使用される。
【００９２】
さまざまな実施形態によれば、対話モデルは、ジェスチャ分類モデル、およびジェスチャタイプと操作の間のマッピング関係を含む。いくつかの実施形態では、２３０において、第１のジェスチャに従って、サービスシナリオの下で第１のジェスチャに関連するジェスチャタイプを決定するために、サービスシナリオに対応するジェスチャ分類モデルが使用される。たとえば、第１のジェスチャおよびマッピング関係に関連付けられているジェスチャタイプは、サービスシナリオの下で第１のジェスチャに対応する第１の操作を決定するための基礎の役割を果たす。
【００９３】
異なるユーザグループが対応する対話モデルおよびジェスチャ分類モデルを具備する場合（たとえば、すべてのユーザグループが、同一の対応する対話モデルおよびジェスチャ分類モデルを有するわけではない場合）、第１のジェスチャを行ったユーザに関する情報を取得すること、そのようなユーザ情報をユーザが属するユーザグループを決定することに関連して使用すること、およびユーザグループに対応するジェスチャ分類モデルを取得することが可能である。いくつかの実施形態では、ユーザに関するユーザグループ情報およびユーザ情報（たとえば、ユーザの年齢、ユーザの位置など）は、ユーザが属するユーザグループを決定するための基礎の役割、およびユーザが属するユーザグループに対応するジェスチャ分類モデルを取得するための基礎の役割を果たす。
【００９４】
いくつかの実施形態では、２人のユーザが、異なる対話モデルおよび／またはジェスチャ分類モデルを有する。たとえば、各ユーザは、具体的にはそのようなユーザに関連付けられている対話モデルまたはジェスチャ分類モデルを有することができる。少なくとも２人のユーザが、異なる対応する対話モデルおよび／またはジェスチャ分類モデルを具備する場合、ユーザに関連付けられているＩＤに少なくとも一部は基づき、ユーザに対応するジェスチャ分類モデルが得られ得る。たとえば、ユーザに関連付けられているＩＤが得られ、得られたユーザＩＤは、対応するジェスチャ分類モデルを得ること、または決定することに関連して使用され得る。端末へのログインなどに関連して、ユーザによりユーザＩＤが入力され得る。アプリケーション（たとえば、多重サービスアプリケーション）の登録に関連して、ユーザＩＤが生成され得る。たとえばユーザによるアプリケーション登録に関連して、ユーザによりユーザＩＤを生成され、または決定され得る。
【００９５】
いくつかの実施形態では、履歴情報または統計情報に少なくとも一部は基づき、対話モデルおよび／またはジェスチャモデルが決定、または取得され得る。たとえば、学習（たとえば、端末がトレーニング操作もしくは処理を実施すること、または端末の使用法の解析に基づくオフライン学習）に少なくとも一部は基づき、対話モデルおよび／またはジェスチャモデルが取得され得る。一例として、ジェスチャ分類モデルはジェスチャサンプルを用いてトレーニングされ得、サーバは、トレーニングされたジェスチャ分類モデルを端末に送信し、その結果を使用して、モデルのパラメータを調節して、モデルを調和させることができる。別の例として、端末は、ジェスチャ分類モデルトレーニング機能を提供することができる。ユーザは、ジェスチャ分類モデルトレーニングモードに入ることを選んだ後、さまざまなジェスチャを行って、対応する操作を得て、応答操作を評価し、その結果、ジェスチャ分類モデルを絶えず補正することができる。いくつかの実施形態では、ユーザは、ユーザの嗜好、ユーザ設定、および／またはユーザの履歴（たとえば、使用法）情報に基づき、対話モデルおよび／またはジェスチャモデルを構築することができる。
【００９６】
いくつかの実施形態では、対話モデルまたはジェスチャ分類モデルは、オンラインで更新される（たとえば、改善される、または最適化される）。たとえば、端末は、収集したジェスチャ、およびジェスチャに応答した操作に基づき、対話モデルまたはジェスチャ分類モデルのオンライン学習を行うことができる。端末は、ジェスチャ、およびジェスチャに基づき実行した操作に関連付けられている情報をサーバに送信することができる。サーバは、ジェスチャ、およびジェスチャに基づき実行した操作に関連付けられている情報を分析することができる。サーバは、ジェスチャ、およびジェスチャに基づき実行した操作に関連付けられている情報の分析に基づき、対話モデルまたはジェスチャ分類モデルを更新することができる。一例として、サーバは、対話モデルまたはジェスチャ分類モデルを補正し、補正した対話モデルまたはジェスチャ分類モデルを端末に送信することができる。
【００９７】
さまざまな実施形態によれば、処理２００は、図２の処理２００の２４０の後に、対話モデルまたはジェスチャ分類モデルの学習（たとえば、更新）を実施することを含むことができる。たとえば、２４０の後に、端末は、サービスシナリオの下で第１のジェスチャの後に、第２のジェスチャに基づき実行する第２の操作を得ることができ、端末は第２の操作と第１の操作の間の関係に従ってジェスチャ分類モデルを更新することができる。端末は、第１の操作後の第２の操作に少なくとも一部は基づき、第１の操作が、ユーザが期待した操作であるかどうかを評価することができる。たとえば、（たとえば、第１のジェスチャに少なくとも一部は基づき第１の操作が実施された後、ユーザが、引き続いて第２の操作を実施させる場合）端末が第１のジェスチャに応答して第２の操作を実施することをユーザが意図していたと、端末はみなすことができる。第１の操作が、ユーザが期待した操作に対応していないと端末が判断した場合、ジェスチャ分類モデルは、正確さが不十分であるとみなすことが可能であり、更新を必要とする。
【００９８】
第２の操作と第１の操作の間のさまざまな関係に従って、ジェスチャ分類モデルが更新され得る。たとえば、第２の操作と第１の操作の間の関係に基づきジェスチャ分類モデルを更新することは、以下の操作の１つ、または任意の組合せを含むことができる。
【００９９】
第１の操作の対象オブジェクトが第２の操作の対象オブジェクトと同じであり、かつ操作動作が異なる場合、ジェスチャ分類モデル内の第１のジェスチャに関連付けられているジェスチャタイプを更新する。たとえば、第１の操作が第１のメニューを開く操作であり、かつ第２の操作が第１のメニューを閉じる操作である場合、ユーザは第１のジェスチャに応答してメニューを開くことを望んでいなかったとみなすことができる。換言すれば、ジェスチャの認識には、精度の向上が要求される。したがって、ジェスチャ分類モデル内の第１のジェスチャに関連付けられているジェスチャ分類が（たとえば、第１のジェスチャを入力するときのユーザの意図を反映させるために）更新され得る。
【０１００】
第２の操作の対象オブジェクトが、第１の操作の対象オブジェクトの副対象物である場合、ジェスチャ分類モデル内の第１のジェスチャに関連付けられているジェスチャタイプは変更されることなく維持され得る。たとえば、第１の操作が、第２のメニューを開く操作であり、かつ第２の操作が、第２のメニューからメニュー選択肢を選択する操作である場合、ジェスチャ分類モデル内の第１のジェスチャに関連付けられているジェスチャタイプは、変更されることなく維持される。いくつかの実施形態では、第１の操作の対象オブジェクトは、第２の操作の対象オブジェクトに更新され得る。たとえば、第２の操作の対象オブジェクトが、第１の操作の対象オブジェクトの副対象物である場合でさえ、端末が、第１のジェスチャが入力された後に引き続いて、第２のジェスチャが第２の操作の対象オブジェクトを選択するために一貫して入力されたと（たとえば、履歴情報または使用法情報の分析から）判断した場合、第１のジェスチャ（または単一のジェスチャ）を第２の操作にマッピングするように、第１の操作に対応する第１のジェスチャのマッピングが更新されるべきであると判断され得る。
【０１０１】
さらに、異なる各ユーザグループが対話モデルまたはジェスチャ分類モデルを具備する（または少なくとも２つのユーザグループが、異なる対話モデルまたはジェスチャ分類モデルを具備する）状況で、１つのユーザグループに関して対話モデルまたはジェスチャ分類モデルを学習している間、そのユーザグループに対応する対話モデルまたはジェスチャ分類モデルのトレーニングまたは学習のために、そのユーザグループ内のユーザの対話操作情報が使用される。異なるユーザそれぞれが対話モデルまたはジェスチャ分類モデルを具備する状況で、１人のユーザに関して対話モデルまたはジェスチャ分類モデルを学習している間、そのユーザに対応する対話モデルまたはジェスチャ分類モデルのトレーニングまたは学習のために、そのユーザの対話操作情報が使用される。
【０１０２】
図３は、本出願のさまざまな実施形態による、ジェスチャに基づく対話のための方法のフローチャートである。
【０１０３】
図３を参照すると、ジェスチャに基づく対話のための処理３００が提供されている。図１のシステム１００および／または図６のコンピュータシステム６００により、処理３００のすべてまたは一部が実行され得る。端末により処理３００が実行され得る。３００のすべてまたは一部は、図２の処理２００および／または図５の処理５００に関連して実行され得る。対応する多重シナリオアプリケーションが始動する場合、処理３００が起動され得る。たとえば、多重シナリオアプリケーションを実行するように選択されたことに応答して、処理３００が実行され得る。
【０１０４】
３１０では、ジェスチャ（たとえば、第１のジェスチャ）が取得される。第１のジェスチャを得るステップに関連して、１つまたは複数のセンサが使用され得る。たとえば、１つまたは複数のセンサは、画像を取り込むように構成されているカメラ、画像を取り込むように構成されている赤外線カメラ、音響を取り込むように構成されているマイクロホン、タッチに関連付けられている情報を取り込むように構成されているタッチスクリーンなどを含むことができる。１つまたは複数のセンサは、端末の一部であっても良く、または端末に接続されていても良い。端末は、第１のジェスチャを得るために、１つまたは複数のセンサから情報を得ることができ、１つまたは複数のセンサから得た情報を集約、または組み合わせることができる。たとえば、端末は、１つまたは複数のセンサから得た情報に少なくとも一部は基づき第１のジェスチャを決定することができる。
【０１０５】
第１のジェスチャは、ＶＲシナリオ、ＡＲシナリオ、またはＭＲシナリオの下で、またはＶＲシナリオ、ＡＲシナリオ、またはＭＲシナリオに関連して取得され得る。
【０１０６】
３２０では、第１のジェスチャが１つまたは複数の条件を満たすか否かが判断される。いくつかの実施形態では、端末は、第１のジェスチャが１つまたは複数の条件を満たすか否かを判断する。１つまたは複数の条件は、操作にマッピングされている規定されたジェスチャに関するパラメータに関連付けられ得る。いくつかの実施形態では、サーバは、第１のジェスチャが１つまたは複数の条件を満たすか否かを判断する。たとえば、端末は、第１のジェスチャに関連付けられている情報をサーバに送信し、サーバは、第１のジェスチャが１つまたは複数の条件を満たすか否かを判断することに関連して、端末から得たそのような情報を使用することができる。１つまたは複数の条件は、端末にローカルに、または端末もしくはサーバに動作可能に接続された遠隔記憶領域に記憶され、またはサーバに備えられ得る。
【０１０７】
さまざまな実施形態によれば、サーバにより１つまたは複数の条件（たとえば、トリガ条件）が前もって規定される。異なるトリガ条件に対応するデータ出力制御操作は、異なる可能性がある。１つまたは複数の条件は、規定された対話モデルに従って操作にマッピングされた１つまたは複数のジェスチャを規定するパラメータに関連付けられ得る。
【０１０８】
いくつかの実施形態では、第１のジェスチャが１つまたは複数の条件（たとえば、トリガ条件）を満たすと判断した後、トリガ条件とデータ出力制御操作の間の対応関係が取得される。たとえば、第１のジェスチャを得て、第１のジェスチャが１つまたは複数の条件を満たすと判断した場合、第１の操作が決定され得る。この対応関係に基づき、第１のジェスチャにより現在満たされているトリガ条件に対応するデータ出力制御操作が決定される。
【０１０９】
第１のジェスチャが１つまたは複数の条件を満たすと判断された場合、処理３００は、データ出力を制御する３３０に進む。たとえば、端末は、データ出力を制御するように動作することができる。制御されるデータ出力は、オーディオデータ、画像データ、およびビデオデータのうち１つ、またはそれらの組合せを備える。
【０１１０】
いくつかの実施形態では、画像データは、仮想現実画像、拡張現実画像、および複合現実画像のうち１つまたは複数を備え、オーディオデータは、現在のシナリオに対応するオーディオを備える。いくつかの実施形態では、オーディオデータ、画像データ、およびビデオデータのうち１つまたは複数は、仮想現実構成要素、拡張現実構成要素、および／または複合現実構成要素を備える。
【０１１１】
３２０において、第１のジェスチャが１つまたは複数の条件を満たさないと判断した場合、処理３００は、操作を実行する３４０に進む。たとえば、端末は、第１のジェスチャに基づき応答または別の操作を実行することができる。
【０１１２】
仮想現実シナリオの状況での一例として、ユーザが、暗い夜のシナリオでドアを押す動きを行う場合、３３０においてドアラッチを開ける音響が出力される。この適用事例に関しては、現在の暗い夜のシナリオでユーザのジェスチャを取り込んだ場合、ジェスチャ関連情報に従ってジェスチャの大きさまたは力が評価され、一定のしきい値を超えたと判断する（比較的強い力でしか表玄関を開けることができないことを意味する）。その結果、表玄関が開く音響を出力される。さらに、出力される音響の音量、音色、または継続期間は、ジェスチャの大きさまたは力に従って変わる。
【０１１３】
図４は、本出願のさまざまな実施形態による、ジェスチャに基づく対話のための方法のフローチャートである。
【０１１４】
図４を参照すると、ジェスチャに基づく対話のための処理４００が提供されている。図１のシステム１００および／または図６のコンピュータシステム６００により、処理４００のすべてまたは一部が実行され得る。端末により処理４００が実行され得る。４００のすべてまたは一部は、図２の処理２００、図３の処理３００、および／または図５の処理５００に関連して実行され得る。対応する多重シナリオアプリケーションが始動する場合、処理４００が起動され得る。たとえば、多重シナリオアプリケーションを実行するように選択されたことに応答して、処理４００が実行され得る。
【０１１５】
４１０では、コンテンツオブジェクトが提供される。いくつかの実施形態では、コンテンツオブジェクトは、第１の画像を備える。第１の画像は、第１のオブジェクトおよび第２のオブジェクトを備えることができる。いくつかの実施形態では、第１のオブジェクトおよび第２のオブジェクトの少なくとも一方は、仮想現実オブジェクト、拡張現実オブジェクト、または複合現実オブジェクトである。端末の画面上に、または端末に動作可能に接続された表示装置上に、コンテンツオブジェクトが表示され得る。
【０１１６】
４２０では、第１のジェスチャに関連する情報が取得される。たとえば、第１のジェスチャに関連する情報は、第１のジェスチャの検出に関連して使用される１つまたは複数のセンサから取得され得る。いくつかの実施形態では、第１のジェスチャ信号に関連付けられている情報は第１のオブジェクトに関連付けられる。
【０１１７】
第１のジェスチャを取得することに関連して、１つまたは複数のセンサが使用され得る。たとえば、１つまたは複数のセンサは、画像を取り込むように構成されているカメラ、画像を取り込むように構成されている赤外線カメラ、音響を取り込むように構成されているマイクロホン、タッチに関連付けられている情報を取り込むように構成されているタッチスクリーンなどを含むことができる。１つまたは複数のセンサは、端末の一部であっても良く、または端末に接続されても良い。端末は、第１のジェスチャを得るために、１つまたは複数のセンサから情報を得ることができ、１つまたは複数のセンサから得た情報を集約、または組み合わせることができる。たとえば、端末は、１つまたは複数のセンサから得た情報に少なくとも一部は基づき第１のジェスチャを決定することができる。
【０１１８】
４３０では、コンテンツオブジェクトの少なくとも一部が処理される。第１のジェスチャに関連付けられている情報に少なくとも一部は基づき、コンテンツオブジェクトの一部が処理される。たとえば、第１のジェスチャに対応する第１の操作は、第２のオブジェクトを処理するための基礎として使用される。
【０１１９】
いくつかの実施形態では、サービスシナリオに対応する対話モデルを得るための基礎として、第１のジェスチャが配置されたサービスシナリオが使用される。ジェスチャに基づき対応する操作を決定することに関連して、対話モデルが使用され得る。その場合、第１のジェスチャに少なくとも一部は基づき、サービスシナリオの下で第１のジェスチャに対応する第１の操作を決定することに関連して、サービスシナリオに対応する対話モデルが使用される。（たとえば、対話モデルに関連して）ジェスチャに対応する操作を決定するためのさまざまな方法が使用され得る。対話モデル、およびジェスチャに対応する操作を決定するための対話モデルに基づく方法の例を以下に記述する。
【０１２０】
いくつかの実施形態では、ジェスチャとオブジェクトの間の関係が前もって設定される。たとえば、ジェスチャとオブジェクトの間の関係は、設定ファイルもしくはプログラムコーディングの中に設定され得る、またはサーバにより設定され得る。
【０１２１】
シミュレートされた果物を切るＶＲアプリケーションの例を示すために、ユーザジェスチャが「果物ナイフ」に関連付けられる。そこでは、「果物ナイフ」は、仮想オブジェクトである。そのようなＶＲアプリケーションを実行するとき、端末は、ＶＲアプリケーションインタフェース内に「果物ナイフ」を表示するための基礎として、取り込まれ、認識されたユーザジェスチャを使用することができる。さらに、「果物ナイフ」は、インタフェース内で果物を切る視覚効果を生成するように、ユーザジェスチャと連携して動くことができる。具体的実施形態では、４１０において初期絵画が最初に表示される。「果物ナイフ」は、この絵画の中で第１のオブジェクトとして表示され、さまざまな種類の果物が、この絵画の中で「第２のオブジェクト」として表示される。果物ナイフと果物は、両方とも仮想現実オブジェクトである。４２０では、ユーザは、果物ナイフをつかみ、果物ナイフを振り回し、果物を切る動作を実行する。端末は、ユーザのジェスチャを得て、ジェスチャとオブジェクトの間のマッピング関係に基づき、このジェスチャが「第１のオブジェクト」である果物ナイフに関連付けられていると判断することができる。４３０では、端末は、切ること、および「第２のオブジェクト」である果物に対する処理の他の結果を実行するための基礎として、動き追跡、速度、力、および他のそのような情報を使用する。
【０１２２】
図５は、本出願のさまざまな実施形態による、ジェスチャに基づく対話のための方法のフローチャートである。
【０１２３】
図５を参照すると、ジェスチャに基づく対話のための処理５００が提供される。図１のシステム１００および／または図６のコンピュータシステム６００により、処理５００のすべてまたは一部が実行され得る。端末により処理５００が実行され得る。５００のすべてまたは一部は、図２の処理２００、図３の処理３００、および／または図４の処理４００に関連して実行され得る。対応する多重シナリオアプリケーションが始動する場合、処理５００が起動され得る。たとえば、多重シナリオアプリケーションを実行するように選択されたことに応答して、処理４００が実行され得る。
【０１２４】
５１０では、第１の画像が処理される。画像の処理は、第１の画像が提供される（たとえば、表示される）前に、第１の画像の前処理を含むことができる。第１の画像の前処理は、画像強調、赤外２値化などを含むことができる。いくつかの実施形態では、第１の画像の前処理は、第１の画像の品質が十分であるか否かに基づき実行される。たとえば、第１の画像の品質が１つまたは複数のしきい値よりも低い場合、前処理が実行され得る。第１の画像の品質は、１つまたは複数の特性の尺度と１つまたは複数の特性に関連する１つまたは複数のしきい値の比較に基づき、１つまたは複数のしきい値よりも低くなるように決定される。前処理が完了した後、または前処理が必要ないと判断された場合、第１の画像が提供され得る。たとえば、端末により第１の画像が表示され得る。対応する多重シナリオアプリケーションが始動すると（たとえば、それに応答して）、第１の画像が表示され得る。いくつかの実施形態では、第１の画像は、仮想現実画像、拡張現実画像、および複合現実画像のうち１つ、またはそれらの２つ以上の組合せを備える。端末の表示装置、または端末に動作可能に接続された表示装置（たとえば、タッチスクリーン、または端末に接続されたヘッドセットなど）を使用して、第１の画像が表示され得る。端末によりアプリケーションが実行されていることに関連して、第１の画像が表示され得る。いくつかの実施形態では、表示するためにサーバによって端末に第１の画像が送信される。第１の画像は、ビデオなどの複数の画像に対応、またはビデオなどの複数の画像を備えることができる。第１の画像は端末にローカルに記憶され得る。対応する多重シナリオアプリケーションと共に、端末上に第１の画像が記憶され得る。いくつかの実施形態では、第１の画像は、端末により生成される。いくつかの実施形態では、端末は、遠隔のリポジトリから（たとえば、サーバから）第１の画像を得ることができる。第１の画像は、１つまたは複数の前処理技術を使用して前処理され得る。
【０１２５】
５２０では、ユーザの第一関節が取得される。第一関節の取得に関連して、１つまたは複数のセンサが使用され得る。たとえば、１つまたは複数のセンサは、画像を取り込むように構成されているカメラ、画像を取り込むように構成されている赤外線カメラ、音響を取り込むように構成されているマイクロホン、タッチに関連する情報を取り込むように構成されているタッチスクリーンなどを含むことができる。１つまたは複数のセンサは、端末の一部であっても良く、または端末に接続され得る。端末は、第一関節を得るために、１つまたは複数のセンサから情報を得ることができ、１つまたは複数のセンサから得た情報を集約する、または組み合わせることができる。たとえば、端末は、１つまたは複数のセンサから得た情報に少なくとも一部は基づき第一関節を決定することができる。
【０１２６】
ある種のタイプのジェスチャを認識するために、関節認識が実行され得る。たとえば、関節認識に基づき指関節の状態を検出することが可能であり、その結果、対応するタイプのジェスチャが決定され得る。関節認識技法の例には、Ｋｉｎｅｃｔアルゴリズム、および他の適切なアルゴリズムが含まれる。いくつかの実施形態では、関節認識が実行される関節情報を得るために、手のモデリングが使用される。
【０１２７】
いくつかの実施形態では、ユーザの１つまたは複数の関節を取り込む複数のモードが提供される。たとえば、画像を取り込むために赤外線カメラが使用され得る。ユーザの関節は、取り込んだ画像に対してジェスチャ認識を実行することにより取得され得る。この結果、素手の関節を取り込むことが可能とな。
【０１２８】
１つまたは複数のセンサにより得られた情報は、雑音または他の歪みを含む可能性がある。いくつかの実施形態では、そのような雑音または他の歪みを除去または低減するために、１つまたは複数のセンサにより得られた情報が処理され得る。１つまたは複数のセンサにより得られた情報の処理は、画像強調、画像２値化、グレースケール変換、雑音除去などのうち１つまたは複数を含むことができる。他の前処理技術が実装され得る。
【０１２９】
５３０では、ユーザのジェスチャが取得される。第１のジェスチャの取得に関連して、１つまたは複数のセンサが使用され得る。たとえば、１つまたは複数のセンサは、画像を取り込むように構成されているカメラ、画像を取り込むように構成されている赤外線カメラ、音響を取り込むように構成されているマイクロホン、タッチに関連する情報を取り込むように構成されているタッチスクリーンなどを含むことができる。１つまたは複数のセンサは、端末の一部であっても良く、または端末に接続されても良い。端末は、第１のジェスチャを得るために、１つまたは複数のセンサから情報を得ることができ、１つまたは複数のセンサから得た情報を集約する、または組み合わせることができる。たとえば、端末は、１つまたは複数のセンサから得た情報に少なくとも一部は基づき第１のジェスチャを決定することができる。第１のジェスチャを得たことに少なくとも一部は基づき、第１のジェスチャが取得され得る。たとえば、第１の関節を得た（たとえば、決定した）場合、第１のジェスチャが取得され得る。
【０１３０】
いくつかの実施形態では、ユーザのジェスチャを取り込む複数のモードが提供される。たとえば、画像を取り込むために赤外線カメラを使用され得る。取り込んだ画像に対してジェスチャ認識を実施することによりユーザのジェスチャが取得され得る。この結果、素手のジェスチャを取り込まれ得る。
【０１３１】
１つまたは複数のセンサにより得られた情報は、雑音または他の歪みを含む可能性がある。いくつかの実施形態では、そのような雑音または他の歪みを除去または低減するために、１つまたは複数のセンサにより得られた情報が処理され得る。１つまたは複数のセンサにより得られた情報の処理は、画像強調、画像２値化、グレースケール変換、雑音除去などのうち１つまたは複数を含むことができる。他の前処理技術が実装され得る。
【０１３２】
５４０では、対話処理および／または挙動分析が実行される。たとえば、第１のジェスチャに少なくとも一部は基づき、対話処理および／または挙動分析が決定され得る。対話処理および／または挙動分析の取得は、端末またはサーバが対話処理および／または挙動分析を決定することを備えることができる。いくつかの実施形態では、第１のジェスチャ、および第１の画像に対応するサービスシナリオに少なくとも基づき、対話処理および／または挙動分析が決定される。ジェスチャとサービスシナリオの間のマッピングに対して探索を実施して、第１の画像に対応するサービスシナリオの状況で第１のジェスチャに対応する対話処理および／または挙動分析を見つけ出すことにより対話処理および／または挙動分析が取得され得る。対話処理および／または挙動分析は、単一の操作、または２つ以上の操作の組合せに対応し得る。いくつかの実施形態では、多重シナリオアプリケーションは、複数のサービスシナリオを含み、第１の画像は、複数のサービスシナリオのうち少なくとも１つに関連付けられる。ジェスチャとサービスシナリオの間のマッピングに対して探索を実施して、第１の画像に対応するサービスシナリオを見つけ出すことにより第１の画像に対応するサービスシナリオが取得され得る。いくつかの実施形態によれば、画像が複数のサービスシナリオに関連付けられる場合、ジェスチャと画像と第１の画像の間のマッピングに対して探索を実施することにより第１の画像に対応するサービスシナリオが取得され得る。
【０１３３】
５５０では、対話処理および／または挙動分析に従って機器の操作が実行される。いくつかの実施形態では、端末は、対話処理および／または挙動分析に従って操作される。たとえば、端末、対話処理および／または挙動分析。
【０１３４】
いくつかの実施形態では、対話処理および／または挙動分析は、ユーザインタフェース操作の構築に対応する。たとえば、対話処理および／または挙動分析は、メニュー操作（たとえば、メニューを開く、メニューを閉じる、現在のメニューのサブメニューを開く、現在のメニューからメニュー選択肢を選択する、または他のそのような操作）の構築を含むことができる。この結果、対話処理および／または挙動分析の実行に関連して、メニューを開く、メニューを描画する、およびユーザにメニューを表示することを含む、さまざまな操作が実行され得る。いくつかの実施形態では、ＶＲ表示構成要素を使用して、ユーザにメニューが表示される。いくつかの実施形態では、ＡＲまたはＭＲの表示構成要素を使用して、ユーザにメニューが表示される。
【０１３５】
さまざまな実施形態によれば、対話処理および／または挙動分析は、メニュー操作に限定されない。さまざまな他の操作（たとえば、アプリケーションを開く、アプリケーションに切り替える、インターネットまたはウェブサービスから特有の情報を得るなど）を実行することができる。たとえば、対話処理および／または挙動分析は、音声プロンプト操作などの別の操作であっても良い。
【０１３６】
５６０では、表示装置に描写が行われる。たとえば、対話処理および／または挙動分析に従う機器の操作に基づき、表示装置に対する描画が実行される。メニューが描画され得る。この結果、メニュー操作の実行に関連して、メニューを開く、メニューを描画する、およびユーザにメニューを表示することを含む、さまざまな操作が実行さえ得る。いくつかの実施形態では、ＶＲ表示構成要素を使用して、ユーザにメニューが表示され得る。いくつかの実施形態では、ＡＲまたはＭＲの表示構成要素を使用して、ユーザにメニューが表示され得る。
【０１３７】
さまざまな実施形態によれば、複数のサービスシナリオが存在する場合、現在のサービスシナリオに適合するように、ジェスチャに基づき実行される操作が実行される（たとえば、選択される）。
【０１３８】
図６は、本出願のさまざまな実施形態による、ジェスチャに基づく対話のためのコンピュータシステムの機能図である。
【０１３９】
図６を参照すると、ジェスチャに基づく対話のためのコンピュータシステム６００が提供されている。図１のシステム１００に関連してコンピュータシステム６００を実装され得る。コンピュータシステム６００は、図２の処理２００、図３の処理３００、図４の処理４００、および／または図５の処理５００のすべてまたは一部を実行することができる。
【０１４０】
明らかになるように、他のコンピュータ・システム・アーキテクチャおよび構成を使用して、ジェスチャに基づく対話を実装することができる。上記で記述したように、さまざまなサブシステムを含むコンピュータシステム６００は、少なくとも１つのマイクロプロセッササブシステム（プロセッサまたは中央処理装置（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＣＰＵ）とも呼ばれる）６０２を含む。たとえば、シングル・チップ・プロセッサにより、または複数のプロセッサにより、プロセッサ６０２を実装することができる。いくつかの実施形態では、プロセッサ６０２は、コンピュータシステム６００の操作を制御する汎用デジタルプロセッサである。プロセッサ６０２は、メモリ６１０から取り出した命令を使用して、入力データの受信および操作、ならびに出力機器（たとえば、表示装置６１８）へのデータの出力および表示を制御する。
【０１４１】
プロセッサ６０２は、メモリ６１０と双方向に接続され、メモリ６１０は、典型的にはランダム・アクセス・メモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、ＲＡＭ）である第１の主記憶装置、および典型的には読出し専用メモリ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ、ＲＯＭ）である第２の主記憶領域を含むことができる。当技術分野で周知のように、主記憶装置を汎用記憶領域として、およびスクラッチ・パッド・メモリとして使用することができ、主記憶装置を使用して、さらにまた入力データおよび処理したデータを記憶することができる。主記憶装置はまた、他のデータ、およびプロセッサ６０２上で操作している処理のための命令に加えて、データオブジェクトおよびテキストオブジェクトの形をとるプログラミング命令およびデータを記憶することができる。また、当技術分野で周知のように、主記憶装置は、典型的には基本操作命令、プログラムコード、データ、およびプロセッサ６０２の機能を実施するためにプロセッサ６０２が使用するオブジェクト（たとえば、プログラムされた命令）を含む。たとえば、メモリ６１０は、たとえばデータアクセスが双方向である必要があるか、単方向である必要があるかに応じて、以下で記述する任意の適したコンピュータ可読記憶媒体を含むことができる。たとえば、プロセッサ６０２はまた、頻繁に必要とされるデータを直接、非常に迅速に取り出し、キャッシュメモリ（図示せず）の中に記憶することができる。メモリは、非一時的コンピュータ可読記憶媒体とすることができる。
【０１４２】
脱着式大容量記憶機器６１２は、コンピュータシステム６００に追加のデータ記憶容量を提供し、双方向で（読出し／書込み）または単方向で（読出しだけ）プロセッサ６０２に結合される。たとえば、記憶装置６１２はまた、磁気テープ、フラッシュメモリ、ＰＣ−ＣＡＲＤ、携帯型大容量記憶機器、ホログラフィック記憶機器、および他の記憶機器などのコンピュータ可読媒体を含むことができる。また、たとえば固定大容量記憶装置６２０は、追加のデータ記憶容量を提供する。大容量記憶装置６２０の最も一般的な例は、ハード・ディスク・ドライブである。大容量記憶機器６１２および固定大容量記憶装置６２０は、典型的にはプロセッサ６０２により活発に使用されているわけではない追加のプログラミング命令、データなどを一般に記憶する。大容量記憶機器６１２および固定大容量記憶装置６２０の中に保持された情報を、必要に応じて仮想メモリとして、メモリ６１０（たとえば、ＲＡＭ）の一部として標準的手法で組み込むことができることが認識されよう。
【０１４３】
プロセッサ６０２を記憶サブシステムへアクセスできるようにすることに加えて、さらにまたバス６１４を使用して、他のサブシステムおよび機器へアクセスできるようにすることができる。図示するように、これらのコンピュータシステムは、表示モニタ６１８、ネットワークインタフェース６１６、キーボード６０４、およびポインティング機器６０６だけではなく、必要に応じて補助入出力機器インタフェース、サウンドカード、スピーカ、および他のサブシステムも含むことができる。たとえば、ポインティング機器６０６は、マウス、スタイラス、トラックボール、またはタブレットとすることができ、グラフィカル・ユーザ・インタフェースと対話するのに有用である。
【０１４４】
ネットワークインタフェース６１６は、図示するように、プロセッサ６０２が、ネットワーク接続を使用して、別のコンピュータ、コンピュータネットワーク、または電気通信ネットワークに連結できるようにする。たとえば、プロセッサ６０２は、ネットワークインタフェース６１６を通して、別のネットワークから情報（たとえば、データオブジェクトまたはプログラム命令）を受信することができる、または方法／処理ステップを実施中に別のネットワークに情報を出力することができる。しばしばプロセッサ上で実行すべき命令のシーケンスとして表現される情報を、別のネットワークから受信し、別のネットワークへ出力することができる。インタフェースカードまたは類似の機器、およびプロセッサ６０２により実装される（たとえば、プロセッサ６０２上で実行される／実施される）適切なソフトウェアを使用して、コンピュータシステム６００を外部ネットワークに接続し、標準プロトコルに従ってデータを転送することができる。たとえば、本明細書で開示するさまざまな処理実施形態を、プロセッサ６０２上で実行することができる、または処理の一部分を共有する遠隔プロセッサと併せて、インターネット、イントラネットネットワーク、またはローカル・エリア・ネットワークなどのネットワークを介して実施することができる。また、ネットワークインタフェース６１６を通して、追加の大容量記憶機器（図示せず）をプロセッサ６０２に接続することもできる。
【０１４５】
コンピュータシステム６００と併せて、補助入出力機器インタフェース（図示せず）を使用することができる。補助入出力機器インタフェースは、プロセッサ６０２がデータを送信することができるようにする、より典型的にはマイクロホン、タッチ感知表示装置、変換器カードリーダ、テープリーダ、音声または手書き認識装置、生体測定リーダ、カメラ、携帯型大容量記憶機器、および他のコンピュータなどの他の機器からデータを受信することができるようにする、汎用インタフェースまたはカスタマイズされたインタフェースを含むことができる。
【０１４６】
図６に示すコンピュータシステムは、本明細書で開示するさまざまな実施形態で使用するのに適したコンピュータシステムの一例でしかない。そのような用途に適した他のコンピュータシステムは、追加の、またはより少ないサブシステムを含むことができる。それに加えて、バス６１４は、サブシステムを結びつけるのに役立つ任意の相互接続の枠組みを例証する。異なる構成のサブシステムを有する他のコンピュータアーキテクチャもまた利用することができる。
【０１４７】
別個の構成要素として記述したモジュールは、物理的に別個であっても、そうではなくてもよく、モジュールとして示した構成要素は、物理的モジュールであっても、そうではなくてもよい。モジュールは、１つの場所に配置することができる、またはモジュールを複数のネットワークモジュールにわたり分散させることができる。本実施形態の実施形態枠組みを、実際の必要性により、モジュールの一部またはすべてを選択することにより実現することができる。
【０１４８】
さらに、本発明のさまざまな実施形態の機能モジュールを１つのプロセッサに統合することができる。または各モジュールは、独立して物理的に存在することができる、または２つ以上のモジュールを単一のモジュールに統合することができる。前述の統合モジュールは、ハードウェアの形をとることができる、またはソフトウェア機能モジュールと組み合わせたハードウェアの形をとることができる。
【０１４９】
さまざまな実施形態が、同じ技術的概念に基づき、ジェスチャに基づく対話手段を提供する。ジェスチャに基づく対話手段は、前述の実施形態で記述したジェスチャに基づく対話処理を実装することができる。たとえば、ジェスチャに基づく対話手段は、仮想現実、拡張現実、および／または複合現実で使用される手段とすることができる。
【０１５０】
ジェスチャに基づく対話手段は、プロセッサ、メモリ、表示機器を含んでもよい。
【０１５１】
プロセッサは、汎用プロセッサ（たとえば、マイクロプロセッサまたは任意の従来のプロセッサ）、デジタル・シグナル・プロセッサ、専用集積回路、フィールド・プログラマブル・ゲートアレイもしくは他のプログラム可能論理デバイス、ディスクリートゲートもしくはトランジスタ論理デバイス、またはディスクリートハードウェア構成要素とすることができる。メモリは、具体的には内部メモリおよび／または外部メモリ、たとえば、ランダム・アクセス・メモリ、フラッシュメモリ、読出し専用メモリ、プログラム可能読出し専用メモリまたは電気的に消去可能プログラム可能メモリ、レジスタ、および当技術分野の他の成熟した記憶媒体を含むことができる。
【０１５２】
プロセッサは、さまざまな他のモジュールとのデータ接続を有する。たとえば、プロセッサは、バスアーキテクチャに基づきデータ通信を行うことができる。バスアーキテクチャは、具体的にはプロセッサにより表される１つまたは複数のプロセッサをメモリにより表されるさまざまなメモリ回路とつなぎ合わせる任意の数の対話バスおよびブリッジを含むことができる。バスアーキテクチャは、周辺設備、定電圧装置、および電源管理回路などの、さまざまな種類の他の回路をさらにつなぎ合わせることができる。これらすべては、当技術分野で周知である。したがって、本文書は、これらについてさらに記述しない。バスインタフェースは、インタフェースを提供する。プロセッサは、バスアーキテクチャおよび一般的処理の管理を担う。メモリは、操作を実行するときにプロセッサが使用するデータを記憶することができる。
【０１５３】
本出願の実施形態により開示する処理をプロセッサの形で適用することができる、またはプロセッサにより実装することができる。実装する過程で、上記の実施形態により記述した処理の各ステップを、プロセッサ内のハードウェアの統合論理回路により、またはソフトウェアコマンドにより実装することができる。本出願の実施形態で開示したすべての方法、ステップ、および論理図をすべて実装または実行することができる。本開示の実施形態により開示する方法のステップを考慮して、直接ハードウェアプロセッサとして具体化することにより、またはプロセッサの中にハードウェアおよびソフトウェアのモジュールを組み合わせることにより、実行を完了する。ランダム・アクセス・メモリ、フラッシュメモリ、読出し専用メモリ、プログラム可能読出し専用メモリまたは電気的に消去可能プログラム可能メモリ、レジスタ、および当技術分野の他の成熟した記憶媒体の中にソフトウェアを配置することができる。
【０１５４】
具体的には、メモリと連結したプロセッサは、メモリにより記憶されたコンピュータ・プログラム・コマンドを読み出し、それに応答して、仮想現実画像、拡張現実画像、複合現実画像のうち１つ、またはそれらの２つ以上の組合せを備える第１の画像を前記表示装置で表示する操作、第１のジェスチャを取り込む操作、第１の画像に対応するサービスシナリオの下で第１のジェスチャに対応する第１の操作を決定する操作、第１の操作に応答する操作を実行するためにある。上記で記述した処理を具体的にどのようにして実装するかに関して、これまでの実施形態の記述を参照することができる。これについては、ここでさらに論じない。
【０１５５】
本明細書に包含される実施形態の各々について、段階的な手法で記述し、各実施形態の説明は、他の実施形態と異なる領域に焦点を当て、各実施形態の記述は、同一の、または類似する各実施形態の部分に関して相互に参照されてよい。
【０１５６】
本出願は、方法、設備（システム）、およびコンピュータプログラム製品に基づきフローチャートおよび／または構成図を参照して記述されている。フローチャートおよび／または構成図の中の各フローチャートおよび／または構成図、ならびにフローチャートおよび／または構成図の中のフローチャートおよび／または構成図の組合せを、コンピュータコマンドにより実現することができることに留意されたい。機械をもたらすように、これらのコンピュータコマンドを汎用コンピュータ、専用コンピュータ、組込プロセッサ、または他のプログラム可能データ設備のプロセッサに提供することができ、その結果、コンピュータまたは他のプログラム可能データ設備のプロセッサによって実行されるコマンドは、フローチャート内の１つまたは複数の処理、および／または構成図内の１つまたは複数のブロックにより示される機能を実現するために使用される機器をもたらす。
【０１５７】
これらのコンピュータ・プログラム・コマンドはまた、指定された手法でコンピュータまたは他のプログラム可能データ処理設備を操作するように誘導するコンピュータ可読メモリに記憶することができ、その結果、このコンピュータ可読メモリに記憶されたコマンドは、コマンド機器を含む製品をもたらし、このコマンド機器は、フローチャート内の１つもしくは複数の処理、および／または構成図内の１つもしくは複数のブロックで示された機能を実現する。
【０１５８】
これらのコンピュータ・プログラム・コマンドはまた、コンピュータまたは他のプログラム可能データ設備にロードすることができ、その結果、コンピュータ処理をもたらすように、コンピュータまたは他のプログラム可能設備上で一連の操作ステップが実行される。このようにして、コンピュータまたは他のプログラム可能設備上で実行されるコマンドは、フローチャート内の１つもしくは複数の処理、および／または構成図内の１つもしくは複数のブロックにより示された機能を実現するためのステップを提供する。
【０１５９】
本出願の好ましい実施形態についてこれまで記述してきたが、当業者は、基礎となる独創的概念を理解すると、これらの実施形態に他の修正または改定を行うことができる。したがって、添付の特許請求の範囲は、好ましい実施形態だけではなく、本出願の範囲に入るすべての修正形態および改定形態も含むと解釈されるべきである。
【０１６０】
明らかに、当業者は、本発明の精神および範囲を逸脱することなく、本出願を修正し、変えることができる。その結果、本出願に対するこれらの修正形態および変形形態が、本出願の特許請求の範囲および均等の技術の範囲に入る場合、本出願は、これらの修正形態および変形形態も同様に範囲に含むことが意図される。
【０１６１】
前述の実施形態について、理解を明確にするためにある程度詳細に記述してきたが、本発明は、提供した詳細に限定されない。本発明を実装する代わりの方法が多く存在する。開示する実施形態は例示的であり、制限的なものではない。
【図１】
2019535055.tif 000005
【図２】
2019535055.tif 000006
【図３】
2019535055.tif 000007
【図４】
2019535055.tif 000008
【図５】
2019535055.tif 000009
【図６】
2019535055.tif 000010
【手続補正書】
【提出日】令和1年5月8日(2019.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
仮想現実画像、拡張現実画像、および複合現実画像のうち１つまたは複数を備える第１の画像を提供し、
第１のジェスチャを取得し、
前記第１のジェスチャおよび前記第１の画像に対応するサービスシナリオに少なくとも一部基づいて第１の操作を取得し、前記第１のサービスシナリオには前記第１のジェスチャが入力されており、
前記第１の操作に従って端末を操作すること
を備える方法。
【請求項２】
請求項１に記載の方法であって、前記第１の操作を取得することは、前記第１のジェスチャおよび前記第１の画像に対応する前記サービスシナリオに少なくとも一部基づいて記第１の操作を決定することを備える方法。
【請求項３】
請求項１に記載の方法はさらに、
前記第１の操作を決定する前に、
前記第１のジェスチャが入力された前記サービスシナリオに少なくとも一部基づいて、前記サービスシナリオに対応する対話モデルを取得し、
前記対話モデルに少なくとも一部基づいて、前記第１のジェスチャに対応する前記第１の操作を決定すること
を備える方法。
【請求項４】
請求項３に記載の方法であって、前記対話モデルは、ジェスチャ分類モデルおよびジェスチャタイプから操作へのマッピングを備え、前記ジェスチャ分類モデルは、前記第１のジェスチャに基づいて対応するジェスチャタイプを決定することに関連して使用される方法。
【請求項５】
請求項４に記載の方法であって、前記第１のジェスチャに対応する前記第１の操作を決定することは、
前記ジェスチャ分類モデルに少なくとも一部基づいて前記サービスシナリオの下で前記第１のジェスチャに関連付けられているジェスチャタイプを決定し、
前記第１のジェスチャに関連付けられている前記ジェスチャタイプ、およびジェスチャタイプから操作への前記マッピングに少なくとも一部基づいて前記第１の操作を決定すること
を備える方法。
【請求項６】
請求項３に記載の方法はさらに、
ユーザ情報に少なくとも一部基づいて前記第１のジェスチャに関連付けられているユーザに対応するジェスチャ分類モデルを取得することを備える方法。
【請求項７】
請求項６に記載の方法であって、前記ユーザに対応する前記ジェスチャ分類モデルを取得することは、
前記ユーザに関連付けられているユーザ識別子を取得し、
前記ユーザ識別子に対応する前記ジェスチャ分類モデルを取得し、１つのユーザ識別子は１つのジェスチャ分類モデルに一意に対応し、
前記対応するユーザが配置されているユーザグループを決定するための基礎としてユーザグループ分け情報および前記ユーザ情報を使用し、前記対応するユーザが配置されている前記ユーザグループに対応する前記ジェスチャ分類モデルを取得し、複数のユーザグループの中の１つのユーザグループは１人または複数のユーザを備え、１つのジェスチャ分類モデルに一意に対応すること
を備える方法。
【請求項８】
請求項６に記載の方法であって、前記ユーザに対応する前記ジェスチャ分類モデルを取得することは、
前記グループ分け情報および前記ユーザ情報に少なくとも一部基づいて、前記ユーザが属するユーザグループを決定し、
前記ユーザグループに対応する前記ジェスチャ分類モデルを取得し、１つのユーザグループは、１つまたは複数のユーザを備え、１つのジェスチャ分類モデルに一意に対応すること
を備える方法。
【請求項９】
請求項４に記載の方法はさらに、
前記サービスシナリオの下で前記第１のジェスチャを取得した後、第２のジェスチャを取得したことに応答して第２の操作を取得し、
前記第２の操作と前記第１の操作の関係に少なくとも一部基づいて前記ジェスチャ分類モデルを更新すること
を備える方法。
【請求項１０】
請求項９に記載の方法であって、前記ジェスチャ分類モデルを更新することは、
前記第１の操作の対象オブジェクトが前記第２の操作の対象オブジェクトと同じである場合、かつ前記第１の操作および前記第２の操作に対応する操作動作がそれぞれ異なる場合、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを更新し、および
前記第２の操作の前記対象オブジェクトが前記第１の操作の前記対象オブジェクトの副対象物である場合、前記第２のジェスチャに応答して前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを変更せず維持すること
のうち少なくとも１つを備える方法。
【請求項１１】
請求項１０に記載の方法であって、
前記第１の操作が第１のメニューを開くための操作に対応し、かつ前記第２の操作が前記第１のメニューを閉じるための操作に対応する場合、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャ分類モデルを更新し、または
前記第１の操作が第２のメニューを開くための操作に対応し、かつ前記第２の操作が前記第２のメニューから得られるメニュー選択肢を選択するための操作に対応する場合、前記第２のジェスチャを取得したことに応答して、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを変更せず維持する
方法。
【請求項１２】
請求項３に記載の方法はさらに、
前記第１のジェスチャおよび前記第１のジェスチャに応答して操作される前記第１の操作に関連付けられている情報を備える、前記サービスシナリオの下での対話操作情報をサーバに送信し、
前記サービスシナリオに対応する前記対話モデルを受信し、前記受信した対話モデルは前記サーバに送信された前記サービスシナリオの下での前記対話操作情報に少なくとも一部基づいて前記サーバにより更新されること
を備える方法。
【請求項１３】
請求項１に記載の方法であって、前記第１のジェスチャを取得することは、
ユーザの少なくとも一方の手により行われた前記第１のジェスチャから第１のジェスチャデータを取得し、
前記第１のジェスチャデータに少なくとも一部基づいて、前記少なくとも一方の手の１つまたは複数の関節を認識し、
前記１つまたは複数の認識された関節に少なくとも一部基づいて前記第１のジェスチャに関連付けられているジェスチャタイプを決定すること
を備える方法。
【請求項１４】
請求項１に記載の方法であって、前記第１のジェスチャは、
片手のジェスチャ、または両手を組み合わせたジェスチャ
を含む方法。
【請求項１５】
請求項１に記載の方法であって、前記第１の操作は、ユーザインタフェース操作を含む方法。
【請求項１６】
請求項１５に記載の方法であって、前記ユーザインタフェース操作は、メニュー操作を含む方法。
【請求項１７】
請求項１に記載の方法であって、前記サービスシナリオは、
仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ、ＶＲ）サービスシナリオ、または
拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ、ＡＲ）サービスシナリオ、または
複合現実（ｍｉｘｅｄ  ｒｅａｌｉｔｙ、ＭＲ）サービスシナリオ
を備える方法。
【請求項１８】
機器であって、
１つまたは複数のプロセッサであって、
仮想現実画像、拡張現実画像、および複合現実画像のうち１つまたは複数を備える第１の画像を提供し、
第１のジェスチャを取得し、
前記第１のジェスチャおよび前記第１の画像に対応するサービスシナリオに少なくとも一部基づいて第１の操作を取得し、前記第１の画像に対応するサービスシナリオは前記第１のジェスチャが入力された状況であり、
前記第１の操作に従って前記機器を操作する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリと
を備える機器。
【請求項１９】
機器であって、
１つまたは複数のプロセッサであって、
仮想現実シナリオ、拡張現実シナリオ、または複合現実シナリオの下で第１のジェスチャを取得し、
前記第１のジェスチャが、１つまたは複数の条件を満たすか否かを判断し、
前記第１のジェスチャが、前記１つまたは複数の条件を満たすと判断された場合、オーディオデータ、画像データ、ビデオデータのうち１つ、またはそれらの組合せを備えるデータ出力を制御する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されたている１つまたは複数のメモリと
を備える機器。
【請求項２０】
機器であって、
１つまたは複数のプロセッサであって、
第１の画像を提供し、前記第１の画像は第１のオブジェクトおよび第２のオブジェクトを備え、前記第１のオブジェクトおよび前記第２のオブジェクトのうち少なくとも一方は、仮想現実オブジェクト、拡張現実オブジェクト、または複合現実オブジェクトであり、
前記第１のオブジェクトに関連付けられている第１のジェスチャに関連付けられている情報を取得し、
前記第１のジェスチャに対応する第１の操作に少なくとも一部基づいて前記第２のオブジェクトを処理する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリと
を備える機器。
【請求項２１】
コンピュータプログラムであって、
端末により送信された対話操作情報を取得するための機能と、前記対話操作情報は、ジェスチャ情報、および前記ジェスチャ情報に少なくとも一部基づいて実行された操作を備え、
前記対話操作情報および前記対話操作情報に関連付けられているサービスシナリオに少なくとも一部基づいて、前記サービスシナリオに対応する対話モデルを更新するための機能と、前記対話モデルは、ジェスチャに基づく対応する操作の決定に関連して使用され、
前記更新された対話モデルを記憶するための機能と、
前記端末に前記更新された対話モデルを通信するための機能とをコンピュータによって実現させるコンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１６１
【補正方法】変更
【補正の内容】
【０１６１】
前述の実施形態について、理解を明確にするためにある程度詳細に記述してきたが、本発明は、提供した詳細に限定されない。本発明を実装する代わりの方法が多く存在する。開示する実施形態は例示的であり、制限的なものではない。
適用例１：方法であって、
仮想現実画像、拡張現実画像、および複合現実画像のうち１つまたは複数を備える第１の画像を提供し、
第１のジェスチャを取得し、
前記第１のジェスチャおよび前記第１の画像に対応するサービスシナリオに少なくとも一部基づいて第１の操作を取得し、前記第１のサービスシナリオには前記第１のジェスチャが入力されており、
前記第１の操作に従って端末を操作すること
を備える方法。
適用例２：適用例１に記載の方法であって、前記第１の操作を取得することは、前記第１のジェスチャおよび前記第１の画像に対応する前記サービスシナリオに少なくとも一部基づいて記第１の操作を決定することを備える方法。
適用例３：適用例１に記載の方法はさらに、
前記第１の操作を決定する前に、
前記第１のジェスチャが入力された前記サービスシナリオに少なくとも一部基づいて、前記サービスシナリオに対応する対話モデルを取得し、
前記対話モデルに少なくとも一部基づいて、前記第１のジェスチャに対応する前記第１の操作を決定すること
を備える方法。
適用例４：適用例３に記載の方法であって、前記対話モデルは、ジェスチャ分類モデルおよびジェスチャタイプから操作へのマッピングを備え、前記ジェスチャ分類モデルは、前記第１のジェスチャに基づいて対応するジェスチャタイプを決定することに関連して使用される方法。
適用例５：適用例４に記載の方法であって、前記第１のジェスチャに対応する前記第１の操作を決定することは、
前記ジェスチャ分類モデルに少なくとも一部基づいて前記サービスシナリオの下で前記第１のジェスチャに関連付けられているジェスチャタイプを決定し、
前記第１のジェスチャに関連付けられている前記ジェスチャタイプ、およびジェスチャタイプから操作への前記マッピングに少なくとも一部基づいて前記第１の操作を決定すること
を備える方法。
適用例６：適用例３に記載の方法なさらに、
ユーザ情報に少なくとも一部基づいて前記第１のジェスチャに関連付けられているユーザに対応するジェスチャ分類モデルを取得することを備える方法。
適用例７：適用例６に記載の方法であって、前記ユーザに対応する前記ジェスチャ分類モデルを取得することは、
前記ユーザに関連付けられているユーザ識別子を取得し、
前記ユーザ識別子に対応する前記ジェスチャ分類モデルを取得し、１つのユーザ識別子は１つのジェスチャ分類モデルに一意に対応し、
前記対応するユーザが配置されているユーザグループを決定するための基礎としてユーザグループ分け情報および前記ユーザ情報を使用し、前記対応するユーザが配置されている前記ユーザグループに対応する前記ジェスチャ分類モデルを取得し、複数のユーザグループの中の１つのユーザグループは１人または複数のユーザを備え、１つのジェスチャ分類モデルに一意に対応すること
を備える方法。
適用例８：適用例６に記載の方法であって、前記ユーザに対応する前記ジェスチャ分類モデルを取得することは、
前記グループ分け情報および前記ユーザ情報に少なくとも一部基づいて、前記ユーザが属するユーザグループを決定し、
前記ユーザグループに対応する前記ジェスチャ分類モデルを取得し、１つのユーザグループは、１つまたは複数のユーザを備え、１つのジェスチャ分類モデルに一意に対応すること
を備える方法。
適用例９：適用例４に記載の方法はさらに、
前記サービスシナリオの下で前記第１のジェスチャを取得した後、第２のジェスチャを取得したことに応答して第２の操作を取得し、
前記第２の操作と前記第１の操作の関係に少なくとも一部基づいて前記ジェスチャ分類モデルを更新すること
を備える方法。
適用例１０：適用例９に記載の方法であって、前記ジェスチャ分類モデルを更新することは、
前記第１の操作の対象オブジェクトが前記第２の操作の対象オブジェクトと同じである場合、かつ前記第１の操作および前記第２の操作に対応する操作動作がそれぞれ異なる場合、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを更新し、および
前記第２の操作の前記対象オブジェクトが前記第１の操作の前記対象オブジェクトの副対象物である場合、前記第２のジェスチャに応答して前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを変更せず維持すること
のうち少なくとも１つを備える方法。
適用例１１：適用例１０に記載の方法であって、
前記第１の操作が第１のメニューを開くための操作に対応し、かつ前記第２の操作が前記第１のメニューを閉じるための操作に対応する場合、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャ分類モデルを更新し、または
前記第１の操作が第２のメニューを開くための操作に対応し、かつ前記第２の操作が前記第２のメニューから得られるメニュー選択肢を選択するための操作に対応する場合、前記第２のジェスチャを取得したことに応答して、前記ジェスチャ分類モデル内の前記第１のジェスチャに関連付けられている前記ジェスチャタイプを変更せず維持する
方法。
適用例１２：適用例３に記載の方法はさらに、
前記第１のジェスチャおよび前記第１のジェスチャに応答して操作される前記第１の操作に関連付けられている情報を備える、前記サービスシナリオの下での対話操作情報をサーバに送信し、
前記サービスシナリオに対応する前記対話モデルを受信し、前記受信した対話モデルは前記サーバに送信された前記サービスシナリオの下での前記対話操作情報に少なくとも一部基づいて前記サーバにより更新されること
を備える方法。
適用例１３：適用例１に記載の方法であって、前記第１のジェスチャを取得することは、
ユーザの少なくとも一方の手により行われた前記第１のジェスチャから第１のジェスチャデータを取得し、
前記第１のジェスチャデータに少なくとも一部基づいて、前記少なくとも一方の手の１つまたは複数の関節を認識し、
前記１つまたは複数の認識された関節に少なくとも一部基づいて前記第１のジェスチャに関連付けられているジェスチャタイプを決定すること
を備える方法。
適用例１４：適用例１に記載の方法であって、前記第１のジェスチャは、
片手のジェスチャ、または両手を組み合わせたジェスチャ
を含む方法。
適用例１５：適用例１に記載の方法であって、前記第１の操作は、ユーザインタフェース操作を含む方法。
適用例１６：適用例１５に記載の方法であって、前記ユーザインタフェース操作は、メニュー操作を含む方法。
適用例１７：適用例１に記載の方法であって、前記サービスシナリオは、
仮想現実（ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ、ＶＲ）サービスシナリオ、または
拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ、ＡＲ）サービスシナリオ、または
複合現実（ｍｉｘｅｄ  ｒｅａｌｉｔｙ、ＭＲ）サービスシナリオ
を備える方法。
適用例１８：機器であって、
１つまたは複数のプロセッサであって、
仮想現実画像、拡張現実画像、および複合現実画像のうち１つまたは複数を備える第１の画像を提供し、
第１のジェスチャを取得し、
前記第１のジェスチャおよび前記第１の画像に対応するサービスシナリオに少なくとも一部基づいて第１の操作を取得し、前記第１の画像に対応するサービスシナリオは前記第１のジェスチャが入力された状況であり、
前記第１の操作に従って前記機器を操作する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリと
を備える機器。
適用例１９：機器であって、
１つまたは複数のプロセッサであって、
仮想現実シナリオ、拡張現実シナリオ、または複合現実シナリオの下で第１のジェスチャを取得し、
前記第１のジェスチャが、１つまたは複数の条件を満たすか否かを判断し、
前記第１のジェスチャが、前記１つまたは複数の条件を満たすと判断された場合、オーディオデータ、画像データ、ビデオデータのうち１つ、またはそれらの組合せを備えるデータ出力を制御する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されたている１つまたは複数のメモリと
を備える機器。
適用例２０：機器であって、
１つまたは複数のプロセッサであって、
第１の画像を提供し、前記第１の画像は第１のオブジェクトおよび第２のオブジェクトを備え、前記第１のオブジェクトおよび前記第２のオブジェクトのうち少なくとも一方は、仮想現実オブジェクト、拡張現実オブジェクト、または複合現実オブジェクトであり、
前記第１のオブジェクトに関連付けられている第１のジェスチャに関連付けられている情報を取得し、
前記第１のジェスチャに対応する第１の操作に少なくとも一部基づいて前記第２のオブジェクトを処理する
ように構成されている１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサに接続され、前記１つまたは複数のプロセッサに命令を提供するように構成されている１つまたは複数のメモリと
を備える機器。
適用例２１：コンピュータプログラム製品であって、非一時的コンピュータ可読記憶媒体の形で具体化され、
端末により送信された対話操作情報を取得し、前記対話操作情報は、ジェスチャ情報、および前記ジェスチャ情報に少なくとも一部基づいて実行された操作を備え、
前記対話操作情報および前記対話操作情報に関連付けられているサービスシナリオに少なくとも一部基づいて、前記サービスシナリオに対応する対話モデルを更新し、前記対話モデルは、ジェスチャに基づく対応する操作の決定に関連して使用され、
前記更新された対話モデルを記憶し、
前記端末に前記更新された対話モデルを通信する
ためのコンピュータ命令を備えるコンピュータプログラム製品。
【国際調査報告】
2019535055.tif 000011