(57)【要約】      （修正有）【課題】多端末共同に基づいてジェスチャーを認識するための方法、デバイス及びシステムを提供する。【解決手段】方法は、ユーザによってトリガされた共同要求アクティブ化信号を受信した後に、第1の端末が、第2の端末によって送られた第2の端末のパラメータ情報を受信するステップ１０１と、第2の端末のパラメータ情報に従って、第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録し、ジェスチャー情報の収集に関与する端末がすべての端末または第2の端末を含み、すべての端末が第1の端末と第2の端末とを含む、記録するステップ１０２と、第1の端末が、少なくとも1つの第2の端末によって送られたセンサートリガ情報を受信するステップ１０３と、記録された構成様式と収集されたセンサートリガ情報とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断するステップ１０４とを含む。【選択図】図１
2015130171.tif 000002
【特許請求の範囲】
【請求項１】
多端末共同に基づいてジェスチャーを認識するための方法であって、前記方法は、
ユーザによってトリガされた共同要求アクティブ化信号を受信した後に、第1の端末が、第2の端末によって送られた前記第2の端末のパラメータ情報を受信するステップと、
前記第2の端末の前記パラメータ情報に従って、前記第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録するステップであって、前記ジェスチャー情報の前記収集に関与する前記端末がすべての端末または前記第2の端末を含み、すべての前記端末が前記第1の端末と前記第2の端末とを含む、記録するステップと、
前記第1の端末が、少なくとも1つの第2の端末によって送られたセンサートリガ情報を受信するステップと、
前記記録された構成様式と前記収集されたセンサートリガ情報とに従って、前記第1の端末が、センサーをトリガするジェスチャーのタイプを判断するステップと
を含む、方法。
【請求項２】
前記記録された構成様式と前記収集されたセンサートリガ情報とに従って、前記第1の端末が、センサーをトリガするジェスチャーのタイプを判断する前記ステップは、
前記第1の端末が、各トリガされた端末によって検出された少なくとも1つのセンサートリガ情報から各トリガされた端末の第1のセンサートリガ情報を収集するステップであって、前記第1のセンサートリガ情報が各端末の最高優先度のセンサーによって与えられる、収集するステップと、
前記第1の端末が、前記ジェスチャーのスライディング方向を判断し、前記記録された構成様式と、各トリガされた端末の前記第1のセンサートリガ情報中に含まれているトリガ時間とに従って、前記ジェスチャーの前記スライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するステップと、
前記ジェスチャーの前記スライディング方向と前記トリガ時間差とに従って、前記第1の端末が、前記センサーをトリガする前記ジェスチャーの前記タイプを判断するステップと
を含む、請求項1に記載の方法。
【請求項３】
前記第1の端末が、前記ジェスチャーのスライディング方向を判断し、前記記録された構成様式と、各トリガされた端末の前記第1のセンサートリガ情報中に含まれているトリガ時間とに従って、前記ジェスチャーの前記スライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算する前記ステップの前に、
前記第1の端末の時間が前記第2の端末の時間と同期されていると判断するステップと
をさらに含む、請求項2に記載の方法。
【請求項４】
前記ジェスチャーの前記スライディング方向と前記トリガ時間差とに従って、前記第1の端末が、前記センサーをトリガする前記ジェスチャーの前記タイプを判断する前記ステップは、
前記ジェスチャーが単方向的にスライドし、前記第1の端末が、前記トリガ時間差がプリセット時間範囲内にあると判断したとき、前記センサーをトリガする前記ジェスチャーの前記タイプがスライドジェスチャーであると判断するステップと、
前記ジェスチャーが第1のジェスチャーと第2のジェスチャーとを含み、前記第1のジェスチャーと前記第2のジェスチャーとが互いから離れてスライドし、前記第1のジェスチャーと前記第2のジェスチャーの両方がスライドジェスチャーであるとき、前記センサーをトリガする前記ジェスチャーの前記タイプがズームインジェスチャーであると判断するステップと、前記第1のジェスチャーと前記第2のジェスチャーとが互いのほうへスライドし、前記第1のジェスチャーと前記第2のジェスチャーの両方がスライドジェスチャーであるとき、前記センサーをトリガする前記ジェスチャーの前記タイプがズームアウトジェスチャーであると判断するステップと、
前記第1のジェスチャーのスライディング方向が前記第2のジェスチャーのスライディング方向とは異なり、前記第1のジェスチャーの開始端末が前記第2のジェスチャーの開始端末とは異なり、前記第1のジェスチャーの終了端末が前記第2のジェスチャーの終了端末とは異なり、前記第1の端末が、前記第1のジェスチャーと前記第2のジェスチャーの両方がスライドジェスチャーであり、前記第1のジェスチャーの前記終了端末のトリガ時間と前記第2のジェスチャーの前記終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいと判断したとき、前記センサーをトリガする前記ジェスチャーの前記タイプが回転ジェスチャーであると判断するステップと
を含む、請求項2または3に記載の方法。
【請求項５】
前記パラメータ情報がデバイス構成パラメータを含み、前記第2の端末の前記受信されたパラメータ情報に従って、前記第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録する前記ステップは、
前記第1の端末のデバイス構成パラメータと、前記第2の端末の受信されたデバイス構成パラメータと、すべての前記端末の数とに従って、前記第1の端末が、インターフェースにおいて、前記ユーザが選択すべき、すべての前記端末を含んでいる少なくとも1つの構成様式を表示するステップと、前記ユーザによって選択された構成様式を記録するステップと
を含む、請求項1から4のいずれか一項に記載の方法。
【請求項６】
前記パラメータ情報がデバイス構成パラメータを含み、前記第2の端末の前記受信されたパラメータ情報に従って、前記第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録する前記ステップは、
前記第2の端末の受信されたデバイス構成パラメータと、前記第2の端末の数とに従って、前記第1の端末が、インターフェースにおいて、前記ユーザが選択すべき、前記第2の端末を含んでいる少なくとも1つの構成様式を表示するステップと、前記ユーザによって選択された構成様式を記録するステップと
を含む、請求項1から4のいずれか一項に記載の方法。
【請求項７】
多端末共同に基づいてジェスチャーを認識するための方法であって、前記方法は、
第1の端末が、第2の端末のパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように、共同要求アクティブ化信号を受信した後に、第2の端末が、前記第1の端末に前記第2の端末のパラメータ情報を送るステップであって、前記ジェスチャー情報の前記収集に関与する前記端末がすべての端末または前記第2の端末を含み、すべての前記端末が前記第1の端末と前記第2の端末とを含む、送るステップと、
前記第1の端末が、前記記録された構成様式と前記収集されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、前記センサーがトリガされたことを検出したとき、前記第2の端末が、前記第1の端末に検出されたセンサートリガ情報を送るステップと
を含む、方法。
【請求項８】
前記パラメータ情報がデバイス構成パラメータを含み、第2の端末が前記第1の端末にパラメータ情報を送る前記ステップは、
前記第1の端末が、前記第1の端末のデバイス構成パラメータと、前記第2の端末の受信されたデバイス構成パラメータと、すべての前記端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、すべての前記端末を含んでいる少なくとも1つの構成様式を表示し、前記ユーザによって選択された構成様式を記録するように、前記第2の端末が前記第1の端末に前記デバイス構成パラメータを送るステップ
を含む、請求項7に記載の方法。
【請求項９】
前記パラメータ情報がデバイス構成パラメータを含み、第2の端末が前記第1の端末にパラメータ情報を送る前記ステップは、
前記第1の端末が、前記第2の端末の受信されたデバイス構成パラメータと、前記第2の端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、前記第2の端末を含んでいる少なくとも1つの構成様式を表示し、前記ユーザによって選択された構成様式を記録するように、前記第2の端末が前記第1の端末に前記デバイス構成パラメータを送るステップ
を含む、請求項7に記載の方法。
【請求項１０】
受信機と、記録ユニットと、判断ユニットとを含む、端末であって、
前記受信機が、ユーザによってトリガされた共同要求アクティブ化信号を受信するように構成され、
前記受信機が、前記端末によって送られた端末のパラメータ情報を受信するようにさらに構成され、
前記記録ユニットが、前記受信機によって受信された前記パラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように構成され、前記ジェスチャー情報の前記収集に関与する前記端末がすべての端末または前記端末を含み、すべての前記端末が前記端末自体および前記端末を含み、
前記受信機が、少なくとも1つの端末によって送られたセンサートリガ情報を受信するようにさらに構成され、
前記判断ユニットが、前記記録ユニットによって記録された前記構成様式と前記受信機によって受信された前記センサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように構成された、
端末。
【請求項１１】
前記判断ユニットは、
各トリガされた端末によって検出された少なくとも1つのセンサートリガ情報から各トリガされた端末の第1のセンサートリガ情報を収集するように構成された、情報判断サブユニットであって、前記第1のセンサートリガ情報が各端末の最高優先度のセンサーによって与えられる、情報判断サブユニットと、
前記ジェスチャーのスライディング方向を判断し、前記記録ユニットによって記録された前記構成様式と、各トリガされた端末の前記第1のセンサートリガ情報中に含まれているトリガ時間とに従って、前記ジェスチャーの前記スライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するように構成された、第3の計算サブユニットであって、各トリガされた端末の前記第1のセンサートリガ情報が前記情報判断サブユニットによって判断される、第3の計算サブユニットと、
前記ジェスチャーの前記スライディング方向と、前記第3の計算サブユニットによって判断された前記トリガ時間差とに従って、前記センサーをトリガする前記ジェスチャーの前記タイプを判断するように構成された、ジェスチャー判断サブユニットであって、前記ジェスチャーの前記タイプが、スライドジェスチャーと、ズームジェスチャーと、回転ジェスチャーとを含む、ジェスチャー判断サブユニットと
を含む、請求項10に記載の端末。
【請求項１２】
時間判断ユニットをさらに含み、
前記時間判断ユニットは、前記端末自体の時間が各端末の時間と同期されていると判断するように特に構成され、
前記第3の計算サブユニットは、前記時間判断ユニットが、時間が同期されていると判断したとき、前記ジェスチャーの前記スライディング方向を判断し、前記記録ユニットによって記録された前記構成様式と、各トリガされた端末の前記第1のセンサートリガ情報中に含まれている前記トリガ時間とに従って、前記ジェスチャーの前記スライディング方向に沿って隣接するトリガされた端末間の前記トリガ時間差を計算するように構成され、各トリガされた端末の前記第1のセンサートリガ情報が前記情報判断サブユニットによって判断される、
請求項11に記載の端末。
【請求項１３】
前記ジェスチャー判断サブユニットは、
前記ジェスチャーが単方向的にスライドしたとき、前記センサーをトリガする前記ジェスチャーの前記タイプがスライドジェスチャーであると判断し、前記トリガ時間差がプリセット時間範囲内にあると判断することと、
前記ジェスチャーが第1のジェスチャーと第2のジェスチャーとを含み、前記第1のジェスチャーと前記第2のジェスチャーとが互いから離れてスライドし、前記第1のジェスチャーと前記第2のジェスチャーの両方がスライドジェスチャーであるとき、前記センサーをトリガする前記ジェスチャーの前記タイプがズームインジェスチャーであると判断することと、前記第1のジェスチャーと前記第2のジェスチャーとが互いのほうへスライドし、前記第1のジェスチャーと前記第2のジェスチャーの両方がスライドジェスチャーであるとき、前記センサーをトリガする前記ジェスチャーの前記タイプがズームアウトジェスチャーであると判断することと、
前記第1のジェスチャーのスライディング方向が前記第2のジェスチャーのスライディング方向とは異なり、前記第1のジェスチャーの開始端末が前記第2のジェスチャーの開始端末とは異なり、前記第1のジェスチャーの終了端末が前記第2のジェスチャーの終了端末とは異なるとき、前記センサーをトリガする前記ジェスチャーの前記タイプが回転ジェスチャーであると判断し、前記第1のジェスチャーと前記第2のジェスチャーの両方がスライドジェスチャーであり、前記第1のジェスチャーの前記終了端末のトリガ時間と前記第2のジェスチャーの前記終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいと判断することと
を行うように特に構成された、請求項11または12に記載の端末。
【請求項１４】
前記パラメータ情報がデバイス構成パラメータを含み、前記記録ユニットが、
前記端末自体のデバイス構成パラメータと、前記受信機によって受信された前記端末のデバイス構成パラメータと、すべての前記端末の数とに従って、すべての前記端末の少なくとも1つの構成様式を計算し、表示するように構成された、第1の計算サブユニットと、
前記第1の計算サブユニットの前記表示に従って前記ユーザによって選択された構成様式を記録するように構成された、第1の記録サブユニットと
を含む、請求項10から13のいずれか一項に記載の端末。
【請求項１５】
前記パラメータ情報がデバイス構成パラメータを含み、前記記録ユニットが、
前記受信機によって受信された前記端末のデバイス構成パラメータと、前記デバイス構成パラメータを送る端末の数とに従って、前記端末の少なくとも1つの構成様式を計算し、表示するように構成された、第2の計算サブユニットと、
前記第2の計算サブユニットの前記表示に従って前記ユーザによって選択された構成様式を記録するように構成された、第2の記録サブユニットと
を含む、請求項10から13のいずれか一項に記載の端末。
【請求項１６】
端末であって、前記端末は、
共同要求アクティブ化信号を受信するように構成された、受信機と、
受信端末が、受信されたパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように、前記受信機が前記共同要求アクティブ化信号を受信したとき、前記受信端末に前記パラメータ情報を送るように構成された、送信機であって、前記ジェスチャー情報の前記収集に関与する前記端末が、すべての端末またはパラメータ情報を送る端末を含み、すべての前記端末が、パラメータ情報を送る前記端末と前記受信端末とを含み、前記送信機は、前記受信端末が、前記記録された構成様式と前記収集されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、前記センサーがトリガされたことが検出されたとき、前記受信端末に検出されたセンサートリガ情報を送るようにさらに構成された、送信機と
を含む、端末。
【請求項１７】
前記送信機は、
前記受信端末が、受信端末のデバイス構成パラメータと、前記端末の受信されたデバイス構成パラメータと、すべての前記端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、すべての前記端末を含んでいる少なくとも1つの構成様式を表示し、前記ユーザによって選択された構成様式を記録するように、前記受信端末にデバイス構成パラメータを送る
ように特に構成された、請求項16に記載の端末。
【請求項１８】
前記送信機は、
前記受信端末が、前記端末の受信されたデバイス構成パラメータと、デバイス構成パラメータを送る端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、デバイス構成パラメータを送る前記端末を含んでいる少なくとも1つの構成様式を表示し、前記ユーザによって選択された構成様式を記録するように、前記受信端末にデバイス構成パラメータを送る
ように特に構成された、請求項16に記載の端末。
【請求項１９】
多端末共同に基づいてジェスチャーを認識するためのシステムであって、前記システムが、
第1の端末と、少なくとも1つの第2の端末と
を含み、
前記第1の端末が、請求項10から15のいずれか一項に記載の端末であり、
前記第2の端末が、請求項16から18のいずれか一項に記載の端末である、
システム。
【請求項２０】
プログラムを記録したコンピュータ可読記憶媒体であって、前記プログラムが、請求項1から9のいずれか一項に記載の方法をコンピュータに実行させる、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インテリジェント端末技術の分野に関し、詳細には、多端末共同(multi-terminal collaboration)に基づいてジェスチャーを認識するための方法、デバイス、およびシステムに関する。
【背景技術】
【０００２】
現在、インテリジェント端末が普及した後に、新しい動向が現れており、すなわち、複数のインテリジェント端末が共同的に動作するようにペアリングされる。たとえば、複数のインテリジェント端末が、ピクチャを共同的に表示するために使用されるか、または複数のインテリジェント端末が、サラウンドステレオ効果を生じるために使用される。複数の端末が共同的に動作する適用シナリオでは、端末にわたるジェスチャー操作を実行する要件が存在する。
【０００３】
従来技術では、2つの端末がスプライスされたとき、タッチスクリーンに依拠することによって、スクリーンにわたるジェスチャー操作および認識が実装され得る。しかしながら、3つ以上の端末が共同的に動作するシナリオでは、タッチスクリーンに依拠することによってジェスチャー操作を実行することは、比較的低い操作効率とともに著しい制限を有する。その結果、従来技術におけるタッチスクリーンに依拠することによってジェスチャー認識を実行するための方法は、3つ以上の端末が共同する動作シナリオでは効率的に適用され得ない。したがって、現在、多端末共同に基づいてジェスチャー認識を実装するための効率的な方法がない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この点から見て、本発明の主目的は、従来技術では多端末共同においてジェスチャー認識を実装することが困難である問題を解決するように、多端末共同に基づいてジェスチャーを認識するための方法、デバイス、およびシステムを提供することである。
【課題を解決するための手段】
【０００５】
上記の問題を解決するために、本発明は以下の技術的解決策を提供する。
【０００６】
第1の態様によれば、本発明は、多端末共同に基づいてジェスチャーを認識するための方法を提供し、本方法は、
ユーザによってトリガされた共同要求アクティブ化信号を受信した後に、第1の端末が、第2の端末によって送られた第2の端末のパラメータ情報を受信するステップと、
第2の端末のパラメータ情報に従って、第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録するステップであって、ジェスチャー情報の収集に関与する端末がすべての端末または第2の端末を含み、すべての端末が第1の端末と第2の端末とを含む、記録するステップと、
第1の端末が、少なくとも1つの第2の端末によって送られたセンサートリガ情報を受信するステップと、
記録された構成様式と収集されたセンサートリガ情報とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断するステップと
を含む。
【０００７】
第1の態様の第1の実装様式では、パラメータ情報はデバイス構成パラメータを含み、第2の端末の受信されたパラメータ情報に従って、第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録するステップは、
第1の端末のデバイス構成パラメータと、第2の端末の受信されたデバイス構成パラメータと、すべての端末の数とに従って、第1の端末が、インターフェースにおいて、ユーザが選択すべき、すべての端末を含んでいる少なくとも1つの構成様式を表示するステップと、ユーザによって選択された構成様式を記録するステップと
を含む。
【０００８】
第1の態様の第2の実装様式では、パラメータ情報はデバイス構成パラメータを含み、第2の端末の受信されたパラメータ情報に従って、第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録するステップは、
第2の端末の受信されたデバイス構成パラメータと、第2の端末の数とに従って、第1の端末が、インターフェースにおいて、ユーザが選択すべき、第2の端末を含んでいる少なくとも1つの構成様式を表示するステップと、ユーザによって選択された構成様式を記録するステップと
を含む。
【０００９】
第1の態様または第1の態様の第1の実装様式または第1の態様の第2の実装様式に関して、第1の態様の第3の実装様式では、記録された構成様式と収集されたセンサートリガ情報とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断するステップは、
第1の端末が、各トリガされた端末によって検出された少なくとも1つのセンサートリガ情報から各トリガされた端末の第1のセンサートリガ情報を収集するステップであって、第1のセンサートリガ情報が各端末の最高優先度のセンサーによって与えられる、収集するステップと、
第1の端末が、ジェスチャーのスライディング方向を判断し、記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するステップと、
ジェスチャーのスライディング方向とトリガ時間差とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断するステップと
を含む。
【００１０】
第1の態様の第3の実装様式に関して、第1の態様の第4の実装様式では、第1の端末が、ジェスチャーのスライディング方向を判断し、記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するステップの前に、本方法は、
第1の端末の時間が第2の端末の時間と同期されていると判断するステップと
をさらに含む。
【００１１】
第1の態様の第3の実装様式または第1の態様の第4の実装様式に関して、第1の態様の第5の実装様式では、ジェスチャーのスライディング方向とトリガ時間差とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断するステップは、
ジェスチャーが単方向的にスライドし、第1の端末が、トリガ時間差がプリセット時間範囲内にあると判断したとき、センサーをトリガするジェスチャーのタイプがスライドジェスチャーであると判断するステップと、
ジェスチャーが第1のジェスチャーと第2のジェスチャーとを含み、第1のジェスチャーと第2のジェスチャーとが互いから離れてスライドし、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームインジェスチャーであると判断するステップと、第1のジェスチャーと第2のジェスチャーとが互いのほうへスライドし、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームアウトジェスチャーであると判断するステップと、
第1のジェスチャーのスライディング方向が第2のジェスチャーのスライディング方向とは異なり、第1のジェスチャーの開始端末が第2のジェスチャーの開始端末とは異なり、第1のジェスチャーの終了端末が第2のジェスチャーの終了端末とは異なり、第1の端末が、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであり、第1のジェスチャーの終了端末のトリガ時間と第2のジェスチャーの終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいと判断したとき、センサーをトリガするジェスチャーのタイプが回転ジェスチャーであると判断するステップと
を含む。
【００１２】
第2の態様によれば、本発明は、多端末共同に基づいてジェスチャーを認識するための方法を提供し、本方法は、
第1の端末が、第2の端末のパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように、共同要求アクティブ化信号を受信した後に、第2の端末が、第1の端末に第2の端末のパラメータ情報を送るステップであって、ジェスチャー情報の収集に関与する端末がすべての端末または第2の端末を含み、すべての端末が第1の端末と第2の端末とを含む、送るステップと、
第1の端末が、記録された構成様式と収集されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、センサーがトリガされたことを検出したとき、第2の端末が、第1の端末に検出されたセンサートリガ情報を送るステップと
を含む。
【００１３】
第2の態様の第1の実装様式では、パラメータ情報はデバイス構成パラメータを含み、第2の端末が、第1の端末にパラメータ情報を送るステップは、
第1の端末が、第1の端末のデバイス構成パラメータと、第2の端末の受信されたデバイス構成パラメータと、すべての端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、すべての端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、第2の端末が、第1の端末にデバイス構成パラメータを送るステップ
を含む。
【００１４】
第2の態様の第2の実装様式では、パラメータ情報はデバイス構成パラメータを含み、第2の端末が、第1の端末にパラメータ情報を送るステップは、
第1の端末が、第2の端末の受信されたデバイス構成パラメータと、第2の端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、第2の端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、第2の端末が、第1の端末にデバイス構成パラメータを送るステップ
を含む。
【００１５】
第3の態様によれば、本発明は端末を提供し、本端末は、受信機と、記録ユニットと、判断ユニットとを含み、
受信機は、ユーザによってトリガされた共同要求アクティブ化信号を受信するように構成され、
受信機は、端末によって送られた端末のパラメータ情報を受信するようにさらに構成され、
記録ユニットは、受信機によって受信されたパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように構成され、ジェスチャー情報の収集に関与する端末がすべての端末または上記端末を含み、すべての端末が端末自体および上記端末を含み、
受信機は、少なくとも1つの端末によって送られたセンサートリガ情報を受信するようにさらに構成され、
判断ユニットは、記録ユニットによって記録された構成様式と受信機によって受信されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように構成される。
【００１６】
第3の態様の第1の実装様式では、パラメータ情報はデバイス構成パラメータを含み、記録ユニットは、
端末自体のデバイス構成パラメータと、受信機によって受信された端末のデバイス構成パラメータと、すべての端末の数とに従って、すべての端末の少なくとも1つの構成様式を計算し、表示するように構成された、第1の計算サブユニットと、
第1の計算サブユニットの表示に従ってユーザによって選択された構成様式を記録するように構成された、第1の記録サブユニットと
を含む。
【００１７】
第3の態様の第2の実装様式では、パラメータ情報はデバイス構成パラメータを含み、記録ユニットは、
受信機によって受信された端末のデバイス構成パラメータと、デバイス構成パラメータを送る端末の数とに従って、端末の少なくとも1つの構成様式を計算し、表示するように構成された、第2の計算サブユニットと、
第2の計算サブユニットの表示に従ってユーザによって選択された構成様式を記録するように構成された、第2の記録サブユニットと
を含む。
【００１８】
第3の態様または第3の態様の第1の実装様式または第3の態様の第2の実装様式に関して、第3の態様の第3の実装様式では、判断ユニットは、
各トリガされた端末によって検出された少なくとも1つのセンサートリガ情報から各トリガされた端末の第1のセンサートリガ情報を収集するように構成された、情報判断サブユニットであって、第1のセンサートリガ情報が各端末の最高優先度のセンサーによって与えられる、情報判断サブユニットと、
ジェスチャーのスライディング方向を判断し、記録ユニットによって記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するように構成された、第3の計算サブユニットであって、各トリガされた端末の第1のセンサートリガ情報が情報判断サブユニットによって判断される、第3の計算サブユニットと、
ジェスチャーのスライディング方向と、第3の計算サブユニットによって判断されたトリガ時間差とに従って、センサーをトリガするジェスチャーのタイプを判断するように構成された、ジェスチャー判断サブユニットであって、ジェスチャーのタイプが、スライドジェスチャーと、ズームジェスチャーと、回転ジェスチャーとを含む、ジェスチャー判断サブユニットと
を含む。
【００１９】
第3の態様の第3の実装様式に関して、第3の態様の第4の実装様式では、時間判断ユニットがさらに含まれ、
時間判断ユニットは、端末自体の時間が上記端末の時間と同期されていると判断するように特に構成され、
第3の計算サブユニットは、時間判断ユニットが、時間が同期されていると判断したとき、ジェスチャーのスライディング方向を判断し、記録ユニットによって記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するように構成され、各トリガされた端末の第1のセンサートリガ情報が情報判断サブユニットによって判断される。
【００２０】
第3の態様の第3の実装様式または第3の態様の第4の実装様式に関して、第3の態様の第5の実装様式では、ジェスチャー判断サブユニットは、
ジェスチャーが単方向的にスライドしたとき、センサーをトリガするジェスチャーのタイプがスライドジェスチャーであると判断し、トリガ時間差がプリセット時間範囲内にあると判断することと、
ジェスチャーが第1のジェスチャーと第2のジェスチャーとを含み、第1のジェスチャーと第2のジェスチャーとが互いから離れてスライドし、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームインジェスチャーであると判断することと、第1のジェスチャーと第2のジェスチャーとが互いのほうへスライドし、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームアウトジェスチャーであると判断することと、
第1のジェスチャーのスライディング方向が第2のジェスチャーのスライディング方向とは異なり、第1のジェスチャーの開始端末が第2のジェスチャーの開始端末とは異なり、第1のジェスチャーの終了端末が第2のジェスチャーの終了端末とは異なるとき、センサーをトリガするジェスチャーのタイプが回転ジェスチャーであると判断し、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであり、第1のジェスチャーの終了端末のトリガ時間と第2のジェスチャーの終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいと判断することと
を行うように特に構成される。
【００２１】
第4の態様によれば、本発明は端末を提供し、本端末は、
共同要求アクティブ化信号を受信するように構成された、受信機と、
受信端末が、受信されたパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように、受信機が共同要求アクティブ化信号を受信したとき、受信端末にパラメータ情報を送るように構成された、送信機であって、ジェスチャー情報の収集に関与する端末が、すべての端末またはパラメータ情報を送る端末を含み、すべての端末が、パラメータ情報を送る端末と受信端末とを含み、送信機は、受信端末が、記録された構成様式と収集されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、センサーがトリガされたことが検出されたとき、受信端末に検出されたセンサートリガ情報を送るようにさらに構成された、送信機と
を含む。
【００２２】
第4の態様の第1の実装様式では、送信機は、
受信端末が、端末自体のデバイス構成パラメータと、端末の受信されたデバイス構成パラメータと、すべての端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、すべての端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、受信端末にデバイス構成パラメータを送る
ように特に構成される。
【００２３】
第4の態様の第2の実装様式では、送信機は、
受信端末が、端末の受信されたデバイス構成パラメータと、デバイス構成パラメータを送る端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、デバイス構成パラメータを送る端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、受信端末にデバイス構成パラメータを送る
ように特に構成される。
【００２４】
第5の態様によれば、本発明は、多端末共同に基づいてジェスチャーを認識するためのシステムを提供し、本システムは、
第1の端末と、少なくとも1つの第2の端末と
を含み、
第1の端末は、本発明の第3の態様によって提供される端末であり、
第2の端末は、本発明の第4の態様によって提供される端末である。
【００２５】
上記のことからわかるように、本発明は以下の有益な効果を有する。
【００２６】
本発明の実施形態では、ユーザのエアジェスチャーが認識され得る。エアジェスチャー操作は、ユーザの操作時間を節約し、操作効率を改善し、3つ以上の端末が共同する動作シナリオにおいて効率的に適用され得る。特に、本発明の実施形態は、以下の技術的解決策を使用することによって高い認識効率をもつ、多端末共同においてジェスチャーのタイプを認識するための単純で効率的な様式を提供する。第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録した後に、ユーザがエアジェスチャーを行って各端末のセンサーをトリガしたとき、第1の端末は、各トリガされた端末によって検出されたセンサートリガ情報に従って、センサーをトリガするジェスチャーのタイプを判断することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態における、多端末共同においてジェスチャーを認識するための方法の実施形態1のフローチャートである。
【図２】本発明の一実施形態による、端末構成様式の概略図である。
【図３】本発明の一実施形態による、トリガ様式の概略図である。
【図４】本発明の実施形態における、多端末共同においてジェスチャーを認識するための方法の実施形態2のフローチャートである。
【図５】本発明の一実施形態による、スライドジェスチャーの概略図である。
【図６】本発明の一実施形態による、スライドジェスチャーを認識するプロセスの概略図である。
【図７】本発明の一実施形態による、ズームインジェスチャーの概略図である。
【図８】本発明の一実施形態による、ズームインジェスチャーを認識するプロセスの概略図である。
【図９】本発明の一実施形態による、ズームアウトジェスチャーの概略図である。
【図１０】本発明の一実施形態による、ズームアウトジェスチャーを認識するプロセスの概略図である。
【図１１】本発明の一実施形態による、回転ジェスチャーの概略図である。
【図１２】本発明の一実施形態による、回転ジェスチャーを認識するプロセスの概略図である。
【図１３】本発明の実施形態における、多端末共同においてジェスチャーを認識するための方法の実施形態3のフローチャートである。
【図１４】本発明の実施形態における、多端末共同においてジェスチャーを認識するためのシステムの一実施形態の概略図である。
【図１５】本発明の実施形態における、第1の端末の実施形態1の概略図である。
【図１６】本発明の実施形態における、第1の端末の実施形態2の概略図である。
【図１７】本発明の実施形態における、第1の端末の実施形態3の概略図である。
【図１８】本発明の実施形態における、第2の端末の実施形態1の概略図である。
【図１９】本発明の実施形態における、第2の端末の実施形態2の概略図である。
【発明を実施するための形態】
【００２８】
当業者に本発明の技術的解決策をより良く理解させるために、以下で、本発明の実施形態における添付の図面を参照しながら、本発明の実施形態の技術的解決策について明確におよび完全に説明する。明らかに、説明する実施形態は、本発明の実施形態のすべてではなく、その一部分にすぎない。創造的な作業なしに本発明の実施形態に基づいて当業者によって取得されるすべての他の実施形態は、本発明の保護範囲内に入る。
【００２９】
本発明の実施形態において提供される、多端末共同においてジェスチャーを認識するための方法、デバイス、およびシステムは、多端末共同シナリオにおいて適用され得る。多端末共同は、複数の端末デバイスがペアリング様式で様々な動作を実行することができることを意味する。従来技術には、多端末共同のためのジェスチャーを認識するための方法がない。したがって、本発明の実施形態は、多端末共同においてジェスチャーを認識するための以下の方法、デバイス、およびシステムを提供する。
【００３０】
図1に示すように、本発明の実施形態における、多端末共同においてジェスチャーを認識するための方法の実施形態1は、以下のステップを含み得、この実施形態について、第1の端末が実行本体であると仮定することによって説明する。
【００３１】
ステップ101:ユーザによってトリガされた共同要求アクティブ化信号を受信した後に、第1の端末は、第2の端末によって送られた第2の端末のパラメータ情報を受信する。
【００３２】
ユーザによってトリガされた共同要求アクティブ化信号を受信した後に、第1の端末は、最初に、ワイヤレス接続様式で第2の端末への接続を確立する。共同に関与する必要がある端末ごとに共同機能がアクティブ化される必要がある。たとえば、共同要求アクティブ化信号は、ユーザによる専用アプリケーション(アプリはアプリケーションの省略である)を使用可能にすることによってトリガされ得る。ユーザによってトリガされた共同要求アクティブ化信号を受信した後に、第1の端末は、ワイヤレス接続様式で第2の端末への接続を確立する。別の例では、ユーザによってトリガされた共同要求アクティブ化信号を受信した後に、第1の端末は、他の端末と第1の端末との間の距離がプリセット通達距離内にある他の端末に、共同要求アクティブ化信号を送り、それにより、共同要求アクティブ化信号を受信する第2の端末は、ワイヤレス接続様式で各第2の端末への接続を確立する。
【００３３】
ワイヤレス接続様式は、限定はしないが、WiFi、Miracast、3G (3rd-generation、the third generation mobile telecommunications technologies)、Bluetooth（登録商標）などを含む、複数の様式であり得る。WiFiは、一種のワイヤレス適合性証明であり、パーソナルコンピュータなどの端末とハンドヘルドデバイスとをワイヤレス様式で接続することが可能である技術である。Miracastは、WiFi Allianceによって確立された証明プログラムにおけるWiFiダイレクト(WiFi Direct)に基づくワイヤレス規格である。
【００３４】
この実施形態では、すべての端末のうちのプリセット状態を満たす端末が第1の端末として判断され得、他の端末は第2の端末として判断される。すなわち、第1の端末は、すべての端末のうちのプリセット状態を満たす端末である。第1の端末は1次端末として理解され得、第2の端末は2次端末として理解され得る。たとえば、アプリを使用可能にする端末が第1の端末として最初に判断されるか、またはプロセッサが最も高い優位周波数を有する端末が第1の端末として判断される。第1の端末、すなわち、1次端末は、対話の1次デバイスとして働き、ユーザの操作情報を受信し、第2の端末によって送られた情報を受信し、多端末共同においてジェスチャー認識を実装し得る。第2の端末、すなわち、2次端末は、第1の端末が多端末共同においてジェスチャー認識を実装するように、デバイス構成パラメータおよび検出されたセンサートリガ情報などの情報を第1の端末に送り得る。
【００３５】
ステップ102:第1の端末は、第2の端末のパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録し、ジェスチャー情報の収集に関与する端末はすべての端末または第2の端末を含み、すべての端末は第1の端末と第2の端末とを含む。
【００３６】
ジェスチャー情報の収集に関与する端末は、複数の第2の端末であり得、また、第1の端末および複数の第2の端末であり得る。
【００３７】
ジェスチャー情報の収集に関与する端末の構成様式は、構成形状、構成シーケンス、および相対的構成位置を含む。図2に示すように、一例として3つの端末が使用される。端末の構成形状は、ライン、L字形状、逆L形状などであり得る。構成シーケンスは、上/下/左/右の関係などの構成シーケンスを指し、構成シーケンスは、端末A、端末B、および端末Cが連続して構成されるものであり得、また、端末B、端末A、および端末Cが連続して構成されるものであり得、またはその他であり得る。相対的構成位置は、端末間の距離など、特定の位置関係を指す。
【００３８】
本発明のいくつかの実施形態では、パラメータ情報はデバイス構成パラメータを含み、第2の端末の受信されたパラメータ情報に従って、第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録する特定の実装様式は、
第1の端末のデバイス構成パラメータと、第2の端末の受信されたデバイス構成パラメータと、すべての端末の数とに従って、第1の端末が、インターフェースにおいて、ユーザが選択すべき、すべての端末を含んでいる少なくとも1つの構成様式を表示するステップと、ユーザによって選択された構成様式を記録するステップと
を含む。
【００３９】
ジェスチャー情報の収集に関与する端末が第1の端末および複数の第2の端末であるとき、第2の端末の各々は、第1の端末にデバイス構成パラメータ、たとえば、端末スクリーンサイズパラメータおよびスクリーン解像度を送り得る。第1の端末は、第1の端末のデバイス構成パラメータと、第2の端末のデバイス構成パラメータと、すべての端末の数とに従って、すべての端末の複数の考えられる構成様式を計算し、ユーザが選択するためにすべての端末の複数の構成様式を視覚的に表示し得る。端末の数が比較的小さいときは、すべての構成様式が表示され得、端末の数が比較的大きいときは、好適な構成様式が表示され得る。ユーザが構成様式を選択した後に、第1の端末は、ユーザによって選択された構成様式を記録し得る。
【００４０】
本発明のいくつかの実施形態では、パラメータ情報はデバイス構成パラメータを含み、第2の端末の受信されたパラメータ情報に従って、第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録するステップは、
第2の端末の受信されたデバイス構成パラメータと、第2の端末の数とに従って、第1の端末が、インターフェースにおいて、ユーザが選択すべき、第2の端末を含んでいる少なくとも1つの構成様式を表示するステップと、ユーザによって選択された構成様式を記録するステップと
を含む。
【００４１】
ジェスチャー情報の収集に関与する端末が複数の第2の端末のみであるとき、第2の端末の各々は、第1の端末にデバイス構成パラメータ、たとえば、端末スクリーンサイズパラメータおよびスクリーン解像度を送り得る。第1の端末は、第2の端末のデバイス構成パラメータと、第2の端末の数とに従って、すべての第2の端末の考えられる構成様式を計算し、ユーザが選択するために第2の端末の複数の構成様式を視覚的に表示し得る。端末の数が比較的小さいときは、すべての構成様式が表示され得、端末の数が比較的大きいときは、好適な構成様式が表示され得る。ユーザが構成様式を選択した後に、第1の端末は、ユーザによって選択された構成様式を記録し得る。
【００４２】
さらに、本発明のいくつかの実施形態では、第2の端末のパラメータ情報に従って、第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録する特定の実装様式はまた、第2の端末の受信された位置パラメータに従って、第1の端末が、ジェスチャー情報の収集に関与する端末の現在の構成様式を計算するステップと、ジェスチャー情報の収集に関与する端末の現在の構成様式を記録するステップとを含み得る。
【００４３】
このようにして、第1の端末は、第2の端末のデバイス構成パラメータと端末の数とに従って、端末の複数の構成様式を計算し、表示する必要がない。代わりに、ユーザが端末構成を完了した後に、端末によって互いに送信される超音波信号または他の信号によって第1の端末に位置パラメータが送られる。第1の端末は、ジェスチャー情報の収集に関与する端末の現在の構成様式を計算し、ジェスチャー情報の収集に関与する端末の現在の構成様式を記録する。
【００４４】
ステップ103:第1の端末は、少なくとも1つの第2の端末によって送られたセンサートリガ情報を受信する。
【００４５】
端末は様々な異なるセンサーを担持し得、ユーザが端末上でスライドするエアジェスチャーを行ったときにセンサーはトリガされる。センサーは、限定はしないが、赤外線センサー、光センサー、端末容量性スクリーン、超音波検出器、または画像センサーを含み得る。
【００４６】
現在、様々な端末に組み込まれるセンサーは、本質的にスイッチタイプセンサーである。いくつかのセンサーは、いくつかの個別の状態を検出する能力をさらに有する。したがって、トリガ様式はスライドトリガリングまたはプレストリガリングに分類され得る。図3に示すように、トリガ様式は主に、センサー状態Sの変化時間Δtに依拠することによって判断される。Δtが時定数Kよりも大きい場合、トリガ様式はプレストリガリングであると見なされ得、Δtが時定数Kよりも小さい場合、トリガ様式はスライドトリガリングである。時定数Kは、経験値に依拠することによって判断され得、一般に1〜3秒であり得る。
【００４７】
第1の端末および第2の端末はセンサー信号の変化を検出し得、ジェスチャー情報の収集に関与する端末は、第1の端末に検出されたセンサートリガ情報を送る。ジェスチャーが端末上でスライドしたとき、複数のタイプのセンサーがトリガされ得、この場合、複数のタイプのセンサーのトリガ情報が一緒に第1の端末に送られることに留意されたい。本発明のいくつかの実施形態では、センサートリガ情報は、限定はしないが、トリガ時間、トリガ様式、およびセンサートリガリングタイプを含み得る。センサートリガリングタイプに関する情報は、限定はしないが、赤外線トリガリングと、光トリガリングと、画像トリガリングとのうちの1つまたはそれらの組合せを含み得る。トリガ様式がプレストリガリングである場合、トリガ時間は、トリガリングが開始または終了するときの境界時間であり得る。
【００４８】
ステップ104:第1の端末は、記録された構成様式と収集されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断する。
【００４９】
構成様式が判断される、すなわち、端末の構成形状と、構成シーケンスと、相対的構成位置とが知られるという前提では、センサーをトリガするジェスチャーのタイプはセンサートリガ情報に従って取得され得、ジェスチャーのタイプは、限定はしないが、スライドジェスチャー、ズームジェスチャー、および回転ジェスチャーを含む。
【００５０】
この実施形態では、ユーザのエアジェスチャーが認識され得る。エアジェスチャー操作は、ユーザの操作時間を節約し、操作効率を改善し、3つ以上の端末が共同する動作シナリオにおいて効率的に適用され得る。特に、本発明のこの実施形態は、以下の技術的解決策を使用することによって高い認識効率をもつ、多端末共同においてジェスチャーのタイプを認識するための単純で効率的な様式を提供する。第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録した後に、ユーザがエアジェスチャーを行って各端末のセンサーをトリガしたとき、第1の端末は、各トリガされた端末によって検出されたセンサートリガ情報に従って、センサーをトリガするジェスチャーのタイプを判断することができる。
【００５１】
図4に示すように、本発明の実施形態における、多端末共同においてジェスチャーを認識するための方法の実施形態2は、以下のステップを含み得る。この実施形態では、主に、記録された構成様式と収集されたセンサートリガ情報とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断する特定の実装様式について説明する。
【００５２】
ステップ401:第1の端末は、各トリガされた端末によって検出された少なくとも1つのセンサートリガ情報から各トリガされた端末の第1のセンサートリガ情報を収集し、第1のセンサートリガ情報は各端末の最高優先度のセンサーによって与えられる。
【００５３】
この実施形態では、第1の端末は、受信されたセンサートリガ情報をスクリーニングし、最も有意である1つのセンサートリガ情報、すなわち、第1のセンサートリガ情報が、各トリガされた端末のために確保される。たとえば、センサー優先度が設定され得、端末の複数のセンサーのうちの赤外線センサーが最高優先度のセンサーとして働き、赤外線センサーによって与えられるセンサートリガ情報が端末の第1のセンサートリガ情報として働く。端末の赤外線センサーに異常があるとき、光センサーによって与えられるセンサートリガ情報が第1のセンサートリガ情報として働き得る。このようにして、第1の端末は、各トリガされた端末によって検出された少なくとも1つのセンサートリガ情報から各トリガされた端末の第1のセンサートリガ情報を収集し、第1のセンサートリガ情報は各端末の最高優先度のセンサーによって与えられる。
【００５４】
ステップ402:第1の端末は、ジェスチャーのスライディング方向を判断し、記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算する。
【００５５】
記録された構成様式と、各端末のセンサートリガ情報中のトリガ時間情報シーケンスとに関して、ジェスチャーのスライディング方向が判断され得、ジェスチャーのスライディング方向に沿った隣接するトリガされた端末のトリガ情報時間差が次いで計算され、センサーをトリガするジェスチャーのタイプがさらに取得され得る。
【００５６】
本発明のいくつかの実施形態では、第1の端末が、ジェスチャーのスライディング方向を判断し、記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するステップの前に、以下のステップ、すなわち、第1の端末の時間が第2の端末の時間と同期されていると判断するステップがさらに含まれ得る。
【００５７】
実際的適用例では、第1の端末が第2の端末への接続を確立した後に、第1の端末と第2の端末とのための時間同期が第1の端末の時間に基づいて実行され得る。第1の端末と第2の端末の両方がネットワークに接続することが可能であるとき、第1の端末と第2の端末とのための時間同期は標準時間に基づいても実行され得る。
【００５８】
ステップ403:第1の端末は、ジェスチャーのスライディング方向とトリガ時間差とに従って、センサーをトリガするジェスチャーのタイプを判断し、ジェスチャーのタイプは、スライドジェスチャーと、ズームジェスチャーと、回転ジェスチャーとを含む。
【００５９】
特に、ジェスチャーのスライディング方向とトリガ時間差とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断する特定の実装様式について、ジェスチャーのタイプがスライドジェスチャー、ズームジェスチャー、または回転ジェスチャーとして判断されると仮定することによって説明する。
1.スライドジェスチャーの認識
【００６０】
本発明のいくつかの実施形態では、ジェスチャーのスライディング方向とトリガ時間差とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断する特定の実装形態は、
ジェスチャーのスライディング方向が単方向スライディングであり、第1の端末が、トリガ時間差がプリセット時間範囲内にあると判断したとき、センサーをトリガするジェスチャーのタイプがスライドジェスチャーであると判断するステップ
を含み得る。
【００６１】
図5に示すように、スライドジェスチャーの認識について、2つの端末が共同すると仮定することによって具体的に説明する。端末T1のセンサートリガ情報におけるトリガ時間がtaであり、すなわち、端末T1が瞬間taにおいてトリガされ、端末T2のセンサートリガ情報におけるトリガ時間がtbであり、すなわち、端末T2が瞬間tbにおいてトリガされ、トリガ時間tbがトリガ時間taよりも後にあるとき、それは、ジェスチャーのスライディング方向が端末T1から端末T2への単方向スライディングであることを示す。端末のトリガ様式がプレストリガリングである場合、トリガ時間は境界時間である。この実施形態では、端末T1のトリガ様式がプレストリガリングである場合、taは、ジェスチャーがT1を離れる瞬間であり、端末T2のトリガ様式がプレストリガリングである場合、tbは、ジェスチャーがセンサーをトリガする最初の瞬間である。
【００６２】
図6に示すように、第1の端末は、端末T1のトリガ時間taと端末T2のトリガ時間tbとに従って、トリガ時間差tb-taを計算し、トリガ時間差tb-taがプリセット時間範囲内にあるかどうかを判断し、すなわち、m・Δt<tb-ta<n・Δtが成り立つかどうかを判断し、ここで、Δtは、システムパラメータであり、2つの端末にわたるオブジェクトのスライディングの標準時間差を記述し得る。実際的動作では、このパラメータは、経験値を使用し得、または実験的テストを使用することによって取得され得る。しかしながら、ユーザの各操作の時間は一定でなく、したがって、状態判断に何らかの冗長性を与えるために定数mおよびnが導入される(m<1<n)。ジェスチャーのスライディング方向が端末T1から端末T2への単方向スライディングであり、m・Δt<tb-ta<n・Δtが成り立つとき、すなわち、トリガ時間差tb-taがプリセット時間範囲内にあるとき、センサーをトリガするジェスチャーのタイプはスライドジェスチャーである。
【００６３】
多端末共同におけるスライドジェスチャーの判断は、この実施形態におけるデュアル端末状況と同様であることに留意されたい。両方の状況において、判断は以下の様式で実行され得る。ジェスチャーのスライディング方向が単方向スライディングとして判断され、第1の端末が、トリガ時間差がプリセット時間範囲内にあると判断したとき、センサーをトリガするジェスチャーのタイプがスライドジェスチャーであると判断する。
2.ズームジェスチャーの認識:
【００６４】
本発明のいくつかの実施形態では、ジェスチャーのスライディング方向とトリガ時間差とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断する特定の実装形態は、
ジェスチャーのスライディング方向が、第1のジェスチャーと第2のジェスチャーとが互いから離れてスライドするということであり、第1の端末が、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであると判断したとき、センサーをトリガするジェスチャーのタイプがズームインジェスチャーであると判断するステップと、
ジェスチャーのスライディング方向が、第1のジェスチャーと第2のジェスチャーとが互いのほうへスライドするということであり、第1の端末が、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであると判断したとき、センサーをトリガするジェスチャーのタイプがズームアウトジェスチャーであると判断するステップと
を含み得る。
【００６５】
図7に示すように、ズームインジェスチャーの認識について、3つの端末が共同すると仮定することによって具体的に説明する。端末T1のセンサートリガ情報におけるトリガ時間がtaであり、すなわち、端末T1が瞬間taにおいてトリガされ、端末T2のセンサートリガ情報におけるトリガ時間がtbであり、すなわち、端末T2が瞬間tbにおいてトリガされ、端末T3のセンサートリガ情報におけるトリガ時間がtcであり、すなわち、端末T3が瞬間tcにおいてトリガされ、トリガ時間tbがトリガ時間taよりも後にあり、トリガ時間tcもトリガ時間taよりも後にあるとき、それは、2つのジェスチャーが端末T2からそれぞれ端末T1および端末T3にスライドすることを示す。さらに、端末の構成様式が知られ、この場合、ジェスチャーのスライディング方向は、第1のジェスチャーと第2のジェスチャーとが互いから離れてスライドするということが学習され得る。
【００６６】
図8に示すように、ジェスチャーのスライディング方向が判断された後に、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームインジェスチャーであることがさらに学習され得る。
【００６７】
多端末共同におけるズームインジェスチャーの判断は、この実施形態における3端末状況と同様であることに留意されたい。両方の状況において、判断は以下の様式で実行され得る。ジェスチャーのスライディング様式が、第1のジェスチャーと第2のジェスチャーとが互いから離れてスライドするということであり、第1の端末が、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであると判断したとき、センサーをトリガするジェスチャーのタイプがズームインジェスチャーであると判断する。
【００６８】
図9に示すように、スライドジェスチャーの認識について、3つの端末が共同すると仮定することによって具体的に説明する。端末T1のセンサートリガ情報におけるトリガ時間がtbであり、すなわち、端末T1が瞬間tbにおいてトリガされ、端末T3のセンサートリガ情報におけるトリガ時間がtcであり、すなわち、端末T3が瞬間tcにおいてトリガされ、端末T2のセンサートリガ情報におけるトリガ時間がtaであり、すなわち、端末T2が瞬間taにおいてトリガされ、トリガ時間taがトリガ時間tbとトリガ時間tcとよりも後にあるとき、それは、2つのジェスチャーがそれぞれ端末T1および端末T3から端末T2にスライドすることを示す。さらに、端末の構成様式が知られ、この場合、ジェスチャーのスライディング方向は、第1のジェスチャーと第2のジェスチャーとが2つの異なる端末から互いのほうへ1つの端末にスライドするということが学習され得る。
【００６９】
図10に示すように、ジェスチャーのスライディング方向が判断された後に、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームアウトジェスチャーであることがさらに学習され得る。
【００７０】
多端末共同におけるズームアウトジェスチャーの判断は、この実施形態における3端末状況と同様であることに留意されたい。両方の状況において、判断は以下の様式で実行され得る。ジェスチャーのスライディング様式が、第1のジェスチャーと第2のジェスチャーとが互いのほうへスライドするということであり、第1の端末が、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであると判断したとき、センサーをトリガするジェスチャーのタイプがズームアウトジェスチャーであると判断する。
3.回転ジェスチャーの認識:
【００７１】
本発明のいくつかの実施形態では、ジェスチャーのスライディング方向とトリガ時間差とに従って、第1の端末が、センサーをトリガするジェスチャーのタイプを判断する特定の実装形態は、
ジェスチャーのスライディング方向は、第1のジェスチャーのスライディング方向が第2のジェスチャーのスライディング方向とは異なるということであり、第1のジェスチャーの開始端末が第2のジェスチャーの開始端末とは異なり、第1のジェスチャーの終了端末が第2のジェスチャーの終了端末とは異なり、第1の端末が、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであり、第1のジェスチャーの終了端末のトリガ時間と第2のジェスチャーの終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいと判断したとき、センサーをトリガするジェスチャーのタイプが回転ジェスチャーであると判断するステップ
を含み得る。
【００７２】
図11に示すように、回転ジェスチャーの認識について、4つの端末が共同すると仮定することによって具体的に説明する。4つの端末が共同するシナリオでは、端末T4から端末T1にスライドすることと協働して端末T2から端末T3にスライドすることによって、時計回り回転が実行され得る。以下で、回転ジェスチャーの認識について具体的に説明する。端末T2のセンサートリガ情報におけるトリガ時間がtaであり、すなわち、端末T2が瞬間taにおいてトリガされ、端末T3のセンサートリガ情報におけるトリガ時間がtbであり、すなわち、端末T3が瞬間tbにおいてトリガされ、端末T4のセンサートリガ情報におけるトリガ時間がtcであり、すなわち、端末T4が瞬間tcにおいてトリガされ、端末T1のセンサートリガ情報におけるトリガ時間がtdであり、すなわち、端末T1が瞬間tdにおいてトリガされ、トリガ時間tbがトリガ時間taよりも後にあり、トリガ時間tdがトリガ時間tcよりも後にあるとき、それは、2つのジェスチャーがそれぞれ端末T2から端末T3に、および端末T4から端末T1にスライドすることを示す。さらに、端末の構成様式が知られ、この場合、第1のジェスチャーのスライディング方向が第2のジェスチャーのスライディング方向とは異なることと、第1のジェスチャーの開始端末が第2のジェスチャーの開始端末とは異なることと、第1のジェスチャーの終了端末が第2のジェスチャーの終了端末とは異なることとが学習され得る。
【００７３】
図12に示すように、ジェスチャーのスライディング方向が判断された後に、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、第1のジェスチャーの終了端末のトリガ時間と第2のジェスチャーの終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいかどうか、すなわち、|td-tb|<Lが成り立つかどうかをさらに判断する必要があり、ここで、定数Lは、第1のジェスチャーと第2のジェスチャーとが同期しているかどうかを判断するために設定され、実際的適用例における経験に従って設定され得る。第1のジェスチャーの終了端末のトリガ時間と第2のジェスチャーの終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいとき、センサーをトリガするジェスチャーのタイプは回転ジェスチャーである。
【００７４】
多端末共同においてマルチアングル回転が実装され得ることに留意されたく、回転ジェスチャーの判断は、この実施形態における4端末状況と同様である。両方の状況において、判断は以下の様式で実行され得る。ジェスチャーのスライディング方向は、第1のジェスチャーのスライディング方向が第2のジェスチャーのスライディング方向とは異なるということであり、第1のジェスチャーの開始端末が第2のジェスチャーの開始端末とは異なり、第1のジェスチャーの終了端末が第2のジェスチャーの終了端末とは異なり、第1の端末が、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであり、第1のジェスチャーの終了端末のトリガ時間と第2のジェスチャーの終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいと判断したとき、センサーをトリガするジェスチャーのタイプが回転ジェスチャーであると判断する。
【００７５】
この実施形態では、第1の端末は、端末の構成様式と、ジェスチャーが端末をトリガする時間とに従って、ジェスチャーの特定のトリガタイプを判断することができ、トリガタイプは、限定はしないが、スライドジェスチャー、ズームジェスチャー、および回転ジェスチャーを含む。ただ1つの端末センサーに依拠することによって、これらのジェスチャーの認識のための検出は実行され得ず、または検出に大いにコストがかかる。したがって、本発明のこの実施形態は、高い認識効率をもつ、多端末共同においてジェスチャーのタイプを認識するための単純で効率的な様式を提供する。
【００７６】
図13に示すように、本発明の実施形態における、多端末共同においてジェスチャーを認識するための方法の実施形態4は、以下のステップを含み得、この実施形態について、第2の端末が実行本体であると仮定することによって説明する。
【００７７】
ステップ1301:第1の端末が、第2の端末のパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように、共同要求アクティブ化信号を受信した後に、第2の端末は、第1の端末に第2の端末のパラメータ情報を送り、ジェスチャー情報の収集に関与する端末はすべての端末または第2の端末を含み、すべての端末は第1の端末と第2の端末とを含む。
【００７８】
共同要求アクティブ化信号を受信した後に、第2の端末は、ワイヤレス接続様式で第1の端末への接続を確立する。共同に関与する必要がある端末ごとに共同機能がアクティブ化される必要がある。たとえば、共同要求アクティブ化信号は、専用アプリを使用可能にすることによって送られ得る。共同要求アクティブ化信号を受信した後に、第2の端末は、ワイヤレス接続様式で第1の端末への接続を確立する。第2の端末はまた、第1の端末によって送られた共同要求アクティブ化信号を受信した後に、ワイヤレス接続様式で第1の端末への接続を確立し得る。ワイヤレス接続様式は、限定はしないが、WiFi、Miracast、3G、Bluetooth（登録商標）などを含む、複数の様式であり得る。
【００７９】
この実施形態では、すべての端末のうちのプリセット状態を満たす端末が第1の端末として判断され得、他の端末は第2の端末として判断される。すなわち、第1の端末は、すべての端末のうちのプリセット状態を満たす端末である。第1の端末は1次端末として理解され得、第2の端末は2次端末として理解され得る。第1の端末は、対話の1次デバイスとして働き、ユーザの操作情報を受信し、第2の端末によって送られた情報を受信し、多端末共同においてジェスチャー認識を実装し得る。第2の端末は、第1の端末が多端末共同においてジェスチャー認識を実装するように、デバイス構成パラメータおよび検出されたセンサートリガ情報などの情報を第1の端末に送り得る。
【００８０】
第2の端末は、第1の端末が、第2の端末のパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように、第1の端末にパラメータ情報を送る。ジェスチャー情報の収集に関与する端末は、複数の第2の端末であり得、また、第1の端末および複数の第2の端末であり得る。ジェスチャー情報の収集に関与する端末の構成様式は、構成形状、構成シーケンス、および相対的構成位置を含む。
【００８１】
ステップ1302:センサーがトリガされたことを検出したとき、第2の端末は、第1の端末が、記録された構成様式と収集されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、第1の端末に検出されたセンサートリガ情報を送る。
【００８２】
端末は様々な異なるセンサーを担持し得、ユーザが端末上でスライドするエアジェスチャーを行ったときにセンサーはトリガされる。センサーは、限定はしないが、赤外線センサー、光センサー、端末容量性スクリーン、超音波検出器、または画像センサーを含み得る。現在、様々な端末に組み込まれるセンサーは、本質的にスイッチタイプセンサーである。いくつかのセンサーは、いくつかの個別の状態を検出する能力をさらに有する。したがって、トリガ様式はスライドトリガリングまたはプレストリガリングに分類され得る。
【００８３】
第2の端末は、センサー信号の変化を検出し、第1の端末に検出されたセンサートリガ情報を送り得る。ジェスチャーが端末上でスライドしたとき、複数のタイプのセンサーがトリガされ得、この場合、複数のタイプのセンサーのトリガ情報が一緒に第1の端末に送られることに留意されたい。本発明のいくつかの実施形態では、センサートリガ情報は、限定はしないが、トリガ時間、トリガ様式、およびセンサートリガリングタイプを含み得る。センサートリガリングタイプに関する情報は、限定はしないが、赤外線トリガリングと、光トリガリングと、画像トリガリングとのうちの1つまたはそれらの組合せを含み得る。トリガ様式がプレストリガリングである場合、トリガ時間は、トリガリングが開始または終了するときの境界時間であり得る。
【００８４】
本発明のいくつかの実施形態では、本発明のこの実施形態におけるパラメータ情報はデバイス構成パラメータを含み得、第2の端末が第1の端末にパラメータ情報を送る特定の実装形態は、
第1の端末が、第1の端末のデバイス構成パラメータと、第2の端末の受信されたデバイス構成パラメータと、すべての端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、すべての端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、第2の端末が第1の端末にデバイス構成パラメータを送るステップ
を含み得る。
【００８５】
ジェスチャー情報の収集に関与する端末が第1の端末および複数の第2の端末であるとき、第2の端末の各々は、第1の端末にデバイス構成パラメータ、たとえば、端末スクリーンサイズパラメータおよびスクリーン解像度を送り得る。第1の端末は、第1の端末のデバイス構成パラメータと、第2の端末のデバイス構成パラメータと、すべての端末の数とに従って、すべての端末の複数の考えられる構成様式を計算し、ユーザが選択するためにすべての端末の複数の構成様式を視覚的に表示し得る。端末の数が比較的小さいときは、すべての構成様式が表示され得、端末の数が比較的大きいときは、好適な構成様式が表示され得る。ユーザが構成様式を選択した後に、第1の端末は、ユーザによって選択された構成様式を記録し得る。
【００８６】
本発明のいくつかの実施形態では、本発明のこの実施形態におけるパラメータ情報はデバイス構成パラメータを含み、第2の端末が第1の端末にパラメータ情報を送る特定の実装形態は、
第1の端末が、第2の端末の受信されたデバイス構成パラメータと、第2の端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、第2の端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、第2の端末が第1の端末にデバイス構成パラメータを送るステップ
を含み得る。
【００８７】
ジェスチャー情報の収集に関与する端末が複数の第2の端末のみであるとき、第2の端末の各々は、第1の端末にデバイス構成パラメータ、たとえば、端末スクリーンサイズパラメータおよびスクリーン解像度を送り得る。第1の端末は、第2の端末のデバイス構成パラメータと、第2の端末の数とに従って、すべての第2の端末の考えられる構成様式を計算し、ユーザが選択するために第2の端末の複数の構成様式を視覚的に表示し得る。端末の数が比較的小さいときは、すべての構成様式が表示され得、端末の数が比較的大きいときは、好適な構成様式が表示され得る。ユーザが構成様式を選択した後に、第1の端末は、ユーザによって選択された構成様式を記録し得る。
【００８８】
さらに、本発明のいくつかの実施形態では、第2の端末が、本発明のこの実施形態において第1の端末にパラメータ情報を送る特定の実装形態はまた、
第1の端末が、第2の端末の受信された位置パラメータに従って、すべての端末の現在の構成様式を計算し、現在の構成様式を記録するように、第2の端末が、第1の端末に第2の端末の位置パラメータを送るステップ
を含み得る。
【００８９】
このようにして、第1の端末は、第2の端末のデバイス構成パラメータと端末の数とに従って、端末の複数の構成様式を計算し、表示する必要がない。代わりに、ユーザが端末構成を完了した後に、端末によって互いに送信される超音波信号または他の信号によって第1の端末に位置パラメータが送られる。第1の端末は、ジェスチャー情報の収集に関与する端末の現在の構成様式を計算し、ジェスチャー情報の収集に関与する端末の現在の構成様式を記録する。
【００９０】
この実施形態では、第2の端末は、第1の端末が、記録された構成様式とセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、第1の端末に検出されたセンサートリガ情報を送る。多端末共同シナリオでは、エアジェスチャー操作は、ユーザの操作時間を節約し、操作効率を改善する。本発明のこの実施形態は、高い認識効率をもつ、多端末共同においてジェスチャーのタイプを認識するための単純で効率的な様式を提供する。
【００９１】
多端末共同においてジェスチャーを認識するための方法の上記実施形態に対応して、本発明の実施形態は、図14に示すように、第1の端末1401と少なくとも1つの第2の端末1402とを含む、多端末共同においてジェスチャーを認識するためのシステムの一実施形態をさらに提供する。
【００９２】
本発明のいくつかの実施形態では、すべての端末のうちのプリセット状態を満たす端末が第1の端末として判断され得、他の端末は第2の端末として判断される。すなわち、第1の端末は、すべての端末のうちのプリセット状態を満たす端末である。図15に示すように、本発明の実施形態における第1の端末の実施形態1は、受信機1501と、記録ユニット1502と、判断ユニット1503とを含み得る。
【００９３】
受信機1501は、ユーザによってトリガされた共同要求アクティブ化信号を受信するように構成される。
【００９４】
受信機1501は、端末によって送られた端末のパラメータ情報を受信するようにさらに構成される。
【００９５】
記録ユニット1502は、受信機によって受信されたパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように構成され、ジェスチャー情報の収集に関与する端末はすべての端末または上記端末を含み、すべての端末は第1の端末および上記端末を含む。
【００９６】
本発明のいくつかの実施形態では、パラメータ情報はデバイス構成パラメータを含み、記録ユニットは、
端末自体のデバイス構成パラメータと、受信機によって受信された端末のデバイス構成パラメータと、すべての端末の数とに従って、すべての端末の少なくとも1つの構成様式を計算し、表示するように構成された、第1の計算サブユニットと、
第1の計算サブユニットの表示に従ってユーザによって選択された構成様式を記録するように構成された、第1の記録サブユニットと
を含み得る。
【００９７】
代替的に、本発明のいくつかの実施形態では、パラメータ情報はデバイス構成パラメータを含み、記録ユニットは、
受信機によって受信された端末のデバイス構成パラメータと、デバイス構成パラメータを送る端末の数とに従って、端末の少なくとも1つの構成様式を計算し、表示するように構成された、第2の計算サブユニットと、
第2の計算サブユニットの表示に従ってユーザによって選択された構成様式を記録するように構成された、第2の記録サブユニットと
を含み得る。
【００９８】
受信機1501は、少なくとも1つの端末によって送られたセンサートリガ情報を受信するようにさらに構成される。
【００９９】
判断ユニット1503は、記録ユニットによって記録された構成様式と受信機によって受信されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように構成される。
【０１００】
本発明のいくつかの実施形態では、センサートリガ情報は、トリガ時間と、トリガ様式と、センサートリガリングタイプとを含み得、センサートリガリングタイプに関する情報は、赤外線トリガリングと、光トリガリングと、画像トリガリングとのうちの1つまたはそれらの組合せを含む。
【０１０１】
図16に示すように、本発明の実施形態における第1の端末の実施形態2では、判断ユニットは、
各トリガされた端末によって検出された少なくとも1つのセンサートリガ情報から各トリガされた端末の第1のセンサートリガ情報を収集するように構成された、情報判断サブユニット1601であって、第1のセンサートリガ情報が各端末の最高優先度のセンサーによって与えられる、情報判断サブユニット1601と、
ジェスチャーのスライディング方向を判断し、記録ユニットによって記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するように構成された、第3の計算サブユニット1602であって、各トリガされた端末の第1のセンサートリガ情報が情報判断サブユニットによって判断される、第3の計算サブユニット1602と、
ジェスチャーのスライディング方向と、第3の計算サブユニットによって判断されたトリガ時間差とに従って、センサーをトリガするジェスチャーのタイプを判断するように構成された、ジェスチャー判断サブユニット1603であって、ジェスチャーのタイプが、スライドジェスチャーと、ズームジェスチャーと、回転ジェスチャーとを含む、ジェスチャー判断サブユニット1603と
を含み得る。
【０１０２】
本発明のいくつかの実施形態では、時間判断ユニットがさらに含まれ得、
【０１０３】
時間判断ユニットは、端末自体の時間が各端末の時間と同期されていると判断するように特に構成され、
【０１０４】
この場合、第3の計算サブユニットは、時間判断ユニットが、時間が同期されていると判断したとき、ジェスチャーのスライディング方向を判断し、記録ユニットによって記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算するように構成され、各トリガされた端末の第1のセンサートリガ情報は情報判断サブユニットによって判断される。
【０１０５】
ジェスチャー判断サブユニットによって判断され得るジェスチャーのタイプは、限定はしないが、スライドジェスチャー、ズームジェスチャー、または回転ジェスチャーを含む。ジェスチャー判断サブユニットは、
ジェスチャーが単方向的にスライドし、第1の端末が、トリガ時間差がプリセット時間範囲内にあると判断したとき、センサーをトリガするジェスチャーのタイプがスライドジェスチャーであると判断することと、
ジェスチャーが第1のジェスチャーと第2のジェスチャーとを含み、第1のジェスチャーと第2のジェスチャーとが互いから離れてスライドし、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームインジェスチャーであると判断することと、第1のジェスチャーと第2のジェスチャーとが互いのほうへスライドし、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームアウトジェスチャーであると判断することと、
第1のジェスチャーのスライディング方向が第2のジェスチャーのスライディング方向とは異なり、第1のジェスチャーの開始端末が第2のジェスチャーの開始端末とは異なり、第1のジェスチャーの終了端末が第2のジェスチャーの終了端末とは異なり、第1の端末が、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであり、第1のジェスチャーの終了端末のトリガ時間と第2のジェスチャーの終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいと判断したとき、センサーをトリガするジェスチャーのタイプが回転ジェスチャーであると判断することと
を行うように特に構成され得る。
【０１０６】
この実施形態では、第1の端末はユーザのエアジェスチャーを認識することができる。エアジェスチャー操作は、ユーザの操作時間を節約し、操作効率を改善し、3つ以上の端末が共同する動作シナリオにおいて効率的に適用され得る。この実施形態では、第1の端末は、高い認識効率をもつ、多端末共同におけるジェスチャーのタイプの単純で効率的な認識を実装する。
【０１０７】
上記では、モジュラー関数エンティティの観点から、本発明の実施形態における第1の端末について説明した。以下では、ハードウェア処理の観点から、本発明の実施形態における第1の端末について説明する。図17に示すように、本発明の実施形態における第1の端末1700の実施形態3は、
送信機と、受信機と、プロセッサと、少なくとも1つのネットワークインターフェースまたは他の通信インターフェースと、メモリと、これらの装置間の接続および通信を実装するように構成された少なくとも1つの通信バスと
を含み得る。送信機は、データを送るように構成され、受信機は、データを受信するように構成され、プロセッサは、メモリに記憶された実行可能モジュール、たとえば、コンピュータプログラムを実行するように構成される。メモリは、高速ランダムアクセスメモリ(RAM: Random Access Memory)を含み得、また、不揮発性メモリ(non-volatile memory)、たとえば、少なくとも1つのディスクメモリを含み得る。(ワイヤードまたはワイヤレスであり得る)少なくとも1つのネットワークインターフェースを通して、インターネット、ワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどを使用することによって、システムゲートウェイと少なくとも1つの他のネットワーク要素との間の通信接続が実装され得る。
【０１０８】
図17に示す第1の端末1700の概略組成図に関して、いくつかの実装様式では、メモリはプログラム命令を記憶し、プログラム命令は、プロセッサ、送信機、および受信機によって実行され得、
受信機は、ユーザによってトリガされた共同要求アクティブ化信号を受信するように構成され、
受信機は、端末によって送られた端末のパラメータ情報を受信するようにさらに構成され、
プロセッサは、受信機によって受信されたパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように構成され、ジェスチャー情報の収集に関与する端末はすべての端末または上記端末を含み、すべての端末は端末自体および上記端末を含み、
受信機は、少なくとも1つの端末によって送られたセンサートリガ情報を受信するようにさらに構成され、
プロセッサは、プロセッサによって記録された構成様式と受信機によって受信されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するようにさらに構成される。
【０１０９】
プロセッサは、パラメータ情報がデバイス構成パラメータを含むとき、第1の端末のデバイス構成パラメータと、受信機によって受信された端末のデバイス構成パラメータと、すべての端末の数とに従って、すべての端末の少なくとも1つの構成様式を計算し、表示することと、プロセッサの表示に従ってユーザによって選択された構成様式を記録することとを行うように特に構成される。
【０１１０】
プロセッサは、パラメータ情報がデバイス構成パラメータを含むとき、受信機によって受信された端末のデバイス構成パラメータと、デバイス構成パラメータを送る端末の数とに従って、端末の少なくとも1つの構成様式を計算し、表示することと、プロセッサの表示に従ってユーザによって選択された構成様式を記録することとを行うように特に構成される。
【０１１１】
プロセッサは、各トリガされた端末によって検出された少なくとも1つのセンサートリガ情報から各トリガされた端末の第1のセンサートリガ情報を収集することであって、第1のセンサートリガ情報が各端末の最高優先度のセンサーによって与えられる、収集することと、ジェスチャーのスライディング方向を判断し、プロセッサによって記録された構成様式と、各トリガされた端末の第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算することであって、各トリガされた端末の第1のセンサートリガ情報がプロセッサによって判断される、計算することと、ジェスチャーのスライディング方向と、プロセッサによって判断されたトリガ時間差とに従って、センサーをトリガするジェスチャーのタイプを判断することであって、ジェスチャーのタイプが、スライドジェスチャーと、ズームジェスチャーと、回転ジェスチャーとを含む、判断することとを行うようにさらに特に構成される。
【０１１２】
プロセッサは、端末自体の時間が各端末の時間と同期されていると判断することと、プロセッサが、時間が同期されていると判断したとき、ジェスチャーのスライディング方向を判断し、記録された構成様式と、各トリガされた端末の判断された第1のセンサートリガ情報中に含まれているトリガ時間とに従って、ジェスチャーのスライディング方向に沿って隣接するトリガされた端末間のトリガ時間差を計算することとを行うようにさらに特に構成される。
【０１１３】
プロセッサは、ジェスチャーが単方向的にスライドし、第1の端末が、トリガ時間差がプリセット時間範囲内にあると判断したとき、センサーをトリガするジェスチャーのタイプがスライドジェスチャーであると判断することと、ジェスチャーが第1のジェスチャーと第2のジェスチャーとを含み、第1のジェスチャーと第2のジェスチャーとが互いから離れてスライドし、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームインジェスチャーであると判断することと、第1のジェスチャーと第2のジェスチャーとが互いのほうへスライドし、第1のジェスチャーと第2のジェスチャーの両方がスライドジェスチャーであるとき、センサーをトリガするジェスチャーのタイプがズームアウトジェスチャーであると判断することと、第1のジェスチャーのスライディング方向が第2のジェスチャーのスライディング方向とは異なり、第1のジェスチャーの開始端末が第2のジェスチャーの開始端末とは異なり、第1のジェスチャーの終了端末が第2のジェスチャーの終了端末とは異なり、第1のジェスチャーの終了端末のトリガ時間と第2のジェスチャーの終了端末のトリガ時間との間の差がプリセットしきい値よりも小さいとき、センサーをトリガするジェスチャーのタイプが回転ジェスチャーであると判断することとを行うようにさらに構成される。
【０１１４】
この実施形態では、プロセッサはユーザのエアジェスチャーを認識することができる。エアジェスチャー操作は、ユーザの操作時間を節約し、操作効率を改善し、3つ以上の端末が共同する動作シナリオにおいて効率的に適用され得る。特に、以下の技術的解決策を使用することによって高い認識効率をもつ、多端末共同においてジェスチャーのタイプを認識するための単純で効率的な方法が提供される。第1の端末が、ジェスチャー情報の収集に関与する端末の構成様式を記録した後に、ユーザがエアジェスチャーを行って各端末のセンサーをトリガしたとき、各トリガされた端末によって検出されたセンサートリガ情報に従って、センサーをトリガするジェスチャーのタイプが判断され得る。
【０１１５】
本発明のいくつかの実施形態では、すべての端末のうちのプリセット状態を満たす端末が第1の端末として判断され得、他の端末は第2の端末として判断される。すなわち、第1の端末は、すべての端末のうちのプリセット状態を満たす端末である。図18に示すように、本発明の実施形態における第2の端末の一実施形態は、
共同要求アクティブ化信号を受信するように構成された、受信機1801と、
受信端末が、受信されたパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように、受信機が共同要求アクティブ化信号を受信したとき、受信端末にパラメータ情報を送るように構成された、送信機1802であって、ジェスチャー情報の収集に関与する端末が、すべての端末またはパラメータ情報を送る端末を含み、すべての端末が、パラメータ情報を送る端末と受信端末とを含み、送信機は、受信端末が、記録された構成様式と収集されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、センサーがトリガされたことが検出されたとき、受信端末に検出されたセンサートリガ情報を送るようにさらに構成された、送信機1802と
を含み得る。
【０１１６】
センサートリガ情報は、トリガ時間と、トリガ様式と、センサートリガリングタイプとを含み得、センサートリガリングタイプに関する情報は、赤外線トリガリングと、光トリガリングと、画像トリガリングとのうちの1つまたはそれらの組合せを含む。
【０１１７】
本発明のいくつかの実施形態では、本発明のこの実施形態における送信機は、
受信端末が、受信端末のデバイス構成パラメータと、端末の受信されたデバイス構成パラメータと、すべての端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、すべての端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、受信端末にデバイス構成パラメータを送る
ように特に構成され得る。
【０１１８】
本発明のいくつかの実施形態では、本発明のこの実施形態における送信機はまた、
受信端末が、端末の受信されたデバイス構成パラメータと、デバイス構成パラメータを送る端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、デバイス構成パラメータを送る端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、受信端末にデバイス構成パラメータを送る
ように特に構成され得る。
【０１１９】
上記では、モジュラー関数エンティティの観点から、本発明の実施形態における第2の端末について説明した。以下では、ハードウェア処理の観点から、本発明の実施形態における第2の端末について説明する。図19に示すように、本発明の実施形態における第2の端末1900の実施形態2は、
送信機と、受信機と、プロセッサと、少なくとも1つのネットワークインターフェースまたは通信インターフェースと、メモリと、これらの装置間の接続および通信を実装するように構成された少なくとも1つの通信バスとを含み得る。送信機は、データを送るように構成され、受信機は、データを受信するように構成され、プロセッサは、メモリに記憶された実行可能モジュール、たとえば、コンピュータプログラムを実行するように構成される。メモリは、高速ランダムアクセスメモリ(RAM: Random Access Memory)を含み得、また、不揮発性メモリ(non-volatile memory)、たとえば、少なくとも1つのディスクメモリを含み得る。(ワイヤードまたはワイヤレスであり得る)少なくとも1つのネットワークインターフェースを通して、インターネット、ワイドエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどを使用することによって、システムゲートウェイと少なくとも1つの他のネットワーク要素との間の通信接続が実装され得る。
【０１２０】
図19に示す第2の端末1900の概略組成図に関して、いくつかの実装様式では、メモリはプログラム命令を記憶し、プログラム命令は、プロセッサ、送信機、および受信機によって実行され得、
受信機は、共同要求アクティブ化信号を受信するように構成され、
送信機は、受信端末が、受信されたパラメータ情報に従って、ジェスチャー情報の収集に関与する端末の構成様式を記録するように、受信機が共同要求アクティブ化信号を受信したとき、受信端末にパラメータ情報を送るように構成され、ジェスチャー情報の収集に関与する端末は、すべての端末またはパラメータ情報を送る端末を含み、すべての端末は、パラメータ情報を送る端末と受信端末とを含み、送信機は、受信端末が、記録された構成様式と収集されたセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、センサーがトリガされたことが検出されたとき、受信端末に検出されたセンサートリガ情報を送るようにさらに構成される。
【０１２１】
送信機は、受信端末が、受信端末のデバイス構成パラメータと、端末の受信されたデバイス構成パラメータと、すべての端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、すべての端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、受信端末にデバイス構成パラメータを送るように特に構成される。
【０１２２】
送信機はまた、受信端末が、端末の受信されたデバイス構成パラメータと、デバイス構成パラメータを送る端末の数とに従って、インターフェースにおいて、ユーザが選択すべき、デバイス構成パラメータを送る端末を含んでいる少なくとも1つの構成様式を表示し、ユーザによって選択された構成様式を記録するように、受信端末にデバイス構成パラメータを送るように特に構成される。
【０１２３】
送信機によって送られるセンサートリガ情報は、トリガ時間と、トリガ様式と、センサートリガリングタイプとを含みセンサートリガリングタイプは、赤外線トリガリングと、光トリガリングと、画像トリガリングとのうちの1つまたはそれらの組合せを含む。
【０１２４】
この実施形態では、プロセッサは、第1の端末が、記録された構成様式とセンサートリガ情報とに従って、センサーをトリガするジェスチャーのタイプを判断するように、第1の端末に検出されたセンサートリガ情報を送る。多端末共同シナリオでは、エアジェスチャー操作は、ユーザの操作時間を節約し、操作効率を改善する。本発明のこの実施形態は、高い認識効率をもつ、多端末共同においてジェスチャーのタイプを認識するための単純で効率的な様式を提供する。
【０１２５】
上記システム、装置、およびユニットの詳細な動作プロセスについての、好都合で簡単な説明のために、上記方法実施形態における対応するプロセスへの言及が行われることがあり、詳細について本明細書で再び説明していないことが、当業者によってはっきり理解されよう。
【０１２６】
本出願において与えられるいくつかの実施形態において、開示するシステム、装置、および方法は他の様式で実装され得ることを理解されたい。たとえば、説明した装置実施形態は単に例示的である。たとえば、ユニット分割は、単に論理的機能分割であり、実際の実装形態では他の分割であり得る。たとえば、複数のユニットまたは構成要素が別のシステムに組み合わせられるかまたは組み込まれ得、あるいはいくつかの特徴が無視されるかまたは実行されないことがある。さらに、表示または説明した相互結合または直接結合または通信接続は、いくつかのインターフェースを通して実装され得る。装置またはユニット間の間接結合または通信接続は、電子的形態、機械的形態、または他の形態で実装され得る。
【０１２７】
別個の部分として説明したユニットは、物理的に別個であることも、ないこともあり、ユニットとして表示した部分は、物理的ユニットであることも、ないこともあり、1つの位置に配置されることも、複数のネットワークユニット上で分散されることもある。ユニットの一部または全部は、実施形態の解決策の目的を達成するために、実際の必要に従って選択され得る。
【０１２８】
さらに、本発明の実施形態における機能ユニットは1つの処理ユニットに組み込まれるか、またはユニットの各々が物理的に単独で存在するか、または2つ以上のユニットが1つのユニットに組み込まれ得る。一体化されたユニットは、ハードウェアの形態で実装されるか、またはソフトウェア機能ユニットの形態で実装され得る。
【０１２９】
一体化されたユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売または使用されるとき、一体化されたユニットはコンピュータ可読記憶媒体に記憶され得る。そのような理解に基づいて、本発明の技術的解決策、あるいは従来技術に寄与する部分、あるいは技術的解決策の全部または一部は、本質的に、ソフトウェア製品の形態で実装され得る。ソフトウェア製品は、記憶媒体に記憶され、本発明の実施形態において説明した方法のステップの全部または一部を実行するように(パーソナルコンピュータ、サーバ、またはネットワークデバイスであり得る)コンピュータデバイスに命令するためのいくつかの命令を含む。上記記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、読取り専用メモリ(ROM、Read-Only Memory)、ランダムアクセスメモリ(RAM、Random Access Memory)、磁気ディスク、または光ディスクなど、プログラムコードを記憶することができる任意の媒体を含む。
【０１３０】
さらに、本明細書では、第1および第2などの関係語は、あるエンティティまたは動作を別のものと区別するために使用されるものにすぎず、必ずしも、これらのエンティティまたは動作間に実際の関係または順序が存在することを要求または暗示するとは限らないことに留意されたい。その上、「含む(include)」、「含む(comprise)」という用語、またはそれらの他の異形は、要素のリストを含むプロセス、方法、物品、またはデバイスが、それらの要素のみを含むのではなく、明確にリストされない他の要素をも含むか、あるいはそのようなプロセス、方法、物品、またはデバイスに固有の要素をさらに含むように、非排他的包含をカバーするものである。「...を含む」によって先行される要素は、さらなる制約なしに、その要素を含むプロセス、方法、物品、またはデバイスにおける追加の同等の要素の存在を排除しない。
【０１３１】
上記実施形態は、本発明の技術的解決策について説明するためのものにすぎず、本発明を限定するためのものではない。上記実施形態を参照しながら本発明について詳細に説明したが、それらは、本発明の実施形態の技術的解決策の範囲から逸脱することなく、上記実施形態において説明した技術的解決策に変更をさらに加えるか、またはそのいくつかの技術的特徴に対して等価な置換を行い得ることを、当業者は理解されたい。
【符号の説明】
【０１３２】
1401 第1の端末
1402 第2の端末
1501 受信機
1502 記録ユニット
1503 判断ユニット
1601 情報判断サブユニット
1602 第3の計算サブユニット
1603 ジェスチャー判断サブユニット
1700 端末
1801 受信機
1802 送信機
1900 端末
K 時定数
S センサー状態
T1 端末
T2 端末
T3 端末
T4 端末
ta トリガ時間
tb トリガ時間
tc トリガ時間
td トリガ時間
Δt 変化時間
【図１】
2015130171.tif 000003
【図２】
2015130171.tif 000004
【図３】
2015130171.tif 000005
【図４】
2015130171.tif 000006
【図５】
2015130171.tif 000007
【図６】
2015130171.tif 000008
【図７】
2015130171.tif 000009
【図８】
2015130171.tif 000010
【図９】
2015130171.tif 000011
【図１０】
2015130171.tif 000012
【図１１】
2015130171.tif 000013
【図１２】
2015130171.tif 000014
【図１３】
2015130171.tif 000015
【図１４】
2015130171.tif 000016
【図１５】
2015130171.tif 000017
【図１６】
2015130171.tif 000018
【図１７】
2015130171.tif 000019
【図１８】
2015130171.tif 000020
【図１９】
2015130171.tif 000021
【外国語明細書】
2015130171000001.pdf