(57)【要約】本発明は、インタラクション位置決定方法、インタラクション位置決定システム、記憶媒体、およびスマートデバイスを提供する。当該インタラクション位置決定方法は、目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンに前記ジェスチャー画像と相応する現在位置情報を取得することと、前記ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化することと、前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定することと、を含む。ジェスチャー画像を利用してインタラクション制御応答領域をアクティブ化し、ジェスチャー画像の位置情報に応じてインタラクション制御応答領域の位置を決定することにより、操作の利便性が向上する。【選択図】図１
2020530631.tif 000002
【特許請求の範囲】
【請求項１】
目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンに前記ジェスチャー画像と相応する現在位置情報を取得することと、
前記ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化することと、
前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定することと、を含むインタラクション位置決定方法。
【請求項２】
前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化することにおいて、さらに
前記スマートデバイスに関する現在状態情報を取得し、前記現在状態情報に従って対応する機能情報を決定し、前記機能情報に従って対応する目標インタラクション制御応答情報を生成することと、
前記ジェスチャー画像に従って前記目標インタラクション制御応答情報に対応する目標インタラクション制御応答領域をアクティブ化することと、を含む
ことを特徴とする請求項１に記載のインタラクション位置決定方法。
【請求項３】
前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定することの後に、さらに
前記目標位置に作用するジェスチャー操作を検出し、前記ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーすることと、
前記スマートデバイスが前記インタラクション制御命令に応じて相応する操作を実行させるように制御することと、を含む
ことを特徴とする請求項１または２に記載のインタラクション位置決定方法。
【請求項４】
目標領域内の顔画像を識別し、前記顔画像を前記スマートデバイスのスクリーンに相応する第一の位置情報を取得することと、
前記顔画像に対応する顔画像のサイズを取得することと、
前記顔画像のサイズに応じてユーザーと前記スマートデバイススクリーンとの現在の距離を判定することと、
前記距離に対応する予め設定された距離範囲を取得し、前記予め設定された距離範囲に基づいてインタラクション情報の目標表示サイズを決定することと、
前記第一の位置情報に従って前記インタラクション情報の目標表示位置を決定し、前記目標表示サイズに基づいて前記インタラクション情報を前記目標表示位置に表示することと、をさらに含む
ことを特徴とする請求項１に記載のインタラクション位置決定方法。
【請求項５】
前記顔画像を前記スマートデバイスのスクリーンに相応する位置に応じて目標表示位置を決定するステップは、さらに
目標領域内に識別された顔画像の数を取得することと、
前記顔画像の数が複数である場合、それぞれの顔画像に対応する現在位置情報を取得することと、
それぞれの顔画像の現在位置情報に応じて、予め設定された規則に従って目標表示位置を決定することと、を含む
ことを特徴とする請求項４に記載のインタラクション位置決定方法。
【請求項６】
目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンに前記ジェスチャー画像と相応する現在位置情報を取得するジェスチャー識別モジュールと、
前記ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出した後に、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化する、アクティブモジュールと、
前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定する目標位置決定モジュールと、を備える
ことを特徴とするインタラクション位置決定システム。
【請求項７】
前記アクティブモジュールは、さらに、前記スマートデバイスに関する現在状態情報を取得し、前記現在状態情報に従って対応する機能情報を決定し、前記機能情報に従って対応する目標インタラクション制御応答情報を生成し、前記ジェスチャー画像に従って前記目標インタラクション制御応答情報に対応する目標インタラクション制御応答領域をアクティブ化するように構成されている
ことを特徴とする請求項６に記載のインタラクション位置決定システム。
【請求項８】
前記インタラクション位置決定システムは、さらに、
前記目標位置に作用するジェスチャー操作を検出し、前記ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーして、前記スマートデバイスが前記インタラクション制御命令に応じて相応する操作を実行させるように制御する、制御モジュールを備える
ことを特徴とする請求項６または７に記載のインタラクション位置決定システム。
【請求項９】
前記インタラクション位置決定システムは、さらに、
目標領域内の顔画像を識別し、前記顔画像を前記スマートデバイスのスクリーンに相応する第一の位置情報を取得する顔識別モジュールと、
前記顔画像に対応する顔画像のサイズを取得し、前記顔画像のサイズに応じてユーザーと前記スマートデバイススクリーンとの現在の距離を判定する処理モジュールと、
前記距離に対応する予め設定された距離範囲を取得し、前記予め設定された距離範囲に基づいてインタラクション情報の目標表示サイズを決定する表示サイズ決定モジュールと、
前記第一の位置情報に従って前記インタラクション情報の目標表示位置を決定し、前記目標表示サイズに基づいて前記インタラクション情報を前記目標表示位置に表示する表示モジュールと、を備える
ことを特徴とする請求項６に記載のインタラクション位置決定システム。
【請求項１０】
前記顔識別モジュールは、目標領域内に識別された顔画像の数を取得し、前記顔画像の数が複数である場合、それぞれの顔画像に対応する現在位置情報を取得するように構成され、
前記表示モジュールは、それぞれの顔画像の現在位置情報に応じて、予め設定された規則に従って目標表示位置を決定するように構成される
ことを特徴とする請求項９に記載のインタラクション位置決定システム。
【請求項１１】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、
当該コンピュータプログラムが、プロセッサーに請求項１〜５のいずれか一項に記載の前記インタラクション位置決定方法を実行させる
ことを特徴とするコンピュータ可読記憶媒体。
【請求項１２】
一つ以上のプロセッサーと、メモリと、一つ以上のプログラムと、を備え、
前記一つ以上のプログラムは、前記メモリに格納され、前記一つ以上のプロセッサーによって実行されるように構成され、前記プログラムは、前記プロセッサーに請求項１〜５のいずれか一項に記載の前記インタラクション位置決定方法を実行させる
ことを特徴とするスマートデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スマートデバイスヒューマン・コンピュータインタラクション技術分野に関し、特に、インタラクション位置決定方法、システム、記憶媒体、およびスマートデバイスに関する。
【背景技術】
【０００２】
科学技術の益々の発展と人々の生活品質の継続的な向上に伴い、テレビもスマート化されつつある。ユーザーの様々なニーズを満たすために、スマートテレビにインストールされたアプリケーションが増える傾向がある。一方、従来のスマートテレビのメニューバー或いは提示情報は、通常固定位置に表示されるので、スマートテレビのスクリーンが大きい場合、ユーザーがメニューバーを操作する際に不便になり、ユーザーとスマートテレビのインタラクション効果に影響を与える。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
上記問題に対し、ジェスチャー識別に基づいて、ジェスチャー画像とジェスチャー画像位置に応じてインタラクション制御応答領域の目標位置を決定し、操作の利便性を高めるインタラクション位置決定方法、システム、記憶媒体、およびスマートデバイスを提供する必要がある。
【課題を解決するための手段】
【０００４】
本発明のインタラクション位置決定方法は、
目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンに前記ジェスチャー画像と相応する現在位置情報を取得することと、
前記ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化することと、
前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定することと、を含む。
【０００５】
一実施例において、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化することにおいて、さらに
前記スマートデバイスに関する現在状態情報を取得し、前記現在状態情報に従って対応する機能情報を決定し、前記機能情報に従って対応する目標インタラクション制御応答情報を生成することと、
前記ジェスチャー画像に従って前記目標インタラクション制御応答情報に対応する目標インタラクション制御応答領域をアクティブ化することと、を含む。
【０００６】
一実施例において、前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定することの後に、さらに
前記目標位置に作用するジェスチャー操作を検出し、前記ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーすることと、
前記スマートデバイスが前記インタラクション制御命令に応じて相応する操作を実行させるように制御することと、を含む。
【０００７】
一実施例において、前記インタラクション位置決定方法は、
目標領域内の顔画像を識別し、前記顔画像を前記スマートデバイスのスクリーンに相応する第一の位置情報を取得することと、
前記顔画像に対応する顔画像のサイズを取得することと、
前記顔画像のサイズに応じてユーザーと前記スマートデバイススクリーンとの現在の距離を判定することと、
前記距離に対応する予め設定された距離範囲を取得し、前記予め設定された距離範囲に基づいてインタラクション情報の目標表示サイズを決定することと、
前記第一の位置情報に従って前記インタラクション情報の目標表示位置を決定し、前記目標表示サイズに基づいて前記インタラクション情報を前記目標表示位置に表示することと、をさらに含む。
【０００８】
一実施例において、前記顔画像を前記スマートデバイスのスクリーンに相応する位置に応じて目標表示位置を決定するステップは、さらに
目標領域内に識別された顔画像の数を取得することと、
前記顔画像の数が複数である場合、それぞれの顔画像に対応する現在位置情報を取得することと、
それぞれの顔画像の現在位置情報に応じて、予め設定された規則に従って目標表示位置を決定することと、を含む。
【０００９】
本発明のインタラクション位置決定システムは、
目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンに前記ジェスチャー画像と相応する現在位置情報を取得するジェスチャー識別モジュールと、
前記ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出した後に、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化する、アクティブモジュールと、
前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定する目標位置決定モジュールと、を備える。
【００１０】
一実施例において、前記アクティブモジュールは、さらに、前記スマートデバイスに関する現在状態情報を取得し、前記現在状態情報に従って対応する機能情報を決定し、前記機能情報に従って対応する目標インタラクション制御応答情報を生成し、
前記ジェスチャー画像に従って前記目標インタラクション制御応答情報に対応する目標インタラクション制御応答領域をアクティブ化するように構成されている。
【００１１】
一実施例において、前記インタラクション位置決定システムは、さらに、
前記目標位置に作用するジェスチャー操作を検出し、前記ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーして、前記スマートデバイスが前記インタラクション制御命令に応じて相応する操作を実行させるように制御する、制御モジュールを備える。
【００１２】
一実施例において、前記インタラクション位置決定システムは、さらに、
目標領域内の顔画像を識別し、前記顔画像を前記スマートデバイスのスクリーンに相応する第一の位置情報を取得する顔識別モジュールと、
前記顔画像に対応する顔画像のサイズを取得し、前記顔画像のサイズに応じてユーザーと前記スマートデバイススクリーンとの現在の距離を判定する処理モジュールと、
前記距離に対応する予め設定された距離範囲を取得し、前記予め設定された距離範囲に基づいてインタラクション情報の目標表示サイズを決定する表示サイズ決定モジュールと、
前記第一の位置情報に従って前記インタラクション情報の目標表示位置を決定し、前記目標表示サイズに基づいて前記インタラクション情報を前記目標表示位置に表示する表示モジュールと、を備える。
【００１３】
一実施例において、前記インタラクション位置決定システムは、
前記顔識別モジュールは、目標領域内に識別された顔画像の数を取得するように構成され、
前記顔画像の数が複数である場合、それぞれの顔画像に対応する現在位置情報を取得する顔位置情報取得モジュールと、
それぞれの顔画像の現在位置情報に応じて、予め設定された規則に従って目標表示位置を決定する目標表示位置決定モジュールと、をさらに備える。
【００１４】
本発明は、コンピュータプログラムを記憶しているコンピュータ可読記憶媒体を提供する。当該コンピュータプログラムが、前記プロセッサーに、
目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンに前記ジェスチャー画像と相応する現在位置情報を取得するステップと、
前記ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化するステップと、
前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定するステップと、を実行させるコンピュータ可読記憶媒体。
【００１５】
本発明は、さらに一つ以上のプロセッサーと、メモリと、一つ以上のプログラムと、を備えるスマートデバイスを提供し、当該スマートデバイスにおいて、
前記一つ以上のプログラムは、前記メモリに格納され、前記一つ以上のプロセッサーによって実行されるように構成され、
前記プログラムが、前記プロセッサーに、
目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンに前記ジェスチャー画像と相応する現在位置情報を取得するステップと、
前記ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化するステップと、
前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定するステップと、を実行させる。
【００１６】
上記のインタラクション位置決定方法、システム、記憶媒体、およびスマートデバイスは、目標領域内のジェスチャー画像を識別することによってインタラクション制御応答領域をアクティブ化し、ジェスチャー画像の現在位置情報に応じてインタラクション制御応答領域の対応する目標位置を決定する。インタラクション制御応答領域の対応する目標位置は、識別されたジェスチャー画像がスマートデバイスのスクリーンでの現在位置に従って決定され、ジェスチャー画像の現在位置が変わることに従って、インタラクション制御応答領域の目標位置も相応に変化するので、ユーザーにとってインタラクション制御応答領域に対する制御が便利になり、操作の利便性が向上する。
【図面の簡単な説明】
【００１７】
【図１】一実施例に係るインタラクション位置決定方法のフローチャートである。
【図２】一実施例に係るインタラクション位置決定方法のフローチャートである。
【図３】一つの具体的な実施例に係るインタラクション位置決定方法のフローチャートである。
【図４Ａ】一実施例に係るスマートデバイスのインタラクション制御インタ一フェースの図である。
【図４Ｂ】一実施例に係るスマートデバイスのインタラクション制御インタ一フェースの概略図である。
【図５】一実施例に係るインタラクション位置決定システムのブロック図である。
【図６】一実施例に係るインタラクション位置決定システムのブロック図である。
【図７】別の実施例に係るインタラクション位置決定システムのブロック図である。
【図８】一実施例に係るスマートデバイスの内部構成図である。
【発明を実施するための形態】
【００１８】
本発明の目的、技術方案および利点をより明確にするために、以下、添付した図面および実施例を参照して本発明を詳細に説明する。しかし、例示的な実施形態は、例として説明するものに過ぎなく、本発明を限定するものではないと理解すべきである。
【００１９】
図１に示すように、一実施例において、インタラクション位置決定方法が提供され、具体的に以下のようなことである。
【００２０】
ステップＳ１１０：目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンにジェスチャー画像と相応する現在位置情報を取得する。
【００２１】
目標領域とは、スマートデバイスのスクリーンの前に位置される領域であり、目標領域の範囲の大きさは、画像キャプチャー設備のキャプチャー角度に応じて決定される。画像キャプチャー設備は、スマートデバイスのカメラなどのスマートデバイスに付属する設備であってもよく、または接続ポートを介してスマートデバイスに接続する外部設備であってもよい。ジェスチャー画像は、人間の手の姿勢や状態など、人体の動きまたは状態からの画像である。
【００２２】
スマートデバイスは、ユーザーとインタラクションする端末であり、スマートデバイスは、スマートテレビ、タブレットコンピューター、携帯電話などのスマート設備であってもよく、スマートデバイスのスクリーンは、スマートデバイス自体に搭載されたスクリーンまたは外部スクリーンであってもよい。現在位置情報とは、画像キャプチャー設備によって現在の時刻にキャプチャーされたジェスチャー画像が、スクリーンにマッピングされた位置情報であり、リアルタイムでジェスチャー画像の位置情報を反映することができる。
【００２３】
具体的には、画像キャプチャー設備を使用してジェスチャー画像をキャプチャーし、キャプチャーされたジェスチャー画像は、静止画像または動画像であってもよく、ユーザーのジェスチャーがキャプチャー設備の目標領域の範囲内にある場合、キャプチャー設備は自動的にユーザーのジェスチャー画像を検索して撮り、ジェスチャー画像特徴に応じてジェスチャー画像を識別し、ジェスチャー画像におけるジェスチャーに応じて、ジェスチャーを取得できる形状特徴または動作軌跡を分析し、現在スマートデバイスでジェスチャー画像に対応する現在位置情報を決定する。識別されたジェスチャー画像の現在位置情報を取得する。
【００２４】
ステップＳ１２０：ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化する。
【００２５】
ジェスチャー画像は、静止ジェスチャー画像または動作ジェスチャー画像であり、予め設定されたアクティブジェスチャーは、必要に応じてスライドジェスチャー、ズームジェスチャー、リフティングジェスチャーなどを予め設定されたアクティブジェスチャーとして事前設定でき、予め設定されたアクティブジェスチャーは一つでもよく複数でもよい。予め設定されたアクティブジェスチャーによって形成された予め設定されたアクティブジェスチャーのライブラリは、サーバーに格納し、キャプチャーされたジェスチャー画像をサーバーに送信して識別してもよく、スマートデバイスに格納し、キャプチャーされたジェスチャー画像を直接的に識別してもよい。
【００２６】
インタラクション制御応答領域とは、ユーザー操作を受信し、ユーザー操作に応じて対応する命令をトリガーすることができる領域である。さらに、インタラクション制御応答領域にインターフェースレンダリングしてもよく、インタラクション制御応答領域に対応する機能応答情報をメニューバー情報の形式でスマートデバイスのスクリーンに表示し、インタラクション応答領域に対応する機能をプロンプトする。メニューバー情報とは、コンピューターや各種端末の機能バーであり、ユーザーが視認しやすいように複数の機能キー情報が含まれる。インタラクション制御応答領域は、インターフェースレンダリングしなくてもよく、ジェスチャー画像に応じてインタラクション制御応答領域をトリガーした後、スマートデバイスのスクリーンで対応するメニューバー情報は表示されないが、インタラクション制御応答領域に対応するスマートデバイスの領域もユーザー操作を受信できる。
【００２７】
具体的には、ジェスチャー画像が分割されて識別され、現在識別されたジェスチャー画像に対応するジェスチャーを、予め設定されたアクティブジェスチャーのライブラリの中の予め設定されたアクティブジェスチャーと比較して、現在目標領域内の識別されたジェスチャー画像に対応するジェスチャーが、予め設定されたアクティブジェスチャーと同じであることが検出されると、スクリーンでスマートデバイスに対応するインタラクション制御応答領域をアクティブ化する。
【００２８】
ステップＳ１３０：現在位置情報に従ってインタラクション制御応答領域の目標位置を決定する。
【００２９】
具体的には、検出されたジェスチャー画像の現在位置情報に応じてインタラクション制御応答領域の目標位置を決定し、例えば、スマートデバイスのスクリーンにおけるジェスチャー画像に対応する位置を、インタラクション制御応答領域の目標位置として、目標位置に対応する領域はユーザー操作を受信できる。また、インタ一フェースレンダリングによって目標応答領域に対応する機能情報をニューバー情報の形式で表示する場合、メニューバー情報の表示位置はインタラクション制御応答領域に対応する目標位置である。
【００３０】
本実施例において、目標領域内のジェスチャー画像を識別することによってインタラクション制御応答領域をアクティブ化し、ジェスチャー画像の現在位置情報に応じてインタラクション制御応答領域に対応する目標位置を決定する、携帯端末の制御方法が提供される。インタラクション制御応答領域に対応する目標位置は、識別されたジェスチャー画像がスマートデバイスのスクリーンでの現在位置に従って決定され、ジェスチャー画像の現在位置が変わることに従って、インタラクション制御応答領域の目標位置も相応に変化するため、ユーザーにとってインタラクション制御応答領域に対する制御が便利で、操作の利便性が向上する。
【００３１】
一実施例において、ステップＳ１２０は、スマートデバイスに関する現在状態情報を取得し、現在状態情報に従って対応する機能情報を決定し、機能情報に従って対応する目標インタラクション制御応答情報を生成することと、ジェスチャー画像に従って目標インタラクション制御応答情報に対応する目標インタラクション制御応答領域をアクティブ化することと、を含む。
【００３２】
現在状態情報とは、スマートデバイスが現在再生されているコンテンツ情報、再生されている状態情報などを含む、スマートデバイスの現在動作状態を反映できる情報である。スマートデバイスの異なる状態情報は、異なる機能情報に対応している。インタラクション制御応答情報とは、ユーザー操作に応じて応答でき、関連する操作を実行するようにスマートデバイスを制御できる情報である。
【００３３】
具体的には、スマートデバイスに対応する現在状態情報を取得し、現在状態情報に応じて対応する機能情報を決定し、機能情報に応じて対応する目標インタラクション制御応答情報を生成する。たとえば、スマートデバイスの現在状態情報が初期選択状態であれば、対応する機能情報は利用可能なプログラムリスト情報であり、軍事、娯楽、科技などプログラム分類によって生成された対応するプログラムリスト情報はインタラクション制御応答情報として、ユーザーにとってプログラムの選択が便利で、さらに、顔画像を識別し、識別された顔画像情報に応じて登録ユーザーをマッチングし、記録された登録ユーザーの関心類型に応じて対応するインタラクション制御応答情報を生成してもよい。スマートデバイスの現在状態情報が特定のプログラムの再生インターフェースであれば、対応する機能情報は早送り、巻き戻し、音量の増減、プログラムの切り替えなどであり、対応する機能情報の組み合わせに応じて対応するインタラクション制御応答情報を生成する。
【００３４】
他の実施例において、スマートデバイスの状態情報とインタラクション制御応答情報との関連関係を直接的に確立し、現在の再生状態を通じて対応するインタラクション制御応答情報を取得してもよい。
【００３５】
さらに、識別されたジェスチャー画像の現在位置情報に応じて目標インタラクション制御応答領域を決定し、目標インタラクション制御応答領域は、インタラクション制御応答情報に対応する機能に応答可能な領域である。
【００３６】
本実施例において、スマートデバイスの現在状態情報に応じて対応する機能情報を決定し、機能情報に応じて対応する目標インタラクション制御応答情報を生成するので、スマートデバイスの現在動作状態に応じて対応するインタラクション制御応答情報を生成することができ、ユーザーにとってスマートデバイスの現在動作状態による相応な操作の実行が便利であるため、操作の利便性がさらに向上する。
【００３７】
一実施例において、ステップＳ１３０の後に、目標位置に作用するジェスチャー操作を検出し、ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーすることと、スマートデバイスがインタラクション制御命令に応じて相応する操作を実行させるように制御することと、をさらに含む。
【００３８】
インタラクション制御応答領域には、複数のインタラクション制御応答のサブ領域が含まれ、各インタラクション制御応答のサブ領域は異なるインタラクション制御命令に対応し、対応するインタラクション制御応答のサブ領域がトリガーされた場合、対応するインタラクション制御命令もトリガーされてスマートデバイスが相応する操作を実行させるように制御できる。
【００３９】
具体的には、インタラクション制御応答領域をアクティブ化した後は、ユーザーのジェスチャー動作軌跡を検出したり、各インタラクション制御応答のサブ領域に対応するタッチ操作を検出し、ユーザーのジェスチャー動作軌跡が予め設定されたジェスチャー軌跡であることが検出されると、現在ジェスチャー動作軌跡に対応するインタラクション制御応答のサブ領域に対応するインタラクション制御命令を取得する。たとえば、インタラクション制御応答領域に対応するインタラクション制御応答情報が、音量の増減およびプログラムの切り替えを制御することであり、ユーザーのジェスチャー動作軌跡が左スイングであることが検出されると、音量増加の命令をトリガーし、スマートデバイスを制御して音量情報を表示し、対応する音量を増やし、ユーザーのジェスチャー動作軌跡が上向きスイングであることが検出されると、プログラム切り替えの命令をトリガーし、スマートデバイスを制御してプログラムリストを表示し、表示インターフェースを現在プログラムの次のプログラムに対応する表示インターフェースに切り替える。
【００４０】
さらに、インタラクション制御応答のサブ領域のタッチ操作に応じて対応するインタラクション制御命令を生成してもよく、現在アクティブ化したインタラクション制御応答領域に対応するインタラクション制御応答情報が、音量の増減およびプログラムの切り替えの制御であれば、現在のインタラクション制御応答領域を、音量増加、音量減少、前のプログラムへの切り替え、及び次のプログラムへの切り替えの４つの機能に対応するインタラクション制御応答のサブ領域に分割し、各インタラクション制御応答のサブ領域に監視イベントを設定してユーザー操作を監視する。ユーザーが音量増加機能に対応するインタラクション制御応答のサブ領域の位置で操作する時、そのインタラクション制御応答のサブ領域に対応する監視イベントによってユーザー操作が監視されると、対応する音量増加命令を生成し、スマートデバイスを制御して音量情報を表示し、対応する音量を増やす。
【００４１】
本実施例において、インタラクション制御応答領域をアクティブ化した後に、インタラクション制御応答領域に作用するジェスチャー操作に応じて対応するインタラクション制御命令をトリガーし、インタラクション制御命令に応じてスマートデバイスが相応する操作を実行するように制御する。現在インタラクション制御応答領域に作用するジェスチャーに応じて、対応するインタラクション制御命令をトリガーし、インタラクション制御命令に応じて、スマートデバイスが相応する操作を実行するように制御することで、追加のツール補助は必要なく、スマートデバイスに対する操作の利便性がさらに向上する。
【００４２】
図２に示すように、一実施例において、インタラクション位置決定方法は以下のようなステップをさらに含む。
【００４３】
ステップＳ２１０：目標領域内の顔画像を識別し、当該顔画像をスマートデバイスのスクリーンに相応する第一の位置情報を取得する。
【００４４】
目標領域とは、スマートデバイスのスクリーンの前に位置される領域であり、目標領域の範囲の大きさは、画像採集設備の採集角度に応じて決定される。画像採集設備は、スマートデバイスのカメラなどのスマートデバイスに付属する設備であってもよく、または接続ポートを介してスマートデバイスに接続する外部設備であってもよい。ジェスチャー画像は、人間の手の姿勢や状態など、人体の動きまたは状態からの画像である。
【００４５】
具体的には、画像キャプチャー設備を使用して顔画像をキャプチャーし、ユーザーの顔がキャプチャー設備の目標領域の範囲内にある場合、キャプチャー設備は自動的にユーザーの顔画像を検索して撮り、キャプチャーされた顔画像における顔特徴に応じて顔画像を識別し、スマートデバイスのスクリーンで顔画像の位置を決定する。
【００４６】
また、顔画像情報を識別する操作は、ジェスチャー画像を識別した後または識別する前に行われてもよいし、ジェスチャー画像を識別する操作と同時に行われてもよい。
【００４７】
ステップＳ２２０：識別された顔画像に対応する顔画像のサイズを取得し、当該顔画像のサイズに応じてユーザーとスマートデバイススクリーンとの現在の距離を判定する。
【００４８】
顔画像のサイズとは、スマートデバイスのスクリーンにおける顔画像のサイズである。
【００４９】
具体的には、画像キャプチャー設備は顔画像をキャプチャーし、キャプチャーされた顔画像をスクリーンに投影して表示し、目標領域内で現在識別された顔画像のサイズを取得し、画像キャプチャー設備の画像形成原理および顔画像のサイズに基づいて、現時点のユーザーとスマートデバイススクリーンとの距離を計算する。
【００５０】
たとえば、カメラの画像形成原理に従って、カメラで形成された現在の顔画像のサイズを取得し、カメラの焦点距離に従ってユーザーとカメラとの距離を取得し、カメラとスマートデバイスのスクリーンとの関係に従ってユーザーとスマートデバイスのスクリーンとの距離を取得し、カメラがスマートデバイスのスクリーンに設置されている場合、ユーザーとスマートデバイスのスクリーンとの距離は、ユーザーとスマートデバイスとの距離になる。
【００５１】
ステップＳ２３０：距離に対応する予め設定された距離範囲を取得し、予め設定された距離範囲に基づいてインタラクション情報の目標表示サイズを決定する。
【００５２】
予め設定された距離範囲は、ユーザーからスマートデバイスのデスクリーンまでの距離範囲であり、複数の個別の距離しきい値または複数の距離範囲であってもよく、各予め設定された距離範囲は必要に応じて設定してもよい。インタラクション情報とは、スマートデバイスのスクリーンにおけるテキストや写真などの提示情報のような、スマートデバイスのスクリーンに表示されるユーザーとインタラクションするための情報であり、提示情報は、操作できない表示情報であってもよく、操作可能な情報であってもよい。スマートデバイスは、インタラクション制御命令に応じて相応する操作を実行した後、スマートデバイスの現在状態に対応するインタラクション情報を表示できる。表示サイズは、インタラクション情報表示のサイズである。
【００５３】
具体的には、各予め設定された距離範囲に対応する情報表示サイズを事前に設定し、距離が第一の予め設定された距離範囲内にある場合、インタラクション情報がデフォルトのサイズで表示され、距離が第一の予め設定された距離範囲より大きく、第二の予め設定された距離範囲より小さい場合、インタラクション情報がデフォルトのサイズの２倍になるサイズで表示され、距離が第一の予め設定された距離範囲より小さい場合、インタラクション情報がデフォルトのサイズの０．５倍になるサイズで表示される。ユーザーの移動に応じて、インタラクション情報の表示サイズは縮小または拡大できる。
【００５４】
そして、必要に応じて、複数のプリセット距離範囲および対応する拡大率または縮小率を設定してもよく、プリセット距離の範囲も必要に応じて任意に設定してもよい。
【００５５】
現在のユーザーとスマートデバイスのスクリーンとの距離を取得し、現在の距離に対応する予め設定された距離範囲の区間を判断し、予め設定された距離範囲に応じて対応するインタラクション情報の表示サイズを決定する。
【００５６】
ステップＳ２４０：第一の位置情報に従ってインタラクション情報の目標表示位置を決定し、目標表示サイズに基づいてインタラクション情報を目標表示位置に表示する。
【００５７】
具体的には、顔画像がキャプチャーされると、顔画像がスマートデバイスのスクリーンでの現在位置情報を取得し、顔画像の現在位置情報に応じてインタラクション情報の目標表示位置を決定する。たとえば、顔画像がスマートデバイスのスクリーンでの現在位置情報に応じて、人間の目に対応する位置情報を目標表示位置として取得し、テキストまたは写真の提示情報を顔画像に対応する人間の目の位置に表示するので、ユーザーにとって視認しやすい。
【００５８】
他の実施例において、顔画像が検出されず、インタラクション制御応答領域をアクティブジェスチャー画像のみが検出される場合、ジェスチャー画像の現在情報位置に応じてインタラクション情報の目標表示位置を決定し、例えば、テキストまたは写真の提示情報をジェスチャー画像に対応する現在位置に表示して、ユーザーにとって視認しやすくなる。
【００５９】
さらに、他の実施例において、顔画像が検出された上で、顔画像をジェスチャー画像と組み合わせてインタラクション情報の表示位置を決定してもよく、例えば、インタラクション情報を顔画像位置とジェスチャー画像位置との中間位置に表示して、ユーザーが視認して操作するのに便利である。
【００６０】
インタラクション情報を目標表示サイズに対応するサイズに調整して、インタラクション情報を目標表示位置に目標表示サイズで表示する。
【００６１】
本実施例において、目標領域内の顔画像情報を識別し、顔画像に対応する位置情報を決定し、目標領域内の顔画像サイズに応じてユーザーとスクリーンとの距離を決定することにより、インタラクション情報の目標表示サイズを決定し、顔画像の位置情報に応じてインタラクション情報の目標表示位置を決定し、インタラクション情報を目標表示サイズで目標表示位置に表示する。ユーザーとスマートデバイスのスクリーンとの距離に応じて、インタラクション情報の表示サイズを調整することにより、ユーザーがインタラクション情報を読みやすくなり、操作の利便性がさらに向上する。
【００６２】
一実施例において、ステップＳ２４０は、目標領域内に識別された顔画像の数を取得することと、当該顔画像の数が複数である場合、それぞれの顔画像に対応する現在位置情報を取得することと、それぞれの顔画像の現在位置情報に応じて、予め設定された規則に従って目標表示位置を決定することと、を含む。
【００６３】
予め設定された規則は、ユーザーのリーディング習慣及び目標領域内のユーザー数に応じて決定してもよい。
【００６４】
具体的には、目標領域内で複数の顔画像が識別された場合、各顔画像に対応する位置座標を取得し、各位置座標に対応する中間位置を目標表示位置として決定し、インタラクション情報を目標位置に表示する。目標領域の左側および右側でそれぞれ一つの顔画像が識別されると、インタラクション情報を中間位置に表示して、左右のユーザーが同時に視認できるようにする。目標表示位置は、実際のニーズに応じて設定してもよく、必ずしも顔画像の中間位置ではない。
【００６５】
さらに、ユーザーのジェスチャー情報を顔画像情報と組み合わせて、複数の顔画像情報が検出され、ジェスチャー情報が検出された場合、インタラクション情報におけるテキストの提示情報は、複数の顔画像から一緒に決定された位置に表示し、操作可能なインタラクション情報は、ジェスチャー画像に対応する位置に表示し、またはすべてのインタラクション情報をジェスチャー画像に対応する位置に表示してもよい。複数のジェスチャー画像が検出された場合、検出されたジェスチャー画像の時系列に従って、操作可能なインタラクション情報を最初に検出されたジェスチャー画像位置に表示する。たとえば、２人のユーザーのうち、第一のユーザーが最初に挙手ジェスチャーを行い、目標領域内に現れると、インタラクション情報またはインタラクション情報内の操作可能なインタラクション情報は、第一のユーザーのジェスチャー画像に対応する位置に表示される。
【００６６】
さらに、複数のユーザーがいる場合、インタラクション情報の表示サイズは、スマートデバイスのスクリーンから最も遠いユーザーに対応する距離が属する予め設定された距離範囲によって決定される。
【００６７】
本実施例において、複数の目標領域内の顔画像が検出された場合、各顔画像に対応する位置情報を取得し、複数の顔画像位置情報および対応する予め設定された規則に従って目標表示位置を決定する。複数の顔画像位置情報を組み合わせて目標表示位置情報を決定するため、複数のユーザーがインタラクション情報を視認または操作するのに便利であり、操作の利便性がさらに向上する。
【００６８】
図３に示すように、一つの具体的な実施例において、スマートテレビをスマートデバイスの例として、以下のステップを含むインタラクション位置決定方法が提供される。
【００６９】
ステップＳ３０１：目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンにジェスチャー画像と相応する現在位置情報を取得する。
【００７０】
ステップＳ３０２ステップ：スマートデバイスの対応する現在状態情報を取得し、現在状態情報に応じて対応する機能情報を決定し、機能情報に応じて対応する目標インタラクション制御応答情報を生成する。
【００７１】
ステップＳ３０３：ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、当該ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化する。
【００７２】
ステップＳ３０４：現在位置情報に応じて目標インタラクション制御応答領域の目標位置を決定する。
【００７３】
ステップＳ３０５：目標位置に作用するジェスチャー操作を検出し、ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーし、スマートデバイスがインタラクション制御命令に応じて相応する操作を実行させるように制御して、対応するインタラクション情報を表示する。
【００７４】
ステップＳ３０６：目標領域内の顔画像を識別する。
【００７５】
ステップＳ３０７：識別された顔画像の数が複数であるか否かを判断し、肯定の場合Ｓ３０８ステップを実行し、否定の場合ステップＳ３０９を実行する。
【００７６】
ステップＳ３０８：各顔画像に対応する現在位置情報を取得し、各顔画像の現在位置情報に応じて、予め設定された規則に従ってインタラクション情報の目標表示位置を決定する。
【００７７】
ステップＳ３０９：顔画像に対応する現在位置情報を取得し、現在位置情報に応じてインタラクション情報の目標表示位置を決定する。
【００７８】
ステップＳ３１０：顔画像に対応する顔画像のサイズを取得し、顔画像のサイズに応じて各ユーザーとスマートテレビスクリーンとの現在の距離を決定する。
【００７９】
具体的には、識別された顔画像が一つである場合、ユーザーとスマートテレビスクリーンの間の距離は、現在の顔画像サイズに従って直接決定される。識別された顔画像が複数である場合、各顔画像のサイズを取得し、各ユーザーとスマートテレビスクリーンの間の距離を取得する。
【００８０】
ステップＳ３１１：各ユーザーとスマートテレビスクリーンの間の最も遠い距離に応じてインタラクション情報の目標表示サイズを決定し、インタラクション情報を目標表示サイズで目標表示位置に表示する。
【００８１】
具体的には、識別された顔画像が一つである場合、インタラクション情報の目標表示サイズは、現在の顔画像とスマートテレビスクリーンの間の距離に従って直接決定される。識別された顔画像が複数である場合、取得された各ユーザーとスマートテレビスクリーンの間の距離の中で最も遠い距離を目標距離として使用し、目標距離に従ってインタラクション情報の表示サイズを決定する。
【００８２】
図４Ａに示すように、スマートデバイスの現在再生状態においてジェスチャー画像４００Ａが検出されると、現在のスマートテレビスクリーンに対応するインタラクション制御応答領域をアクティブ化し、インタラクション表示制御にインターフェースレンダリングし、対応するメニューバー情報のインターフェース４１０をスマートテレビスクリーンに表示する。
【００８３】
図４Ｂに示すように、メニューバーのインターフェース４１０に作用するジェスチャーが音量減少命令をトリガーしたことが検出されると、音量調整情報４２０をスマートデバイススクリーンの表示インターフェースに表示し、音量を低減させる。さらに、顔画像を識別し、顔画像４００Ｂおよび顔画像４００Ｃが識別されると、スクリーンで顔画像４００Ｂおよび顔画像４００Ｃに対応する位置を個別に決定し、顔画像４００Ｂおよび顔画像４００Ｃの中間位置をインタラクション情報の目標表示位置として決定し、インタラクション情報４３０を目標表示位置に表示する。他の実施例において、インタラクション情報の目標表示位置は、必要に応じて設定してもよい。
【００８４】
本実施例において、目標領域内のジェスチャー画像を識別することによりインタラクション制御応答領域をアクティブ化し、ジェスチャー画像の現在位置情報に応じてインタラクション制御応答領域に対応する目標位置を決定し、顔画像を識別することによりインタラクション情報表示の位置およびサイズを決定する。インタラクション制御応答領域に対応する目標位置は、識別されたジェスチャー画像がスマートデバイスのスクリーンでの現在位置に従って決定され、ジェスチャー画像の現在位置が変わることに従って、インタラクション制御応答領域の目標位置も相応に変化するため、ユーザーにとってインタラクション制御応答領域に対する制御が便利で、インタラクション情報が顔画像の位置に応じて変化し、顔画像のサイズに応じてインタラクション情報の表示サイズを決定するため、ユーザーがインタラクション情報を視認するのに便利で、操作の利便性が向上する。
【００８５】
図５に示すように、一実施例において、以下のモジュールを含むインタラクション位置決定システム５００が提供される。
【００８６】
ジェスチャー識別モジュール５１０：目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンにジェスチャー画像と相応する現在位置情報を取得するように構成されている。
【００８７】
アクティブモジュール５２０：ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出した後に、当該ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化するように構成されている。
【００８８】
目標位置決定モジュール５３０：現在位置情報に従ってインタラクション制御応答領域の目標位置を決定するように構成されている。
【００８９】
本実施例において、目標領域内のジェスチャー画像を識別することによってインタラクション制御応答領域をアクティブ化し、ジェスチャー画像の現在位置情報に応じてインタラクション制御応答領域に対応する目標位置を決定する、インタラクション位置決定システムが提供される。インタラクション制御応答領域に対応する目標位置は、識別されたジェスチャー画像がスマートデバイスのスクリーンでの現在位置に従って決定され、ジェスチャー画像の現在位置が変わることに従って、インタラクション制御応答領域の目標位置も相応に変化するため、ユーザーにとってインタラクション制御応答領域に対する制御が便利で、操作の利便性が向上する。
【００９０】
一実施例において、アクティブモジュール５２０は、さらに、スマートデバイスに関する現在状態情報を取得し、現在状態情報に従って対応する機能情報を決定し、機能情報に従って対応する目標インタラクション制御応答情報を生成し、ジェスチャー画像に従って目標インタラクション制御応答情報に対応する目標インタラクション制御応答領域をアクティブ化するように構成されている。
【００９１】
図６に示すように、一実施例において、インタラクション位置決定システムは、目標位置に作用するジェスチャー操作を検出し、ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーし、インタラクション制御命令に応じてスマートデバイスが相応する操作を実行するように制御する、制御モジュール５４０をさらに含む。
【００９２】
図７に示すように、一実施例において、インタラクション位置決定システム５００は以下のモジュールをさらに含む。
【００９３】
顔識別モジュール５５０：目標領域内の顔画像を識別し、当該顔画像をスマートデバイスのスクリーンに相応する第一の位置情報を取得するように構成されている。
【００９４】
処理モジュール５６０：顔画像に対応する顔画像のサイズを取得し、顔画像のサイズに応じてユーザーとスマートデバイススクリーンとの現在の距離を判定するように構成されている。
【００９５】
表示サイズ決定モジュール５７０：距離に対応する予め設定された距離範囲を取得し、予め設定された距離範囲に基づいてインタラクション情報の目標表示サイズを決定するように構成されている。
【００９６】
表示モジュール５８０：第一の位置情報に従って前記インタラクション情報の目標表示位置を決定し、目標表示サイズに基づいてインタラクション情報を目標表示位置に表示するように構成されている。
【００９７】
一実施例において、顔識別モジュール５５０は、さらに、目標領域内の識別された顔画像の数を取得するように構成され、顔画像の数が複数である場合、各顔画像に対応する現在位置情報を取得する。
【００９８】
表示モジュール５８０は、さらに、各顔画像の現在位置情報に応じて、予め設定された規則に従って目標表示位置を決定するように構成されている。
【００９９】
図８に示すように、一実施例に係るスマートデバイスの内部構成の概略図である。当該スマートデバイスは、システムバスを介して接続されているプロセッサーと、非一時的記憶媒体と、内部メモリと、ネットワークインターフェースと、スクリーンと、入力装置と、を備える。スマートデバイスの非一時的記憶媒体は、オペレーティングシステムおよびコンピュータプログラムを記憶することができ、当該コンピュータプログラムが実行されると、スマートデバイスがインタラクション位置決定方法を実行させることができる。当該スマートデバイスのプロセッサーは、コンピューティングおよび制御機能を提供し、スマートデバイス全体の操作をサポートする。ネットワークインターフェースは、識別されたジェスチャー画像をサーバーに送信したり、サーバーに格納されているジェスチャー画像データを取得するなどのように、サーバーとネットワーク通信を行う。スマートデバイスのスクリーンは、液晶ディスプレイまたは電子インクディスプレイなどであってもよく、入力装置は、スクリーンの上に覆われたタッチレイヤー、またはスマートデバイスのシェルに設けられたボタン、トラックボール、タッチパッド、または外付けのキーボード、タッチパッド、マウスなどであってもよい。当該スマートデバイスは、携帯電話、タブレットコンピューター、ＰＤＡ、またはウェアラブル設備であってもよい。
【０１００】
当業者は、図８に示す構成が、本出願の技術案に関する構成の一部のブロック図にすぎず、本出願の技術案が適用されるスマートデバイスに対する制限ではなく、具体的なスマートデバイスは、図面に示されているよりも多いまたは少ない部品を含んだり、または特定の部品を組み合わせたり、または異なる部品配置を有したりすることが理解できる。
【０１０１】
一実施例において、本出願で提供されるインタラクション位置決定システムは、図８に示すようなスマートデバイスで実行できるコンピュータプログラムとして実現できる。スマートデバイスの非一時的記憶媒体は、図５のジェスチャー識別モジュール５１０、アクティブモジュール５２０、目標位置決定モジュール５３０などのような、当該インタラクション位置決定システムを構成する各プログラムモジュールを格納することができる。各プログラムモジュールにはコンピュータープログラムが含まれ、コンピュータープログラムは、スマートデバイスが本明細書に記載された本出願の各実施例のインタラクション位置決定方法におけるステップを実行するように使用され、スマートデバイスのプロセッサーは、スマートデバイスの非一時的記憶媒体に格納されているインタラクション位置決定システムの各プログラムモジュールを呼び出し、対応するプログラムを実行して、本明細書のインタラクション位置決定システムの各モジュールに対応する機能を実現することができる。例えば、スマートデバイスは、図５に示すようなインタラクション位置決定システム内のジェスチャー識別モジュール５１０を介して、目標領域内のジェスチャー画像を識別し、スマートデバイスのスクリーンでジェスチャー画像に対応する現在位置情報を取得し、アクティブジェスチャー５２０を介して、ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーとして検出されると、ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化し、目標位置決定モジュール５３０を介して、現在位置情報に応じてインタラクション制御応答領域の目標位置を決定する。
【０１０２】
コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、当該コンピュータプログラムが、プロセッサーに、目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンにジェスチャー画像と相応する現在位置情報を取得するステップと、ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化するステップと、現在位置情報に従ってインタラクション制御応答領域の目標位置を決定するステップと、を実行させる。
【０１０３】
本実施例において、目標領域内のジェスチャー画像を識別することによってインタラクション制御応答領域をアクティブ化し、ジェスチャー画像の現在位置情報に応じてインタラクション制御応答領域に対応する目標位置を決定する、コンピュータ可読記憶媒体が提供される。インタラクション制御応答領域に対応する目標位置は、識別されたジェスチャー画像がスマートデバイスのスクリーンでの現在位置に従って決定され、ジェスチャー画像の現在位置が変わることに従って、インタラクション制御応答領域の目標位置も相応に変化するため、ユーザーにとってインタラクション制御応答領域に対する制御が便利で、操作の利便性が向上する。
【０１０４】
一実施例において、コンピュータプログラムが、さらに、プロセッサーに、スマートデバイスに関する現在状態情報を取得し、現在状態情報に従って対応する機能情報を決定し、機能情報に従って対応する目標インタラクション制御応答情報を生成するステップと、ジェスチャー画像に従って目標インタラクション制御応答情報に対応する目標インタラクション制御応答領域をアクティブ化ステップと、を実行させる。
【０１０５】
一実施例において、コンピュータプログラムが、さらに、プロセッサーに、目標位置に作用するジェスチャー操作を検出し、ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーするステップと、スマートデバイスがインタラクション制御命令に応じて相応する操作を実行させるように制御するステップと、を実行させる。
【０１０６】
一実施例において、コンピュータプログラムが、さらに、プロセッサーに、目標領域内の顔画像を識別し、顔画像をスマートデバイスのスクリーンに相応する第一の位置情報を取得するステップと、顔画像に対応する顔画像のサイズを取得するステップと、顔画像のサイズに応じてユーザーとスマートデバイススクリーンとの現在の距離を判定するステップと、距離に対応する予め設定された距離範囲を取得し、予め設定された距離範囲に基づいてインタラクション情報の目標表示サイズを決定するステップと、第一の位置情報に従ってインタラクション情報の目標表示位置を決定し、目標表示サイズに基づいてインタラクション情報を目標表示位置に表示するステップと、を実行させる。
【０１０７】
一実施例において、コンピュータプログラムが、さらに、プロセッサーに、目標領域内に識別された顔画像の数を取得するステップと、前記顔画像の数が複数である場合、それぞれの顔画像に対応する現在位置情報を取得するステップと、それぞれの顔画像の現在位置情報に応じて、予め設定された規則に従って目標表示位置を決定するステップと、を実行させる。
【０１０８】
一つ以上のプロセッサーと、メモリと、一つ以上のプログラムと、を備えるスマートデバイスであって、一つ以上のプログラムは、メモリに格納され、一つ以上のプロセッサーによって実行されるように構成され、プログラムが、前記プロセッサーに、目標領域内のジェスチャー画像を識別するとともに、スマートデバイスのスクリーンに前記ジェスチャー画像と相応する現在位置情報を取得するステップと、前記ジェスチャー画像に対応するジェスチャーが予め設定されたアクティブジェスチャーであることを検出すると、前記ジェスチャー画像に応じてインタラクション制御応答領域をアクティブ化するステップと、前記現在位置情報に従って前記インタラクション制御応答領域の目標位置を決定するステップと、を実行させる。
【０１０９】
本実施例において、目標領域内のジェスチャー画像を識別することによってインタラクション制御応答領域をアクティブ化し、ジェスチャー画像の現在位置情報に応じてインタラクション制御応答領域に対応する目標位置を決定する、スマートデバイスが提供される。インタラクション制御応答領域に対応する目標位置は、識別されたジェスチャー画像がスマートデバイスのスクリーンでの現在位置に従って決定され、ジェスチャー画像の現在位置が変わることに従って、インタラクション制御応答領域の目標位置も相応に変化するため、ユーザーにとってインタラクション制御応答領域に対する制御が便利で、操作の利便性が向上する。
【０１１０】
一実施例において、一つ以上のプログラムは、メモリに格納され、一つ以上のプロセッサーによって実行されるように構成され、プログラムが、さらに、スマートデバイスに関する現在状態情報を取得し、現在状態情報に従って対応する機能情報を決定し、機能情報に従って対応する目標インタラクション制御応答情報を生成するステップと、ジェスチャー画像に従って目標インタラクション制御応答情報に対応する目標インタラクション制御応答領域をアクティブ化ステップと、を実行させる。
【０１１１】
一実施例において、一つ以上のプログラムは、メモリに格納され、一つ以上のプロセッサーによって実行されるように構成され、プログラムが、さらに、目標位置に作用するジェスチャー操作を検出し、ジェスチャー操作に応じて対応するインタラクション制御命令をトリガーするステップと、スマートデバイスがインタラクション制御命令に応じて相応する操作を実行させるように制御するステップと、を実行させる。
【０１１２】
一実施例において、一つ以上のプログラムは、メモリに格納され、一つ以上のプロセッサーによって実行されるように構成され、プログラムが、さらに、目標領域内の顔画像を識別し、顔画像をスマートデバイスのスクリーンに相応する第一の位置情報を取得するステップと、顔画像に対応する顔画像のサイズを取得するステップと、顔画像のサイズに応じてユーザーとスマートデバイススクリーンとの現在の距離を判定するステップと、距離に対応する予め設定された距離範囲を取得し、予め設定された距離範囲に基づいてインタラクション情報の目標表示サイズを決定するステップと、第一の位置情報に従ってインタラクション情報の目標表示位置を決定し、目標表示サイズに基づいてインタラクション情報を目標表示位置に表示するステップと、を実行させる。
【０１１３】
一実施例において、一つ以上のプログラムは、メモリに格納され、一つ以上のプロセッサーによって実行されるように構成され、プログラムが、さらに、目標領域内に識別された顔画像の数を取得するステップと、前記顔画像の数が複数である場合、それぞれの顔画像に対応する現在位置情報を取得するステップと、それぞれの顔画像の現在位置情報に応じて、予め設定された規則に従って目標表示位置を決定するステップと、を実行させる。
【０１１４】
上述した実施例の各技術的特徴は任意に組み合わせることができる。記述の簡潔化のために、上述した実施例における各技術的特徴のあらゆる組合せについて説明していないが、これらの技術的特徴の組合せは矛盾しない限り、本明細書に記述されている範囲内であると考えられるべきである。
【０１１５】
上述した実施例は、本発明のいくつかの実施形態を示したものにすぎず、その記述が具体的かつ詳細であるが、本発明の範囲を限定するものと解釈されるべきではない。なお、当業者にとって、本発明の趣旨から逸脱しないかぎり、若干の変形及び改良を行うことができ、これらもすべて本発明の保護範囲内にある。したがって、本発明の保護範囲は、特許請求の範囲に準ずるべきである。
【図１】
2020530631.tif 000003
【図２】
2020530631.tif 000004
【図３】
2020530631.tif 000005
【図４Ａ】
2020530631.tif 000006
【図４Ｂ】
2020530631.tif 000007
【図５】
2020530631.tif 000008
【図６】
2020530631.tif 000009
【図７】
2020530631.tif 000010
【図８】
2020530631.tif 000011
【国際調査報告】
2020530631.tif 000012
2020530631.tif 000013
2020530631.tif 000014
2020530631.tif 000015