(57)【要約】  本発明の実施例は、インテリジェントなインタラクション方法、デバイス、およびシステムを提供する。本方法は、スマートウォッチによって送信された制御情報を、スマート眼鏡によって受信するステップであり、制御情報は、受信されたユーザ入力オペレーションに従ってスマートウォッチによって生成されるステップと、制御情報に従って、スマート眼鏡によってポインタアイコンの動きを制御するステップとを含む。本発明の実施は、スマート眼鏡の構成によって制限されるものではなく、実施例され得る機能は大いに増加される。加えて、本発明はシナリオによって制限されず、それにより、ユーザとスマート眼鏡との間のインタラクションの利便性を改善している。
2018508909.tif 000002
【特許請求の範囲】
【請求項１】
インテリジェントなインタラクション方法であって、ポインタアイコンがスマート眼鏡のマン−マシンインターフェース上に設定されており、
スマートウォッチによって送信された制御情報を、前記スマート眼鏡によって受信するステップであり、前記制御情報は、受信されたユーザ入力オペレーションに従って、前記スマートウォッチによって生成される、ステップと、
前記制御情報に従って、前記スマート眼鏡によって前記ポインタアイコンの動きを制御するステップと、
を含む、方法。
【請求項２】
前記制御情報は、変位情報を含み、前記変位情報は、前記ユーザ入力オペレーションに対応し、かつ、前記スマートウォッチのタッチスクリーンによって獲得される変位を含み、
前記制御情報に従って、前記スマート眼鏡によって前記ポインタアイコンの動きを制御する前記ステップは、
前記スマート眼鏡によって、前記ポインタアイコンを前記変位だけ移動するように制御するステップ、を含む、
請求項１に記載の方法。
【請求項３】
前記制御情報は、さらに、力情報を含み、前記力情報は、前記ユーザ入力オペレーションに対応する押付力を表すために使用され、
前記スマート眼鏡によって、前記ポインタアイコンを前記変位だけ移動するように制御する前記ステップは、
前記スマート眼鏡によって、前記力情報に従って前記ポインタアイコンの動きに係る移動速度を制御するステップ、を含む、
請求項２に記載の方法。
【請求項４】
前記制御情報は、角度情報を含み、
前記角度情報は、腕に装着され、かつ、前記腕の軸方向に関して回転する前記スマートウォッチの長手方向の回転角度、および、前記腕に対して垂直な軸方向に関する前記スマートウォッチの横方向の回転角度を含み、
前記角度情報は、前記腕が身体の前方で水平に配置されているときを基準として事前設定された開始点における前記スマートウォッチの角度を使用するものであり、かつ、
前記制御情報に従って、前記スマート眼鏡によって前記ポインタアイコンの動きを制御する前記ステップは、
前記スマート眼鏡によって、前記事前設定された開始点からスタートして、前記マン−マシンインターフェースのX軸に沿ってp×βの距離だけ、および、前記マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、前記ポインタアイコンが移動するように制御するステップ、を含み、ここで、αは前記長手方向の回転角度を表し、βは前記横方向の回転角度を表し、pは事前設定された定数である、
請求項１に記載の方法。
【請求項５】
スマート眼鏡によって、スマートウォッチによって送信された制御情報を受信するステップであり、前記制御情報は、腕に装着され、かつ、前記腕が身体の前方で水平に配置されているときに、前記腕の軸方向に関して回転する前記スマートウォッチの角度である、ステップと、
前記スマート眼鏡によって、前記制御情報に従って、前記スマート眼鏡のマン−マシンインターフェースにおける前記スマート眼鏡のメニューのスクロールを制御するステップであり、前記マン−マシンインターフェースにおいてスクロールされるメニューの量は、前記角度の大きさに依存する、ステップと、
を含む、インテリジェントなインタラクション方法。
【請求項６】
インテリジェントなデバイスであって、ポインタアイコンが前記インテリジェントなデバイスのマン−マシンインターフェース上に設定されており、
スマートウォッチによって送信された制御情報を受信するように構成されている受信器であり、前記制御情報は、受信されたユーザ入力オペレーションに従って、前記スマートウォッチによって生成される、受信器と、
前記制御情報に従って、前記ポインタアイコンの動きを制御するように構成されているプロセッサと、
を含む、インテリジェントなデバイス。
【請求項７】
前記制御情報は、変位情報を含み、前記変位情報は、前記ユーザ入力オペレーションに対応し、かつ、前記スマートウォッチのタッチスクリーンによって獲得される変位を含み、
前記プロセッサは、特定的に、
前記ポインタアイコンを前記変位だけ移動するよう制御するように構成されている、
請求項６に記載のインテリジェントなデバイス。
【請求項８】
前記制御情報は、さらに、力情報を含み、前記力情報は、前記ユーザ入力オペレーションに対応する押付力を表すために使用され、
前記プロセッサは、さらに、
前記力情報に従って前記ポインタアイコンの動きに係る移動速度を制御するように構成されている、
請求項７に記載のインテリジェントなデバイス。
【請求項９】
前記制御情報は、角度情報を含み、
前記角度情報は、腕に装着され、かつ、前記腕の軸方向に関して回転する前記スマートウォッチの長手方向の回転角度、および、前記腕に対して垂直な軸方向に関する前記スマートウォッチの横方向の回転角度を含み、
前記角度情報は、前記腕が身体の前方で水平に配置されているときを基準として事前設定された開始点における前記スマートウォッチの角度を使用するものであり、かつ、
前記プロセッサは、特定的に、
前記事前設定された開始点からスタートして、前記マン−マシンインターフェースのX軸に沿ってp×βの距離だけ、および、前記マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、前記ポインタアイコンが移動するよう制御するように構成されており、ここで、αは前記長手方向の回転角度を表し、βは前記横方向の回転角度を表し、pは事前設定された定数である、
請求項６に記載のインテリジェントなデバイス。
【請求項１０】
前記インテリジェントなデバイスは、スマート眼鏡である、
請求項６乃至９いずれか一項に記載のインテリジェントなデバイス。
【請求項１１】
インテリジェントなデバイスであって、
スマートウォッチによって送信された制御情報を受信するように構成されている受信器であり、前記制御情報は、前記スマートウォッチが腕に装着され、かつ、前記腕が身体の前方で水平に配置されているときに、前記腕の軸方向に関して回転する前記スマートウォッチの角度である、受信器と、
前記制御情報に従って、前記インテリジェントなデバイスのマン−マシンインターフェースにおける前記インテリジェントなデバイスのメニューのスクロールを制御するように構成されているプロセッサであり、前記マン−マシンインターフェースにおいてスクロールされるメニューの量は、前記角度の大きさに依存する、プロセッサと、
を含む、インテリジェントなデバイス。
【請求項１２】
前記インテリジェントなデバイスは、スマート眼鏡である、
請求項１１に記載のインテリジェントなデバイス。
【請求項１３】
受信されたユーザ入力オペレーションに従って、制御情報を生成するように構成されているスマートウォッチと、
請求項６乃至１２いずれか一項に記載のインテリジェントなデバイスと、
を含み、
前記スマートウォッチは、前記インテリジェントなデバイスと通信接続している、
インテリジェントなインタラクションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、ウェアラブル技術に関し、そして、特定的には、インテリジェントなインタラクション方法、装置、および、システムに関する。
【背景技術】
【０００２】
ウェアラブル技術の発達に伴い、スマートウォッチ、スマート眼鏡、等が消費者の中で広く普及しているウェアラブルデバイスとなっている。
【０００３】
スマート眼鏡について、現在は、スマート眼鏡の脚（leg）の上にあるタッチパッドが入力インタラクションツールとして使用されており、そして、音声入力と組み合わされて人間とコンピュータのインタラクションが実行される。しかしながら、インタラクション方法は、以下の欠点を有している。
【０００４】
タッチパッドのサイズ制限のせいで、一次元の動きのみを入力することができ、そして、対応するメニューは一次元のスクロールメニューだけにしかならない。メニューの機能が多様化されていないものである。加えて、音声入力は効率的であるが、アプリケーションシナリオは限られている。例えば、騒々しい環境および静寂を必要とする図書館といった公共の場所の両方が、音声入力の使用を制限している。
【発明の概要】
【０００５】
本発明の実施例は、多様化していない機能および前述のインタラクション方法に係る制限されたアプリケーションシナリオの問題を解決するために、インテリジェントなインタラクション方法、装置、およびシステムを提供する。
【０００６】
第１の態様に従って、本発明の一つの実施例は、インテリジェントなインタラクション方法を提供する。ここでは、ポインタアイコンがスマート眼鏡のマン−マシンインターフェース上に設定されている。本方法は、
スマートウォッチによって送信された制御情報を、スマート眼鏡によって受信するステップであり、ここで、制御情報は、受信されたユーザ入力オペレーションに従って、スマートウォッチによって生成される、ステップと、
制御情報に従って、スマート眼鏡によってポインタアイコンの動きを制御するステップと、を含む。
【０００７】
第１の態様に関し、第１の態様に係る第１の可能な実施のやり方において、制御情報は変位情報を含み、ここで、変位情報は、ユーザ入力オペレーションに対応し、かつ、スマートウォッチのタッチスクリーンによって獲得される変位を含み、
制御情報に従って、スマート眼鏡によってポインタアイコンの動きを制御するステップは、
スマート眼鏡によって、ポインタアイコンを前記変位だけ移動するように制御するステップを含む。
【０００８】
第１の態様に係る第１の可能な実施のやり方に関し、第１の態様に係る第２の可能な実施のやり方において、制御情報は、さらに、力情報を含み、そして、力情報は、ユーザ入力オペレーションに対応する押付力を表すために使用される。
【０００９】
スマート眼鏡によって、ポインタアイコンを上記の変位だけ移動するように制御するステップは、
スマート眼鏡によって、力情報に従ってポインタアイコンの動きに係る移動速度を制御するステップを含む。
【００１０】
第１の態様に関し、第１の態様に係る第３の可能な実施のやり方において、制御情報は、角度情報を含み、そして、角度情報は、腕に装着され、かつ、腕の軸方向に関して回転するスマートウォッチの長手方向の回転角度、および、腕に対して垂直な軸方向に関するスマートウォッチの横方向の回転角度を含む。角度情報は、腕が身体の前方で水平に配置されているときを基準として事前設定された開始点におけるスマートウォッチの角度を使用するものである。そして、
制御情報に従って、スマート眼鏡によってポインタアイコンの動きを制御するステップは、
スマート眼鏡によって、事前設定された開始点からスタートして、マン−マシンインターフェースのX軸に沿ってp×βの距離だけ、および、マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、ポインタアイコンが移動するように制御するステップを含む。ここで、αは長手方向の回転角度を表し、βは横方向の回転角度を表し、そして、pは事前設定された定数である。
【００１１】
第２の態様に従って、本発明の一つの実施例は、インテリジェントなインタラクション方法を提供する。本方法は、
スマート眼鏡によって、スマートウォッチによって送信された制御情報を受信するステップであり、ここで、制御情報は、腕に装着され、かつ、腕が身体の前方で水平に配置されているときに、腕の軸方向に関して回転するスマートウォッチの角度であるステップと、
スマート眼鏡によって、制御情報に従って、スマート眼鏡のマン−マシンインターフェースにおけるスマート眼鏡のメニューのスクロールを制御するステップであり、ここで、マン−マシンインターフェースにおいてスクロールされるメニューの量は、角度の大きさに依存するステップと、を含む。
【００１２】
第３の態様に従って、本発明の一つの実施例は、インテリジェントなデバイスを提供する。ここでは、ポインタアイコンがインテリジェントなデバイスのマン−マシンインターフェース上に設定されている。インテリジェントなデバイスは、
スマートウォッチによって送信された制御情報を受信するように構成されている受信器であり、ここで、制御情報は、受信されたユーザ入力オペレーションに従ってスマートウォッチによって生成される、受信器と、
プロセッサであり、制御情報に従って、ポインタアイコンの動きを制御するように構成されているプロセッサと、を含む。
【００１３】
第３の態様に関し、第３の態様に係る第１の可能な実施のやり方において、制御情報は、変位情報を含む。ここで、変位情報は、ユーザ入力オペレーションに対応し、かつ、スマートウォッチのタッチスクリーンによって獲得される変位を含む。そして、プロセッサは、特定的に、ポインタアイコンを変位だけ移動するよう制御するように構成されている。
【００１４】
第３の態様に係る第１の可能な実施のやり方に関し、第３の態様に係る第２の可能な実施のやり方において、制御情報は、さらに、力情報を含み、力情報は、ユーザ入力オペレーションに対応する押付力を表すために使用される。そして、プロセッサは、さらに、
力情報に従って、ポインタアイコンの動きに係る移動速度を制御するように構成されている。
【００１５】
第３の態様に関し、第２の態様に係る第３の可能な実施のやり方において、制御情報は、角度情報を含む。角度情報は、腕に装着され、かつ、腕の軸方向に関して回転するスマートウォッチの長手方向の回転角度、および、腕に対して垂直な軸方向に関するスマートウォッチの横方向の回転角度を含み、角度情報は、腕が身体の前方で水平に配置されているときを基準として事前設定された開始点におけるスマートウォッチの角度を使用するものである。そして、プロセッサは、特定的に、
事前設定された開始点からスタートして、マン−マシンインターフェースのX軸に沿ってp×βの距離だけ、および、マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、ポインタアイコンが移動するよう制御するように構成されている。ここで、αは長手方向の回転角度を表し、βは横方向の回転角度を表し、および、pは事前設定された定数である。
【００１６】
第３の態様、または、第３の態様に係る第１から第３までの可能な実施のやり方のうちいずれか一つに関し、インテリジェントなデバイスは、スマート眼鏡である。
【００１７】
第４の態様に従って、本発明の一つの実施例は、インテリジェントなデバイスを提供する。インテリジェントなデバイスは、
スマートウォッチによって送信された制御情報を受信するように構成されている受信器であり、そして、制御情報は、スマートウォッチが腕に装着され、かつ、腕が身体の前方で水平に配置されているときに、腕の軸方向に関して回転するスマートウォッチの角度である、受信器と、
制御情報に従って、インテリジェントなデバイスのマン−マシンインターフェースにおけるインテリジェントなデバイスのメニューのスクロールを制御するように構成されているプロセッサであり、ここで、マン−マシンインターフェースにおいてスクロールされるメニューの量は角度の大きさに依存する、プロセッサと、を含む。
【００１８】
を含む、
【００１９】
第４の態様に関し、第４の態様に係る第１の可能な実施のやり方において、インテリジェントなデバイスは、スマート眼鏡である。
【００２０】
第５の態様に従って、本発明の一つの実施例は、インテリジェントなインタラクションシステムを提供する。インテリジェントなインタラクションシステムは、
受信されたユーザ入力オペレーションに従って、制御情報を生成するように構成されているスマートウォッチと、
第３の態様または第４の態様のうちいずれか一つに従ったインテリジェントなデバイスと、を含む。
【００２１】
ここで、スマートウォッチは、インテリジェントなデバイスと通信接続している。
【００２２】
本発明の実施例におけるインテリジェントなインタラクション方法、装置、およびシステムに従って、ユーザ入力オペレーションの受け手としてスマートウォッチが使用される。スマートウォッチの構成は、スマート眼鏡のマン−マシンインターフェースにおけるポインタアイコンの移動を制御するように、ユーザ入力オペレーションを制御情報へと変換するために使用され、ユーザとスマート眼鏡との間のインタラクションを実施している。インタラクション方法は、スマート眼鏡の構成によっては制限されない。従って、インタラクション方法によって実施し得る機能が大幅に増加される。加えて、インタラクション方法はシナリオによって制限されず、それにより、ユーザとスマート眼鏡との間のインタラクションの利便性を改善している。
【図面の簡単な説明】
【００２３】
本発明の実施例における技術的ソリューションまたは先行技術におけるものをより明確に説明するために、以下に、実施例または従来技術を説明するために必要な添付図面を簡単に説明する。明らかに、以下の説明における添付の図面は、本発明のいくつかの実施例を示しているだけであり、そして、当業者であれば創造的な努力なしにこれらの添付図面から他の図面さえも引き出すことができる。
【図１】図１は、本発明に従った、インテリジェントなインタラクション方法のアプリケーションシナリオに係る一つの例のダイヤグラムである。
【図２】図２は、本発明に従った、インテリジェントなインタラクション方法に係る実施例１のフローチャートである。
【図３Ａ】図３Ａは、本発明に従った、インテリジェントなインタラクション方法に係る実施例２における、力情報（S）と押付力（F）との間の対応に係る一つの例のダイヤグラムである。
【図３Ｂ】図３Ｂは、本発明に従った、インテリジェントなインタラクション方法に係る実施例２における、力情報（S）と押付力（F）との間の対応に係る別の例のダイヤグラムである。
【図４】図４は、本発明に従った、インテリジェントなインタラクション方法に係る別のアプリケーションシナリオに係る一つの例のダイヤグラムである。
【図５】図５は、本発明に従った、インテリジェントなインタラクション方法に係る実施例２のフローチャートである。
【図６】図６は、本発明に従った、インテリジェントなインタラクション方法に係るさらに別のアプリケーションシナリオに係る一つの例のダイヤグラムである。
【図７】図７は、本発明に従った、インテリジェントなインタラクション方法に係るなおも別のアプリケーションシナリオに係る一つの例のダイヤグラムである。
【図８】図８は、本発明に従った、インテリジェントなデバイスに係る実施例１の模式的な構成ダイヤグラムである。
【発明を実施するための形態】
【００２４】
以下に、本発明の実施例における添付図面に関連して、本発明の実施例における技術的ソリューションを明確かつ完全に説明する。明らかに、説明される実施例は、本発明の実施例のいくつかであるに過ぎないが、全てではない。創作的な努力なしに本発明の実施例に基づいて当業者によって獲得される他の全ての実施例は、本発明の保護範囲の中に入るものである。
【００２５】
スマート眼鏡は、また、インテリジェントな眼鏡としても知られている。スマート眼鏡は、独立したオペレーティングシステムを有し、ユーザは、ソフトウェアおよびゲームといった、ソフトウェアサービスプロバイダによって提供されるプログラムをインストールすることができる。そして、アジェンダの追加、地図ナビゲーション、友人とのインタラクション、写真撮影と録画、および、友人とのビデオ通話に係る機能が、音声またはオペレーションによって完了され得る。そして、無線ネットワークアクセスが、モバイル通信ネットワークを使用して実施され得る。
【００２６】
スマート眼鏡の基本的なアーキテクチャは、鼻りょう（bridge  of  a  nose）の上に横方向に配置され得る平行フレーム、フレームの脚において配置されるタッチパッド、フレームの右側に配置されるワイドストライプコンピュータ（wide  stripe  computer）、および、透明なディスプレイ画面、を含んでいる。
【００２７】
本発明の実施例における技術的ソリューションは、スマート眼鏡とスマートウォッチが同時に装着され、かつ、スマート眼鏡が外部ポインタツールを必要とするシナリオ、および、例えば、パーソナルコンピュータ（Personal  Computer、略してPC）が、マウスを持たず、かつ、外部ポインタツールを必要とする、ポータブルなインテリジェントなデバイスのシナリオ、に対して適用可能である。
【００２８】
本発明の実施例は、インテリジェントなインタラクションシステムを提供する。インテリジェントなインタラクションシステムは、スマートウォッチおよびインテリジェントなデバイスを含む。スマートウォッチは、受け取ったユーザ入力オペレーションに従って、制御情報を生成するように構成されている。インテリジェントなデバイスは、以下に説明されるあらゆるインテリジェントなデバイスである。スマートウォッチはインテリジェントなデバイスと通信接続している。図１に示されるように、この例においては、一つの例としてスマート眼鏡を使用して、インテリジェントなデバイスが説明されている。スマートウォッチとスマート眼鏡との間では、ブルートゥース（登録商標）（Blue-Tooth、略してBT）、または、ブルートゥースローエネルギ（Blue-Tooth  Low  Energy、略してBLE）の技術的なパスを使用して、通信が行われる。
【００２９】
図２は、本発明に従った、インテリジェントなインタラクション方法に係る実施例１のフローチャートである。本発明の一つの実施例は、ユーザとスマート眼鏡との間でインタラクションを実施するために、インテリジェントなインタラクション方法を提供する。本方法は、インテリジェントなインタラクション方法を実行するためのあらゆる装置によって実行されてよく、そして、装置は、ソフトウェア及び／又はハードウェアによって実施されてよい。この実施例において、装置は、スマート眼鏡の中へ統合されてよく、そして、ポインタアイコンが、スマート眼鏡のマン−マシンインターフェース上に設定される。図２に示されるように、本方法は、以下を含んでいる。
【００３０】
S101：スマート眼鏡が、スマートウォッチによって送信された制御情報を受信する。ここで、制御情報は、受信されたユーザ入力オペレーションに従って、スマートウォッチによって生成されるものである。
【００３１】
S102：スマート眼鏡が、制御情報に従って、ポインタアイコンの動きを制御する。
【００３２】
特定的に、ユーザは、スマートウォッチのタッチスクリーン上でタッチ入力を実行し、または、スマートウォッチにおいてキー押し（key-press）を実行する。スマートウォッチは、ユーザ入力オペレーション（タッチ入力とキー押し入力を含む）に従って、スマート眼鏡のマン−マシンインターフェース（Man  Machine  Interface、略してMMI）におけるポインタアイコンを制御するために使用される制御情報を生成し、そして、制御情報をスマート眼鏡に対して送信する。スマートウォッチによる、スマート眼鏡に対する制御情報の送信は、BTまたはBLEの技術パスを使用して実施され得る。しかし、本発明は、これに限定されない。
【００３３】
スマート眼鏡は、ユーザがスマート眼鏡とインタラクションするように、制御情報に従ってポインタアイコンの動きを制御する。
【００３４】
ポインタアイコンは、スマート眼鏡のマン−マシンインターフェース上に設定されており、ここで、ポインタアイコンは、例えば、カーソルである、ことが留意されるべきである。ここにおいて説明する設定は、ソフトウェアを使用することによる実施、または、スマート眼鏡の中にアプリケーション（Application、略してAPP）をインストールすることによる実施を含んでいる。例えば、マン−マシンインターフェース上にレイヤ（layer）がサスペンドされ、そして、レイヤは、ポインタアイコンを表示するように構成されている。
【００３５】
本発明のこの実施例に従って、スマートウォッチは、ユーザ入力オペレーションの受け手として使用される。スマートウォッチの構造は、スマート眼鏡のマン−マシンインターフェースにおけるポインタアイコンの動きを制御するように、ユーザ入力オペレーションを制御情報へと変換するために使用され、ユーザとスマート眼鏡との間のインタラクションを実施している。インタラクション方法は、スマート眼鏡の構成によっては制限されない。従って、インタラクション方法によって実施され得る機能が大いに増加される。加えて、インタラクション方法はシナリオによって制限されず、それにより、ユーザとスマート眼鏡との間のインタラクションの利便性を改善している。
【００３６】
以下に、いくつかの特定の実施例を使用して、本発明の技術的ソリューションを詳細に説明する。
【００３７】
一つの実施例において、制御情報は、変位（displacement）情報を含んでよい。変位情報は、ユーザ入力オペレーションに対応し、かつ、スマートウォッチのタッチスクリーンによって獲得される変位を含んでよい。この実施例において、S102は、スマート眼鏡によって、前述の変位だけ移動するようにポインタアイコンを制御することを含んでよい。
【００３８】
特定的に、スマートウォッチは、タッチスクリーンの内蔵（built-in）センサを読み取り、指の接触位置に関する座標情報を獲得し、かつ、座標計算を用いて変位情報を獲得する。スマートウォッチは、２回収集された指の接触位置の座標P1（X1、Y1）とP2（X2、Y2）とを比較することによって、変位D1（（X2-X1）、（Y2-Y1））を獲得する。スマートウォッチは、BTまたはBLEパスを使用して、スマート眼鏡（またはPC）に対して座標または変位情報を送信することができる。これに対応して、スマート眼鏡は、スマートウォッチから変位情報を獲得する。ポインタアイコンのアプリケーション機能に入った後で、スマート眼鏡（またはPC）は、獲得された座標または変位情報に従って、MMIにおいてポインタアイコンの対応する動きを実施する。例えば、図１に示されるように、スマートウォッチのタッチスクリーンにおいて指を左（矢印方向）にフリック（flick）すると、これに対応して、スマート眼鏡のMMI上のポインタアイコンが左に動く。
【００３９】
上記に基づいて、制御情報は、さらに、力情報（force  information）を含んでよい。力情報は、ユーザ入力オペレーションに対応する押付力（pressing  force）を表すために使用される。スマートウォッチは、タッチスクリーンの内蔵力センサを読み取り、そして、押付力を獲得する。この場合、スマート眼鏡によって、前述の変位だけ移動するようにポインタアイコンを制御することは、ユーザとスマート眼鏡との間のインタラクションを実施するために、力情報に従ってスマート眼鏡によって、ポインタアイコンの動きに係る移動速度を制御することを含む。例えば、力情報が増加するにつれてポインタアイコンの移動速度が増加してよく、または、力情報が増加するにつれてポインタアイコンの移動速度が減少してよい。
【００４０】
力情報は、連続的であり、または、部分的に離散的であってよいことが、さらに留意されるべきである。力情報と押付力との間の対応は、複数のタイプを含んでいる。例えば、図３Ａに示されるように、力情報（S）は、押付力（F）に対して直接的に比例する。もしくは、図３Ｂに示されるように、力情報（S）と押圧力（F）との対応は、一対多である。0からF1までの範囲の押付力に対応する力情報は0であり、F1からF2までの範囲の押圧力に対応する力情報はS1である、等。対応する時間期間におけるスマート眼鏡またはPCにおけるポインタアイコンの変位は、D2=a×S×D1（aは事前設定された定数）である。ここで、SはS1、S2、またはS3であってよい。
【００４１】
別の実施例において、制御情報は、角度情報を含んでよい。角度情報は、腕に装着され、かつ、腕の軸方向に関して回転するスマートウォッチの長手方向の回転角度、および、腕に対して垂直な軸方向に関するスマートウォッチの横方向の回転角度を含んでよい。腕が身体の前方で水平に配置されているときを基準として事前設定された開始点におけるスマートウォッチの角度を使用することによるものである。この場合に、S102は、事前設定された開始点からスタートして、マン−マシンインターフェースのX軸に沿ってp×βの距離だけ、および、マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、ポインタアイコンが移動するのを、スマート眼鏡によって、制御すること、を含んでよい。ここで、αは長手方向の回転角度を表し、βは横方向の回転角度を表し、pは事前設定された定数であり、そして、X軸とY軸はマン−マシンインターフェースにおいて互いに直交している。
【００４２】
図４を参照すると、スマートウォッチの中のジャイロスコープが、スマート眼鏡のポインタアイコンのセンサとして使用されている。較正の最中の角度を基準として使用して、前腕（forearm）の軸方向に関するスマートウォッチの回転角度がαであり、かつ、前腕に対して垂直な軸に関するスマートウォッチの回転角度がβである場合に、目的地点までの、原点（例えば、スマート眼鏡の眼鏡レンズの幾何学的中心点）に関するターゲットデバイス（例えば、スマート眼鏡、PC等、であり得る）のポインタアイコンの変位D（X、Y)は、DY＝p×α、および、DX＝p×βによって獲得され得る。
【００４３】
図５は、本発明に従った、インテリジェントなインタラクション方法に係る実施例２のフローチャートである。本発明のこの実施例は、ユーザとスマート眼鏡との間のインタラクションを実施するために、インテリジェントなインタラクション方法を提供する。本方法は、インテリジェントなインタラクション方法を実行するためのあらゆる装置によって実行されてよく、そして、装置は、ソフトウェア及び／又はハードウェアによって実施されてよい。この実施例において、装置は、スマート眼鏡の中へ統合されてよい。図５に示すように、本方法は、以下を含んでいる。
【００４４】
S501：スマート眼鏡が、スマートウォッチによって送信された制御情報を受信する。ここで、制御情報は、腕に装着され、かつ、腕が身体の前方で水平に配置されているときに、腕の軸方向に関して回転するスマートウォッチの角度である。
【００４５】
S502：スマート眼鏡が、制御情報に従って、スマート眼鏡のマン−マシンインターフェースにおけるスマート眼鏡のメニューのスクロールを制御する。ここで、マン−マシンインターフェースにおいてスクロールされるメニューの量は、角度の大きさに依存する。
【００４６】
この実施例は、スクロールメニューのスマート眼鏡のオペレーションに対して適用可能である。例えば、初期のグーグルグラス（google  glass）である。
【００４７】
この実施例において、スマート眼鏡は、ユーザとスマート眼鏡との間のインタラクションを実施するために、制御情報に従ってスマート眼鏡のメニューのスクロールを制御することができる。この実施例に従って、スマートウォッチの方位の変動、例えば、スマートウォッチの上向き、下向き、左向き、または右向きの傾きを感知することによって、スマート眼鏡のメニューのスクロールが出力される。
【００４８】
図６に示されるように、通常の状態においてユーザがスマートウォッチを見ているのと同様に、左腕が身体の前方で水平に配置されており、そして、左腕に装着されたスマートウォッチは左腕の軸方向に関して回転する。スマートウォッチは、ジャイロスコープ（Gyroscope）からのデータを読み取ることによってスマートウォッチが左腕の軸方向に関して回転する角度を獲得し、そして、次いで、BTまたはBLEのパスを使用してスマート眼鏡に対して制御情報を転送する。スマート眼鏡のスクロールされるメニューの量を決定するためである。現在選択されているメニューは、事前に選択されたメニューの位置に到達するようユーザがスマートウォッチの回転角度を調整することができるように、現在のメニューの状態をユーザにリマインドするためにスマート眼鏡のMMIにおいてハイライトされている。
【００４９】
本発明のこの実施例に従って、スマートウォッチは、ユーザ入力オペレーションの受取人として使用される。スマートウォッチの構成は、ユーザとスマート眼鏡との間のインタラクションを実施して、スマート眼鏡のマン−マシンインターフェースにおけるメニューの表示を制御するように、ユーザ入力オペレーションを制御情報へと変換するために使用されている。インタラクション方法は、スマート眼鏡の構成によって制限されない。従って、インタラクション方法によって実施され得る機能が大幅に増加される。加えて、インタラクション方法はシナリオによって制限されず、それにより、ユーザとスマート眼鏡との間のインタラクションの利便性を改善している。
【００５０】
そのうえ、スマート眼鏡は、さらに、スマートウォッチによって送信されたスタートアップ情報を受信することができる。上記に基づいて、スマート眼鏡がスタートアップ情報を検出した後で、マン−マシンインターフェースにおいてメニューが表示される。例えば、ユーザの指がタッチスクリーンに触れる動作を検出する場合に、スマートウォッチは、スマート眼鏡のメニューに入るように、スマート眼鏡に対してスタートアップ情報を転送する。
【００５１】
ユーザは、さらに、スマートウォッチの異なる側面をノックすること（knocking）によって、スマート眼鏡の異なる機能およびショートカットキーを実施し得ることが、相補的に留意されるべきである。例えば、左腕を横方向に置き、かつ、基準としてウォッチを見るジェスチャを使用して、スマートウォッチの左上をノックすることが、スマート眼鏡の確認動作を実施することができる。別の例について、PCアプリケーションにおいては、左腕を横方向に置き、かつ、基準としてウォッチを見るジェスチャを使用して、図７に示されるように、スマートウォッチの左上、右上、および左下をノックすることが、それぞれに、左マウスボタン、キャリブレーションキー、右マウスボタンを実施することができる。
【００５２】
図８は、本発明に従った、インテリジェントなデバイスに係る実施例１の模式的な構成ダイヤグラムである。本発明のこの実施例は、ユーザとインテリジェントなデバイスとの間のインタラクションを実施するインテリジェントなデバイスを提供する。図８に示されるように、インテリジェントなデバイス80は、受信器81と、プロセッサ82とを含んでいる。
【００５３】
受信器81は、スマートウォッチによって送信された制御情報を受信するように構成されている。制御情報は、受信されたユーザ入力オペレーションに従ってスマートウォッチによって生成される。プロセッサ82は、制御情報に従ってポインタアイコンの動きを制御するように構成されている。ポインタアイコンは、インテリジェントなデバイス80のマン−マシンインターフェースにおいて設定されている。
【００５４】
この実施例におけるインテリジェントなデバイスは、図２に示された方法の実施例の技術的ソリューションを実行するように構成されてよく、その実施原理および技術的効果は同様であり、そして、ここにおいて詳細は再び説明されない。
【００５５】
一つの実施のやり方において、制御情報は変位情報を含んでいる。変位情報は、ユーザ入力オペレーションに対応しており、かつ、スマートウォッチのタッチスクリーンによって獲得される変位を含むことができる。プロセッサ82は、特定的に、変位によって移動するようポインタアイコンを制御するように構成されてよい。
【００５６】
さらに、制御情報は、さらに、力情報を含んでいる。力情報は、ユーザ入力オペレーションに対応している押付力を表すために使用される。プロセッサ82は、さらに、ユーザとインテリジェントなデバイス80との間のインタラクションを実施するために、力情報に従って、ポインタアイコンを動かす移動速度を制御するように構成されてよい。ここで、力情報の大きさは、ポインタアイコンの移動速度を決定する。
【００５７】
力情報と押圧力との間の対応は、少なくとも以下のタイプを含んでよい。押付力に対して直接的に比例している力情報、力情報と押付力との間の一対多対応、等である。
【００５８】
別の実施のやり方において、制御情報は、角度情報を含んでよい。角度情報は、腕に装着され、かつ、腕の軸方向に関して回転するスマートウォッチの長手方向の回転角度、および、腕に対して垂直な軸方向に関するスマートウォッチの横方向の回転角度を含んでよい。腕が身体の前方で水平に配置されているときを基準として事前設定された開始点におけるスマートウォッチの角度を使用することによるものである。ポインタアイコンは、スマート眼鏡のマン−マシンインターフェース上に設定されている。プロセッサ82は、特定的に、事前設定された開始点からスタートして、マン−マシンインターフェースのX軸に沿ってp×βの距離だけ、および、マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、ポインタアイコンが移動するのを制御するように構成されてよい。ここで、αは長手方向の回転角度を表し、βは横方向の回転角度を表し、pは事前設定された定数であり、そして、X軸とY軸はマン−マシンインターフェースにおいて互いに直交している。
【００５９】
インテリジェントなデバイス80はスマート眼鏡であってよいことが、相補的に留意されるべきである。
【００６０】
図８に示される構成を参照すると、受信器81は、スマートウォッチによって送信された制御情報を受信するように構成されている。制御情報は、腕に装着され、かつ、腕が体の前方で水平に配置されたときに腕の軸方向に関して回転するスマートウォッチの角度である。プロセッサ82は、制御情報に従って、インテリジェントなデバイス80のマン−マシンインターフェースにおけるインテリジェントなデバイスのメニューのスクロールを制御するように構成されている。ここで、マン−マシンインターフェース上でスクロールされるメニューの量は、角度の大きさに依存する。
【００６１】
この実施例におけるインテリジェントなデバイスは、図５に示された方法の実施例の技術的ソリューションを実行するように構成されてよく、その実施原理および技術的効果は同様であり、そして、ここにおいて詳細は再び説明されない。
【００６２】
本出願において提供されるいくつかの実施例においては、開示された装置および方法が、他のやり方において実施され得ることが理解されるべきである。例えば、説明されたデバイスの実施例は、単なる一つの例に過ぎないものである。例えば、ユニットまたはモジュール分割は、単に論理関数分割に過ぎず、かつ、実際の実施における他の分割であってよい。例えば、複数のユニットまたはモジュールが、別のシステムへと組み合わせされ、または、統合されてよく、もしくは、いくつかの機能が無視されるか、または、実行されなくてよい。加えて、表示もしくは議論された相互結合または直接結合または通信接続は、いくつかのインターフェースを通じて実施されてよい。デバイスまたはモジュール間の間接的な結合または通信接続は、電子的、機械的、または他の形式において実施されてよい。
【００６３】
別個のパーツとして説明されたモジュールは、物理的に分離していても又はいなくてもよく、そして、モジュールとして表示されたパーツは、物理的なモジュールであっても又はなくてもよく、一つの位置にあってよく、または、複数のネットワーク装置において分散されてよい。実施例に係るソリューションの目的を達成するために、モジュールのいくつか又は全てが実際のニーズに従って選択されてよい。
【００６４】
当業者であれば、方法の実施例に係るステップの全て又はいくつかが、関連するハードウェアを指示するプログラムによって実施され得ることを理解することができる。プログラムは、コンピュータ読み取り可能な記憶媒体に保管されてよい。プログラムが実行されると、方法の実施例に係るステップが実行される。上述の記憶媒体は、ROM、RAM、磁気ディスク、または、光ディスクといった、プログラムコードを保管することができるあらゆる媒体含む。
【００６５】
最後に、上述の実施例は、単に本発明の技術的ソリューションを説明するように意図されたものに過ぎず、本発明を限定するものではないことが留意されるべきである。本発明は、上述の実施例を参照して詳細に説明されているが、本発明の実施例に係る技術的ソリューションの範囲から逸脱することなく、当業者であれば、上述の実施例において説明された技術的ソリューションに対する変形をさらに行い、または、その技術的特徴のいくつか又は全てについて均等な置換えを行い得ることを理解すべきである。
【図１】
2018508909.tif 000003
【図２】
2018508909.tif 000004
【図３Ａ】
2018508909.tif 000005
【図３Ｂ】
2018508909.tif 000006
【図４】
2018508909.tif 000007
【図５】
2018508909.tif 000008
【図６】
2018508909.tif 000009
【図７】
2018508909.tif 000010
【図８】
2018508909.tif 000011
【手続補正書】
【提出日】平成29年10月26日(2017.10.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
インテリジェントなインタラクション方法であって、ポインタアイコンがスマート眼鏡のマン−マシンインタフェース上に設定されており、
スマートウォッチによって送信された制御情報を、前記スマート眼鏡によって受信するステップであり、前記制御情報は、受信されたユーザ入力オペレーションに従って、前記スマートウォッチによって生成される、ステップと、
前記制御情報に従って、前記スマート眼鏡によって前記ポインタアイコンの動きを制御するステップと、
を含む、方法。
【請求項２】
前記制御情報は、変位情報を含み、前記変位情報は、前記ユーザ入力オペレーションに対応し、かつ、前記スマートウォッチのタッチスクリーンによって獲得される変位を含み、
前記制御情報に従って、前記スマート眼鏡によって前記ポインタアイコンの動きを制御する前記ステップは、
前記スマート眼鏡によって、前記ポインタアイコンを前記変位だけ移動するように制御するステップ、を含む、
請求項１に記載の方法。
【請求項３】
前記制御情報は、さらに、力情報を含み、前記力情報は、前記ユーザ入力オペレーションに対応する押付力を表すために使用され、
前記スマート眼鏡によって、前記ポインタアイコンを前記変位だけ移動するように制御する前記ステップは、
前記スマート眼鏡によって、前記力情報に従って前記ポインタアイコンの動きに係る移動速度を制御するステップ、を含む、
請求項２に記載の方法。
【請求項４】
前記制御情報は、角度情報を含み、
前記角度情報は、腕に装着され、かつ、前記腕の軸方向に関して回転する前記スマートウォッチの長手方向の回転角度、および、前記腕に対して垂直な軸方向に関する前記スマートウォッチの横方向の回転角度を含み、
前記角度情報は、前記腕が身体の前方で水平に配置されているときを基準として事前設定された開始点における前記スマートウォッチの角度を使用するものであり、かつ、
前記制御情報に従って、前記スマート眼鏡によって前記ポインタアイコンの動きを制御する前記ステップは、
前記スマート眼鏡によって、前記事前設定された開始点からスタートして、前記マン−マシンインタフェースのX軸に沿ってp×βの距離だけ、および、前記マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、前記ポインタアイコンが移動するように制御するステップ、を含み、ここで、αは前記長手方向の回転角度を表し、βは前記横方向の回転角度を表し、pは事前設定された定数である、
請求項１に記載の方法。
【請求項５】
スマート眼鏡によって、スマートウォッチによって送信された制御情報を受信するステップであり、前記制御情報は、腕に装着され、かつ、前記腕が身体の前方で水平に配置されているときに、前記腕の軸方向に関して回転する前記スマートウォッチの角度である、ステップと、
前記スマート眼鏡によって、前記制御情報に従って、前記スマート眼鏡のマン−マシンインターフェースにおける前記スマート眼鏡のメニューのスクロールを制御するステップであり、前記マン−マシンインターフェースにおいてスクロールされるメニューの量は、前記角度の大きさに依存する、ステップと、
を含む、インテリジェントなインタラクション方法。
【請求項６】
インテリジェントなデバイスであって、ポインタアイコンが前記インテリジェントなデバイスのマン−マシンインタフェース上に設定されており、
スマートウォッチによって送信された制御情報を受信するように構成されている受信器であり、前記制御情報は、受信されたユーザ入力オペレーションに従って、前記スマートウォッチによって生成される、受信器と、
前記制御情報に従って、前記ポインタアイコンの動きを制御するように構成されているプロセッサと、
を含む、インテリジェントなデバイス。
【請求項７】
前記制御情報は、変位情報を含み、前記変位情報は、前記ユーザ入力オペレーションに対応し、かつ、前記スマートウォッチのタッチスクリーンによって獲得される変位を含み、
前記プロセッサは、特定的に、
前記ポインタアイコンを前記変位だけ移動するよう制御するように構成されている、
請求項６に記載のインテリジェントなデバイス。
【請求項８】
前記制御情報は、さらに、力情報を含み、前記力情報は、前記ユーザ入力オペレーションに対応する押付力を表すために使用され、
前記プロセッサは、さらに、
前記力情報に従って前記ポインタアイコンの動きに係る移動速度を制御するように構成されている、
請求項７に記載のインテリジェントなデバイス。
【請求項９】
前記制御情報は、角度情報を含み、
前記角度情報は、腕に装着され、かつ、前記腕の軸方向に関して回転する前記スマートウォッチの長手方向の回転角度、および、前記腕に対して垂直な軸方向に関する前記スマートウォッチの横方向の回転角度を含み、
前記角度情報は、前記腕が身体の前方で水平に配置されているときを基準として事前設定された開始点における前記スマートウォッチの角度を使用するものであり、かつ、
前記プロセッサは、特定的に、
前記事前設定された開始点からスタートして、前記マン−マシンインタフェースのX軸に沿ってp×βの距離だけ、および、前記マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、前記ポインタアイコンが移動するよう制御するように構成されており、ここで、αは前記長手方向の回転角度を表し、βは前記横方向の回転角度を表し、pは事前設定された定数である、
請求項６に記載のインテリジェントなデバイス。
【請求項１０】
前記インテリジェントなデバイスは、スマート眼鏡である、
請求項６乃至９いずれか一項に記載のインテリジェントなデバイス。
【請求項１１】
インテリジェントなデバイスであって、
スマートウォッチによって送信された制御情報を受信するように構成されている受信器であり、前記制御情報は、前記スマートウォッチが腕に装着され、かつ、前記腕が身体の前方で水平に配置されているときに、前記腕の軸方向に関して回転する前記スマートウォッチの角度である、受信器と、
前記制御情報に従って、前記インテリジェントなデバイスのマン−マシンインターフェースにおける前記インテリジェントなデバイスのメニューのスクロールを制御するように構成されているプロセッサであり、前記マン−マシンインターフェースにおいてスクロールされるメニューの量は、前記角度の大きさに依存する、プロセッサと、
を含む、インテリジェントなデバイス。
【請求項１２】
前記インテリジェントなデバイスは、スマート眼鏡である、
請求項１１に記載のインテリジェントなデバイス。
【請求項１３】
受信されたユーザ入力オペレーションに従って、制御情報を生成するように構成されているスマートウォッチと、
請求項６乃至１２いずれか一項に記載のインテリジェントなデバイスと、
を含み、
前記スマートウォッチは、前記インテリジェントなデバイスと通信接続している、
インテリジェントなインタラクションシステム。
【請求項１４】
インストラクションを含むコンピュータで読取り可能な記憶媒体であって、
前記インストラクションがコンピュータによって実行されると、前記コンピュータに、
請求項１乃至４いずれか一項に記載の方法を実施させる、
コンピュータで読取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
第３の態様に関し、第３の態様に係る第３の可能な実施のやり方において、制御情報は、角度情報を含む。角度情報は、腕に装着され、かつ、腕の軸方向に関して回転するスマートウォッチの長手方向の回転角度、および、腕に対して垂直な軸方向に関するスマートウォッチの横方向の回転角度を含み、角度情報は、腕が身体の前方で水平に配置されているときを基準として事前設定された開始点におけるスマートウォッチの角度を使用するものである。そして、プロセッサは、特定的に、
事前設定された開始点からスタートして、マン−マシンインタフェースのX軸に沿ってp×βの距離だけ、および、マン−マシンインターフェースのY軸に沿ってp×αの距離だけ、ポインタアイコンが移動するよう制御するように構成されている。ここで、、αは長手方向の回転角度を表し、βは横方向の回転角度を表し、および、pは事前設定された定数である。
【国際調査報告】
2018508909.tif 000012
2018508909.tif 000013
2018508909.tif 000014
2018508909.tif 000015