(57)【要約】  足ジェスチャを使用して周辺装置を制御するためのヘッドアップならびに離散的なシステムおよび方法が提供される。かかるシステムは、圧力センサ、ジャイロスコープ、および加速度計などの１つ以上のセンサを含みユーザの足から感覚情報を受け取る、足に基づく感覚装置を含み、その情報を特定のコマンドにリンクするものと解釈し、そのコマンドを少なくとも１つの表示装置に送信して表示装置を制御する。かかるシステムはまた、実行される動作、表示装置によって提供される情報、および／または別のユーザから提供される情報に基づいて、触覚、視覚および／または聴覚フィードバックをユーザに提供するためのフィードバックシステムを含む。
2017534985.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの足ジェスチャまたは足の少なくとも一部分によって加えられる力に基づいて入力を生成する、少なくとも１つのセンサを有する感覚装置と、
前記感覚装置からの前記入力を受け取り、任意の出力動作を決定するプロセッサと、
前記プロセッサからの前記出力動作を少なくとも１つの表示装置に無線で送信し、前記少なくとも１つの表示装置を制御する送信機と、
前記プロセッサと通信して前記出力動作を受け取り、前記ユーザにフィードバックを提供するフィードバック装置と、を備える、足ジェスチャに基づく制御システム。
【請求項２】
前記送信機は、送信機／受信機であり、
前記プロセッサは、前記送信機／受信機を介して前記少なくとも１つの表示装置および／または２次装置から情報を受信して、前記フィードバック装置を介して前記ユーザにフィードバックを提供する、請求項１に記載のシステム。
【請求項３】
前記感覚装置は、靴のインソール、靴下、靴、またはフットマットである、請求項１または２に記載のシステム。
【請求項４】
前記感覚装置は、靴のインソールであり、前記インソールの全体に渡って圧力センサアレーが分布している、請求項１または２に記載のシステム。
【請求項５】
前記少なくとも１つのセンサは、圧力センサ、加速度計、およびジャイロスコープのうちのいずれか１つまたはそれらの組み合わせである、請求項１から３のいずれか１項に記載のシステム。
【請求項６】
前記フィードバック装置は、前記ユーザの足に触覚フィードバックを提供する、請求項１から５のいずれか１項に記載のシステム。
【請求項７】
前記少なくとも１つの表示装置は、ヘッドもしくはヘルメット搭載型ディスプレイ（ＨＭＤ）またはヘッドアップ装置（ＨＵＤ）である、請求項１から６のいずれか１項に記載のシステム。
【請求項８】
足ジェスチャに基づく複数の制御システムが、足ジェスチャを用いて信号を送信し、前記フィードバック装置を介して信号を受信することによって、互いと離散的に通信することができる、請求項１から７のいずれか１項に記載のシステム。
【請求項９】
ユーザの足ジェスチャおよび／または足の力に基づいて表示装置を制御する方法であって、
ａ）少なくとも１つのセンサを使用して前記ユーザの足ジェスチャまたは足の力に基づいて入力を生成するステップと、
ｂ）前記入力を特定のコマンドにリンクされた足ジェスチャとして解釈するステップと、
ｃ）表示装置に前記特定のコマンドを実行するように命令するステップと、
ｄ）前記実行されたコマンドおよび／または外部システムから受信された情報に基づいて、前記ユーザにフィードバックを提供するステップと、を備える、方法。
【請求項１０】
コンピュータ上の複数のメニューコマンドにおけるハンズフリー選択のための足ジェスチャに基づく制御装置であって、
ｉ）複数の足ジェスチャを認識するように構成された複数のセンサを含むセンサ装置であり、前記複数の足ジェスチャのそれぞれの固有の足ジェスチャが、前記コンピュータ上の前記複数のメニューコマンドから１つの固有のメニューコマンドを起動するように構成された固有のセンサ出力シグネチャを生成するセンサ装置と、
ｉｉ）前記固有のメニューコマンドを開始するために、前記固有のセンサ出力シグネチャを前記コンピュータに送信する送信機と、を備える、制御装置。
【請求項１１】
前記制御装置は、靴のインソールであり、前記インソールの全体に渡って圧力センサアレーが分布している、請求項１０に記載の制御装置。
【請求項１２】
前記複数のセンサは、圧力センサ、加速度計、およびジャイロスコープのうちのいずれか１つまたはそれらの組み合わせを含む、請求項１０または１１に記載の制御装置。
【請求項１３】
前記提供された入力および／または前記生成されたコマンドに基づいてフィードバックを提供するためのフィードバック装置をさらに備える、請求項１０から１２のいずれか１項に記載の制御装置。
【請求項１４】
前記フィードバック装置は、前記ユーザの足に触覚フィードバックを提供する、請求項１３に記載の制御装置。
【請求項１５】
前記コンピュータは、ヘッドアップ装置（ＨＵＤ）であるか、またはヘッドもしくはヘルメット搭載型ディスプレイを含む、請求項１０から１４のいずれか１項に記載の制御装置。
【請求項１６】
前記複数の足ジェスチャは、親指のつま先の下向き圧力、母指球方向への親指の屈曲と組み合わされた親指の下向き圧力、母指球の伸展から離れる親指の伸展と組み合わされた親指の下向き圧力、母指球の実質的全体の下向き圧力、母指球の左側の下向き圧力、母指球の右側の下向き圧力、およびかかとの下向き圧力、のうちの２つ以上の任意の組み合わせを含む、請求項１０から１５のいずれか１項に記載の制御装置。
【請求項１７】
前記メニューコマンドは、メインメニューおよび１つ以上のサブメニューに表示される、請求項１から１６のいずれか１項に記載の制御装置。
【請求項１８】
前記メニューコマンドは、メインメニューを開く、スクロールアップ／ダウンする、戻る／入力する、終了する、写真を撮る、スクリーンショットを撮る、ビデオを録画する、ビデオの録画を停止する、英数字を挿入する、バックスペース／削除する、ズームインする、ズームアウトする、トグルする、音量を上げる、音量を下げる、前進する、後退する、明度を上げる、明度を下げる、からなるグループから選択される、請求項１から１７のいずれか１項に記載の制御装置。
【請求項１９】
前記入力装置によって認識された前記足ジェスチャは、前記制御装置をテストするユーザの調査グループによる操作性のための調査から予め選択され、そこで、前記調査グループによって最も容易な足ジェスチャが、最もよく使用されるコマンドに割り当てられる、請求項１０から１８のいずれか１項に記載の制御装置。
【請求項２０】
前記送信機は無線送信機である、請求項１０から１９のいずれか１項に記載の制御装置。
【請求項２１】
手術中に患者データを外科医に提供するための、請求項１０から２０のいずれか１項に記載の制御装置の使用。
【請求項２２】
前記患者データは、患者モニタから前記コンピュータに無線で送信される、請求項２１に記載の使用。
【請求項２３】
前記患者データは、バイタルサインデータ、前記患者の異なる視野のリアルタイムビデオ、および前記患者の解剖学に基づく手術モデル、のうちのいずれか１つまたはそれらの組み合わせを含む、請求項２１または２２に記載の使用。
【請求項２４】
前記バイタルサインデータは、血圧、脈拍数、体温、呼吸数および溶存酸素レベル、のうちのいずれか１つまたはそれらの組み合わせを含む、請求項２１から２３のいずれか一項に記載の使用。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にハンズフリー制御に関し、より詳細には、足ジェスチャおよび／または足の圧力を使用する機器のハンズフリー制御に関する。
【背景技術】
【０００２】
周辺機器のハンズフリー制御および／または周辺装置からのフィードバックが必要となる場面は、特に医療および業務上のアプリケーションにおいて、枚挙にいとまがない。多くのヘッドアップディスプレイ（ＨＵＤ）およびヘッド／ヘルメット搭載型ディスプレイ（ＨＭＤ）は、しばしば指押しまたはタップ制御によって装置を制御するために手または指を必要とするので、一般的にハンズフリー制御ができない。
【０００３】
音声起動システムでは機器のハンズフリー制御が可能であるが、音声起動システムには多くの欠点と制限が存在する。特に、音声起動システムには、一般に音声認識の品質および速度に欠陥があり、互いに近くに位置する複数のユーザが音声起動システムを同時に使用することはできない。音声起動システムは、音声コマンドを能動的に聞くためにリソースが継続的に占有されてしまうので相対的に電力集中的であり、かつ、ユーザは通常、音声起動システムを使用する前にトレーニングを経験する必要がある。さらに、音声起動システムでは、特定のユーザ（特に医療環境）で重要となり得る離散または秘匿コマンドが許されないため、クラウドベースのコンピューティングに依存する音声起動システムにはプライバシーとセキュリティ上で問題となる場合がある。
【０００４】
したがって、周辺装置を取り扱え、離散的に、および安全に制御できるハンズフリー制御システムが一般的に求められている。より具体的には、制御システムがユーザの様々な足ジェスチャを感知し、その足ジェスチャを、周辺装置を制御するためのコマンドに変換し、それによってハンズフリーで、秘匿した離散的かつ安全な制御を可能にするシステムが必要とされている。
【０００５】
引用によって援用される出願人の国際特許公開公報ＷＯ２０１２／０５５０２９では、複数の圧力センサを有するインソールのような入力装置を使用して足にかかる圧力測定値を受け取り、そしてリストバンドまたはディスプレイのような受信装置に圧力測定値を送信し、それによって、足上の部位における組織損傷の可能性を測定する圧力読取値を処理および表示して、ユーザの負傷を防止している。
【０００６】
さらに、従来技術を検討すると、米国特許公報第７，１８６，２７０号は、靴のインソールの上または中に配置された基板上の選択された位置に取り付けられた複数の圧力センサを使用して、義肢を制御するための足操作による制御を記載する。このシステムでは、１人のユーザと義肢との間の一方向通信を提供しており、ユーザが義足からのフィードバックを受信するための双方向通信も、２人以上のユーザ間の双方向通信も可能ではない。
【０００７】
国際特許公開公報ＷＯ０１／８６３６９号は、角運動を決定するための傾斜センサと、ユーザの足の上の傾斜センサを支持するためのカフとを有する外科用フットペダルとを組み合わせて使用して、ユーザの足の動きの側面角を測定できる外科制御用の靴センサを記載する。米国特許公報第８，８２２，８０６号は、少なくとも１つの加速度計センサと、１つ以上の制御信号を生成するためにユーザが操作可能な少なくとも１つのペダル型構成要素とを備える、足操作可能な器具および方法を記載する。
【０００８】
従来技術にはまた、靴に挿入するためのスポーツシステムを記載する国際特許公開公報ＷＯ２００６／０１６３６９号のような、様々な監視およびフィードバックシステムであって、ユーザの足に加えられる力を測定する少なくとも１つの圧力センサを備え、システムの入力に基づきフィードバックを提供して、足の最適目標体重プロファイルを促進するものがある。国際特許公開公報ＷＯ２０１３／０２７１４５号は、接触、触覚動作の強度、およびユーザの足の位置を測定するためのセンサ付きマットの構造を記載する。国際特許公開公報ＷＯ２００９／０７０７８２号は、骨、関節、筋肉、腱および靭帯を含むユーザの足の複数の点で圧力を感知するためのシステムおよび方法を記載する。米国特許公報第６，８３６，７４４号は、人間の歩きぶりを分析するためのポータブルシステムを記載し、国際特許公開公報ＷＯ２００１／０３５８１８号は、足の圧力分布を測定するためのセンサを記載する。
【発明の概要】
【課題を解決するための手段】
【０００９】
１つの態様では、ユーザの足ジェスチャまたはユーザの足の少なくとも一部分によって加えられる力に基づく入力を生成するための、少なくとも１つのセンサを有する感覚装置と、感知装置からの入力を受け取り任意の出力動作を決定するプロセッサと、少なくとも１つの表示装置を制御する少なくとも１つの表示装置にプロセッサから出力動作を無線で送信する送信機と、出力動作を受信するプロセッサと通信してユーザにフィードバックを提供するフィードバック装置とを備える、足ジェスチャに基づく制御システムを提供する。
【００１０】
ある実施形態では、送信機は送信機／受信機であり、プロセッサは送信機／受信機を介して少なくとも１つの表示装置および／または２次装置から情報を受信して、フィードバック装置を介してユーザにフィードバックを提供する。
【００１１】
ある実施形態では、入力装置は、靴のインソール、靴下、靴またはフットマットである。
【００１２】
ある実施形態では、入力装置は靴のインソールであり、かかるインソールの全体に渡って圧力センサアレーが分布している。
【００１３】
ある実施形態では、少なくとも１つのセンサは、圧力センサ、加速度計、およびジャイロスコープのうちのいずれか１つまたはそれらの組み合わせである。
【００１４】
ある実施形態では、フィードバック装置は、ユーザの足に触覚フィードバックを提供する。
【００１５】
ある実施形態では、周辺機器は、ヘッドマウントもしくはヘルメット搭載型ディスプレイ（ＨＭＤ）またはヘッドアップ装置（ＨＵＤ）である。
【００１６】
ある実施形態では、足ジェスチャに基づく複数の制御システムが、足ジェスチャを用いて信号を送信し、フィードバック装置を介して信号を受信することによって、互いと離散的に通信することができる。
【００１７】
本発明の別の態様は、少なくとも１つのセンサを用いてユーザの足ジェスチャまたは足の力に基づいて入力を生成するステップと、入力を特定のコマンドにリンクされた足ジェスチャとして解釈するステップと、特定のコマンドを実行するように表示装置に命令するステップと、実行されたコマンドおよび／または外部システムから受信した情報に基づいてユーザにフィードバックを提供するステップとを備える、ユーザの足ジェスチャおよび／または足の力に基づいて表示装置を制御する方法である。
【００１８】
本発明の別の態様は、複数の足ジェスチャを認識するように構成された複数のセンサを含み、複数の足ジェスチャのそれぞれの固有の足ジェスチャが、コンピュータ上の複数のメニューコマンドから固有のメニューコマンドを起動するように構成された固有のセンサ出力シグネチャを引き起こす入力装置と、固有のメニュー出力コマンドを起動するために固有のセンサ出力シグネチャをコンピュータに送信する送信機とを備える、コンピュータ上の複数のメニューコマンドにおけるハンズフリー選択のための足ジェスチャに基づく制御装置である。
【００１９】
ある実施形態では、入力装置は靴のインソールであり、かかるインソールの全体に渡って圧力センサが分布している。
【００２０】
ある実施形態では、複数のセンサは、圧力センサ、加速度計、およびジャイロスコープのうちのいずれか１つまたはそれらの組み合わせを含む。
【００２１】
ある実施形態では、制御装置は、固有のセンサ出力シグネチャおよび／または生成されたコマンドに基づいてフィードバックを提供するためのフィードバック装置をさらに備える。
【００２２】
ある実施形態では、フィードバック装置は、ユーザの足に触覚フィードバックを提供する。
【００２３】
ある実施形態では、コンピュータは、ヘッドアップ装置（ＨＵＤ）またはヘッドもしくはヘルメット搭載型ディスプレイを含む。
【００２４】
ある実施形態では、複数の足ジェスチャは、以下のうちから２つ以上の任意の組み合わせを含む：親指のつま先の下向き圧力、母指球方向への親指の屈曲と組み合わされた親指の下向き圧力、母指球の伸展から離れる親指の伸展と組み合わされた親指の下向き圧力、母指球の実質的全体の下向き圧力、母指球の左側の下向き圧力、母指球の右側の下向き圧力、およびかかとの下向き圧力。
【００２５】
ある実施形態では、メニューコマンドは、メインメニューおよび１つ以上のサブメニューで表示される。
【００２６】
ある実施形態では、メニューコマンドは、以下のものから構成されるグループから選択される：メインメニューを開く、スクロールアップ／ダウンする、戻る／入力する、終了する、写真を撮る、スクリーンショットを撮る、ビデオを録画する、ビデオの録画を停止する、英数字を挿入する、バックスペース／削除する、ズームイン、ズームアウト、トグル、音量を上げる、音量を下げる、前進する、後退する、照度を上げる、照度を下げる。
【００２７】
ある実施形態では、入力装置によって認識された足ジェスチャは、制御装置をテストするユーザの調査グループによる操作性のための調査から予め選択され、そこで調査グループによって決定された最も容易な足ジェスチャが、最もよく使用されるコマンドに割り当てられる。
【００２８】
ある実施形態では、送信機は無線送信機である。
【００２９】
ある実施形態では、本明細書に記載の制御装置の実施形態が、手術中に患者データを外科医に提供する用途に使用される。
【００３０】
ある実施形態では、患者データは、患者モニタからコンピュータに無線で送信される。
【００３１】
ある実施形態では、患者データは、バイタルサインデータ、患者の異なる視野のリアルタイムビデオ、および患者の解剖学に基づく手術モデルのうちのいずれか１つまたはそれらの組み合わせを含む。
【００３２】
ある実施形態では、バイタルサインデータは、血圧、脈拍数、体温、呼吸数および溶存酸素レベルのうちのいずれか１つまたはそれらの組み合わせを含む。
【図面の簡単な説明】
【００３３】
本発明の様々な目的、特徴および利点は、添付の図面に示されるように、本発明の特定の実施形態についての以下の記述から明らかになるであろう。図面は必ずしも縮尺通りではなく、それよりも本発明の様々な実施形態の原理を例示することに重点を置いている。類似の参照番号は類似の構成要素を示す。
【００３４】
【図１】本発明の一実施形態による制御システムの概略図である。
【図２】本発明の一実施形態による例示的な足に基づく感覚装置の上面図、分解図および正面図である。
【図３】本発明の一実施形態による制御システムを用いて表示装置を制御する方法を示すフローチャートである。
【図４】本発明の一実施形態による、フィードバックが第２のユーザに提供される制御システムを用いて表示装置を制御する方法を示すフローチャートである。
【図５】本発明の一実施形態による第１および第２の制御システムが互いとどのように通信し得るかを示す概略図である。
【図６】本発明の一実施形態による第１および第２の制御システムが互いおよび共通の表示装置とどのように通信し得るかを示す概略図である。
【発明を実施するための形態】
【００３５】
図面を参照して、足ジェスチャを使用して周辺装置を制御するためのシステムおよび方法を説明する。
【００３６】
図１に示すように、制御システムは、一般に、足の動きおよび変化、または足底の圧力を検知する感覚装置１０と、感知装置と通信し、感覚情報を処理／解釈して離散コマンドおよび取られ得る動作に変換するプロセッサ３０と、プロセッサ３０へおよびプロセッサ３０から情報を送受信する送受信部２０と、送信機／受信機から受信したコマンドを介して制御され、かつ送信機／受信機を介してフィードバック情報をプロセッサに送信し返すことができる１つ以上の表示装置５０と、測定された感覚情報もしくは表示装置から受信した信号に基づいて、または実行されたコマンドに応答して、ユーザにフィードバックを提供するフィードバック装置４０とを含む。
【００３７】
感覚装置
感覚装置１０は、ユーザの足から様々な動作および力をリアルタイムで検出するための１つ以上のセンサを含む足に基づくインターフェースである。センサは、圧力センサ、加速度計、ジャイロスコープ、または動きもしくは力を検出する任意の他のタイプのセンサであってもよい。
【００３８】
足からは、タッピングのような単純な動きからより複雑な動きに至るまで、広範囲の動作および力が入力できる。動作には、親指を任意の数の方向にスワイプする、足全体をスワイプする、足を様々な方向に揺り動かす、足の全体または足の様々な部分（かかと、母指球、足の横側、１つ以上の足指のような）をタップしたり、足指を丸めたり、足を揺さぶったり、定義された時間以上に渡って変化するパターンで圧力を加えることが含まれる。ジェスチャに加え、足は、圧力センサが配置されている足の特定の領域に力を加えるためにも使用され得る。
【００３９】
解釈される様々な足ジェスチャおよび実行されるコマンドの数に応じて、１から数千までの任意の数のセンサをインターフェースに使用することができる。センサの位置もまた、解釈されるべき足ジェスチャによって決まる。例えば、ジェスチャが親指の左から右へスワイプ動作を含む場合は、左から右に移動する圧力の増加を解釈するために、親指の下に複数の圧力センサが必要となることになる。他方、ジェスチャが単に親指のタップである場合は、親指の下の単一の圧力センサで十分であろう。
【００４０】
足に基づくインターフェース自体は、靴の中に着用されたインソールベッド、靴自体、靴下、またはフロアマットのような様々な形を取ることができる。インソールベッドにおいて、一般にセンサは足裏の下にのみ配置されるが、靴や靴下を用いれば、センサは足底以外の足表面にも配置され得る。
【００４１】
１つの実施形態では、図２に示すように、足に基づくインターフェースはインソール８である。インソール８は、リボンケーブル１４を介して送信機ノード１３に接続された中底全体に分布しているセンサアレー１１を備える。センサアレー１１は、上面１２と下部クッション層１５との間に配置または積層されている。支持層１６はクッション層の下に設けられ、部分的にまたは全体的にインソールに渡って拡張してもよい。インソールは、一般的な、成形されたもしくは平らなインソール、またはあつらえの矯正インソールデザインであってもよい。
【００４２】
プロセッサ
プロセッサ３０は、感覚装置１０から感覚情報を受信し、様々なソフトウェアアルゴリズムを使用して情報を特定の足ジェスチャまたは動作として識別し、ジェスチャ／動作を送信機２０に送信される離散コマンドに変換し、そして表示装置５０に送信する。
【００４３】
プロセッサ３０はまた、フィードバック装置４０および表示装置と通信する。例えば、プロセッサは、感覚装置１０および／または表示装置５０から受信した情報に基づいて、フィードバック装置にコマンドを提供して、ユーザに特定のフィードバックを与えることができる。
【００４４】
重要なことに、プロセッサは、出願人の米国特許公開公報第２０１２／０１０９０１３号に記載されているように、足に基づくインターフェース内の様々な圧力センサで提供される力を単に監視し測定するのでなく、故意のジェスチャからの不自然な命令入力も解釈することができる。ソフトウェアアルゴリズムは、時間の関数として圧力、加速度、および高度を含むがこれらに限定はされない感覚入力を分析して、様々なジェスチャを解釈する。プロセッサのロジックは、足に基づくインターフェース、フィードバック装置、表示装置、であるか、または、足に基づくインターフェース、フィードバック装置および表示装置のうちの何らかの組み合わせに物理的に組み込まれてもよい。
【００４５】
実行可能な様々なコマンドの例としては、アップ／ダウンする、戻る／入力する、終了する、メニューへ戻る、画像／スクリーンショットを撮る、ビデオを撮る、停止する、英数字を挿入する、バックスペース／削除する、ズームイン／ズームアウトする、スクロールする、トグルする、音量を上げる／音量を下げる、前進／後退する、もっと大きく／より小さく、を含むが、これらに限定はされない。特定のジェスチャはコマンドに関連付けられており、例えば、親指の下の圧力センサをより強くまたはより柔らかく押すと、周辺装置の音量を増減することができ、親指を右から左にスワイプすると前のメニューに戻ることができる。
【００４６】
送信機／受信機
送信機／受信機２０は、プロセッサ３０から情報を受信し、１つ以上の表示装置５０に送信する。さらに詳細に後述するように、送信機／受信機２０はまた、１つまたは複数の表示装置５０から情報を受信して、触覚的または他の手段を介してフィードバックを提供してもよい。好ましくは、送信機は、ＡＮＴ＋（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｇａｚｅ！（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｂｌｕｅｔｏｏｔｈ  ＬＥ（登録商標）プロトコルなどを含むがこれらに限定はされない低電力無線プロトコルを介して通信する、薄型で低エネルギーの無線送信機である。
【００４７】
フィードバック装置
プロセッサ３０からのコマンドは、無線または有線接続のいずれかを介してフィードバック装置４０に送信され、フィードバック装置を制御する。フィードバック装置は、視覚フィードバック、触覚フィードバック、および聴覚フィードバックを含むがこれらに限定はされない様々なフィードバック手段を介して、ユーザにフィードバックを提供することができる。フィードバックは、起こされた動作に応答して、または、外部表示装置から受信された情報に基づいて提供されてもよく、第２のユーザによって使用されている第２の制御システムを含んでもよい。すなわち、第２のユーザの行動に関する情報に基づいて、第１のユーザは、フィードバック装置を介してフィードバックを受け取ることができる。
【００４８】
例えば、視覚フィードバックが、ユーザによって実行されているジェスチャおよび／またはジェスチャに関連付けられたコマンドに基づいてディスプレイに提供されてもよい。すなわち、ユーザが自分の親指を右から左にスワイプすれば、親指が右から左にスワイプされている動画を、視覚ディスプレイに表示してもよい。あるいは、ユーザが自分の親指の下で下向きの力をかけて圧力を増大させて装置の音量を増加すれば、ディスプレイが音量バーを増加する図解を表示してもよい。
【００４９】
別の実施形態では、フィードバックは、電気触覚、電気織物、振動触覚、走化性応答、温度および／または圧力媒介刺激を含むが、これに限定はされない触覚フィードバックであってもよい。そのようなフィードバックを提供するために、ユーザが着用する１つ以上の刺激装置が提供されてもよい。刺激装置は、足に基づくインターフェースに組み込まれてもよく、またはリストバンドもしくはウエストベルトの形態などで、ユーザによって別個に着用されてもよい。１つの例では、ユーザがフットコマンドを使用して表示装置上で音量を増加させて最大の音量限界に達した場合に、足の刺激装置が振動して範囲の終わりに達したことをユーザに知らせる。刺激装置は、提供される異なるフィードバックを識別するために、異なる時間長および／または異なる領域では、異なる強度で振動してもよい。
【００５０】
表示装置
１つ以上の表示装置５０は、足に基づくインターフェースを使用して、システムによって制御される。コマンドは、送信機／受信機２０を介して表示装置に伝達され、表示装置は、送信機／受信機を介して制御システムに情報を送信し返すことができる。表示装置から制御システムに送信される情報は、フィードバック装置４０を介してユーザにフィードバックを提供するために使用されてもよい。
【００５１】
表示装置は、制御システムの外部にあり、任意の種類の二次的技術であってもよい。表示装置には、Ｇｏｏｇｌｅ  Ｇｌａｓｓ製品（登録商標）、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウント型ディスプレイ（ＨＭＤ）またはヘルメットマウント型ディスプレイ（ＨＭＤ）、ビデオゲーム、コンピュータモニタ、スマートウォッチ、スマートフォン、タブレット、外科用器具、外科用ビデオディスプレイ、航空機器、カメラ、テレビ、自動車（身体障害者の運転者用など）、ホームオートメーションシステム、自動車整備器具、デジタル音楽プレーヤー、農業／建設機器、およびコンピュータキーボード、などの視覚ディスプレイおよび非視覚ディスプレイが含まれ得るが、これらに限定はされない。
【００５２】
使用
図３は、制御システムの様々な構成要素が、撮影機能を含む表示装置５０を制御するためにどのように相互作用し得るかについての１つの実施形態を示す。この例では、ユーザは、親指の下に圧力センサ１０を含むインソールを有する靴を着用する。ユーザが親指をタップすると、圧力センサによって検出され、プロセッサ３０によって解釈され認識される。次いで、プロセッサ３０は、感覚情報を１つ以上のコマンドに変換する。第１のコマンドが送信装置／受信装置２０を介して表示装置５０に送られると、表示装置５０が写真を撮る。この例ではユーザのインソールに配置された振動フィードバック装置であるフィードバック装置４０に第２のコマンドが送られると、ユーザの親指の下で振動を引き起こして、表示装置によって写真が撮られたことを示す。
【００５３】
多重制御システム
複数のユーザによって使用される多重制御システムは、複数のユーザ間で秘匿および離散的な通信が可能となる相互通信ができる。複数ユーザ制御システム間で交換される情報は、行われる動作および／または１つ以上の表示装置によって提供される情報に関連してもよい。図５は、第１の制御システム１００が第２の制御システム２００とどのように通信し得るかを示す。この実施形態では、各制御システムは、自身の表示装置５０、５０ａと通信するために使用される自身の感覚装置１０、１０ａ、フィードバック装置４０、４０ａ、プロセッサ３０、３０ａ、および送信機／受信機２０、２０ａを有する。送信機／受信機２０、２０ａは互いと通信して、第１および第２の制御システム間で情報を前後に渡す。
【００５４】
図６に示すように、別の実施形態では、第１および第２の制御システム１００、２００はいずれも同じ表示装置５０と通信する。この実施形態では、両方のユーザが同じ表示装置を制御し、フィードバックは表示装置から両方のユーザに提供される。
【００５５】
図４は、第１の制御システムを使用する第１のユーザによって行われた動作に基づいて、第２のユーザが使用中の第２の制御システムにフィードバックを提供し得る方法の例を示す。この例では、第１のユーザが表示装置で写真を撮るために自分の親指をタップすると、コマンドが第２の送信機／受信機２０ａを介して第２のプロセッサ３０ａに送信され、第２のフィードバック装置４０ａを介して、第２のユーザのつま先の下での振動という形でフィードバックが提供される。
【００５６】
第１のユーザからの情報に基づいて第２のユーザに提供されるフィードバックは、第１のユーザによって実行されるコマンドに限定はされない。例えば、制御システムが軍事操作で使用される場合、第２のユーザは第１のユーザの移動中にフィードバックを受信でき、そしてそれは、第１のユーザのＧＰＳ検知手段を介して提供され得る。
【実施例】
【００５７】
制御システムの機能のいくつかの態様を、以下の操作例において説明する。
【００５８】
例１：手術環境および手術用機器制御において、ヘッドアップディスプレイ上に表示された情報を制御する際の足ジェスチャ制御装置の使用例
この例では、本発明による足ジェスチャ装置の実施形態を使用して、外科処置の様々な態様を容易にする方法を説明する。
【００５９】
この例では、２人の外科医が患者の胃の２つの異なった領域の胃腫瘍の切除を行っている。各外科医は、Ｇｏｏｇｌｅ  Ｇｌａｓｓ（登録商標）やそれに類似する装置のようなヘッドアップディスプレイ（ＨＵＤ）装置（以下、ＨＵＤ装置と呼ぶ）を使用している。ＨＵＤ装置は、多数の異なる足ジェスチャの入力時に、各外科医に情報を提供しロボット機器を制御するために使用される。
【００６０】
ＨＵＤ装置は、足ジェスチャ制御装置から感覚入力を受け取り、外科医の視野内に情報を表示し、それによって、手または音声制御が必要とならないようにする（音声制御の追加的な欠点は、余分な処理を必要として、バッテリの急速な損失を招くことである）。手袋を着用した外科医の手の無菌性が、任意の滅菌されていない表面に接触すると損なわれたり、外科チームメンバーからの外来的な言葉の合図によって音声制御が干渉を起こしやすい場所の近くで外科チームメンバーが働いたりするので、このことは、手術環境では特に有効である。
【００６１】
この単純化された例では、ＨＵＤ装置に様々なタイプの情報を表示するためのいくつかのコマンドが説明される。当業者であれば、これらが単なる例示のために提供されることを理解するであろう。コマンドジェスチャを代用して、および、追加のジェスチャを追加して、ＨＵＤ装置に情報を表示するためのコマンドを拡張することができる。
【００６２】
２人の外科医の各々には、足ジェスチャ制御装置の制御の下で情報を表示するコマンドに従うＨＵＤ装置が装着されており、それによってセンサの出力に影響を与える様々なタイプの足底圧を使用してコマンドを遂行する。
【００６３】
わかりやすくするため、３つの足ジェスチャコマンドのみを説明する。しかしながら、当業者であれば、様々なコマンドを遂行するために使用されるジェスチャのリストには他の足ジェスチャを組み込み得ることを認識できるであろう。
【００６４】
好都合に、この例では、１つのコマンドは、開き得る一連のサブメニュー群から、および選択し得る追加のコマンド群から表示メニューを開くためのものとする。これらのコマンドを遂行するために使用されるジェスチャをここで手短に説明する。
【００６５】
親指（足の親指）のつま先に圧力を提供する足ジェスチャは、１つまたは複数の下部にあるセンサ、ＨＵＤ装置の表示画面上にメインメニューを開くコマンドを発行させる。メニューには、「バイタルサイン」、「カメラ」、「手術モデル」、および「機器」を含む一連のコマンドの選択肢が表示される。
【００６６】
母指球方向への親指のつま先の屈曲動作は、足ジェスチャ制御装置の下部にあるセンサに、メニュー選択肢を下方にスクロールさせ、母指球から離れる方向への親指のつま先の反対向きの伸長動作は、メニュー選択肢を上方向にスクロールさせる。コマンド選択肢の１つを選択する動作は、母指球（すなわち、中足の頭）の下向き圧力によって遂行される。
【００６７】
このように、バイタルサインメニュー項目からの血圧データ表示の選択は、メインメニューを開く（親指のつま先を下に）、メニューをスクロールダウンする（「バイタルサイン」の選択に遭遇するまで、母指球に向かって親指のつま先を屈曲する、「バイタルサイン」を選択する（母指球に下向きの圧力をかける）、サブメニューをスクロールする（「血圧」の選択に遭遇するまで、母指球に向かって親指のつま先を屈曲する）、「血圧」を選択する（母指球に下向きの圧力をかける）ことによって遂行される。３つの異なるジェスチャを伴うこの動作の結果は、患者の血圧がＨＵＤ装置の画面上に表示される。もし患者の血圧が急に変化しても、外科医は周辺視野によって迅速に知らされ、必要ならば外科医が迅速に対応することができるので、これは大きな利点である。このようなバイタルサインデータの表示は、既知のプロセスに従ってＨＵＤ装置の画面に送信する無線送信機に接続された血圧計から得られる。他のバイタルサイン表示は、上述した３つの足ジェスチャの個々のセットよって同様に得られる。
【００６８】
２人の外科医を伴う手術中、１人の外科医にとって、もう１人の外科医が行っていることおよび見ている簡潔な視野を得ることが有益な場合がある。もう１人の外科医の気が散ることなく、そのような視野を得ることもまた有益である。例えば、患者に対するリスクを最小限にするために、第１の外科医が別の繊細なステップを実行する前に、第２の外科医による繊細なステップが完了するまで待ちたい場合がある。このような状況では、第１の外科医は、まずメインメニューを開く（親指のつま先を下げる）；メニューをスクロールダウンする（「カメラ」の選択に遭遇するまで母指球に向けて親指のつま先を屈曲する）；「カメラ」を選択する（母指球に下向きの圧力をかける）；サブメニューをスクロールする（「外科医２カメラ」の選択に遭遇するまで、親指のつま先を母指球に向けて屈曲する）；そして、「外科医２カメラ」を選択する（母指球に下向き圧力をかける）。その結果、第２の外科医の視野のリアルタイムビデオ（第２の外科医のＨＵＤ装置によって録画された）が、第１の外科医のＨＵＤ装置の画面上に表示される。第１の外科医は、第２の外科医が繊細な手術ステップを遂行する間は中断し、その後続行する。２人の外科医の間では口頭の合図を行う必要なしに、彼らの気も散ることなく、特に困難な手術ステップに集中することができる。
【００６９】
手術モデルはますます有用になっている。例えば、最近の論文では、幼児の心臓の３Ｄ印刷モデルによって容易となった幼児の心臓手術の成功例が紹介されている。手術前の外科医によるこのモデルの検討が、処置の成功に寄与したことが示された。このような手術モデルに対応するグラフィックスをＨＵＤ装置の画面上に表示することは、手術処置の過程で外科医が使用できる「拡張現実」機能の別の例である。この例では、３Ｄ手術モデルのいくつかの異なる視界がＨＵＤ装置のメモリに予めロードされる。処置の最中、第２の外科医は、その領域における腫瘍の推定上の境界を見るために手術モデルの左側面画像を調べることを望む。このとき、第２の外科医は、メインメニューを開く（親指のつま先を下へ）；メニューをスクロールダウンする（「手術モデル」の選択に遭遇するまで、母指球に向けて親指のつま先を屈曲する）；「手術モデル」を選択する（母指球の下方向へ圧力をかける）；サブメニューをスクロールする（「左側面画像」の選択に遭遇するまで、親指のつま先を母指球に向けて屈曲する）；そして、「左側面画像」を選択する（母指球の下方向へ圧力をかける）。その結果、手術用モデルの左側面画像のグラフィック表示が、第２の外科医のＨＵＤ装置の画面上に表示される。第２の外科医は、この映像を調べて、手術領域の目視検査がモデルとぴったりと整合していることを確認する。
【００７０】
同様の方法で、あるタイプの外科用機器は、上述の足ジェスチャを使用して選択されたＨＵＤメニュー選択によって、遠隔制御することができる。例えば、吸引装置によるロボットアームの位置決めおよび吸引の作動／停止は、補助者を必要とすることなく、外科医が足ジェスチャを使用して行うことができる。足ジェスチャに対する適切な感度がロボットアームに与えられると、外科医が手術段階で集中している最中に、外科医が必要とする場所に吸引装置を正確に配置することができる。この状況では、メインメニューには「機器」と題する項目があり、オプションの「吸引」はサブメニューにある。この項目の選択は、上述のコマンドジェスチャを使用して遂行される。加えて、さらなるサブメニューは、外科医が、三次元でロボットアームの動作、および吸引速度を制御することを可能にする。外科医が足ジェスチャ制御装置を使用して制御し得る他のタイプの外科用機器もまた組み込むことができる。
【００７１】
本発明を、その好ましい実施形態およびその好ましい使用について説明および図解してきたが、当業者には理解されるように、本発明の完全かつ意図された範囲内で改変および変更を行うことができるため、本発明はそれらには限定されない。
【図１】
2017534985.tif 000003
【図２】
2017534985.tif 000004
【図３】
2017534985.tif 000005
【図４】
2017534985.tif 000006
【図５】
2017534985.tif 000007
【図６】
2017534985.tif 000008
【国際調査報告】
2017534985.tif 000009
2017534985.tif 000010
2017534985.tif 000011
2017534985.tif 000012