(57)【特許請求の範囲】
【請求項１】
ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、
前記第一の部分の動きに応じて実空間の座標系と仮想空間の座標系との対応関係を設定し、前記第二の部分の位置及び動きに応じて前記仮想空間のオブジェクトに対する操作を受け付ける、制御器と、
前記制御器の動作に応じて所定の情報を前記身体の第三の部分に非接触で通知する通知装置と、
を備え、
前記制御器は、
前記対応関係に基づいて、前記実空間における前記第二の部分の位置が前記仮想空間における前記オブジェクトの位置に対応するか否かを判定し、
前記第二の部分の位置が前記オブジェクトの位置に対応すると判定されたときに、前記第二の部分の動きに応じて前記オブジェクトに対する操作を受け付け、
前記通知装置は、
前記第二の部分の位置と前記オブジェクトの位置とが対応すると判定されたことを前記第三の部分に非接触で通知する、
ジェスチャ入力システム。
【請求項２】
前記通知装置は、前記第三の部分の皮膚感覚を刺激することによって、前記所定の情報を通知する、
請求項１に記載のジェスチャ入力システム。
【請求項３】
前記通知装置は、超音波振動子、ペルチェ素子、レーザー、空気砲、及び、赤外線源からなる群から選択される少なくとも１つを含む、
請求項２に記載のジェスチャ入力システム。
【請求項４】
前記通知装置は、前記第三の部分に音響放射圧を与える複数の超音波振動子を含む、
請求項２に記載のジェスチャ入力システム。
【請求項５】
前記制御器は、前記第一の部分の動きに応じて前記実空間に基点を設定し、前記基点に基づいて前記対応関係を設定する、
請求項１から４のいずれか一項に記載のジェスチャ入力システム。
【請求項６】
前記通知装置は、前記基点が設定されたことを前記第三の部分に非接触で通知する、
請求項５に記載のジェスチャ入力システム。
【請求項７】
前記制御器は、前記第一の部分が所定の動きをしたときの前記第二の部分の位置を前記基点として設定する、
請求項５又は６に記載のジェスチャ入力システム。
【請求項８】
前記対応関係は、テーブル又は関数として設定される、
請求項１から７のいずれか一項に記載のジェスチャ入力システム。
【請求項９】
前記制御器は、さらに、前記第二の部分の動きに応じて、前記対応関係を変更する、
請求項１から７のいずれか一項に記載のジェスチャ入力システム。
【請求項１０】
前記制御器は、前記第二の部分の移動速度に応じて、前記対応関係を変更する、
請求項９に記載のジェスチャ入力システム。
【請求項１１】
前記対応関係において、前記仮想空間における前記オブジェクトを含む全てのオブジェクトの座標は、それぞれ、前記実空間のうち前記センサが検知可能な空間内の座標と対応する、
請求項１から１０のいずれか一項に記載のジェスチャ入力システム。
【請求項１２】
前記制御器は、さらに、前記対応関係を設定する前に、前記第二の部分が移動すべき推奨位置を算出し、
前記通知装置は、さらに、前記推奨位置の情報を前記第三の部分に非接触で通知し、
前記制御器は、前記第二の部分が前記推奨位置に移動した後に、前記対応関係を設定する、
請求項１から１１のいずれか一項に記載のジェスチャ入力システム。
【請求項１３】
前記制御器は、前記実空間における前記第二の部分の位置が前記仮想空間における前記オブジェクトの位置に対応しない時間が所定時間を超えた場合に、前記対応関係の設定を取り消す、
請求項１から１２のいずれか一項に記載のジェスチャ入力システム。
【請求項１４】
前記第一の部分、前記第二の部分、及び前記第三の部分の少なくとも２つは、前記身体のうち同じ部分である、
請求項１から１３のいずれか一項に記載のジェスチャ入力システム。
【請求項１５】
前記通知装置は、さらに、前記操作が受け付けられたことを前記第三の部分に非接触で通知する、
請求項１から１４のいずれか一項に記載のジェスチャ入力システム。
【請求項１６】
前記対応関係が設定された後に前記オブジェクトを表示するディスプレイをさらに備える、
請求項１から１５のいずれか一項に記載のジェスチャ入力システム。
【請求項１７】
前記ジェスチャ入力システムは、ステアリングホイールを備えた自動車に搭載され、
前記センサの検知領域は、前記ステアリングホイールから所定範囲である、
請求項１から１６のいずれか一項に記載のジェスチャ入力システム。
【請求項１８】
前記制御器は、前記ステアリングホイールの操舵角が所定角度より大きいときに、前記対応関係の設定及び前記オブジェクトに対する操作の受付の少なくとも一方を中断する、
請求項１７に記載のジェスチャ入力システム。
【請求項１９】
ユーザの身体の第一の部分を検出するステップと、
前記第一の部分の動きに応じて実空間の座標系と仮想空間の座標系との対応関係を設定するステップと、
前記身体の第二の部分を検出するステップと、
前記第二の部分の位置及び動きに応じて前記仮想空間のオブジェクトに対する操作を受け付けるステップと、
所定の情報を前記身体の第三の部分に非接触で通知するステップと、
前記対応関係に基づいて、前記実空間における前記第二の部分の位置が前記仮想空間における前記オブジェクトの位置に対応するか否かを判定するステップと、
前記第二の部分の位置が前記オブジェクトの位置に対応すると判定されたときに、前記第二の部分の動きに応じて前記オブジェクトに対する操作を受け付けるステップと、
前記第二の部分の位置と前記オブジェクトの位置とが対応すると判定されたことを前記第三の部分に非接触で通知するステップと、
を備えるジェスチャ入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ユーザの動きに応じて入力を受け付けるジェスチャ入力システム及びジェスチャ入力方法に関する。
【背景技術】
【０００２】
特許文献１には、ユーザからの入力を受け付ける従来のシステムが開示されている。このシステムは、運転者の手によって操作される操作部と運転者の手の位置を検出する検出部とを備えたポインティングデバイスと、複数のアイコンとカーソルとを表示する表示部とを備える。このシステムでは、運転者の手がポインティングデバイスのどの位置にあっても、最初は中央のアイコンが選択された状態に設定される。この従来のシステムによれば、ポインティングデバイスのどの位置に手を置いても、常に、中央のアイコンを基準にして、他のアイコンの位置を認識できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３４５５４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、ユーザの利便性を向上したジェスチャ入力システム及びジェスチャ入力方法を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様のジェスチャ入力システムは、ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて実空間の座標系と仮想空間の座標系との対応関係を設定し、前記第二の部分の位置及び動きに応じて前記仮想空間のオブジェクトに対する操作を受け付ける、制御器と、前記制御器の動作に応じて所定の情報を前記身体の第三の部分に非接触で通知する通知装置と、を備える。
【０００６】
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
【発明の効果】
【０００７】
本開示のジェスチャ入力システム及びジェスチャ入力方法によれば、ユーザが入力を行うために要する動作が簡素化され、ユーザの利便性が向上する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１実施形態のジェスチャ入力システムの構成を示すブロック図である。
【図２】図２は、第１実施形態のジェスチャ入力方法を示すフローチャートである。
【図３】図３は、第１実施形態における選択可能部位ローカル座標マップと、実空間の例を示す図である。
【図４】図４は、第１実施形態の座標対応付けテーブルの一例を示す図である。
【図５】図５は、第１実施形態のジェスチャ入力方法を示すフローチャートである。
【図６】図６は、第２実施形態のジェスチャ入力方法を示すフローチャートである。
【図７】図７は、第２実施形態における、ホームポジションが移動する前の選択可能部位の選択可能範囲と、ホームポジションが移動した後の選択可能部位の選択可能範囲を示す図である。
【図８】図８は、第３実施形態のジェスチャ入力システムの構成を示すブロック図である。
【図９】図９は、第３実施形態の表示装置の表示例を示す図である。
【図１０】図１０は、第３実施形態のジェスチャ入力方法を示すフローチャートである。
【図１１】図１１は、第３実施形態のジェスチャ入力方法の一例を示すフローチャートである。
【図１２】図１２は、第３実施形態のジェスチャ入力方法の他の例を示すフローチャートである。
【図１３】図１３は、第４実施形態におけるジェスチャ入力システムが車両に搭載された例を示す図である。
【発明を実施するための形態】
【０００９】
本開示の一態様に係るジェスチャ入力システムは、ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて実空間の座標系と仮想空間の座標系との対応関係を設定し、前記第二の部分の位置及び動きに応じて前記仮想空間のオブジェクトに対する操作を受け付ける、制御器と、前記制御器の動作に応じて所定の情報を前記身体の第三の部分に非接触で通知する通知装置と、を備える
【００１０】
「第一の部分」は、実空間の座標系と仮想空間の座標系との対応関係を設定する操作に対応付けられた所定のジェスチャを読み取るために検出される、身体の一部である。「第二の部分」は、オブジェクトに対する操作に対応付けられた所定のジェスチャを読み取るために検出される、身体の一部である。「第三の部分」は、所定の情報が通知される、身体の一部である。
【００１１】
「動きを検出する」とは、例えば、検出対象の移動量、移動速度、移動方向、及び静止時間からなる群から選択される少なくとも１つを検出することを意味する。「動きを検出する」は、検出対象が動いていることを検出することのみならず、検出対象が動いていないことを検出することをも包含する。
【００１２】
「所定の情報」とは、例えば、対応関係が設定されたことを示すための情報であってもよいし、オブジェクトに対する操作を支援するための情報であってもよいし、オブジェクトに対する操作が受け付けられたことを示すための情報であってもよい。
【００１３】
以下の種々の実施形態で説明される「参照箇所」、「追跡箇所」、「通知箇所（又は触感提示箇所）」は、それぞれ、「第一の部分」、「第二の部分」、及び「第三の部分」の一例である。
【００１４】
以下の種々の実施形態で説明される「選択可能部位」は、「オブジェクト」の一例である。オブジェクトは、例えば、アイコン、ボタン、及び、スクロールバーである。オブジェクトは、ユーザが視覚的に認識できるものに限定されず、ユーザが操作を通じて認識できるものをも包含する。
【００１５】
以下の種々の実施形態で説明される「入力制御装置」は、「制御器」の一例である。制御器は、例えば、半導体装置、半導体集積回路（ＩＣ）、ＬＳＩ（large scale integration）、または、それらが組み合わされた電子回路であってもよい。ＬＳＩまたはＩＣは、１つのチップに集積されていてもよいし、複数のチップが組み合わされていてもよい。例えば、実施形態で説明される各機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣは、集積の度合いに応じて、例えば、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、もしくはＵＬＳＩ(ultra large scale integration)と呼ばれうる。制御器は、所定のアルゴリズムを実行するためのプログラムが記録されたメモリを含む。このアルゴリズムは、例えば、ユーザの身体の第一の部分の動きに応じて実空間の座標系と仮想空間の座標系との対応関係を設定するステップと、身体の第二の部分の位置及び動きに応じて仮想空間のオブジェクトに対する操作を受け付けるステップと、を含む。
【００１６】
一態様に係るジェスチャ入力システムにおいて、例えば、前記通知装置は、前記第三の部分の皮膚感覚を刺激することによって、所定の情報が設定されたことを通知してもよい。
【００１７】
「皮膚感覚」とは、皮膚を通して人体が認識することのできる感覚である。皮膚感覚の例として、触覚、振動覚、圧覚、温覚、冷覚、及び痛覚が挙げられる。「皮膚感覚を刺激する」とは、例えば、振動及び／又は圧力によって刺激を与えることであってもよく、温感及び／又は冷感を与えるものであってもよい。例えば、通知装置は、振動子（例えば超音波振動子）によってユーザに振動及び／又は音響放射圧を与えてもよく、レーザーによって空中にプラズマを生成し、このプラズマに接触した皮膚に衝撃を与えてもよく、空気砲によってユーザに空気の圧力波を与えてもよい。あるいは、通知装置は、赤外線源によってユーザに温感を与えてもよく、ペルチェ素子によってユーザに冷感を与えてもよい。言い換えると、通知装置は、振動子、空気砲、ペルチェ素子、及び、赤外線源からなる群から選択される少なくとも１つを含んでもよい。なお、以下の実施形態では、説明の簡便のため、皮膚感覚への刺激を「触感」と呼ぶことがある。ただし、本開示における「皮膚感覚」は、触覚に限定されるものではない。
【００１８】
本開示では、実空間にマッピングされる座標を「実座標」と呼び、実空間に対応する仮想空間にマッピングされる座標を「仮想座標」と呼ぶ場合がある。
【００１９】
一態様に係るジェスチャ入力システムにおいて、例えば、前記制御器は、前記第一の部分の動きに応じて前記実空間に基点を設定し、前記基点に基づいて前記対応関係を設定してもよい。
【００２０】
「基点に基づいて対応関係を設定する」とは、例えば、実空間に設定された基点（例えば特定の実座標）と、仮想空間に予め設定された基点（例えば特定の仮想座標）とを一致させるステップを含んでもよい。
【００２１】
以下の種々の実施形態で説明される「ホームポジション」は、「基点」の一例である。
【００２２】
以下で説明する種々の実施形態は、いずれも一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置および接続、ステップ、ステップの順序などは、あくまで一例であり、本開示を限定するものではない。以下で説明される構成要素のうち、独立請求項に記載されていない構成要素は、任意の構成要素である。また、図面において同じ符号が付された構成は、その説明が省略される場合がある。
【００２３】
（本開示の基礎となった知見）
特許文献１に記載の従来のシステムでは、入力可能な場所がポインティングデバイスの位置に限定されるため、ユーザは、入力を行うためにポインティングデバイスに触れる必要があった。さらに、この従来のシステムでは、ユーザは、意図した入力を正しく行うために、表示部を注視しなければならなかった。このように、従来のシステムは、ユーザにとって不便であった。
【００２４】
以下に説明される種々の実施形態に係るジェスチャ入力システム及びジェスチャ入力方法によれば、ユーザは、手で入力部に触れることなく、かつ、表示部を注視することなく、正しい入力を行うことができる。以下に説明されるジェスチャ入力システムは、ジェスチャ入力と非接触の通知とを採用する。これにより、ユーザは、手で入力部に触れることなく、精度良くかつ素早く入力を行うことができる。例えば、ユーザが自動車を運転している場合、ユーザは、運転への集中を低下させることなく、入力操作ができる。
【００２５】
「ジェスチャ入力」とは、ユーザが、身体の一部の動きを用いて、ユーザの操作の意思を電子機器等に伝える入力方法である。一般に、電子機器においては、ジェスチャ入力における身体の動きと、電子機器の操作に関するユーザの意思と、電子機器内の命令とが関連付けられている。電子機器は、センサによって検出された身体の動きを分析し、操作に関するユーザの意思表示を判定し、判定結果に関連付けられた命令を実行する。
【００２６】
ジェスチャ入力は、身体の一部（例えば、指先）を用いて行われる。センサは、身体の一部の動きを追跡する。以下の説明において、ジェスチャ入力のために追跡される身体の部分を「追跡箇所」と呼ぶ場合がある。ジェスチャ入力において、身体の動きは、例えば、ある時刻を起点とした追跡箇所の状態変化として読み取られる。追跡箇所の状態変化は、追跡箇所の移動量、移動速度、移動方向、及び静止時間等の組み合わせよって成り立つ。
【００２７】
以下の説明において、空間内におけるジェスチャ入力の基点（開始点）を「ホームポジション」と呼ぶ場合がある。実空間におけるホームポジションは、例えば、ジェスチャ入力の起点となる時刻において追跡箇所が位置する実座標である。
【００２８】
ジェスチャ入力における身体の動きは、言い換えると、追跡箇所とホームポジションとの相対関係によって成り立つ。例えば、ジェスチャ入力における身体の動きは、ホームポジションからの追跡箇所の移動量、移動速度、移動方向、及び静止時間等の組み合わせによって成り立つ。
【００２９】
以下に説明される種々の実施形態に係るジェスチャ入力システム及びジェスチャ入力方法では、仮想空間に所定の入力を受け付ける領域（すなわち選択可能部位）が設定される。選択可能部位の仮想座標は、ユーザの身体の一部が存在する実座標と対応づけられる。ユーザの追跡箇所が選択可能部位のどの位置にあるかが、算出される。これにより、ユーザは、仮想空間に設定された少なくとも１つの選択可能部位をジェスチャ入力によって選択することができる。したがって、ユーザは、精度良く且つ素早く入力を行うことができる。以下の説明において、仮想空間の座標を「ローカル座標」と呼び、実空間の座標を「グローバル座標」と呼ぶ場合がある。
【００３０】
（第１実施形態）
以下、第１実施形態について、図面を参照しながら説明する。なお、以後の説明において以下のように用語を定義する。
参照箇所：ホームポジションを設定したいというユーザの意思表示を読み取る際に参照される身体の部分
追跡箇所：ジェスチャ入力のために追跡される身体の部分
触感提示箇所：非接触で触感が提示される身体の部分
【００３１】
［１．ジェスチャ入力システムの構成］
図１に、第１実施形態のジェスチャ入力システムの構成例を示す。本実施形態のジェスチャ入力システム１００は、ユーザの身体の動きを検出するセンサ１と、センサ１の出力に基づいてユーザのジェスチャ入力を受け付ける入力制御装置２と、入力制御装置２による制御に応じてユーザに対して触感を提示する触感提示装置３とを含む。
【００３２】
センサ１は、人体の動きを検出可能なセンサである。センサ１は、カメラなどの視覚センサを含む。例えば、センサ１は、人体の動きを非接触で３次元的に検出することが可能な距離画像センサ又はレーザーセンサである。センサ１は、人体の動きを検出することができるものであればよく、例えば、超音波センサ、赤外線センサ、又は可視光センサであってもよい。
【００３３】
本実施形態において、センサ１は、ユーザの身体の一部である参照箇所の動きと、ユーザの身体の一部である追跡箇所の動きと、ユーザの身体の一部である触感提示箇所（又は通知箇所）の動きとを検出する。例えば、センサ１は、参照箇所、追跡箇所、及び触感提示箇所の３次元の座標を参照箇所、追跡箇所、及び触感提示箇所の動きに関する情報として取得する。参照箇所、追跡箇所、及び触感提示箇所は、入力制御装置２が任意に決めることができる。例えば、参照箇所、追跡箇所、及び触感提示箇所は、上半身、顔、手、指、又は指先である。参照箇所、追跡箇所、及び触感提示箇所は、同一の場所であってもよいし、異なる場所であってもよい。センサ１は、検出した参照箇所、追跡箇所、及び触感提示箇所の動きに関する情報を出力する。
【００３４】
入力制御装置２は、センサ１が検出した情報に基づいて、ホームポジションを設定してジェスチャ入力を受け付ける制御部２１と、設定されたホームポジションを格納する記憶部２２とを含む。制御部２１は、半導体素子などで実現可能であり、例えばマイコンである。制御部２１は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部２１は、受け付けたジェスチャ入力に応じて制御対象４を制御する。制御対象４は任意の装置であり、例えば、ナビゲーション装置、空調装置、又はオーディオ装置である。
【００３５】
記憶部２２は、例えば、ＤＲＡＭ、フラッシュメモリ、又は強誘電体メモリなどで実現できる。記憶部２２は、所定の入力を受け付ける領域である少なくとも１つの選択可能部位の仮想座標を表すローカル座標マップ２３と、ローカル座標マップ２３内の選択可能部位の仮想座標を実座標と対応付ける座標対応付けテーブル２４とを格納する。
【００３６】
触感提示装置３は、空気を介して触感を提示することが可能な通知装置である。「触感」とは、皮膚を通して人体が認識することのできる感覚のことであり、振動及び圧力などの力が作用するものと、温かい及び冷たいなどの温冷感とを含む。空気を介した触感の提示とは、人体に接触せずに、触感を人体に感じさせることである。本実施形態においては、空気を介した触感の提示として、超音波の音響放射圧を利用する。
【００３７】
本実施形態の触感提示装置３は、複数の超音波振動子を並べて構成される超音波振動子アレイを含む。超音波振動子アレイは、空中の任意の位置に超音波の焦点を作り出すことによって、人体の表面に触覚を提示することができる。超音波の焦点では、音圧の振動に加えて、音響放射圧という静的な圧力が発生する。音響放射圧は、空気中を伝播する超音波が空気の音響インピーダンスと異なる物体で遮られたときに発生する。音圧レベルが大きな超音波になると、超音波が身体表面で遮られ、これにより、人が認識できるような身体表面を押す力が発生する。すなわち、非接触で身体に力を提示することができる。一般的に、人は、２０Ｈｚ以上且つ２０ｋＨｚ以下の周波数を音として感じることができ、この周波数帯域を可聴域という。「超音波」とは、２０ｋＨｚ以上の周波数を有する音波のことであり、人の耳には聞こえない。聴覚に頼らず触感を提示するためには、周波数を２０ｋＨｚ以上にすればよい。超音波の周波数に上限の制約はないが、空気中を伝播する超音波の減衰は、周波数が高くなるにしたがって大きくなるため、触感を提示するために用いられる超音波の周波数は、好ましくは２０ｋＨｚ〜２００ｋＨｚ、より好ましくは２０ｋＨｚ〜１００ｋＨｚである。人が認識できる圧力を身体表面に提示することができる超音波の音圧レベルは、１４０ｄＢ以上、好ましくは１５０ｄＢ以上、さらに好ましくは１６０ｄＢ以上である。
【００３８】
超音波振動子を間欠的に駆動させることによって、及び／又は、超音波振動を振幅変調させることによって、音響放射圧を時間的に変化させてもよい。これにより、ユーザに振動を提示することができる。振動覚をつかさどる皮膚感覚受容器は、特定の振動数において高い感度を示す。そのため、この振動数に音響放射圧の変調周波数を合わせてもよい。これにより、音響放射圧が同じでも、より強い触感を与えることが可能になる。この変調周波数は、好ましくは０〜３００Ｈｚ、より好ましくは１００Ｈｚ〜３００Ｈｚである。
【００３９】
［２．ホームポジションの設定］
図２に、第１実施形態に係るジェスチャ入力方法を示す。ジェスチャ入力システム１００の起動後、センサ１は、制御部２１の指示に応じて、ユーザの身体の一部である参照箇所の動きを取得し始める（Ｓ２０１）。参照箇所は１つであってもよいし、複数であってもよい。具体的には、一例として、センサ１は、参照箇所の動きに関する情報として、参照箇所の実座標を取得する。参照箇所の実座標を「参照座標」と呼ぶ。センサ１は、取得した参照箇所の動きに関する情報を入力制御装置２に出力する。
【００４０】
入力制御装置２において、制御部２１はセンサ１からの情報に基づいて、参照箇所の動きを分析する（Ｓ２０２）。例えば、参照座標に基づいて、参照箇所の移動量、参照箇所の移動速度、参照箇所の移動方向、及び参照箇所の静止時間を分析し、これによって参照箇所の動きを分析する。制御部２１は、分析の結果に基づいて、所定の動きを検出したか否かを判断する（Ｓ２０３）。この所定の動きは、ユーザがホームポジションを設定する意思を表明するための動きであり、参照箇所の移動量、移動速度、移動方向、及び静止時間等の任意の組み合わせで予め決められている。所定の動きの情報は、記憶部２２に格納されている。例えば、実空間に想定された平面を右手人差指（すなわち参照箇所）が通る又は横切るような動きが、所定の動きとして予め決められていてもよい。これにより、ユーザは、右手人差指のみによって、ホームポジションを設定することが可能になる。
【００４１】
制御部２１が、所定の動きを検出しなかった場合（すなわち、ユーザがホームポジションを設定する意思を示していないと判断する場合）（Ｓ２０３でＮｏ）、ステップＳ２０１に戻り、センサ１による参照箇所の動きの取得を継続する。
【００４２】
制御部２１が、所定の動きを検出した場合（すなわち、ユーザがホームポジションを設定する意思を示していると判断する場合）（Ｓ２０３でＹｅｓ）、実空間の基点であるホームポジションを設定する（Ｓ２０４）。具体的には、所定の動きを検出した時点における追跡箇所の実座標をセンサ１から取得して、これをホームポジションとして設定する。制御部２１は、設定されたホームポジションの座標の情報を記憶部２２に格納する。追跡箇所の実座標を「追跡座標」と呼ぶ。追跡箇所は、ホームポジションが設定される前に予め決められていてもよいし、ホームポジションの設定と同時に決定されてもよい。ホームポジションは、ジェスチャ入力の際の基点として、参照される。
【００４３】
制御部２１は、触感提示箇所の実座標をセンサ１から取得する（Ｓ２０５）。触感提示箇所は、ホームポジションが設定される前に予め決められていてもよいし、ホームポジションの設定と同時に決定されてもよい。触感提示箇所は１つであってもよいし、複数であってもよい。触感提示箇所の実座標を「触感提示座標」と呼ぶ。制御部２１は、取得した触感提示座標を記憶部２２に格納する。
【００４４】
ホームポジションが設定された後、触感提示装置３は、制御部２１の指示に応じて、触感提示座標で示されるユーザの触感提示箇所に非接触で触感を提示し、これにより、ユーザにホームポジションが設定されたことを通知する（Ｓ２０６）。これにより、ユーザは、視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジションが設定されたことを認識でき、触感が提示された時の追跡箇所の位置をホームポジションの位置として認識することができる。
【００４５】
触感提示箇所と追跡箇所は、同一であってもよい。この場合、ユーザは、触感によって、ホームポジションが設定されたことを、そのホームポジションの位置で認識できる。そのため、より直感的なジェスチャ入力が可能となる。
【００４６】
［３．参照箇所、触感提示箇所、及び追跡箇所の組み合わせ］
参照箇所、触感提示箇所、及び追跡箇所は、身体の任意の部分に設定できる。例えば、参照箇所、触感提示箇所、及び追跡箇所の全てを右手人差し指の指先に予め設定してもよい。例えば、ジェスチャ入力システム１００は、ユーザの右手人差指の指先が実空間に想定された平面を横切るときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム１００は、ユーザの右手人差指の指先が、実空間に想定した平面を横切ったことを検出した時点における右手人差指の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを右手人差指の指先に非接触で触感提示してもよい。
【００４７】
他の例として、両目まぶたを参照箇所とし、右手人差し指の指先を追跡箇所とし、額を触感提示箇所として予め設定してもよい。例えば、ジェスチャ入力システム１００は、ユーザの両目が瞬きを２回連続で行ったときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム１００は、両目が瞬きを２回連続で行ったことを検出した時点における右手人差し指の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを額に非接触で触感提示してもよい。
【００４８】
さらに他の例として、右手５本の指先の各々を参照箇所として予め設定してもよい。例えば、ジェスチャ入力システム１００は、ユーザの右手５本の指先のうちのいずれかの１本が、実空間に想定された平面を横切るときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム１００は、右手５本の指先のうちのいずれかの１本が、実空間に想定された平面を横切ったことを検出した時点における当該１本の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを当該１本の指先に非接触で触感提示してもよい。
【００４９】
［４．ローカル座標マップと座標対応付けテーブル］
入力制御装置２の制御部２１は、実空間でのホームポジションが設定された（Ｓ２０４）後、ローカル座標マップ２３を記憶部２２から読み出して（Ｓ２０７）、ローカル座標マップ２３が示す選択可能部位の仮想座標と、実座標とを対応付けて、これにより座標対応付けテーブル２４を生成する（Ｓ２０８）。本実施形態において、ローカル座標マップ２３は、予め記憶部２２に格納されている。制御部２１は、生成した座標対応付けテーブル２４を記憶部２２に格納する。
【００５０】
図３の上図は、ローカル座標マップ２３の一例を示す。ローカル座標マップ２３は、仮想空間の基点であるホームポジション２３ａの座標と、少なくとも１つの選択可能部位２３ｂの座標とを含む。ローカル座標マップ２３は、仮想空間において、ホームポジション２３ａの座標を原点として、選択可能部位２３ｂの座標を示したものである。選択可能部位２３ｂには、それぞれ異なった機能が割り当てられる。例えば、選択可能部位２３ｂには、制御対象４に関連するパラメータを変更する機能が割り当てられている。この場合、ユーザは、選択可能部位２３ｂを選択して、予め決められた入力動作を行う。これにより、ユーザは、制御対象４に関連するパラメータを変更することができる。ローカル座標マップ２３は、予め記憶部２２に格納されていなくてもよく、例えば、実空間のホームポジションが設定される度に、実空間のホームポジションとセンサ１の検出可能範囲との位置関係に基づいて生成されてもよい。
【００５１】
図３の下図は、実空間の一例を示す。ホームポジション２３ａと選択可能部位２３ｂは仮想空間上にあるため、ユーザは、実空間において、これらを直接観察したり、触ったりすることができない。ユーザは、ローカル座標マップ２３で定義される選択可能部位２３ｂの配置関係を間接的に認識して、ジェスチャ入力を行う。例えば、表示装置（図示せず）は、ユーザが指示した時、又はジェスチャ入力システム１００の起動時からの所定時間、ローカル座標マップ２３を画像として視覚的に表示する。これにより、ユーザは、仮想空間に定義されたホームポジション２３ａと選択可能部位２３ｂの配置関係を認識できる。
【００５２】
図４に、座標対応付けテーブル２４の一例を示す。座標対応付けテーブル２４は、実空間におけるホームポジション２４ａのグローバル座標と仮想空間におけるホームポジション２３ａのローカル座標とを対応づける。さらに、座標対応付けテーブル２４は、仮想空間における選択可能部位２３ｂのローカル座標と、実空間におけるグローバル座標とを対応づける。なお、仮想空間におけるホームポジション２４ａ及び選択可能部位２３ｂのローカル座標の情報は、ローカル座標マップ２３内に含まれている。制御部２１は、ホームポジション２３ａのローカル座標と選択可能部位２３ｂのローカル座標との相対的な位置関係と、実空間のホームポジション２４ａと、に基づいて、図４に示されるような座標対応付けテーブル２４を生成する。例えば、ホームポジション２３ａのローカル座標と、ホームポジション２４ｂのグローバル座標とを基準点として設定し、この基準点に基づいて、選択可能部位２３ｂのローカル座標に対応するグローバル座標を任意に設定してもよい。例えば、実空間においてホームポジション２４ａとユーザの顔とを結ぶ軸に対して垂直な平面を想定し、この平面上のグローバル座標に、選択可能部位２３ｂのローカル座標を対応付けてもよい。座標対応付けテーブル２４において、グローバル座標とローカル座標との対応付けは、実空間の距離及び方向を正確に反映したものでなくてもよい。例えば、座標対応付けテーブル２４は、グローバル座標の３軸方向のうちの一方向のみを反映するものであってもよい。また、例えば、座標対応付けテーブル２４は、追跡座標の移動速度を反映するものであってもよいし、追跡座標の移動時間と移動方向を反映するものであってもよい。以上説明したように、入力制御装置２は、実空間のホームポジション２４ａのグローバル座標と、仮想空間のホームポジション２３ａのローカル座標とを対応付ける。加えて、触感提示装置３は、ホームポジション２４ａが設定されたことを、ユーザに通知することができる。これにより、ユーザは、実空間のホームポジション２４ａの位置を仮想空間のホームポジション２３ａの位置として認識することができる。よって、ユーザは、実空間での身体の動きにより、仮想空間の選択可能部位２３ｂを選択することが可能になる。
【００５３】
記憶部２２は、選択可能部位２３ｂのローカル座標と実空間にあるグローバル座標の対応関係を決める情報（例えば関数）を、格納している。そして、制御部２１は、実空間におけるホームポジション２４ａの位置を設定した後、記憶部２２に格納された情報（例えば関数）を使用して、座標対応付けテーブル２４を生成する。
【００５４】
一例として、ローカル座標のＸ座標とグローバル座標のＸ座標の対応関係を示す関数を以下に示す。例えば、仮想空間内において、ホームポジション２３ａのローカル座標が０であり、選択可能部位Ａ〜Ｅのローカル座標が、それぞれ、ｘ２〜ｘ６である場合を想定する。この場合、実空間内のホームポジション２４ａのグローバル座標がＸ１であれば、選択可能部位Ａ〜Ｅに対応するグローバル座標は、例えば、下記のＸ２〜Ｘ６の通り決まる。
選択可能部位Ａの実空間のグローバル座標Ｘ２＝Ｘ１＋ｘ２×α
選択可能部位Ｂの実空間のグローバル座標Ｘ３＝Ｘ１＋ｘ３×α
選択可能部位Ｃの実空間のグローバル座標Ｘ４＝Ｘ１＋ｘ４×α
選択可能部位Ｄの実空間のグローバル座標Ｘ５＝Ｘ１＋ｘ５×α
選択可能部位Ｅの実空間のグローバル座標Ｘ６＝Ｘ１＋ｘ６×α
ここで、αは、所定の係数であり、仮想空間のスケールに対する実空間のスケールの割合を示す。
【００５５】
［５．ジェスチャ入力］
図５に、図２の続きのフローを示す。入力制御装置２の制御部２１が座標対応付けテーブル２４を生成した後、センサ１は、制御部２１の指示に応じて、追跡箇所の動きと触感提示箇所の動きを追跡する（Ｓ５０１）。具体的には、センサ１は、追跡箇所の動きに関する情報として、追跡箇所の実座標を取得し、触感提示箇所の動きに関する情報として、触感提示箇所の実座標を取得する。追跡箇所と触感提示箇所は１つであってもよいし、複数であってもよい。センサ１は、取得した追跡箇所と触感提示箇所の動きに関する情報を入力制御装置２に出力する。
【００５６】
入力制御装置２において、制御部２１は、追跡箇所の動きを追跡し始めてから、所定時間が経過したかどうかを判断する（Ｓ５０２）。所定時間が経過していれば（Ｓ５０２でＹｅｓ）、触感提示装置３が、触感提示座標が示す触感提示箇所に触感を提示し、これにより、ユーザにジェスチャ入力の終了を示す（Ｓ５０８）。ホームポジション２４ａの設定を取り消し、参照箇所の動きの取得に戻る（Ｓ２０１）。これにより、追跡箇所がいずれの選択可能部位の位置からも離れている状態が所定時間以上続く場合に、ジェスチャ入力の待ち受け状態を解除することができる。あるいは、追跡箇所がホームポジション２４ａの位置から離れている状態が所定時間以上続く場合に、ジェスチャ入力の待ち受け状態を解除してもよい。
【００５７】
所定時間が経過していなければ（Ｓ５０２でＮｏ）、制御部２１は、センサ１からの情報に基づいて、座標対応付けテーブル２４を参照し、追跡箇所が選択可能部位に対応する位置にあるかどうかを判断する（Ｓ５０３）。
【００５８】
例えば、図３に示される例において、次のように判断ステップが実行される。まず、ローカル座標マップ２３において、仮想空間における「選択可能部位Ａ」２３ｂの位置が定義されている。例えば、「選択可能部位Ａ」２３ｂの位置は、ホームポジション２３ａ（すなわち基点）の右側であって、かつ、そこから距離３０ｍｍだけ隔てた位置にある。そして、座標対応付けテーブル２４によって、仮想空間の「選択可能部位Ａ」２３ｂの位置に対応する実空間の所定の位置が、対応付けられている。例えば、実空間内の当該所定の位置は、ホームポジション２４ａ（すなわち基点）の右側であって、かつ、そこから距離３０ｍｍだけ隔てた位置にある。このような場合、ユーザが、右手人差し指の指先（すなわち追跡箇所）を、実空間内の当該所定の位置に移動させたとき、制御部２１は、追跡箇所が仮想空間の「選択可能部位Ａ」２３ｂに対応する位置にあると判断する。
【００５９】
追跡箇所が選択可能部位に対応する位置になければ（Ｓ５０３でＮｏ）、所定時間が経過するまで、追跡箇所の追跡を継続する（Ｓ５０１）。
【００６０】
追跡箇所が選択可能部位に対応する位置にあれば（Ｓ５０３でＹｅｓ）、触感提示装置３は、制御部２１の指示に応じて、触感提示箇所に触感を提示し、これにより、選択可能部位が選択されていることをユーザに示す（Ｓ５０４）。このとき、選択可能部位毎に触感を変えてもよい。入力制御装置２の制御部２１は、追跡箇所の動きを分析し、所定のジェスチャを検出したか否かを判断する（Ｓ５０５）。所定のジェスチャは、選択可能部位に割り当てられた機能を実行させる指示と対応付けられている。その対応関係は、予め決められており、記憶部２２に格納されている。
【００６１】
制御部２１は、センサ１からの情報に基づいて、実空間のホームポジション２４ａと追跡座標との相対関係を分析する。具体的には、制御部２１は、ホームポジション２４ａを基点とした追跡箇所の状態変化を検出することによって、追跡箇所の動きを分析できる。追跡箇所の状態変化とは、例えば、追跡箇所の移動量、移動速度、移動方向、及び静止時間の組み合わせである。
【００６２】
追跡箇所が選択可能部位に対応する位置にあるときに、所定のジェスチャが検出されなければ（Ｓ５０５でＮｏ）、センサ１による追跡箇所の動きの取得を継続する（Ｓ５０１）。
【００６３】
追跡箇所が選択可能部位に対応する位置にあるときに、所定のジェスチャが検出されれば（Ｓ５０５でＹｅｓ）、制御部２１は、ジェスチャ入力を受け付けて、選択可能部位に割り当てられた機能を実行させるように制御対象４を制御する（Ｓ５０６）。
【００６４】
さらに、触感提示装置３は、制御部２１の指示に応じて、触感提示箇所に触感を非接触で通知し、これにより、ジェスチャ入力が受け付けられて、選択可能部位に割り当てられた機能が実行されたことをユーザに示す（Ｓ５０７）。
【００６５】
選択可能部位に対応する位置に追跡箇所が来たときにユーザに提示される触感（Ｓ５０４）と、ジェスチャ入力を受け付けたとき、及び／又は、選択可能部位に割り当てられた機能を実行するときにユーザに提示される触感（Ｓ５０７）とは異なってもよい。例えば、それらの触感は、圧力の強弱や異なる振動によって区別されてもよい。選択可能部位に対応する位置に追跡箇所があるときにユーザに提示される触感（Ｓ５０４）と、ジェスチャ入力を受け付けたとき、及び／又は、選択可能部位に割り当てられた機能を実行するときにユーザに提示される触感（Ｓ５０７）とは、ホームポジションの設定時の触感（Ｓ２０６）と同一であってもよいし、異なってもよい。選択可能部位に対応する位置に追跡箇所があるときの触感提示箇所と、ジェスチャ入力を受け付けたとき、及び／又は、選択可能部位に割り当てられた機能を実行するときの触感提示箇所とは、ホームポジションの設定を通知したときの触感提示箇所と同じであってもよく、異なっていてもよい。
【００６６】
［６．効果及び補足］
本実施形態のジェスチャ入力システム１００によれば、所定の入力を受け付ける領域である選択可能部位の仮想空間での座標を、ユーザが存在する実座標と対応づける。これにより、ユーザは、実空間でのジェスチャ入力によって、仮想空間内の選択可能部位を選択することができる。そのため、ユーザは、センサ１の検出範囲内であれば、任意の位置での入力が可能となる。ユーザは、タッチパネルなどの入力部に手で触れることなく、素早く入力を行うことができる。さらに、本実施形態のジェスチャ入力システム１００によれば、ホームポジションが設定されたこと、及び、選択可能部位が選択されていることが、ユーザに非接触で通知される。そのため、ユーザは、表示部を注視しなくても、ホームポジションの位置を認識でき、選択可能部位が選択されていることを認識できる。このように、ユーザは、表示部を注視しなくても正しく選択可能部位を選択することができる。その結果、ユーザは、精度良く且つ素早く入力を行うことができ、入力操作の利便性が向上する。ユーザは、例えば、視覚及び聴覚に頼ることなく、ホームポジションを設定し、その位置を認識することができる。そのため、ユーザは、ホームポジションを基点としたジャスチャ入力を直感的に実施できる。
【００６７】
本実施形態のジェスチャ入力システム１００によれば、ホームポジションを触感によって非接触で提示することができる。そのため、ユーザは、視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジションを認識することができる。よって、例えば、ユーザは、表示部に注視できない状況であっても、触覚を頼りにして、所望の入力操作を素早くかつ精度良く行うことができる。また、例えば、ユーザは、音声提示に傾聴できない状況であっても、触感を頼りにして所望の入力操作を素早くかつ精度良く行うことができる。本実施形態のジェスチャ入力システム１００によれば、メカニカルに構成されたボタン類などの物体に拘束されずに、所望の機能を実行することができる。
【００６８】
なお、座標対応付けテーブル２４の代わりに、ローカル座標マップ２３内の選択可能部位２３ｂのローカル座標と実空間のグローバル座標とを対応付ける関数が使用されてもよい。関数は、予め記憶部２２に格納されていてもよいし、ホームポジション２４ａが設定されたときに生成されてもよい。また、関数は、追跡箇所の移動速度に応じて、グローバル座標とローカル座標との対応関係が変化するようなものであってもよい。関数は、例えば、ホームポジション２４ａからの追跡箇所の移動距離と移動速度に基づく関数であってもよい。例えば、選択可能部位２３ｂ（Ａ〜Ｅ）のグローバル座標Ｘｉ（ｉ＝２〜６）は、次の関数で表されてもよい。
Ｘｉ＝Ｘ１＋ｄ×（ｉ−１）／ｖ×α
ただし、Ｘ１は、設定された実空間のホームポジション２４ａのＸ座標を表し、ｄは、仮想空間におけるホームポジション２３ａとその隣の選択可能部位２３ｂ（例えば選択可能部位Ａ）との間の距離、及び、互いに隣り合う選択可能部位間の距離を表し、ｖは、追跡箇所の移動速度を表し、αは、任意に設定する係数を表す。
【００６９】
本実施形態では、センサ１が、ユーザの身体の一部の動きを検出して、参照座標、追跡座標、及び触感提示座標をそれぞれ取得する例について説明した。しかし、制御部２１が、センサ１から取得した情報を解析して、参照座標、追跡座標、及び触感提示座標を算出してもよい。例えば、センサ１が、参照箇所、追跡箇所、及び触感提示箇所の全てを含む領域の距離画像を出力してもよい。この場合、入力制御装置２（例えば制御部２１）が、その距離画像を解析して、それにより、参照座標、追跡座標、及び触感提示座標を取得してもよい。
【００７０】
ジェスチャ入力システム１００は、ユーザが、ホームポジションの設定（Ｓ２０３）の判断基準となる参照箇所の動きと、ジェスチャ入力（Ｓ５０５）の判断基準となる追跡箇所の動きとを自由に設定できるように構成されていてもよい。また、ジェスチャ入力システム１００は、ユーザが、参照箇所、追跡箇所、及び触感提示箇所を予め設定できるように構成されていてもよい。
【００７１】
本実施形態においては、触感提示装置３として超音波の音響放射圧を利用したが、触感提示装置３は、これに限定されず、例えば、空気の流れを利用してもよいし、赤外線を利用してもよい。例えば、触感提示装置３は、赤外線を用いることにより、非接触で身体に温感を提示することが可能である。また、ユーザへの通知は、非接触でユーザに通知するものであればよく、触感以外のものを使用してもよい。例えば、音声や光を使用してもよい。
【００７２】
（第２実施形態）
本実施形態のジェスチャ入力システム１００は、ユーザが選択可能部位の少なくとも１つを選択できないような位置にホームポジション２４ａが設定されているときに、ホームポジション２４ａの移動をユーザに促す。これにより、ジェスチャ入力システム１００は、ユーザが全ての選択可能部位を選択できるような位置にホームポジション２４ａを再設定することができる。図６は、第２実施形態のジェスチャ入力方法を示す。図６の各ステップは、図２のフローと図５のフローの間、すなわち、座標対応付けテーブル２４を生成した（Ｓ２０８）後、追跡箇所の動きを追跡する（Ｓ５０１）前に行われる。
【００７３】
入力制御装置２の制御部２１は、座標対応付けテーブル２４を参照して、全ての選択可能部位が、センサ１の検出範囲内にあるか否かを判断する（Ｓ６０１）。センサ１の検出範囲は、予め記憶部２２に格納されていてもよいし、センサ１から取得されてもよい。制御部２１は、選択可能部位の少なくとも１つが検出範囲外にあると判断した場合（Ｓ６０１でＮｏ）、全ての選択可能部位がセンサ１の検出範囲内に入るようなホームポジションの推奨位置を計算する（Ｓ６０２）。例えば、現在のホームポジション２４ａと、ローカル座標マップ２３と、選択可能部位２３ｂのローカル座標に対応するグローバル座標を決めるための情報（例えば関数）と、に基づいて、全ての選択可能部位がセンサ１の検出範囲内に入り、かつ、現在のホームポジション２４ａから最も近い推奨位置を計算する。制御部２１は、現在のホームポジション２４ａの位置から推奨位置までの距離と方向を算出する。図７の左上及び右上図は、それぞれ、ホームポジション２４ａを変更する前における、センサ１の検出範囲及び選択可能範囲２３ｃを示す。図７の左下図及び右下図は、それぞれ、ホームポジション２４ａを変更した後における、センサ１の検出範囲及び選択可能範囲２３ｃを示す。例えば、最初に設定されたホームポジション２４ａの位置が、図７の左上図に示されるように、センサ１の検出範囲の右端に近い場合、追跡箇所がセンサ１の検出範囲で動いたときに選択できる選択可能部位は、図７の右上図に示されるように、選択可能範囲２３ｃに限られる。すなわち、ユーザは、選択可能範囲２３ｃ外の選択可能部位を選択できない。この場合、制御部２１は、図７の右下図に示されるように、全ての選択可能部位が選択可能範囲２３ｃ内にあるようなホームポジション２４ａの推奨位置を計算する。例えば、制御部２１は、ホームポジション２４ａを、それが最初に設定されている位置から左側方向にどれだけ移動させればよいかを算出する。
【００７４】
触感提示装置３は、制御部２１の指示に応じて、触感提示箇所に触感を提示し、これにより、追跡箇所を移動させるべき方向を示す（Ｓ６０３）。例えば、触感提示装置３は、触感提示箇所に提示されている触感を右側から左側の方向に動かし、これによって、追跡箇所を左側方向に移動させるように誘導する。これにより、追跡箇所を推奨位置まで動かすように、ユーザを誘導する。センサ１は、制御部２１の指示に応じて追跡箇所を追跡し、入力制御装置２は、センサ１の出力に基づいて、追跡箇所がホームポジションの推奨位置まで移動したかどうかを判断する（Ｓ６０４）。追跡箇所がホームポジションの推奨位置に達していなければ（Ｓ６０４でＮｏ）、追跡箇所がホームポジションの推奨位置に達するまで、触感提示装置３により触感提示を継続する（Ｓ６０３）。入力制御装置２は、追跡箇所がホームポジションの推奨位置に達したと判断すると（Ｓ６０４でＹｅｓ）、その推奨位置をホームポジション２４ａとして再設定する（Ｓ６０５）。触感提示装置３は、制御部２１の指示に応じて、触感提示箇所に触感を提示し、これによって、ホームポジション２４ａが再設定されたことをユーザに示す（Ｓ６０６）、入力制御装置２の制御部２１は、再設定されたホームポジションに基づいて、座標対応付けテーブル２４を作成し直す（Ｓ６０７）。
【００７５】
これにより、最初に設定されたホームポジション２４ａが適切な場所でなかった場合であっても、ユーザは、ジェスチャ入力システム１００の誘導に従って追跡箇所を動かすことにより、適切な場所にホームポジション２４ａを再設定することができる。
【００７６】
（第３実施形態）
図８に、本開示の第３実施形態のジェスチャ入力システム１００の構成を示す。本実施形態のジェスチャ入力システム１００は、選択可能部位２３ｂの画像を表示する表示装置５を備える。表示装置５は、ジェスチャ入力を視覚的に補助する。表示装置５は、例えば、ヘッドアップディスプレイ（ＨＵＤ）である。図９に、表示装置５の画面の表示例を示す。表示装置５は、選択可能部位を示すマップ画像５１ａを表示する。マップ画像５１ａは、ローカル座標マップ２３に対応して、選択可能部位２３ｂの相対的な位置をアイコン５２によって表す。
【００７７】
図１０〜図１２に、本実施形態におけるジェスチャ入力方法を示す。図１０は、図２のフローに、選択可能部位の画像の表示に関するステップＳ１００１を追加したものである。図１０において、ステップＳ１００１以外の各ステップは、図２と同一である。本実施形態のジェスチャ入力システム１００は、座標対応付けテーブル２４を生成すると（Ｓ２０８）、図９に示すようなマップ画像５１ａを表示装置５に表示する（Ｓ１００１）。
【００７８】
図１１は、図５のフローに、選択可能部位の画像の表示に関するステップＳ１１０１〜Ｓ１１０３を追加したものである。入力制御装置２の制御部２１は、追跡箇所が選択可能部位に対応する位置にあると判断すると（Ｓ５０３でＹｅｓ）、触感提示装置３を介して触感提示箇所に触感を提示し、（Ｓ５０４）、かつ、表示装置５を介してユーザに所定の視覚効果を提示し（Ｓ１１０１）、触感と視覚によって選択可能部位が選択されていることをユーザに示す。例えば、図９に示すように、選択されているアイコン５２に、視覚効果５３を追加する。これにより、ユーザは、選択可能部位が選択されていることを認識できる。視覚効果５３は、選択可能部位の選択／非選択が区別できるものであればよい。例えば、視覚効果５３は、選択されているアイコン５２を大きくするような表示であってもよいし、アイコン５２を揺らすような表示であってもよい。あるいは、視覚効果５３は、アイコン５２の形状を変えるような表示であってもよいし、アイコン５２の色を変えるような表示であってもよい。このように、本実施形態のジェスチャ入力システム１００は、触感と視覚の両方によって、選択可能部位が選択されていることをユーザに通知する。
【００７９】
また、追跡箇所が選択可能部位に対応する位置にあるときに、所定のジェスチャが検出されれば（Ｓ５０５でＹｅｓ）、入力制御装置２の制御部２１は、触感提示装置３を介して触感提示箇所に触感を提示し（Ｓ５０７）かつ、表示装置５を介してユーザに所定の視覚効果を提示し（Ｓ１１０２）、これらによって、選択可能部位に割り当てられた機能が実行されたことをユーザに通知する。例えば、視覚効果は、アイコン５２を点滅させるような表示であってもよい。選択可能部位が選択されていること示す視覚効果（Ｓ１１０１）と、機能が実行されたことを示す視覚効果（Ｓ１１０２）とは、互いに異なってもよい。
【００８０】
追跡箇所を追跡し始めてから所定時間経過すると（Ｓ５０２でＹｅｓ）、ジェスチャ入力の待ち受け状態が解除され、マップ画像５１ａが消去される（Ｓ１１０３）。
【００８１】
図１２は、図６のフローに、選択可能部位の画像の表示に関するステップＳ１２０１を追加したものである。入力制御装置２の制御部２１は、ホームポジションを再設定したとき（Ｓ６０５）、再設定されたホームポジションの位置に応じて、表示装置５におけるマップ画像の表示位置を変更する。例えば、図９において、ホームポジションの位置が左側の方向へ変更されたとき、マップ画像５１ｂがマップ画像５１ａに変更され、これにより、マップ画像の表示位置が左側に移動する。
【００８２】
このように、本実施形態のジェスチャ入力システム１００は、表示装置５を介して触感提示の補助として選択可能部位の画像を表示する。これにより、ユーザは、より精度良く操作を行うことが可能になる。なお、ジェスチャ入力システム１００は、触感によってユーザに種々の情報を通知できるため、ユーザは、表示装置５のマップ画像５１ａを注視しなくても、所望の入力を行うことができる。
【００８３】
なお、ジェスチャ入力システム１００は、表示装置５による画像表示に代えて又は加えて、制御対象４自体に視覚効果を付与してもよい。例えば、制御対象４がオーディオ装置である場合は、オーディオ装置のボリューム調整のボタンを光らせてもよい。
【００８４】
（第４実施形態）
本実施形態では、ジェスチャ入力システム１００及びその制御対象４が自動車に備え付けられている場合の例について説明する。図１３に、ジェスチャ入力システム１００が、ステアリングホイール６を備えた自動車に搭載された例を示す。
【００８５】
センサ１は、例えば、「ＴＯＦ（Time of Flight）」という方式を採用したセンサであってもよい。このセンサは、ユーザの身体に赤外線を投光してからそれが反射して戻ってくるまでの時間に基づいて、深度情報を取得し、これにより、ユーザの動きを３次元的に検出する。このセンサ１は、運転者の手の動きを検出するために、例えば、運転席正面のフロントガラスの下に設置される。センサ１は、ステアリングホイール６から所定範囲内のユーザの身体の動きを検出する。例えば、センサ１は、運転者がステアリングホイール６を握った状態で指を立てたときの指先の位置情報を取得できる位置に設置される。
【００８６】
触感提示装置３は、超音波の音響放射圧を利用する超音波振動子アレイを含む。例えば、超音波振動子アレイでは、駆動周波数４０ｋＨｚの２４９個の超音波振動子が格子状に並べられている。触感提示装置３は、超音波振動子をそれぞれ個別に駆動することにより、空中の任意の位置に超音波の焦点を作り出す。これにより、ひとつひとつの超音波振動子では出力できない大きさの音圧を焦点スポットに形成することができる。例えば、単体で駆動した場合に測定距離３００ｍｍで１２０ｄＢ未満の出力を示す超音波振動子を２４９個準備し、これらの超音波振動子を、出力が３００ｍｍの場所に焦点を成すように格子状に並べる。この場合、焦点スポットで１５９ｄＢの音圧レベルが得られうる。超音波の焦点では、音響放射圧という静的な圧力が発生し、この静的な圧力が身体の表面で遮られることにより、身体表面を押す力が発生する。これにより、非接触で身体に圧力を提示させることができる。さらに、超音波振動子を間欠的に駆動させることにより、音響放射圧を時間的に変化させて、ユーザに振動を提示することができる。例えば、超音波振動子に２００Ｈｚ矩形波の振幅変調を掛けて駆動させることにより、ユーザに振動を提示できる。超音波振動子アレイは、ステアリングホイール６を操作する運転者の指先に触感を提示するために、ステアリングコラムの上面に設置される。
【００８７】
自動車のエンジンが駆動されたときに、ジェスチャ入力システム１００は起動する。これによりセンサ１が運転者の動きを取得し始める。本実施形態では、運転者の右手の指先を参照箇所として検出する。本実施形態では、ユーザがホームポジションを設定したい意思を表すために行う動きとして、参照箇所である右手の指先が自動車のステアリングホイールから５０ｍｍ離れた面７を横切る動きが、予め設定されている。これにより、運転者は、運転中でも、ステアリングホイール６を握ったまま右手の指１本を立てることで、ホームポジションを設定したい意思を示すことができる。
【００８８】
制御部２１は、右手人差し指の指先が自動車のステアリングホイール６から５０ｍｍ離れた面７を横切ったことを、センサ１を介して検出したときに、その右手人差し指の指先の位置（例えば座標）をホームポジション２４ａとして設定し、その位置を触感提示箇所及び追跡箇所として設定する。
【００８９】
制御部２１は、ホームポジション２４ａを設定したことを運転者に通知するために、ホームポジション２４ａに設定された指先に、触感提示装置３からの超音波の焦点を合わせる。このとき、触感提示装置３は、超音波に２００Ｈｚの振幅変調をかける。これにより、運転者は振動を感じることができる。よって、運転者は、視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジションが設定されたことと、そのホームポジションの位置を触感で認識することができる。
【００９０】
入力制御装置２は、例えば、図３の上図に示すようなローカル座標マップ２３を記憶部２２に予め格納しておく。又は、入力制御装置２は、ホームポジション２４ａを設定したときに、ローカル座標マップ２３を生成して記憶部２２に格納する。このとき、配列された選択可能部位２３ｂには、例えば、自動車に備え付けられたエアコンのＯＮ／ＯＦＦを切り替えるための、及び／又は、エアコンからの風の吹き出し位置を設定するための機能が割り当てられる。入力制御装置２は、ホームポジション２４ａが設定された後、設定されたホームポジション２４ａに基づいて、座標対応付けテーブル２４を生成する。例えば、ローカル座標マップ２３のローカル座標を、実空間での追跡座標のＸ方向のみの動きと対応するように設定する。これにより、実空間における追跡箇所のＹ方向及びＺ方向の動きは無視され、実空間における追跡箇所のＸ方向の動きのみが、選択可能部位の選択の際の動きとして、利用される。
【００９１】
右手指の１本の指先が追跡箇所である場合、センサ１は、その指先の動きを追跡し、指先の座標を取得する。入力制御装置２は、座標対応付けテーブル２４を参照して、指先の座標がローカル座標マップ２３内のどの位置に対応するかを算出する。指先が選択可能部位２３ｂに対応する位置に到達したとき、入力制御装置２は、選択可能部位２３ｂが選択されたと判断する。そして、触感提示装置３は、指先に触感を提示し、これによって、選択可能部位２３ｂが選択されていることを運転者に通知する。例えば、ユーザが、選択可能部位２３ｂが選択されている状態で、所定のジェスチャ、例えば、指先を曲げてから伸ばす動作を行ったとき、入力制御装置２は、選択可能部位２３ｂに割り付けられた機能を実行する。加えて、触感提示装置３は、指先に触感を提示し、その機能が実行されたことをユーザに通知する。選択可能部位２３ｂが選択されていることを示すための触感と、入力指示を受け付けたことを示すための触感とは、互いに異なってもよい。例えば、それらの触感は、超音波の変調周波数を変化させることによって、異なっていてもよい。又は、触感提示装置３は、触感提示を間欠的に行ってもよい。追跡箇所が選択可能部位に対応する位置にない状態が所定時間続いたとき、入力制御装置２は、運転者が操作の意思を示していないと判断してもよく、ジェスチャ入力の待ち受け状態を解除して、参照箇所を監視する動きに戻ってもよい。
【００９２】
この一連のステップにより、ユーザは、視覚、聴覚、及び固体を通した触覚に頼ることなく、ジェスチャ入力を素早くかつ精度良く行うことができる。本実施形態のジェスチャ入力システム１００によれば、ユーザは、ステアリングホイール６から５０ｍｍ離れた面７内であればどこでもホームポジション２４ａを設定したい意思を示すことができる。そのため、運転者は、運転中に、例えば、ステアリングホイール６を握ったままで右手の指１本を立てて、ジェスチャ入力システム１００にホームポジション２４ａを設定させることができる。また、ジェスチャ入力システム１００は、ホームポジション２４ａの設定及びジェスチャ入力の受け付けを、触感によってユーザに提示するため、ユーザは、自動車を運転しているときであっても、表示装置を注視する必要はない。そのため、ユーザ（すなわち運転者）は、運転への集中を低下させることなく、入力操作ができる。このように、本実施形態によれば、操作位置を探る動作や大きな視線移動を伴わずに、直感的に入力操作を実行できる。
【００９３】
なお、ステアリングホイール６の操舵角Ａが所定角度より大きいとき、入力制御装置２は、参照箇所及び追跡箇所の動きに基づく制御（例えば、ホームポジション２４ａを設定するための制御）を中断してもよい。あるいは、ステアリングホイール６の操舵角Ａが所定角度より大きいとき、入力制御装置２は、既に設定されているホームポジション２４ａを解除してもよい。これらの中断又は解除により、例えば、自動車がカーブを曲がっているときには、ユーザがジェスチャ入力を行わないようにさせることができ、安全な運転を行わせることが可能となる。
【００９４】
（実施形態の概要）
（１）本開示のジェスチャ入力システムは、ユーザの身体の一部である参照箇所の動きと、ユーザの身体の一部である追跡箇所の動きとを検出するセンサと、センサによって検出された参照箇所の動きに基づいて実空間内の基点を設定し、設定した基点を基準とした追跡箇所の動きに基づいて入力を受け付ける、入力制御装置と、入力制御装置で受け付ける入力に応じて、ユーザの身体の一部である通知箇所に所定の情報を非接触で通知する通知装置と、を備え、入力制御装置は、基点に基づき、実座標と、所定の入力を受け付ける領域である少なくとも１つの選択可能部位を含む仮想座標との対応付けを示す対応情報を生成し、対応情報を参照して、センサによって検出された実空間での追跡箇所の動きを仮想空間内の選択可能部位に対する操作に対応づけ、選択可能部位に対する操作に基づき所定の入力を受け付ける。
【００９５】
このように、選択可能部位の仮想座標と実座標との対応付けを行うことで、身体の動きに基づいた入力の受け付けを可能にするため、ユーザは、例えば、タッチパネルなどの入力部に触れなくても、入力をすることができる。よって、素早い入力が可能となる。また、受け付ける入力に応じて、通知箇所に所定の情報を非接触で通知するため、ユーザは、例えば、表示部を注視しなくても精度良く入力をすることができる。
【００９６】
（２）（１）のジェスチャ入力システムにおいて、入力制御装置は、対応情報を参照して、センサによって検出された追跡箇所が選択可能部位に対応する位置にあるか否かを判断し、追跡箇所が選択可能部位に対応する位置にあるときに、センサによって追跡箇所の所定の動きが検出されると、選択可能部位に対応する所定の入力を受け付けてもよい。
【００９７】
これにより、ユーザは、実空間での操作によって、選択可能部位に対応する所定の入力を実行できるため、素早い入力が可能となる。
【００９８】
（３）（２）のジェスチャ入力システムにおいて、通知装置は、入力制御装置によって基点が設定されたこと、及びセンサによって検出された追跡箇所が選択可能部位に対応する位置にあることを、通知箇所に非接触で通知してもよい。
【００９９】
これにより、ユーザは、例えば、表示部を注視しなくても精度良く入力をすることができる。
【０１００】
（４）（１）から（３）のいずれかのジェスチャ入力システムにおいて、入力制御装置は、参照箇所が所定の動きをしたときの追跡箇所の実座標を基点として設定してもよい。
【０１０１】
これにより、ユーザは、基点からの身体の動きによるジャスチャ入力を直感的にできる。
【０１０２】
（５）（１）から（４）のいずれかのジェスチャ入力システムにおいて、入力制御装置は、基点を設定したときに、基点に基づいて、選択可能部位の仮想座標を決定してもよい。
【０１０３】
これにより、設定した基点の位置に応じて、選択可能部位を配置できる。
【０１０４】
（６）（１）から（５）のいずれかのジェスチャ入力システムにおいて、対応情報は、実座標と選択可能部位の仮想座標とを対応付けるテーブル又は関数であってもよい。
【０１０５】
これにより、実空間でジェスチャ入力を行うことによって、仮想空間の選択可能部位を選択できる。
【０１０６】
（７）（１）から（６）のいずれかのジェスチャ入力システムにおいて、入力制御装置は、追跡箇所の移動速度に応じて、実座標と選択可能部位の仮想座標との対応付けを変更してもよい。
【０１０７】
これにより、ジェスチャ入力時の操作性が良くなる。
【０１０８】
（８）（１）から（７）のいずれかのジェスチャ入力システムにおいて、入力制御装置は、設定した基点に基づいて、仮想空間の全ての選択可能部位の座標をセンサの検出範囲内で検出できる追跡箇所の実座標と対応付けることができるかどうかを判断し、仮想空間の全ての選択可能部位の座標をセンサの検出範囲内で検出できる追跡箇所の実座標と対応付けることができない場合、仮想空間の全ての選択可能部位の座標とセンサの検出範囲内で検出できる追跡箇所の実座標とを対応付けることが可能な基点の推奨位置を算出し、通知装置は、追跡箇所が基点の推奨位置に到達するまで、基点の推奨位置への方向を非接触で通知箇所に通知し、追跡箇所が基点の推奨位置に到達すると、入力制御装置は、基点の推奨位置を基点として再設定してもよい。
【０１０９】
これにより、全ての選択可能部位が選択可能になるため、ジェスチャ入力時の操作性が良くなる。
【０１１０】
（９）（１）から（８）のいずれかのジェスチャ入力システムにおいて、追跡箇所が選択可能部位に対応する位置にない時間が所定時間を越えたときは、基点の設定を取り消してもよい。
【０１１１】
これにより、誤って基点が設定されたときなどに、基点の設定を解除することができる。
【０１１２】
（１０）（１）から（９）のいずれかのジェスチャ入力システムにおいて、参照箇所、追跡箇所、及び通知箇所のうちの少なくとも２つが同一であってもよい。
【０１１３】
これにより、ユーザは、基点の設定及び基点からの身体の動きによるジャスチャ入力を直感的にできる。
【０１１４】
（１１）（１）から（１０）のいずれかのジェスチャ入力システムにおいて、通知装置は、選択可能部位に対する操作に基づき所定の入力を受け付けたことを、ユーザの身体の一部に通知してもよい。
【０１１５】
これにより、ユーザは、ジェスチャ入力に基づいた制御が実行されることを実感できる。
【０１１６】
（１２）（１）から（１１）のいずれかのジェスチャ入力システムにおいて、基点が設定されている間、選択可能部位を視覚的に表す表示装置をさらに備えてもよい。
【０１１７】
これにより、ユーザは、より正確にジェスチャ入力を行うことが可能になる。
【０１１８】
（１３）（１２）のジェスチャ入力システムにおいて、追跡箇所が選択可能部位に対応する位置にあるときに、表示装置は、選択可能部位が選択されていることを示す視覚効果を追加してもよい。
【０１１９】
これにより、ユーザは、より精度良くジェスチャ入力を行うことが可能になる。
【０１２０】
（１４）（１２）又は（１３）のジェスチャ入力システムにおいて、所定の入力を受け付けたときに、表示装置は、所定の入力を受け付けたことを示す視覚効果を追加してもよい。
【０１２１】
これにより、ユーザは、より精度良くジェスチャ入力を行うことが可能になる。
【０１２２】
（１５）（１２）から（１４）のいずれかのジェスチャ入力システムにおいて、表示装置は、選択可能部位を基点に基づく位置に表示してもよい。
【０１２３】
これにより、ユーザは、仮想空間に設定された選択可能部位の実空間での相対的な位置を把握できる。
【０１２４】
（１６）（１）から（１５）のいずれかのジェスチャ入力システムにおいて、通知装置は、触感を提示することによって、通知を行ってもよい。
【０１２５】
これにより、ユーザは、触感を頼りにして、所望の入力操作を精度良く行うことが可能になる。
【０１２６】
（１７）（１６）のジェスチャ入力システムにおいて、通知装置は、複数の超音波振動子を含み、超音波振動子によって出力される音響放射圧によって、通知を行ってもよい。
【０１２７】
これにより、ユーザは、触感を頼りにして、所望の入力操作を精度良く行うことが可能になる。
【０１２８】
（１８）（１）から（１７）のいずれかのジェスチャ入力システムは、ステアリングホイールを備えた自動車に搭載され、センサは、ステアリングホイールから所定範囲内のユーザの身体の動きを検出してもよい。
【０１２９】
これにより、ユーザは運転中であっても、ステアリングホイールから手を離さずに、入力をすることができる。
【０１３０】
（１９）（１８）のジェスチャ入力システムにおいて、ステアリングホイールの操舵角が所定角度より大きいとき、入力制御装置は、センサによって検出された参照箇所及び追跡箇所の動きに基づく制御を中断してもよい。
【０１３１】
これにより、例えば、自動車がカーブを曲がっているときは、ジェスチャ入力を行えなくなるため、運転中の安全性が高まる。
【０１３２】
（２０）本開示のジェスチャ入力方法は、ユーザの身体の一部である参照箇所の動きを検出するステップと、検出された参照箇所の動きに基づいて実空間内の基点を設定するステップと、ユーザの身体の一部である追跡箇所の動きを検出するステップと、設定した基点を基準とした追跡箇所の動きに基づいて入力を受け付けるステップと、受け付ける入力に応じて、ユーザの身体の一部である通知箇所に所定の情報を非接触で通知するステップと、を含み、基点を基準とした追跡箇所の動きに基づいて入力を受け付けるステップにおいて、基点に基づき、実座標と、所定の入力を受け付ける領域である少なくとも１つの選択可能部位を含む仮想座標との対応付けを示す対応情報を生成し、対応情報を参照して、検出された実空間での追跡箇所の動きを仮想空間内の選択可能部位に対する操作に対応づけ、選択可能部位に対する操作に基づき所定の入力を受け付ける。
【０１３３】
このように、選択可能部位の仮想座標と実座標との対応付けを行うことで、身体の動きに基づいた入力の受け付けを可能にするため、ユーザは、例えば、タッチパネルなどの入力部に触れなくても、入力をすることができる。よって、素早い入力が可能となる。また、受け付ける入力に応じて、通知箇所に所定の情報を非接触で通知するため、ユーザは、例えば、表示部を注視しなくても精度良く入力をすることができる。
【０１３４】
本開示の全請求項に記載のジェスチャ入力システム及びジェスチャ入力方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
【産業上の利用可能性】
【０１３５】
本開示のジェスチャ入力システムは、例えば、自動車に搭載されるナビゲーション装置、空調装置、及びオーディオ装置の入力制御手段として、有用である。
【符号の説明】
【０１３６】
１      センサ
２      入力制御装置
３      触感提示装置
４      制御対象
５      表示装置
２１    制御部
２２    記憶部
２３    ローカル座標マップ
２４    座標対応付けテーブル
１００  ジェスチャ入力システム
【図１】
0006788871.tif 000002
【図２】
0006788871.tif 000003
【図３】
0006788871.tif 000004
【図４】
0006788871.tif 000005
【図５】
0006788871.tif 000006
【図６】
0006788871.tif 000007
【図７】
0006788871.tif 000008
【図８】
0006788871.tif 000009
【図９】
0006788871.tif 000010
【図１０】
0006788871.tif 000011
【図１１】
0006788871.tif 000012
【図１２】
0006788871.tif 000013
【図１３】
0006788871.tif 000014