(57)【特許請求の範囲】
【請求項１】
ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、
前記センサが前記第一の部分の所定の動きを検出した時点における前記第二の部分の位置を基点として設定し、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付ける制御器と、
前記時点における前記第二の部分の位置に前記基点が設定されたことを前記身体の第二の部分に非接触で通知する通知装置と、を備え、
前記通知装置は、前記基点の位置で前記第二の部分の皮膚感覚を刺激することによって、前記基点が設定されたことを通知する
ジェスチャ入力システム。
【請求項２】
前記通知装置は、超音波振動子、レーザー、ペルチェ素子、空気砲、及び、赤外線源からなる群から選択される少なくとも１つを含む、
請求項１に記載のジェスチャ入力システム。
【請求項３】
前記通知装置は、前記第二の部分に音響放射圧を与える複数の超音波振動子を含む、
請求項１に記載のジェスチャ入力システム。
【請求項４】
前記第一の部分及び前記第二の部分は、前記身体のうち同じ部分である、
請求項１から３のいずれか一項に記載のジェスチャ入力システム。
【請求項５】
前記通知装置は、さらに、前記所定の入力が受け付けられたことを前記第二の部分に非接触で通知する、
請求項１から４のいずれか一項に記載のジェスチャ入力システム。
【請求項６】
前記制御器は、さらに、前記第二の部分の動きに応じて、前記基点を再設定する、
請求項１から５のいずれか一項に記載のジェスチャ入力システム。
【請求項７】
前記制御器は、前記第一の部分及び前記第二の部分のそれぞれの位置情報として、実空間における座標を取得する、
請求項１から６のいずれか一項に記載のジェスチャ入力システム。
【請求項８】
ユーザの身体の第一の部分の所定の動きを検出した時点における前記身体の第二の部分の位置を基点として設定するステップと、
前記時点における前記第二の位置に前記基点が設定されたことを、前記身体の第二の部分に非接触で通知するステップと、
前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付けるステップと、を含み、
前記通知するステップにおいて、前記基点の位置で前記第二の部分の皮膚感覚を刺激することによって、前記基点が設定されたことを通知する、
ジェスチャ入力方法。
【請求項９】
前記第一の部分及び前記第二の部分は、前記身体のうち同じ部分である、
請求項８に記載のジェスチャ入力方法。
【請求項１０】
前記所定の入力が受け付けられたことを前記第二の部分に非接触で通知するステップをさらに含む、
請求項８又は９に記載のジェスチャ入力方法。
【請求項１１】
前記第二の部分の動きに応じて、前記基点を再設定するステップをさらに含む、
請求項８から１０のいずれか一項に記載のジェスチャ入力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ユーザの動きに応じて入力を受け付けるジェスチャ入力システム及びジェスチャ入力方法に関する。
【背景技術】
【０００２】
特許文献１、２には、ユーザからの入力を受け付ける従来のシステムが開示されている。このシステムは、運転者の手元に設けられた複数のスイッチを含む入力部と、入力部を撮像する撮像部と、運転者の視線の前方に設けられた表示部と、を備える。表示部は、入力部の複数のスイッチの画像と、運転者の手の画像とを重ねて表示する。このシステムにより、ユーザは、視線の前方の表示部を見ることによって、手元の入力部を見なくても正しい入力ができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−６６８７号公報
【特許文献２】特開２００７−６９６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、ユーザの利便性を向上したジェスチャ入力システム及びジェスチャ入力方法を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様のジェスチャ入力システムは、ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて前記第二の部分の基点を設定し、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付ける制御器と、前記基点が設定されたことを前記身体の第三の部分に非接触で通知する通知装置と、を備える。
【０００６】
これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。
【発明の効果】
【０００７】
本開示のジェスチャ入力システム及びジェスチャ入力方法によれば、ユーザが入力を行うために要する動作が簡素化され、ユーザの利便性が向上する。
【図面の簡単な説明】
【０００８】
【図１】図１は、第１実施形態のジェスチャ入力システムの構成を示すブロック図である。
【図２】図２は、第１実施形態のジェスチャ入力方法のフローチャートである。
【図３】図３は、第１実施形態において、ホームポジションが設定される際の実空間に想定される平面の一例を示す模式図である。
【図４】図４は、第１実施形態における、仮想空間と実空間の対応付けの一例を示す模式図である。
【図５】図５は、第２実施形態における、ジェスチャ入力方法の一例を示すフローチャートである。
【図６】図６は、第２実施形態における、ジェスチャ入力方法の他の例を示すフローチャートである。
【図７】図７は、第３実施形態における、仮想空間と実空間の対応付けの一例を示す模式図である。
【発明を実施するための形態】
【０００９】
本開示の一態様に係るジェスチャ入力システムは、ユーザの身体の第一の部分及び第二の部分の動きを検出するセンサと、前記第一の部分の動きに応じて前記第二の部分の基点を設定し、前記基点に対する前記第二の部分の動きに応じて所定の入力を受け付ける制御器と、前記基点が設定されたことを前記身体の第三の部分に非接触で通知する通知装置と、を備える。
【００１０】
「第二の部分」は、所定の入力を行う操作に対応付けられた所定のジェスチャを読み取るために検出される、身体の一部である。「第一の部分」は、第二の部分の基点を設定する操作に対応付けられた所定のジェスチャを読み取るために検出される、身体の一部である。「第三の部分」は、基点が設定されたことが通知される、身体の一部である。
【００１１】
「動きを検出する」とは、例えば、検出対象の移動量、移動速度、移動方向、及び静止時間からなる群から選択される少なくとも１つを検出することを意味する。「動きを検出する」は、検出対象が動いていることを検出することのみならず、検出対象が動いていないことを検出することをも包含する。
【００１２】
以下の種々の実施形態で説明される「参照箇所」、「追跡箇所」、「通知箇所（又は触感提示箇所）」は、それぞれ、「第一の部分」、「第二の部分」、及び「第三の部分」の一例である。
【００１３】
以下の種々の実施形態で説明される「ホームポジション」は、「基点」の一例である。
【００１４】
以下の種々の実施形態で説明される「入力制御装置」は、「制御器」の一例である。制御器は、例えば、半導体装置、半導体集積回路（ＩＣ）、ＬＳＩ（large scale integration）、または、それらが組み合わされた電子回路であってもよい。ＬＳＩまたはＩＣは、１つのチップに集積されていてもよいし、複数のチップが組み合わされていてもよい。例えば、実施形態で説明される各機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩやＩＣは、集積の度合いに応じて、例えば、システムＬＳＩ、ＶＬＳＩ(very large scale integration)、もしくはＵＬＳＩ(ultra large scale integration)と呼ばれうる。制御器は、所定のアルゴリズムを実行するためのプログラムが記録されたメモリを含む。このアルゴリズムは、例えば、ユーザの身体の第一の部分の動きに応じて身体の第二の部分の基点を設定するステップと、基点が設定されたことを身体の第三の部分に非接触で通知するステップと、基点に対する第二の部分の動きに応じて所定の入力を受け付けるステップと、を含む。
【００１５】
一態様に係るジェスチャ入力システムにおいて、例えば、前記通知装置は、前記第三の部分の皮膚感覚を刺激することによって、前記基点が設定されたことを通知してもよい。
【００１６】
「皮膚感覚」とは、皮膚を通して人体が認識することのできる感覚である。皮膚感覚の例として、触覚、振動覚、圧覚、温覚、冷覚、及び痛覚が挙げられる。「皮膚感覚を刺激する」とは、例えば、振動及び／又は圧力によって刺激を与えることであってもよく、温感及び／又は冷感を与えるものであってもよい。例えば、通知装置は、振動子（例えば超音波振動子）によってユーザに振動及び／又は音響放射圧を与えてもよく、レーザーによって空中にプラズマを生成し、このプラズマに接触した皮膚に衝撃を与えてもよく、空気砲によってユーザに空気の圧力波を与えてもよい。あるいは、通知装置は、赤外線源によってユーザに温感を与えてもよく、ペルチェ素子によってユーザに冷感を与えてもよい。言い換えると、通知装置は、振動子、レーザー、空気砲、ペルチェ素子、及び、赤外線源からなる群から選択される少なくとも１つを含んでもよい。なお、以下の実施形態では、説明の簡便のため、皮膚感覚への刺激を「触感」と呼ぶことがある。ただし、本開示における「皮膚感覚」は、触覚に限定されるものではない。
【００１７】
一態様に係るジェスチャ入力システムにおいて、例えば、前記制御器は、前記第一の部分、前記第二の部分、及び前記第三の部分のそれぞれの位置情報として、実空間内の座標を取得してもよい。
【００１８】
なお、本開示では、実空間にマッピングされる座標を「実座標」と呼び、実空間に対応する仮想空間にマッピングされる座標を「仮想座標」と呼ぶ場合がある。
【００１９】
以下で説明する種々の実施形態は、いずれも一具体例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置および接続、ステップ、ステップの順序などは、あくまで一例であり、本開示を限定するものではない。以下で説明される構成要素のうち、独立請求項に記載されていない構成要素は、任意の構成要素である。また、図面において同じ符号が付された構成は、その説明が省略される場合がある。
【００２０】
（本開示の基礎となった知見）
特許文献１及び２に記載の従来のシステムでは、入力可能な場所が入力部の位置に限定されるため、ユーザは、入力を行うために入力部の位置まで手を移動させる必要があった。さらに、この従来のシステムでは、ユーザは、意図した入力を正しく行うために、目線を表示部の方向に向けて、視覚で画像を確認する必要があった。このように、従来のシステムは、ユーザにとって不便であった。
【００２１】
以下に説明される種々の実施形態に係るジェスチャ入力システム及びジェスチャ入力方法によれば、ユーザは、手を入力部の位置まで移動させなることなく、かつ、目線を表示部の方向に向けることなく、正しい入力を行うことができる。以下に説明されるジェスチャ入力システムは、ジェスチャ入力と非接触の通知とを採用する。これにより、ユーザは、手を入力部の位置まで移動させることなく、精度良くかつ素早く入力を行うことができる。例えば、ユーザが自動車を運転している場合、ユーザは、運転への集中を低下させることなく、入力操作ができる。
【００２２】
「ジェスチャ入力」とは、ユーザが、身体の一部の動きを用いて、ユーザの操作の意思を電子機器等に伝える入力方法である。一般に、電子機器においては、ジェスチャ入力における身体の動きと、電子機器の操作に関するユーザの意思と、電子機器内の命令とが関連付けられている。電子機器は、センサによって検出された身体の動きを分析し、操作に関するユーザの意思表示を判定し、判定結果に関連付けられた命令を実行する。
【００２３】
ジェスチャ入力は、身体の一部（例えば、指先）を用いて行われる。このため、センサは、身体の一部の動きを追跡する。以下の説明において、ジェスチャ入力のために追跡される身体の部分を「追跡箇所」と呼ぶ場合がある。ジェスチャ入力において、身体の動きは、例えば、ある時刻を起点とした追跡箇所の状態変化として読み取られる。追跡箇所の状態変化は、追跡箇所の移動量、移動速度、移動方向、及び静止時間等の組み合わせよって成り立つ。
【００２４】
以下の説明において、空間内におけるジェスチャ入力の基点（開始点）を「ホームポジション」と呼ぶ場合がある。実空間におけるホームポジションは、例えば、ジェスチャ入力の起点となる時刻において追跡箇所が位置する実座標である。
【００２５】
ジェスチャ入力における身体の動きは、言い換えると、追跡箇所とホームポジションとの相対関係によって成り立つ。例えば、ジェスチャ入力における身体の動きは、ホームポジションからの追跡箇所の移動量、移動速度、移動方向、及び静止時間等の組み合わせによって成り立つ。
【００２６】
ユーザの身体が途切れることなく動いている場合、ユーザの身体の動きがジェスチャ入力を意図した動作であるのか否かを判別することは難しい。そのため、この判別を確実にするために、ジェスチャ入力の起点となる時刻と、ホームポジションの位置とを、ユーザに認識させることが必要となる。
【００２７】
そこで、以下に説明される種々の実施形態に係るジェスチャ入力システム及びジェスチャ入力方法では、まず、ジェスチャ入力の前にホームポジションが設定され、ホームポジションの位置がユーザに通知される。この通知は、ユーザに対して、非接触で触感を提示することによってなされる。例えば、ある時刻におけるユーザの指先の位置がホームポジションに設定され、その指先に触感が与えられる。これにより、ユーザは、ホームポジションが設定されたことを認識でき、それ以後に、意図したジェスチャ入力を行うことができる。よって、ユーザが意図するジェスチャ入力が、ホームポジションを基点として精度よく判別されうる。
【００２８】
（第１実施形態）
以下、第１実施形態について、図面を参照しながら説明する。なお、以後の説明において以下のように用語を定義する。
参照箇所：ホームポジションを設定したいというユーザの意思表示を読み取る際に参照される身体の部分
追跡箇所：ジェスチャ入力のために追跡される身体の部分
触感提示箇所：非接触で触感が提示される身体の部分
【００２９】
［１．ジェスチャ入力システムの構成］
図１に、本実施形態に係るジェスチャ入力システムの構成例を示す。ジェスチャ入力システム１００は、ユーザの身体の動きを検出するセンサ１と、センサ１の出力に基づいてユーザのジェスチャ入力を受け付ける入力制御装置２と、入力制御装置２による制御に応じてユーザに対して触感を提示する触感提示装置３とを含む。
【００３０】
センサ１は、人体の動きを検出可能なセンサである。センサ１は、カメラなどの視覚センサを含む。例えば、センサ１は、人体の動きを非接触で３次元的に検出することが可能な距離画像センサ又はレーザーセンサである。センサ１は、人体の動きを検出することができるものであればよく、例えば、超音波センサ、赤外線センサ、又は可視光センサであってもよい。
【００３１】
本実施形態において、センサ１は、ユーザの身体の一部である参照箇所の動きと、ユーザの身体の一部である追跡箇所の動きと、ユーザの身体の一部である触感提示箇所（又は通知箇所）の動きとを検出する。例えば、センサ１は、参照箇所、追跡箇所、及び触感提示箇所の３次元の座標を、参照箇所、追跡箇所、及び触感提示箇所の動きに関する情報として取得する。参照箇所、追跡箇所、及び触感提示箇所は、入力制御装置２が任意に決めることができる。例えば、参照箇所、追跡箇所、及び触感提示箇所は、上半身、顔、手、指、又は指先である。参照箇所、追跡箇所、及び触感提示箇所は、同一の場所であってもよいし、異なる場所であってもよい。センサ１は、検出した参照箇所、追跡箇所、及び触感提示箇所の動きに関する情報を出力する。
【００３２】
入力制御装置２は、センサ１が検出した情報に基づいて、ホームポジションを設定してジェスチャ入力を受け付ける制御部２１と、設定されたホームポジションを格納する記憶部２２とを含む。制御部２１は、半導体素子などで実現可能であり、例えばマイコンである。制御部２１は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。記憶部２２は、例えば、ＤＲＡＭ、フラッシュメモリ、又は強誘電体メモリなどで実現できる。制御部２１は、受け付けたジェスチャ入力に応じて制御対象４を制御する。制御対象４は任意の装置であり、例えば、ナビゲーション装置、空調装置、又はオーディオ装置である。
【００３３】
触感提示装置３は、空気を介して触感を提示することが可能な通知装置である。「触感」とは、皮膚を通して人体が認識することのできる感覚のことであり、振動及び圧力などの力が作用するものと、温かい及び冷たいなどの温冷感とを含む。空気を介した触感の提示とは、人体に接触せずに、触感を人体に感じさせることである。本実施形態においては、空気を介した触感の提示として、超音波の音響放射圧を利用する。
【００３４】
本実施形態の触感提示装置３は、複数の超音波振動子を並べて構成される超音波振動子アレイを含む。超音波振動子アレイは、空中の任意の位置に超音波の焦点を作り出すことによって、人体の表面に触覚を提示することができる。超音波の焦点では、音圧の振動に加えて、音響放射圧という静的な圧力が発生する。音響放射圧は、空気中を伝播する超音波が空気の音響インピーダンスと異なる物体で遮られたときに発生する。音圧レベルが大きな超音波になると、超音波が身体表面で遮られ、これにより、人が認識できるような身体表面を押す力が発生する。すなわち、非接触で身体に力を提示することができる。一般的に、人は、２０Ｈｚ以上且つ２０ｋＨｚ以下の周波数を音として感じることができ、この周波数帯域を可聴域という。「超音波」とは、２０ｋＨｚ以上の周波数を有する音波のことであり、人の耳には聞こえない。聴覚に頼らず触感を提示するためには、周波数を２０ｋＨｚ以上にすればよい。超音波の周波数に上限の制約はないが、空気中を伝播する超音波の減衰は、周波数が高くなるにしたがって大きくなるため、触感を提示するために用いられる超音波の周波数は、好ましくは２０ｋＨｚ〜２００ｋＨｚ、より好ましくは２０ｋＨｚ〜１００ｋＨｚである。人が認識できる圧力を身体表面に提示することができる超音波の音圧レベルは、１４０ｄＢ以上、好ましくは１５０ｄＢ以上、さらに好ましくは１６０ｄＢ以上である。
【００３５】
超音波振動子を間欠的に駆動させることによって、及び／又は、超音波振動を振幅変調させることによって、音響放射圧を時間的に変化させてもよい。これにより、ユーザに振動を提示することができる。振動覚をつかさどる皮膚感覚受容器は、特定の振動数において高い感度を示す。そのため、この振動数に音響放射圧の変調周波数を合わせてもよい。これにより、音響放射圧が同じでも、より強い触感を与えることが可能になる。この変調周波数は、好ましくは０〜３００Ｈｚ、より好ましくは１００Ｈｚ〜３００Ｈｚである。
【００３６】
［２．ホームポジションの設定］
図２に、本実施形態に係るジェスチャ入力方法を示す。図３に、本実施形態におけるホームポジションが設定される際の実空間の平面の一例を示す。図２において、ジェスチャ入力システム１００は、まず、ホームポジションの設定を行う（Ｓ２０１〜Ｓ２０６）。
【００３７】
ジェスチャ入力システム１００の起動後、センサ１は、制御部２１の指示に応じて、ユーザの身体の一部である参照箇所の動きを取得し始める（Ｓ２０１）。参照箇所は１つであってもよいし、複数であってもよい。具体的には、一例として、センサ１は、参照箇所の動きに関する情報として、参照箇所の実座標を取得する。参照箇所の実座標を「参照座標」と呼ぶ。センサ１は、取得した参照箇所の動きに関する情報を入力制御装置２に出力する。
【００３８】
入力制御装置２において、制御部２１はセンサ１からの情報に基づいて、参照箇所の動きを分析する（Ｓ２０２）。例えば、参照座標に基づいて、参照箇所の移動量、参照箇所の移動速度、参照箇所の移動方向、及び参照箇所の静止時間を分析し、これによって参照箇所の動きを分析する。制御部２１は、分析の結果に基づいて、所定の動きを検出したか否かを判断する（Ｓ２０３）。この所定の動きは、ユーザがホームポジションを設定する意思を表明するための動きであり、参照箇所の移動量、移動速度、移動方向、及び静止時間等の任意の組み合わせで予め決められている。所定の動きの情報は、記憶部２２に格納されている。例えば、図３に示されるような実空間に想定された平面３１ａを右手人差指（すなわち参照箇所）が通る又は横切るような動きが、所定の動きとして予め決められていてもよい。これにより、ユーザは、右手人差指のみによって、ホームポジションを設定することが可能になる。
【００３９】
制御部２１が、所定の動きを検出しなかった場合（すなわち、ユーザがホームポジションを設定する意思を示していないと判断する場合）（Ｓ２０３でＮｏ）、ステップＳ２０１に戻り、センサ１による参照箇所の動きの取得を継続する。
【００４０】
制御部２１が、所定の動きを検出した場合（すなわち、ユーザがホームポジションを設定する意思を示していると判断する場合）（Ｓ２０３でＹｅｓ）、実空間の基点であるホームポジションを設定する（Ｓ２０４）。具体的には、所定の動きを検出した時点における追跡箇所の実座標をセンサ１から取得して、これをホームポジションとして設定する。追跡箇所は、ホームポジションが設定される前に予め決められていてもよいし、ホームポジションの設定と同時に決定されてもよい。制御部２１は、設定したホームポジションの座標の情報を記憶部２２に格納する。ホームポジションは、ジェスチャ入力の際の基点として、参照される。
【００４１】
制御部２１は、触感提示箇所の実座標をセンサ１から取得する（Ｓ２０５）。触感提示箇所は、ホームポジションが設定される前に予め決められていてもよいし、ホームポジションの設定と同時に決定されてもよい。触感提示箇所は１つであってもよいし、複数であってもよい。触感提示箇所の実座標を「触感提示座標」と呼ぶ。制御部２１は、取得した触感提示座標を記憶部２２に格納する。
【００４２】
ホームポジションが設定された後、触感提示装置３は、制御部２１の指示に応じて、触感提示座標で示されるユーザの触感提示箇所に非接触で触感を提示し、これにより、ユーザにホームポジションが設定されたことを通知する（Ｓ２０６）。これにより、ユーザは、視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジションが設定されたことを認識でき、触感が提示された時の追跡箇所の位置をホームポジションの位置として認識することができる。
【００４３】
触感提示箇所と追跡箇所は、同一であってもよい。この場合、ユーザは、触感によって、ホームポジションが設定されたことを、そのホームポジションの位置で認識できる。そのため、より直感的なジェスチャ入力が可能となる。
【００４４】
［３．参照箇所、触感提示箇所、及び追跡箇所の組み合わせ］
参照箇所、触感提示箇所、及び追跡箇所は、身体の任意の部分に設定できる。例えば、参照箇所、触感提示箇所、及び追跡箇所の全てを右手人差し指の指先に予め設定してもよい。例えば、図３に示されるように、ジェスチャ入力システム１００は、ユーザの右手人差指の指先が実空間に想定された平面３１ａを横切るときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム１００は、ユーザの右手人差指の指先が平面３１ａを横切ったことを検出した時点における右手人差指の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを右手人差指の指先に非接触で触感提示してもよい。
【００４５】
他の例として、両目まぶたを参照箇所とし、右手人差し指の指先を追跡箇所とし、額を触感提示箇所として予め設定してもよい。例えば、ジェスチャ入力システム１００は、ユーザの両目が瞬きを２回連続で行ったときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム１００は、両目が瞬きを２回連続で行ったことを検出した時点における右手人差し指の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを額に非接触で触感提示してもよい。
【００４６】
さらに他の例として、右手５本の指先の各々を参照箇所として予め設定してもよい。例えば、ジェスチャ入力システム１００は、ユーザの右手５本の指先のうちのいずれかの１本が、実空間に想定された平面３１ａを横切るときに、ユーザがホームポジションを設定する意思を示していると判断してもよい。この場合、ジェスチャ入力システム１００は、右手５本の指先のうちのいずれかの１本が平面３１ａを横切ったことを検出した時点における当該１本の指先の実座標をホームポジションとして設定してもよく、ホームポジションが設定されたことを当該１本の指先に非接触で触感提示してもよい。
【００４７】
［４．仮想空間と実空間の対応付け］
図４に、仮想空間と実空間の対応付けの例を示す。入力制御装置２は、予め、仮想空間の基点となるホームポジション４１ｂとアイコン４２を仮想空間に配置して、仮想空間におけるホームポジション４１ｂとアイコン４２の座標を記憶部２２に格納しておく。アイコン４２は、所定の入力を受け付ける領域である選択可能部位である。入力制御装置２は、各アイコン４２に、それぞれ、制御対象４に対する異なった機能を割り当てておく。仮想空間に定義されたホームポジション４１ｂとアイコン４２は、実際には目で見えない。よって、ユーザは、ジェスチャ入力時に、仮想空間のホームポジション４１ｂとアイコン４２を観察したり、触ったりすることができない。よって、ユーザが仮想空間に定義されたホームポジション４１ｂとアイコン４２の配置関係を予め認識できるようにしておく。例えば、ジェスチャ入力システム１００の起動時又はユーザが指示した時に、所定時間、表示装置（図示せず）等にホームポジション４１ｂとアイコン４２を視覚的に表示させる。これにより、ユーザは、仮想空間に定義されたホームポジション４１ｂとアイコン４２の配置関係を予め認識できる。
【００４８】
ここで、実空間の座標を「グローバル座標」と呼び、仮想空間の座標を「ローカル座標」と呼ぶ。入力制御装置２は、実空間のホームポジション４１ａを設定したときに、実空間のホームポジション４１ａのグローバル座標と、仮想空間のホームポジション４１ｂのローカル座標とを対応付ける。これにより、ユーザは、ホームポジション４１ａが設定されたことを触感によって認識したときに、実空間のホームポジション４１ａの位置を仮想空間のホームポジション４１ｂの位置として認識できる。よって、ユーザは、実空間での身体の動きにより、仮想空間のアイコン４２を選択することが可能になる。例えば、図４に示す仮想空間において、「Ｃ」のアイコン４２がホームポジション４１ｂを基点として、右上４５°で距離３０ｍｍの位置に予め定義されていたとする。この場合に、ユーザは、追跡箇所の右手人差し指の指先を、実空間のホームポジション４１ａを基点として、右上４５°で距離３０ｍｍの位置に移動させることによって、仮想空間の「Ｃ」アイコン４２を選択することができる。さらに、例えば、追跡箇所の右手人差し指を「Ｃ」アイコン４２に対応する位置で所定時間以上静止させることにより、「Ｃ」アイコン４２に割り当てられた機能を実行することが可能になる。例えば、アイコン４２に関連付けられた制御対象４に関するパラメータを変更することができる。
【００４９】
仮想空間内のアイコン４２の位置に対応付けられた実空間内の位置は、ホームポジション４１ａ、４１ｂを共通点にして任意に設定することができる。例えば、図３に示すように、実空間におけるホームポジション４１ａの位置とユーザの顔とを結ぶ軸３２に対して垂直な平面３１ａ、３１ｂ、３１ｃ上に、仮想空間内のアイコン４２の位置に対応する実空間内の位置が設定されてもよい。
【００５０】
［５．ジェスチャ入力］
図２において、ジェスチャ入力システム１００は、ホームポジション４１ａを設定した後、ホームポジションを基点としてジェスチャ入力の受け付けを行う（Ｓ２０７〜Ｓ２１２）。
【００５１】
ホームポジションが設定された後、センサ１は、制御部２１の指示に応じて、追跡箇所の動きを取得し始める（Ｓ２０７）。追跡箇所は１つであってもよいし、複数であってもよい。具体的には、一例として、センサ１は、追跡箇所の動きに関する情報として、追跡箇所の実座標を取得する。追跡箇所の実座標を「追跡座標」と呼ぶ。センサ１は、取得した追跡箇所の動きに関する情報を入力制御装置２に出力する。
【００５２】
入力制御装置２において、制御部２１はセンサ１からの情報に基づいて、追跡箇所の動きを分析する（Ｓ２０８）。例えば、制御部２１は、ホームポジション４１ａと追跡座標との相対関係を分析することにより、ホームポジション４１ａを基点とした追跡箇所の状態変化、例えば移動量、移動速度、移動方向、及び静止時間の組み合わせを分析する。制御部２１は、分析の結果に基づいて、所定の機能を実行するための所定のジェスチャ入力を検出したか否かを判断する（Ｓ２０９）。所定の機能を実行するため操作と所定のジェスチャ入力とは予め対応付けられていて、その対応関係の情報が記憶部２２に格納されている。例えば、図４において、ユーザが、実空間のホームポジション４１ａを基点として、右上４５°で距離３０ｍｍの位置に、右手人差し指の指先を移動させたときに、制御部２１は、仮想空間の「Ｃ」アイコン４２が選択されたと判断する。さらにユーザが右手人差し指を「Ｃ」アイコン４２に対応する位置で所定時間以上静止させたときに、制御部２１は、「Ｃ」アイコン４２に割り当てられた機能の実行が指示された、すなわち、ジェスチャ入力がされたと判断する。一方、ユーザが右手人差し指を「Ｃ」アイコン４２に対応する位置で所定時間以上静止させずに、右手人差し指を「Ｃ」アイコン４２に対応する位置から移動したときは、制御部２１は、「Ｃ」アイコン４２に割り当てられた機能の実行が指示されなかった、すなわち、ジェスチャ入力がされなかったと判断する。
【００５３】
制御部２１が、所定のジェスチャ入力を検出しなければ（Ｓ２０９でＮｏ）、ステップＳ２０７に戻り、センサ１による追跡箇所の動きの取得を継続する。
【００５４】
制御部２１は、所定のジェスチャ入力を検出すれば（Ｓ２０９でＹｅｓ）、触感提示座標をセンサ１から取得する（Ｓ２１０）。触感提示装置３は、制御部２１の指示に応じて、触感提示座標で示される触感提示箇所に、ジェスチャ入力が受け付けられたことを非接触で通知する（Ｓ２１１）。具体的には、触感提示装置３は、例えば図４において、追跡箇所がアイコン４２に対応する位置に来たときに触感提示箇所に触感を提示し、さらにジェスチャ入力を受け付けてアイコン４２に割り当てられた機能を実行するときに再度、触感提示箇所に触感を提示する。アイコン４２に対応する位置に追跡箇所が来たときと、ジェスチャ入力を受け付けてアイコン４２に割り当てられた機能を実行するときとで、圧力の強弱や振動を変えてもよい。また、アイコン４２に対応する位置に追跡箇所が来たときの触感と、ジェスチャ入力を受け付けてアイコン４２に割り当てられた機能を実行するときの触感は、ホームポジションの設定時の触感と同一であってもよいし、異なってもよい。さらに、触感を提示する箇所は、ホームポジションの設定を通知したときと同じ触感提示箇所に限らず、別の箇所であってもよい。
【００５５】
入力制御装置２は、ジェスチャ入力を受け付けて制御対象４を制御する（Ｓ２１２）。例えば、制御対象４がオーディオ装置であって、選択されたアイコン４２にオーディオ装置の音量を大きくする機能が割り当てられていた場合、入力制御装置２はオーディオ装置の音量を大きくする。
【００５６】
［６．効果及び補足］
本実施形態のジェスチャ入力システム１００によれば、ジェスチャによって入力を行うため、センサ１の検出範囲内であれば、任意の位置での入力が可能となる。よって、入力するために、手をタッチパネルなどの入力部の位置まで移動させる必要がなくなる。さらに、本実施形態のジェスチャ入力システム１００によれば、非接触でユーザにホームポジションが設定されたことを通知するため、ユーザは目線を表示部の方向に向けなくても、ホームポジションの位置を認識できる。そのため、ユーザは、精度良く且つ素早く入力を行うことができる。よって、本実施形態のジェスチャ入力システム１００によれば、ユーザの利便性が向上する。ユーザは、視覚及び聴覚に頼ることなく、ホームポジションを設定して、その位置を認識することができる。そのため、ユーザは、ホームポジションを基点としたジャスチャ入力を直感的に実施できる。
【００５７】
本実施形態のジェスチャ入力システム１００によれば、ホームポジションを触感によって非接触で提示するため、ユーザは視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジションを認識することができる。よって、例えば、ユーザが表示部に注視できない状況であっても、触覚を頼りにして、所望の入力操作を素早くかつ精度良く行うことができる。また、例えば、ユーザは音声提示に傾聴できない状況であっても、触感を頼りにして所望の入力操作を素早くかつ精度良く行うことができる。本実施形態のジェスチャ入力システム１００によれば、メカニカルに構成されたボタン類などの物体に拘束されずに、所望の機能を実行することができる。
【００５８】
本実施形態では、センサ１が、ユーザの身体の一部の動きを検出して、参照座標、追跡座標、及び触感提示座標をそれぞれ取得する例について説明した。しかし、制御部２１がセンサ１からの情報を解析して参照座標、追跡座標、及び触感提示座標を取得してもよい。例えば、センサ１は、参照箇所、追跡箇所、及び触感提示箇所の全てを含む領域の距離画像を出力し、入力制御装置２（制御部２１）がその距離画像を解析することによって、参照座標、追跡座標、及び触感提示座標を取得してもよい。
【００５９】
なお、本実施形態のジェスチャ入力システム１００において、ホームポジションの設定（Ｓ２０３）の判断基準となる参照箇所の動きと、ジェスチャ入力（Ｓ２０９）の判断基準となる追跡箇所の動きを、ユーザの好みに応じて予め自由に設定できるようにしてもよい。また、参照箇所、追跡箇所、及び触感提示箇所をユーザが予め設定できるようにしてもよい。
【００６０】
本実施形態においては、空気を介した触感提示として超音波の音響放射圧を利用したが、これに限定されず、空気を介した触感提示として、空気の流れを利用してもよいし、赤外線を利用してもよい。例えば、赤外線を用いることにより、非接触で身体に温感を提示することが可能である。また、ユーザへの通知は、非接触でユーザに通知するものであれば、触感以外のものを使用してもよい。例えば、音声や光によって、ホームポジションの設定及びジェスチャ入力の受け付けをユーザに通知してもよい。
【００６１】
（第２実施形態）
第２実施形態では、ジェスチャ入力システム１００はホームポジションの設定を取り消すことを可能にする。図５に、第２実施形態のジェスチャ入力処理を示すフローチャートの一例を示す。図５に示すフローチャートは、図２に示すフローチャートに、ホームポジションの解除のステップＳ５０１を追加したものである。図５において、ホームポジションの解除のステップＳ５０１以外の各ステップは、図２と同一である。
【００６２】
ホームポジションを解除するためのジェスチャは予め決められており、そのジェスチャの情報が記憶部２２に格納されている。入力制御装置２の制御部２１は、ホームポジションを設定した後、追跡箇所の動きを分析しているときに（Ｓ２０８）、ホームポジションを解除するためのジェスチャを検出したかどうかを判断する（Ｓ５０１）。例えば、追跡箇所とホームポジションとの相対的な関係に基づいて、ホームポジションを解除するためのジェスチャが行われたかどうかを判断する。ホームポジションを解除するためのジェスチャを検出したとき（Ｓ５０１でＹｅｓ）は、ホームポジションの設定を取り消して、参照箇所の動きの取得に戻る（Ｓ２０１）。これにより、参照箇所の動きに基づくホームポジションの再設定（Ｓ２０４）が可能となる。ホームポジションを解除するためのジェスチャを検出しなければ（Ｓ５０１でＮｏ）、制御部２１は、アイコン４２に割り当てられた機能を実行するためのジェスチャ入力を検出したかどうかを判断する（Ｓ２０９）。
【００６３】
なお、ホームポジションの再設定は、参照箇所の動きに基づいて行わずに、ホームポジションを解除する際に分析していた追跡箇所の位置に基づいて行ってもよい。図６に、第２実施形態のジェスチャ入力処理の他の例を示す。図６に示すフローチャートは、図５に示すフローチャートと同様に、ホームポジションの解除のステップＳ６０１が含まれるが、図６においては、制御部２１は、追跡箇所の動きの分析中に（Ｓ２０８）、ホームポジションを解除するためのジェスチャを検出したときに（Ｓ６０１でＹｅｓ）、分析していた追跡箇所の実空間の位置に基づいて、ホームポジションを再設定する（Ｓ２０４）。
【００６４】
本実施形態によれば、例えば、ユーザの意思に反して、ホームポジションが設定されたときに、ホームポジションを再設定することができる。なお、ホームポジションを解除するためのジェスチャは追跡箇所の動作に限定されず、追跡箇所とは別の身体の一部の動作であってもよい。
【００６５】
（第３実施形態）
図１に示すジェスチャ入力システム１００が自動車に搭載され、制御対象４が自動車に備え付けられた装置である場合の例について説明する。
【００６６】
人体の動きを検出するセンサ１として、投光した赤外線が反射して戻ってくる時間から深度情報を得る「ＴＯＦ（Time of Flight）」という方式を採用するセンサを使用して、ユーザの動きを３次元的に検出する。例えば、マイクロソフト社の「Kinect v2」センサを使用してもよい。このセンサ１は、自動車を運転する運転者の手の動きを検出するために、運転席正面のフロントガラスの下に設置される。
【００６７】
触感提示装置３は、超音波の音響放射圧を利用する超音波振動子アレイを含む。例えば、超音波振動子アレイでは、駆動周波数４０ｋＨｚの２４９個の超音波振動子が格子状に並べられている。触感提示装置３は、超音波振動子をそれぞれ個別に駆動することにより、空中の任意の位置に超音波の焦点を作り出す。これにより、ひとつひとつの超音波振動子では出力できない大きさの音圧を焦点スポットに形成することができる。例えば、単体で駆動した場合に測定距離３００ｍｍで１２０ｄＢ未満の出力を示す超音波振動子を２４９個準備し、これらの超音波振動子を、出力が３００ｍｍの場所に焦点を成すように格子状に並べる。この場合、焦点スポットで１５９ｄＢの音圧レベルが得られうる。超音波の焦点では音響放射圧という静的な圧力が発生し、この静的な圧力が身体の表面で遮られることにより、身体表面を押す力が発生する。これにより、非接触で身体に圧力を提示させることができる。さらに、超音波振動子を間欠的に駆動させることにより、音響放射圧を時間的に変化させて、ユーザに振動を提示することができる。例えば、超音波振動子に２００Ｈｚ矩形波の振幅変調を掛けて駆動させることにより、ユーザに振動を提示できる。超音波振動子アレイは、ステアリングを操作する運転者の指先に触感を提示するために、ステアリングコラムの上面に設置される。
【００６８】
自動車のエンジンが駆動されたときに、ジェスチャ入力システム１００は起動する。これによりセンサ１が運転者の動きを取得し始める。本実施形態では、運転者の右手人差し指の指先を参照箇所として検出する。また、触感を提示する触感提示箇所と、ジェスチャ入力を行う際の追跡箇所も運転者の右手人差し指の指先に予め設定する。
【００６９】
図７に、ジェスチャ入力システム１００が自動車に搭載されたときの、仮想空間と実空間の対応付けの例を示す。本実施形態では、ユーザがホームポジションを設定したい意思を表すために行う動きとして、参照箇所である右手人差し指の指先が自動車のステアリングホイールから５０ｍｍ離れた面７１を横切る動きが、予め設定されている。これにより、運転者は、運転中でも、ステアリングホイールを握ったまま右手の指一本を立てることで、ホームポジションを設定したい意思を示すことができる。
【００７０】
制御部２１は、右手人差し指の指先が自動車のステアリングホイールから５０ｍｍ離れた面７１を横切ったことを、センサ１を介して検出したときに、その右手人差し指の指先の位置をホームポジション４１ａとして設定し、その位置を触感提示座標として設定する。これらの設定は、記憶部２２に格納される。
【００７１】
制御部２１は、ホームポジション４１ａを設定したことを運転者に通知するために、ホームポジション４１ａに設定された指先に、触感提示装置３からの超音波の焦点を合わせる。このとき、触感提示装置３は、超音波に２００Ｈｚの振幅変調をかける。これにより、運転者は振動を感じることができる。よって、運転者は、視覚、聴覚、及び固体を通した触覚に頼ることなく、ホームポジション４１ａが設定されたことと、そのホームポジション４１ａの位置を触感で認識することができる。
【００７２】
センサ１は、ホームポジション４１ａを設定した際に参照していた運転者の右手指先の動きを取得する。入力制御装置２は、運転者の右手指先の動きとホームポジション４１ａとの相対的な関係を分析し、ジェスチャを判定する。
【００７３】
入力制御装置２は、例えば、図７に示すように、オーディオ装置の音量を調節するためのアイコン４２の位置を仮想座標として予め決めていて、それを記憶部２２に格納している。入力制御装置２は、仮想空間のホームポジション４１ｂと実空間のホームポジション４１ａとを対応させ、且つ仮想空間のＸ軸、Ｙ軸、Ｚ軸をそれぞれ実空間のＸ軸、Ｙ軸、Ｚ軸に対応させる。入力制御装置２は、運転者の右手指先がアイコン４２に対応する位置にあるかどうかを、実空間のホームポジション４１ａと右手指先との相対的な関係から分析する。運転者の右手指先がアイコン４２に対応する位置にあれば、そのアイコン４２が選択されていると判断する。
【００７４】
ユーザは、実空間のホームポジション４１ａに基づいて、仮想空間のアイコン４２が実空間の対応する位置にあると想定する。制御対象４が自動車に搭載されたオーディオ装置であって、かつ、ユーザがそのオーディオ装置の音量を大きくしたい場合、ユーザは右手指先をホームポジション４１ａの位置から実空間におけるＸ軸のプラス方向に移動させる。入力制御装置２は、ユーザの実空間での右手指先の移動に基づいて、仮想空間のホームポジション４１ｂから「＋」アイコン４２の方向にユーザの右手指先が移動したと判断できる。入力制御装置２は、ユーザの右手指先が「＋」アイコン４２に対応する領域に所定時間以上存在するときに、「＋」アイコン４２に割り当てられた機能の実行が指示されたと判断して、オーディオ装置の音量を１目盛り分大きくする。指先が「＋」アイコン４２の領域内に留まっている時間と音量の増加量とを関連付けて、「＋」アイコン４２の領域内に留まっている時間が長くなるにつれて、音量を大きくしてもよい。また、指先がアイコン４２の領域に留まっている間、その指先に非接触で触感を提示してもよい。
【００７５】
この一連のステップにより、ユーザは、視覚、聴覚、及び固体を通した触覚に頼ることなく、オーディオ装置の音量変更を素早くかつ精度良く行うことができる。本実施形態のジェスチャ入力システム１００によれば、ユーザは、例えばステアリングホイールから５０ｍｍ離れた面７１内であれば、ホームポジションの設定の意思をシステム１００に伝えることができる。そのため、運転者は、運転中でもステアリングホイールを握ったまま、右手の指一本を立てることで、ホームポジションを設定することができる。また、ジェスチャ入力システム１００は、ホームポジションの設定及びジェスチャ入力の受け付けを触感によって提示するため、ユーザは、自動車を運転しているときであっても、目線を表示部に向ける必要がない。そのため、ユーザは、運転への集中を低下させることなく、入力操作を実行できる。また、聴覚を使用した通知がされないため、同乗者との会話や車内音楽なども妨げられない。
【００７６】
（実施形態の概要）
（１）本開示のジェスチャ入力システムは、ユーザの身体の一部である参照箇所の動きと、ユーザの身体の一部である追跡箇所の動きを検出するセンサと、センサによって検出された参照箇所の動きに基づいて空間内の基点を設定し、基点からの追跡箇所の動きに応じて、所定の入力を受け付ける入力制御装置と、入力制御装置によって基点が設定されたことを、ユーザの身体の一部である通知箇所に非接触で通知する通知装置と、を有する。
【００７７】
このように、身体の動きに基づいて、空間内の基点を設定して、所定の入力を受け付けると共に、基点が設定されたことをユーザに非接触で通知するため、精度良く且つ素早く入力を行うことが可能になる。ユーザは、例えば、タッチパネルなどの入力部の位置まで手を移動させなくても、入力をすることができる。また、ユーザは、表示部の方向に目線を向けなくても、精度良く入力をすることができる。
【００７８】
（２）（１）のジェスチャ入力システムにおいて、入力制御装置は、参照箇所が所定の動きをしたときの追跡箇所の実座標を基点として設定してもよい。
【００７９】
これにより、ユーザは、基点からの身体の動きによるジャスチャ入力を直感的にできる。
【００８０】
（３）（１）または（２）のジェスチャ入力システムにおいて、参照箇所、追跡箇所、及び通知箇所のうちの少なくとも２つが同一であってもよい。
【００８１】
これにより、ユーザは、基点からの身体の動きによるジャスチャ入力を直感的にできる。
【００８２】
（４）（１）から（３）のいずれかのジェスチャ入力システムにおいて、通知装置は、入力制御装置が所定の入力を受け付けたことを、ユーザの身体の一部に通知してもよい。
【００８３】
これにより、ユーザは、ジェスチャ入力に基づいた制御が実行されることを知ることができる。
【００８４】
（５）（１）から（４）のいずれかのジェスチャ入力システムにおいて、入力制御装置は、追跡箇所の動きに応じて、基点を再設定してもよい。
【００８５】
これにより、誤って基点が設定されても、基点の設定をやり直すことができる。
【００８６】
（６）（１）から（５）のいずれかのジェスチャ入力システムにおいて、通知装置は、触感の提示により通知を行ってもよい。
【００８７】
これにより、ユーザが表示部に注視できない状況であっても、触覚を頼りにして、所望の入力操作を精度良く行うことが可能になる。
【００８８】
（７）（６）のジェスチャ入力システムにおいて、通知装置は、複数の超音波振動子を含み、超音波振動子によって出力される音響放射圧によって、通知を行ってもよい。
【００８９】
これにより、ユーザが表示部に注視できない状況であっても、触覚を頼りにして、所望の入力操作を精度良く行うことが可能になる。
【００９０】
（８）本開示のジェスチャ入力方法は、ユーザの身体の一部である参照箇所の動きを検出するステップと、検出された参照箇所の動きに基づいて、空間内の基点を設定するステップと、ユーザの身体の一部である通知箇所に、基点が設定されたことを非接触で通知するステップと、ユーザの身体の一部である追跡箇所の動きを検出するステップと、基点からの追跡箇所の動きに応じて、所定の入力を受け付けるステップと、を含む。
【００９１】
このように、身体の動きに基づいて、空間内の基点を設定して、所定の入力を受け付けると共に、基点が設定されたことをユーザに非接触で通知するため、精度良く且つ素早く入力を行うことが可能になる。ユーザは、例えば、タッチパネルなどの入力部の位置まで手を移動させなくても、入力をすることができる。また、ユーザは、表示部の方向に目線を向けなくても、正しい入力をすることができる。
【００９２】
本開示の全請求項に記載のジェスチャ入力システム及びジェスチャ入力方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
【産業上の利用可能性】
【００９３】
本開示のジェスチャ入力システムは、例えば、自動車に搭載されるナビゲーション装置、空調装置、及びオーディオ装置の入力制御手段として、有用である。
【符号の説明】
【００９４】
１      センサ
２      入力制御装置
３      触感提示装置
４      制御対象
２１    制御部
２２    記憶部
１００  ジェスチャ入力システム
【図１】
0006788870.tif 000002
【図２】
0006788870.tif 000003
【図３】
0006788870.tif 000004
【図４】
0006788870.tif 000005
【図５】
0006788870.tif 000006
【図６】
0006788870.tif 000007
【図７】
0006788870.tif 000008