(57)【要約】【課題】ユーザーによる操作を入力する行為を容易にすることができる操作認識装置を提供する。【解決手段】本実施形態に係る操作認識装置１は、所定の空間内に置かれたユーザーの手を認識する手認識部１０と、認識されたユーザーの手の位置に超音波を照射して、仮想的な操作物体（仮想インターフェース）の触感をユーザーに提示する超音波制御部３０と、ユーザーの手の動作に基づいて、ユーザーの操作を認識する操作認識部２０と、を備える。【選択図】図１
2019144672.tif 000002
【特許請求の範囲】
【請求項１】
所定の空間内に置かれたユーザーの手を認識する手認識部と、
前記認識されたユーザーの手の位置に超音波を照射して、仮想的な操作物体の触感をユーザーに提示する超音波制御部と、
ユーザーの手の動作に基づいてユーザーの操作を認識する操作認識部と、
を備える、操作認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザーによって行われる操作を認識する操作認識装置に関する。
【背景技術】
【０００２】
特許文献１に、表示画面とは別体でタッチパネル方式の操作入力パネルを設けることによって、ユーザーが操作入力パネルを直接見ることなく表示画面に示された項目の選択や決定を行うことができるようにした、スイッチ装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−０２０５６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載されたスイッチ装置は、ユーザーが操作する操作入力パネルの取り付け位置が固定されているため、ユーザーによっては操作を入力する行為がし難くなるおそれがある。
【０００５】
本発明は、上記課題を鑑みてなされたものであり、ユーザーによる操作を入力する行為を容易にすることができる操作認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の一態様による操作認識装置は、所定の空間内に置かれたユーザーの手を認識する手認識部と、認識されたユーザーの手の位置に超音波を照射して、仮想的な操作物体の触感をユーザーに提示する超音波制御部と、ユーザーの手の動作に基づいてユーザーの操作を認識する操作認識部と、を備える、ことを特徴とする。
【０００７】
この本発明の一態様による操作認識装置では、空間内に置かれたユーザーの手の位置を認識し、この認識した位置に超音波を照射して、仮想的な操作物体の触感をユーザーが感じ取れるようにする。仮想的な操作物体は、ユーザーの手の動作に基づいてユーザーによる操作入力を支援するための仮想インターフェースである。このように、ユーザーが自ら差し出した任意の手の位置に仮想的な操作物体の触感を動的に提示できるので、この仮想インターフェースを用いたユーザーによって操作を入力する行為が容易になる。
【発明の効果】
【０００８】
上記本発明の操作認識装置によれば、ユーザーによる操作を入力する行為を容易にすることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る操作認識装置の概略構成を示す図
【図２】操作認識装置が車両に搭載された一例を説明する図
【図３】手認識部で検出されるユーザーの手による動作の一例を示す図
【図４】本操作認識装置が実行する操作認識制御の処理手順を示すフローチャート
【発明を実施するための形態】
【００１０】
［概要］
本発明の操作認識装置は、空間内に置かれたユーザーの手の位置を認識し、この認識した位置に超音波を照射して、仮想的な操作物体（仮想インターフェース）の触感をユーザーに提示する。ユーザーが自ら差し出した任意の手の位置に仮想的な操作物体の触感を動的に提示できるので、仮想的な操作物体を用いたユーザーによる操作入力行為が容易になる。
【００１１】
［構成］
図１は、本発明の一実施形態に係る操作認識装置１の概略構成を示す図である。図１に例示した操作認識装置１は、手認識部１０と、操作認識部２０と、超音波制御部３０と、制御実行部４０と、を備えている。この手認識部１０、操作認識部２０、超音波制御部３０、及び制御実行部４０は、バスなどのネットワーク５０によって通信可能に接続されている。本実施形態に係る操作認識装置１は、例えば図２に示すように、車両１００のセンターコンソール１１０などに搭載可能である。
【００１２】
手認識部１０は、イメージセンサーなどを含み、所定の空間内に置かれたユーザーの手６０の位置を３次元的に認識することができる構成である。所定の空間は、後述する超音波制御部３０によって超音波を制御できる範囲であって、ユーザーの手が届く範囲に設定される。例えば、操作認識装置１が車両１００に搭載される場合には、ユーザーがシート１２０に着座している状態で手６０を伸ばすことが煩わしくならない車室内の範囲とすることができる。また、手認識部１０は、空間内における位置が認識されたユーザーの手６０について、手の大きさを把握することを行う。
【００１３】
操作認識部２０は、モーションセンサーなどを含み、手認識部１０によって認識されたユーザーの手６０による動作（ジェスチャー）を検出して、この検出した手の動作に基づいて特定の操作を認識することができる構成である。手の動作としては、図３に例示するようなモーションセンサーが検出できる様々な動作が規定されており、これらの規定の動作にはそれぞれ特定の操作が予め対応付けられている。操作認識部２０は、検出した手の動作が規定の動作に該当するか否かに基づいて、ユーザーによって指示された特定の操作を認識することを行う。
【００１４】
なお、上述した手認識部１０と操作認識部２０とは、本実施形態のように個別の構成として設けられてもよいし、一体的な構成として設けられてもよい。一体的な構成で設ける場合には、センサーを共用してもよい。
【００１５】
超音波制御部３０は、複数の超音波振動子から複数の超音波を発生して、この発生した複数の超音波の位相を任意に制御することができる構成である。より具体的には、超音波制御部３０は、複数の超音波の位相を制御して空中の所定の位置に複数の超音波を集束させることによって、その位置に手で感じ取ることができる程度の力を発生させることを行う。また、超音波制御部３０は、操作認識部２０で検出したユーザーの手６０による動作に応じて、仮想的な操作物体３１の移動や変形などの変化をユーザーが感じ取ることができるように超音波を制御する。なお、このような制御は、周知の集束超音波技術を利用して実現可能である。
【００１６】
本実施形態に係る超音波制御部３０は、図２に例示するように、手認識部１０で認識されたユーザーの手６０の位置（例えば手のひらの下側）に、ユーザーの手６０の大きさに合わせた形状で、仮想的な操作物体３１の触感をユーザーに提示する。この仮想的な操作物体３１は、ユーザーの手６０の動作に基づいてユーザーによる操作入力を支援するための仮想的なインターフェースである。仮想的な操作物体３１は、ユーザーが物体を掴んで移動させたり回転させたりするなどの行為ができる立体的な物体であってもよいし、ユーザーが物体の上でタップやフリックなどの行為ができる平面的な物体であってもよい。物体の形状は、例えば、球体、直方体、円柱、角柱、円形、三角形、十字形、矢印形、またそれらの組み合わせなど、複数の超音波の集束点位置を定める所定の数式で表現できる任意の形状が可能である。
【００１７】
制御実行部４０は、操作認識部２０で認識された特定の操作に基づいて、その操作に割り当てられた所定の制御を実行することができる構成である。所定の制御は、例えばナビゲーション制御や、エアコン制御や、オーディオ制御などである。
【００１８】
［制御］
次に、図４をさらに参照して、本発明の一実施形態に係る操作認識装置１が実行する制御を説明する。図４は、本操作認識装置１が実行する操作認識制御の処理手順を示すフローチャートである。
【００１９】
図４に示した操作認識制御は、手認識部１０によって所定の空間内でユーザーの手が検出されると開始される。
【００２０】
ステップＳ４０１：手認識部１０は、検出したユーザーの手について、空間内における手の位置及び手の大きさを認識する。
【００２１】
ステップＳ４０２：超音波制御部３０は、手認識部１０が認識したユーザーの手の位置に、ユーザーの手の大きさに合わせた形状を有する仮想的な操作物体３１の触感をユーザーに提示する。
【００２２】
ステップＳ４０３：操作認識部２０は、仮想的な操作物体３１の触感の提示に対してユーザーによる手の動作があったか否かを判断する。手の動作があった場合は（ステップＳ４０３、Ｙｅｓ）ステップＳ４０４に処理が進み、手の動作がなかった場合は（ステップＳ４０３、Ｎｏ）ステップＳ４０８に処理が進む。
【００２３】
ステップＳ４０４：操作認識部２０は、仮想的な操作物体３１の触感の提示に対して行われたユーザーによる手の動作が規定の動作に該当するか否かを判断する。手の動作が規定の動作に該当する場合は（ステップＳ４０４、Ｙｅｓ）ステップＳ４０５に処理が進み、手の動作が規定の動作に該当しない場合は（ステップＳ４０４、Ｎｏ）ステップＳ４０６に処理が進む。
【００２４】
ステップＳ４０５：超音波制御部３０は、手の動作が規定の動作に該当することを、仮想的な操作物体３１の触感を介してユーザーの手に通知する（以下「ＯＫ触感通知」という）。このＯＫ触感通知は、例えば、仮想的な操作物体３１の触感の発生／消滅を繰り返したり（物体の点滅）、仮想的な操作物体３１の触感を膨張や縮小させたり、することなどによって行うことができる。ＯＫ触感通知を行った後は、ステップＳ４０７に処理が進む。
【００２５】
ステップＳ４０６：超音波制御部３０は、手の動作が規定の動作に該当しないことを、仮想的な操作物体３１の触感を介してユーザーの手に通知する（以下「ＮＧ触感通知」という）。このＮＧ触感通知は、例えば、仮想的な操作物体３１の触感を振動させることなどによって行うことができる。ＮＧ触感通知を行った後は、ステップＳ４０３に処理が戻る。
【００２６】
ステップＳ４０７：操作認識部２０は、規定の動作に対応付けられている特定の操作を認識し、この認識した特定の操作に割り当てられた所定の制御を実行するように制御実行部４０に指示を行う。制御実行部４０は、操作認識部２０からの指示に従って、所定の制御を実行する。その後、ステップＳ４０３に処理が戻る。
【００２７】
ステップＳ４０８：手認識部１０は、所定の空間内でユーザーの手が検出できなくなったか否かを判断する。ユーザーの手が検出できなくなった場合は（ステップＳ４０８、Ｙｅｓ）ステップＳ４０９に処理が進み、ユーザーの手が検出できている場合は（ステップＳ４０８、Ｎｏ）ステップＳ４０３に処理が戻る。
【００２８】
ステップＳ４０９：超音波制御部３０は、仮想的な操作物体３１の触感を消滅させる。これにより、本操作認識制御が終了する。
【００２９】
［本実施形態における作用・効果］
上述した本発明の一実施形態に係る操作認識装置１によれば、手認識部１０によって空間内に置かれたユーザーの手６０の位置を認識し、この認識した位置に、超音波制御部３０によって超音波を照射して、仮想的な操作物体３１の触感をユーザーが感じ取れるようにする。
【００３０】
このように、ユーザーが自ら差し出した任意の手６０の位置に仮想的な操作物体３１の触感を動的に提示できるので、ユーザーはこの仮想的な操作物体３１を用いて操作認識部２０が検出できる手の動作を行うことにより簡単に所望の操作を入力することができる。また、ユーザーの手６０の大きさに合わせて仮想的な操作物体３１の触感を提示できるので、ユーザーは所望の入力操作をよりし易くなる。よって、本実施形態に係る操作認識装置１は、ユーザーによる操作を入力する行為を容易にすることができる。
【産業上の利用可能性】
【００３１】
本発明の操作認識装置は、ユーザーによる操作を必要とする車両などに利用可能である。
【符号の説明】
【００３２】
１  操作認識装置
１０  手認識部
２０  操作認識部
３０  超音波制御部
３１  仮想的な操作物体
４０  制御実行部
５０  ネットワーク
６０  手
１００  車両
１１０  センターコンソール
１２０  シート
【図１】
2019144672.tif 000003
【図２】
2019144672.tif 000004
【図３】
2019144672.tif 000005
【図４】
2019144672.tif 000006