(57)【要約】【課題】霧噴射手段によりジェスチャー入力を行う操作者の手に実質的に非接触で触覚フィードバックを与える。【解決手段】たとえば、コンピューターがメモリに、縦６ビット横３ビットの長方形の１８ビット領域を“１”データで塗りつぶした図形データを書き込んだとする。すると、この領域に対応する１８個のバルブが開状態となり、この１８個のバルブに繋がった１８セット２８８個のノズルから一斉に霧ジェットが噴射される。霧噴射装置１の上方にかざされた操作者の両手が上記１８セット２８８個のノズルから噴射された霧ジェットが達する位置でウロウロとしていると、操作者は、熱作用を伴った触覚により、前記の長方形の図形領域をぼんやりと感得することができる。【選択図】図１
2013061786.tif 000002
【特許請求の範囲】
【請求項１】
コンピューター画面を見る人の手指の動きをカメラで撮影してジェスチャー入力を検出してコンピューター処理に反映させる非接触ジェスチャー入力式のシステムにおいて、霧噴射手段により、ジェスチャー入力を行う操作者の手に実質的に非接触で触覚フィードバックを与える方法であって、
霧噴射手段は、霧ジェットを噴射する複数のノズルを備え、操作者の手に噴射した霧ジェットを到達させることができるように配設され、各ノズルからの霧ジェットの噴射と停止が前記コンピューターにより制御されるものであり、
前記コンピューターが、画面に表示する内容と検出したジェスチャー入力とに関連づけて霧噴射手段を制御し、操作者の手に到達させる霧ジェットの態様を変化させる
方法。
【請求項２】
前記コンピューターが、複数のノズルを、霧ジェットを噴射させるノズルと噴射させないノズルとに区分けするとともに、その区分けの仕方を動的に変化させる
請求項１に記載の方法。
【請求項３】
前記コンピューターが前記霧噴射手段を制御し、各ノズルから噴射する霧ジェットの強度を変化させる
請求項１または２に記載の方法。
【請求項４】
霧噴射手段は、操作者の手に向けて上方から下方へ霧ジェットを噴射するノズル群と、操作者の手に向けて下方から上方へ霧ジェットを噴射するノズル群を備える
請求項１〜３のいずれかに記載の方法。
【請求項５】
霧噴射手段は、操作者の手を取り囲むように配設されたノズル群から手に向けて霧ジェットを噴射する
請求項１〜３のいずれかに記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、コンピューターシステムと人間とが交流するためのヒューマンインタフェース技術に関し、とくに、画像を見ながらジェスチャー入力を行う人の手に実質的に非接触で触覚フィードバックを与える方法に関する。
【背景技術】
【０００２】
モーションキャプチャやジェスチャー入力と呼ばれる技術、および、これらの技術を用いたヒューマンインタフェース技術がいろいろな応用分野で実用化されている。特許第４７０８４２２号公報には、人間の両手の動作をカメラで撮影し、両手の動きで表現された信号を読み取る発明が開示されている。特開２０１１−１００３９６号公報や特開２００９−４２７９６号公報には、利用者の手や身体の動きで表現された信号を読み取り、その信号に応答するように利用者が見るコンピューター画面に表示する映像を変化させたり、その信号に応答するようにコンピューター処理を進める発明が開示されている。
【０００３】
上記したモーションキャプチャやジェスチャー入力は人間の身体や手の動きをカメラで撮影して信号を読み取るものであり、人間は機器に触れずに自由に手などを動かすことのできる非接触の入力方式である。
【０００４】
スマートフォンやタブレットコンピューターのような携帯情報端末においては、タッチパネル式のジェスチャー入力が大いに活用されている。この場合のジェスチャー入力は人間の手指をタッチパネルに接触させて操作する接触式の入力である。特開２０１０−２８７２３２号公報や特開２０１１−５４１９６号公報には、タッチパネル式ジェスチャー入力において、コンピューターからの出力信号によって操作者の指先に触覚情報を伝える触覚フィードバックの発明が開示されている。これによりコンピューターと人間との情報交流のための操作感をより豊かなものにしている。
【発明の開示】
【０００５】
この発明の目的は、コンピューター画面を見る人の手指の動きをカメラで撮影してジェスチャー入力を検出してコンピューター処理に反映させる非接触ジェスチャー入力式のシステムにおいて、コンピューターと人間との情報交流のための操作感をより豊かなものにすべく、コンピューターからの出力信号によって操作者の手指に触覚情報を伝える触覚フィードバックを実現することにある。
【０００６】
非接触ジェスチャー入力式のシステムにおいてコンピューターから操作者の手指に触覚情報を伝えるとは、本質的に矛盾していると思われるであろう。この矛盾を解消するために、発明者は、ドライミスト（登録商標）と呼ばれる霧噴射技術を応用し、手指の表面に霧ジェットを噴射して人の触覚に作用させることを着想し、この発明を創作した。
【０００７】
この発明の核心とするところは、コンピューター画面を見る人の手指の動きをカメラで撮影してジェスチャー入力を検出してコンピューター処理に反映させる非接触ジェスチャー入力式のシステムにおいて、霧噴射手段により、ジェスチャー入力を行う操作者の手に実質的に非接触で触覚フィードバックを与える方法である。
【０００８】
前記の霧噴射手段とは、霧ジェットを噴射する複数のノズルを備え、操作者の手に噴射した霧ジェットを到達させることができるように配設され、各ノズルからの霧ジェットの噴射と停止が前記コンピューターにより制御されるものである。そして、前記コンピューターが、画面に表示する内容と検出したジェスチャー入力とに関連づけて霧噴射手段を制御し、操作者の手に到達させる霧ジェットの態様を変化させ、これにより触覚フィードバックを与えることを特徴とする。
【０００９】
この発明の方法において、前記コンピューターが、複数のノズルを、霧ジェットを噴射させるノズルと噴射させないノズルとに区分けするとともに、その区分けの仕方を動的に変化させるようにし、操作者に手に与える触覚フィードバックの態様を多彩に変化させることが望ましい。また、前記コンピューターが前記霧噴射手段を制御し、各ノズルから噴射する霧ジェットの強度を変化させる方法も採れる。
【図面の簡単な説明】
【００１０】
【図１】霧噴射装置１の上方に操作者が両手を差し出してジェスチャー入力を行っている様子を示す。
【図２】霧噴射装置１の構成例を示す。
【図３】ノズルの配置例を示す。
【図４】ノズルと霧ジェットの形態例を示す。
【発明を実施する形態】
【００１１】
図１に、霧噴射装置１の上方に操作者が両手を差し出してジェスチャー入力を行っている様子を示している。両手の動作は、さらに上方に配設されたカメラ２により撮影されている。カメラ２の撮像出力はコンピューター（図示しない）に取り込まれ、モーションキャプチャ処理により手の動きが分析される。
【００１２】
図示しないが、このコンピューターは、操作者が見ているディスプレイの画面に、インタラクティブなゲーム映像などを表示出力している。操作者は、映し出されるゲーム映像に反応して手を動かし、その手の動きがジェスチャー入力として前記コンピューターに検出され、検出した入力に反応するようにゲーム処理が進行し、映し出されるゲーム映像が変化する。こうした仕組みの非接触ジェスチャー入力の応用システムは周知技術であるので、この明細書ではこれ以上説明しない。
【００１３】
霧噴射装置１の構成例を図２に示している。霧噴射装置１の上面には、２５６００個のノズルが８０×３２０の行列に配設されており、ドライミスト（登録商標）と呼ばれている微細な水粒子からなる霧の細流（霧ジェット）が各ノズルから上方に噴射される。２５６００個のノズルは、互いに近接した４×４＝１６個のノズルを１セットとし、１６００セットに区分されている。図２に示すバルブ集合は１６００個のバルブからなり、１個のバルブに１セット１６個のノズルが繋がっている。ある１個のバルブがバルブドライバにより駆動されて開になると、そのバルブに繋がった１６個のノズルにポンプの高圧水が供給され、これら１６個のノズルから一斉に霧ジェットが噴射される。
【００１４】
ドライミスト（登録商標）としてよく知られているように、きわめて微細な水粒子からなる霧は蒸発作用に優れ、人の肌に触れてもほとんど濡れるという感触はないものの、蒸発の熱作用と相まって、冷ややかなものに触れられているような感触となる。
【００１５】
上記のように、１個のバルブが開かれて、１セット１６個のノズルから一斉に霧ジェットが噴射され、この１６条の霧ジェットが操作者の手に到達すると、操作者は、なにか小さな冷ややかなものに触れられているような感じを覚える。
【００１６】
バルブドライバは、メモリに格納されたバルブ制御データに基づいて１６００個のバルブを個別に開閉駆動する。メモリは、２０×８０＝１６００ビットのビットマップメモリとして捉えることができ、各ビットが１６００個のバルブと１対１で対応しており、バルブドライバは、たとえば“１”ビットに対応するバルブを開状態とし、“０”ビットに対応するバルブは閉状態とする。
【００１７】
メモリにバルブ制御データを書き込むのは前述したコンピューターである。以下においては、感覚的にわかりやすい説明とすることを目的とし、コンピューターがメモリにバルブ制御データを書き込むことを、２０×８０＝１６００ビットのビットマップメモリに図形データを書き込むと表現する。
【００１８】
たとえば、コンピューターがメモリに、縦６ビット横３ビットの長方形の１８ビット領域を“１”データで塗りつぶした図形データを書き込んだとする。すると、この領域に対応する１８個のバルブが開状態となり、この１８個のバルブに繋がった１８セット２８８個のノズルから一斉に霧ジェットが噴射される。霧噴射装置１の上方にかざされた操作者の両手が上記１８セット２８８個のノズルから噴射された霧ジェットが達する位置でウロウロとしていると、操作者は、熱作用を伴った触覚により、前記の長方形の図形領域をぼんやりと感得することができる。
【００１９】
たとえば、コンピューターが操作者に見せているゲーム映像に関連し、霧噴射装置１の上面の所定位置において上記のように２８８個のノズルから噴射する霧ジェットの集合により長方形の図形を描き、この図形を触覚により感得した操作者が図形に触れた状態で所定のジェスチャーをし、コンピューターがこのジェスチャー入力を検出するとゲーム映像を変化させるように反応するとともに、霧ジェットの集合により描いていた長方形の図形を円形の図形に変化させる反応をする。これが触覚フィードバックのごく簡単な具体例である。
【００２０】
また、コンピューターがメモリのビットマップ上で上記の長方形の図形を右から左へと移動させ、バルブドライバがメモリ上のデータ更新に追従してバルブ集合の駆動状態を変化させるとする。つまり、霧噴射装置１の上面において、上記のように２８８個のノズルから噴射する霧ジェットの集合により描かれる長方形の図形が右から左へと移動する。操作者は両手の触覚により長方形の図形が移動することを感得することができる。
【００２１】
霧噴射装置１の上面における上記の図形移動の処理と関連づけて、操作者に見せるゲーム映像を変化させ、操作者が霧ジェット集合により描かれた図形を両手で捕まえるジェスチャーをし、コンピューターがこのジェスチャー入力を検出すると霧ジェット集合により描かれた図形の移動を停止し、かつ、図形を上下左右にすこし振動させるように変化させる。この処理とゲーム処理の進行とを関連づけする。これが触覚フィードバックの別の具体例である。
【００２２】
以上説明したいくつかの具体例から明らかなように、コンピューター画面を見る人の手指の動きをカメラで撮影してジェスチャー入力を検出してコンピューター処理に反映させる非接触ジェスチャー入力式のシステムにおいて、この発明は、コンピューター処理により操作者の手に霧噴射手段からの霧ジェットを触れさせることで操作者に触覚情報を伝え、かつ、画面に表示する内容と検出したジェスチャー入力とに関連づけて霧噴射手段を制御し、操作者の手に到達させる霧ジェットの態様を変化させ、これにより触覚フィードバックを与えることを特徴とするものである。具体的な実施の態様は、説明したいくつかの例に限定されないのは勿論であり、ここまでの説明に接した当業者であれば、さまざまな応用形態を容易に想到することであろう。
【００２３】
ここで霧噴射手段の装置形態について別の例をあげる。霧噴射手段は、操作者の手に向けて上方から下方へ霧ジェットを噴射するノズル群と、操作者の手に向けて下方から上方へ霧ジェットを噴射するノズル群を備えることとしても良い。また、霧噴射手段は、操作者の手を取り囲むように配設されたノズル群から手に向けて霧ジェットを噴射することとしても良い。
【００２４】
１個のノズルと、１個のバルブと、１個のバルブドライバを対応づけし、コンピューターがひとつ１つのノズルから霧ジェットを噴射するしないを制御するように構成すれば、操作者の手に与える触覚フィードバックの解像度を高めることができる。図３と図４にそのような実施形態の要点を示している。
【００２５】
図３に示すノズル配置の実施形態では、１２８００個のノズルを縦８０個×横１６０個のマトリクス状に配列した例であり、ノズルの配列ピッチは一般的な点字（６点点字）の規格と同等の２．４ｍｍとしている。コンピューターは１２８００個のノズルのひとつ１つから霧ジェットの噴射を個別に制御する。ノズルから噴射する霧ジェットの形態の一例を図４に示している。ノズルからの霧ジェットのスプレー距離は３０ｃｍに達し、スプレー角度は０度に近い直進性をもった形状である。ノズル径はスプレー距離を考慮し、霧ジェットがユーザー到達する時点で点字で使用されているのと同様に１．４〜１．５ｍｍになるように選択すると良い。
【図１】
2013061786.tif 000003
【図２】
2013061786.tif 000004
【図３】
2013061786.tif 000005
【図４】
2013061786.tif 000006