(57)【要約】【課題】  無音かつ振動を生む動きに係る触覚を再現すること。【解決手段】ユーザにより把持される本体と、前記本体の動きを検出するセンサと、前記本体に設けられる振動発生器と、実世界で発生する音が人により知覚できないレベルでありかつ実世界で発生する振動が人により知覚できるレベルである物体の動きについて、該物体の動きに応じた振動を前記振動発生器に発生させる信号を記憶する記憶部と、前記本体の動きに連動して、前記信号を前記振動発生器に与える制御部とを含む、触覚再現装置が開示される。【選択図】  図１
2019098231.tif 000002
【特許請求の範囲】
【請求項１】
ユーザにより把持される本体と、
前記本体の動きを検出するセンサと、
前記本体に設けられる振動発生器と、
実世界で発生する音が人により知覚できないレベルでありかつ実世界で発生する振動が人により知覚できるレベルである物体の動きについて、該物体の動きに応じた振動を前記振動発生器に発生させる信号を記憶する記憶部と、
前記本体の動きに連動して、前記信号を前記振動発生器に与える制御部とを含む、触覚再現装置。
【請求項２】
前記制御部は、更に、前記本体の動きに連動して、前記物体の動きを表現する画像を生成する、請求項１に記載の触覚再現装置。
【請求項３】
前記本体は、内部に液体を充填可能な容器を模した形態であり、
前記物体の動きは、液体を充填した容器を手で動かしたときの液体の動きを含む、請求項１又は２に記載の触覚再現装置。
【請求項４】
触覚再現信号生成方法であって、
実世界で発生する音が人により知覚できないレベルでありかつ実世界で発生する振動が人により知覚できるレベルである物体の動きについて、前記物体の動きに応じた振動を振動発生器に発生させる信号を生成することを含み、
前記信号を生成することは、前記物体の実際の動きよりも大きい別の動きの録音データに基づく、触覚再現信号生成方法。
【請求項５】
前記物体の動きは、液体を充填した容器を手で動かしたときの液体の動きを含み、
前記録音データは、前記容器よりも容積が大きい代替容器内の液体を動かすことで取得される、請求項４に記載の触覚再現信号生成方法。
【請求項６】
前記信号を生成することは、前記録音データを加工することを含む、請求項５に記載の触覚再現信号生成方法。
【請求項７】
前記録音データを加工することは、周波数を変化させずに再生時間を短縮する処理を含む、請求項６に記載の触覚再現信号生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、触覚再現装置及び触覚再現信号生成方法に関する。
【背景技術】
【０００２】
ユーザにより振動を知覚可能な上限値を越える周波数帯域に属する音圧情報を、当該上限値以下の周波数帯域または低周波数帯域の音圧情報に変換し、変換した後の音圧情報を用いて、振動信号を生成する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１６３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような従来技術では、実世界で人により知覚できるレベルの音を生じないが人により知覚できるレベルの振動を生む物体の動き（以下、「無音かつ振動を生む動き」とも称する）について、該物体の動きに応じた振動を振動発生器で発生させることが難しい。例えば、無音かつ振動を生む動きとして、水を入れたコップを傾けたり回転させたりするときの水の動きがある。このとき、水が移動することでコップにはユーザが知覚可能な振動が生じるが、音は実質的に生じない。
【０００５】
そこで、１つの側面では、本発明は、無音かつ振動を生む動きに係る触覚を再現することを目的とする。
【課題を解決するための手段】
【０００６】
１つの側面では、ユーザにより把持される本体と、
前記本体の動きを検出するセンサと、
前記本体に設けられる振動発生器と、
実世界で発生する音が人により知覚できないレベルでありかつ実世界で発生する振動が人により知覚できるレベルである物体の動きについて、該物体の動きに応じた振動を前記振動発生器に発生させる信号を記憶する記憶部と、
前記本体の動きに連動して、前記信号を前記振動発生器に与える制御部とを含む、触覚再現装置が提供される。
【発明の効果】
【０００７】
１つの側面では、本発明によれば、無音かつ振動を生む動きに係る触覚を再現することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】一実施例による触覚再現装置１の制御系の概略構成を示す図である。
【図２Ａ】一実施例による触覚再現装置１の本体４を概略的に示す斜視図である。
【図２Ｂ】角度パラメータの説明図である。
【図３Ａ】容器画像信号の説明図である。
【図３Ｂ】音声信号の説明図である。
【図４】触覚再現装置１の処理装置１０により実現される処理の一例を示すフローチャートである。
【図５】触覚再現装置１の使用態様の説明図である。
【図６】音声信号の生成方法の説明図である。
【図７】録音データの加工方法の一例を示す概略フローでチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００１０】
図１は、一実施例による触覚再現装置１の制御系の概略構成を示す図である。図２Ａは、一実施例による触覚再現装置１の本体４を概略的に示す斜視図である。図３Ａは、容器画像信号の説明図であり、図３Ｂは、音声信号の説明図である。
【００１１】
触覚再現装置１は、本体４と、処理装置１０（制御部の一例）と、表示装置２０と、振動発生器３０と、慣性センサ４２とを含む。
【００１２】
本体４は、図２Ａに示すように、内部に液体を充填可能な容器（例えばコップやグラス）を模した形態である。従って、本体４は、中空であり、底を有する。但し、変形例では、中実であってもよい。以下、「容器」とは、特に言及しない限り、コップやグラスのような、人が手で把持できる小型の容器を意味する。本体４は、ユーザにより把持される。本体４におけるユーザ把持部には、振動発生器３０（図２Ａでは点線で模式的に図示）が設けられる。ユーザ把持部は、例えばユーザにより把持される際に指が触れることが予定される部位である。尚、変形例では、本体４は、ユーザの手に装着される手袋の形態である。この場合、振動発生器３０は、本体４における指に対応する部位に設けられてよい。
【００１３】
処理装置１０は、コンピュータにより形成される。処理装置１０は、例えばＰＣ（Personal Computer）内の処理装置や、スマートフォンなどの端末の処理装置により実現されてもよいし、専用の処理装置であってもよい。また、処理装置１０は、複数の処理装置により協動して実現されてもよい。
【００１４】
処理装置１０は、第１記憶部１２と、第２記憶部１３とを含む。第１記憶部１２は、ＲＯＭ（Read Only Memory）であってもよいし、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの補助記憶装置であってもよい。第１記憶部１２には、画像信号と、音声信号とが記憶される。第２記憶部１３は、例えばＲＡＭ（Random Access Memory）である。
【００１５】
画像信号は、表示装置２０に与えられる。表示装置２０では、画像信号に基づいて画像が出力される。本実施例では、一例として、画像信号は、水の入った容器（コップやグラス）の動きを表現する画像を生成するための画像信号（以下、「容器画像信号」とも称する）である。容器画像信号は、例えば、容器の動きとともに、容器の動きの伴う水の動きを表現できるように形成される。例えば、図３Ａに示すように、本体４の向き（θ、α）に応じた容器画像信号（θ、α）が予め用意されてよい。尚、図３Ａでは、一例として、本体の向き（θ、α）は、例えば中心軸Ｉを基準として、図２Ｂに示すような２つの角度パラメータ（θ、α）で表現されている。図２Ｂにおいて、ｚ軸は、重力方向に対応し、ｘｙ平面は水平面であり、ベクトルＲは、本体４の中心軸Ｉのベクトルであり、ベクトルＲ１は、ベクトルＲをｘｙ平面に投影したベクトルである。この場合、例えば、（θ、α）≒（θ１、α１）のとき、画像信号（θ１、α１）が使用されてよい。
【００１６】
音声信号は、振動発生器３０に与えられる。振動発生器３０は、音声信号に応じた振動を発生する。音声信号は、容器内の水の動き（物体の動きの一例）に起因した振動であって、容器を持つ手で知覚される振動を表現できるように形成される。音声信号の生成方法の例は後述する。例えば、図３Ｂに示すように、本体４の動きの種別及び大きさに応じた音声信号が予め用意されてよい。これは、容器の動き方や大きさによって容器内の液体の動き方が異なり、それに伴い生じる振動が異なり得るためである。本体４の動きの種別は、例えば回転、並進、又はこれらの任意の組み合わせで規定される動きの種別あり、並進については、例えば本体４の中心軸Ｉを基準とした複数の所定の並進方向のそれぞれごとかつ加速度ごとに音声信号が予め用意され、回転については、例えば本体４の中心軸Ｉを基準としたロール・ピッチ・ヨーの各軸まわりの回転であり、各回転方向ごとかつ加速度ごとに音声信号が予め用意されてよい。この場合、例えば、ピッチ軸まわりの回転方向が正（図３Ｂではピッチ方向１で表記）でありかつ加速度が略γ１のとき、音声信号Ａ１が使用されてよい。また、変形例では、より複雑な動き（例えば回転又は並進の複合の動き）に対応した音声信号が予め用意されてもよい。尚、変形例ではベースの音声信号が、本体４の動きの種別ごとに、動きの大きさ（加速度）に依らずに設定されてもよい。この場合、処理装置１０は、動きの大きさに応じた係数を、ベースの音声信号に乗じることで、動きの大きさに応じた音声信号を生成してよい。
【００１７】
表示装置２０は、例えば液晶ディスプレイ等である。表示装置２０は、ユーザが目視できる位置に配置される。尚、変形例では、表示装置２０は省略されてもよい。
【００１８】
振動発生器３０は、ユーザが知覚できる振動を発生する。振動発生器３０は、例えば振動素子（図示せず）を含む。振動素子は、例えば、振動子が金属製のケース又はカバーの内部で板バネなどの弾性部材によって、振動自在に支持された構成を備える。振動子にはコイルが巻かれており、ケース内にはコイルに対向する磁石が固定されている。この場合、処理装置１０は、振動素子におけるコイルに対して音声信号に係る交流電流を与える。これによって、振動素子の振動子が振動し、振動情報を呈示することが可能となる。尚、音声信号に係る交流電流は、周期や振幅を可変することで、多様な振動を実現できる。
【００１９】
慣性センサ４２は、後述の本体４に設けられる。慣性センサ４２は、本体４の慣性情報を取得する。慣性センサ４２は、例えば３軸の加速度成分を検出する加速度センサと、ジャイロセンサとの組合わせにより実現されてよい。慣性センサ４２は、本体４の中心軸Iの向き（例えばベクトル）を表す傾斜情報や、本体４の回転方向及び並進方向の動き情報を含む慣性情報を取得する。傾斜情報は、例えば、図２Ｂに示すような２つの角度パラメータ（θ、α）である。動き情報は、並進については、本体４の動きの大きさ（例えば加速度の大きさ）や方向を表す。動き情報は、回転については、本体４の動きの大きさ（例えば本体４の中心軸Ｉを基準としたロール・ピッチ・ヨーの各軸まわりの回転加速度）を表す。
【００２０】
図４は、触覚再現装置１の処理装置１０により実現される処理の一例を示すフローチャートである。図４に示す処理は、触覚再現装置１の電源のオン状態において、所定周期毎に繰り返し実行される。尚、以下の説明において、「音声信号の再生」とは、音声信号を振動発生器３０に与えることを意味する。
【００２１】
ステップＳ４００では、慣性センサ４２から傾斜情報及び慣性情報を取得し、第２記憶部１３に記憶する。尚、第２記憶部１３には、例えばＦＩＦＯ(First-in, First-out) 形式で、最新の所定期間にわたる慣性情報が記憶されてよい。
【００２２】
ステップＳ４０２では、処理装置１０は、再生フラグが"１"であるか否かを判定する。再生フラグが"１"であることは、音声信号が振動発生器３０に与えられている状態（即ち振動発生器３０が音声信号に基づいて振動を発生している状態）を表す。再生フラグの初期値は"０"である。判定結果が"ＹＥＳ"の場合は、ステップＳ４０４に進み、それ以外の場合は、ステップＳ４１６に進む。
【００２３】
ステップＳ４０４では、処理装置１０は、ステップＳ４００で得た慣性情報に基づいて、本体４の動きがあるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ４０６に進み、それ以外の場合（即ち本体４が静止状態である場合）は、ステップＳ４１０に進む。
【００２４】
ステップＳ４０６では、処理装置１０は、第２記憶部１３内の慣性情報に基づいて、動きの種別又は大きさに変化があったか否かを判定する。例えば、動きの種別が回転である状態から、並進となった場合、処理装置１０は、動きの種別に変化があったと判定する。
【００２５】
ステップＳ４０８では、処理装置１０は、現在の本体４の動きの種別及び大きさに応じた音声信号を第１記憶部１２から抽出し、抽出した音声信号を再生音声信号として設定する。
【００２６】
ステップＳ４１０では、処理装置１０は、再生終了条件が成立したか否かを判定する。再生終了条件は、例えば本体４が静止状態が所定時間ΔＴ以上継続した場合に成立してよい。ステップＳ４１２に進み、それ以外の場合は、ステップＳ４１４に進む。
【００２７】
ステップＳ４１２では、処理装置１０は、再生フラグを"０"にリセットし、再生音声信号を"無し"にリセットする。
【００２８】
ステップＳ４１４では、処理装置１０は、現在再生中の再生音声信号の再生をフェードアウトさせる。例えば、処理装置１０は、現在再生中の再生音声信号の振幅を徐々に減衰させていく態様で、現在再生中の再生音声信号を加工（補正）し、振動発生器３０に与える。例えば、処理装置１０は、現在再生中の再生音声信号の振幅が所定時間ΔＴ後に"０"になるように（即ち再生が終了するように）再生音声信号を補正する。
【００２９】
ステップＳ４１６では、処理装置１０は、ステップＳ４００で得た慣性情報に基づいて、本体４の動きがあるか否かを判定する。判定結果が"ＹＥＳ"の場合は、ステップＳ４１６に進み、それ以外の場合（即ち本体４が静止状態である場合）は、そのまま終了する。
【００３０】
ステップＳ４１８では、処理装置１０は、今回検出した本体４の動きの種別及び大きさに応じた音声信号を第１記憶部１２から抽出し、抽出した音声信号を再生音声信号として設定する。
【００３１】
ステップＳ４２０では、処理装置１０は、現在設定している再生音声信号を振動発生器３０に与える。
【００３２】
ステップＳ４２２では、処理装置１０は、ステップＳ４００で得た傾斜情報に基づいて、現在の本体４の向きに応じた容器画像信号を、第２記憶部１３から抽出して、表示装置２０を介して出力する。
【００３３】
このようにして、図４に示す処理によれば、慣性センサ４２からの慣性情報に基づいて、本体４の動きに応じた振動が振動発生器３０に発生される。
【００３４】
尚、図４は、あくまで一例であり、多様な変更が可能である。例えばステップＳ４１０、ステップＳ４１２は省略されてもよい。この場合、本体４の動きが止まると、直ちに振動発生器３０の振動が停止される。また、図４では、本体４の動きの種別が考慮されているが、簡易的な構成として、本体４の動きの種別が考慮されなくてもよい。この場合、本体４の動きの有無に応じて、何らかの本体４の動きがある場合に、所定の音声信号が振動発生器３０に与えられる。
【００３５】
図５は、触覚再現装置１の使用態様の説明図である。図５では、表示装置２０を見ながらユーザが本体４を手に持っている状態が示される。表示装置２０上には、容器画像信号に基づく表示画像３００が出力されている。表示画像３００は、一例として、液体３０２が入ったコップ３０１の画像を含む。ユーザが本体４を動かすと、容器画像信号が変化することで表示装置２０上の表示画像３００が変化する。また、同時に、振動発生器３０が振動を発生させる。これにより、ユーザは、振動発生器３０からの振動を介して、あたかも本体４内に水が入っているかのような触覚情報が得られる。
【００３６】
ここで、実世界で、水の入った容器を手で動かしたときの水の動きによって発生する音は、人により知覚できないレベルである。これに対して、実世界で、水の入った容器を手で動かしたときの水の動きによって容器に発生する振動は、人により知覚できるレベルである。即ち、実世界で水の入った容器の動きは、無音かつ振動を生む動きである。従って、本実施例によれば、無音かつ振動を生む動きに係る触覚を再現できる。
【００３７】
次に、図６以降を参照して、音声信号の生成方法（触覚再現信号生成方法の一例）について説明する。
【００３８】
図６は、音声信号の生成方法の説明図である。図６には、音声信号に係る容器（コップ等）よりも容積が大きい代替容器５００が示される。代替容器５００の容積は、例えば３０リットル以上であり、湯船の容積相当の２００リットル以上であってもよい。代替容器５００の形状は任意であるが、好ましくは容器と相似な関係である。
【００３９】
図６では、代替容器５００内の水５０２と、マイク６００及び録音機６０２とが模式的に示される。音声信号の生成方法は、先ず、代替容器５００内の水５０２を動かし、その際の音（代替容器５００の壁に当たる音など）を録音することをで、録音データを取得することを含む。代替容器５００内の水５０２は、機械等で動かしてもよいし、人の手で動かしてもよい。
【００４０】
図７は、音声信号の生成方法の説明図であり、録音データの加工方法の一例を示す概略フローでチャートである。図７の加工方法は、例えば人手を介して実行される。
【００４１】
先ず、録音データの中から、必要な部分をベースとして決定する（ステップＳ７００）。次いで、例えばタイムストレッチを行う（ステップＳ７０２）。タイムストレッチとは、録音データに係るオーディオ信号の周波数を変化させずに、再生時間だけを縮める処理である。これは、代替容器５００内の水の動きの方が、コップ内の水の動き（揺れ）よりも小さい周期（例えば水面のある波が壁に当たって反射してから他の壁に当たるまでの時間が長い）であるためである。次いで、イコライザーを用いて録音データのうち、振動発生器３０が持つ固有振動数（共振周波数）の成分を強調し、他の周波数成分をカット又は減衰する（ステップＳ７０４）。
【００４２】
ところで、実世界で音を発生する動きについては、該動きに起因した振動を表現できる音声信号を生成することは、比較的容易である。実世界で音を発生する動きとは、例えばコップに水が注がれる際の水の動きである。この場合、水が注がれる際の実際の音をマイクで拾って得られる録音データに基づいて、コップに水が注がれる際の水の動きに起因した振動を表現できる音声信号を、比較的容易に生成できる。
【００４３】
ここで、無音かつ振動を生む動きは、実際の音の録音データを得ることができない。従って、実世界で音を発生する動きと同様の態様で音声信号を生成することは、実質的にできない。
【００４４】
この点、本実施例の音声信号の生成方法によれば、上述のように、実際の動き（水の入った容器を手で動かしたときの実際の水の動き）よりも大きい別の動きの録音データが用いられる。具体的には、代替容器５００内の水５０２を動かして得られる録音データが用いられる。代替容器５００は、上述のように、音声信号に係る容器（コップ等）よりもはるかに大きいので、水量も多い。従って、代替容器５００内の水５０２を場合、コップ内の水を動かす場合よりも、水の動きによる音をピックアップし易くなる。従って、代替容器５００内の水５０２を動かして得られる録音データを用いることで、コップ内の水の動きに起因した振動を表現できる音声信号が作成し易くなる。このようにして、本実施例の音声信号の生成方法によれば、無音かつ振動を生む動きに係る振動を表現できる音声信号の生成が容易となり、無音かつ振動を生む動きに係る触覚を再現することが可能となる。
【００４５】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【００４６】
例えば、上述した実施例では、無音かつ振動を生む動きは、容器内の水の動きであるが、これに限られない。例えば、無音かつ振動を生む動きは、液体以外の微小な個体の動きなどでありうる。この場合も、微小な個体よりも有意に大きい代替物体を用いることで、微小な個体の動きよりも大きい動きの録音データを得ることができ、その結果、同様に、無音かつ振動を生む動きに係る触覚を再現することが可能となる。
【符号の説明】
【００４７】
１  触覚再現装置
１０  処理装置
１２  第１記憶部
１３  第２記憶部
２０  表示装置
３０  振動発生器
４０  本体
４２  慣性センサ
３００  表示画像
３０１  コップ
３０２  液体
５００  代替容器
５０２  水
６００  マイク
６０２  録音機
【図１】
2019098231.tif 000003
【図２Ａ】
2019098231.tif 000004
【図２Ｂ】
2019098231.tif 000005
【図３Ａ】
2019098231.tif 000006
【図３Ｂ】
2019098231.tif 000007
【図４】
2019098231.tif 000008
【図５】
2019098231.tif 000009
【図６】
2019098231.tif 000010
【図７】
2019098231.tif 000011