(57)【要約】  振動発生装置１０は取り付けられた実物体に振動を与える。振動制御装置２０の振動検出部２２は、実物体６を伝搬した振動を検出する。制御部２４は、検出された振動の強さとタイミングに基づき、実物体６に係る情報と、振動発生装置１０までの距離を取得し、それに基づき振動発生装置１０における振動パラメータを調整する。補助情報取得装置３０は、撮影画像やユーザ入力を介して実物体６に係る情報などを取得し振動制御装置２０に通知する。
2020026443.tif 000002
【特許請求の範囲】
【請求項１】
実物体に取り付けられることにより当該実物体に振動を与える振動発生装置と、
前記振動発生装置が発生させた振動を実物体を介して検出し、当該振動の強さに応じて前記振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する振動制御装置と、
を含むことを特徴とする触覚表現用振動制御システム。
【請求項２】
前記振動制御装置は、振動の伝搬に要した時間および前記振動の強さに基づき、前記実物体に係る情報および、前記振動発生装置と前記振動制御装置の位置関係を取得することにより、前記振動パラメータの調整量を決定することを特徴とする請求項１に記載の触覚表現用振動制御システム。
【請求項３】
前記実物体を含む実空間を撮影した画像に基づき、実物体に係る情報および、振動発生装置と振動制御装置の位置関係の少なくともいずれかを表す補助情報を取得する補助情報取得装置をさらに備え、
前記振動制御装置は、前記補助情報を、前記振動パラメータの調整量の決定に用いることを特徴とする請求項１または２に記載の触覚表現用振動制御システム。
【請求項４】
前記補助情報取得装置は、ステレオカメラまたはデプスカメラが生成した、実物体までの距離を表すデプス画像に基づき、前記補助情報を取得することを特徴とする請求項３に記載の触覚表現用振動制御システム。
【請求項５】
前記補助情報取得装置は、マルチスペクトルカメラまたはハイパースペクトルカメラが撮影した画像に基づき、前記補助情報を取得することを特徴とする請求項３に記載の触覚表現用振動制御システム。
【請求項６】
前記補助情報取得装置は、前記振動発生装置または前記振動制御装置の少なくともいずれかに備えられたカメラが撮影した画像に基づき、前記補助情報を取得することを特徴とする請求項３に記載の触覚表現用振動制御システム。
【請求項７】
前記補助情報取得装置は、ユーザを含む空間を撮影した画像に基づき、振動を与えた際のユーザの反応に係る情報をさらに取得し、
前記振動制御装置は、前記反応に係る情報に基づき、前記振動発生装置における振動パラメータを調整することを特徴とする請求項３から６のいずれかに記載の触覚表現用振動制御システム。
【請求項８】
前記実物体に係る情報の入力画面をディスプレイに表示させ、当該入力画面に対しユーザが入力した情報に基づき、実物体に係る情報および、前記振動発生装置と前記振動制御装置の位置関係の少なくともいずれかを表す補助情報を取得する補助情報取得装置をさらに備え、
前記振動制御装置は、前記補助情報を、前記振動パラメータの調整量の決定に用いることを特徴とする請求項１または２に記載の触覚表現用振動制御システム。
【請求項９】
前記実物体に対応した視聴覚データを生成し出力装置に出力させる視聴覚データ処理装置をさらに備え、
前記振動制御装置は、前記視聴覚データの内容に基づき、前記振動発生装置における振動パラメータを調整することを特徴とする請求項１から８のいずれかに記載の触覚表現用振動制御システム。
【請求項１０】
前記振動制御装置は、前記視聴覚データの出力強度の増加に応じて、振動の強さを低減するように、前記振動発生装置における振動パラメータを調整することを特徴とする請求項９に記載の触覚表現用振動制御システム。
【請求項１１】
前記視聴覚データ処理装置は、前記振動制御装置が検出した振動の強さに応じて、前記視聴覚データの出力強度を調整することを特徴とする請求項９または１０に記載の触覚表現用振動制御システム。
【請求項１２】
実物体に取り付けられることにより当該実物体に振動を与える触覚表現用振動発生装置であって、
振動を発生させる振動発生部と、
他の振動発生装置が発生させた振動を前記実物体を介して検出し、当該振動の強さに応じて前記他の振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する振動制御部と、
を備えたことを特徴とする触覚表現用振動発生装置。
【請求項１３】
実物体に取り付けられた振動発生装置が発生させた振動を実物体を介して検出する振動検出部と、
検出された振動の強さに応じて前記振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する制御部と、
を備えたことを特徴とする触覚表現用振動制御装置。
【請求項１４】
実物体に取り付けられることにより当該実物体に振動を与えるステップと、
前記振動を実物体を介して検出し、当該振動の強さに応じて、発生させる振動の強さを規定する振動パラメータを調整するステップと、
を含むことを特徴とする触覚表現用振動制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、触覚を利用したコンテンツ表現を実現する触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法に関する。
【背景技術】
【０００２】
触覚や力覚を利用した情報提示を行うハプティックデバイスが開発されている。ハプティックデバイスとしては、例えばゲームのシーンに合わせて振動を発生させることによりプレイヤの手に振動を与えるゲームコントローラから、仮想現実の一部として実際の物を持っているかのような感覚を与えるグローブ型のデバイスまで、多様な形態が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−７２６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
コントローラを仮想世界でのアイテムに見立て、状況に応じて振動を与える態様は、コントローラによる詳細な操作を行いながら触覚的な情報も楽しめる利点がある一方、アイテムとコントローラの形状に差があると臨場感に乏しくなる。仮想世界のアイテムごとに同形状のコントローラを製造したり、高度な制御を必要とするグローブ型のデバイスを導入したりするのは、コストの面で問題がある。【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、触覚を利用した臨場感のあるコンテンツ表現を、低いコストで容易に実現できる技術を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様は触覚表現用振動制御システムに関する。この触覚表現用振動制御システムは、実物体に取り付けられることにより当該実物体に振動を与える振動発生装置と、振動発生装置が発生させた振動を実物体を介して検出し、当該振動の強さに応じて振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する振動制御装置と、を含むことを特徴とする。【０００７】
本発明の別の態様は触覚表現用振動発生装置に関する。この触覚表現用振動発生装置は、実物体に取り付けられることにより当該実物体に振動を与える触覚表現用振動発生装置であって、振動を発生させる振動発生部と、他の振動発生装置が発生させた振動を実物体を介して検出し、当該振動の強さに応じて他の振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する振動制御部と、を備えたことを特徴とする。【０００８】
本発明のさらに別の態様は触覚表現用振動制御装置に関する。この触覚表現用振動制御装置は、実物体に取り付けられた振動発生装置が発生させた振動を実物体を介して検出する振動検出部と、検出された振動の強さに応じて振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する制御部と、を備えたことを特徴とする。【０００９】
本発明のさらに別の態様は触覚表現用振動制御方法に関する。この触覚表現用振動制御方法は、実物体に取り付けられることにより当該実物体に振動を与えるステップと、振動を実物体を介して検出し、当該振動の強さに応じて、発生させる振動の強さを規定する振動パラメータを調整するステップと、を含むことを特徴とする。【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によると、触覚を利用した臨場感のあるコンテンツ表現を、低いコストで容易に実現できる。
【図面の簡単な説明】
【００１２】
【図１】本実施の振動制御システムの使用環境を例示する図である。
【図２】本実施の形態の振動制御システムの構成を例示する図である。
【図３】本実施の形態における振動制御手順のフローチャートを示す図である。
【図４】本実施の形態における補助情報取得装置が撮影画像から補助情報を取得する際の、カメラの設置位置を例示する図である。
【図５】本実施の形態において補助情報取得装置がユーザ入力により補助情報を取得する際に、ディスプレイに表示させる入力画面を例示する図である。
【図６】本実施の形態において振動制御装置の機能を有する振動発生装置を導入した場合の、振動制御システムの構成を例示する図である。
【図７】本実施の形態においてユーザに与える視聴覚データの内容に基づき振動パラメータを調整する態様を説明するための図である。
【発明を実施するための形態】
【００１３】
図１は、本実施の形態の振動制御システムの使用環境を例示している。この例でユーザ８は、野球ゲームをプレイしている。例えばユーザ８がバッターとして自室に立ち、ディスプレイ１６に表示された仮想世界である野球場のピッチャーが投げる球を、適切なタイミングで打つことによりゲームが進捗する。このような態様において、ユーザは自分が所有するバット４をコントローラとして利用する。この場合、バット４には図示しない加速度センサ、角速度センサなどのモーションセンサを取り付けることにより、バット４が振られたタイミングや速度、角度などを取得できる。これらのデータに基づき、仮想空間における打球の飛ぶ方向や飛距離を算出し、画像に反映させる。バット４の動きは、図示しない撮像装置で撮影することによっても得られる。
【００１４】
ここでバット４にはさらに、バット４を振動させる振動発生装置１０を取り付け、仮想的に球が当たったタイミングで振動を発生させると、ユーザ８に球が当たったような感覚を与えられる。汎用的なコントローラの代わりに本物のバット４を持ち、それが振動することから、ユーザ８は高い臨場感を味わうことができる。一方、バット４の材質、形状、長さは様々なため、どの場合でも事前設定にしたがって同じ振動を与えた場合、使用するバット４によって振動が物足りなかったり強すぎたりすることが考えられる。
【００１５】
そこで本実施の形態では、振動の強さ状況に応じて調整する振動制御装置２０を導入する。振動制御装置２０の少なくとも一部は図示するように、バット４において振動発生装置１０と異なる位置に取り付けるようにする。そして振動発生装置１０が発生させ、バット４を伝搬した振動を検出することにより、バット４の材質や振動発生装置１０までの距離など、振動の強さの調整に用いる情報を取得する。これにより、バット４の実物や、振動発生装置１０が取り付けられている状態などに応じて、振動の強さを適切に制御する。
【００１６】
なお図１で示した使用環境はあくまで例示であり、ユーザが把持する実物体は、例えば釣り竿、ラケット、ハンマーなど、実現したい仮想空間によって様々であってよい。また必要なアイテムそのものがなくても、ユーザが類似の実物体を見立てれば、当該実物体に適応した振動を発生させることができるため、同様の臨場感を与えられる。さらに本実施の形態の実物体は、仮想空間で必要なアイテムに限らない。例えば実空間でおもちゃの魚を釣る魚釣りゲームで使う、おもちゃの、あるいは本物の釣り竿などでもよい。
【００１７】
すなわち本実施の形態ではディスプレイ１６や、そこに表示される電子コンテンツは必須でなく、バット４と仮想世界とのインタラクションについては従来技術を適用できるため、説明は省略する。以後、振動発生装置１０と振動制御装置２０を含む振動制御システムに重点を置いて説明する。
【００１８】
図２は、本実施の形態の振動制御システムの構成を例示している。振動制御システム１は触覚表現用の振動を制御するシステムであって、少なくとも、実物体６に振動を与える触覚表現用の振動発生装置１０と、当該振動発生装置１０における振動パラメータを調整する触覚表現用の振動制御装置２０を含む。図示する例では振動制御システム１はさらに、実際の振動以外の情報源から、実物体６に係る情報および振動発生装置１０と振動制御装置２０の位置関係の少なくともいずれかを表す補助情報を取得する補助情報取得装置３０を含んでいる。なお振動制御システム１に含まれる振動発生装置１０と振動制御装置２０の数は限定されない。
【００１９】
振動発生装置１０と振動制御装置２０はいずれも、実物体６に着脱可能な構造を有する。例えば貼り付けたり剥がしたりが可能な接着面を有していてもよいし、バンドなどで固定する構造としてもよい。あるいは実物体６が内部に空洞を有する場合、当該空洞に入れるようにしてもよい。例えばコップの中に入れることにより、氷が入っているような感覚を再現してもよい。逆に振動発生装置１０の内部に空洞を設け、ラケットのグリップ部分など実物体をはめ込む構造としてもよい。すなわちここでの「着脱」は固定されるか否かによらず、振動を伝えたり検知したりできる程度に接触している状態と、その状態を解除した状態を指すものとする。また振動発生装置１０と振動制御装置２０の形状は限定されない。
【００２０】
振動発生装置１０は、振動の強さを制御できればその構造や振動の発生原理は特に限定されず、偏心モータ型、リニア共振アクチュエータ、ピエゾなどの既存デバイスのいずれでもよい。また振動発生装置１０が発生させる「振動」は単振動に限らず、ユーザが触覚により感じることのできる微細な動きであれば、規則性の有無は問わない。振動制御装置２０は、振動発生装置１０が発生させた振動を実物体６を介して検出する振動検出部２２と、当該振動の強さに応じて振動発生装置１０が発生させる振動の強さを規定する振動パラメータを調整する制御部２４を含む。
【００２１】
ここで「振動の強さ」とは、人が触覚により感じる強さを基準とするが、それを規定する限り物理量の種類は限定されない。例えば振動の変位、速度、および加速度のいずれか、またはそれらの組み合わせとすることが考えられる。調整対象の振動パラメータも、振動発生装置１０において直接的または間接的に制御可能なパラメータであれば特に限定されないが、これも振動の変位、速度、および加速度のいずれか、またはそれらの組み合わせとすることが考えられる。
【００２２】
振動検出部２２は、上述したようなパラメータを計測できれば、その構造や測定原理は特に限定されず、実用化されている振動計測器のいずれを利用してもよい。振動検出部２２はまた、振動発生装置１０が発振を開始したときの振動が最初に到達する時刻も取得する。制御部２４は、検出された振動の強さおよび伝搬に要した時間に基づき、実物体６に係る情報および、振動発生装置１０と振動制御装置２０の位置関係を取得する。そしてそれらの値に基づき振動パラメータの調整量を決定したうえ、振動発生装置１０に振動パラメータの調整を要求する。
【００２３】
伝搬に要した時間を取得するため、制御部２４は、振動発生装置１０に振動の開始を要求する。振動発生装置１０が当該要求信号を受けてすぐに発振を開始すれば、制御部２４は、要求信号の送達に要した時間を加味して発振開始の時刻を取得できる。そして振動検出部２２が検出した、振動の到達時刻との差を求めれば、伝搬に要した時間を取得できる。制御部２４は、取得した情報に基づき、実物体６の材質、振動発生装置１０から振動制御装置２０までの距離を求める。なお実物体６の材質は、実物体６の密度に置き換えてもよい。
【００２４】
振動の減衰率（例えば振動発生装置１０および振動制御装置２０における振動の強さの比）は、実物体６の材質と、振動発生装置１０から振動制御装置２０までの距離によって変化する。また振動の伝搬速度は、実物体６の材質によって変化する。すなわち振動の減衰率をｃ、伝搬に要した時間をｔ、振動発生装置１０から振動制御装置２０までの距離をｄ、実物体の材質をＭとすると、次のような関係になる。
ｃ＝ｆ１（Ｍ，ｄ）  （式１）
ｄ／ｔ＝ｆ２（Ｍ）  （式２）
【００２５】
ここでｆ１、ｆ２は、括弧内のパラメータを変数とする関数である。このうち振動の減衰率ｃと伝搬に要した時間ｔが既知であるため、ｆ１、ｆ２が与えられれば、振動発生装置１０から振動制御装置２０までの距離ｄと、実物体の材質Ｍを推定できることになる。例えば事前に、想定される実物体６の材質Ｍごとに、距離ｄに対する減衰率ｃの変化を求めておく。また想定される材質Ｍに対応づけて、振動の伝搬速度ｄ／ｔを求めておく。
【００２６】
これにより、まず式２を逆に引くことにより材質Ｍが定まり、それに基づき式１を逆に引くことにより距離ｄが定まることになる。制御部２４はそのようにして求めた、振動発生装置１０から振動制御装置２０までの距離ｄおよび実物体６の材質Ｍに基づき、伝搬後に好適な強さが得られるための、振動パラメータまたはその調整量を決定する。すなわち式１を用いて、発信源での好適な振動の強さを求める。あるいはその振動の強さに近づくように所定量だけ調整するようにしてもよい。この場合、同様の調整を繰り返すことにより再帰的に最適値へ到達させる。
【００２７】
振動制御装置２０は、決定した振動パラメータまたはその調整量を振動発生装置１０に通知する。通知手段として、振動発生装置１０と振動制御装置２０を有線または無線で直接接続してもよいし、補助情報取得装置３０など別の装置を介してもよい。あるいは振動発生装置１０と振動制御装置２０を、ＬＡＮ（Local Area Network）やインターネットなどのネットワークを介して接続してもよい。また振動検出部２２と制御部２４を、それらの通信手段により接続したうえで別の筐体としてもよい。例えば制御部２４を、補助情報取得装置３０と同一の装置とし、実物体６には振動検出部２２のみを取り付けてもよい。
【００２８】
なお本実施の形態は、ユーザが接触している部分において好適な振動が得られるようにすることを目的としている。したがって振動制御装置２０は、ユーザの接触箇所の近傍に取り付けることが望ましい。このためその旨を、紙面またはディスプレイ１６などを介して事前にユーザに提示しておく。あるいはユーザの接触箇所と振動制御装置２０との距離を特定できれば、ユーザの接触箇所からいくらか離れた箇所に振動制御装置２０を取り付けてもよい。この場合、振動制御装置２０は、当該距離を加味して、ユーザの接触位置において好適な振動が得られるよう、振動パラメータの調整量を決定してもよい。
【００２９】
なおユーザに与える振動の強さの最適値は、実物体６を使用する目的や状況によって様々である。したがって制御部２４は、使用目的や状況と、振動の強さの最適値とを対応づけた情報を内部で保持し、ユーザが選択したコンテンツなどに応じて最適値を特定する。あるいは外部のコンテンツ処理装置から、振動の強さの最適値を随時取得するようにしてもよい。また振動の強さに影響を与えるパラメータとして、実物体の材質や振動発生装置までの距離を用いる例を示したが、振動制御装置２０が取得する実物体に係る情報を限定する趣旨ではない。すなわち直接的または間接的に、伝搬による振動の強さの変化を決定づけるパラメータであれば、式１、式２と同様の関係に基づき調整を行える。
【００３０】
制御部２４は運用時にも、振動を発生させるべきタイミングに係る情報を当該コンテンツ処理装置などから取得し、振動発生装置１０を振動させてもよい。制御部２４自体が、振動を発生させるべきタイミングを判定し、振動発生装置１０を振動させてもよい。一旦、振動発生装置１０から振動制御装置２０までの距離ｄ、実物体の材質Ｍが得られれば、それを記憶しておくことで、式１により振動発生装置１０における振動パラメータを決定することができる。
【００３１】
補助情報取得装置３０は、振動制御装置２０による振動の制御を効率的に実施するための補助となる情報を取得する。例えば補助情報取得装置３０は、実物体６を含む実空間を撮影した画像に基づき、実物体６に係る情報および、振動発生装置１０と振動制御装置２０の位置関係の少なくともいずれかを表す補助情報を取得する。この場合、補助情報取得装置３０には、可視光カメラ、ステレオカメラ、デプスカメラ、ハイパースペクトルカメラなど各種カメラの少なくともいずれかを接続する。
【００３２】
例えば補助情報取得装置３０は、可視光カメラが撮影したカラー画像を取得し、物体検出処理を施すことで、像のサイズや色から、実物体６の大きさや、振動発生装置１０および振動制御装置２０が取り付けられている位置などをおよそ特定する。また像の色、模様、形状などから材質を特定する。そのため補助情報取得装置３０またはネットワーク上のサーバーに、それらの外観的特徴と材質を対応づけたデータベースを準備しておく。外観的特徴から実物体の材質やサイズを導き出す深層学習機能をサーバーまたは補助情報取得装置３０に設けることにより、特定精度を高めてもよい。
【００３３】
あるいは補助情報取得装置３０は、ステレオカメラやデプスカメラが生成したデプス画像を取得し、補助情報、例えば実物体６の形状をより詳細に取得してもよい。デプス画像は、被写体の像を表す画素の値として、距離値を与えた画像である。デプスカメラは例えば、被写空間に近赤外線などの参照光を照射する機構と、その反射光を検出するＣＭＯＳセンサとで構成され、照射から検出までの時間や、反射光の分布のひずみなどにより被写体までの距離を導出する。前者の手法はＴｏＦ（Time of Flight）方式、後者の手法はパターン照射方式として一般に知られる技術である。
【００３４】
ステレオカメラによるデプス画像の生成処理は、左右の視点から撮影された同じ空間を表す画像における視差を、対応点検出により求め、三角測量の原理で被写体までの距離を導出する一般的な手法である。いずれにしろカラー画像と比較しデプス画像は、実物体６の凹凸など細かい形状が表れやすい。
【００３５】
または補助情報取得装置３０は、マルチスペクトルカメラまたはハイパースペクトルカメラが撮影した画像を取得し、補助情報、例えば実物体６の材質をおよそ特定してもよい。マルチスペクトルカメラは、可視光線以外の波長を含む数十の波長帯の電磁波を検出し、ハイパースペクトルカメラは、それ以上の数の波長帯の電磁波を検出する。それらのカメラは、ＲＧＢより多くのチャンネルで詳細な画像を撮影できるため、実物体の材質特定の精度を上げやすい。
【００３６】
あるいは補助情報取得装置３０にディスプレイ１６および入力装置を接続し、ディスプレイ１６に表示させた入力画面に対しユーザが入力した情報に基づき補助情報を取得してもよい。この場合、実物体６の大きさ、形状、材質がほぼ正確に求められる。また、振動発生装置１０と振動制御装置２０を取り付けた箇所についての情報を得ることも可能である。
【００３７】
なお上述した補助情報の取得手段は、いずれか１つのみを実施してもよいし、２つ以上の手段を組み合わせて実施してもよい。このような手段で得られた情報は、振動制御装置２０において振動パラメータの調整量の決定に用いられる。例えばカメラから得られる情報を利用して、振動発生装置１０から振動制御装置２０までの距離ｄあるいは材質Ｍを既知とすれば、振動制御装置２０が上式により距離ｄや材質Ｍを求める必要がなくなり効率が上がる。
【００３８】
または距離ｄや材質Ｍの初期値として補助情報を与えることにより、その近傍の距離ｄ、材質Ｍを仮定して、最適な振動パラメータを効率よく探索できる。実物体６の大きさや形状を既知とすれば、振動発生装置１０から振動制御装置２０までの距離ｄの上限や下限を定めることができ調整の効率性が増す。なお場合によっては、振動制御システム１において補助情報取得装置３０を省略してもよい。あるいは補助情報取得装置３０を、振動制御装置２０の一部の機能として設けることもできる。
【００３９】
次に、これまで述べた構成によって実現できる、振動制御システムの動作について説明する。図３は、本実施の形態における振動制御手順のフローチャートを示している。このフローチャートは、ユーザが処理開始の入力、あるいは電源を入れるなどして、振動制御装置２０が振動発生装置１０および補助情報取得装置３０と通信を確立した時点で開始される。まず振動発生装置１０では振動発生の待機を開始する（Ｓ１０）。一方、振動制御装置２０は、振動発生装置１０に対し振動発生を開始する要求信号を送信する（Ｓ１２）。このとき、振動パラメータの初期値についても指定しておく。これを受けて振動発生装置１０は、振動発生を開始する（Ｓ１６）
【００４０】
一方、補助情報取得装置３０は適当なタイミングで、各種カメラやディスプレイ１６、入力装置を利用して補助情報を取得し、振動制御装置２０に送信しておく（Ｓ１４）。振動制御装置２０は、Ｓ１６で発生させた振動が到達したことを検出し、そのタイミングおよび振動の強さを取得する（Ｓ１８）。振動の強さが最適でなければ（Ｓ２０のＮ）、それらの情報から伝搬に要した時間と振動の減衰率を求め、振動発生装置１０から振動制御装置２０までの距離や、実物体６の材質などを取得する。そして、伝搬した振動の強さが最適になるように、調整量を決定する（Ｓ２２）。
【００４１】
このとき、補助情報取得装置３０から送信された補助情報を利用して、必要に応じて各数値の修正を行う。そして決定した調整量を振動発生装置１０に送信することで、振動発生装置１０が振動パラメータを調整して振動を発生させる（Ｓ２４）。振動制御装置２０は、そのように調整された振動を再度検出し（Ｓ１６、Ｓ１８）、振動の強さが最適でなければ（Ｓ２０のＮ）、再度調整量を決定する（Ｓ２２）。なお初回の検出によって、振動発生装置１０から振動制御装置２０までの距離や実物体６の材質が特定されている場合は、それらの値から想定される減衰率に基づき微調整を行えばよいため、Ｓ１６において振動を一旦停止してから新たに発生させる必要はない。
【００４２】
逆に、振動発生装置１０から振動制御装置２０までの距離や実物体６の材質に誤差が見込まれる場合は、Ｓ１６からＳ２４の処理を再帰的に繰り返すことにより、それらのパラメータと振動の強さの最適値を徐々に定めていく。Ｓ１８において最適な振動の強さが得られたら、処理を終了させる（Ｓ２０のＹ）。この際、振動制御装置２０は、振動制御装置２０までの距離や実物体６の材質、あるいはそれらから得られる振動の減衰率を記憶しておくことにより、後の運用では、ユーザが感じるべき振動の強さに基づき、振動パラメータを一意に定め、振動発生装置１０を適切に制御できる。なお減衰率等の情報を振動発生装置１０に記憶させ、運用時は振動発生装置１０自らが振動パラメータを決定するようにしてもよい。
【００４３】
図４は、補助情報取得装置３０が撮影画像から補助情報を取得する際の、カメラの設置位置を例示している。まず（ａ）は、振動発生装置１０と振動制御装置２０を装着した実物体６を外部から撮影するようにカメラ１２を設置している。このようにすると、実物体６、振動発生装置１０、振動制御装置２０の位置関係や実物体の大きさ、形状、色などを取得できる。実物体６の像の検出は、例えば一緒に写っているユーザの顔や手を一般的な手法で検出し、それを基点に探索することで効率化できる。振動発生装置１０や振動制御装置２０は形状および色が既知のため、パターンマッチングなど容易な画像解析でそれらの像を特定できる。実物体６の像を、それらの装置の像を基点として検出してもよい。
【００４４】
また振動発生装置１０や振動制御装置２０を特殊な色としたり発光体としたりすることで、検出しやすくしてもよい。カメラ１２は一般的なカラー画像を撮影するカメラでもよいし、上述した別の種類のカメラでもよい。それらを適宜組み合わせて多面的な情報を取得し精度を向上させてもよい。またカメラ１２は、図１で示したような据え置き型のディスプレイ１６の上や下などに設置してもよいし、ヘッドマウントディスプレイなどのウェアラブルディスプレイの前面に、ユーザの視点に対応する画像が撮影されるように設けてもよい。
【００４５】
（ｂ）は振動発生装置１０と振動制御装置２０自体に、実物体６を接写するようにカメラ１２ａ、１２ｂを設けている。このようにすると、実物体の表面を詳細に撮影した画像が得られるため、材質の特定に有利となる。カメラ１２は一般的なカラー画像を撮影するカメラでもよいし、上述したマルチスペクトルカメラやハイパースペクトルカメラとし、材質特定の精度を向上させてもよい。デプスカメラを利用して、実物体６の表面の広がりを取得することにより、実物体６の大きさを特定してもよい。なお振動発生装置１０と振動制御装置２０のどちらかのみにカメラを設けてもよい。
【００４６】
図５は、補助情報取得装置３０がユーザ入力により補助情報を取得する際に、ディスプレイ１６に表示させる入力画面を例示している。この例で入力画面４０は、「名称を入力してください」との指示とともに、ユーザによる文字入力を受け付けるボックス４２を表している。同図の場合、「バット」と入力されている。ただし候補となる実物体の名称を選択できるプルダウンメニューなどを表示してもよい。さらに入力画面４０には、ユーザがボックス４２に入力した実物体の名称に応じて、材質など種類の異なる実物体の画像群４４と、「最も近いモノを選んで下さい」との指示を表している。
【００４７】
そして画像を囲むカーソル４６により、画像群から一つを選択する入力を受け付ける。図示する例では、候補となる木製バットと金属製バットのうち、ユーザは実際に使用するバットと同じ木製バットを選択している。画像を表示することで、材質のみならず、大きさや、玩具か本物かといった全体的な印象で、実物体に近い物を容易に選択できる。候補として表示する画像と、材質やサイズなど必要な情報とは当然、あらかじめ対応づけておく。ただし候補の表示手段や選択手段は図示するものに限定されない。実物体の名称や外観以外に、実物体の大きさ、詳細な材質、具体的な商品名などを入力あるいは選択できるようにしてもよい。
【００４８】
また撮影画像から実物体６の像を効率的に特定するために、色を入力するようにしてもよい。さらに、選択した実物体６のどのあたりに振動発生装置１０、振動制御装置２０を取り付けたかを入力させてもよい。入力により取得する情報が具体的なほど、振動の強さの調整処理における効率や精度が向上するが、ユーザの負担も増えるため、求められる精度とのバランスで入力させる情報を決定する。
【００４９】
これまで述べた例では、振動発生装置１０と振動制御装置２０を別の装置として、実物体６の離れた位置に取り付けた。一方、様々な複雑な振動をユーザに体感させるためには振動発生装置１０を複数取り付けることが望ましい。そこで振動制御装置２０の機能を併せ持つ振動発生装置を実物体６の複数の位置に取り付け、一方が発生させる振動を他方が制御するようにしてもよい。図６は、振動制御装置の機能を有する振動発生装置を導入した場合の振動制御システムの構成を例示している。
【００５０】
振動制御システム１００は少なくとも、実物体６に振動を与える振動発生装置１０２ａ、１０２ｂを含む。振動発生装置１０２ａは、実物体６に振動を与える振動発生部１０４ａと、他の振動発生装置１０２ｂが発生させた振動を実物体を介して検出し、当該振動の強さに応じて他の振動発生装置１０２ｂが発生させる振動の強さを規定する振動パラメータを調整する振動制御部１０６ａを含む。振動発生装置１０２ｂは、実物体６に振動を与える振動発生部１０４ｂと、他の振動発生装置１０２ａが発生させた振動を実物体を介して検出し、当該振動の強さに応じて他の振動発生装置１０２ａが発生させる振動の強さを規定する振動パラメータを調整する振動制御部１０６ｂを含む。
【００５１】
振動制御システム１００にはさらに、図２で示したのと同様に補助情報取得装置３０を含めてよい。あるいは当該補助情報取得装置の機能を、振動発生装置１０２ａ、１０２ｂの双方、あるいは片方に含めてもよい。あるいは振動制御部１０６ａ、１０６ｂの機能のうち、図２で示した制御部の機能を、別の筐体としてもよい。
【００５２】
振動発生部１０４ａ、１０４ｂは、上述した振動発生装置１０と同様の機能を有する。振動制御部１０６ａ、１０６ｂは、上述した振動制御装置２０と同様の機能を有する。振動発生装置１０２ａ、１０２ｂを、互いの振動を検出、制御するようにすることで、図２で示した例と同じ取り付け位置の数で、複数の振動減から振動を発生でき、より複雑な振動を生み出すことができる。制御に際しては、自らの振動発生装置１０２ａ（または１０２ｂ）を停止させた状態で、相手の振動発生装置１０２ｂ（または１０２ａ）の振動の伝搬のみに基づく調整を行ってもよい。
【００５３】
あるいは振動発生装置１０２ａ、１０２の双方を振動させ、その重ね合わせについて検出し、調整を行ってもよい。自らの振動発生部１０４ａ、１０４ｂが発生させる振動は既知のため、重ね合わせた振動から差し引くことにより、相手の振動発生部１０４ｂ、１０４ａからの振動の強さを取得できる。調整処理の手順は上述したのと同様である。
【００５４】
仮想現実、拡張現実、ＭＲなど仮想的な世界を楽しむコンテンツにおいては、五感の全て、またはその一部を利用して高い臨場感を演出できる。一方、視覚や聴覚など、ある感覚に対する刺激が、味覚、触覚など他の感覚に対する刺激を部分的に補完するクロスモーダル現象が知られている。このため、視覚や聴覚に与えている情報によっては、与えるべき触覚情報が過剰になったり不足したりすることがあり得る。これを踏まえ、振動刺激を与える触覚以外の感覚に対する刺激の有無や強弱によって、振動の強さをさらに調整することが考えられる。
【００５５】
図７は、ユーザに与える視聴覚データの内容に基づき振動パラメータを調整する態様を説明するための図である。同図は図１と同様の使用環境を例示しており、ユーザ８は、振動発生装置１０と振動制御装置２０を取り付けたハンマー５０を把持している。またディスプレイ１６は、コンテンツの画像と音声を出力する。画像は視覚、音声は聴覚に対し与える刺激であるため、画像および音声を「視聴覚データ」と総称する。視聴覚データ処理装置５４は、電子ゲームなどのコンテンツを処理し、実物体に対応した視聴覚データを生成してディスプレイ１６などの出力装置に出力させる。視聴覚データ処理装置５４が実施する処理は、一般的なコンテンツ処理装置、情報処理装置が実施するものと同様でよい。
【００５６】
図示する例で、表示された仮想世界におけるオブジェクト５６を叩くように、ユーザ８がハンマー５０を振るとする。仮想世界でのハンマー５０がオブジェクト５６に当たったタイミングで、振動発生装置１０により振動を発生させると、ハンマー５０を把持しているユーザに、実際に当たったような感覚を与えられる。一方、視聴覚データにおいても同じタイミングで、火花が散るような画像加工を施したり衝突音を発生させたりすると、それらがない場合と比較し、与える刺激が強くなる結果、振動を強く感じることが考えられる。
【００５７】
そこで振動制御装置２０は、視聴覚データ処理装置５４が生成する視聴覚データのうち、実物体に対応して生成された内容に基づき、振動発生装置１０における振動パラメータをさらに調整する。振動制御装置２０と視聴覚データ処理装置５４とは有線、または無線で通信を確立し、振動制御装置２０が実物体に対応する視聴覚データの情報を得られるようにする。あるいは補助情報取得装置３０が当該内容を取得し、振動の強さを調整すべきタイミングとその調整量を、振動制御装置２０に通知するようにしてもよい。
【００５８】
上述した例では、振動制御装置は、視聴覚データの出力強度の増加に応じて、振動の強さを低減するように振動発生装置における振動パラメータを調整する。出力強度は、例えば画像における平均輝度、音量など、視覚、聴覚の刺激の強さを表すパラメータのいずれか１つでもよいし、その組み合わせによって出力強度を算出する規則を設定しておいてもよい。このように他の感覚に対する刺激に応じて振動の強さを調整することにより、ユーザは常に過不足なく快適な強さの刺激でコンテンツを楽しめる。また他の感覚に対する刺激による補完を加味して振動の強さを低減させることにより、ユーザへの影響なく振動発生装置１０の消費電力を抑えられる。
【００５９】
さらに図示する例では、ユーザ８を含む空間を撮影するカメラ１２を設けている。当該カメラ１２は、補助情報取得装置３０が補助情報を取得する際に用いるカメラと同一でもよいし、別途設置してもよい。補助情報取得装置３０は、振動を与えたときのユーザの反応に係る情報を、カメラ１２による撮影画像を解析することによって取得し、所定の反応が確認されたとき、振動制御装置２０にその旨を通知する。そして振動制御装置２０は、ユーザの反応に係る情報に基づいても、振動発生装置における振動パラメータを調整する。例えばユーザが目を見開く、視線が揺れる、頭部が揺れる、といった強い驚きの反応がなされた場合、刺激が強すぎることが考えられるため、振動の強さを低減させる。
【００６０】
ユーザの表情や動きから感情を特定する画像解析技術は広く知られているため、そのいずれを採用してもよい。また、振動を調整すべきユーザの反応あるいはそれを表すパラメータのしきい値と、振動パラメータの調整量とを対応づけたデータを、補助情報取得装置３０に格納しておく。この構成により、ユーザの性格や年齢などに依存して生じる、刺激の感じやすさの差を加味し、個々のユーザに適した強さの振動を与えることができる。カメラ１２を視線検出装置とし、ヘッドマウントディスプレイの内部に設けてもよい。この場合も、眼球の動きによってユーザの反応を取得できる。
【００６１】
なお図示するように、視聴覚データ処理装置５４と補助情報取得装置３０を併せて１つのコンテンツ処理装置５２としてもよい。さらに、振動発生装置１０、振動制御装置２０を含めて１つのコンテンツ処理システムとしてもよい。そして振動制御装置２０および振動発生装置１０は、コンテンツ処理装置５２から指示されたタイミングおよび強さで、ユーザに振動を感じさせるように動作してもよい。
【００６２】
コンテンツ処理システムのように、振動を発生させる機構と視聴覚データを出力させる機構を協働させるシステムによれば、双方向の制御が可能になる。具体的には上述のとおり視聴覚データの出力強度に応じて振動の強さを調整するのと逆に、振動の強さに応じて視聴覚データの出力強度を調整する。この場合、視聴覚データ処理装置５４は、振動制御装置２０から、検出された振動の強さに係る情報を取得し、当該情報に基づきあらかじめ定めた規則に従い視聴覚データの出力強度を適切に調整する。
【００６３】
例えば図７の例で、ハンマー５０が、振動が伝わりにくい素材で形成されている場合など、振動発生装置１０の最大出力をもってしても十分な振動が与えられないことが判明したら、振動制御装置２０はその旨を視聴覚データ処理装置５４に通知する。視聴覚データ処理装置５４は、それに応じて、ハンマー５０がオブジェクト５６に当たったときの画像加工の度合いを上げたり衝突音の音量を上げたりすることで視聴覚データの出力強度を増加させる。これにより振動の感じにくさを視聴覚的に補い、強い刺激として捉えさせることができる。なお場合によっては、想定以上に強い振動となってしまう場合などに、それに応じて視聴覚データの出力強度を弱めてもよい。
【００６４】
以上述べた本実施の形態によれば、実物体に取り付け可能な振動発生装置を利用して、触覚刺激を与える。実物体にはさらに、振動制御装置を取り付ける。振動制御装置は、実物体を伝搬した振動を検出し、そのタイミングや強さに基づき、振動の伝搬に影響を与える、実物体の材質や振動発生装置の取り付け位置を取得する。そして、ユーザに対して適切な振動が得られるように、振動発生装置における振動の強さを制御する。これにより、どのような形状、大きさ、材質の実物体を利用しても、最適な振動を感じさせることができ、コストを増大させることなく高い臨場感を与えることができる。
【００６５】
調整に際しては、振動検出結果以外の情報、例えば撮影画像やユーザによる入力情報を利用することにより、調整精度や効率を向上させることができる。またユーザに与えられている振動以外の刺激の内容や振動を与えたときのユーザの反応などに応じても、振動の強さを調整する。これにより、コンテンツの状況やユーザの性格などを加味し、個々人にとって快適な振動を与えることができる。
【００６６】
以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００６７】
１  振動制御システム、  １０  振動発生装置、  １２  カメラ、  １６  ディスプレイ、  ２０  振動制御装置、  ２２  振動検出部、  ２４  制御部、  ３０  補助情報取得装置、  ５２  コンテンツ処理装置、  ５４  視聴覚データ処理装置、  １００  振動制御システム、  １０２ａ  振動発生装置、  １０４ａ  振動発生部、  １０６ａ  振動制御部。
【産業上の利用可能性】
【００６８】
以上のように本発明は、ゲームコントローラ、玩具、コンテンツ処理装置など各種装置と、それを含むシステムなどに利用可能である。
【図１】
2020026443.tif 000003
【図２】
2020026443.tif 000004
【図３】
2020026443.tif 000005
【図４】
2020026443.tif 000006
【図５】
2020026443.tif 000007
【図６】
2020026443.tif 000008
【図７】
2020026443.tif 000009
【手続補正書】
【提出日】令和1年6月18日(2019.6.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザが把持する実物体に取り付けられることにより当該実物体に振動を与える振動発生装置と、
前記振動発生装置が発生させ前記実物体を伝搬した振動を検出し、当該振動の強さに応じて前記振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する振動制御装置と、
を含むことを特徴とする触覚表現用振動制御システム。
【請求項２】
前記振動制御装置は、振動の伝搬に要した時間および前記振動の強さに基づき、前記実物体に係る情報および、前記振動発生装置と前記振動制御装置の位置関係を取得することにより、前記振動パラメータの調整量を決定することを特徴とする請求項１に記載の触覚表現用振動制御システム。
【請求項３】
前記実物体を含む実空間を撮影した画像に基づき、実物体に係る情報および、振動発生装置と振動制御装置の位置関係の少なくともいずれかを表す補助情報を取得する補助情報取得装置をさらに備え、
前記振動制御装置は、前記補助情報を、前記振動パラメータの調整量の決定に用いることを特徴とする請求項１または２に記載の触覚表現用振動制御システム。
【請求項４】
前記補助情報取得装置は、ステレオカメラまたはデプスカメラが生成した、実物体までの距離を表すデプス画像に基づき、前記補助情報を取得することを特徴とする請求項３に記載の触覚表現用振動制御システム。
【請求項５】
前記補助情報取得装置は、マルチスペクトルカメラまたはハイパースペクトルカメラが撮影した画像に基づき、前記補助情報を取得することを特徴とする請求項３に記載の触覚表現用振動制御システム。
【請求項６】
前記補助情報取得装置は、前記振動発生装置または前記振動制御装置の少なくともいずれかに備えられたカメラが撮影した画像に基づき、前記補助情報を取得することを特徴とする請求項３に記載の触覚表現用振動制御システム。
【請求項７】
前記補助情報取得装置は、ユーザを含む空間を撮影した画像に基づき、振動を与えた際のユーザの反応に係る情報をさらに取得し、
前記振動制御装置は、前記反応に係る情報に基づき、前記振動発生装置における振動パラメータを調整することを特徴とする請求項３から６のいずれかに記載の触覚表現用振動制御システム。
【請求項８】
前記実物体に係る情報の入力画面をディスプレイに表示させ、当該入力画面に対しユーザが入力した情報に基づき、実物体に係る情報および、前記振動発生装置と前記振動制御装置の位置関係の少なくともいずれかを表す補助情報を取得する補助情報取得装置をさらに備え、
前記振動制御装置は、前記補助情報を、前記振動パラメータの調整量の決定に用いることを特徴とする請求項１または２に記載の触覚表現用振動制御システム。
【請求項９】
前記実物体に対応した視聴覚データを生成し出力装置に出力させる視聴覚データ処理装置をさらに備え、
前記振動制御装置は、前記視聴覚データの内容に基づき、前記振動発生装置における振動パラメータを調整することを特徴とする請求項１から８のいずれかに記載の触覚表現用振動制御システム。
【請求項１０】
前記振動制御装置は、前記視聴覚データの出力強度の増加に応じて、振動の強さを低減するように、前記振動発生装置における振動パラメータを調整することを特徴とする請求項９に記載の触覚表現用振動制御システム。
【請求項１１】
前記視聴覚データ処理装置は、前記振動制御装置が検出した振動の強さに応じて、前記視聴覚データの出力強度を調整することを特徴とする請求項９または１０に記載の触覚表現用振動制御システム。
【請求項１２】
実物体に取り付けられることにより当該実物体に振動を与える触覚表現用振動発生装置であって、
振動を発生させる振動発生部と、
他の振動発生装置が発生させた振動を前記実物体を介して検出し、当該振動の強さに応じて前記他の振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する振動制御部と、
を備えたことを特徴とする触覚表現用振動発生装置。
【請求項１３】
ユーザが把持する実物体に取り付けられた振動発生装置が発生させ前記実物体を伝搬した振動を検出する振動検出部と、
検出された振動の強さに応じて前記振動発生装置が発生させる振動の強さを規定する振動パラメータを調整する制御部と、
を備えたことを特徴とする触覚表現用振動制御装置。
【請求項１４】
ユーザが把持する実物体に取り付けられることにより、振動発生装置が当該実物体に振動を与えるステップと、
振動制御装置が前記実物体を伝搬した振動を検出し、当該振動の強さに応じて、前記振動発生装置が発生させる振動の強さを規定する振動パラメータを調整するステップと、
を含むことを特徴とする触覚表現用振動制御方法。
【国際調査報告】
2020026443.tif 000010
2020026443.tif 000011
2020026443.tif 000012
2020026443.tif 000013