(57)【要約】  仮想空間における物理的効果制御装置及びその方法に係り、人体に付着される少なくとも１以上のマーカーと効果出力手段とのマッピング関係を設定した後、マーカーの三次元座標を認識して仮想空間にマッピングし、マーカーが仮想空間内既設定の一定領域に進入すれば、物理的効果の出力命令を少なくとも１以上の効果出力手段に送信する。【選択図】図５
2016529589.tif 000002
【特許請求の範囲】
【請求項１】
人体に付着された少なくとも１以上のマーカーの三次元座標を認識するマーカー認識部と、
前記マーカー認識部によって認識された三次元座標を仮想空間にマッピングする仮想空間マッピング部と、
前記少なくとも１以上のマーカーにそれぞれ付与された第１固有情報と、物理的効果を出力する少なくとも１以上の効果出力手段にそれぞれ付与された第２固有情報とのマッピング関係を保存する保存部と、
前記少なくとも１以上のマーカーが、前記仮想空間内に既設定の一定領域に進入すれば、前記既設定の一定領域に対して事前に設定された物理的効果の出力を、前記進入したマーカーの第１固有情報とマッピング関係にある少なくとも１以上の第２固有情報に該当する効果出力手段に命令する制御部と、を含むことを特徴とする仮想空間における物理的効果制御装置。
【請求項２】
前記物理的効果は、振動、音または熱を含み、前記効果出力手段は、人体に付着され、振動板、スピーカまたは発熱素子を介して、前記振動、音または熱の物理的効果を出力することを特徴とする請求項１に記載の仮想空間における物理的効果制御装置。
【請求項３】
前記制御部は、前記既設定の一定領域にマーカーが進入する速度を把握し、前記速度による前記効果出力手段の出力サイズを含む命令を、前記進入するマーカーとマッピングされた第１効果出力手段及び第２効果出力手段にそれぞれ出力し、
前記第１効果出力手段は、前記既設定の一定領域に進入するマーカーが付着された人体と同一位置に存在し、前記命令に含まれた出力サイズによって、振動板の振動強度を決定して出力し、
前記第２効果出力手段は、人体の耳に付着され、前記命令に含まれた出力サイズによるスピーカのボリュームを決定して出力することを特徴とする請求項１に記載の仮想空間における物理的効果制御装置。
【請求項４】
マーカーと効果出力手段とのマッピング関係は、１：Ｎ（Ｎは、２以上の自然数）またはＮ：１であることを特徴とする請求項１に記載の仮想空間における物理的効果制御装置。
【請求項５】
前記制御部は、近距離無線通信を介して、前記効果出力手段に命令を出力することを特徴とする請求項１に記載の仮想空間における物理的効果制御装置。
【請求項６】
人体に付着される少なくとも１以上のマーカーと効果出力手段とのマッピング関係を設定するステップと、
前記マーカーの三次元座標を認識するステップと、
前記マーカーの三次元座標を仮想空間にマッピングするステップと、
前記マーカーが、前記仮想空間内既設定の一定領域に進入するか否かということを把握するステップと、
前記マーカーが仮想空間内既設定の一定領域に進入すれば、前記一定領域に対して事前に設定された物理的効果の出力命令を、前記マーカーとマッピング関係にある少なくとも１以上の効果出力手段に送信するステップと、を含むことを特徴とする仮想空間における物理的効果制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、振動、熱、音、圧力などの物理的効果を、仮想空間体験者が実際に感じるように制御する装置及びその方法に関する。
【背景技術】
【０００２】
実空間でのユーザの動きを仮想空間に現すためには、ユーザの三次元座標を把握しなければならない。従来、三次元座標を把握するための方法として、マーカー（marker）を利用する方法がある。これは、信号をマーカーに送るプロジェクタ、及びプロジェクタから送出され、複数のマーカーから反射されてくる信号を認識する深度認識カメラを介して、マーカーの二次元ＸＹ座標を知り、カメラとマーカーとの距離によるマーカーの大きさ及び信号強度などを利用して、深度方向（Ｚ座標）を把握して三次元位置を認識する。
【０００３】
それ以外に、ユーザの実空間での動きをリアルタイム三次元仮想空間に反映する多様な技術が存在するが、仮想空間における仮想衝突などを、ユーザが実際の衝突のように感じるように具現するには限界がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明がなす技術的課題は、仮想空間における仮想の衝突などによる物理的効果を、ユーザが実体のように感じるように、物理的効果の出力を制御する装置及びその方法を提供するところにある。
【課題を解決するための手段】
【０００５】
前記技術的課題を達成するための、本発明による仮想空間における物理的効果制御装置の一例は、人体に付着された少なくとも１以上のマーカーの三次元座標を認識するマーカー認識部と、前記マーカー認識部によって認識された三次元座標を仮想空間にマッピングする仮想空間マッピング部と、前記少なくとも１以上のマーカーにそれぞれ付与された第１固有情報と、物理的効果を出力する少なくとも１以上の効果出力手段にそれぞれ付与された第２固有情報とのマッピング関係を保存する保存部と、前記少なくとも１以上のマーカーが、前記仮想空間内に既設定の一定領域に進入すれば、前記既設定の一定領域に対して事前に設定された物理的効果の出力を、前記進入したマーカーの第１固有情報とマッピング関係にある少なくとも１以上の第２固有情報に該当する効果出力手段に命令する制御部と、を含む。
【０００６】
前記技術的課題を達成するための、本発明による仮想空間における物理的効果制御方法の一例は、人体に付着される少なくとも１以上のマーカーと効果出力手段とのマッピング関係を設定するステップと、前記マーカーの三次元座標を認識するステップと、前記マーカーの三次元座標を仮想空間にマッピングするステップと、前記マーカーが、前記仮想空間内既設定の一定領域に進入するか否かということを把握するステップと、前記マーカーが仮想空間内既設定の一定領域に進入すれば、前記一定領域に対して事前に設定された物理的効果の出力命令を前記マーカーとマッピング関係にある少なくとも１以上の効果出力手段に送信するステップと、を含む。
【発明の効果】
【０００７】
本発明によれば、ユーザは、仮想空間における仮想的な衝突などによって発生する振動などの物理的効果を直接感じることができ、仮想空間における現実感をさらに充足させることができる。例えば、仮想空間において、コンサート場を具現する場合、大型スピーカを介して感じられる低音の振動を、ユーザの身体に付着された効果出力手段を介して出力することにより、実際のコンサート場にいる感覚を伝達することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明による、仮想空間における物理的効果制御のためのシステムの一例を簡略に図示した図面である。
【図２】本発明による、マーカーと効果出力手段とのマッピング関係の一例を図示した図面である。
【図３】本発明による物理的効果制御装置の一実施形態の構成を図示した図面である。
【図４】本発明による効果出力手段の一実施形態の構成を図示した図面である。
【図５】本発明による、仮想空間における物理的効果制御方法の一実施形態のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付された図面を参照し、本発明による、仮想空間における物理的効果制御装置及びその方法について詳細に説明する。
図１は、本発明による、仮想空間における物理的効果制御のためのシステムの一例を簡略に図示した図面である。
図１を参照すれば、ユーザ１００が仮想空間を体験するように、３Ｄ（three-dimensional）めがね１４０を着用する場合を図示しているが、必ずしもそれに限定されるものではなく、ユーザ１００に仮想空間を体験させる多様な方法が適用される。
【００１０】
ユーザ１００は、多数のマーカー１１０，１１２，１１４，１１６と、多数の効果出力手段１２０，１２２，１２４，１２６，１２８，１２８−１とを付着する。マーカー１１０，１１２，１１４，１１６は、ユーザの三次元座標を認識するための手段であり、効果出力手段１２０，１２２，１２４，１２６，１２８，１２８−１は、振動、熱、音のように、人が感じることができる物理的効果を出力する手段である。
【００１１】
マーカー１１０，１１２，１１４，１１６は、物理的効果制御装置１３０から出力された信号（例えば、電磁気的信号）を反射する受動的マーカーであるか、あるいは自主的に信号を発散する能動的マーカーでもある。受動的マーカーである場合、物理的効果制御装置１３０は、人体１００に付着されたそれぞれのマーカー１１０，１１２，１１４，１１６に固有番号を付した後、マーカーの三次元座標を認識し、その動きを追跡する。受動的マーカーの場合、ユーザ１００の動きによってマーカーが重畳する場合（例えば、ユーザが両手を重ねる場合、両手に位置したマーカーの重畳など）、それぞれのマーカーの識別に困難さが伴う。それに反し、能動的マーカーは、マーカーそれぞれが固有信号を発信するので、物理的効果制御装置１３０は、マーカーの重畳いかんに係わりなく、各マーカーの位置などを容易に識別することができる。
【００１２】
物理的効果制御装置１３０は、受動マーカーまたは能動マーカーを利用して、各マーカーの三次元座標を認識する。マーカー１１０，１１２，１１４，１１６を利用して、三次元座標を認識する従来の多くの方法が存在し、三次元座標の認識方法そのものは、本発明の範囲を外れるものであるので、それについての詳細な説明は省略する。
【００１３】
物理的効果制御装置１３０は、マーカー１１０，１１２，１１４，１１６を介して認識した三次元座標を仮想空間にマッピングして表示する。物理的効果制御装置１３０は、ユーザ１００に係わる仮想の人物（アバターなど）を、仮想空間に表示したり、あるいはリアルタイムカメラを介して撮影されるユーザの実際映像を仮想空間に反映させたりして表示する。
【００１４】
物理的効果制御装置１３０は、仮想空間における動きによって発生する多様な物理的効果を、ユーザが実際に感じるように、ユーザに付着された少なくとも１以上の効果出力手段１２０，１２２，１２４，１２６，１２８，１２８−１を介して出力する。例えば、物理的効果制御装置１３０は、ユーザの膝に付着されたマーカー１１２，１１４の動きを把握し、ユーザが仮想空間に存在する机に膝がぶつかることが把握されれば、ユーザの膝に付着されたマーカー１１２，１１４とマッピング関係にある効果出力手段１２２，１２４に振動を出力することを命令することにより、ユーザをして仮想空間の衝突を実際空間の衝突のように認識させる。
【００１５】
効果出力手段１２０，１２２，１２４，１２６，１２８，１２８−１は、物理的効果制御装置１３０から受信した命令により、振動板、発熱手段、スピーカ、圧力出力手段などを介して、振動、熱、音、圧力などの物理的効果を出力する装置であり、１つの効果出力手段は、振動や熱など２以上の物理的効果を共に出力することができる。例えば、効果出力手段は、ユーザ着用する手袋状に具現され、手袋に具備された空気袋のふくらみ程度を制御し、ユーザをして圧力を感じさせる。それ以外にも、効果出力手段は、衣服や帽子などユーザが着用することができる多様な物品によって具現される。
【００１６】
図２は、本発明による、マーカーと効果出力手段とのマッピング関係の一例を図示した図面である。
図２を参照すれば、図１のように、ユーザの腕、足にそれぞれ付着される４個のマーカー１１０，１１２，１１４，１１６と、ユーザの腕、足及び耳にそれぞれ付着される５個の効果出力手段１２０，１２２，１２４，１２６，１２８，１２８−１とのマッピング関係の一例が図示されている。
【００１７】
マーカー１〜４（１１０，１１２，１１４，１１６）は、それぞれのマーカーと同一位置に存在する効果出力手段１〜４（１２０，１２２，１２４，１２６）とマッピング関係を有し、またマーカー１〜４（１１０，１１２，１１４，１１６）は、耳に位置した効果出力手段５（１２８，１２８−１）とマッピング関係を有する。従って、物理的効果制御装置１３０が、マーカー１（１１０）と係わる物理的効果の出力を、マーカー１（１１０）とマッピング関係にある効果出力手段１（１２０）と効果出力手段５（１２８，１２８−１）とに出力するように命令することにより、ユーザは振動と共に音などを感じることができる。
【００１８】
マーカー１１０，１１２，１１４，１１６と効果出力手段１２０，１２２，１２４，１２６は、必ずしも同一位置に存在しなければならないものではなく、また図２に図示されているように、マーカーは、多数の効果出力手段と１：Ｎのマッピング関係を有したり、多数のマーカーが同一効果出力手段とＮ：１のマッピング関係を有したりすることができる。
【００１９】
図３は、本発明による物理的効果制御装置の一実施形態の構成を図示した図面である。
図３を参照すれば、物理的効果制御装置１３０は、マーカー認識部３１０、仮想空間マッピング部３２０、マッピング関係保存部３３０及び制御部３４０を含む。
マーカー認識部３１０は、人体に付着された少なくとも１以上のマーカーの三次元座標を認識する。ここで、マーカーは、受動型マーカーまたは能動型マーカーである。
【００２０】
仮想空間マッピング部３２０は、マーカーの三次元座標を仮想空間にマッピングする。マーカー認識部３１０は、続けてマーカーの三次元座標を認識し、マーカーのリアルタイム変位を把握し、仮想空間マッピング部３２０は、マーカーのリアルタイム変位を仮想空間にリアルタイム反映させる。従って、実空間でのユーザの動きは、仮想空間における動きとして現れる。
【００２１】
マッピング関係保存部３３０は、図２で述べたような、マーカーと効果出力手段とのマッピング関係を保存する。例えば、マッピング関係保存部３３０は、マーカーの固有情報と効果出力手段の固有情報とをマッピングさせて管理する。
【００２２】
マーカーや効果出力手段が自体に固有情報を保存していない場合であるならば、マッピング関係保存部３３０は、人体に付着されたマーカーと効果出力手段とのそれぞれに、固有情報を付与してマッピング関係を管理し、そのとき、マッピング関係にあるマーカーと効果出力手段は、同一固有情報を付与される。
【００２３】
他の例として、マーカーが能動的マーカーであって固有情報を発信する場合であるならば、マッピング関係保存部３３０は、人体に付着されたそれぞれのマーカーから受信した固有情報と、効果出力手段に付与された固有情報とのマッピング関係を保存して管理する。
【００２４】
他の例として、効果出力手段が固有情報を自体に有している場合であるならば、マッピング関係保存部３３０は、人体に付着された効果出力手段から受信した固有情報と、マーカーに付与された固有情報とをマッピングして管理する。
【００２５】
制御部３４０は、ユーザの動きによって、マーカーが仮想空間内の既設定一定領域に進入するか否かということを把握し、進入する場合、当該物理的効果を出力するように、マーカーとマッピング関係にある効果出力手段に命令する。仮想空間は、その言葉通り仮想の空間であるので、ユーザが仮想空間内の障害物にぶつかる場合、ユーザは、ぶつかる感覚や音などを実際に認知することができない。
【００２６】
従って、制御部３４０は、仮想空間内の障害物が位置した一定領域を事前に設定し、当該領域から出力する物理的効果の大きさや種類などをさらに事前に設定する。例えば、制御部は、仮想空間に存在するガラス瓶の座標を基に把握されるガラス瓶空間を事前に設定した後、ユーザの身体に付着されたマーカーが、ガラス瓶が位置した一定空間に進入する場合、制御部３４０は、マーカーとマッピング関係にある効果出力手段に事前に設定された振動や音の出力を命令する。
【００２７】
さらに他の例として、仮想空間に具現されたクラブなどにユーザが入る場合、スピーカの出力振動をユーザが感じることができるように、音と共に振動を、当該効果出力手段に命令する。
【００２８】
制御部３４０は、物理的効果の出力命令を生成して伝送するとき、物理的効果の大きさに係わる情報を共に伝送することができる。物理的効果の大きさは、仮想空間の一定領域に対して事前に固定された値に設定されているか、一定領域に進入するマーカーの速度、または一定領域内でのマーカーの相対的位置などを基に動的に設定され、効果出力手段に伝達される。
【００２９】
図４は、本発明による効果出力手段の一実施形態の構成を図示した図面である。
図４を参照すれば、効果出力手段４００は、通信部４１０、制御部４２０及び出力部４３０を含む。
【００３０】
通信部４１０は、有線通信または無線通信など多様な通信方式を介して、物理的効果制御装置１３０と、制御命令のようなデータを送受信する。制御部４２０は、物理的効果制御装置１３０から受信した物理的効果の出力命令を解釈し、それによる物理的効果を出力する。
【００３１】
人体に、多数の効果出力手段が付着される場合、それぞれの効果出力手段は、物理的効果制御装置１３０の命令が、自分に対する命令であるか否かということを区分する必要があり、そのために、各効果出力手段は、他の装置との区分のための固有情報を事前に有しているか、あるいは物理的効果制御装置１３０から固有情報を割り当てられる。
【００３２】
出力部４３０は、制御部４２０の制御によって、振動板、発熱手段、スピーカ、圧力手段などを介して、振動、熱、音、圧力などの物理的効果を出力する。出力部４３０の物理的効果の出力サイズ（すなわち、音サイズ、振動サイズなど）は、いつも一定なものではなく、物理的効果制御装置１３０の命令によって制御される。
【００３３】
図５は、本発明による、仮想空間における物理的効果制御方法の一実施形態のフローチャートである。
図５を参照すれば、物理的効果制御装置は、人体に付着された少なくとも１以上のマーカーの三次元座標を認識し（Ｓ５００）、それを仮想空間にマッピングする（Ｓ５１０）。物理的効果制御装置は、マーカーが、仮想空間内既設定の一定領域に進入したか否かということを把握し（Ｓ５２０）、進入した場合、当該領域に対して事前に設定されている物理的効果の出力命令を、マーカーとマッピング関係にある少なくとも１以上の効果出力手段に伝送する（Ｓ５３０）。
【００３４】
本発明は、また、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式で、コンピュータで読み取り可能なコードが保存されて実行される。
【００３５】
以上、本発明についてその望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態によって具現可能であるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。
【図１】
2016529589.tif 000003
【図２】
2016529589.tif 000004
【図３】
2016529589.tif 000005
【図４】
2016529589.tif 000006
【図５】
2016529589.tif 000007
【国際調査報告】
2016529589.tif 000008
2016529589.tif 000009
2016529589.tif 000010
2016529589.tif 000011