(57)【特許請求の範囲】
【請求項１】
現実空間映像と仮想物体を示す仮想空間映像を合成して、複数の被験者のそれぞれが手に前記仮想物体を所有している複合現実感空間映像を生成する情報処理装置であって、
被験者の手の位置姿勢を計測する手段と、
前記被験者の視点位置および視線方向を計測する手段と、
前記視点位置および視線方向および前記手の位置姿勢に応じて、前記仮想物体を生成し、前記現実空間映像に合成する手段と、
前記被験者の手の上方向への移動速度を求め、投げ上げ動作を検出する投げ上げ動作検出手段と、
前記検出手段により投げ上げ動作が検出された後に、前記被験者の手の上方向への移動速度が一定以下になったことを検出する投げ上げ動作停止検出手段と、
前記被験者の視点位置および視線方向から、仮想物体を投げ上げる相手の被験者を判定する判定手段とを有することを特徴とする情報処理装置。
【請求項２】
前記相手の被験者が投げ上げ動作中であるか判断する判断手段と、
前記相手の被験者の視線方向を計測する計測手段と、
前記判断手段の判断の結果と前記計測手段の計測の結果に応じて、前記被験者および前記相手の被験者の間で仮想物体を相互に投げ渡す処理のタイミングを制御する制御手段とを有することを特徴とする請求項１記載の情報処理装置。
【請求項３】
現実空間映像と仮想物体を示す仮想空間映像を合成して、複数の被験者のそれぞれが手に前記仮想物体を所有している複合現実感空間映像を生成する情報処理方法であって、
被験者の手の位置姿勢を計測する工程と、
前記被験者の視点位置および視線方向を計測する工程と、
前記視点位置および視線方向および前記手の位置姿勢に応じて、前記仮想物体を生成し、前記現実空間映像に合成する工程と、
前記被験者の手の上方向への移動速度を求め、投げ上げ動作を検出する投げ上げ動作検出工程と、
前記検出手段により投げ上げ動作が検出された後に、前記手の上方向への移動速度が一定以下になったことを検出する投げ上げ動作停止検出工程と、
前記被験者の視点位置および視線方向から、仮想物体を投げ上げる相手の被験者を判定する判定工程とを有することを特徴とする情報処理方法。
【請求項４】
前記相手の被験者が投げ上げ動作中であるか判断する判断工程と、
前記相手の被験者の視線方向を計測する計測工程と、
前記判断手段の判断の結果と前記計測手段の計測の結果に応じて、前記被験者および前記相手の被験者の間で仮想物体を相互に投げ渡す処理のタイミングを制御する制御工程とを有することを特徴とする請求項１記載の情報処理方法。
【請求項５】
請求項３または請求項４記載の情報処理方法をコンピュータを用いて実現するために、コンピュータが読み取り可能に記憶媒体に記憶されたプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
複合現実感空間映像における仮想物体を、被験者の手の動作によって制御するものに関する。
【０００２】
【従来の技術】
複合現実感システムにおけるユーザーインターフェイスでは、位置センサーによって得られた手の位置により、ジェスチャーを認識する、また手を動かした方向を認識するなどによる入力が実現されてきている。
【０００３】
【発明が解決しようとする課題】
しかしながら、仮想物体の投げ渡しに関しては投げ上げ動作により仮想物体が手から離れて、移動を始める瞬間の判定が難しかった。また手を動かす方向により投げる相手を特定する事も可能であったが、狭い場所では衝突などの事故につながる可能性もあり、また微妙な方向の制御が難しい等の問題もあった。
【０００４】
また、同時に互いに交換するというイベントを発生させるには完全に投げるタイミングがそろう必要がありそのようなイベントを簡単に発生させる事は難しかった。
【０００５】
本発明は上述の問題点に鑑みてなされたものであり、本願請求項１および請求項３に記載の発明は、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現できるようにすることを目的とする。
【０００６】
さらに、本願請求項２および請求項４に記載の発明は、同時交換を簡単に実現できるよようにすることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために本発明は以下の構成要件を有する。
【０００８】
本願請求項１に記載の発明は、現実空間映像と仮想物体を示す仮想空間映像を合成して、複数の被験者のそれぞれが手に前記仮想物体を所有している複合現実感空間映像を生成・表示する情報処理装置であって、被験者の手の位置姿勢を計測する手段と、前記被験者の視点位置および視線方向を計測する手段と、前記視点位置および視線方向および前記手の位置姿勢に応じて、前記仮想物体を生成し、前記現実空間映像に合成する手段と、前記被験者の手の上方向への移動速度を求め、投げ上げ動作を検出する投げ上げ動作検出手段と、前記検出手段により投げ上げ動作が検出された後に、前記被験者の手の上方向への移動速度が一定以下になったことを検出する投げ上げ動作停止検出手段と、前記被験者の視点位置および視線方向から、仮想物体を投げ上げる相手の被験者を判定する判定手段とを有することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１３】
［第１の実施形態］
図１は、本発明の第１の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【００１４】
第一の観察者１００は、ＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）１１０を頭部に、グローブ１２０を手に装着している。
【００１５】
ＨＭＤ１１０は、図２に示したように、ビデオカメラ１１１、ＬＣＤ１１２、位置方向測定装置受信機（目用位置センサ）１１３、光学プリズム１１４，１１５で構成されている。ビデオカメラ１１１は、光学プリズム１１５によって導かれた観察者の視点位置および視線方向の現実空間映像を撮影する。目用位置センサ１１３は、観察者の視点位置および視線方向を測定するために利用される。ＬＣＤ１１３は、複合現実空間映像を表示し、その映像は光学プリズム１１４によって観察者の瞳に導かれる。
【００１６】
グローブ１２０には、手用位置センサ１２１、スピーカ（図示省略）が内蔵されている。手用位置センサ１２１は、観察者の手の位置および方向を測定するためのセンサとして利用される。スピーカからは手の位置において発生したイベントに応じた音が発生される。この音としては、例えば、手で仮想空間物体に触ったり叩いたりした時の音や、手の位置に同期して表示される仮想空間物体の状態が変わったときに発生する音などが考えられる。
【００１７】
１３０は位置方向測定装置発信機（位置センサ発信機）、１３１は位置方向測定装置本体（位置センサ本体）である。目用位置センサ１１３、手用位置センサ１２１、及び位置センサ発信機１３０は、位置センサ本体１３１に接続されている。位置センサ発信機１３０からは磁気が発信されており、この磁気は、目用位置センサ１１３、手用位置センサ１２１で受信される。位置センサ本体１３１は、目用位置センサ１１３、手用位置センサ１２１からの受信強度信号に基づいて、夫々目、手の位置および方向を算出する。ここで、位置方向測定装置としては、米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫなどが利用可能である。
【００１８】
１４０は観察者１人分の複合現実空間映像を生成して、ＨＭＤ１１０に表示する処理装置である。この処理装置１４０は、例えば、パーソナルコンピュータとビデオキャプチャーカード、ＣＧ描画機能を有するビデオカード、サウンドカード等で構成される。処理装置１４０には、ＨＭＤ１１０、スピーカ、位置センサ本体１３１が接続されている。
【００１９】
１７０は第一の観察者１００の手の上に乗っているかの様に複合される仮想キャラクタである。１８０は第一の観察者の視線を示す。視線は目用位置センサ１１３、位置センサ発信機１３０、位置センサ本体１３１によって計測可能である。第二の観察者１０１も第一の観察者と同様の構成である。
【００２０】
次に、処理装置１４０において複合現実空間映像を生成する手順を、図３のフローチャートに基づいて説明する。
【００２１】
処理装置１４０は、まず、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を取り込む（ステップＳ３０１）。なお、ステップＳ３０１では、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を定期的に取り込むスレッドＳ３１１を利用する。
【００２２】
次に、仮想空間の時間を更新し、仮想空間の状態（仮想空間物体の種類、位置、状態）を更新する（ステップＳ３０２）。このとき、現実空間物体の位置方向に同期して位置方向が変化する仮想空間物体がある場合は、それらも合わせて状態を更新する。例えば、手の上に常に仮想物体のキャラクタが乗っているように見せる場合は、このステップＳ３０２でグローブの位置方向が更新される。
【００２３】
次に、現実空間物体の位置方向（手の位置、視点位置）と仮想空間物体の位置方向の関係を調べ、予め定義されているイベントが発生したと判断される場合には、そのイベントに応じて仮想空間の状態を更新する（ステップＳ３０３）。例えば、手で仮想空間物体に触れた場合に仮想空間物体を爆発させること等が考えられる。
【００２４】
次に、ビデオカメラ１１１から得られた観察者の視点位置および視線方向での現実空間映像を取り込む（ステップＳ３０４）。このステップＳ３０４では、ビデオカメラ１１１から得られた現実空間映像をビデオキャプチャーカードから定期的に取得するスレッドＳ３１４を利用する。
【００２５】
そして、ステップＳ３０１で取得した観察者の視点位置および視線方向からの仮想空間映像を、ステップＳ３０２，Ｓ３０３で更新された仮想空間の状態に応じて生成する（ステップＳ３０５）。
【００２６】
最後に、ステップＳ３０５で生成された仮想空間映像と、ステップＳ３０４で取り込まれた現実空間映像を合成し、ＨＭＤ１１０のＬＣＤ１１２に出力する（ステップＳ３０６）。
以上の処理を、何らかの終了操作が行われるまで（ステップＳ３０７）、繰り返し実行する。
【００２７】
図４、図５は、ＨＭＤ１１０の外観図であり、図４は撮影部の方向から見た外観図、図５は表示部の方向から見た外観図である。
【００２８】
２０１はＨＭＤ表示部である。このＨＭＤ表示部２０１としては、右目用表示２０１Ｒと左目用表示部２０１Ｌの２つが有り、共にカラー液晶とプリズムを有し、観察者の視点位置および視線方向に対応する複合現実空間映像が表示される。
【００２９】
２０４〜２０８は、頭部装着用の構成部材である。ＨＭＤ３０１を頭部に装着するには、まず、アジャスタ２０５で長さ調整部２０６を緩めた状態で頭にかぶる。そして、額装着部２０８を額に密着させてから側頭装着部２０４と後頭装着部２０７を各々側頭部、後頭部に密着させるように、アジャスタ２０５で長さ調整部２０６を絞めればよい。
【００３０】
２０３は観察者の視点位置および視線方向の現実空間映像を撮影するためのＨＭＤ撮影部であり、このＨＭＤ撮影部２０３としては、右目用撮影部２０３Ｒと左目撮影用２０３Ｌの２つがあり、共にＮＴＳＣ方式の小型ビデオカメラにより構成されている。撮影された現実空間映像は、仮想空間映像と重畳されて複合現実空間映像となる。
【００３１】
受信機３０２は、観察者の視点位置および視線方向を測定するための情報として発信機から発せられた磁気を受信するために利用される。この受信機３０２のＨＭＤ３０１への取付部としては、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの３つが形成されており、これら受信機接合部２００Ｒ，２００Ｌ，２００Ｃの任意の接合部に受信機３０２を着脱自在に取付けることが可能となっている。すなわち、図４および図５では、受信機３０２は、観察者の視線の進行方向の右側の受信機接合部２００Ｒに取付けられているが、観察者の視線の進行方向の左側の受信機接合部２００Ｌ、或いは観察者の正中線上の受信機接合部２００Ｃに取付けることも可能である。
【００３２】
受信機接合部２００Ｒ，２００Ｌ，２００Ｃは、本実施形態では、受信機３０２を嵌めこんで固定するための差込口を有する構成となっているが、他の着脱自在な接合（取付）方式を採用してもよい。
【００３３】
２１０は受信機信号線であり、受信機接合部２００Ｃの近傍からＨＭＤ３０１の外部に露出している。この受信機信号線２１０は、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの何れにも受信機３０２を取付けられるように、十分な長さが確保されている。
【００３４】
２０９はＨＭＤ表示部２０１、ＨＭＤ撮影部２０３等への信号線や電源供給線、上記受信機信号線２１０等の各種の線を纏めた結束線材であり、後頭装着部２０７に取り付けられている。そして、結束線材２０９中の左右のＨＭＤ表示部２０１Ｒ，２０１Ｌ、ＨＭＤ撮影部２０３Ｒ，２０３Ｌ等への信号線や電源供給線は、各々、左右の側頭装着部２０４を通っている。
【００３５】
図６は、図１のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。処理装置（コンピュータ）３０７には、右目用ビデオキャプチャーボード３５０、左目用ビデオキャプチャーボード３５１、右目用グラフィックボード３５２、左目用グラフィックボード３５３、Ｉ／Ｏインターフェース３５４、ネットワークインターフェース３５９が搭載されており、これら構成要素は、ＣＰＵ３５６、ＨＤＤ３５５、メモリ３５７と接続されている。
【００３６】
左右の目用のビデオキャプチャーボード３５１，３５０は、夫々、左右の目用のビデオカメラ２０３Ｌ，２０３Ｒに接続され、これらビデオカメラ２０３Ｌ，２０３Ｒにて撮影された実写映像を本処理装置３０７で仮想空間映像と構成可能な形式に変換する。また、左右の目用のグラフィックボード３５３，３５２は、夫々、左右の目用の表示部（装置）２０１Ｌ，２０１Ｒに接続され、これら左右の目用の表示部２０１Ｌ，２０１Ｒに対する表示制御を行う。
【００３７】
また、Ｉ／Ｏインターフェース３５４は、位置方向測定装置本体３０６と接続され、ネットワークインターフェース３５９は、ネットワーク３３０と接続されている。
【００３８】
本実施形態では、上述のシステムを用いて、手のひらにＣＧの水面を出現させ、さらにそこに仮想キャラクタを合成する複合現実空間映像を提供する。
【００３９】
本実施形態では、手の動作を用いて仮想キャラクタの動作を制御する。以下に、仮想キャラクタの投げ渡しを行う方法について、図７および図８を用いて具体的に説明する。
【００４０】
Ｓ２００１では、手用位置センサの測定結果から、投げ上げ動作を検出する。例えば第一の観察者１００が手を一定時間以上の間一定速度以上で上方向に動かしている事を検出する。この手の動作の検出は手用位置センサ１２１で検出された手の位置の経過を解析することにより検出することができる。
【００４１】
Ｓ２００２では、手用位置センサの測定結果から、Ｓ２００１で投げ上げ動作が検出された後に手の上昇速度が一定以下になった時を検出することにより、投げ上げ動作の停止を検出する。
【００４２】
Ｓ２００３では仮想キャラクタを投げ渡す相手を判断する。図１においては２人の観察者しか書かれておらず、他の観察者は省略されているが、本実施形態では観察者が図示されている以外にも１人以上いる場合を想定している。Ｓ２００２で投げ上げ動作の停止が検出された瞬間の第一の観察者１００の視線１８０から投げ渡す相手を決定する。
【００４３】
図１に示されるように、各観察者は位置センサを備えているので各観察者の位置は把握することができる。Ｓ２００２では、投げ上げ動作を行っている観察者の視線方向に最も近い位置に存在する観察者を検出し、検出された観察者を投げ渡す相手と決定する。以下、第二の観察者１０１が投げ渡す相手として説明する。
【００４４】
Ｓ２００４ではＳ２００３で決定された第二の観察者の手に向かって仮想キャラクタ（仮想物体）をジャンプさせるべく、複合現実空間内で移動させる。これは図３のＳ３０５の仮想空間映像の描画およびＳ３０６の合成を制御することにより実現することができる。
【００４５】
以上の処理により、手を用いた簡単な投げ上げ動作により、仮想物体の第二の観察者への投げ上げ動作を実現することができる。しかも、移動を始める瞬間の判定および相手を簡単かつ適切に判定することができる。
【００４６】
次に仮想キャラクタの同時交換を行う方法について図８を用いて説明する。
【００４７】
Ｓ２００３で投げ渡す相手を決定するところまでは図７と同じである。Ｓ２００５で投げ渡す相手（第二の観察者）の状況を調べ、第二の観察者が投げ上げ動作中の場合には、Ｓ２００６で第二の観察者の視線方向を判断し、第二の観察者が第一の観察者の方を見ている場合には、Ｓ２００７で同時交換のイベントを発生させる。このように、仮想物体を投げるタイミングを簡単に合わせることができる。
【００４８】
Ｓ２００５、Ｓ２００６が成立しなかった場合には、Ｓ２００４で、単に第一の観察者から第二の観察者に仮想キャラクタの投げ渡しが行われる。
【００４９】
本実施形態によれば、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成・表示する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現でき、また同時交換も実現する事ができる。
【００５０】
（他の実施形態）
前述した図７や図８の機能を実現する様に各種のデバイスを動作させる様に該各種デバイスと接続された装置あるいはシステム内のコンピュータに、前記実施の形態の機能を実現するためのソフトウエアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータ（ＣＰＵあるいはＭＰＵ）を格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも本発明の範疇に含まれる。
【００５１】
この場合、前記ソフトウエアのプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。
【００５２】
かかるプログラムコードを格納する記憶媒体としては例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることが出来る。
【００５３】
またコンピュータが供給されたプログラムコードを実行することにより、前述の実施形態の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）、あるいは他のアプリケーションソフト等と共同して前述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００５４】
更に供給されたプログラムコードが、コンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後そのプログラムコードの指示に基づいてその機能拡張ボードや機能格納ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も本発明に含まれることは言うまでもない。
【００５５】
【発明の効果】
本願請求項１および３の発明によれば、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成する装置において、被験者の望む相手に対して仮想物体の投げ渡しを簡便で安全な方法で実現することができる。
【００５６】
さらに、本願請求項２および４の発明によれば、同時交換も簡単に実現することができる。
【図面の簡単な説明】
【図１】複合現実感システムの概略構成を示すシステム構成図である。
【図２】ＨＭＤの構成を示す構成図である。
【図３】複合現実空間映像の生成処理を示すフローチャートである。
【図４】ＨＭＤを撮影部の方向から見た場合の外観図である。
【図５】ＨＭＤを表示部の方向から見た場合の外観図である。
【図６】図１のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。
【図７】投げ渡しのイベントの処理を示すフローチャートである。
【図８】同時交換のイベントの処理を示すフローチャートである。
【図１】
0004054585.tif 000002
【図２】
0004054585.tif 000003
【図３】
0004054585.tif 000004
【図４】
0004054585.tif 000005
【図５】
0004054585.tif 000006
【図６】
0004054585.tif 000007
【図７】
0004054585.tif 000008
【図８】
0004054585.tif 000009