(57)【特許請求の範囲】
【請求項１】
２系統以上の実写映像に仮想空間画像を合成して出力する画像合成処理装置において、
複数のカメラそれぞれから送られてくるビデオ信号のフレームレートとほぼ同じ高フレームレートにて、各カメラからのビデオ信号を非同期にてバッファーに記憶する手段と、
前記フレームレートとは非同期に、前記各カメラから前記バッファーに最後に記録された画像を同時に取得する手段と、
仮想空間画像と前記取得した各画像とを合成する合成手段と、
前記合成画像のそれぞれを表示する手段とを有することを特徴とする画像合成処理装置。
【請求項２】
さらに、位置センサと、
該位置センサによって求められた前記実写映像の位置情報に応じて前記仮想空間画像を生成する生成手段とを有することを特徴とする請求項１記載の画像合成処理装置。
【請求項３】
撮影された右目用および左目用の実写画像の夫々に仮想空間画像を合成し、リアルタイムにステレオ画像を表示する画像合成処理装置において、
各カメラからのビデオ信号を取得し、右目用および左目用の実写画像としてメモリに格納する右目用および左目用のキャブチャボード、
前記メモリから読み出された前記右目用および左目用の実写画像に、生成した仮想空間画像を合成し、右目用および左目用の表示画像を生成するグラフィックボードとを有し、
前記右目用および左目用のキャブチャボードは夫々が非同期かつ前記グラフィックボードの動作と非同期に高いフレームレートでビデオ信号を取得することを特徴とする画像合成処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２系統以上の実写映像と仮想画像を実時間で合成する画像合成処理装置に関する。
【０００２】
【従来の技術】
２系統の実写映像の入力の同期をとる方法としては、２系統のＮＴＳＣのビデオ信号のそれぞれを、１つのビデオ信号のＯＤＤフィールドとＥＶＥＮフィールドに割り当て、１つのＮＴＳＣ信号にしてから、それを単一の入力装置で１フレーム分同時に取り込むという方法があった。
【０００３】
また、非同期に２系統の実写映像を取り込み表示する場合でも、３０ｆｐｓ程度の処理速度が保たれていれば、複数の入力映像の同期ずれは、実用上大きな問題にならない程度に抑える事がきる。
【０００４】
図３、図4は従来例の非同期に２系統の実写映像を取り込む場合の内部的な処理に関する部分のフローと概念図である。図３では、図１および図２に示されるシステムに適用した場合の処理手順について説明する。
【０００５】
処理装置おいて複合現実空間映像を生成する手順を、図３のフローチャートに基づいて説明する。
【０００６】
まず、位置センサ本体から送信されてきた視点位置および視線方向、手の位置および方向を取り込む（ステップＳ３０１）。なお、ステップＳ３０１では、位置センサ本体から送信されてきた視点位置および視線方向、手の位置および方向を定期的に取り込むスレッドＳ３１１を利用する。
【０００７】
次に、仮想空間の時間を更新し、仮想空間の状態（仮想空間物体の種類、位置、状態）を更新する（ステップＳ３０２）。このとき、現実空間物体の位置方向に同期して位置方向が変化する仮想空間物体がある場合は、それらも合わせて状態を更新する。例えば、手の上に常に仮想物体のキャラクタが乗っているように見せる場合は、このステップＳ３０２でグローブの位置方向が更新される。
【０００８】
次に、現実空間物体の位置方向（手の位置、視点位置）と仮想空間物体の位置方向の関係を調べ、予め定義されているイベントが発生したと判断される場合には、そのイベントに応じて仮想空間の状態を更新する（ステップＳ３０３）。例えば、手で仮想空間物体に触れた場合に仮想空間物体を爆発させること等が考えられる。
【０００９】
次に、ビデオカメラ１１１から得られた観察者の視点位置および視線方向での現実空間映像を取り込む（ステップＳ３０４）。このステップＳ３０４では、ビデオカメラ１１１から得られた現実空間映像をビデオキャプチャーカードから定期的に取得するスレッドＳ３１４を利用する。
【００１０】
そして、ステップＳ３０１で取得した観察者の視点位置および視線方向からの仮想空間映像を、ステップＳ３０２，Ｓ３０３で更新された仮想空間の状態に応じて生成する（ステップＳ３０５）。例えばここで、１７０、１７１に示すような仮想キャラクタが、あたかも現実空間に存在するかのように描画される。
【００１１】
最後に、ステップＳ３０５で生成された仮想空間映像と、ステップＳ３０４で取り込まれた現実空間映像を合成し、ＨＭＤ１１０のＬＣＤ１１２に出力する（ステップＳ３０６）。
【００１２】
以上の処理を、何らかの終了操作が行われるまで（ステップＳ３０７）、繰り返し実行する。
【００１３】
つぎに図３のＳ３０４、Ｓ３１４について図４の現実空間画像取得の概念図を使って詳しく説明する。
【００１４】
Ｓ３１４では図３のフローの繰り返しのレートと同じレートでＳ３１４の映像キャプチャスレッドが動作する。つまり、画像の表示レートとキャプチャレートが同一である。
【００１５】
例として表示内容が非常に多く１０ｆｐｓ程度の表示しかできない場合のＳ３１４の処理内容について説明する。
【００１６】
４５０右目用キャプチャーボード、４５１左目用キャプチャーボードは左右非同期に動作しており、表示のレートに合わせて、それぞれ１０ｆｐｓでそれぞれ、４９２右目用画像バッファ、左目用画像バッファに現実空間画像を記録する。左右非同期で１０ｆｐｓである事から、ここで記録される画像は最大で１／６秒、平均でも１／１２秒程度ずれを生じてしまう。この時間のずれは、人にとって十分認識できるずれであり、現実空間画像の変化が大きい場面においては立体視が不可能になってしまう。
【００１７】
【発明が解決しようとする課題】
２系統のＮＴＳＣのビデオ信号のそれぞれを、１つのビデオ信号のＯＤＤフィールドとＥＶＥＮフィールドに割り当て、１つのＮＴＳＣ信号にしてから、それを単一の入力装置で１フレーム分同時に取り込むという方法では、以下のような問題点がある。
・２つのビデオ信号を一つに合成する特殊な装置が必要で高価である。
・合成する時に画質が劣化する。ＥＶＥＮ、ＯＤＤのフィールドを使うため縦方向の解像度が１／２に低下する。
・合成装置の内部で遅れが生じる。
・入力に一般的なフィールドシーケンスシャルのカメラを用いた場合、２系統の画像に１／６０秒の定常的なずれを生じてしまう。
【００１８】
一方、非同期に２系統の実写映像を取り込む場合には３０ｆｐｓの処理速度が必須なり、高性能な装置が高価となる。もしくは表示内容を充実させようとした場合に、処理能力不足のため実現できなくなるか、処理速度が低下し、左右の実写映像の同期がずれてしまい、立体視できなくなってしまうといった現象が生じる。
【００１９】
本発明は、安価な装置で、２系統以上の実写映像の各々に仮想空間画像を合成した合成画像を同期ずれなく実時間で表示可能にすることを目的とする。
【００２０】
【課題を解決するための手段】
上述の目的を達成するために本発明は以下の構成を有することを特徴とする。
【００２１】
本願請求項１の発明は、２系統以上の実写映像に仮想空間画像を合成して出力する画像合成処理装置において、複数のカメラそれぞれから送られてくるビデオ信号のフレームレートとほぼ同じ高フレームレートにて、各カメラからのビデオ信号を非同期にてバッファーに記憶する手段と、前記フレームレートとは非同期に、前記各カメラから前記バッファーに最後に記録された画像を同時に取得する手段と、仮想空間画像と前記取得した各画像とを合成する合成手段と、前記合成画像のそれぞれを表示する手段とを有する事を特徴とする。
【００２２】
本願請求項３の発明は、撮影された右目用および左目用の実写画像の夫々に仮想空間画像を合成し、リアルタイムにステレオ画像を表示する画像合成処理装置において、各カメラからのビデオ信号を取得し、右目用および左目用の実写画像としてメモリに格納する右目用および左目用のキャブチャボード、前記メモリから読み出された前記右目用および左目用の実写画像に、生成した仮想空間画像を合成し、右目用および左目用の表示画像を生成するグラフィックボードとを有し、前記右目用および左目用のキャブチャボードは夫々が非同期かつ前記グラフィックボードの動作と非同期に高いフレームレートでビデオ信号を取得することを特徴とする。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００２４】
［第１の実施形態］
図１は、本発明の第１の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【００２５】
第一の観察者１００は、ＨＭＤ（ＨｅａｄＭｏｕｎｔＤｉｓｐｌａｙ）１１０を頭部に、グローブ１２０を手に装着している。
【００２６】
ＨＭＤ１１０は、図２に示したように、ビデオカメラ１１１、ＬＣＤ１１２、位置方向測定装置受信機（目用位置センサ）１１３、光学プリズム１１４，１１５で構成されている。ビデオカメラ１１１は、光学プリズム１１５によって導かれた観察者の視点位置および視線方向の現実空間映像を撮影する。目用位置センサ１１３は、観察者の視点位置および視線方向を測定するために利用される。ＬＣＤ１１３は、複合現実空間映像を表示し、その映像は光学プリズム１１４によって観察者の瞳に導かれる。
【００２７】
グローブ１２０には、手用位置センサ１２１、スピーカ１２２（図示省略）が内蔵されている。手用位置センサ１２１は、観察者の手の位置および方向を測定するためのセンサとして利用される。スピーカ１２２からは手の位置において発生したイベントに応じた音が発生される。この音としては、例えば、手で仮想空間物体に触ったり叩いたりした時の音や、手の位置に同期して表示される仮想空間物体の状態が変わったときに発生する音などが考えられる。
【００２８】
１３０は位置方向測定装置発信機（位置センサ発信機）、１３１は位置方向測定装置本体（位置センサ本体）である。目用位置センサ１１３、手用位置センサ１２１、及び位置センサ発信機１３０は、位置センサ本体１３１に接続されている。位置センサ発信機１３０からは磁気が発信されており、この磁気は、目用位置センサ１１３、手用位置センサ１２１で受信される。位置センサ本体１３１は、目用位置センサ１１３、手用位置センサ１２１からの受信強度信号に基づいて、夫々目、手の位置および方向を算出する。ここで、位置方向測定装置としては、米国Polhemus社製FASTRAKなどが利用可能である。
【００２９】
１４０は観察者１人分の複合現実空間映像を生成して、ＨＭＤ１１０に表示する処理装置である。この処理装置１４０は、例えば、パーソナルコンピュータとビデオキャプチャーカード、ＣＧ描画機能を有するビデオカード、サウンドカード等で構成される。処理装置１４０には、ＨＭＤ１１０、スピーカ１２２、位置センサ本体１３１が接続されている。
【００３０】
１７０は第一の観察者１００の手の上に乗っているかの様に複合される仮想キャラクタである。１８０は第一の観察者の視線を示す。視線は目用位置センサ１１３、位置センサ発信機１３０、位置センサ本体１３１によって計測可能である。
【００３１】
第二の観察者１０１も第一の観察者と同様の構成である。
【００３２】
次に、処理装置１４０において複合現実空間映像を生成する手順を、図8のフローチャートに基づいて説明する。
【００３３】
処理装置１４０は、まず、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を取り込む（ステップＳ２００１）。なお、ステップＳ２００１では、位置センサ本体１３１から送信されてきた視点位置および視線方向、手の位置および方向を定期的に取り込むスレッドＳ２０１１を利用する。
【００３４】
次に、仮想空間の時間を更新し、仮想空間の状態（仮想空間物体の種類、位置、状態）を更新する（ステップＳ２００２）。このとき、現実空間物体の位置方向に同期して位置方向が変化する仮想空間物体がある場合は、それらも合わせて状態を更新する。例えば、手の上に常に仮想物体のキャラクタが乗っているように見せる場合は、このステップＳ２００２でグローブの位置方向が更新される。
【００３５】
次に、現実空間物体の位置方向（手の位置、視点位置）と仮想空間物体の位置方向の関係を調べ、予め定義されているイベントが発生したと判断される場合には、そのイベントに応じて仮想空間の状態を更新する（ステップＳ２００３）。例えば、手で仮想空間物体に触れた場合に仮想空間物体を爆発させること等が考えられる。
【００３６】
次に、左右両方の現実空間画像バッファをロックして変更不能にする（ステップＳ２００４）。
【００３７】
次にバッファに取り込まれている内容で、現実空間描画用の映像を更新する（ステップＳ２００５）。現実空間画像バッファには別処理で、カメラ１１１からの画像が取り込まれているが、その部分は本実施形態に特有の方式であり詳細は後述する。本実施形態では現実空間画像バッファにカメラからの画像を書き込む処理を、現時空間画像バッファに書き込まれた画像に基づく表示画像の生成を独立、非同期に行っている。
【００３８】
ステップＳ２００５で更新した後にはステップＳ２００４でロックしたバッファを開放する。（ステップＳ２００６）
次にステップＳ２００５で更新された現実空間画像を描画する。（ステップＳ２００７）
そして、ステップＳ２００１で取得した観察者の視点位置および視線方向からの仮想空間映像を、ステップＳ２００２，Ｓ２００３で更新された仮想空間の状態に応じて生成する（ステップＳ２００８）。
【００３９】
最後に、ステップＳ２００８で生成された仮想空間映像と、ステップＳ２００７で取り込まれた現実空間映像を合成し、ＨＭＤ１１０のＬＣＤ１１２に出力する（ステップＳ２００９）。
【００４０】
以上の処理を、何らかの終了操作が行われるまで（ステップＳ２０１０）、繰り返し実行する。
【００４１】
これらの一連の処理はステップＳ２００８で描画される仮想空間映像の内容等によって処理時間が大きく変わり、１／３０秒で処理できない場合が多々生じてしまう。
【００４２】
しかしながら、本実施形態では、左右の現実空間画像の時間ずれを問題がないレベルまでに抑制することができる。Ｓ２００５で更新される実写画像は１／３０ｆｐｓで更新されている最後に更新された映像であるため、最大でも１／３０秒の遅れ、平均では１／６０秒の遅れに抑えることができる。つまり、左右の映像の更新に遅れの偏りがでるといった現象を防ぐことができる。
【００４３】
図５、図６は、ＨＭＤ１１０の外観図であり、図５は撮影部の方向から見た外観図、図６は表示部の方向から見た外観図である。
【００４４】
２０１はＨＭＤ表示部である。このHMD表示部２０１としては、右目用表示２０１Ｒと左目用表示部２０１Ｌの２つが有り、共にカラー液晶とプリズムを有し、観察者の視点位置および視線方向に対応する複合現実空間映像が表示される。
【００４５】
２０４〜２０８は、頭部装着用の構成部材である。ＨＭＤ１１０を頭部に装着するには、まず、アジャスタ２０５で長さ調整部２０６を緩めた状態で頭にかぶる。そして、額装着部２０８を額に密着させてから側頭装着部２０４と後頭装着部２０７を各々側頭部、後頭部に密着させるように、アジャスタ２０５で長さ調整部２０６を絞めればよい。
【００４６】
２０３は観察者の視点位置および視線方向の現実空間映像を撮影するためのHMD撮影部であり、このＨＭＤ撮影部２０３としては、右目用撮影部２０３Ｒと左目撮影用２０３Ｌの２つがあり、共にＮＴＳＣ方式の小型ビデオカメラにより構成されている。撮影された現実空間映像は、仮想空間映像と重畳されて複合現実空間映像となる。
【００４７】
受信機３０２は、観察者の視点位置および視線方向を測定するための情報として発信機３０４から発せられた磁気を受信するために利用される。この受信機３０２のＨＭＤ３０１への取付部としては、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの３つが形成されており、これら受信機接合部２００Ｒ，２００Ｌ，２００Ｃの任意の接合部に受信機３０２を着脱自在に取付けることが可能となっている。すなわち、図５，図６では、受信機３０２は、観察者の視線の進行方向の右側の受信機接合部２００Ｒに取付けられているが、観察者の視線の進行方向の左側の受信機接合部２００Ｌ、或いは観察者の正中線上の受信機接合部２００Ｃに取付けることも可能である。
【００４８】
受信機接合部２００Ｒ，２００Ｌ，２００Ｃは、本実施形態では、受信機３０２を嵌めこんで固定するための差込口を有する構成となつているが、他の着脱自在な接合（取付）方式を採用してもよい。
【００４９】
２１０は受信機信号線であり、受信機接合部２００Ｃの近傍からＨＭＤ３０１の外部に露出している。この受信機信号線２１０は、受信機接合部２００Ｒ，２００Ｌ，２００Ｃの何れにも受信機３０２を取付けられるように、十分な長さが確保されている。
【００５０】
２０９はＨＭＤ表示部２０１、ＨＭＤ撮影部２０３等への信号線や電源供給線、上記受信機信号線２１０等の各種の線を纏めた結束線材であり、後頭装着部２０７に取り付けられている。そして、結束線材２０９中の左右のＨＭＤ表示部２０１Ｒ，２０１Ｌ、ＨＭＤ撮影部２０３Ｒ，２０３Ｌ等への信号線や電源供給線は、各々、左右の側頭装着部２０４を通っている。
【００５１】
図７は、図１のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。処理装置（コンピュータ）３０７には、右目用ビデオキャプチャーボード３５０、左目用ビデオキャプチャーボード３５１、右目用グラフィックボード３５２、左目用グラフィックボード３５３、Ｉ／Ｏインターフェース３５４、ネットワークインターフェース３５９が搭載されており、これら構成要素は、ＣＰＵ３５６、ＨＤＤ３５５、メモリ３５７と接続されている。
【００５２】
左右の目用のビデオキャプチャーボード３５１，３５０は、夫々、左右の目用のビデオカメラ２０３Ｌ，２０３Ｒに接続され、これらビデオカメラ２０３Ｌ，２０３Ｒにて撮影された実写映像を本処理装置３０７で仮想空間映像と合成可能な形式に変換する。また、左右の目用のグラフィックボード３５３，３５２は、夫々、左右の目用の表示部（装置）２０１Ｌ，２０１Ｒに接続され、これら左右の目用の表示部２０１Ｌ，２０１Ｒに対する表示制御を行う。
【００５３】
また、Ｉ／Ｏインターフェース３５４は、位置方向測定装置本体３０６と接続され、ネットワークインターフェース３５９は、ネットワーク３３０と接続されている。
【００５４】
次に本実施形態に固有の現実空間画像バッファの処理に関して、コンピュータ１４０の内部の関連する部分の概念を示した図１１と図９を用いて説明する。図１０は左目に関する処理で、図９の右目に関する処理と同等である。
【００５５】
まず１フレーム分の映像信号の取り込みが右目用キャプチャーカード３５０で完了するのを待つ（ステップＳ２１０１）。次に右目用キャプチャーカード３５０から１フレーム分の画像を取得する。（ステップＳ２１０２）
次にメモリ３５７中の右目用現実空間画像バッファ２３０２をロックする（ステップＳ２１０３）。このロックによって、更新中の右目用現実空間画像バッファ２３０２を描画に使ってしまい更新中の乱れた映像を描画してしまうという事を防ぐことができる。
【００５６】
次に右目用現実空間画像バッファ２３０２に現実空間画像をコピーする（ステップＳ２１０４）。このときに、バッファが上書きされる事が重要である。画像がキューに積まれて、順番に処理されてしまうと、表示のレートが、キャプチャーのレートよりも遅い場合に、古いデータから順に画像が処理される事になってしまい、以下の分だけ遅れが生じてしまう。
【００５７】
遅れ＝キューに溜まっている画像の数×１／３０秒（キャプチャレートによる）
他の部分の実装方法によってはリングバッファー、ダブルバッファー、などいくつかバッファーを設けて、読み出しと書き込みを同時に行う、コピーの処理を除いて高速化するなどの事も可能であるが、いずれの場合にも、最後に書き込んだバッファーを保持し、描画においては最後に書き込んだ最新の画像を参照する事が本実施形態において重要である。
【００５８】
最後に右目用現実空間画像バッファ２３０２のロックを開放し（Ｓ２１０６）次のフレームの処理を行う。
【００５９】
本実施形態の現実空間画像バッファ処理によれば、高いフレームレートでカメラからの画像をキャプチャするので、現実空間映像の遅れを実用上問題ないレベルまで抑え、左右の現実空間映像の時間的差を実用上問題ないレベルにする事が可能である。
【００６０】
従来すぐに次のフレームの処理を行わず、最新の画像による描画を待つような処理手順が一般的であったが、そのような方式ではＣＰＵ負荷は軽減できるものの、現実空間映像の遅れが目立ってしまう。
【００６１】
以上のように、本実施形態によれば、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成・表示する装置において、比較的安価な装置においても、現実空間映像の遅れを実用上問題ないレベルまで抑え、左右の現実空間映像の、時間的差も最小にする事が可能である。
【００６２】
【発明の効果】
本発明によれば、現実空間映像と仮想空間映像を合成して、複合現実感空間映像を生成・表示する装置において、比較的安価な装置においても、現実空間映像の遅れを実用上問題ないレベルまで抑え、左右の現実空間映像の時間的差も最小にする事が可能である。
【図面の簡単な説明】
【図１】本発明の第３の実施形態を適用した複合現実感システムの概略構成を示すシステム構成図である。
【図２】ＨＭＤの構成を示す構成図である。
【図３】従来の複合現実空間映像の生成処理を示すフローチャートである。
【図４】従来のハードウェアの概念図である。
【図５】ＨＭＤを撮影部の方向から見た場合の外観図である。
【図６】ＨＭＤを表示部の方向から見た場合の外観図である。
【図７】図１のシステムにおける観察者１人分のハードウェア構成を示すブロック図である。
【図８】本発明の複合現実空間映像の生成処理を示すフローチャートである。
【図９】本発明の右目の現実空間映像の処理を示すフローチャートである。
【図１０】本発明の右目の現実空間映像の処理を示すフローチャートである。
【図１１】図７のハードウエアの中で実施形態分の概念を示す図である。
【図１】
0003913076.tif 000002
【図２】
0003913076.tif 000003
【図３】
0003913076.tif 000004
【図４】
0003913076.tif 000005
【図５】
0003913076.tif 000006
【図６】
0003913076.tif 000007
【図７】
0003913076.tif 000008
【図８】
0003913076.tif 000009
【図９】
0003913076.tif 000010
【図１０】
0003913076.tif 000011
【図１１】
0003913076.tif 000012