(57)【要約】  本発明は、三次元における少なくとも１つの仮想オブジェクトのキャプチャマーク内におけるビデオキャプチャ手段の配置を判定する方法に関するものであり、少なくとも１つの仮想オブジェクトは、ビデオ画像フローの画像内に存在する少なくとも１つの実在オブジェクトに対応したモデルである。本発明による方法は、ビデオ画像フローをビデオキャプチャ手段から受信する段階と、受信したビデオ画像フローと少なくとも１つの仮想オブジェクトフローを表示する段階と、前記少なくとも１つの仮想オブジェクトのポイントをビデオ画像フローの画像内に存在する少なくとも１つの実在オブジェクト内の対応したポイントとリアルタイムでペア付けする段階と、少なくとも１つの仮想オブジェクトのポイントとビデオ画像フローの画像内に存在する少なくとも１つの実在オブジェクト内のそのペア付けされたポイントに従ってビデオキャプチャ手段の配置を判定する段階と、を有することを特徴としている。
2009505191.tif 000002
【特許請求の範囲】
【請求項１】
三次元における少なくとも１つの仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法であって、前記少なくとも１つの仮想オブジェクトは、ビデオ画像ストリームからの画像内に存在する少なくとも１つの実在オブジェクトに対応したモデルである、方法において、
前記ビデオキャプチャ手段からビデオ画像ストリームを受信する段階と、
前記受信したビデオ画像ストリームと前記少なくとも１つの仮想オブジェクトを表示する段階と、
前記少なくとも１つの仮想オブジェクトのポイントと前記ビデオ画像ストリームからの画像内に存在する前記少なくとも１つの実在オブジェクト内の対応したポイントをリアルタイムでマッチングさせる段階と、
前記少なくとも１つの仮想オブジェクトの前記ポイントと、前記ビデオ画像ストリームからの前記画像内に存在する前記少なくとも１つの実在オブジェクト内のそのマッチングされたポイントとの関数として前記ビデオキャプチャ手段の前記姿勢を判定する段階と、を有することを特徴とする判定方法。
【請求項２】
前記受信したビデオ画像ストリーム上に重畳される方式において前記少なくとも１つの仮想オブジェクトを表示する段階を更に有することを特徴とする請求項１記載の判定方法。
【請求項３】
前記受信したビデオ画像ストリーム及び前記少なくとも１つの仮想オブジェクトの前記表示段階は、２つの個別の並設された表示ウィンドウ内において実現されることを特徴とする請求項１記載の判定方法。
【請求項４】
前記マッチング段階は、手動で実行されることを特徴とする請求項１〜３の中のいずれか一項記載の判定方法。
【請求項５】
前記少なくとも１つの仮想オブジェクトのポイントは、仮想オブジェクト内の選択されたポイントから三次元におけるポイントを抽出するアルゴリズムによって選択されることを特徴とする請求項１〜４の中のいずれか一項記載の判定方法。
【請求項６】
前記モデルは、前記受信したビデオ画像ストリームからの前記画像内に存在する前記実在オブジェクトとは対応性を有していない少なくとも１つの仮想オブジェクトを更に有することを特徴とする請求項１〜５の中のいずれか一項記載の判定方法。
【請求項７】
前記少なくとも１つの仮想オブジェクトの観点をリアルタイムで変更する段階を更に有することを特徴とする請求項１〜６の中のいずれか一項記載の判定方法。
【請求項８】
請求項１〜７記載の方法の段階のそれぞれを実行するべく適合された命令を有するコンピュータプログラム。
【請求項９】
三次元における少なくとも１つの仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する装置であって、前記少なくとも１つの仮想オブジェクトは、ビデオ画像ストリームからの画像内に存在する少なくとも１つの実在オブジェクトに対応したモデルである、装置において、
前記ビデオキャプチャ手段からビデオ画像ストリームを受信する手段と、
前記受信したビデオ画像ストリームと前記少なくとも１つの仮想オブジェクトを表示する手段と、
前記少なくとも１つの仮想オブジェクトのポイントを前記ビデオ画像ストリームからの画像内に存在する前記少なくとも１つの実在オブジェクト内の対応したポイントとリアルタイムでマッチングさせる手段と、
前記少なくとも１つの仮想オブジェクトの前記ポイントと、前記ビデオ画像ストリームからの前記画像内に存在する前記少なくとも１つの実在オブジェクト内のそのマッチングされたポイントとの関数として前記ビデオキャプチャ手段の前記姿勢を判定する手段と、
を有することを特徴とする判定装置。
【請求項１０】
前記受信したビデオ画像ストリーム上に重畳される方式において前記少なくとも１つの仮想オブジェクトを表示する手段を更に有することを特徴とする請求項９記載の判定装置。
【請求項１１】
前記表示手段は、２つの個別の並設された表示ウィンドウ内において前記受信したビデオ画像ストリームと前記少なくとも１つの仮想オブジェクトを表示するべく適合されていることを特徴とする請求項９記載の判定装置。
【請求項１２】
前記装置は、マッチングを手動で制御する手段を含んでいることを特徴とする請求項９〜１１の中のいずれか一項記載の判定装置。
【請求項１３】
前記少なくとも１つの仮想オブジェクトのポイントは、仮想オブジェクト内において選択されたポイントから三次元におけるポイントを抽出するアルゴリズムによって選択されることを特徴とする請求項９〜１２の中のいずれか一項記載の判定装置。
【請求項１４】
前記モデルは、前記受信したビデオ画像ストリームからの前記画像内に存在する前記実在オブジェクトとの対応性を有していない少なくとも１つの仮想オブジェクトを更に有することを特徴とする請求項９〜１３の中のいずれか一項記載の判定装置。
【請求項１５】
前記装置は、前記少なくとも１つの仮想オブジェクトの観点をリアルタイムで変更する手段を更に有する請求項９〜１４の中のいずれか一項記載の判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実在環境内におけるビデオキャプチャ手段の姿勢（ｐｏｓｅ）の判定に関するものであり、更に詳しくは、少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置に関するものである。
【０００２】
これは、ビデオカメラによってキャプチャしたビデオ画像内への仮想オブジェクトの挿入の観点におけるビデオカメラの姿勢の判定において、一般的な用途を有している。
【背景技術】
【０００３】
向上したリアリティは、実際には、ビデオキャプチャ手段から得たビデオ画像内に仮想オブジェクトを挿入することによって実現される。
【０００４】
ビデオ画像内への挿入が完了したら、仮想オブジェクトは、ビデオ内に存在している実在オブジェクトとの関係において、正しい透視図法、正しい配置、及び正しいサイズを有する状態において表示されなければならない。
【発明の開示】
【０００５】
現在、ビデオ内への仮想オブジェクトの挿入は、ビデオをキャプチャした後に実現されている。例えば、ビデオ内の静止フレーム内において挿入を実現している。このようなビデオ内への仮想オブジェクトの挿入操作に起因し、開発費用が増大している。
【０００６】
更には、リアルタイムにおける、即ち、キャプチャされたビデオ画像を受信した際における画像内への仮想オブジェクトの挿入は、近似的な方式において実行されている。
【０００７】
本発明は、以上の問題点の中の少なくとも１つを解決している。
【０００８】
従って、本発明は、三次元における少なくとも１つの仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法を有しており、この少なくとも１つの仮想オブジェクトは、ビデオ画像ストリームからの画像内に存在する少なくとも１つの実在オブジェクトに対応したモデルであり、この方法は、ビデオキャプチャ手段からビデオ画像ストリームを受信する段階と、受信したビデオ画像ストリーム及び少なくとも１つの仮想オブジェクトを表示する段階と、少なくとも１つの仮想オブジェクトのポイントをビデオ画像ストリームからの画像内に存在する少なくとも１つの実在オブジェクト内の対応したポイントとリアルタイムでマッチングさせる段階と、少なくとも１つの仮想オブジェクトのポイントと、ビデオ画像ストリームからの画像内に存在する少なくとも１つの実在オブジェクト内のそのマッチングしたポイントとの関数としてビデオキャプチャ手段の姿勢を判定する段階と、を有することを特徴としている。
【０００９】
本発明による方法は、実在環境内に仮想オブジェクトを迅速且つ正確に挿入するための位置に結果的になるように、三次元においてモデル化された仮想オブジェクトの基準デジタル化フレーム内におけるビデオカメラの姿勢を判定している。
【００１０】
このモデルは、三次元仮想オブジェクトによって実現されている。
【００１１】
姿勢は、少なくとも１つの仮想オブジェクトのポイントとビデオ画像内のポイントのマッチングに基づいて、更に詳しくは、仮想オブジェクト上の選択されたポイントとビデオ画像内におけるその等価物をマッチングさせることにより、判定されている。
【００１２】
ビデオキャプチャ手段の姿勢の判定は、ビデオ画像ストリーム内に追加される要素を構成している三次元における仮想オブジェクトのレンダリングパラメータを供給する仮想ビデオカメラの姿勢と関連付けられていることに留意されたい。
【００１３】
従って、ビデオキャプチャ手段の姿勢の判定は、ビデオ画像ストリーム内に存在する実在オブジェクトに対応した仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段と関連付けられた仮想ビデオカメラの姿勢をも判定している。
【００１４】
１つの特定の特徴によれば、本方法は、受信したビデオ画像ストリーム上に重畳される方式において少なくとも１つの仮想オブジェクトを表示する段階を更に有している。
【００１５】
この特徴によれば、判定されたビデオキャプチャ手段の姿勢の品質と、これに付随し、仮想ビデオカメラの姿勢の品質を検証するべく、仮想オブジェクトをビデオウィンドウ内において可視化可能である。
【００１６】
別の特定の特徴によれば、受信したビデオ画像ストリーム及び少なくとも１つの仮想オブジェクトの表示は、２つの個別の並設された表示ウィンドウ内において実現されている。
【００１７】
別の特定の特徴によれば、マッチングは手動で実行されている。
【００１８】
別の特定の特徴によれば、少なくとも１つの仮想オブジェクトのポイントは、仮想オブジェクト内の選択されたポイントから三次元におけるポイントを抽出するアルゴリズムによって選択されている。
【００１９】
この特徴によれば、ユーザーが仮想オブジェクトを表す三次元メッシュの結節点を選択することにより、抽出アルゴリズムが、ユーザーによって選択された場所に最も近接したメッシュ内において三次元でポイントを判定可能である。
【００２０】
別の特定の特徴によれば、モデルは、受信したビデオ画像ストリームからの画像内に存在する実在オブジェクトとの対応性を有していない少なくとも１つの仮想オブジェクトを更に有している。
【００２１】
この特徴によれば、実在環境のモデルは、実在環境を補完可能なオブジェクトを有することができる。
【００２２】
特定の特徴によれば、本方法は、前述の少なくとも１つの仮想オブジェクトの観点をリアルタイムで変更する段階を更に有している。
【００２３】
この特徴によれば、この結果、異なる観点における仮想オブジェクトの可視化が可能となり、ユーザーは、互いにマッチングされたポイントの有効性を検証可能である。
【００２４】
又、本発明は、前述の方法の段階のそれぞれを実行するべく適合された命令を有するコンピュータプログラムをも有している。
【００２５】
又、関連した方式において、本発明は、三次元における少なくとも１つの仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する装置をも提供しており、少なくとも１つの仮想オブジェクトは、ビデオ画像ストリームからの画像内に存在する少なくとも１つの実在オブジェクトに対応したモデルであり、この装置は、ビデオキャプチャ手段からビデオ画像ストリームを受信する手段と、受信したビデオ画像ストリームと少なくとも１つの仮想オブジェクトを表示する手段と、少なくとも１つの仮想オブジェクトのポイントをビデオ画像ストリームからの画像内に存在する少なくとも１つの実在オブジェクト内の対応したポイントとリアルタイムでマッチングさせる手段と、少なくとも１つの仮想オブジェクトのポイントと、ビデオ画像ストリームからの画像内に存在する少なくとも１つの実在オブジェクト内のそのマッチングされたポイントとの関数としてビデオキャプチャ手段の姿勢を判定する手段と、を有することを特徴としている。
【００２６】
この装置は、先程概説した判定方法と同一の利点を具備している。
【００２７】
本発明のその他の利点、目的、及び特徴については、非限定的な例として付与されている以下の詳細な説明を添付図面との関連において参照することにより、明らかとなろう。
【発明を実施するための最良の形態】
【００２８】
本発明による装置及び方法は、キャプチャされたビデオ内に後から仮想オブジェクトを迅速且つ正確にリアルタイムで挿入できるように、画像ストリームからの画像内に存在する実在オブジェクトをモデル化した仮想オブジェクトの基準デジタルフレーム内におけるビデオキャプチャ手段の姿勢を判定している。
【００２９】
この姿勢は、ビデオキャプチャ手段の位置及び向きであることに留意されたい。
【００３０】
ビデオキャプチャ手段の姿勢の判定は、ビデオ画像ストリームからの画像内に存在する実在オブジェクトをモデル化した三次元の仮想オブジェクトの観点において仮想ビデオカメラの姿勢と関連付けられていることに留意されたい。
【００３１】
従って、ビデオキャプチャ手段の姿勢の判定は、ビデオ画像ストリームからの画像内に存在する実在オブジェクトに対応した仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段と関連付けられた仮想ビデオカメラの姿勢をも判定している。
【００３２】
このために、本装置は、例えば、ビデオカメラなどのビデオキャプチャ手段を有している。
【００３３】
第１実施例においては、ビデオキャプチャ手段は、適宜、三脚上に配置されたパン／チルト／ズームにおいてロボット制御されたビデオカメラから構成されている。これは、例えば、Ｓｏｎｙ（登録商標）  ＥＶＩ  Ｄ１００又はＳｏｎｙ（登録商標）  ＥＶＩ  Ｄ１００Ｐビデオカメラである。
【００３４】
第２実施例においては、ビデオキャプチャ手段は、固定されたビデオカメラから構成されている。
【００３５】
第３実施例においては、ビデオキャプチャ手段は、運動センサと関連付けられたビデオカメラから構成されており、運動センサは、運動センサの基準フレーム内におけるビデオカメラの位置及び向きをリアルタイムで判定している。又、本装置は、更に大きな移動性を確保するべく、例えば、ラップトップコンピュータなどのパーソナルコンピュータ（ＰＣ）タイプの処理手段をも有している。
【００３６】
ビデオキャプチャ手段は、２つのタイプの接続によって処理手段に接続されている。第１の接続は、ビデオ接続である。これは、コンポジットビデオ、Ｓ−Ｖｉｄｅｏ、ＤＶ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ）、ＳＤＩ（Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）、又はＨＤ−ＳＤＩ（Ｈｉｇｈ  Ｄｉｆｉｎｉｔｉｏｎ  Ｓｅｒｉａｌ  Ｄｉｇｉｔａｌ  Ｉｎｔｅｒｆａｃｅ）接続であってよい。
【００３７】
第２接続は、例えば、シリアルポート、ＵＳＢポート、又は任意のその他の通信ポートなどの通信ポートに対する接続である。この接続は、任意選択であるが、これによれば、例えば、Ｓｏｎｙ（登録商標）  ＥＶＩ  Ｄ１００タイプのビデオカメラからコンピュータにパン、チルト、及びズームタイプのパラメータをリアルタイムで送信可能である。
【００３８】
処理手段は、具体的には、例えば、Ｔｏｔａｌ  Ｉｍｍｅｒｓｉｏｎ社のＤ’ＦＵＳＩＯＮソフトウェアなどのリアルタイム機能強化型リアリティ処理手段を装備している。
【００３９】
三次元においてモデル化された仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法を実装するべく、ユーザーは、前述の装置を実在環境内に搬入する。
【００４０】
次いで、ユーザーは、最も適切であると思われる観点においてビデオカメラの場所を選択し、例えば、パン／チルト／ズームカメラなどのビデオカメラを三脚上に設置する。
【００４１】
次に、本発明による三次元においてモデル化された仮想オブジェクトの基準モデリングフレーム内における仮想ビデオカメラの姿勢を迅速に判定する手順について説明する。この手順は、ビデオ、即ち、実在シーン内に挿入された仮想オブジェクトの後続の正しい配置と、仮想オブジェクトの完全な描画のために、ビデオカメラ、並びに、関連付けられた仮想ビデオカメラの姿勢を取得している。仮想ビデオカメラのパラメータは、実際にレンダリングにおいて使用され、これらのパラメータは、最終的に、特に、位置、サイズ、及び観点の面において、ビデオ画像内に完全に統合された仮想オブジェクトを生成している。
【００４２】
ローカライゼーションソフトウェアの初期化が完了したら、図１に示されているように、一方においては、ビデオカメラによってキャプチャした画像が表示されるリアルタイムビデオエリアが、そして、他方においては、三次元において１つ又は複数の仮想オブジェクトを表示する「合成画像」エリアを収容したウィンドウが表示される。
【００４３】
「合成画像」エリアは、その三次元におけるモデルがビデオ画像ストリーム内に存在する実在オブジェクトに対応している仮想オブジェクトの表示を少なくとも収容している。
【００４４】
合成画像は、リアルタイムで描画され、この結果、ユーザーは、具体的には、キーボード又はマウスを使用することにより、それらの観点（ｐｏｉｎｔ  ｏｆ  ｖｉｅｗ）を構成可能である。
【００４５】
従って、ユーザーは、それらの観点の位置及び向きを変更可能である。
【００４６】
又、ユーザーは、それらの観点の視野を変更することも可能である。
【００４７】
これらの機能は、ビデオウィンドウに対応した実在オブジェクトに類似した方式において合成ウィンドウが仮想オブジェクトを表示するように、合成画像の観点を調節している。
【００４８】
ほとんど同一のアングルにおける、同一の位置からの、且つ、同一の視野を有するビデオからの実在オブジェクト及び仮想オブジェクトの表示により、ポイントのマッチングが加速され、円滑に実行されている。
【００４９】
この三次元におけるモデルは、ビデオカメラの実在の場所に既に存在しているオブジェクトを含んでいる。但し、このモデルは、実在の場所に存在していない将来のオブジェクトを包含することも可能である。
【００５０】
この後に、合成画像エリア内に表示されている仮想オブジェクト上において選択された三次元におけるポイントと、ビデオエリアのリアルタイムビデオからの画像ストリーム内における対応した二次元におけるポイントのマッチングが、具体的には手動により、継続している。特に特徴を示すポイントを選択している。
【００５１】
一実施例においては、二次元においてポイントの組（ｓｅｔ）を判定するべく、ビデオカメラによってキャプチャされた画像ストリームからの画像内に存在する実在オブジェクトのポイントをビデオウィンドウ内において選択している。これらのポイントのそれぞれをインデックスによって識別している。
【００５２】
同様に、等価なポイントを、具体的には、三次元ポイント抽出アルゴリズムにより、合成画像ウィンドウ内において選択している。このために、ユーザーは、仮想オブジェクトの三次元メッシュの結節点を選択し、ソフトウェアが、ユーザーによって選択された場所に最も近接した三次元ポイントを判定している。これらのポイントのそれぞれも、インデックスによって識別している。
【００５３】
リアルタイムで合成画像ウィンドウの観点を変更可能であるため、ユーザーは、仮想オブジェクト内のポイントの抽出が正しいかどうかを検証可能である。
【００５４】
この結果、図１に示されているように、仮想オブジェクトの｜キー｜ポイント１が、ビデオエリアの画像のキーポイント１とマッチングされることになる。
【００５５】
このプロセスは、仮想オブジェクトの後続の正確な挿入のために、ビデオカメラ、並びに、これに付随し、ビデオカメラと関連付けられた仮想ビデオカメラの姿勢の正確且つ誤りのない判定を実現するべく、可能な限り正確且つ迅速でなければならない。
【００５６】
このために、本装置は、以下の機能を有している。
【００５７】
第１に、ポイント、特に、キャプチャされたビデオからの画像内のキーポイントの選択について説明する。
【００５８】
キャプチャ手段がロボットビデオカメラから構成されている実施例においては、ビデオカメラの動きは、具体的には、例えば、マウスやジョイスティックによって制御されている。ビデオカメラの動きは、マウスのＸ及びＹ軸によって制御されたパン及びチルト機能によってガイドされおり、ズームは、特にマウス上のサムホイールによって制御されている。
【００５９】
キャプチャ手段がロボットビデオカメラから構成されている実施例においては、実在キーポイントへのズーミングを制御することによって精度を改善している。ズーミングされた画像内において実在キーポイントを選択可能である。
【００６０】
選択が完了したら、実在キーポイントの表示を継続し、それに対して具体的にインデックス番号を関連付けるが、このインデックス番号は、ビデオカメラがパン／チルト／ズーム機能に従って動いた場合にも、ビデオ画像内に表示される。
【００６１】
ユーザーは、複数の（Ｎ）個のキーポイントをビデオエリア内において選択可能であり、これらのポイントは、１〜Ｎの連番であるそのインデックスと共に、リアルタイムで継続的に表示される。これらのポイントは、その座標が二次元において定義されているポイントであることに留意されたい。
【００６２】
第２に、仮想オブジェクトを収容する「合成画像」エリア内に存在する画像内におけるポイント、特に、キーポイントの選択について説明する。これらのポイントは、その座標が三次元において定義されているポイントであることに留意されたい。
【００６３】
ユーザーは、例えば、ジョイスティック又はマウスを使用して仮想ビデオカメラの観点を移動させることにより、実在のビデオカメラの観点に「近接」した仮想の観点を迅速に入手可能である。仮想ビデオカメラの位置及び向きは、標準的なモデリングシステムにおけると同様に変更可能である。
【００６４】
「合成」エリア内において観点が固定されたら、ユーザーは、具体的には、マウスによってポイントを選択することにより、Ｎ個の仮想キーポイントを選択可能である。
【００６５】
これらの仮想キーポイントは、そのインデックスと共に表示されるが、これらは、ユーザーが仮想ビデオカメラのパラメータを変更した場合にも、正しく配置された状態に留まることになる。
【００６６】
三次元においてポイントを抽出する（「ピッキング」と呼ばれる）アルゴリズムの結果として、特に二次元においてポインティングする周辺装置によって選択されたそれぞれの仮想キーポイントが、合成画像の基準フレーム内における３つの座標（Ｘ，Ｙ，Ｚ）によってローカライズされる。
【００６７】
この後に、仮想オブジェクト上において選択された三次元におけるポイントとビデオ画像ストリーム内の二次元におけるマッチングされたポイントの座標の関数としてビデオカメラの姿勢を判定する段階が継続している。
【００６８】
このために、ソフトウェアは、実在画像内のＮ個のマッチングされた実在キーポイントの二次元における複数の実在キーポイント及び１〜Ｎのそのインデックスと、仮想オブジェクト上において選択された仮想キーポイントの三次元における複数の仮想キーポイント並びにそれぞれの仮想キーポイントごとの仮想オブジェクトの基準デジタル化フレーム内におけるその座標（Ｘ，Ｙ，Ｚ）及び１〜Ｎのそのインデックスと、という情報をメモリ内に保存している。
【００６９】
この情報から仮想オブジェクトの基準デジタル化フレーム内におけるビデオカメラの姿勢を判定している。このために、ＰＯＳＩＴアルゴリズムを使用することにより、受信した画像ストリームからの画像内に存在する実在オブジェクトに対応した仮想オブジェクトの基準デジタル化フレーム内におけるビデオカメラ及びビデオカメラと関連付けられた仮想ビデオカメラの姿勢を判定している。
【００７０】
これらの方法の更に詳細な情報については、具体的には、ｈｔｔｐ：／／ｗｗｗ．ｃｆａｒ．ｕｍｄ．ｅｄｕ／〜ｄａｎｉｅｌ／において入手可能である１９９５年６月の「Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」第１５巻の１２３〜１４１頁に公開されているＤ．  ＤｅＭｅｎｔｈｏｎ及びＬ．  Ｓ．  Ｄａｖｉｓによる「Ｍｏｄｅｌ−Ｂａｓｅｄ  Ｏｂｊｅｃｔ  Ｐｏｓｅ  ｉｎ  ２５  Ｌｉｎｅｓ  ｏｆ  Ｃｏｄｅ」という名称の文献を特に参照されたい。
【００７１】
一実施例においては、特に、姿勢判定の品質を検証するべく、マッチングに使用された仮想画像の仮想オブジェクトをマッチングに使用された画像ストリームからの画像内に存在する実在オブジェクト上に重畳可能である。その他の仮想オブジェクトによってビデオにおける視覚化を向上させることも可能である。
【００７２】
このために、第１段階は、ビデオカメラからの画像の歪みをリアルタイムで除去するためのものである。
【００７３】
次いで、前述の方法によって判定されたビデオカメラ又は仮想ビデオカメラの姿勢に関する情報を使用している。
【００７４】
ビデオ内に仮想オブジェクトを挿入する際には、この姿勢情報を使用することにより、ビデオストリーム内において、特に、正しい観点において、且つ、従って、正しい透視図法において、仮想オブジェクトを正しく描画すると共に、実在世界との関係におけるオブジェクトの正しい姿勢を実現している。
【００７５】
更には、必要に応じて、特にＤ’ＦＵＳＩＯＮ技術において使用されているトランスペアレンシー（「ブレンディング」）機能により、ビデオ画像のストリーム内においてトランスペアレントモードにおいて仮想オブジェクトを表示している。
【００７６】
本発明による装置は、ラップトップコンピュータ及びビデオカメラしか必要としていないため、容易に運搬可能であることに留意されたい。
【００７７】
更には、これは、モデル上において、或いは、１対１の縮尺において稼動可能である。
【００７８】
又、本装置は、建物又は車両の内外において稼動可能である。
【００７９】
又、本発明による方法及び装置は、一方においては、設置が迅速であり、且つ、他方においては、仮想オブジェクトの基準デジタル化フレーム内におけるビデオカメラの姿勢が迅速に判定されるという利点をも具備している。
【００８０】
更には、ビデオカメラが固定プレーン内に位置している場合には、ハードウェアセンサを使用する必要はない。実在ビデオカメラの向き及び位置を変更することなしに、ポイントのマッチングが実現される。
【００８１】
キャプチャ手段がパン／チルト／ズーム機能を具備したビデオカメラから構成されている実施例である本発明による方法及び装置は、建物内において使用可能であり、特に建物の前又は建物の内部において１対１の縮尺で稼動可能であることに留意されたい。大体の場合、ユーザーは、後方移動のための限られた範囲しか具備しておらず、従って、実在シーンは、ビデオカメラによって部分的に観察されるのみである。
【００８２】
考えられるアプリケーションの例示リストは、構造物又は建物の分野においては、・特にビデオカメラによって撮影された実際の作業の上に（仮想オブジェクトの組によってモデル化された）理論的な作業を重畳することによる現場作業の進捗状態の検証と、・実現対象のオブジェクトを示す実在のミニチュア模型上への仮想オブジェクトの追加と、・既存の工場内においてまだ実行されていない作業を表示することによる工場レイアウトのためのプロジェクトの実行可能性の試験、並びに、自動車の分野においては、・仮想コックピットの実在コックピット上へのロッキングと、・例えば、ショールームを作成するための仮想車両の実在環境内へのロッキングと、を含んでいる。
【図面の簡単な説明】
【００８３】
【図１】本発明によるマッチング操作を図式的に示している。
【図１】
2009505191.tif 000003
【国際調査報告】
2009505191.tif 000004
2009505191.tif 000005
2009505191.tif 000006
2009505191.tif 000007