(57)【要約】【課題】マーカに対して表示仮想物体が小さい場合でも、表示仮想物体からマーカがはみ出して見えてしまうことを防ぐ。【解決手段】マーカ隠蔽用データ格納部７０には、予め設定されたマーカ配置位置の３次元情報がマーカ隠蔽用データとして格納されている。画像合成部５０は、仮想物体画像を撮影画像中のマーカ位置に合成する際に、マーカ隠蔽用データ格納部７０に格納されているマーカ隠蔽用画像を当該撮影画像のマーカ配置位置に合成した上に仮想物体画像を合成することにより最終的な合成画像を生成する。マーカ１００をマーカ隠蔽用画像１０３により隠蔽した後に仮想物体画像１０２を合成するようにしているので、マーカ１００と比較して仮想物体画像１０２が小さい場合でも、表示仮想物体の横からマーカ１００が見えてしまうことを防ぐことができる。【選択図】図１
2005234757.tif 000002
【特許請求の範囲】
【請求項１】
３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、前記撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムにおいて、
予め設定されたマーカ配置位置の３次元情報がマーカ隠蔽用データとして格納されているマーカ隠蔽用データ格納部と、
仮想物体画像を前記撮影画像中のマーカ位置に合成する際に、前記マーカ隠蔽用データ格納部に格納されているマーカ隠蔽用画像を当該撮影画像のマーカ配置位置に合成した上に前記仮想物体画像を合成することにより合成画像を生成する画像合成部とを備えていることを特徴とする拡張現実感システム。
【請求項２】
３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、前記撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する画像合成表示方法であって、
撮影部により３次元位置認識のためのマーカを含む画像の撮影を行い、マーカ認識部により該撮影画像中のマーカの認識を行うステップと、
認識された前記マーカの種類に基づいて、表示仮想物体データ決定部において、格納されている仮想物体データの中から対応する仮想物体画像のデータを決定するステップと、
マーカ３次元位置／方向決定部において、前記撮影画像中のマーカの３次元位置および方向の検出を行うステップと、
画像合成部において、予め設定されたマーカ配置位置の３次元情報をマーカ隠蔽用画像として当該撮影画像のマーカ配置位置に合成した上に前記仮想物体画像を合成することにより合成画像を生成するステップとを備えた画像合成表示方法。
【請求項３】
３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、前記撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する画像合成表示方法をコンピュータに実行させるためのプログラムであって、
撮影部により３次元位置認識のためのマーカを含む画像の撮影を行い、マーカ認識部により該撮影画像中のマーカの認識を行う処理と、
認識された前記マーカの種類に基づいて、表示仮想物体データ決定部において、格納されている仮想物体データの中から対応する仮想物体画像のデータを決定する処理と、
マーカ３次元位置／方向決定部において、前記撮影画像中のマーカの３次元位置および方向の検出を行う処理と、
画像合成部において、予め設定されたマーカ配置位置の３次元情報をマーカ隠蔽用画像として当該撮影画像のマーカ配置位置に合成した上に前記仮想物体画像を合成することにより合成画像を生成する処理とをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、実空間に仮想物体が存在するかのように重畳させる技術である拡張現実感（Augmented Reality）技術を用いた拡張現実感システムおよび画像合成表示方法に関し、特に、３次元位置認識のためのマーカを含む画像の撮影を行い、この撮影画像中のマーカの種類に応じた仮想物体画像を、撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムおよび画像合成表示方法に関する。
【背景技術】
【０００２】
近年、３次元画像技術の向上に伴い、実空間に仮想物体が存在するかのうように重畳させる拡張現実感システムが、製品のプレゼンテーション等に用いられるようになってきている。
【０００３】
このような拡張現実感システムを実現するためには、重畳する仮想物体の種類、実空間をカメラで撮影した画像上での合成位置、及び仮想物体の表示方向を認識する技術が必要となる。
【０００４】
これらの問題を解決するひとつの方法として、仮想物体を表示する３次元位置を計測するためのマーカを用いた拡張現実感システムが提案されている（例えば、非特許文献１、２参照。）。
【０００５】
このマーカを用いた従来の拡張現実感システムの構成の一例を図６に示す。この従来の拡張現実感システムは、図６に示すように、撮影部１０と、マーカ認識部２０と、マーカ３次元位置／方向決定部３０と、表示仮想物体データ決定部４０と、画像合成部１５０と、仮想物体データ格納部６０とから構成されている。
【０００６】
図６では、テーブルの上にマーカ１００が配置されたものをカメラにより撮影した場合を示している。このマーカ１００は、予め設定された大きさの黒い枠により構成されていて、内部の白い部分の文字、模様等のパターンの認識により、マーカの種類を特定し、重畳する仮想物体を決定する。また、パターンの大きさ、傾きから、マーカが置かれた３次元位置及び方向を検出し、撮影画像上での合成位置及び表示方向を決定する。
【０００７】
撮影部１０は、接続されたビデオカメラを介して、マーカ１００を含む画像の撮影を行う。マーカ認識部２０は、撮影部１０により撮影された撮影画像の中からマーカを認識する処理を行っている。マーカ３次元位置／方向決定部３０は、マーカ認識部２０により認識されたマーカの３次元位置および方向を検出する。
【０００８】
仮想物体データ格納部６０は、マーカの種類に対応した仮想物体画像データが格納されている。表示仮想物体データ決定部４０は、仮想物体データ格納部６０に格納されている仮想物体データの中から、マーカ認識部２０により認識されたマーカの種類に対応した仮想物体データを選択して表示を行うための仮想物体画像１０２として決定する。
【０００９】
画像合成部１５０は、撮影部１０により撮影された撮影画像１０１と、表示仮想物体データ決定部４０からの仮想物体画像１０２とを合成して合成画像として出力する。
【００１０】
次に、図７のフローチャートを参照してこの従来の拡張現実感システムの動作について説明する。
【００１１】
先ず最初に、撮影部１０では、マーカ１００を含む画像の撮影が行われる（ステップ７０１）。そして、次にマーカ認識部２０により、撮影部１０により撮影された撮影画像１０１中のマーカの認識が行われる（ステップ７０２）。そして、表示仮想物体データ決定部４０により、マーカ認識部２０により認識されたマーカの種類に基づいて、仮想物体データ格納部６０に格納されている仮想物体データの中から、対応する仮想物体画像のデータが決定される（ステップ７０３）。そして、３次元位置／方向決定部３０により、撮影画像中のマーカの３次元位置および方向の検出が行われる（ステップ７０４、７０５）。
【００１２】
そして、最後に、画像合成部１５０では、図８に示すように、マーカ３次元位置／方向決定部３０からの位置情報および方向情報に基づいて、撮影部１０からの撮影画像１０１中に表示仮想物体データ決定部１０２からの仮想物体画像１０２を合成する処理が行われる（ステップ７０６）。
【００１３】
このような拡張現実感システムを用いることにより、マーカ１００を含む画像を撮影すると、このマーカ１００を配置した位置および方向に対応して、撮影画像中に仮想物体画像を合成して表示することが可能となる。
【００１４】
しかし、このようなマーカを使用した従来の拡張現実感システムでは、マーカに対して表示仮想物体が小さい場合、撮影画像中に合成した仮想物体画像によりマーカを完全に消すことができないため、マーカが表示仮想物体の横からはみ出たように見えてしまうという問題があった。例えば、図８に示した合成画像では、合成画像中に挿入された仮想物体画像１０２の下からマーカ１００がはみ出してしまっている。マーカ自体の大きさを小さくすればこのような問題を解決することは可能だが、マーカの大きさを小さくするとマーカの種類、距離、方向等の認識率が悪化してしまうという別の問題が発生する。そのため、マーカは実用上ある程度以上の大きさであることが要求され、小さくするには限界があった。
【非特許文献１】加藤博一, Mark Billinghurst, 浅野浩一, 橘啓八郎: マーカー追跡に基づく拡張現実感システムとそのキャリブレーション, 日本バーチャルリアリティ学会論文誌, Vol.4, No.4, pp.607-616 (1999)、[平１６年１月１３日検索]、インターネット＜ＵＲＬ：http://www.sys.im.hiroshima-cu.ac.jp/people/kato/publications/c-00.his2000.1.pdf＞
【非特許文献２】Hirokazu Kato, Mark Billinghurst:Marker Tracking and HMD Calibration for a Video-based Augmented Reality Conferencing System, Proc. of 2nd Int. Workshop on Augmented Reality, pp.85-94 (1999)、[平１６年１月１３日検索]、インターネット＜ＵＲＬ：http://www.sys.im.hiroshima-cu.ac.jp/people/kato/publications/c-01.ismr2001.1.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上述した従来の拡張現実感システムでは、マーカに対して表示仮想物体が小さい場合、撮影画像中に合成した仮想物体画像によりマーカを完全に消すことができないため、マーカが表示仮想物体の横からはみ出たように見えてしまうという問題点があった。
【００１６】
本発明の目的は、マーカに対して表示仮想物体が小さい場合でも、表示仮想物体からマーカがはみ出して見えてしまうことを防ぐことが可能な拡張現実感システムおよび画像合成表示方法を提供することである。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明の拡張現実感システムは、３次元位置認識のためのマーカを含む画像の撮影を行い、該撮影画像中のマーカの種類に応じた仮想物体画像を、前記撮影画像中のマーカの位置および方向に基づいて当該撮影画像中に合成する拡張現実感システムにおいて、
予め設定されたマーカ配置位置の３次元情報がマーカ隠蔽用データとして格納されているマーカ隠蔽用データ格納部と、
仮想物体画像を前記撮影画像中のマーカ位置に合成する際に、前記マーカ隠蔽用データ格納部に格納されているマーカ隠蔽用画像を当該撮影画像のマーカ配置位置に合成した上に前記仮想物体画像を合成することにより合成画像を生成する画像合成部とを備えていることを特徴とする。
【００１８】
本発明によれば、３次元位置認識のためのマーカをマーカ隠蔽用画像により隠蔽した上に仮想物体画像を合成するようにしているので、マーカと比較して仮想物体画像が小さい場合でも、表示仮想物体の横からマーカが見えてしまうことを防ぐことが可能となる。
【発明の効果】
【００１９】
以上説明したように、本発明によれば、３次元位置認識のためのマーカをマーカ隠蔽用画像により隠蔽した上に仮想物体画像を合成するようにしているので、マーカと比較して仮想物体画像が小さい場合でも、表示仮想物体の横からマーカが見えてしまうことを防ぐことが可能となるという効果を得ることができる。
【発明を実施するための最良の形態】
【００２０】
次に、本発明の実施の形態について図面を参照して詳細に説明する。
【００２１】
図１は本発明の一実施形態の拡張現実感システムの構成を示すブロック図である。図１において、図６中の構成要素と同一の構成要素には同一の符号を付し、説明を省略するものとする。
【００２２】
本実施形態の拡張現実感システムは、図６に示した従来の拡張現実感システムに対して、マーカ隠蔽用データ格納部７０を新たに設け、画像合成部１５０を画像合成部５０に置き換えた構成となっている。
【００２３】
マーカ隠蔽用データ格納部７０には、予め設定されたマーカ配置位置の３次元情報がマーカ隠蔽用データとして格納されている。本実施形態では、テーブル上面の中央部がマーカの配置位置として予め設定されているため、図２に示すように、テーブル上面の中央部の画像をマーカ隠蔽用画像データとして取得して、マーカ隠蔽用データ格納部７０に予め格納しておく。尚、本実施形態では、マーカを配置するマーカ配置位置は予め設定されていることが前提となっている。
【００２４】
また、本実施形態における画像合成部５０は、仮想物体画像を撮影画像中のマーカ位置に合成する際に、マーカ隠蔽用データ格納部７０に格納されているマーカ隠蔽用画像を当該撮影画像のマーカ配置位置に合成した上に仮想物体画像を合成することにより最終的な合成画像を生成する。
【００２５】
次に、図３を参照して、マーカ隠蔽用画像１０３の具体的な生成方法について説明する。
【００２６】
マーカを配置しようとする位置の３次元情報を取得する方法としては様々な方法が考えられるが、例えば、図３に示すように、仮想物体と比較して十分小さな小マーカ２００を用いて、本番マーカが配置される範囲をズームアップして多視点方向から撮影してマーカ隠蔽用画像１０３を生成するようにしてもよい。また、このような操作を階層的にすることにより、マーカの影響をさらに小さくすることができる。
【００２７】
さらに、マーカ配置面は平面であると仮定すれば、小マーカ２００を配置して、この小マーカ２００を正面から撮影した１つの画像のみを準備し、表示の際には取得したマーカ隠蔽用画像を、表示する向きに合わせてワーピングして（ゆがめて）表示するようにしてもよい。
【００２８】
さらに、レーザスキャナ等の既存の手法でマーカ配置面の３次元計測を実施し、マーカ配置面の３次元モデルを生成することによりマーカ隠蔽用画像１０３を生成するようにしてもよい。
【００２９】
次に、本実施形態の拡張現実感システムの動作を図４のフローチャートを参照して説明する。
【００３０】
図４に示したフローチャートにおけるステップ４０１〜４０５までの処理については、従来の拡張現実感システムの動作を示した図７のフローチャートにおけるステップ７０１〜７０５までの処理と同じであるため、その説明については省略する。
【００３１】
本実施形態の拡張現実感システムでは、画像合成部５０は、マーカ隠蔽用データ格納部７０に格納されているマーカ隠蔽用画像１０３のデータを読み込んだ後に（ステップ４０６）、図５に示すように、マーカ３次元位置／方向決定部３０からの位置情報および方向情報に基づいて、撮影部１０からの撮影画像１０１中に、読み込んだマーカ隠蔽用画像１０３のデータをマーカ配置位置に合成した上に、表示仮想物体データ決定部１０２からの仮想物体画像１０２を合成する処理を行う（ステップ４０７）。
【００３２】
本実施形態の拡張現実感システムによれば、マーカ１００をマーカ隠蔽用画像１０３により隠蔽した後に仮想物体画像１０２を合成するようにしているので、マーカ１００と比較して仮想物体画像１０２が小さい場合でも、表示仮想物体の横からマーカ１００が見えてしまうことを防ぐことが可能となる。
【００３３】
また、図には示されていないが、本実施形態の拡張現実感システムは、上記で説明した画像合成表示方法を実行するためのプログラムを記録した記録媒体を備えている。この記録媒体は磁気ディスク、半導体メモリまたはその他の記録媒体であってもよい。このプログラムは、記録媒体から拡張現実感システムに読み込まれ、拡張現実感システムの動作を制御する。具体的には、拡張現実感システム内のＣＰＵがこのプログラムの制御により拡張現実感システムのハードウェア資源に特定の処理を行うように指示することにより上記の処理が実現される。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態の拡張現実感システムの構成を示すブロック図である。
【図２】マーカ隠蔽用画像１０３の生成方法について説明するための図である。
【図３】マーカ隠蔽用画像１０３の具体的な生成方法について説明するための図である。
【図４】図１の拡張現実感システムの動作を示すフローチャートである。
【図５】本発明の一実施形態の拡張現実感システムにより生成された合成画像の一例を示す図である。
【図６】従来の拡張現実感システムの構成を示すブロック図である。
【図７】従来の拡張現実感システムの動作を示すフローチャートである。
【図８】従来の拡張現実感システムにより生成された合成画像の一例を示す図である。
【符号の説明】
【００３５】
１０    撮影部
２０    マーカ認識部
３０    マーカ３次元位置／方向決定部
４０    表示仮想物体データ決定部
５０    画像合成部
６０    仮想物体データ格納部
７０    マーカ隠蔽用データ格納部
１００    マーカ
１０１    撮影画像
１０２    仮想物体画像
１０３    マーカ隠蔽用画像
１５０    画像合成部
２００    小マーカ
４０１〜４０７    ステップ
７０１〜７０６    ステップ
【図１】
2005234757.tif 000003
【図２】
2005234757.tif 000004
【図３】
2005234757.tif 000005
【図４】
2005234757.tif 000006
【図５】
2005234757.tif 000007
【図６】
2005234757.tif 000008
【図７】
2005234757.tif 000009
【図８】
2005234757.tif 000010