(57)【要約】【課題】  本発明は、利用者の利用する端末の計算能力の高低に関わらず、表示および衝突検知などの機能が正しく動作する仮想空間構築装置を提供することを目的とする。【解決手段】  実写画像の奥行き分布に応じた仮想空間を構築するための仮想空間構築装置であって、仮想空間を構築し表示する性能情報を収集する実行環境情報収集手段と、前記実行環境情報収集手段から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段とを有することを特徴とする仮想空間構築装置を提供する。【選択図】  図１
2005173685.tif 000002
【特許請求の範囲】
【請求項１】
実写画像の奥行き分布に応じた仮想空間を構築するための仮想空間構築装置であって、
仮想空間を構築し表示する性能情報を収集する実行環境情報収集手段と、
前記実行環境情報収集手段から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、
前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段と、
を有することを特徴とする仮想空間構築装置。
【請求項２】
前記実行環境情報収集手段は、実行環境の中央演算処理装置の性能を収集することを特徴とする請求項１記載の仮想空間構築装置。
【請求項３】
前記実行環境情報収集手段は、実行環境の主記憶容量を収集することを特徴とする請求項１または請求項２記載の仮想空間構築装置。
【請求項４】
前記実行環境情報収集手段は、実行環境の表示装置が三次元専用回路の保持の有無を収集することを特徴とする請求項１乃至請求項３記載の仮想空間構築装置。
【請求項５】
前記実行環境情報収集手段は、実行環境の表示装置の表示用記憶容量を収集することを特徴とする請求項１乃至請求４記載の仮想空間構築装置。
【請求項６】
前記仮想空間構築パラメータ決定手段は、前記実行環境情報収集手段によって収集された中央演算処理装置性能、主記憶容量、表示装置三次元専用回路の有無、表示用記憶容量のいずれか１つで構築パラメータを決定することを特徴とする請求項１乃至請求項５記載の仮想空間構築装置。
【請求項７】
前記仮想空間構築パラメータ決定手段は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする請求項１乃至請求項６記載の仮想空間構築装置。
【請求項８】
実写画像と仮想空間画像とを合成して立体写真を生成する画像合成装置であって、
仮想空間を構築し表示する性能情報を収集する実行環境情報収集手段と、
前記実行環境情報収集手段から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、
前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段と、
を有することを特徴とする画像合成装置。
【請求項９】
前記実行環境情報収集手段は、実行環境の中央演算処理装置の性能を収集することを特徴とする請求項８記載の画像合成装置。
【請求項１０】
前記実行環境情報収集手段は、実行環境の主記憶容量を収集することを特徴とする請求項８乃至請求項９記載の画像合成装置。
【請求項１１】
前記実行環境情報収集手段は、実行環境の表示装置が三次元専用回路の保持の有無を収集することを特徴とする請求項８乃至請求項１０記載の画像合成装置。
【請求項１２】
前記実行環境情報収集手段は、実行環境の表示装置の表示用記憶容量を収集することを特徴とする請求項８乃至請求１１記載の画像合成装置。
【請求項１３】
前記仮想空間構築パラメータ決定手段は、前記実行環境情報収集手段によって収集された中央演算処理装置性能、主記憶容量、表示装置三次元専用回路の有無、表示用記憶容量のいずれか１つで構築パラメータを決定することを特徴とする請求項８乃至請求項１２記載の画像合成装置。
【請求項１４】
前記仮想空間構築パラメータ決定手段は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする請求項８乃至請求項１３記載の画像合成装置。
【請求項１５】
実写画像の奥行き分布に応じた仮想空間を構築するための仮想空間構築装置であって、
少なくとも仮想空間を構築するための仮想空間幾何情報と、前記仮想空間内に配置される三次元モデルの幾何情報を用いて仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、
前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段と、
を有することを特徴とする仮想空間構築装置。
【請求項１６】
前記仮想空間構築パラメータ決定手段は、仮想空間内の構成要素の総ポリゴン数からパラメータを決定することを特徴とする請求項１５記載の仮想空間構成装置。
【請求項１７】
前記仮想空間構築パラメータ決定手段は、仮想空間内に存在するモデル数からパラメータを決定することを特徴とする請求項１５記載の仮想空間構成装置。
【請求項１８】
前記仮想空間構築パラメータ決定手段は、仮想空間を表示する際のビューボリューム内に存在する構成要素の総ポリゴン数からパラメータを決定することを特徴とする請求項１５記載の仮想空間構成装置。
【請求項１９】
前記仮想空間構築パラメータ決定手段は、仮想空間を表示する際のビューボリューム内に存在する構成要素の三次元モデル数からパラメータを決定することを特徴とする請求項１５記載の仮想空間構成装置。
【請求項２０】
前記仮想空間構築パラメータ決定手段は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする請求項１５乃至請求項１９記載の画像合成装置。
【請求項２１】
実写画像と仮想空間画像とを合成して立体写真を生成する画像合成装置であって、
少なくとも仮想空間を構築するための仮想空間幾何情報と、前記仮想空間内に配置される三次元モデルの幾何情報を用いて仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、
前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段と、
を有することを特徴とする画像合成装置。
【請求項２２】
前記仮想空間構築パラメータ決定手段は、仮想空間内の構成要素の総ポリゴン数からパラメータを決定することを特徴とする請求項２１記載の画像合成装置。
【請求項２３】
前記仮想空間構築パラメータ決定手段は、仮想空間内に存在するモデル数からパラメータを決定することを特徴とする。請求項２１記載の画像合成装置。
【請求項２４】
前記仮想空間構築パラメータ決定手段は、仮想空間を表示する際のビューボリューム内に存在する構成要素の総ポリゴン数からパラメータを決定することを特徴とする請求項２１記載の画像合成装置。
【請求項２５】
前記仮想空間構築パラメータ決定手段は、仮想空間を表示する際のビューボリューム内に存在する構成要素の三次元モデル数からパラメータを決定することを特徴とする請求項２１記載の画像合成装置。
【請求項２６】
前記仮想空間構築パラメータ決定手段は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする請求項２１乃至請求項２５記載の画像合成装置。
【請求項２７】
実写画像の奥行き分布に応じた仮想空間を構築するための仮想空間構築方法であって、
仮想空間を構築し表示する性能情報を収集する実行環境情報収集工程と、
前記実行環境情報収集工程から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定工程と、
前記仮想空間構築パラメータ決定工程によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築工程と、
を有することを特徴とする仮想空間構築方法。
【請求項２８】
前記実行環境情報収集工程は、実行環境の中央演算処理装置の性能を収集することを特徴とする請求項２７記載の仮想空間構築方法。
【請求項２９】
前記実行環境情報収集工程は、実行環境の主記憶容量を収集することを特徴とする請求項２７乃至請求項２８記載の仮想空間構築方法。
【請求項３０】
前記実行環境情報収集工程は、実行環境の表示装置が三次元専用回路の保持の有無を収集することを特徴とする請求項２７乃至請求項２９記載の仮想空間構築方法。
【請求項３１】
前記実行環境情報収集方法は、実行環境の表示装置の表示用記憶容量を収集することを特徴とする請求項２７乃至請求３０記載の仮想空間構築方法。
【請求項３２】
前記仮想空間構築パラメータ決定工程は、前記実行環境情報収集工程によって収集された中央演算処理装置性能、主記憶容量、表示装置三次元専用回路の有無、表示用記憶容量のいずれか１つで構築パラメータを決定することを特徴とする請求項２７乃至請求項３１記載の仮想空間構築方法。
【請求項３３】
前記仮想空間構築パラメータ決定方法は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする請求項２７乃至請求項３２記載の仮想空間構築方法。
【請求項３４】
実写画像と仮想空間画像とを合成して立体写真を生成する画像合成方法であって、
仮想空間を構築し表示する性能情報を収集する実行環境情報収集工程と、
前記実行環境情報収集工程から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定工程と、
前記仮想空間構築パラメータ決定工程によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築工程と、
を有することを特徴とする画像合成方法。
【請求項３５】
前記実行環境情報収集工程は、実行環境の中央演算処理装置の性能を収集することを特徴とする請求項３４記載の画像合成方法。
【請求項３６】
前記実行環境情報収集工程は、実行環境の主記憶容量を収集することを特徴とする請求項３４乃至請求項３５記載の画像合成方法。
【請求項３７】
前記実行環境情報収集工程は、実行環境の表示装置が三次元専用回路の保持の有無を収集することを特徴とする請求項３４至請求項３６記載の画像合成方法。
【請求項３８】
前記実行環境情報収集工程は、実行環境の表示装置の表示用記憶容量を収集することを特徴とする請求項３４乃至請求３７記載の画像合成方法。
【請求項３９】
前記仮想空間構築パラメータ決定工程は、前記実行環境情報収集工程によって収集された中央演算処理装置性能、主記憶容量、表示装置三次元専用回路の有無、表示用記憶容量のいずれか１つで構築パラメータを決定することを特徴とする請求項３４乃至請求項３８記載の画像合成方法。
【請求項４０】
前記仮想空間構築パラメータ決定工程は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする請求項３４乃至請求項３９記載の画像合成方法。
【請求項４１】
実写画像の奥行き分布に応じた仮想空間を構築するための仮想空間構築方法であって、
少なくとも仮想空間を構築するための仮想空間幾何情報と、前記仮想空間内に配置される三次元モデルの幾何情報を用いて仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定工程と、
前記仮想空間構築パラメータ決定工程によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築工程と、
を有することを特徴とする仮想空間構築方法。
【請求項４２】
前記仮想空間構築パラメータ決定工程は、仮想空間内の構成要素の総ポリゴン数からパラメータを決定することを特徴とする請求項４１記載の仮想空間構成方法。
【請求項４３】
前記仮想空間構築パラメータ決定工程は、仮想空間内に存在するモデル数からパラメータを決定することを特徴とする請求項４１記載の仮想空間構成方法。
【請求項４４】
前記仮想空間構築パラメータ決定工程は、仮想空間を表示する際のビューボリューム内に存在する構成要素の総ポリゴン数からパラメータを決定することを特徴とする請求項４１記載の仮想空間構成方法。
【請求項４５】
前記仮想空間構築パラメータ決定工程は、仮想空間を表示する際のビューボリューム内に存在する構成要素の三次元モデル数からパラメータを決定することを特徴とする請求項４１記載の仮想空間構成方法。
【請求項４６】
前記仮想空間構築パラメータ決定工程は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする請求項４１乃至請求項４５記載の画像合成方法。
【請求項４７】
実写画像と仮想空間画像とを合成して立体写真を生成する画像合成方法であって、
少なくとも仮想空間を構築するための仮想空間幾何情報と、前記仮想空間内に配置される三次元モデルの幾何情報を用いて仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定工程と、
前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築工程と、
を有することを特徴とする画像合成方法。
【請求項４８】
前記仮想空間構築パラメータ決定工程は、仮想空間内の構成要素の総ポリゴン数からパラメータを決定することを特徴とする請求項４７記載の画像合成方法。
【請求項４９】
前記仮想空間構築パラメータ決定工程は、仮想空間内に存在するモデル数からパラメータを決定することを特徴とする請求項４７記載の画像合成方法。
【請求項５０】
前記仮想空間構築パラメータ決定工程は、仮想空間を表示する際のビューボリューム内に存在する構成要素の総ポリゴン数からパラメータを決定することを特徴とする請求項４７記載の画像合成方法。
【請求項５１】
前記仮想空間構築パラメータ決定工程は、仮想空間を表示する際のビューボリューム内に存在する構成要素の三次元モデル数からパラメータを決定することを特徴とする請求項４７記載の画像合成方法。
【請求項５２】
前記仮想空間構築パラメータ決定工程は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする請求項４７乃至請求項５１記載の画像合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は仮想空間構築装置およびその方法、画像合成装置およびその方法に関する。
【背景技術】
【０００２】
近年、グラフィックスワークステーションに代表される３Dグラフィックスに特化したハードウェアを搭載した高性能ワークステーションだけではなく、一般家庭向けパーソナルコンピュータや個人向け携帯端末などにおいても３Ｄコンテンツが容易に表示できるようになってきている。さらに、ＶＲＭＬやＷｅｂ３Ｄ等に代表されるようなソフトウェア技術により、インターネットなどを関して３Ｄコンテンツが配布することが可能となり、その結果、電子商取引用の製品広告に３Ｄコンテンツが利用され始めてきている。利用者は３Ｄ表示されている製品をマウスなどのポインティングデバイスを介して拡大、回転表示を実時間で対話的に行えるようになってきている。
【０００３】
このような状況の中、仮想空間内に配置された幾何情報および表面属性情報から構成される三次元モデルの複数の仮想視点位置からの仮想空間画像を生成し、それらの複数の仮想空間画像から三次元画像を生成し印刷する技術が米国特許：５７６４２３１（Ｅａｓｔｍａｎ Ｋｏｄａｋ Ｃｏｍｐａｎｙ）が示されている。
【０００４】
この技術は、実際に撮影された実写画像を利用せず、コンピュータ上で生成した複数の視点位置の仮想画像のみで立体写真を生成する方法で、実写画像を用いて立体写真を生成するよりもＣＧを用いたほうが安定した立体写真を得ることが可能であるとしている。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
実写画像と三次元モデルの奥行き感に矛盾が無いように三次元モデルを仮想空間内に配置するためには、仮想空間において三次元モデルが移動できる範囲を限定する必要がある。そのためには、利用者が三次元モデルの配置を決定する際に、実時間で実写画像の奥行き情報から構築される奥行き分布と三次元モデルとが衝突しているか否かを検知することが重要となってくる。
【０００６】
しかし、実際に利用者が利用する端末には様々な計算能力及び表示能力の端末が混在しており、計算能力の低い端末においては、正しく三次元モデルと実写画像の奥行き分布との衝突を実時間で検知することができず、最終的に合成された立体画像を観察した際に三次元モデルと実写画像の奥行き感に矛盾が発生する（三次元モデルが手前側にある実写被写体などにめり込む）、といった問題があった。
【０００７】
本発明は、上記問題点に鑑み、利用者の利用する端末の計算能力の高低に関わらず、表示および衝突検知などの機能が正しく動作する仮想空間構築装置を提供することを目的とする。また、最終的に観察した場合にも奥行き感に矛盾が無い画像合成装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達するために、請求項１に記載の仮想空間構築装置は、仮想空間を構築し表示する性能情報を収集する実行環境情報収集手段と、前記実行環境情報収集手段から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段とを有することを特徴とする。
【０００９】
請求項２に記載の発明に係る仮想空間構築装置では、請求項１記載の仮想空間構成装置において、前記実行環境情報収集手段は、実行環境の中央演算処理装置の性能を収集することを特徴とする。
【００１０】
請求項３に記載の発明に係る仮想空間構築装置では、請求項１乃至請求項２記載の仮想空間構成装置において、前記実行環境情報収集手段は、実行環境の主記憶容量を収集することを特徴とする。
【００１１】
請求項４に記載の発明に係る仮想空間構築装置では、請求項１乃至請求項３記載の仮想空間構成装置において、前記実行環境情報収集手段は、実行環境の表示装置が三次元専用回路の保持の有無を収集することを特徴とする。
【００１２】
請求項５に記載の発明に係る仮想空間構築装置では、請求項１乃至請求項４記載の仮想空間構成装置において、前記実行環境情報収集手段は、実行環境の表示装置の表示用記憶容量を収集することを特徴。
【００１３】
請求項６に記載の発明に係る仮想空間構築装置では、請求項１乃至請求項５記載の仮想空間構成装置において、前記仮想空間構築パラメータ決定手段は、前記実行環境情報収集手段によって収集された中央演算処理装置性能、主記憶容量、表示装置三次元専用回路の有無、表示用記憶容量のいずれか１つで構築パラメータを決定することを特徴とする。
【００１４】
請求項７に記載の発明に係る仮想空間構築装置では、請求項１乃至請求項６記載の仮想空間構成装置において、前記仮想空間構築パラメータ決定手段は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする。
【００１５】
請求項８に記載の画像合成装置では、仮想空間を構築し表示する性能情報を収集する実行環境情報収集手段と、前記実行環境情報収集手段から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段と、を有することを特徴とする。
【００１６】
請求項９に記載の画像合成装置では、請求項８記載の画像合成装置において、前記実行環境情報収集手段は、実行環境の中央演算処理装置の性能を収集することを特徴とする。
【００１７】
請求項１０に記載の画像合成装置では、請求項８乃至請求項９記載の画像合成装置において、前記実行環境情報収集手段は、実行環境の主記憶容量を収集することを特徴とする。
【００１８】
請求項１１に記載の画像合成装置では、請求項８乃至請求項１０記載の画像合成装置において、前記実行環境情報収集手段は、実行環境の表示装置が三次元専用回路の保持の有無を収集することを特徴とする。
【００１９】
請求項１２に記載の画像合成装置では、請求項８乃至請求項１１記載の画像合成装置において、前記実行環境情報収集手段は、実行環境の表示装置の表示用記憶容量を収集することを特徴とする。
【００２０】
請求項１３に記載の画像合成装置では、請求項８乃至請求項１２記載の画像合成装置において、前記仮想空間構築パラメータ決定手段は、前記実行環境情報収集手段によって収集された中央演算処理装置性能、主記憶容量、表示装置三次元専用回路の有無、表示用記憶容量のいずれか１つで構築パラメータを決定することを特徴とする。
【００２１】
請求項１４に記載の画像合成装置では、請求項８乃至請求項１３記載の画像合成装置において、前記仮想空間構築パラメータ決定手段は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする。
【００２２】
請求項１５に記載の仮想空間構成装置は、少なくとも仮想空間を構築するための仮想空間幾何情報と、前記仮想空間内に配置される三次元モデルの幾何情報を用いて仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段とを有することを特徴とする。
【００２３】
請求項１６に記載の仮想空間構築装置は、請求項１５記載の仮想空間構築装置において、前記仮想空間構築パラメータ決定手段は、仮想空間内の構成要素の総ポリゴン数からパラメータを決定することを特徴とする。
【００２４】
請求項１７に記載の仮想空間構築装置は、請求項１５記載の仮想空間構築装置において、前記仮想空間構築パラメータ決定手段は、仮想空間内に存在するモデル数からパラメータを決定することを特徴とする。
【００２５】
請求項１８に記載の仮想空間構築装置は、請求項１５記載の仮想空間構築装置において、前記仮想空間構築パラメータ決定手段は、仮想空間を表示する際のビューボリューム内に存在する構成要素の総ポリゴン数からパラメータを決定することを特徴とする。
【００２６】
請求項１９に記載の仮想空間構築装置は、請求項１５記載の仮想空間構築装置において、前記仮想空間構築パラメータ決定手段は、仮想空間を表示する際のビューボリューム内に存在する構成要素の三次元モデル数からパラメータを決定することを特徴とする。
【００２７】
請求項２０に記載の仮想空間構築装置は、請求項１５乃至請求項１９記載の仮想空間構築装置において、前記仮想空間構築パラメータ決定手段は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする。
【００２８】
請求項２１記載の画像合成装置は、少なくとも仮想空間を構築するための仮想空間幾何情報と、前記仮想空間内に配置される三次元モデルの幾何情報を用いて仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定手段と、前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築手段とを有することを特徴とする。
【００２９】
請求項２２に記載の画像合成装置は、請求項２１記載の画像合成装置において、前記仮想空間構築パラメータ決定手段は、仮想空間内の構成要素の総ポリゴン数からパラメータを決定することを特徴とする。
【００３０】
請求項２３に記載の画像合成装置は、請求項２１記載の画像合成装置において、前記仮想空間構築パラメータ決定手段は、仮想空間内に存在するモデル数からパラメータを決定することを特徴とする。
【００３１】
請求項２４に記載の画像合成装置は、請求項２１記載の画像合成装置において、前記仮想空間構築パラメータ決定手段は、仮想空間を表示する際のビューボリューム内に存在する構成要素の総ポリゴン数からパラメータを決定することを特徴とする。
【００３２】
請求項２５に記載の画像合成装置は、請求項２１記載の画像合成装置において、前記仮想空間構築パラメータ決定手段は、仮想空間を表示する際のビューボリューム内に存在する構成要素の三次元モデル数からパラメータを決定することを特徴とする。
【００３３】
請求項２６に記載の画像合成装置は、請求項２１乃至請求項２５記載の画像合成装置において、前記仮想空間構築パラメータ決定手段は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする。
【００３４】
請求項２７記載の仮想空間構築方法は、仮想空間を構築し表示する性能情報を収集する実行環境情報収集工程と、前記実行環境情報収集工程から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定工程と、前記仮想空間構築パラメータ決定工程によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築工程とを有することを特徴とする。
【００３５】
請求項２８記載の仮想空間構築方法は、請求項２７記載の仮想空間構築方法において、前記実行環境情報収集工程は、実行環境の中央演算処理装置の性能を収集することを特徴とする。
【００３６】
請求項２９に記載の仮想空間構築方法は、請求項２７乃至請求項２８記載の画像合成装置において、前記実行環境情報収集工程は、実行環境の主記憶容量を収集することを特徴とする。
【００３７】
請求項３０記載の仮想空間構築方法は、請求項２７乃至請求項２９記載の仮想空間構築方法において、前記実行環境情報収集工程は、実行環境の表示装置が三次元専用回路の保持の有無を収集することを特徴とする。
【００３８】
請求項３１記載の仮想空間構築方法は、請求項２７乃至請求項３０記載の仮想空間構築方法において、前記実行環境情報収集方法は、実行環境の表示装置の表示用記憶容量を収集することを特徴とする。
【００３９】
請求項３２記載の仮想空間構築方法は、請求項２７乃至請求項３１記載の仮想空間構築方法において、前記仮想空間構築パラメータ決定工程は、前記実行環境情報収集工程によって収集された中央演算処理装置性能、主記憶容量、表示装置三次元専用回路の有無、表示用記憶容量のいずれか１つで構築パラメータを決定することを特徴とする。
【００４０】
請求項３３記載の仮想空間構築方法は、請求項２７乃至請求項３２記載の仮想空間構築方法において、前記仮想空間構築パラメータ決定方法は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする。
【００４１】
請求項３４記載の画像合成方法は、仮想空間を構築し表示する性能情報を収集する実行環境情報収集工程と、前記実行環境情報収集工程から仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定工程と、前記仮想空間構築パラメータ決定工程によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築工程と、を有することを特徴とする。
【００４２】
請求項３５記載の画像合成方法は、請求項３４の画像合成方法において、前記実行環境情報収集工程は、実行環境の中央演算処理装置の性能を収集することを特徴とする。
【００４３】
請求項３６記載の画像合成方法は、請求項３４乃至請求項３５記載の画像合成方法において、前記実行環境情報収集工程は、実行環境の主記憶容量を収集することを特徴とする。
【００４４】
請求項３７記載の画像合成方法は、請求項３４乃至請求項３６記載の画像合成方法において、前記実行環境情報収集工程は、実行環境の表示装置が三次元専用回路の保持の有無を収集することを特徴とする。
【００４５】
請求項３８記載の画像合成方法は、請求項３４乃至請求項３７記載の画像合成方法において、前記実行環境情報収集工程は、実行環境の表示装置の表示用記憶容量を収集することを特徴とする。
【００４６】
請求項３９記載の画像合成方法は、請求項３４乃至請求項３８記載の画像合成方法において、前記仮想空間構築パラメータ決定工程は、前記実行環境情報収集工程によって収集された中央演算処理装置性能、主記憶容量、表示装置三次元専用回路の有無、表示用記憶容量のいずれか１つで構築パラメータを決定することを特徴とする。
【００４７】
請求項４０記載の画像合成方法は、請求項３４乃至請求項３９記載の画像合成方法において、前記仮想空間構築パラメータ決定工程は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする。
【００４８】
請求項４１に記載の仮想空間構成方法は、少なくとも仮想空間を構築するための仮想空間幾何情報と、前記仮想空間内に配置される三次元モデルの幾何情報を用いて仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定工程と、前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築工程とを有することを特徴とする。
【００４９】
請求項４２に記載の仮想空間構成方法は、請求項４１記載の仮想空間構成方法において、前記仮想空間構築パラメータ決定工程は、仮想空間内の構成要素の総ポリゴン数からパラメータを決定することを特徴とする。
【００５０】
請求項４３に記載の仮想空間構成方法は、請求項４１記載の仮想空間構成方法において、前記仮想空間構築パラメータ決定工程は、仮想空間内に存在するモデル数からパラメータを決定することを特徴とする。
【００５１】
請求項４４に記載の仮想空間構成方法は、請求項４１記載の仮想空間構成方法において、前記仮想空間構築パラメータ決定工程は、仮想空間を表示する際のビューボリューム内に存在する構成要素の総ポリゴン数からパラメータを決定することを特徴とする。
【００５２】
請求項４５に記載の仮想空間構成方法は、請求項４１記載の仮想空間構成方法において、前記仮想空間構築パラメータ決定工程は、仮想空間を表示する際のビューボリューム内に存在する構成要素の三次元モデル数からパラメータを決定することを特徴とする。
【００５３】
請求項４６に記載の仮想空間構成方法は、請求項４１乃至請求項４５記載の仮想空間構成方法において、前記仮想空間構築パラメータ決定工程は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする。
【００５４】
請求項４７記載の画像合成方法は、少なくとも仮想空間を構築するための仮想空間幾何情報と、前記仮想空間内に配置される三次元モデルの幾何情報を用いて仮想空間を構築するパラメータを決定する仮想空間構築パラメータ決定工程と、前記仮想空間構築パラメータ決定手段によって決定されたパラメータに基づいて仮想空間を構築する仮想空間構築工程とを有することを特徴とする。
【００５５】
請求項４８に記載の画像合成方法は、請求項４７記載の画像合成方法において、前記仮想空間構築パラメータ決定工程は、仮想空間内の構成要素の総ポリゴン数からパラメータを決定することを特徴とする。
【００５６】
請求項４９に記載の画像合成方法は、請求項４７記載の画像合成方法において、前記仮想空間構築パラメータ決定工程は、仮想空間内に存在するモデル数からパラメータを決定することを特徴とする。
【００５７】
請求項５０に記載の画像合成方法は、請求項４７記載の画像合成方法において、前記仮想空間構築パラメータ決定工程は、仮想空間を表示する際のビューボリューム内に存在する構成要素の総ポリゴン数からパラメータを決定することを特徴とする。
【００５８】
請求項５１に記載の画像合成方法は、請求項４７記載の画像合成方法において、前記仮想空間構築パラメータ決定工程は、仮想空間を表示する際のビューボリューム内に存在する構成要素の三次元モデル数からパラメータを決定することを特徴とする。
【００５９】
請求項５２に記載の画像合成方法は、請求項４７乃至請求項５１記載の画像合成方法において、前記仮想空間構築パラメータ決定工程は、少なくとも仮想空間を構築する粗密を制御するパラメータを算出することを特徴とする。
【発明の効果】
【００６０】
以上説明したように、請求項１乃至請求項７の発明に係る記載の仮想空間構築装置によれば、構築する仮想空間を様々な実行環境に応じた仮想空間構築することが可能となり、安定して仮想空間と三次元モデルとの衝突を検知することが可能となる。
【００６１】
請求項８乃至請求項１４の発明に係る記載の画像合成装置によれば、実写画像から奥行き情報に応じて構築した仮想空間が実行環境に適応的に生成可能なため、様々な実行環境において三次元モデルと奥行き分布との衝突が検知可能なため、観察した際に実写画像の三次元モデルとの奥行き感に矛盾が無い合成結果を得ることが可能となる。
【００６２】
請求項１５乃至請求項２０の発明に係る記載の仮想空間装置によれば、実行環境情報を収集することなく簡便に仮想環境を構築することが可能となり、安定して仮想空間と三次元モデルとの衝突を検知することが可能となる。
【００６３】
請求項２１乃至請求項２６の発明に係る記載の画像合成装置によれば、実写画像から奥行き情報に応じて構築した仮想空間が実行環境情報を収集することなく簡便に構築可能なため、安定して仮想空間と三次元モデルとの衝突を検知することが可能となる。
【００６４】
請求項２７乃至請求項３３の発明に係る記載の仮想空間構築方法によれば、構築する仮想空間を様々な実行環境に応じた仮想空間構築することが可能となり、安定して仮想空間と三次元モデルとの衝突を検知することが可能となる。
【００６５】
請求項３４乃至請求項４０の発明に係る記載の画像合成方法によれば、実写画像から奥行き情報に応じて構築した仮想空間が実行環境に適応的に生成可能なため、様々な実行環境において三次元モデルと奥行き分布との衝突が検知可能なため、観察した際に実写画像の三次元モデルとの奥行き感に矛盾が無い合成結果を得ることが可能となる。
【００６６】
請求項４１乃至請求項４６の発明に係る記載の仮想空間装置によれば、実行環境情報を収集することなく簡便に仮想環境を構築することが可能となり、安定して仮想空間と三次元モデルとの衝突を検知することが可能となる。
【００６７】
請求項４７乃至請求項５２の発明に係る記載の画像合成装置によれば、実写画像から奥行き情報に応じて構築した仮想空間が実行環境情報を収集することなく簡便に構築可能なため、安定して仮想空間と三次元モデルとの衝突を検知することが可能となる。
【発明を実施するための最良の形態】
【００６８】
［第一の実施例］
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００６９】
図１は、本発明の実施形態に係る仮想空間構築装置および画像合成装置の構成を示すブロック図である。立体画像入力装置１０１は、複数の視点位置で撮影されたステレオ画像を入力する装置である。画像合成装置１１３は、立体画像入力装置１０１から複数の視点位置から撮影されたステレオ画像と、仮想空間上に配置された３Ｄモデルから生成された仮想空間画像とを合成し、三次元統合画像を生成する装置で、例えば汎用のパーソナルコンピュータにより構成される。２次元表示装置１０３は立体画像入力装置１０１より入力された画像や画像合成装置１１３で処理・合成された２次元画像を表示するＣＲＴディスプレイ等で構成される。操作入力装置１０４は２次元表示装置１０３に表示されている３Ｄモデルを回転・移動・拡大・縮小等をさせたりするポインティングデバイスでマウスやジョイスティクなどで構成される。印刷装置１０５は画像合成装置１１３で生成・表示されている画像データ等を印刷するように構成されている。
【００７０】
次に画像合成装置１１３内に内部ブロックの構成を説明する。
【００７１】
立体画像情報生成部１０６は立体画像入力装置１０１から入力されたステレオ画像から視差マップ等を生成する回路で構成されている。仮想空間画像生成部１０７は、仮想空間内に配置された三次元モデルから生成した画像と立体画像入力装置１０１から入力され、立体画像情報生成部１０６で設定された基準画像とを合成し、２次元表示装置１０３に合成画像を表示する回路で構成される。三次元モデル記憶部１０８で、幾何形状情報と表面属性情報あるいは表面用のテクスチャ画像情報などを記憶しておく補助記憶装置で構成される。仮想空間構築部１０２で、立体画像情報生成部１０６からの視差マップ等のパラメータを用いて仮想空間を構築する回路で構成される。衝突検知部１０９は、仮想空間構築装置１０２において構築された実写画像の奥行き分布と三次元モデルとが仮想空間内で衝突するか否かを検知する回路で構成されている。三次元モデル操作部１１０は、操作者からの三次元モデルに対する操作を入力する操作入力部１０４から入力された情報を実際の仮想空間における三次元モデルへの移動・回転・拡大・縮小などの操作量に変換し、所定の操作範囲を超えた際には操作者にその旨を呈示したりなどを行う回路で構成される。多視点画像シーケンス生成部１１１は、立体画像入力装置１０１から入力されたステレオ画像を利用して実写多視点画像シーケンスを生成し、また、仮想空間多視点画像シーケンスを生成する回路で構成される。三次元画像合成部１１２は、多視点画像シーケンス生成部で生成された実写多視点画像シーケンスと仮想空間多視点画像シーケンスを三次元画像として合成する回路から構成されている。
【００７２】
次に、仮想空間装置１０２内の内部ブロック図の構成を説明する。
【００７３】
１０２１は仮想空間構築部で、立体画像情報生成部１０６から視差マップなどのパラメータと後述する実行環境判定部１０２２および仮想空間構築パラメータ決定部１０２３によって計算されたパラメータを用いて仮想空間を構築する回路で構成される。実行環境判定部１０２２は、本装置が組み込まれている計算機性能や表示性能などを収集し、実効性能を収集する回路で構成されている。仮想空間構築パラメータ決定部１０２３は、実行環境判定部１０２２で判定された実効性能から仮想空間構築部１０２１で仮想空間を構築する際のパラメータ等を算出する回路で構成されている。
【００７４】
次に、図２を用いて、本発明の仮想空間装置および画像合成装置の処理の流れを説明する。
【００７５】
Ｓ２０１は立体画像情報生成ステップで、立体画像入力装置１０１で入力したステレオ画像と撮影した際のカメラパラメータ（視点間の基線長や焦点距離等）を入力し、被写体までの奥行き分布を表す視差マップを生成する。この際にステレオ画像のうち左画像を基準画像として決定する。右画像を基準画像としても問題ないが、その際、視差マップの視差を算出する基準画像を右画像として再計算する必要がある。Ｓ２０２は仮想空間構築ステップで、立体画像情報生成ステップＳ２０１で生成された視差マップおよびステレオカメラからカメラパラメータから仮想空間を構築する。
【００７６】
この仮想区間構築ステップＳ２０２を処理の流れを、図３を用いて詳細に説明する。
【００７７】
まず、実行環境情報収集ステップＳ３０１では、本装置が組み込まれている装置の計算能力並びに表示能力の情報を収集する。計算能力に関する情報としては、不図示の中央演算処理装置（ＣＰＵ）の種別、主記憶装置容量ならびに現在のＣＰＵ稼働率などがある。また、表示能力に関しては、二次元表示装置１０３へ接続している不図示のグラフィックス出力装置上に３Ｄ専用ハードウェアが搭載されているか否か、また搭載されている場合はその種別、およびグラフィックス出力装置上のメモリ容量（ＶＲＡＭ）などがある。実行環境情報収集ステップは、このステップで実行してもよいし、本装置が起動した際に１度のみ起動しておいても良い。
【００７８】
Ｓ３０２では、前記実行環境情報収集ステップＳ３０１において、収集した情報を総合的に判定して、仮想空間構築部１０２１の構築パラメータを算出する。今、図４に示すように、実写画像のＸ−Ｙ空間を等間隔に三角形メッシュに分割し、高さ方向を奥行き分布として三次元シーンを再構成する方式が採用されている場合は、メッシュを分割する間隔がトータルのポリゴン数に比例する。Ｎ画素間隔で、実写画像がＷ画素×Ｈ画素の場合、図４に示すように、三角形メッシュに分割すると、（Ｗ／Ｎ）×（Ｈ／Ｎ）×２の三角形メッシュが生成される。このＮを増減させることで、構築する奥行き分布の粗密が決定する。図５にこのように生成されて三角形メッシュに各頂点を奥行き分布の量に反映させ構築された三次元シーンの例を示す。図５には、メッシュを構成する間隔がそれぞれ（ａ）３２画素（ｂ）１６画素（ｃ）８画素（ｄ）４画素間隔でメッシュが合い構成されている。この図からもわかるように、メッシュ間隔が細かくなるほど正確な奥行き分布を再現できおり、メッシュ間隔が粗くなれば奥行き分布の凹凸も正しく表現されていないことがわかる。しかし、概略の奥行き分布においても、後述するように三次元モデルをレイアウトする際に、正しく衝突を検知できれば最終的に立体画像と観察した場合においても、実写画像と三次元モデルとの奥行き感は観察者に正しく知覚される。また、三次元モデルを細かくすることで、より詳細に三次元モデルを配置することができる。仮想空間構築パラメータ決定ステップＳ３０２において、立体画像情報から仮想空間を構築する方法を等間隔に分割して三角形メッシュに分割し、その各頂点の奥行き分布を表すようにして多角形ポリゴンとして３次元シーンを構成するよう記述したが、必ずしもこのように実施する必要は無い。例えば、図４では等間隔で分割を行ったが、画像をある領域の画素値の分散をまわりの領域との画素値の分散とを比較して、変動が少なければそれ以上の分割を行わずに変動が高ければさらに分割を繰り返していく４分木分割結果を利用してもよい。このような場合、周りの領域との変動の有無を判定する閾値を設定する必要があるが、この閾値を再分割しないように設定することは、結果的に生成されるメッシュ数を削減していることにあたり、即ち、その閾値の設定のさせ方で、再構成するメッシュ数の増減を制御可能となる。また、図５のように、三次元空間をブロック的に分割するような場合のブロックの大きさを仮想空間構築パラメータステップＳ３０２にて算出するようにしてもよい。
仮想空間生成ステップＳ３０３では、仮想空間構築パラメータ決定ステップＳ３０２において決定したパラメータと、立体画像入力装置から入力したカメラパラメータと、立体画像情報生成部１０１で算出した視差マップより実写画像の奥行き分布に応じた仮想空間を構築する。視点から実写画像の奥行き分布は視差とカメラ基線長の関係より式（１）で算出することが可能となる。
【００７９】
ｚ（ｘ、ｙ）＝ｂ・ｆ／ｄ（ｘ、ｙ）………（１）
ここで、ｄ（ｘ、ｙ）はワールド座標における（ｘ、ｙ）における視差、ｂはステレオカメラの基線長、ｆはカメラの焦点距離、ｚ（ｘ、ｙ）はワールド座標（ｘ、ｙ）における視点からの距離を表している。今、図４のように仮想空間を構築する場合は、各頂点の高さが、前記（１）式で算出した距離となる。図５のような仮想空間の場合は、各ブロックに実写画像からの奥行き分布に応じて、そのブロックに物体が存在するか否かを符号化することになる。
【００８０】
このように、実行環境情報収集ステップＳ３０１において収集した実行環境の計算および表示能力から、仮想環境構築パラメータ決定ステップＳ３０２において仮想環境構築ステップＳ３０３の仮想環境構築手法に応じたパラメータ、より具体的にはメッシュ分割間隔や空間分割間隔などを決定することで、実行環境に応じた仮想空間が構築可能となる。
【００８１】
次にＳ２０３では実写／ＣＧ合成ステップで、三次元モデルを仮想空間構築ステップＳ２０２で構築した仮想空間上に配置した画像と立体画像入力装置１０１から入力された基準画像との合成画像を生成し、２次元表示装置１０３に合成画像を表示する。
【００８２】
Ｓ２０４では、三次元モデル操作ステップで、操作入力装置１０４を介して２次元画像装置１０３に表示されている三次元モデルを選択し、移動、回転、反転、縮小などの操作を行う。このとき、選択されている三次元モデルを奥行き方向に移動する際には、衝突検知装置１０９において仮想空間構築ステップＳ２０２で生成された奥行き分布から構成される三次元シーンとの衝突を検知する必要がある。衝突検知の手法として、仮想空間構築ステップＳ２０２で構築されている三次元シーンが三角形メッシュなどで構築されている場合は、中前、西田共著、「三次元コンピュータグラフィックス」、昭光堂（１９８６）”図形間の相互位置関係”章などに記載の手法を用いることで、三次元モデルの構成する各ポリゴンと三次元シーンとが交差しているかいないかを判定することで、検出可能である。より簡便には、三次元モデルの包含する境界箱（バウンディングボックス）の各頂点（８頂点）と三次元シーンの各ポリゴンの視点位置から大まかに実行可能である。さらには、仮想空間構築ステップＳ２０２で３次元空間を分割して三次元シーンを構成した場合も同様に三次元モデルのバウンディングボックスの各頂点位置と分割した空間の各ボックスとの関係を知ることで、衝突を検出可能である。
【００８３】
Ｓ２０５の多視点画像シーケンス生成ステップで、立体画像情報生成ステップＳ２０１で算出された基準画像と視差マップ等から実写画像多視点画像シーケンスと仮想空間ステップＳ２０２で構築された仮想空間に配置され二次元表示装置１０３に表示されている三次元モデルから生成される仮想空間から生成する仮想空間多視点画像シーケンスとを合成した多視点画像シーケンスとを生成する。
【００８４】
Ｓ２０６は三次元画像統合ステップで、多視点画像シーケンス生成ステップＳ２０５で生成した多視点画像シーケンスを三次元画像に合成し、印刷装置１０５にて印刷する。Ｓ２０７は印刷ステップで、三次元画像統合ステップＳ２０６で合成された三次元画像を印刷する。最終的に印刷結果にレンチキュラー板等の光学部材を重ね合わせて観察することで、実写画像と三次元モデルが立体的に違和感無く高品位な立体画像を観察することが可能となる。
【００８５】
以上のように、実写画像などから三次元情報を奥行き分布を実行環境の性能に応じて変化させることで、仮想空間の表示品質のみだけではなく、三次元モデルと奥行き分布との衝突を検知するという機能も満足させることが可能となる。さらに、最終的に実写画像と仮想空間画像とを合成して立体画像として観察した場合においても奥行き感に違和感の無い立体合成写真を得ることが可能となる。
【００８６】
今まで述べた実施形態では、三次元モデルを移動・回転・拡大・縮小など幾何学的操作のみを実行可能なように構成したが、画質的に自然な仮想空間画像を生成するために、仮想空間内の光源の種類やパラメータを実写との合成画像を観察しながら変更できるようにするようにしてもよい。
【００８７】
また、本実施形態では、三次元モデル記憶部に三次元モデルを記憶するようにしたが、三次元モデルをネットワークから入力するようにしてもよい。
【００８８】
また、立体画像情報入力装置１０１としてステレオ画像を入力しそのステレオ画像の対応する画素関係から視差マップを抽出するよう記述したが、１枚の実写画像に対して手動あるいは自動で主被写体を切り出し、その切り出した領域を近景側、それ以外の領域を遠景側としたり、切り出す領域を複数設定し、その切り出し領域間に適宜順序付けし、それらに適当な視差を与えるようにしたりして視差マップを形成するようにして、仮想空間構築装置１０２１への入力としてもよい。
【００８９】
また、本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。
【００９０】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることが出来る。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９２】
［第二の実施例］
第一の実施例においては実行環境収集手段１０２２において、実行環境の諸性能より実写画像の奥行き分布に応じた仮想空間を構築する粗密を決定することで、三次元モデルと奥行き分布に応じた仮想空間との衝突を検知する機能を計算・表示能力の低い端末においても実行可能なようにしたが、実行環境の計算・表示能力を用いずに実行することも可能である。
【００９３】
以下、第二の実施例のおける装置構成および処理の流れについて説明する。
【００９４】
図７は、第二の実施例の仮想空間構築装置で、第一の実施例の図１における仮想空間構築装置１０２の実行環境情報収集部１０２２は構成上必要無く、仮想空間構築パラメータ決定部７０２２を図１に置けうる仮想空間構築パラメータ決定部１０２３の処理内容を変更することで構成可能である。また、図１と同一の符号は基本的に同じ機能をもつ装置で構成可能である。このとき、仮想空間構築パラメータ決定部７０２２は立体画像情報生成部１０６から入力された視差マップを用いて奥行き分布に応じた仮想空間を構築する粗密を制御するパラメータを、例えば、仮想空間内に配置される三次元モデルも含めた総ポリゴン数や総頂点数や、三次元モデル数などで管理する回路で構成される。
【００９５】
以下、仮想空間構築パラメータ決定部７０２２の処理プログラムを図８のフローチャートを用いて説明する。
【００９６】
まず、立体画像情報入力部１０１から入力された立体画像情報を入力して、立体画像情報生成部１０６にて、視差マップ等が算出される。Ｓ８０１では、その視差マップ等から所定の初期パラメータを用いて立体画像情報の奥行き分布に応じた仮想空間を構築するとする。次にＳ８０２において、総ポリゴン数が閾値Ｔｐ以下であれば、そのまま仮想空間を構築し、Ｓ８０３へ処理が移り、閾値Ｔｐより大きければ、Ｓ８０４にて奥行き分布に応じた仮想空間を構築する際の粗密を制御するパラメータを所定の量だけ粗にする側へ変更し、再度Ｓ８０２にて判定を行う。
【００９７】
次に、三次元記憶装置１０８から所定の三次元モデルを構築された仮想空間内へは配置する際は、再度、図８におけるＳ８０１において、配置しようとする三次元モデルのポリゴン数および、既に作成された仮想空間内の奥行き分布に応じたポリゴン数を総計した総ポリゴン数を算出する。次に、Ｓ８０２にて、仮想空間内の三次元空間内の総ポリゴン数が閾値ＴｐとＳ８０１で算出された総ポリゴン数とを比較し、総ポリゴン数が閾値Ｔｐ以下であれば、そのまま仮想空間内に三次元モデルを配置し、総ポリゴン数が閾値より大きければＳ８０４において奥行き分布に応じた仮想空間の粗密を制御するパラメータを粗となるように変更し、再度奥行き分布に応じた仮想空間を再構築する。
【００９８】
このＳ８０４において再構築する場合は、既に構築している縦方向あるいは横方向の行あるいは列のデータを削除することで、再度、立体画像情報生成部１０６から出力される視差マップにアクセスすることなく生成することが可能となるため処理の高速化が図れるといった効果がある。
【００９９】
今、簡単のため仮想空間内における総ポリゴン数で説明したが、図９に示すように仮想視点位置９０１に実際に射影される最近面９０２および最遠点９０２で張られるビューボリューム９０４内に存在する構成物のポリゴン数を総計に用いることは言うまでも無い。
【０１００】
また、上記と同様な機能としてより簡便な方法として、仮想空間上に配置される三次元モデル数を基準として、仮想空間の粗密を動的に決定するようにしても同様の効果が得られる。
【０１０１】
以上、説明したように仮想空間において描画すべき三次元モデルおよび立体画像情報から奥行き分布に応じて作成する仮想空間全体のポリゴン数あるいは頂点数などの総数を用いて、奥行き分布に応じて作成する仮想空間の粗密を動的に決定することによっても、表示のみでなく衝突を検知するといった機能を満足することが可能となる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施形態に係る仮想空間装置を用いた画像合成装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る仮想空間装置を利用した画像合成装置の処理プログラムのフローチャートである。
【図３】本発明の実施形態に係る仮想空間装置の処理プログラムのフローチャートである。
【図４】実写画像のＸ−Ｙ空間の三角形メッシュ分割を説明する図である。
【図５】実写空間の奥行き分布に対応させて、メッシュの細かさを変化させた際の構成した三次元シーンの違いを説明する図である。
【図６】実空間を三次元的にブロック分割を行う際の概略を説明する図である。
【図７】第二の実施例の実施形態に係る仮想空間装置を用いた画像合成装置の構成を示すブロック図である。
【図８】第二の実施例において、処理の主要な流れを示すフローチャートである。
【図９】第二の実施例において、仮想空間内のビューボリュームを説明する図である。
【符号の説明】
【０１０３】
１０１  立体画像情報入力装置
１０２  仮想空間構築装置
１０３  二次元表示装置
１０４  操作入力装置
１０５  印刷装置
１０６  立体画像情報生成部
１０７  仮想空間画像生成部
１０８  三次元モデル記憶部
１０９  衝突検知部
１１０  三次元モデル
１１１  多視点画像シーケンス生成部
１１２  三次元画像合成部
１１３  画像合成装置
１０２１  仮想空間構築部
１０２２  実行環境情報収集部
１０２３  仮想空間構築パラメータ算出部
【図１】
2005173685.tif 000003
【図２】
2005173685.tif 000004
【図３】
2005173685.tif 000005
【図４】
2005173685.tif 000006
【図５】
2005173685.tif 000007
【図６】
2005173685.tif 000008
【図７】
2005173685.tif 000009
【図８】
2005173685.tif 000010
【図９】
2005173685.tif 000011