(57)【特許請求の範囲】
【請求項１】
画像入力部と、画像記憶部と、画像選択部と、画像間対応関係獲得部と、三次元モデル入力部と、三次元モデル記憶部と、三次元モデル選択部と、画像・三次元モデル間対応関係獲得部と、三次元情報復元部と、模様画像生成部と、生成モデル出力部とを有する復元装置が、複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する三次元シーンにおける形状及び模様の復元方法であって、
前記画像入力部が、前記複数の画像を取り込む工程と、
前記画像入力部が、前記取り込んだ複数の画像を前記画像記憶部に格納する工程と、
前記画像選択部が、前記画像記憶部に格納した複数の画像から処理を適用する複数のフレームを選択させて入力する工程と、
前記画像間対応関係獲得部が、前記選択された複数のフレーム間の対応関係を指定させて入力する工程と、
前記三次元モデル入力部が、基礎となる複数の三次元モデルを入力する工程と、
前記三次元モデル入力部が、前記入力された複数の三次元モデルを前記三次元モデル記憶部に格納する工程と、
前記三次元モデル選択部が、前記選択された複数のフレーム中の対象物体における幾何学的性質を規定する三次元モデルを、前記三次元モデル記憶部に格納した複数の三次元モデルから選択させて入力する工程と、
前記画像・三次元モデル間対応関係獲得部が、前記選択された複数のフレームと前記選択された三次元モデルとの対応関係を指定させて入力する工程と、
前記三次元情報復元部が、前記選択された複数のフレーム間の前記指定された対応関係及び前記選択された複数のフレームと前記選択された三次元モデルとの前記指定された対応関係の双方を満たしながら前記選択された三次元モデルの形状変形を行う工程と、
前記模様画像生成部が、前記形状変形により得られた三次元モデルの形状と、前記形状変形により得られた三次元モデルと前記選択された複数のフレーム間の前記指定された対応関係に基づいて、前記形状変形により得られた三次元モデルの表面に貼り付ける模様画像を生成する工程と、
前記生成モデル出力部が、前記形状変形により得られた三次元モデルの形状と、前記模様画像とで得られる三次元モデルを出力する工程を有することを特徴とする三次元シーンにおける形状及び模様の復元方法。
【請求項２】
前記複数のフレーム間の前記対応関係を指定させて入力する工程において、前記対応関係をユーザにより指定させて入力する請求項１記載の三次元シーンにおける形状及び模様の復元方法。
【請求項３】
前記複数のフレーム間の前記対応関係を指定させて入力する工程において、前記複数のフレーム間の前記対応関係が前記フレームの輝度及び輝度を加工した情報に基づいて決定される請求項１記載の三次元シーンにおける形状及び模様の復元方法。
【請求項４】
画像入力部と、画像記憶部と、画像選択部と、三次元モデル入力部と、三次元モデル記憶部と、三次元モデル選択部と、画像・三次元モデル間対応関係獲得部と、画像間対応探索及び三次元情報復元同時実行部と、模様画像生成部と、生成モデル出力部とを有する復元装置が、複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する三次元シーンにおける形状及び模様の復元方法であって、
前記画像入力部が、前記複数の画像を取り込む工程と、
前記画像入力部が、前記取り込んだ複数の画像を前記画像記憶部に格納する工程と、
前記画像選択部が、前記画像記憶部に格納した複数の画像から処理を適用する複数のフレームを選択させて入力する工程と、
前記三次元モデル入力部が、基礎となる複数の三次元モデルを入力する工程と、
前記三次元モデル入力部が、前記入力された複数の三次元モデルを前記三次元モデル記憶部に格納する工程と、
前記三次元モデル選択部が、前記選択された複数のフレーム中の対象物体における幾何学的性質を規定する三次元モデルを、前記三次元モデル記憶部に格納した複数の三次元モデルから選択させて入力する工程と、
前記画像・三次元モデル間対応関係獲得部が、前記選択された複数のフレームと前記選択された三次元モデルとの対応関係を指定させて入力する工程と、
前記画像間対応探索及び三次元情報復元同時実行部が、前記フレーム間において、前記選択された複数のフレームと前記選択された三次元モデルとの前記指定された対応関係を満たす箇所を探索しながら前記選択された三次元モデルの形状変形を行う工程と、
前記模様画像生成部が、前記形状変形により得られた三次元モデルの形状と、前記形状変形により得られた三次元モデルと複数のフレーム間の指定された対応関係に基づいて、前記形状変形により得られた三次元モデルの表面に貼り付ける模様画像を生成する工程と、
前記生成モデル出力部が、前記形状変形により得られた三次元モデルの形状と、前記模様画像とで得られる三次元モデルを出力する工程を有することを特徴とする三次元シーンにおける形状及び模様の復元方法。
【請求項５】
前記三次元モデルの形状変形を行う工程と前記三次元モデルの表面に模様画像を生成する工程において、前記三次元モデルの幾何学的性質の部分的な変更をユーザにより指定させて入力する請求項１又は４記載の三次元シーンにおける形状及び模様の復元方法。
【請求項６】
前記三次元モデルの形状変形を行う工程と前記三次元モデルの表面に模様画像を生成する工程において、前記三次元モデルを差し替えることができる請求項１又は４記載の三次元シーンにおける形状及び模様の復元方法。
【請求項７】
複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する三次元シーンにおける形状及び模様の復元装置であって、
前記複数の画像を取り込む画像入力部と、
前記画像入力部より取り込んだ複数の画像を格納する画像記憶部と、
前記画像記憶部に格納した複数の画像から処理を適用する複数のフレームを選択する画像選択部と、
前記画像選択部より選択された複数のフレーム間の対応関係を指定させる画像間対応関係獲得部と、
基礎となる複数の三次元モデルを入力させる三次元モデル入力部と、
前記三次元モデル入力部から入力された複数の三次元モデルを格納する三次元モデル記憶部と、
前記画像選択部より選択されたフレーム中の対象物体における幾何学的性質を規定する三次元モデルを、前記三次元モデル記憶部に格納した複数の三次元モデルから選択させる三次元モデル選択部と、
前記画像選択部より選択された複数のフレームと前記三次元モデル選択部より選択された三次元モデルとの対応関係を指定させる画像・三次元モデル間対応関係獲得部と、
前記画像間対応関係獲得部において指定された対応関係及び前記画像・三次元モデル間対応関係獲得部において指定された対応関係の双方を満たしながら前記三次元モデル選択部より選択された三次元モデルの形状変形を行う三次元情報復元部と、
前記三次元情報復元部において得られた三次元モデルの形状と、前記三次元情報復元部において得られた三次元モデルと前記画像間対応関係獲得部において指定された対応関係に基づいて、前記三次元情報復元部において得られた三次元モデルの表面に貼り付ける模様画像を生成する模様画像生成部と、
前記三次元情報復元部において得られた三次元モデルの形状と、前記模様画像生成部において生成された模様画像を三次元モデルとして出力する生成モデル出力部を有することを特徴とした三次元シーンにおける形状及び模様の復元装置。
【請求項８】
前記画像間対応関係獲得部が、前記対応関係をユーザにより指定させて入力する請求項７記載の三次元シーンにおける形状及び模様の復元装置。
【請求項９】
前記画像間対応関係獲得部において、前記複数のフレーム間の前記対応関係が前記フレームの輝度及び輝度を加工した情報に基づいて決定される請求項７記載の三次元シーンにおける形状及び模様の復元装置。
【請求項１０】
複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する三次元シーンにおける形状及び模様の復元装置であって、
前記複数の画像を取り込む画像入力部と、
前記画像入力部から取り込んだ複数の画像を格納する画像記憶部と、
前記画像記憶部に格納した複数の画像から処理を適用する複数のフレームを選択させる画像選択部と、
基礎となる複数の三次元モデルを入力させる三次元モデル入力部と、
前記三次元モデル入力部から入力された複数の三次元モデルを格納する三次元モデル記憶部と、
前記画像選択部より選択されたフレーム中の対象物体における幾何学的性質を規定する三次元モデルを、前記三次元モデル記憶部に格納した複数の三次元モデルから選択させる三次元モデル選択部と、
前記画像選択部より選択された複数のフレームと前記三次元モデル選択部より選択された三次元モデルとの対応関係を指定させる画像・三次元モデル間対応関係獲得部と、
前記フレーム間において、前記フレーム・三次元モデル間対応関係獲得部において指定された対応関係を満たす箇所を探索しながら前記三次元モデル選択部より選択された三次元モデルの形状変形を行う画像間対応探索及び三次元情報復元同時実行部と、
前記画像間対応探索及び三次元情報復元同時実行部において得られた三次元モデルの形状と、前記画像間対応探索及び三次元情報復元同時実行部において得られた三次元モデルと複数のフレーム間の指定された対応関係に基づいて、前記画像間対応探索及び三次元情報復元同時実行部において得られた三次元モデルの表面に貼り付ける模様画像を生成する模様画像生成部と、
前記画像間対応探索及び三次元情報復元同時実行部において得られた三次元モデルの形状と、前記模様画像生成部において生成された模様画像を三次元モデルとして出力する生成モデル出力部を有することを特徴とした三次元シーンにおける形状及び模様の復元装置。
【請求項１１】
前記画像間対応探索及び三次元情報復元同時実行部、及び模様画像生成部が、前記三次元モデルの幾何学的性質の部分的な変更をユーザにより指定させて入力する請求項７又は１０記載の三次元シーンにおける形状及び模様の復元装置。
【請求項１２】
前記画像間対応探索及び三次元情報復元同時実行部、及び模様画像生成部において、前記三次元モデルを差し替えることができる請求項７又は１０記載の三次元シーンにおける形状及び模様の復元装置。
【請求項１３】
複数の画像を格納する画像記憶部と、複数の三次元モデルを格納する三次元モデル記憶部とを有するコンピュータに、複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する処理を実行させるプログラムを記録した記録媒体であって、
前記複数の画像を取り込む画像入力処理と、
前記画像入力処理より取り込まれた複数の画像を前記画像記憶部に格納する画像記憶部格納処理と、
前記画像記憶部に格納された複数の画像から処理を適用する複数のフレームを選択させる画像選択処理と、
前記画像選択処理より選択された複数のフレーム間の対応関係を指定させる画像間対応関係獲得処理と、
基礎となる複数の三次元モデルを入力させる三次元モデル入力処理と、
前記三次元モデル入力処理より入力された複数の三次元モデルを前記三次元モデル記憶部に格納する三次元モデル記憶部格納処理と、
前記画像選択処理より選択されたフレーム中の対象物体における幾何学的性質を規定する三次元モデルを、前記三次元モデル記憶部に格納した複数の三次元モデルから選択する三次元モデル選択処理と、
前記画像選択処理より選択された複数のフレームと前記三次元モデル選択処理より選択された三次元モデルとの対応関係を指定させる画像・三次元モデル間対応関係獲得処理と、
前記画像間対応関係獲得処理において指定された対応関係及び前記画像・三次元モデル間対応関係獲得処理において指定された対応関係の双方を満たしながら前記三次元モデル選択処理より選択された三次元モデルの形状変形を行う三次元情報復元処理と、
前記三次元情報復元処理において得られた三次元モデルの形状と、前記三次元情報復元処理において得られた三次元モデルと前記画像間対応関係獲得処理において指定された対応関係に基づいて、前記三次元情報復元処理において得られた三次元モデルの表面に貼り付ける模様画像を生成する模様画像生成処理と、
前記三次元情報復元処理において得られた三次元モデルの形状と、前記模様画像生成処理において生成された模様画像を三次元モデルとして出力する生成モデル出力処理を前記コンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタル化された複数の映像、又は動画像に写っている三次元シーンの一部、又は全体を三次元状に復元し、コンピュータグラフィックスにて表示するための三次元モデルに変換するための処理に関する。
【０００２】
【従来の技術】
複数の映像、又は動画像等の三次元の物体を写した二次元画像である三次元シーンを用いて三次元形状の復元を行うには、複数映像間、又は複数フレーム間（以下、「画像間」という。）の対応を適格に把握することが必要である。
【０００３】
図１に、従来の三次元シーンにおける形状及び模様の復元方法における処理の流れ図を示す。図１において、復元対象となる複数の映像、又は動画像等の二次元データが与えられると（ステップＳ１０１）、画像間の対応を探索する（ステップＳ１０２）。従来の方法では、三次元形状の頂点の整合性をとることが主流であり、この時点では各面や辺、特に各面内の模様や面内の任意の点における整合性等については何の考慮も払われていない。
【０００４】
そして、頂点の対応関係から三次元形状のみを復元する（ステップＳ１０３）。ここでは、三角測量等の要領で頂点のみによって三次元形状を再現しており、辺や面は存在していない。そこで、幾何モデルを当てはめる（ステップＳ１０４）ことにより、面や辺等の存在する三次元モデルを復元する。最後に、テクスチャーを三次元モデルの各面に貼りつけて模様を復元する（ステップＳ１０５）ことで、三次元形状の復元が完了する。復元された三次元モデルを使用するコンピュータグラフィックのデータ形式に合わせて出力することで（ステップＳ１０６）、三次元モデルがベクトル値として活用できる。
【０００５】
このような画像間の対応探索及び三次元形状への復元において、三次元形状への復元精度を高めるためには、従来から適当なモデルを活用することが良く行われている。例えば、特開平９−６９１７０号公報においては、三次元形状への復元をするに当たり、特にテクスチャー模様情報を含んだ平面モデルを三次元形状に当てはめ、三次元モデルの各表面に当該平面モデルに貼り付けることで三次元モデルを生成する方法が開示されている。
【０００６】
【発明が解決しようとする課題】
しかし、かかる方法では、三次元モデルにおける奥行き等が平面モデルとしてモデル化されるテクスチャー模様情報獲得時には考慮されておらず、奥行きと模様画像の間にズレを生じ、不自然な三次元モデルになるという問題点があった。また、単に平面モデルとして三次元モデルに貼り付けるだけで近似できる部分についても、三次元形状の獲得時において誤差を生じた場合には、不適当なテクスチャー模様情報として排除されるため、最終的に三次元モデルに貼りつけられないという弊害も生じていた。
【０００７】
本発明は、上記課題を克服し、複数画像による三次元シーンにおける形状及び模様の復元において、処理の開始時から三次元モデルを意識した処理を実現し、精度良く復元する方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために本発明にかかる三次元シーンにおける形状及び模様の復元方法は、複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する三次元シーンにおける形状及び模様の復元方法であって、複数の画像を取り込み、取り込んだ画像を格納し、格納した画像から処理を適用する複数のフレームを選択し、複数の画像間の対応関係を抽出する工程と、基礎となる三次元モデルを入力し、入力された三次元モデルを格納し、画像中の対象物体における幾何学的性質を規定する三次元モデルを選択し、画像と三次元モデルとの対応関係を指定する工程と、獲得した画像間の対応関係及び獲得した画像と三次元モデルとの対応関係の双方を満たしながら三次元モデルの形状変形を行う工程と、形状変形により得られた最後の三次元モデルの形状と、最後の三次元モデルと獲得した画像間の対応関係に基づいて表面に貼り付ける模様画像を生成する工程と、完成した最後の三次元モデルを出力する工程を有することを特徴とする。
【０００９】
かかる構成により、三次元モデルの形状を定める場合に模様の関係を考慮しつつ定めることができ、完成した三次元モデルにおいて模様のズレ等の発生しない自然な三次元モデルとして三次元シーンにおける形状等を復元することが可能となる。
【００１０】
また、本発明にかかる三次元シーンにおける形状及び模様の復元方法は、複数の画像間の対応関係を抽出する工程において、対応関係をユーザが指定できることが望ましい。システム的には検出できない、又は検出しにくい対応関係についても、ユーザが自由に追加できることで、より実際に近い三次元モデルとして復元することが可能だからである。
【００１１】
また、本発明にかかる三次元シーンにおける形状及び模様の復元方法は、複数の画像間の対応関係を抽出する工程において、複数の画像間の対応関係を画像の輝度及び輝度を加工した情報に基づいて決定することが好ましい。模様として対応関係を抽出するだけでは、写真等の露出の違いや光源の強弱による画像の変化に対応できないからである。
【００１２】
次に、上記課題を解決するために本発明にかかる三次元シーンにおける形状及び模様の復元方法は、複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する三次元シーンにおける形状及び模様の復元方法であって、複数の画像を取り込み、取り込んだ画像を格納し、格納した画像から処理を適用する複数のフレームを選択する工程と、基礎となる三次元モデルを入力し、入力された三次元モデルを格納し、画像中の対象物体における幾何学的性質を規定する三次元モデルを選択し、画像と三次元モデルとの対応関係を指定する工程と、画像間において、獲得した画像と三次元モデルとの対応関係を満たす箇所を探索しながら三次元モデルの形状変形を行う工程と、形状変形により得られた最後の三次元モデルの形状と、最後の三次元モデルと獲得した画像間の対応関係に基づいて表面に貼り付ける模様画像を生成する工程と、完成した最後の三次元モデルを出力する工程を有することを特徴とする。
【００１３】
かかる構成により、三次元モデルの形状を定める場合に模様の関係を考慮しつつ定めることができ、完成した三次元モデルにおいて模様のズレ等の発生しない自然な三次元モデルとして三次元シーンにおける形状等を復元することが可能となる。
【００１４】
また、本発明にかかる三次元シーンにおける形状及び模様の復元方法は、三次元モデルの形状変形を行う工程と三次元モデルの表面に模様画像を生成する工程において、三次元モデルの幾何学的性質の部分的な変更をユーザが指定できることが望ましい。三次元モデル適用の微調整を行うことで、より実体に近い三次元モデルとして三次元シーンを復元するためである。
【００１５】
また、本発明にかかる三次元シーンにおける形状及び模様の復元方法は、三次元モデルの形状変形を行う工程と三次元モデルの表面に模様画像を生成する工程において、三次元モデルを差し替えることができることが好ましい。より適当な三次元モデルを用いる機会を設けることで復元精度を高めることができるからである。
【００１６】
次に、上記課題を解決するために本発明にかかる三次元シーンにおける形状及び模様の復元装置は、複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する三次元シーンにおける形状及び模様の復元装置であって、複数の画像を取り込む画像入力部と、前記画像入力部から取り込んだ画像を格納する画像記憶部と、画像記憶部に格納した画像から処理を適用する複数のフレームを選択する画像選択部と、複数の画像間の対応関係を抽出する画像間対応関係獲得部と、基礎となる三次元モデルを入力する三次元モデル入力部と、三次元モデル入力部から入力された三次元モデルを格納する三次元モデル記憶部と、画像中の対象物体における幾何学的性質を規定する三次元モデルを選択する三次元モデル選択部と、画像と三次元モデルとの対応関係を指定する画像・三次元モデル間対応関係獲得部と、画像間対応関係獲得部において獲得した画像間の対応関係及び画像・三次元モデル間対応関係獲得部において獲得した画像と三次元モデルとの対応関係の双方を満たしながら三次元モデルの形状変形を行う三次元情報復元部と、三次元情報復元部において得られた最後の三次元モデルの形状と、最後の三次元モデルと獲得した画像間の対応関係に基づいて表面に貼り付ける模様画像を生成する模様画像生成部と、完成した最後の三次元モデルを出力する生成モデル出力部を有することを特徴とする。
【００１７】
かかる構成により、三次元モデルの形状を定める場合に模様の関係を考慮しつつ定めることができ、完成した三次元モデルにおいて模様のズレ等の発生しない自然な三次元モデルとして三次元シーンにおける形状等を復元することが可能となる。
【００１８】
また、本発明にかかる三次元シーンにおける形状及び模様の復元装置は、画像間対応関係獲得部において、対応関係をユーザが指定できることが望ましい。システム的には検出できない、又は検出しにくい対応関係についても、ユーザが自由に追加できることで、より実際に近い三次元モデルとして復元することが可能だからである。
【００１９】
また、本発明にかかる三次元シーンにおける形状及び模様の復元装置は、画像間対応関係獲得部において、複数の画像間の対応関係を画像の輝度及び輝度を加工した情報に基づいて決定することが好ましい。模様として対応関係を抽出するだけでは、写真等の露出の違いや光源の強弱による画像の変化に対応できないからである。
【００２０】
次に、上記課題を解決するために本発明にかかる三次元シーンにおける形状及び模様の復元装置は、複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成する三次元シーンにおける形状及び模様の復元装置であって、複数の画像を取り込む画像入力部と、画像入力部から取り込んだ画像を格納する画像記憶部と、画像記憶部に格納した画像から処理を適用する複数のフレームを選択する画像選択部と、基礎となる三次元モデルを入力する三次元モデル入力部と、三次元モデル入力部から入力された三次元モデルを格納する三次元モデル記憶部と、画像中の対象物体における幾何学的性質を規定する三次元モデルを選択する三次元モデル選択部と、画像と三次元モデルとの対応関係を指定する画像・三次元モデル間対応関係獲得部と、画像間において、画像・三次元モデル間対応関係獲得部において獲得した画像と三次元モデルとの対応関係を満たす箇所を探索しながら三次元モデルの形状変形を行う画像間対応探索及び三次元情報復元同時実行部と、画像間対応探索及び三次元情報復元同時実行部において得られた最後の三次元モデルの形状と、最後の三次元モデルと獲得した画像間の対応関係に基づいて表面に貼り付ける模様画像を生成する模様画像生成部と、完成した最後の三次元モデルを出力する生成モデル出力部を有することを特徴とする。
【００２１】
かかる構成により、三次元モデルの形状を定める場合に模様の関係を考慮しつつ定めることができ、完成した三次元モデルにおいて模様のズレ等の発生しない自然な三次元モデルとして三次元シーンにおける形状等を復元することが可能となる。
【００２２】
また、本発明にかかる三次元シーンにおける形状及び模様の復元装置は、画像間対応探索及び三次元情報復元同時実行部及び模様画像生成部において、三次元モデルの幾何学的性質の部分的な変更をユーザが指定できることが望ましい。三次元モデル適用の微調整を行うことで、より実体に近い三次元モデルとして三次元シーンを復元するためである。
【００２３】
また、本発明にかかる三次元シーンにおける形状及び模様の復元装置は、画像間対応探索及び三次元情報復元同時実行部及び模様画像生成部において、三次元モデルを差し替えることができることが好ましい。より適当な三次元モデルを用いる機会を設けることで復元精度を高めることができるからである。
【００２４】
次に、上記課題を解決するために本発明にかかるコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体は、複数の画像に基づいてコンピュータグラフィックスに用いる三次元モデルを作成するコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、複数の画像を取り込むステップと、取り込んだ画像を格納するステップと、格納した画像から処理を適用する複数のフレームを選択するステップと、複数の画像間の対応関係を抽出するステップと、基礎となる三次元モデルを入力するステップと、入力された三次元モデルを格納するステップと、画像中の対象物体における幾何学的性質を規定する三次元モデルを選択するステップと、画像と三次元モデルとの対応関係を指定するステップと、獲得した画像間の対応関係及び獲得した画像と三次元モデルとの対応関係の双方を満たしながら三次元モデルの形状変形を行うステップと、形状変形により得られた最後の三次元モデルの形状と、最後の三次元モデルと獲得した画像間の対応関係に基づいて表面に貼り付ける模様画像を生成するステップと、完成した最後の三次元モデルを出力するステップを有することを特徴とする。
【００２５】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、三次元モデルの形状を定める場合に模様の関係を考慮しつつ定めることができ、完成した三次元モデルにおいて模様のズレ等の発生しない自然な三次元モデルとして三次元シーンを復元することが可能な三次元シーンにおける形状及び模様の復元装置が実現できる。
【００２６】
【発明の実施の形態】
（実施の形態１）
以下、本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置について、図面を参照しながら説明する。図２は本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置の構成図である。
【００２７】
図２において、２０１は画像入力部を、２０２は画像記憶部を、２０３は画像選択部を、２０４は三次元モデル入力部を、２０５は三次元モデル記憶部を、２０６は三次元モデル選択部を、２０７は画像間対応関係獲得部を、２０８は画像・三次元モデル間対応関係獲得部を、２０９は三次元情報復元部を、２１０は模様画像作成部を、２１１は生成モデル出力部をそれぞれ示す。
【００２８】
まず、画像入力部２０１において、使用する複数の画像をビデオ画像または複数の静止画像として、画像入力装置等を用いて画像記憶部２０２へ取り込む。次に、画像選択部２０３において、処理を適用する複数のフレームをユーザが選択する。
【００２９】
一方、三次元モデル入力部２０４において、対象として想定される物体の三次元モデルを入力して、三次元モデル記憶部２０５に格納する。次に、三次元モデル選択部２０６において、三次元モデル記憶部２０５に格納されているモデル群から、対象画像中の物体に最も適合する三次元モデルをユーザが選択する。
【００３０】
そして、画像間対応関係獲得部２０７において、複数画像間で相互に対応する部分をユーザが指定するとともに、画像・三次元モデル間対応関係獲得部２０８において、各画像と三次元モデルとの間の相互に対応する部分についてもユーザが指定する。例えば、模様から判断できる同一位置を指定したり、三次元モデルに合わせて頂点の位置を微調整する作業等がこれに該当する。
【００３１】
各対応関係が定まったら、三次元情報復元部２０９において、双方の対応関係を満足するように三次元モデルの形状変形を行う。そして、最終的な三次元モデルの形状を確定すると共に、最終的な三次元モデルと画像との対応関係についても確定する。
【００３２】
最後に、模様画像生成部２１０において、最終的な三次元モデルと画像との対応関係に基づいて三次元モデルの表面に貼り付ける模様画像を生成し、生成モデル出力部２１１において三次元モデル表示システムのデータ形式に変換後出力する。
【００３３】
次に、本実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置の実施例について図面を参照しながら説明する。
図２において、画像入力部２０１には、ビデオやＣＣＤカメラ等を用いて画像を入力する。この場合、ビデオ画像については、フレームに分解しようとしまいとどちらでも構わない。しかし、画像選択部２０３において画像を選択する場合には、対象フレームを指定することが必要となるので、ユーザの指示に従って、フレームを特定できる機能を有することが必要である。市販のビデオデッキが有するようなコマ送り表示機能と同等であれば良い。
【００３４】
図３には画像選択指示ウインドウを例示した。複数のビデオ画像等がある場合には、かかるインタフェースを用いることにより、ユーザが閲覧しながら選択できることが有用である。
【００３５】
また、対象物体を表現する三次元モデルとしては、直方体、錐体、柱体、球等を用意する。三次元モデルとしてこれに限定されるものではなく、これら形状の複合体であっても構わない。
【００３６】
さらに、三次元モデルはすべてポリゴン形式にて表現する。したがって、従来からのコンピュータグラフィックスにおけるデータ形式と同様に、三次元のモデル座標系における三次元座標によってモデルを表現する。
【００３７】
三次元モデルの選択には、図４に示すようなモデル選択指示ウインドウを用意する方が良い。三次元モデルを閲覧しつつ、最も適当なモデルをユーザが選択できるようにするためである。
【００３８】
また、三次元モデルの幾何学的性質の表現は、モデルの変形規則を用意することで表現する。例えば、直方体に対しては各面が対面に対して垂直方向にのみ移動可能であるとか、柱体に対しては二つの各底面が他の底面に対して垂直方向にのみ移動可能であるとか、錐体に対しては底面に属さない唯一の頂点が底面に対して垂直方向にのみ移動可能であるといった変形規則によって、三次元モデルの幾何学的性質を維持した形状変形を表現することが可能となる。
【００３９】
次に、画像間の対応関係について、図５を用いて説明する。図５に示すように一つの建物を別の角度から見た画像二枚を処理対象フレームとして選択した場合、対応関係は二枚の画像中の同一部分をユーザがマウス等により指定することにより決定される。例えば、図５では、二枚の画像の中央付近に白い×印が明記されているが、この×印によって二枚の画像間の対応関係が確定される。対応関係の指示は、マウス等のインタフェースによって、容易に指定することができる。すなわち、対応関係は一方の画像の識別子、対応箇所の画像座標、もう一方の画像の識別子、もう一方の画像上での画像座標により構成される。なお、対応関係は、一つの物体の復元に対して少なくとも一つ指定すれば良く、複数個指定しても構わない。
【００４０】
また、画像と三次元モデルとの対応関係によって、三次元モデルが各フレーム上のどこに位置するのかを明確にする。図６のように単純な直方体を示す画像に対して三次元モデルを適用する場合を考えると、三次元モデルをワイヤーフレームで表現し、マウス等のドラッギングによって、頂点が対象画像中の物体の輪郭に一致するように変形させる。最終的には、図６に示すように画像中の対象物体の輪郭とワイヤーフレームとが一致すれば良い。
【００４１】
次に、画像間の対応関係及び画像と三次元モデルとの対応関係のすべてを満足させる三次元モデルの決定手段の詳細について説明する。例示三次元モデルとして、図６と同様の直方体の場合を考える。
【００４２】
この場合、８つの頂点は、三次元座標において、それぞれ（０，０，０）、（１，０，０）、（０，ｈ，０）、（１，ｈ，０）、（０，０，ｄ）、（１，０，ｄ）、（０，ｈ，ｄ）、（１，ｈ，ｄ）で表わすことができる。ここで、ｈ、ｄは変数であり、ｈは高さを表わし、ｄは奥行きを表わす。かかるｈとｄを決定することで、直方体モデルの実体として、対象となる物体の形状を決定することになる。
【００４３】
また、正ｎ角柱体の場合も同様に、（cos（2πi/n），sin（2πi/n），０）、（cos（2πi/n），sin（2πi/n），ｄ）（iは整数、i=０，…，n-1）とし、正ｎ角錐体の場合も（cos（2πi/n），sin（2πi/n），０）（iは整数、i=０，…，n-1）、（０，０，ｄ）とし、いずれも変数ｄを決定すれば、三次元モデルの実体として、対象となる物体の形状を決定することができる。他の三次元モデルについても、ｄ、ｈと同様の媒介変数を用意することにより、三次元モデルに対して実体としての形状を決定することができる。
【００４４】
かかる頂点は、各頂点を識別するための頂点番号を有する。そして、モデルの各面については、頂点番号のグラフによって表示することができる。直方体のモデルにおいては、各頂点に０：（０，０，０）、１：（１，０，０）、２：（０，ｈ，０）、３：（１，ｈ，０）、４：（０，０，ｄ）、５：（１，０，ｄ）、６：（０，ｈ，ｄ）、７：（１，ｈ，ｄ）と頂点番号を付すると、各面は４つの頂点により構成されるので、各面に面番号を与えて、０：０−１−３−２、１：４−５−７−６、２：０−１−５−４、３：２−３−７−６、４：０−２−６−４、５：１−３−７−５と表わすことが可能となる。
【００４５】
そこで、各画像と三次元モデルとの対応関係を指定するには、三次元モデルを透視射影にて画像上へ投影させることが必要となる。基本となる画像は複数あるので、各画像にフレーム番号を付し、先述した変数ｈ、ｄを調整しながら透視投影過程を表わす変数を決定することで、各画像と三次元モデルとの対応関係を満足させる解を求めることになる。
【００４６】
透視投影過程を数式を用いて表わすと、三次元モデルの頂点を（ｘ，ｙ，ｚ）として、画像上の点（ｒ，ｃ）に（数１）と射影されるとして表わされる。
【００４７】
【数１】
0003954211.tif 000002
【００４８】
ここで、ｒ、ｃはそれぞれ画像の行番号、列番号に当たり、Ａは３×３の回転行列、Ｏは画面上の移動を表わす原点ベクトルである。したがって、回転行列は三つの回転角によって表わされること、原点ベクトルの次数は３であることから、それぞれ三つの変数で構成されることは明らかである。また、ｆは焦点距離を示す。
【００４９】
また、各画像間の対応関係を表現するには、該当する対応点の三次元モデル上の座標を（ｘ，ｙ，ｚ）として、（数１）に示す射影式に基づく射影位置が指定座標になるものと考えれば良い。
【００５０】
すなわち、対応関係がｐ個あった場合、第ｑ（ｑ＝０ ,…，ｐ−１）番目の対応関係は、以下の要素により構成される。すなわち、任意の点の三次元モデル座標系における座標（ｘq，ｙq，ｚq ）、及びその点が存在する面の面番号Ｓq 、その点が観察される一方のフレーム番号ｉq,1 、及びその画像での射影位置である（ｒq,1，ｃq,1）, その点が観察されるもう一方のフレーム番号ｉq,2 、及びその画像での射影位置である（ｒq,2，ｃq,2）により構成される。このうち、（ｘq，ｙq，ｚq ）は未知数であるので、対応関係一組に対して３個の未知数を持つことになる。
【００５１】
以上の考察から、結局未知数は以下の通りとなる。すなわち、モデルの形状パラメータｈとｄ、もしくはｄのみ、フレームの枚数ｎ分の焦点距離ｆi（ｉ＝０,…，ｎ―１）、回転行列Ａi（ｉ＝０, …，ｎ―１）、そして原点ベクトルＯi（ｉ＝０, …，ｎ―１）、対応関係ｐ個分の対応座標（ｘq，ｙq，ｚq ）（ｑ＝０,…,ｐ−１）である。したがって、未知数の個数は、２＋７ｎ＋３ｐもしくは１＋７ｎ＋３ｐとなる。
【００５２】
反対に与えられる条件としては以下の通りである。すなわち、モデルがｍ個の頂点からなる場合、モデルの各頂点Ｐj ＝（ｘj，ｙj，ｚj ）（ｊ＝０,…,ｍ−１）が第ｉフレーム上で見えている画像の座標（ｒij,ｃij）（ｉ＝０, …,ｎ−１，ｊ＝０,…,ｍ−１）、第ｑ（ｑ＝０,…,ｐ−１）番目の対応関係に対して対応関係が与えられている点（ｘq，ｙq，ｚq ）を有する面番号Ｓq 、一方のフレーム番号ｉq,1 、及びそのフレーム上での射影位置である（ｒq,1，ｃq,1）、もう一方のフレーム番号ｉq,2、及びそのフレーム上での射影位置である（ｒq,2，ｃq,2）である。
【００５３】
したがって、三次元モデル座標系の点（ｘ，ｙ，ｚ）が第ｉフレームに射影される変換式を焦点距離ｆi、回転行列Ａi、及び原点ベクトルＯi を用いて、Ｆ（ｘ，ｙ，ｚ；ｆi，Ａi，Ｏi ）とすると、（数２）に示す連立方程式が成立する。
【００５４】
【数２】
0003954211.tif 000003
【００５５】
さらに、拘束条件として、第Ｓ番目の面の方程式をＳ（ｘ，ｙ，ｚ；ｓ）と記述すると、（数３）が成立する。
【００５６】
【数３】
0003954211.tif 000004
【００５７】
そして、これらを解くことによって三次元モデルの形状パラメータを決定することができ、副次的に三次元モデルの画フレームへの射影式、対応点の座標を求めることが可能となる。
【００５８】
かかる連立方程式は、これらの式の数が変数の個数と等しいか、あるいは変数の個数よりも多い場合に解くことができる。解法としては、特に限定するものではなく、一般的な最小二乗法でも良いし、最尤度推定法やマーカート法、ロバスト推定法等各種方法でも構わない。
【００５９】
上記手順にて、三次元モデルが決定したら、最終的な三次元モデルと画像との対応関係に基づいて模様画像を求める。最終的な三次元モデルが、図７及び図８の白線のように求まった場合の生成例を図９に示す。
【００６０】
三次元モデルの模様は、その三次元モデルの各面に対して、その面を正面から観察した場合の画像として、与えられた画像情報を変換する。図７、図８のように複数のフレームで部分的に見えていた場合には、それらを正面にして、重ねあわせた画像として図９のように模様画像を生成すれば良い。かかる画像情報の変換式は、射影過程を表わすパラメータ及び射影幾何学から導き出すことができる。
【００６１】
こうして得られた三次元モデルに関する情報は、三次元モデルの各頂点の座標、辺、面をなす頂点のグラフ、各面に貼り付ける模様画像で構成される。かかる情報は、VRML（Virtual Reality Modeling Language ）等の既存の書式にしたがって出力すれば良い。
【００６２】
以上のように本実施の形態１によれば、三次元モデルの形状を定める場合に模様の関係も同時に考慮しつつ定めることができ、完成した三次元モデルにおいて模様のズレ等の発生しない自然な三次元モデルとして三次元シーンにおける形状等を復元することが可能となる。
【００６３】
（実施の形態２）
次に本発明の実施の形態２について、図面を参照しながら説明する。
図１０は本発明の実施の形態２にかかる三次元シーンにおける形状及び模様の復元装置の構成図である。図１０において、３０１は画像入力部を、３０２は画像記憶部を、３０３は画像選択部を、３０４は三次元モデル入力部を、３０５は三次元モデル記憶部を、３０６は三次元モデル選択部を、３０７は画像・三次元モデル間対応関係獲得部を、３０８は画像間対応検索及び三次元情報復元同時実行部を、３０９は模様画像作成部を、３１０は生成モデル出力部をそれぞれ示す。
【００６４】
図１０が本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置の構成図である図２と顕著に相違するのは、画像間及び画像・三次元モデル間の対応関係の獲得方法についてである。
【００６５】
図１０においては、まず図２と同様に画像入力部３０１において、使用する複数の画像をビデオ画像または複数の静止画像として、画像入力装置等を用いて画像記憶部３０２へ取り込む。次に、画像選択部３０３において、処理を適用する複数のフレームをユーザが選択する。
【００６６】
一方、三次元モデル入力部３０４において、対象として想定される物体の三次元モデルを入力して、三次元モデル記憶部３０５に格納する。次に、三次元モデル選択部３０６において、三次元モデル記憶部３０５に格納されているモデル群から、対象画像中の物体に最も適合する三次元モデルをユーザが選択する。
【００６７】
そして、画像・三次元モデル間対応関係獲得部３０７において、選択された各画像と三次元モデルとの間の相互に対応する部分についてはユーザが指定する。例えば、模様から判断できる同一位置を指定したり、三次元モデルに合わせて頂点の位置を微調整する作業等がこれに該当する。
【００６８】
各画像と三次元モデルとの間の対応関係が定まったら、画像間対応検索及び三次元情報復元同時実行部３０８において、各画像と三次元モデルとの間の対応関係に合致するように、各画像間で相互に対応する箇所を探索しながら三次元モデルの形状変形を行う。そして、最終的な三次元モデルの形状を確定すると共に、最終的な三次元モデルと画像との対応関係についても確定する。
【００６９】
最後に、模様画像生成部３０９において、最終的な三次元モデルと画像との対応関係に基づいて三次元モデルの表面に貼り付ける模様画像を生成し、生成モデル出力部３１０において三次元モデル表示システムのデータ形式に変換後出力する。
【００７０】
このように、画像間の対応関係の探索と、三次元情報の復元を同時に実行する場合の三次元モデルの決定手段については、実施の形態１で示した対応関係を用いるのではなく、三次元モデルの同一部分に対する模様情報がフレーム間で等しい、という条件を数式化して実施の形態１で示した連立方程式に追加すれば良い。
【００７１】
例えば、三次元モデル上の任意の点（ｘ，ｙ，ｚ）の色が第ｉフレーム上で三次元ベクトル関数Ｃ（ｘ，ｙ，ｚ；ａi）で表現できるものとする。ここで、ａiは三次元モデルの色を第ｉフレームで見た場合の色に変化するパラメータベクトルであり、各フレームを撮影したときのカメラの絞りの調整等によって明るさが変わった場合等の調整等を意味する。
【００７２】
第ｉ（０≦ｉ≦ｎ−１）フレーム上の点（ｒi, ｃi）が面ｓの上に存在する場合、（数４）に示す連立方程式を解くことにより、三次元モデル上の座標（ｘ，ｙ，ｚ）を求めることができる。
【００７３】
【数４】
0003954211.tif 000005
【００７４】
さらに、第ｊ（ｊ≠ｉ，０≦ｊ≦ｎ−１）フレーム上で、（数５）を満たす点（ｒj,ｃj）に射影されるものとする。
【００７５】
【数５】
0003954211.tif 000006
【００７６】
ここで、第ｉフレーム（ｒ，ｃ）における色がベクトル Ｉi（ｒ，ｃ）で表わされるものとすると、先の模様の一致条件は、Ｉi（ｒi，ｃi）＝ Ｃ（ｘ，ｙ，ｚ；ａi）、Ｉj（ｒj，ｃj）＝ Ｃ（ｘ，ｙ，ｚ；ａj）と表わすことができる。画面上で三次元モデルに含まれる範囲のすべての点に対してこの方程式を設定することで連立方程式を立てることができ、（数２）の方程式群と連立させることにより、各画像間で対応関係を定めることなく、三次元モデル及び射影の未知数である以下の未知数を求めることができる。
【００７７】
すなわち、三次元モデルの形状パラメータｈとｄ、もしくはｄのみ、フレームの枚数ｎ分の焦点距離ｆi（ｉ＝０,…，ｎ―１）、回転行列Ａi（ｉ＝０,…，ｎ―１）、そして原点ベクトルＯi（ｉ＝０,…，ｎ―１）である。
【００７８】
これらの連立方程式を解くためには、方程式のうち、模様の一致条件に関する式がａiの次数のｎ倍よりも多いことが必要である。解法としては、特に限定するものではなく、一般的な最小二乗法でも良いし、最尤度推定法やマーカート法、ロバスト推定法等各種方法でも構わない。
【００７９】
以上のように本実施の形態２によれば、三次元モデルの形状を定める場合に事前に模様の関係を定めておくことなく、三次元モデルの復元時に同時に考慮しつつ三次元モデルを定めることで、完成した三次元モデルにおいて模様のズレ等の発生しない自然な三次元モデルとして三次元シーンにおける形状等を復元することが可能となる。
【００８０】
次に、本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置を実現するプログラムの処理の流れについて説明する。図１１に本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置を実現するプログラムの処理の流れ図を示す。
【００８１】
図１１において、対象となる複数の画像を入力（ステップ４０１）した後に、一方では複数の画像間の対応関係を探索し（ステップ４０２）、他方では各画像と三次元モデルとの対応関係を定めるべく適当な三次元モデルの当てはめを行う（ステップ４０３）。それぞれの対応関係が定まったら、その対応関係を満足させながら三次元モデルの形状を変形させることで三次元情報を復元する（ステップ４０４）。最後に、それぞれの対応関係に基づいて模様画像を三次元モデルの各面に貼り付け（ステップ４０５）、三次元モデルを出力する（ステップ４０６）。
【００８２】
なお、本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置を実現するプログラムを記憶した記録媒体は、図１２に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置や、コンピュータのハードディスクやＲＡＭ等の記録媒体のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００８３】
また、本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置により生成された三次元モデルデータ等を記録した記録媒体も、図１２に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置や、コンピュータのハードディスクやＲＡＭ等の記録媒体のいずれでも良く、例えば本発明にかかる三次元シーンにおける形状及び模様の復元装置を利用する際にコンピュータにより読み取られる。
【００８４】
【発明の効果】
以上のように本発明にかかる三次元シーンにおける形状及び模様の復元方法及び装置によれば、三次元モデル表面の模様の整合性を考慮しながら三次元モデルの形状を変形できるので、三次元シーンの実体に近い三次元モデルを復元することが可能となる。
【図面の簡単な説明】
【図１】  従来の三次元シーンにおける形状及び模様の復元方法の処理流れ図
【図２】  本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置の構成図
【図３】  本発明の一実施例にかかる画像選択指示ウィンドウの例示図
【図４】  本発明の一実施例にかかる三次元モデル選択指示ウインドウの例示図
【図５】  本発明の一実施例にかかる画像間対応関係の説明図
【図６】  本発明の一実施例にかかる三次元モデルと画像の対応関係の説明図
【図７】  本発明の一実施例にかかる復元した三次元モデルと画像の対応説明図
【図８】  本発明の一実施例にかかる復元した三次元モデルと画像の対応説明図
【図９】  本発明の一実施例にかかる復元した三次元モデルの説明図
【図１０】  本発明の実施の形態２にかかる三次元シーンにおける形状及び模様の復元装置の構成図
【図１１】  本発明の実施の形態１にかかる三次元シーンにおける形状及び模様の復元装置の処理流れ図
【図１２】  記録媒体の例示図
【符号の説明】
２０１，３０１  画像入力部
２０２，３０２  画像記憶部
２０３，３０３  画像選択部
２０４，３０４  三次元モデル入力部
２０５，３０５  三次元モデル記憶部
２０６，３０６  三次元モデル選択部
２０７  画像間対応関係獲得部
２０８，３０７  画像・三次元モデル間対応関係獲得部
２０９  三次元情報復元部
２１０，３０９  模様画像生成部
２１１，３１０  生成モデル出力部
１２０１  回線先の記憶装置
１２０２  ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
１２０２−１  ＣＤ−ＲＯＭ
１２０２−２  フロッピーディスク
１２０３  コンピュータ
１２０４  コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【図１】
0003954211.tif 000007
【図２】
0003954211.tif 000008
【図３】
0003954211.tif 000009
【図４】
0003954211.tif 000010
【図５】
0003954211.tif 000011
【図６】
0003954211.tif 000012
【図７】
0003954211.tif 000013
【図８】
0003954211.tif 000014
【図９】
0003954211.tif 000015
【図１０】
0003954211.tif 000016
【図１１】
0003954211.tif 000017
【図１２】
0003954211.tif 000018