(57)【要約】【課題】部屋などを撮影した１枚のデジタル写真からその部屋、家具などの物体の３次元コンピュータグラフィックスモデルを対話的に作成する方法を提供する。【解決手段】コンピュータグラフィックスモデルの作成方法は、視体積拘束に基づくモデル形状変更手段により、コンピュータグラフィックスモデルをデジタル写真に逆投影して得られる輪郭を変化させることなく、モデルの表面の法線方向を変更する。これにより、モデル形状変更操作の負荷を軽減する。また、欠落テクスチャ生成手段により、射影テクスチャマッピング手段によっては正しいテクスチャが描画されないモデル表面上の領域である隠ぺい領域の３次元中の位置、３次元中の法線方向、もしくはその両方を隠ぺい領域の属性とし、その属性と類似した属性を持つモデルの表面のテクスチャから隠ぺい領域のテクスチャを生成する。【選択図】図１５
2010165124.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータによりコンピュータグラフィックス作成処理を実行するモデラーにより、１枚のデジタル写真から物体の３次元コンピュータグラフィックスモデルを作成する操作を対話的に行い、グラフィックスモデルを作成するコンピュータグラフィックス作成方法であって、
モデラーのモデル編集手段に視体積拘束に基づくモデル形状変更手段を備え、
モデル編集手段を用いて、２次元データから２次元・３次元座標変換を行い、コンピュータグラフィックスモデルのモデル形状を生成し、利用者の操作情報の入力を受けて前記モデル形状を変形し、モデルの編集を行う場合に、
前記視体積拘束に基づくモデル形状変更手段により、前記モデルを前記デジタル写真に逆投影して得られる輪郭を変化させることなく、前記モデルの３次元形状を変更する
ことを特徴とするコンピュータグラフィックス作成方法。
【請求項２】
請求項１に記載のコンピュータグラフィックス作成方法において、
前記視体積拘束に基づくモデル形状変更手段により、
前記モデルを前記デジタル写真に逆投影して得られる輪郭を変化させることなく、前記モデルの表面の法線方向を変更する
ことを特徴とするコンピュータグラフィックス作成方法。
【請求項３】
請求項１または２に記載のコンピュータグラフィックス作成方法において、
前記コンピュータグラフィックス作成処理を実行するモデラーが、射影テクスチャマッピング手段と、隠ぺい領域検出手段と、欠落テクスチャ生成手段と、欠落テクスチャマッピング手段を備え、
前記射影テクスチャマッピング手段により、前記デジタル写真を撮影した視点と前記デジタル写真中の各画素とを結ぶ視線と前記モデルの表面との交点に前記各画素の色情報を射影することにより前記モデルの表面のテクスチャを生成し描画し、
前記隠ぺい領域検出手段により、前記射影テクスチャマッピング手段では正しいテクスチャが描画されない前記モデル表面上の領域である隠ぺい領域を検出し、
前記欠落テクスチャ生成手段により、前記デジタル写真から前記隠ぺい領域のテクスチャを生成し、
前記欠落テクスチャマッピング手段により、前記隠ぺい領域に前記欠落テクスチャ生成手段で得られる欠落テクスチャを描画する、
ことを特徴とするコンピュータグラフィックス作成方法。
【請求項４】
請求項３に記載のコンピュータグラフィックス作成方法において、
前記欠落テクスチャ生成手段により、前記隠ぺい領域の３次元中の位置、３次元中の法線方向、もしくはその両方を前記隠ぺい領域の属性とし、その前記属性と類似した属性を持つ前記モデルの表面のテクスチャから前記隠ぺい領域のテクスチャを生成する、
ことを特徴とするコンピュータグラフィックス作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、部屋などを撮影した１枚のデジタル写真からその部屋や部屋に置いてある家具などの物体の３次元コンピュータグラフィックスモデルを対話的に効率よく作成することができるコンピュータグラフィックス作成方法に関するものである。
【背景技術】
【０００２】
実世界中の物体の３次元コンピュータグラフィックスモデルをデジタル写真から作成し、仮想化することは、Ｇｏｏｇｌｅ社の「Ｇｏｏｇｌｅ  Ｅａｒｔｈ」またはリンデンラボ社の「Ｓｅｃｏｎｄ  Ｌｉｆｅ」に代表されるような仮想現実環境の視覚的なリアリティを増強したり、または仮想世界と現実世界を視覚的につないだりするために非常に有効である。
【０００３】
デジタル写真から物体のモデルを作成する典型的な方法としては、ステレオ法があげられる（特許文献１，非特許文献１）。ステレオ法の研究開発には長い歴史があるが、仮想現実環境での利用に適した品質のモデルを自動的に作成するのはいまだ困難である。さらに、仮想現実環境の利用者すべてにステレオ法に適した複数枚のデジタル写真を撮影することを要求するのは、適切ではない場合がある。
【０００４】
したがって、１枚のデジタル写真からコンピュータグラフィックスモデルを作成できる方法を提供することは、仮想現実環境の利用者層を広げ、仮想現実環境のＷｅｂ２．０化を推進するのに役立つと言える。
【０００５】
１枚のデジタル写真からのコンピュータグラフィックスモデル作成方法は、例えば、非特許文献２〜４、及び非特許文献５で研究や実用化がなされている。
【０００６】
非特許文献２では、たくさんのデジタル写真で地面や空、建物などの物体がデジタル写真の中のどの位置に写されることが多く、また、どのような画像特徴を持つかをあらかじめ機械学習し、その結果を保持しておく。モデル作成する際には、１枚のデジタル写真と機械学習した結果を用いて、デジタル写真に写っている地面や建物などの物体を自動的に３次元コンピュータグラフィックスモデルに変換する。
【０００７】
非特許文献２では全自動のコンピュータグラフィックスモデル作成方式が用いられており、作成時間もコンピュータの処理時間のみである。一方、機械学習に基づくのではなく、利用者の知識を用いることで多少時間がかかっても、より高品質のモデルを作成する対話的なコンピュータグラフィックスモデル作成方式を提案または採用している例もある。
【０００８】
非特許文献５のモデラー（コンピュータグラフィックスモデル作成ソフトウェア）で採用している方式では、３次元空間中における平行線の複数ペアや座標軸の原点のデジタル写真中での位置を利用者が手動で設定する。コンピュータは、その情報を用いてデジタル写真とその３次元空間との間の変換パラメータを推定する。この場合、その後のモデルの形状作成作業において、デジタル写真は利用者がモデル作成過程において参考とする程度であり、積極的な利用は行われない。
【０００９】
非特許文献３で提案されている方式では、デジタル写真中の消失点や３次元空間中の直方体の各辺上に存在する点のデジタル写真中での位置を、利用者が調整することにより、その直方体形状を設定する。コンピュータは、その情報を用いてデジタル写真とその３次元空間との間の変換パラメータを推定するとともに、その直方体に基づいてコンピュータグラフィックスモデルの形状を生成する。
【００１０】
非特許文献４で提案されている方式では、上記と同様に平行線や消失点の情報を利用してデジタル写真とその３次元空間との間の変換パラメータを推定する。さらに、モデルの３次元形状情報として、利用者が対話的にデジタル写真の各画素に奥行きと法線方向を与える。利用者がモデル内のある変更対象領域内の奥行きをまとめて変更する際に、デジタル写真を撮影した視点とその変更対象領域に対応するデジタル写真の各画素とを通る視線に沿って奥行きだけを変更し、法線方向は維持したままにするという拘束を用いたモデル形状変更手段を用いて変更する。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００３−９０７１４号公報
【非特許文献】
【００１２】
【非特許文献１】D. Scharsteinand R. Szeliski, “A taxonomy andevaluation of dense two-frame stereo correspondence algorithms”, Int. Journal of Computer Vision, vol. 47,pp. 7-42, 2002.
【非特許文献２】D. Hoiem, etal., “Automatic photo pop-up”, ACM Trans. on Graphics, vol. 24, no. 3, pp.577-584, 2005.
【非特許文献３】Y. Horry, etal., “Tour into the picture:using a spidery mesh interface to make animation from a single image”, In Proc. of SIGGRAPH, pp. 225-232, 1997.
【非特許文献４】B. M. Oh, etal., “Image-based modelingand photo editing”, In Proc. ofSIGGRAPH, pp. 433-442, 2001.
【非特許文献５】“GoogleSketchUp”, http://sketchup.google.com.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
非特許文献２において述べられているコンピュータグラフィックス作成方式の場合、機械学習の性能限界により、仮想現実環境の応用に適用可能な品質のモデルが得られない場合がある。そのため、最終的には対話的な指示を入力できるインタフェース手段を用意しておく必要がある。
【００１４】
その対話的手段を効率的にしているのが、非特許文献３、非特許文献４及び非特許文献５において紹介されているような技術であるが、非特許文献５で採用しているコンピュータグラフィックス作成方式では、デジタル写真は人間がモデルの形状作成過程において参考とする程度であり、積極的な利用は行われない。
【００１５】
また、非特許文献３で述べられているコンピュータグラフィックス作成方式では、コンピュータグラフィックスモデルの形状が実質的に直方体に近いものとなっており、形状の自由度が低い。
【００１６】
非特許文献４で述べられているコンピュータグラフィックス作成方式では、モデルの３次元形状情報として、利用者が対話的にデジタル写真の各画素に奥行きと法線方向の指示を与える必要があり、利用者に与える操作負荷が高くなってしまい、効率的な操作の作業が行えない。
【００１７】
それら３次元情報がモデルに与えられた後、非特許文献４で述べられているコンピュータグラフィックス作成方式においては、利用者がモデル内のある変更対象領域の奥行きをまとめて変更する際に、デジタル写真を撮影した視点と、その変更対象領域に対応するデジタル写真の各画素とを通る視線に沿って奥行きだけを変更し、法線方向は維持したままにするという拘束を用いたモデル形状変更手段を用いて変更する。これは、デジタル写真を撮影した視点と、その変更対象領域のデジタル写真中の輪郭とで定義される視体積を用いた拘束を用いていることと等価になる。
【００１８】
このような拘束を用いない場合は、例えば、その変更対象領域がそれに対応するデジタル写真の各画素に与えられた奥行きと法線方向で表現されている場合は、その各画像の奥行きの変更操作を手動で、また、もし、その変更対象領域がポリゴンで表現されている場合には、そのポリゴンの各頂点の３次元座標の変更操作を手動で繰り返さなければモデル形状変更ができないことになり、利用者に与える操作負荷が高くなってしまう。
【００１９】
非特許文献４で述べられているコンピュータグラフィックス作成方式では、このように変更対象領域の奥行きをまとめて変更することはできるが、法線方向を変更したい場合には、各画像の奥行きと法線方向の変更操作、もしくはポリゴンの各頂点の３次元座標の変更操作を手動で繰り返さなければ、モデル形状変更ができないことになり、利用者に与える操作負荷が高くなってしまう。
【００２０】
さらに、非特許文献２〜４、もしくは非特許文献５のどの場合においても、デジタル写真に写っていない物体表面の色や輝度は得られないため、コンピュータグラフィックスモデルのテクスチャを生成できない領域がモデル上に存在することになる。このため、デジタル写真を撮影した視点以外の視点から、その写真から作成したコンピュータグラフィックスモデルを描画した場合、テクスチャが存在しない領域や偽のテクスチャを用いて描画された領域が見えてしまう場合が出てきてしまう。
【００２１】
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、１枚のデジタル写真からコンピュータグラフィックスモデルを対話的に作成する際に、その作成効率を高めるようなコンピュータグラフィックス作成方法を提供することにある。
【課題を解決するための手段】
【００２２】
上記のような目的を達成するため、本発明のコンピュータグラフィックス作成方法は、コンピュータによりコンピュータグラフィックス作成処理を実行するモデラーにより、１枚のデジタル写真から物体の３次元コンピュータグラフィックスモデルを作成する操作を対話的に行い、グラフィックスモデルを作成するコンピュータグラフィックス作成方法であって、モデラーのモデル編集手段に視体積拘束に基づくモデル形状変更手段を備え、モデル編集手段を用いて、２次元データから２次元・３次元座標変換を行い、コンピュータグラフィックスモデルのモデル形状を生成し、利用者の操作情報の入力を受けて前記モデル形状を変形し、モデルの編集を行う場合に、前記視体積拘束に基づくモデル形状変更手段により、前記モデルを前記デジタル写真に逆投影して得られる輪郭を変化させることなく、前記モデルの３次元形状を変更することを特徴とするものである。
【００２３】
本発明の１つの態様として、本発明によるコンピュータグラフィックス作成方法においては、前記視体積拘束に基づくモデル形状変更手段により、前記モデルを前記デジタル写真に逆投影して得られる輪郭を変化させることなく、前記モデルの表面の法線方向を変更する。これにより、モデル形状変更操作の負荷を軽減する。
【００２４】
本発明によるコンピュータグラフィックス作成方法を適用したコンピュータグラフィックスモデルを作成するモデラーにおいては、部屋などを撮影した１枚のデジタル写真からその部屋や部屋に置いてある家具などの物体のコンピュータグラフィックスモデルを作成するモデラーの利用者が、コンピュータグラフィックスモデルのデジタル写真における輪郭をあらかじめ決めた後は、コンピュータグラフィックスモデルの表面の奥行き、法線方向、もしくはその両方を指定するだけでよい。ここでは、視体積拘束に基づくモデル形状変更手段により、変更後の形状が計算される。
【００２５】
別の態様として、本発明によるコンピュータグラフィックス作成方法においては、前記コンピュータグラフィックス作成処理を実行するモデラーが、射影テクスチャマッピング手段と、隠ぺい領域検出手段と、欠落テクスチャ生成手段と、欠落テクスチャマッピング手段を備え、前記射影テクスチャマッピング手段により、前記デジタル写真を撮影した視点と前記デジタル写真中の各画素とを結ぶ視線と前記モデルの表面との交点に前記各画素の色情報を射影することにより前記モデルの表面のテクスチャを生成し描画し、前記隠ぺい領域検出手段により、前記射影テクスチャマッピング手段では正しいテクスチャが描画されない前記モデル表面上の領域である隠ぺい領域を検出し、前記欠落テクスチャ生成手段により、前記デジタル写真から前記隠ぺい領域のテクスチャを生成し、前記欠落テクスチャマッピング手段により、前記隠ぺい領域に前記欠落テクスチャ生成手段で得られる欠落テクスチャを描画することを特徴とする。
【００２６】
更に別の態様として、本発明によるコンピュータグラフィックス作成方法においては、前記欠落テクスチャ生成手段により、前記隠ぺい領域の３次元中の位置、３次元中の法線方向、もしくはその両方を前記隠ぺい領域の属性とし、その前記属性と類似した属性を持つ前記モデルの表面のテクスチャから前記隠ぺい領域のテクスチャを生成することを特徴とする。
【００２７】
これにより、デジタル写真を撮影した視点以外の視点から、その写真から作成したコンピュータグラフィックスモデルを描画した場合、テクスチャが存在しない領域に本発明によって生成された欠落テクスチャを描画することで、偽ではあるがその領域の見た目を改善することができる。
【発明の効果】
【００２８】
上記のような構成による本発明のコンピュータグラフィックス作成方法によって、それを適用したモデラーにおいて部屋などを撮影した１枚のデジタル写真からその部屋や部屋に置いてある家具などの物体のコンピュータグラフィックスモデルを対話的に作成する際の操作の効率化が、視体積拘束のデータ処理や欠落テクスチャ生成のデータ処理などに基づくコンピュータの支援により実現される。
【図面の簡単な説明】
【００２９】
【図１】デジタル写真の撮像面と３次元空間の関係を２次元で示した図である。
【図２】図１における平面２０の法線方向を、視体積拘束に基づきモデル形状を変更した平面２５、２６を示した図である。
【図３】平面２枚で構成されるモデルまたはモデルの一部の形状を、視体積拘束に基づきモデル形状を変更する場合を説明する図である。
【図４】モデラーの利用者が画面に表示したデジタル写真５０１にモデルまたはモデルの一部の輪郭５０を描いた画面の例を示した図である。
【図５】視体積拘束に基づくモデル形状の変更を行い、平面２０の奥行きのみを変化させた画面の例を示した図である。
【図６】視体積拘束に基づくモデル形状の変更を行い、平面２０の法線方向を変化させた画面の例を示した図である。
【図７】デジタル写真の撮像面と３次元空間の関係を２次元で示した図であり、デジタル写真の撮像面１１上のデジタル写真の画素１００の色情報が、３次元空間中の平面３０上の射影される例を示した図である。
【図８】画面に表示されたデジタル写真の撮像面１１上のデジタル写真の画素１００の色情報が、３次元空間中の平面３０上の射影される例を説明する図である。
【図９】デジタル写真の撮像面と３次元空間の関係を２次元で示した図であり、画素１００の平面３０上の対応点１１０と平面３１上の偽対応点１１１を示した図である。
【図１０】画面に表示されたデジタル写真に対して撮影した視点以外の視点からコンピュータグラフィックスモデルを描画する際に隠ぺい領域のテクスチャを白一色にした画面の一例を示す図である。
【図１１】本発明によるコンピュータグラフィックス作成方法を実行するモデラーで作成したモデルをデプスマップとして表示した例を示す図である。
【図１２】デジタル写真を用いて作成した部屋や部屋の中の物体のコンピュータグラフィックスモデルの中に、購入を検討している家具のコンピュータグラフィックスモデルを仮想的に配置し、その見た目やサイズなどを検討している画面の一例を示す図である。
【図１３】１枚のデジタル写真に対して直線検出・選択の処理を実行中の画面の一例を示す図である。
【図１４】１枚のデジタル写真に対して座標変換行列・焦点距離計算の処理を実行中の画面の一例を示す図である。
【図１５】本発明によるコンピュータグラフィックス作成方法を実行するモデラーの典型的な構成を説明する図であり、データ処理のデータの流れを示している図である。
【発明を実施するための形態】
【００３０】
以下、本発明のコンピュータグラフィックス作成方法の実施例について、図面を参照して説明する。ここでは、カメラはピンホールカメラを仮定して説明する。また、デジタル写真の撮像面は本来視点よりも後方（カメラ内部）にあるが、説明を簡略化するため、デジタル写真の撮像面を視点より前方（撮影対象側）に図示している。
【００３１】
本発明によるコンピュータグラフィックス作成方法を実行するモデラーの典型的な構成を説明する図であり、データ処理のデータの流れを示している。図１５において、５００はコンピュータグラフィックスモデルを作成するための元データとなるデジタル写真である。デジタル写真５００の画像データは、カメラパラメータ推定手段３００およびコンピュータグラフィックス（ＣＧ）モデル描画手段３３０に入力される。
【００３２】
カメラパラメータ推定手段３００は、直線検出・選択手段３０１，消失点計算手段３０２，座標変換行列・焦点距離計算手段３０２の処理モジュールから構成されており、これらの処理モジュールの処理によって、利用者の操作情報が入力され、これらの操作情報の指示を参照してデジタル写真５００におけるカメラパラメータの情報を推定する。
【００３３】
コンピュータグラフィックス（ＣＧ）モデル描画手段３３０は、射影テクスチャマッピング手段３３１，欠落テクスチャマッピング手段３３２の処理モジュールから構成されており、コンピュータグラフィックス（ＣＧ）モデルを描画する処理を行う。描画されたＣＧモデルの画像は、画面８００に表示される。また、描画されたコンピュータグラフィックスモデルのデータは、欠落テクスチャ補完手段３２０に入力されると共に、生成されたコンピュータグラフィックスモデル７００のデータとして一時的に記憶されて、モデル編集手段３１０により、モデルデータの編集が行われる。
【００３４】
欠落テクスチャ補完手段３２０は、後述するように、隠ぺい領域検出手段３２１，欠落テクスチャ生成手段３２２の処理モジュールを備えており、欠落しているテクスチャを補完する処理を行う。モデル編集手段３１０は、２Ｄ−３Ｄ座標変換手段３１１、モデル形状生成・編集手段３１１、視体積拘束に基づくモデル形状変更手段３１３の処理モジュールを備えており、これらの処理モジュールの処理により、コンピュータグラフィックスモデルを作成すると共に編集する。その際に、作成するモデルの形状の変更は、視体積拘束に基づくモデル形状変更手段３１３により、モデルをデジタル写真に逆投影して得られる輪郭を変化させることなく、モデルの３次元形状を変更する。これにより、モデル形状変更操作の負荷を軽減する。
【００３５】
また、図１５において、画面８００はモデラーの利用者が見る画面であり、画面８００を見ながらモデラーの利用者は、コンピュータグラフィックスモデルを作成する操作を行う。６００は利用者から入力される操作情報である。データ処理における画面８００の例は、図４〜６、図８、図１０〜１４に示されている。また、それらの図では、デジタル写真５００の一例として、図４に示されているようなデジタル写真５０１を用いているが、もちろん、別のデジタル写真を用いてもよい。
【００３６】
モデラーの利用者は、まず、カメラパラメータ推定手段３００によって、３次元空間中における平行線のペア２組を、デジタル写真５００の中から選択する指示を行う。直線検出・選択手段３０１のデータ処理により直線が検出されるので、検出された直線の中から平行線のペア２組を選択する。
【００３７】
この選択の指示は、利用者の操作情報６００としてカメラパラメータ推定手段３００に与えられる。すなわち、直線検出・選択手段３０１は、デジタル写真５００を入力としてハフ変換に基づく平行線候補抽出を行い、画面８００にその平行線候補を表示する。利用者は表示された平行線候補のどれかをコンピュータのマウスでクリックするなどすることで平行線のペア２組を選ぶ。もちろん、手動で直線を画面上に描き、それも平行線候補として用いてもよい。
【００３８】
図１３は、直線検出・選択手段３０１を実行中の画面８００の例を示しており、２５０がハフ変換に基づいてコンピュータの抽出した平行線候補、２１０及び２１１は利用者が平行線候補２５０から選んだ平行線のペア２組を示している。
【００３９】
平行線のペア２組２０１、２０２を用いて、コンピュータが消失点計算手段３０２によりデジタル写真平面上の消失点を計算する。その消失点情報を用いることにより、座標変換行列・焦点距離計算手段３０３が、デジタル写真５００を撮影したカメラとこれからコンピュータグラフィックスモデルを構築する３次元空間との間の座標変換行列に含まれる回転成分と平行移動成分のうちの回転成分と、カメラの焦点距離をコンピュータが計算する。
【００４０】
座標変換行列・焦点距離計算手段３０３は、座標変換行列に含まれる平行移動成分については、自動的には求められないので、３次元空間の座標軸の原点のデジタル写真中の位置を利用者が手動（利用者の操作情報６００）で設定する。座標変換行列・焦点距離計算手段３０３では、このような自動と手動の処理により、デジタル写真５００を撮影したカメラのカメラパラメータとこれからコンピュータグラフィックスモデルを構築する３次元空間との間の座標変換行列と焦点距離を求める。
【００４１】
座標変換行列・焦点距離計算手段３０３により、１枚のデジタル写真に対して座標変換行列・焦点距離計算の処理の実行中の画面の一例が、図１４に示されている。図１４の左側の画面では、平行線のペア２組２１０、２１１を用いて、コンピュータが消失点計算手段３０２によりデジタル写真の平面上の消失点を計算し、さらに、座標変換行列に含まれる回転成分、カメラの焦点距離を計算し、座標変換行列に含まれる平行移動成分として適当な初期値を設定して、３次元空間の座標軸２２０と基準水平面２２１を表示した状態を示している。
【００４２】
座標変換行列に含まれる平行移動成分は３自由度あるが、その適当な初期値としては、例えば、デジタル写真５０１を撮影した時のカメラの床からの高さを、利用者の操作情報６００として利用者がカメラパラメータ推定手段３００に入力することで、１自由度分とスケールを決定し、残り２自由度分の平行移動成分は、デジタル写真５０１の中心が、３次元空間の座標軸の原点のデジタル写真中の位置と一致するようにする。
【００４３】
図１４の右側の画面は、座標軸２２０と基準水平面２２１のデジタル写真中の位置を、利用者が手動で設定した後の状態を示している。なお、上記とは異なり、非特許文献２〜４、及び非特許文献５と同様の方式を用いて、消失点や、座標変換行列、焦点距離を計算してもよい。
【００４４】
モデル編集手段３１０においては、モデル形状生成・編集手段３１２が、カメラパラメータ推定手段３００で得られた座標変換行列と焦点距離の各パラメータに基づいて、モデルの作成や編集をする。典型的なモデルの作成の仕方としては、図４に示すように、モデラーの利用者が、デジタル写真５０１に対して、最初に、モデルまたはモデルの一部の輪郭５０を描く。
【００４５】
モデル編集手段３１０の２Ｄ−３Ｄ座標変換手段３１１では、カメラパラメータ推定手段３００で得られた各パラメータを用いて、コンピュータがその輪郭を３次元空間中の平面に変換する。その際には、例えば、モデル形状生成・編集手段３１２において、利用者がその平面の法線方向を手動で設定することで、その法線方向を決定する。この場合、その平面の奥行きも手動で設定するが、例えば、描いた輪郭５０上の点とカメラの視点とを結ぶ視線が、他の３次元空間中の平面に交差していれば、その交差点の奥行きを用いて、自動的に現在作成中の平面の奥行きを設定するようにしてもよい。
【００４６】
一旦作成したモデルまたはモデルの一部の形状を変更する場合、ここでは、視体積拘束に基づくモデル形状変更手段３１３を用いることにより、利用者の操作負荷を軽減する。次に、視体積拘束に基づくモデル形状変更について説明する。
【００４７】
図１は、説明を簡略化するためにデジタル写真の撮像面と３次元空間の関係を２次元で示した図である。図１において、１０は視点、１１はデジタル写真の撮像面、１２は光軸を示している。また、１７は撮像面１１の各端点と視点１０を結ぶ直線、１８は直線１７で定義される撮像面１１全体の視体積、７０はデジタル写真の撮像面１１上のモデルまたはモデルの一部の輪郭５０の存在範囲、１４は輪郭の存在範囲７０の各端点と視点１０を結ぶ直線、１３は直線１４で定義されるモデルまたはモデルの一部の視体積、２０はモデル形状生成・編集手段３１２で作成した３次元空間中の平面をそれぞれ示している。
【００４８】
ここで、視体積１３を変化させなければ、輪郭５０（図４）も変化しないし、輪郭の存在範囲７０も変化しない。視体積拘束に基づくモデル形状変更手段３１３の処理モジュールは、このように視体積１３を変化させないという拘束に基づいて平面２０を変形させるようにデータ処理を行う。例えば、平面２０を視体積拘束に基づくモデル形状変更手段３１３のデータ処理によって変形させる場合、平面２１〜２４への変形となる。平面２１、平面２２は、平面２０の奥行きのみを、視体積拘束に基づくモデル形状変更手段３１３で変更した変形である。具体的には、利用者が奥行き情報をコンピュータに指定するための利用者の操作情報６００を入力すると、コンピュータがその奥行きに基づいて形状を再計算する。図５には、視体積拘束に基づくモデル形状変更手段３１３のデータ処理により、視体積拘束に基づくモデル形状変形により、平面２０の奥行きのみを変化させた際の画面８００の例を示している。
【００４９】
非特許文献４の手法がこれに相当するが、法線方向を変更する際にもこの視体積拘束を用いると、新しい法線方向に基づいて効率よく形状の変更ができる。平面２３、平面２４は、平面２０の法線方向を、視体積拘束に基づくモデル形状変更手段３１３のデータ処理により変更された変形である。図２は、図１と同様の図であるが、その変形の別の例を示している。平面２０の法線方向を、視体積拘束に基づくモデル形状変更手段３１３のデータ処理により平面２５、平面２６に変更した例である。なお、このように図１および図２に示された変形された平面２３〜２６から理解されるように、平面の法線方向を変更する場合、位置がまったく変更されない部分（回転軸８０）と、位置も法線方向も変更される部分が存在する。モデラーの利用者は、回転軸８０と新しい法線方向を設定するだけで、コンピュータが自動的にモデルもしくはモデルの一部の形状を変更する。図６に示す画面の例は、視体積拘束に基づくモデル形状変更手段３１３のデータ処理により、平面２０の法線方向を変化させた際の画面の例を示している。
【００５０】
なお、モデル編集手段３１０において、モデル形状生成・編集手段３１２で形状を変更する場合は、視体積拘束を用いないため、輪郭５０の再設定を含む操作を利用者に課すことになり、これは、例えば、非特許文献５などの従来の手法と同様である。
【００５１】
これまでは平面１枚のみを変形させる場合の説明であった。図３は、平面２枚で構成されるモデルまたはモデルの一部の形状を、視体積拘束に基づくモデル形状変更手段３１３のデータ処理により変更する場合の例を説明する図である。
【００５２】
図３において、２７はモデルまたはモデルの一部である３次元空間中の２平面から構成される形状を示している。また、６７は形状２７の端点を含む補助平面（図３では直線）を示している。なお、この補助平面６７は、形状２７の形状の分布を主成分分析して第２主成分までを用いて１平面で近似し、その近似平面を補助平面として用いてもよい。１５は、形状２７に含まれる２平面が接続している辺（図３では点）と視点１０を通る補助平面（図３では直線）を表しており、６２は補助平面６７と形状２７に含まれる２平面が接続している辺（図３では点）との平均距離を示している。
【００５３】
ここで、形状２７の法線方向を変更する場合、まず、補助平面６７の法線方向を、上述の１平面のみの変更の仕方と同様の方法で変更する。補助平面６８、補助平面６９は、補助平面６７が変更された変更後の例をそれぞれ示している。補助平面６８（形状２８）を例にとって、形状２７の変形を説明すると、平均距離６３は補助平面６８と形状２８に含まれる２平面が接続している辺（図３では点）との平均距離であり、形状２７と補助平面６７との接線（図３では接点）または交線を直線１４に沿って変更し、平均距離６２と平均距離６３が等しくなるように形状２７を形状２８に変形する。視体積拘束に基づくモデル形状変更手段３１３のデータ処理により、例えば、形状２７を補助平面６７で代表させて、１平面での視体積拘束に基づくモデル形状変更と同じ手法により、補助平面６７の法線を変更し、それに基づいて形状の詳細を変更する。
【００５４】
以上のようにして、モデル形状の生成・編集がなされると、それに基づいてモデル表面のテクスチャを生成することができる。図７は、デジタル写真の撮像面と３次元空間の関係を２次元で示した図であり、デジタル写真の撮像面１１上のデジタル写真の画素１００の色情報が、視点１０と画素１００を結ぶ直線（視線）１６に沿って３次元空間中の平面３０上の射影される例を示している。図８は、図７と同様の例を、データ処理中のデジタル写真が表示される画面の例を用いて示した図である。後述するように、射影テクスチャマッピング手段３３１は、このような画素の色情報の射影によって、モデルの表面のテクスチャを生成し描画する。
【００５５】
図９は、同様にデジタル写真の撮像面と３次元空間の関係を２次元で示した図であり、ここでは、画素１００の平面３０上の対応点１１０と平面３１上の偽対応点１１１を示している。射影テクスチャマッピング手段３３１により、図９に示すように、画素の色情報の射影によって、モデルの表面のテクスチャを生成し描画するが、射影テクスチャマッピング手段３３１によるデータ処理だけでは、例えば、視点１０から見た場合に平面３０に隠ぺいされている平面３１の表面上の隠ぺい領域４０には、平面３０のテクスチャが、偽のテクスチャとして射影されてしまう。
【００５６】
そのため、欠落テクスチャ補完手段３２０では、隠ぺい領域検出手段３２１によって、例えば、視点１０と画素１００を結ぶ直線１６に沿って、視点に近い方からモデル表面を検索していき、最も近い表面以外の表面には色情報ではなく、隠蔽されているという情報が与えられることで、射影テクスチャマッピング手段３３１では、正しいテクスチャが描画されないモデル表面上の領域である隠ぺい領域を検出する。図１０には、デジタル写真５０１を撮影した視点以外の視点からコンピュータグラフィックスモデルを描画する際に隠ぺい領域のテクスチャを白一色にした例を示した画面の一例を示している。
【００５７】
このような隠ぺい領域に起因する見た目を改善するため、欠落テクスチャ生成手段３２２では、隠ぺい領域のテクスチャ（欠落テクスチャと呼ぶ）を生成する。図９において、領域４１は、平面３０によって隠蔽されていない平面３１の表面上の領域を示しており、平面４２は、モデルの他の面で隠蔽されていない３次元空間中の平面を示している。ここでの領域７３、領域７１、領域７２は、それぞれデジタル写真の撮像面１１上に写る平面３０の写真領域（隠ぺい領域４０の偽の写真領域）、デジタル写真の撮像面１１上に写る領域４１の写真領域、デジタル写真の撮像面１１上に写る平面４２の写真領域を示している。
【００５８】
次に、視点１０から見た場合に、平面３０に隠ぺいされている平面３１の表面上の隠ぺい領域４０の欠落テクスチャを自動生成することについて説明する。隠ぺい領域４０は、撮像面１１上では写真領域７３に対応する。このため、例えば、隣接する領域７１および領域７２の色情報やテクスチャを複写したり、平均値や分散などの統計値の利用したりすることによって、簡易に欠落テクスチャを生成することができる。
【００５９】
このような簡単な手法でも、写真領域７３をそのままテクスチャとして使うよりはモデルの見た目の品質が改善される場合があり得るが、例えば、領域７１、領域７２に対応する３次元空間中の面がそれぞれ領域４１、平面４２であるので、隠ぺい領域４０の欠落テクスチャを生成するためには、隠ぺい領域４０と同じ平面に存在する領域４１に対応する写真領域７１の色情報やテクスチャのみを用いて、欠落テクスチャを生成する手段の方がより相応しいテクスチャを生成できる。
【００６０】
そのため、欠落テクスチャ生成手段３２２では、例えば、隠ぺい領域を含む平面のＩＤ番号、隠ぺい領域を含む形状のＩＤ番号、隠ぺい領域の３次元中の位置、隠ぺい領域の法線方向、を隠ぺい領域の属性とし、他の領域や面が隠ぺい領域と同じ平面に存在しているかどうか（同じＩＤ番号を持つかどうか）、他の領域や面が隠ぺい領域を含む形状に含まれているか（同じＩＤ番号を持つかどうか）、他の領域や面と隠ぺい領域の３次元中の位置が近いかどうか（距離が近いかどうか）、他の領域や面と隠ぺい領域の法線方向が似ているかどうか（内積が大きいかどうか）、といった属性の類似性を評価して、類似した属性を持つ他の領域や面の色情報やテクスチャを複写したり、平均値や分散などの統計値の利用したりすることによって欠落テクスチャを生成する。それぞれの評価値の重み（使われ方）は状況に応じて利用者が調整する。ただし、一般には、他の領域や面が隠ぺい領域と同じ平面に存在しているかどうかが重要になる。これを、図９の例にあてはめると、隠ぺい領域４１のテクスチャは、領域４１の色情報やテクスチャ、つまり、写真領域７１の色情報やテクスチャから生成する。
【００６１】
このような隠ぺい領域検出手段３２１及び欠落テクスチャ生成手段３２２を組み合わせた欠落テクスチャ補完手段３２０によって得られた欠落テクスチャを用いて、ＣＧモデル描画手段３３０の欠落テクスチャマッピング手段３３２で隠ぺい領域を描画し、モデル表面上の隠蔽されていない領域を射影テクスチャマッピング手段３３１で描画することで、デジタル写真を撮影した視点以外の視点から見たモデルを描画した場合の見た目の品質を向上させることができる。
【産業上の利用可能性】
【００６２】
このように、本発明によるコンピュータグラフィックス作成方法を用いることにより、例えば、非特許文献５のようなコンピュータグラフィックスモデル作成アプリケーションでのモデル作成をより効率的に行えるようになる。
【００６３】
実世界中の物体の３次元コンピュータグラフィックスモデルをデジタル写真から作成し、仮想化することは、「Ｇｏｏｇｌｅ  Ｅａｒｔｈ」や「Ｓｅｃｏｎｄ  Ｌｉｆｅ」に代表される仮想現実環境の視覚的なリアリティを増強したり、仮想世界と現実世界を視覚的につないだりために非常に有効である。
【００６４】
仮想現実環境は次世代ＳＮＳ（ソーシャルネットワーキングサービス）に応用されることも期待されるが、そのためには３次元コンピュータグラフィックスモデルをはじめとするコンテンツを如何に増やしていくかという課題があるが、本発明はそのような課題の解決にも寄与する。
【００６５】
さらに、例えば、仮想現実環境を用いたオンラインショッピングにおいてその利用者が自身の部屋に家具や家電を仮想的に配置し、その見た目やサイズなどを効率よく確かめるなどといった応用も考えられる。図１２は、デジタル写真５００の一例であるデジタル写真５０１を用いて作成した部屋や部屋の中の物体のコンピュータグラフィックスモデルの中に、購入を検討している家具のコンピュータグラフィックスモデル９００を仮想的に配置し、その見た目やサイズなどを検討している様子である。
【００６６】
このような仮想環境での操作の履歴は保存がしやすいため、その履歴を用いた利用者の嗜好の分析などへの展開も期待できるが、そのような仮想的配置への応用のためには、利用者の部屋のデジタル写真が容易にモデル化できるような枠組みが必要となる。本発明はそのためにも貢献できる。
【００６７】
また、本発明では主にデジタル写真を対象としているが、デジタル写真の代わりに絵画や漫画などの絵を使うこともできる。具体的に、絵をデジタル写真と見立てるとともに、仮想的なカメラ視点を設定することで、上述の視体積拘束に基づくモデル形状編集や欠落テクスチャ生成などの各手段を適用することができる。
【符号の説明】
【００６８】
１０  視点
１１  デジタル写真の撮像面
１２  光軸
１３  視体積
１４  直線
１５  補助平面
１６  直線
１７  直線
１８  視体積
２０  ３次元空間中の平面
２１  平面
２２  平面
２３  平面
２４  平面
２５  平面
２６  平面
２７  形状
２８  形状
２９  形状
３０  平面
３１  平面
４０  隠ぺい領域
４１  表面上の領域
４２  平面
５０  輪郭
６２  平均距離
６３  平均距離
６４  平均距離
６７  補助平面
６８  変更後の補助平面
６９  変更後の補助平面
７０  輪郭５０の存在範囲
７１  領域４１の写真領域
７２  平面４２の写真領域
７３  平面３０の写真領域
８０  回転軸
１００  デジタル写真の画素
１１０  対応点
１１１  偽対応点
２１０  平行線のペア２組のうちの１組
２１１  平行線のペア２組のうちの１組
２５０  平行線候補
３００  カメラパラメータ推定手段
３０１  直線検出・選択手段
３０２  消失点計算手段
３０３  座標変換行列・焦点距離計算手段
３１０  モデル編集手段
３１１  ２Ｄ−３Ｄ座標変換手段
３１２  モデル形状生成・編集手段
３１３  視体積拘束に基づくモデル形状変更手段
３２０  欠落テクスチャ補完手段
３２１  隠ぺい領域検出手段
３２２  欠落テクスチャ生成手段
３３０  ＣＧモデル描画手段
３３１  射影テクスチャマッピング手段
３３２  欠落テクスチャマッピング手段
５００  デジタル写真
５０１  デジタル写真
６００  利用者操作情報
７００  コンピュータグラフィックスモデル
８００  画面
９００  家具のコンピュータグラフィックスモデル
【図１】
2010165124.tif 000003
【図２】
2010165124.tif 000004
【図３】
2010165124.tif 000005
【図４】
2010165124.tif 000006
【図５】
2010165124.tif 000007
【図６】
2010165124.tif 000008
【図７】
2010165124.tif 000009
【図８】
2010165124.tif 000010
【図９】
2010165124.tif 000011
【図１０】
2010165124.tif 000012
【図１１】
2010165124.tif 000013
【図１２】
2010165124.tif 000014
【図１３】
2010165124.tif 000015
【図１４】
2010165124.tif 000016
【図１５】
2010165124.tif 000017