(57)【要約】【課題】テクスチャ画像の特徴を損なうことなく、より自然な感じの３次元グラフィックスを得るためのテクスチャマッピングを行う。【解決手段】各テクスチャ画像６１〜６３に対して、画像に関連する所定の特徴を有した領域である特徴領域を抽出し、抽出された各特徴領域に対して重みを設定し、設定された重みを用いてテクスチャ画像６１〜６３を３次元モデル５０にマッピングする。【選択図】　　　図３
2004054571.tif 000002
【特許請求の範囲】
【請求項１】
複数枚のテクスチャ画像を用いて３次元モデルのマッピングを行うテクスチャマッピング方法であって、
前記各テクスチャ画像に対して、画像に関連する所定の特徴を有した領域である特徴領域を抽出するステップと、
抽出された前記各特徴領域に対して重みを設定するステップと、
前記各特徴領域に設定された重みを用いて、前記テクスチャ画像を前記３次元モデルにマッピングするステップと、
を有することを特徴とするテクスチャマッピング方法。
【請求項２】
複数枚のテクスチャ画像を用いて３次元モデルのマッピングを行うテクスチャマッピング装置であって、
前記各テクスチャ画像に対して、画像に関連する所定の特徴を有した領域である特徴領域を抽出する抽出手段と、
抽出された前記各特徴領域に対して重みを設定する重み設定手段と、
前記各特徴領域に設定された重みを用いて、前記テクスチャ画像を前記３次元モデルにマッピングするマッピング手段と、
を有することを特徴とするテクスチャマッピング装置。
【請求項３】
前記抽出手段は、前記特徴領域として高周波領域を抽出し、
前記重み設定手段は、前記特徴領域に対して他の領域よりも大きい重みを設定し、
前記マッピング手段は、前記特徴領域を優先的にマッピングする、
請求項２記載のテクスチャマッピング装置。
【請求項４】
前記抽出手段は、前記特徴領域として、前記３次元モデルのエッジラインに対応する境界線により分割される２つの隣接領域を抽出し、
前記重み設定手段は、前記特徴領域に対して他の領域よりも大きい重みを設定し、
前記マッピング手段は、前記特徴領域を優先的にマッピングする、
請求項２記載のテクスチャマッピング装置。
【請求項５】
複数枚のテクスチャ画像を用いて３次元モデルのテクスチャマッピングを行うためのコンピュータプログラムであって、
前記各テクスチャ画像に対して、画像に関連する所定の特徴を有した領域である特徴領域を抽出するステップと、
抽出された前記各特徴領域に対して重みを設定するステップと、
前記各特徴領域に設定された重みを用いて、前記テクスチャ画像を前記３次元モデルにマッピングするステップと、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、テクスチャマッピング方法および装置に関する。
【０００２】
【従来の技術】
３次元の物体を表現する方法として、多数のポリゴンからなる３次元モデルにテクスチャ画像を貼り付けるテクスチャマッピングがある。しかし、テクスチャ画像は２次元画像なので、これを３次元モデルに貼り付けて実物と同じになるように表現することは難しい。
【０００３】
そこで、係る問題を解決するための様々な方法が提案されている。例えば、複数のテクスチャ画像を撮影しておき、ポリゴンごとに最も解像度の高いテクスチャ画像を選択してテクスチャマッピングを行う方法が提案されている（特開２００２−２４８５０号公報）。または、ポリゴンごとに法線ベクトルを求め、複数のテクスチャ画像のうち撮影方向のベクトル（視線ベクトル）とその法線ベクトルとのなす角度が最小になるテクスチャ画像を選択し、テクスチャマッピングを行う方法が提案されている（特開２０００−３３９４９９号公報）。
【０００４】
【発明が解決しようとする課題】
ところが、従来の方法では、ポリゴンごとのテクスチャマッピングは最適に行うことはできても、全体的に見ると、貼り付けられたテクスチャ画像に繋ぎ目が生じている場合がある。つまり、隣り合う２つのポリゴンにそれぞれ貼り付けたテクスチャ画像同士が不連続となってしまう。したがって、テクスチャマッピングの結果得られる３次元グラフィックスを見る者に対して不自然な感じを与えてしまう。このような不連続な部分をなくすために、繋ぎ目の部分にブレンド処理を施す方法が考えられる。しかし、モデル（物体）の特徴部分については、その特徴をはっきりと表現したいので、ブレンド処理を施すことは好ましいとは言えない。
【０００５】
本発明は、このような問題点に鑑み、テクスチャ画像の特徴を損なうことなく、より自然な感じの３次元グラフィックスを得るためのテクスチャマッピングを行うことを目的とする。
【０００６】
【課題を解決するための手段】
本発明に係るテクスチャマッピング方法は、複数枚のテクスチャ画像を用いて３次元モデルのマッピングを行うテクスチャマッピング方法であって、前記各テクスチャ画像に対して、画像に関連する所定の特徴を有した領域である特徴領域を抽出するステップと、抽出された前記各特徴領域に対して重みを設定するステップと、前記各特徴領域に設定された重みを用いて、前記テクスチャ画像を前記３次元モデルにマッピングするステップとを有してなる。
【０００７】
本発明に係るテクスチャマッピング装置は、複数枚のテクスチャ画像を用いて３次元モデルのマッピングを行うテクスチャマッピング装置であって、前記各テクスチャ画像に対して、画像に関連する所定の特徴を有した領域である特徴領域を抽出する抽出手段と、抽出された前記各特徴領域に対して重みを設定する重み設定手段と、前記各特徴領域に設定された重みを用いて、前記テクスチャ画像を前記３次元モデルにマッピングするマッピング手段とを有してなる。
【０００８】
好ましくは、前記抽出手段は、前記特徴領域として高周波領域を抽出し、前記重み設定手段は、前記特徴領域に対して他の領域よりも大きい重みを設定し、前記マッピング手段は、前記特徴領域を優先的にマッピングする。
【０００９】
または、前記抽出手段は、前記特徴領域として、前記３次元モデルのエッジラインに対応する境界線により分割される２つの隣接領域を抽出し、前記重み設定手段は、前記特徴領域に対して他の領域よりも大きい重みを設定し、前記マッピング手段は、前記特徴領域を優先的にマッピングする。
【００１０】
なお、本発明における高周波領域とは、細かな模様の付いた領域のように輝度値の変化の激しい領域を意味する。
【００１１】
【発明の実施の形態】
図１は本発明の実施に係るコンピュータ１の構成の例を示す図、図２はコンピュータ１のハードウェア構成の例を示す図、図３は３次元モデル５０およびテクスチャ画像６１〜６３の例を示す図、図４は切り出されたテクスチャ部分７１Ａと背景部分７１Ｂとを示す図、図５は特徴領域ＥＲ１〜ＥＲ５の例を示す図、図６は色境界によって分けられた２つのポリゴン群５１、５２の例を示す図、図７はコンピュータ１の処理の流れの例を説明するフローチャートである。
【００１２】
コンピュータ１は、図１に示すように、コンピュータ本体１１、ディスプレイ装置１２、キーボード１３およびマウス１４などの入力装置、フロッピドライブ１５ａ、およびＣＤ−ＲＯＭドライブ１５ｂなどによって構成される。コンピュータ本体１１は、ＣＰＵ１１ａ、ＲＡＭ１１ｂ、ＲＯＭ１１ｃ、磁気記憶装置１１ｄ、および通信インタフェース１１ｅ、および入出力インタフェース１１ｆなどからなり、磁気記憶装置１１ｄには後に説明するテクスチャマッピングの処理などを実行するためのプログラムおよびデータが記憶されている。
【００１３】
これらのプログラムおよびデータは、フロッピディスク１９ａまたはＣＤ−ＲＯＭ１９ｂなどの記録媒体より磁気記憶装置１１ｄにインストールされている。または、ネットワークＮＷを介して他のコンピュータからダウンロードされる。プログラムおよびデータは、必要に応じてＲＡＭ１１ｂにロードされ、ＣＰＵ１１ａによってプログラムが実行される。プログラムの実行結果は、ディスプレイ装置１２の表示面ＨＧに表示される。例えば、テクスチャマッピングの結果が３次元グラフィックスとして表示面ＨＧに表示される。コンピュータ１として、パーソナルコンピュータまたはワークステーションなどが用いられる。
【００１４】
このような構成によって、コンピュータ１は、図２に示すように、画像切出し部１０１、特徴領域抽出部１０２、優先度設定部１０３、マッピング処理部１０４、ブレンディング処理部１０５、およびデータ記憶部１０９などの機能が実現される。
【００１５】
データ記憶部１０９は、３次元モデル５０の３次元データＤＴ３および３つのテクスチャ画像６１〜６３の画像データＤＴ２１〜ＤＴ２３を記憶する。３次元モデル５０およびテクスチャ画像６１〜６３は、図３に示すように、仮想３次元空間に配置されている。３次元モデル５０は、実在する物体（例えば、鳥の置物）の形状を３次元入力装置によって入力されたものであり、多数のポリゴンで表現されている。テクスチャ画像６１〜６３は、この物体の撮影画像であり、撮影時の対象物（モデル）とカメラとの位置関係に対応するように３次元モデル５０に対して仮想的に配置されている。テクスチャ画像６１の撮影範囲は、テクスチャ画像６２、６３の双方と部分的に重複している。
【００１６】
画像切出し部１０１は、テクスチャ画像の中からテクスチャ部分と背景部分との境界を抽出し、テクスチャ画像をテクスチャ部分と背景部分とに領域分けする処理を行う。これにより、例えば、図４に示すテクスチャ画像６１の場合は、テクスチャ部分７１Ａと背景部分７１Ｂとが切り出される。このような領域分けは、クロマキー処理に代表される画像処理で実現することができる。また、オペレータがマウスでテクスチャ部分７１Ａの輪郭をなぞる手動の領域分けを行ってもよい。同様に、テクスチャ画像６２、６３についてもそれぞれのテクスチャ部分と背景部分とが切り出される。
【００１７】
特徴領域抽出部１０２は、切り出されたテクスチャ部分７１Ａ〜７３Ａの中から１つまたは複数の特徴領域を抽出する。ここで、「特徴領域」とは、対象物の形状、模様、または色などについての特徴のある部分を有する領域をいう。例えば、人間の頭部を対象物とした場合は、目、まゆ、鼻、唇、および耳などの特徴部分を有する各領域が特徴領域となる。
【００１８】
特徴領域は、テクスチャ部分７１Ａ〜７３Ａの各画素同士を比較するなどして抽出される。例えば、他の領域よりもコントラストの高い領域（高コントラスト領域）、細かな模様の付いた領域のように輝度値の変化の激しい領域（高周波領域）、鏡面反射によって白くぼやけた領域（鏡面反射領域）などが特徴領域として抽出される。
【００１９】
また、特徴領域は、線およびこれに隣接する２つの領域して抽出される場合がある。例えば、互いに異なる色のついた部分同士の境目（境界）とこの境界に隣接する２つの領域が特徴領域として抽出される。以下、この境界を「色境界」と記載し、この特徴領域を「色違い領域」と記載する。または、直方体の上面と側面との境界（辺）およびこれに隣接する２つの領域や、胴体と顎との境界（つまり顎の輪郭）のように離れた位置にある２つの物体同士の境界およびこれに隣接する２つの領域などが、特徴領域として抽出される。以下、このような異なる２つの面を区別するテクスチャ画像上の境界を「ジオメトリ境界」と記載し、この特徴領域を「ジオメトリ領域」と記載する。
【００２０】
本実施形態の鳥の置物の場合は、図５に示すように、例えば帽子の模様の付いた部分、両目、くちばしの輪郭、胸部のロゴ「ＡＢＣ」の刺繍、および鏡面反射が生じた腹部などの特徴部分が特徴領域ＥＲ１〜ＥＲ５として抽出される。抽出された特徴領域のうち、特徴領域ＥＲ１は高周波領域、特徴領域ＥＲ２は色違い領域、特徴領域ＥＲ３はジオメトリ領域、特徴領域ＥＲ４は高コントラスト領域、特徴領域ＥＲ５は鏡面反射領域である。なお、特徴領域の抽出は、オペレータがマウスで境界をなぞって行ってもよい。例えば、繋ぎ目が生じて欲しくない重要な部分を高コントラスト領域として指定してもよい。
【００２１】
図２に戻って、優先度設定部１０３は、図５の抽出された各特徴領域ＥＲ１〜ＥＲ５および特徴領域以外の領域ＥＲＸに対して、テクスチャマッピングを行う際の優先度を設定する。優先度は、その領域の種類に応じて設定される。例えば、鏡面反射領域の優先度は、他の領域の優先度よりも低く設定される。鏡面反射領域以外の特徴領域の優先度は、他の領域の優先度よりも高く設定される。なお、優先度は１、２、…の順に高いものとする。
【００２２】
また、特徴領域が複数ある場合は、その対象物をより特徴的に表す重要な部分を含む領域の優先度が高く設定される。つまり、優先度は、対象物の特徴の重みを表す度数であると言える。例えば、鳥の置物の特徴が目、くちばし、帽子の模様、胸部のロゴの順に表れている場合は、図５の各特徴領域の優先度がＥＲ２、ＥＲ３、ＥＲ１、ＥＲ４の順になるように設定される。特徴領域ＥＲ５は鏡面反射領域なので、優先度が最も低く設定される。
【００２３】
以上のような規則に基づいて、図５の各領域の優先度は、ＥＲ２、ＥＲ３、ＥＲ１、ＥＲ４、ＥＲＸ、ＥＲ５の順に１、２、…、６となるように設定される。なお、優先度は、オペレータが手動で自由に設定してもよい。
【００２４】
マッピング処理部１０４は、テクスチャ画像６１〜６３を３次元モデル５０に貼り付ける処理すなわちテクスチャマッピングを行う。テクスチャマッピングは、優先度の高い領域の順に行う。ただし、領域の種類に応じて処理の方法がそれぞれ異なる。
【００２５】
色違い領域およびジオメトリ領域についてのテクスチャマッピングは、次のような手順で処理が行われる。まず、境界情報を設定する。境界情報とは、色境界またはジオメトリ境界に対応する３次元モデル５０におけるポリライン（ポリゴンのエッジの集合）を示す情報である。例えば、鳥の置物の目の部分（特徴領域ＥＲ２）についてテクスチャマッピングを行う場合は、３次元モデル５０のうちの目の周囲のポリラインが境界情報に設定される。
【００２６】
設定されるポリラインは、色境界またはジオメトリ境界を３次元モデル５０に投影し、その境界が映ったポリゴンのエッジを抽出することによって得られる。または、オペレータがマウスでポリラインをなぞって指定してもよい。色境界またはジオメトリ境界を３次元モデル５０に投影し、これに合うようにポリゴンの分割または位置の変更を行うようにしてもよい。
【００２７】
そして、境界情報が示すポリラインに隣接するポリゴンに対してテクスチャマッピングを行う。例えば、図６において、境界情報が２つの異なる色の境界となるポリライン（太線）を示している場合は、斜線で示す２つのグループ（ポリゴン群５１、５２）に対してそれぞれにテクスチャマッピングを行う。
【００２８】
ポリゴン群５１、５２に貼り付けるテクスチャ画像は、テクスチャ部分７１Ａ〜７３Ａのうちからそれぞれ１つずつ選択される。例えば、ポリゴン群に対応する部分の面積が最も大きいテクスチャ部分（テクスチャ画像）が選択される。または、ポリゴン群の中央付近にあるポリゴンの法線と各テクスチャ画像の撮影方向（視線方向）とのなす角度を比較し、角度が最小であるテクスチャ画像を選択してもよい。つまり、ポリゴン群５１、５２についてそれぞれ、より高解像度なテクスチャ画像またはそのポリゴン群に対してより正面に近いテクスチャ画像を選択する。面積または角度以外の評価値に基づいて高解像度または正面に近いテクスチャ画像を選択してもよい。後に説明する高コントラスト領域および高周波領域についてのテクスチャマッピングの場合も、同様の方法で３次元モデル５０に貼り付けるテクスチャ画像が選択される。なお、選択の結果、ポリゴン群５１、５２ともに同じテクスチャ画像を用いることになっても構わない。テクスチャ画像を３次元モデルに貼り付ける手法自体は、公知のものが用いられる。
【００２９】
このように、テクスチャ画像の繋ぎ目の部分が色境界またはジオメトリ境界に配置されるようにすることによって、色分けまたは形状に合ったテクスチャマッピングを行うことができる。
【００３０】
ポリラインに隣接しないポリゴンは、特徴領域以外の領域（図５の領域ＥＲＸに相当する領域）に対応するものなので、優先度設定部１０３で設定された順序に従って後にテクスチャマッピングが行われる。
【００３１】
高周波領域および高コントラスト領域（例えば、図５の特徴領域ＥＲ１、ＥＲ４）についてのテクスチャマッピングは、次のような手順で行われる。まず、その領域を３次元モデル５０に投影し、その領域に対応するポリゴンを抽出する。その領域に最適なテクスチャ画像をテクスチャ部分７１Ａ〜７３Ａのうちから１つ選択する。そして、抽出されたポリゴンに対して、選択されたテクスチャ画像を用いてテクスチャマッピングを行う。このような方法により、領域内のテクスチャ画像に繋ぎ目が生じないようにし、対象物の特徴を損なわないようにすることができる。
【００３２】
特徴領域以外の領域（例えば、図５の領域ＥＲＸ）についてのテクスチャマッピングは、従来と同様の方法によって行われる。つまり、その領域を３次元モデル５０に投影し、その領域に対応するポリゴンを抽出し、テクスチャ部分７１Ａ〜７３Ａのテクスチャ画像を用いて各ポリゴンに対してテクスチャマッピングを行う。
【００３３】
鏡面反射領域（例えば、図５の特徴領域ＥＲ５）についてのテクスチャマッピングは、次のような手順で行われる。まず、高周波領域などの場合と同様に、その領域を３次元モデル５０に投影し、その領域に対応するポリゴンを抽出する。そして、鏡面反射が生じたテクスチャ画像の代わりの別の画像を貼り付ける。例えば、鏡面反射が生じたテクスチャ部分７１Ａ（図５参照）の代わりに、テクスチャ画像６２または６３（図３参照）から抽出されたテクスチャ部分を用いてテクスチャマッピングを行う。または、光源の位置または光度を変えて撮り直したテクスチャ画像を用いてもよいし、鏡面反射領域の周囲の領域の色または模様に合わせて画像を生成して貼り付けてもよい。このような方法により、鏡面反射を生じた部分を排除し、自然なテクスチャマッピングを行うことができる。
【００３４】
図２に戻って、ブレンディング処理部１０５は、３次元モデル５０に貼り付けられたテクスチャ画像のブレンド処理（テクスチャブレンディング）を行う。これにより、自然なマッピング結果が得られる。ただし、領域が色違い領域である場合は、ブレンド処理を行わない。なぜなら、例えば図６において、隣り合うポリゴン群５１、５２の画像は色分けが明確に表れるように貼り付けられているので、ブレンド処理を行うと色分けの意味を失ってしまうからである。ジオメトリ領域の場合も、ブレンド処理を行わない。ジオメトリ境界は直方体の上面と側面との境界（辺）のように異なる２つの面の境界であるので、ブレンド処理を行うと貼り付けた画像が不自然になってしまうからである。
【００３５】
高コントラスト領域または高周波領域の場合も、原則としてブレンド処理を行わない。これらの領域については、他の領域よりも優先的にテクスチャマッピングが行われており、テクスチャ画像が正確に貼り付けられている可能性が高いからである。ただし、その領域の優先度が他の領域の優先度よりも低い場合などは、必要に応じてブレンド処理を行ってもよい。鏡面反射領域の場合も、ブレンド処理を行わない。この領域については、撮影によって得られたテクスチャ画像が用いられていないので、ブレンド処理を行う必要がないからである。ただし、必要に応じてブレンド処理を行ってもよい。特徴領域以外の領域については、従来と同様にブレンド処理を行う。
【００３６】
このように、領域ごとにテクスチャブレンディングを行うか否かを決めることによって、テクスチャ画像の特徴がぼけることなくテクスチャブレンディングを行うことができる。
【００３７】
次に、コンピュータ１におけるテクスチャマッピングの処理の流れを、フローチャートを参照して説明する。図７に示すように、まず、対象物を撮影して得たテクスチャ画像から特徴部分を特徴領域として抽出する（＃１）。抽出された各特徴領域およびそれ以外の領域に対してテクスチャマッピングの優先度を設定する（＃２）。また、これらの領域に対して、その種類に応じてテクスチャブレンディングの優先度を設定する（＃３）。テクスチャブレンディングの対象になる領域には「１」が設定され、対象にならない領域には「０」が設定される。
【００３８】
テクスチャマッピングの優先度の高い順に、それぞれの領域の種類に応じた方法によりテクスチャマッピングを行う（＃４）。そして、マッピングされた領域のテクスチャブレンディングの優先度が「１」である場合は（＃５でＹｅｓ）、テクスチャブレンディングを行う（＃６）。「０」である場合は（＃５でＮｏ）、テクスチャブレンディングは行わない。すべての領域についてステップ＃５、＃６の処理を繰り返す（＃７でＹｅｓ）。なお、テクスチャブレンディングは、テクスチャマッピングと並行して適宜行ってもよいし、すべての領域のテクスチャマッピングを行った後に行ってもよい。
【００３９】
本実施形態によると、それぞれの領域の特性に応じてテクスチャマッピングを行うことによって、より実物に近い３次元グラフィックスを得ることができる。また、領域ごとにテクスチャブレンディングを行うか否かを決めるので、テクスチャ画像の特徴を損なわない。
【００４０】
本実施形態では、特徴領域の種類として高コントラスト領域、高周波領域、鏡面反射領域、色違い領域、およびジオメトリ領域を挙げたが、これ以外の特性を有する特徴領域についてもその特性に応じた処理を行うことができる。例えば、テクスチャ画像の中から暗く不鮮明な領域を抽出し、係る領域について鏡面反射領域の場合と同様の処理を行ってもよい。
【００４１】
本実施形態では、テクスチャマッピングの後にテクスチャブレンディングを行ったが、３次元モデルまたはテクスチャ画像などの特徴に応じてテクスチャマッピングだけを行ってもよいし、またはテクスチャブレンディングだけを行ってもよい。
【００４２】
その他、コンピュータ１の構成、処理内容、処理順序などは、本発明の趣旨に沿って適宜変更することができる。
【００４３】
【発明の効果】
本発明によると、それぞれの特徴領域に応じてテクスチャマッピングを行うことによって、テクスチャ画像の特徴を損なうことなく、より自然な感じの３次元グラフィックスを得るためのテクスチャマッピングを行うことができる。
【図面の簡単な説明】
【図１】本発明の実施に係るコンピュータの構成の例を示す図である。
【図２】コンピュータのハードウェア構成の例を示す図である。
【図３】３次元モデルおよびテクスチャ画像の例を示す図である。
【図４】切り出されたテクスチャ部分と背景部分とを示す図である。
【図５】特徴領域の例を示す図である。
【図６】
色境界によって分けられた２つのポリゴン群の例を示す図である。
【図７】
コンピュータの処理の流れの例を説明するフローチャートである。
【符号の説明】
１　コンピュータ（テクスチャマッピング装置）
１０２　特徴領域抽出部（抽出手段）
１０３　優先度設定部（重み設定手段）
１０４　マッピング処理部（マッピング手段）
５０　３次元モデル
６１〜６３　テクスチャ画像
ＥＲ１〜ＥＲ５　特徴領域
【図１】
2004054571.tif 000003
【図２】
2004054571.tif 000004
【図３】
2004054571.tif 000005
【図４】
2004054571.tif 000006
【図５】
2004054571.tif 000007
【図６】
2004054571.tif 000008
【図７】
2004054571.tif 000009