(57)【特許請求の範囲】
【請求項１】
外部より与えられるデータから、人物の顔の外観を表す各点の座標位置を示す第１形状データと、該第１形状データで示される各位置の色及び輝度を表す画像データとを分割するデータ分割部と、
前記画像データから鼻を中心とする所定の領域の画像データを抽出した後、該領域の画像データのうち肌色となる領域の画像データを除くことで特徴部の画像データを抽出する特徴部抽出部と、
前記特徴部の画像データの輝度値に応じて、前記第１形状データによって表される各点の座標位置の移動量を求める高低変換部と、
前記第１形状データに対して、前記各点の座標位置の移動量に応じてその座標位置を変更することによって、第２形状データを生成する形状データ変換部と、
を有することを特徴とするデータ生成装置。
【請求項２】
前記特徴部の画像データの各部分の画像データに対して、当該各部分それぞれに応じた所定の画像処理を施す特徴部加工部を有し、
前記特徴部の画像データの輝度値は、前記特徴部加工部で処理された前記特徴部の画像データの輝度値であることを特徴とする請求項１に記載のデータ生成装置。
【請求項３】
前記特徴部加工部において、輪郭を明確にするために、エッジ強調処理が施されることを特徴とする請求項２に記載のデータ生成装置。
【請求項４】
前記特徴部加工部において、前記特徴部の一部に対して、境界線が緩やかな変換となるように、グラデーション処理が施されることを特徴とする請求項２又は請求項３に記載のデータ生成装置。
【請求項５】
前記特徴部加工部において、前記特徴部の一部に対して、所定の境界線内の領域について、輝度値が一定となるように輝度値補正処理が施されることを特徴とする請求項２〜請求項４のいずれかに記載のデータ生成方法。
【請求項６】
前記高低変換部において、前記第１形状データで表される形状のうち前記画像データの輝度値が所定範囲の値に近づく部分ほど高低差が大きくなるように、前記移動量が求められることを特徴とする請求項１〜請求項５のいずれかに記載のデータ生成装置。
【請求項７】
前記第１形状データが複数の点の位置座標と所定数の当該点毎に囲まれた複数の多角形とを表すポリゴンデータであり、当該多角形をその法線方向に移動させて変更することで得られた前記複数の点の位置座標を前記第２形状データとすることを特徴とする請求項１〜請求項６のいずれかに記載のデータ生成装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、データ生成装置に関するもので、特に、人物の表情などといった特徴部分の濃淡を３次元立体模型に再現するための形状データのデータ生成装置に関する。
【０００２】
【従来の技術】
３次元の形状データを用いて、円筒状の素材を切削したり、又は、金型を用いて樹脂などを押し固めるなどすることによって、３次元立体模型を作成されるような方法が提案されている。このようにして、３次元立体模型を作成するために用いられる３次元の形状データの中には、３次元立体模型を作成するためのサンプルを様々な角度から撮像して得られた画像を解析することによって、サンプルの凹凸を判断して得られるものがある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このようにサンプルの３次元の形状データのみを利用して３次元立体模型を作成した場合、作成された３次元立体模型は、サンプルの外観の凹凸のみを表現したものとなる。よって、単色の素材や樹脂等から３次元立体模型が作成されるとき、実際のサンプルにおいて色の濃淡によって特徴づけられる部分を、明確に再現することができない。よって、例えば、人間の顔を含む頭部をサンプルとし、その３次元の形状データを利用して３次元立体模型が作成された場合、人間の顔で特徴となる眉毛、目、鼻、口元、シワ、クマ等の部分が３次元の形状データに大きく反映されていないため、細やかな表情や特徴の表現が困難である。
【０００４】
このような問題を鑑みて、本発明は、人物の顔の３次元立体模型を作成する際に色の濃淡によって特徴づけられる部分を再現可能にするためのデータを生成するためのデータ生成装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記目的を達成するために、請求項１に記載のデータ生成装置は、外部より与えられるデータから、人物の顔の外観を表す各点の座標位置を示す第１形状データと、該第１形状データで示される各位置の色及び輝度を表す画像データとを分割するデータ分割部と、前記画像データから鼻を中心とする所定の領域の画像データを抽出した後、該領域の画像データのうち肌色となる領域の画像データを除くことで特徴部の画像データを抽出する特徴部抽出部と、前記特徴部の画像データの輝度値に応じて、前記第１形状データによって表される各点の座標位置の移動量を求める高低変換部と、前記第１形状データに対して、前記各点の座標位置の移動量に応じてその座標位置を変更することによって、第２形状データを生成する形状データ変換部と、を有することを特徴とする。
【０００６】
このようなデータ生成装置において、画像データの輝度値によって第１形状データのデータ量が変換されて、各点の座標位置を変更した第２形状データが生成される。この際、３点で構成される三角パッチの各頂点を平行移動させるようにしても構わないし、三角パッチの３頂点のうちの少なくと１点の座標位置を変更して角度補正を行うようにしても構わない。これによって、第２形状データに、３次元立体模型のサンプル表面上の色の濃淡を反映させることができる。
【０００７】
又、前記画像データから、前記３次元立体物の特徴となる特徴部の画像データを抽出し、該特徴部の輝度値に基づいて、前記第１形状データにおける該特徴部に相当するデータ量の変換を行うことによって該特徴部の高低差を変更して、前記第２形状データを生成することができる。即ち、例えば、人物の顔などを３次元立体模型のサンプルとした場合、目、眉、口、クマ、シワ、鼻などを特徴部として、その色の濃淡を第２形状データに反映させることができる。
【０００８】
このとき、前記画像データから、前記特徴部の位置する領域のデータの抽出を行った後、所定の範囲の信号レベルとなる色信号で表される領域のデータを除くことによって、前記特徴部の抽出を行うことができる。即ち、例えば、人物の顔などを３次元立体模型のサンプルとした場合、鼻を中心とした所定の矩形領域のデータを抽出した後、その色が肌色となる領域のデータを除くことで、目、眉、口、クマ、シワ、鼻などの特徴部を抽出することができる。
【０００９】
更に、前記特徴部において、輪郭を明確にするために、エッジ強調処理が成されるようにすることで、例えば、人物の顔などを３次元立体模型のサンプルとした場合、第２形状データを用いて３次元立体模型を製作したとき、目元や口元などをはっきりとさせることができる。
【００１０】
又、前記特徴部の一部に対して、境界線が緩やかな変換となるように、グラデーション処理が成されるようにすることで、例えば、人物の顔などを３次元立体模型のサンプルとした場合、第２形状データを用いて３次元立体模型を製作したとき、眉を自然で滑らかな凹凸で作成することができる。
【００１１】
又、前記特徴部の一部に対して、所定の境界線内の領域について、輝度値が一定となるような処理が施されるようにすることで、例えば、人物の顔などを３次元立体模型のサンプルとした場合、第２形状データを用いて３次元立体模型を製作したとき、白目と黒目の境界をなくして、目全体をくぼませることができる。
【００１２】
又、前記第１形状データで表される形状のうち前記画像データの輝度値が所定範囲の値に近づく部分ほど高低差が大きくなるように、前記第１形状データのデータ量が変換されることによって、前記第２形状データが生成されてもよい。
【００１３】
又、前記第１形状データが複数の点の位置座標と所定数の当該点毎に囲まれた複数の多角形とを表すポリゴンデータであり、当該多角形をその法線方向に移動させて変更することで得られた前記複数の点の位置座標を前記第２形状データとすることで、第２形状データに、３次元立体模型のサンプル表面上の色の濃淡を反映させることができる。
【００１４】
即ち、第１形状データが、３次元立体物を形成する各点の座標位置を示す位置データと、３点よりなる三角パッチを表す三角パッチデータとから成るとき、三角パッチデータより得られる各三角パッチ内の画像データより得られる複数の輝度の平均値によって、それぞれの三角パッチの移動量が決定される。そして、各三角パッチが、その法線方向に向かって、決定された移動量分移動することで、各点の座標位置が設定変更されて、第２形状データが生成される。
【００１７】
このようなデータ生成装置において、高低変換部では、各点の座標位置の移動量を求める演算式として、１次式で表される連続となる線形の演算式や、２次式等の連続となる非線形の演算式や、不連続であるが単調増加又は単調減少する演算式などの複数の演算式のうちから一つを用いて、画像データの輝度値より求められるようにしても構わない。このように、複数の演算式の一つが用いられて、各点の座標位置の移動量が求められるとき、移動量を求めるために用いる演算式が外部より指定されるようにしても構わない。
【００１９】
【発明の実施の形態】
以下に、本発明の実施形態について、図面を参照して説明する。図１は、本発明のデータ作成装置の内部構成を示すブロック図である。尚、本実施形態では、３次元立体模型用のサンプルとして、人物の顔を例に挙げて説明する。
【００２０】
図１のデータ作成装置は、後述する３次元形状データとテクスチャ画像データとを分割するデータ分割部１と、データ分割部１から送出されるテクスチャ画像データより得られるテクスチャ画像内の後述する特徴部に相当する部分の画像データを抽出する特徴部抽出部２と、特徴部抽出部２で得られた画像データをＲＧＢ（Red Green Blue）データから白黒のグレースケールで表されるデータに変換するグレースケール変換部３と、グレースケール変換部３から与えられる画像データに対して各部に応じた画像処理を施す特徴部加工部４と、３次元形状データに含まれる形状データの移動量を求める高低変換部５と、データ分割部１より与えられる３次元形状データを高低変換部５から与えられる移動量に応じて変換する３次元形状データ変換部６と、３次元形状データ変換部６で変換された３次元形状データより形状データのみを抽出する形状データ抽出部７と、３次元立体模型を作成するための加工データを生成する加工データ生成部８とから構成される。
【００２１】
このような構成のデータ作成装置に入力される３次元形状データとテクスチャ画像データについて、図面を参照して説明する。この３次元形状データ及びテクスチャ画像データは、例えば、特開平１０−１２４７０４号公報で提案されているような立体モデル作成方法を利用することによって作成されたデータである。３次元形状データは、図２のように、サンプルの凹凸を示すための３次元の絶対座標位置を表す形状データと各絶対座標位置に対応するテクスチャ画像上での位置を示すための画像位置指定データとから構成される座標位置データと、ポリゴンを形成するための三角パッチを構成する３点を示すとともに対応するテクスチャ画像データのファイル名を示す三角パッチデータとを有する。
【００２２】
このとき、座標位置データが、（ｘ，ｙ，ｚ，ａ，ｂ）のように表され、（ｘ，ｙ，ｚ）が３次元の絶対座標位置を表すとともに、（ａ，ｂ）が（ｘ，ｙ，ｚ）の位置に相当するテクスチャ画像上での座標位置を表す。又、三角パッチデータが、（ｐ−ｑ−ｒ，ｆ）のように表され、ｐ，ｑ，ｒが座標位置データによって表される三角パッチの各頂点を表すとともに、ｆがその三角パッチに張り付けられるテクスチャ画像データをのファイル名を表す。又、テクスチャ画像データは、ＲＧＢデータを有するＪＰＥＧ（Joint Photographic Coding Experts Grouup）ファイルやビットマップファイルなどで構成され、連続した画像を展開して得られた画像データである。
【００２３】
即ち、座標位置データ内の絶対座標位置によって図２（ａ）のようなポリゴンが描かれるとともに、ファイルｆ１によるテクスチャ画像データによって図２（ｃ）のようなテクスチャ画像が描かれるとき、図２（ａ）の点ｐ１，ｑ１，ｒ１で囲まれる図２（ｂ）のような三角パッチに、図２（ｃ）における点Ｐ１，Ｑ１，Ｒ１で囲まれた部分の画像が張り付けられる。
【００２４】
このとき、ｐ１，ｑ１，ｒ１がそれぞれ、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）であり、Ｐ１，Ｑ１，Ｒ１がそれぞれ、（ａ１，ｂ１）、（ａ２，ｂ２）、（ａ３，ｂ３）であるとき、点Ｐ１，Ｑ１，Ｒ１それぞれに応じた座標位置データ（ｘ１，ｙ１，ｚ１，ａ１，ｂ１）、（ｘ２，ｙ２，ｚ２，ａ２，ｂ２）、（ｘ３，ｙ３，ｚ３，ａ３，ｂ３）となる。よって、図２（ｂ）のような三角パッチによって、三角パッチデータ（ｐ１−ｑ１−ｒ１，ｆ１）が得られる。
【００２５】
このような座標位置データと三角パッチデータで構成される３次元形状データ、及びテクスチャ画像データが図１のデータ作成装置に入力されると、まず、データ分割部１において、３次元形状データとテクスチャ画像データが分割される。そして、３次元形状データが３次元形状データ変換部６に与えられるとともに、テクスチャ画像データが特徴部抽出部２に与えられる。
【００２６】
特徴部抽出部２では、まず、与えられたテクスチャ画像データより、特徴部を含む特徴領域内の画像データの抽出が行われる。この特徴部は、テクスチャ画像サンプルの特徴の最も現れる部分であり、その中心部分を中心として相対的に設定された領域が特徴領域となる。即ち、本実施形態のように、サンプルが人物の顔である場合、特徴部は、目、鼻、眉、口、クマ、シワであり、特徴領域は、この目、鼻、眉、口、クマ、シワより成る特徴部を含むため、鼻を中心として相対的に設定される。よって、図３（ａ）のようなテクスチャ画像が描かれる場合、図３（ｂ）のように鼻付近を中心点Ｏとした特徴領域が設定され、図３（ｃ）のように特徴領域が抽出される。
【００２７】
このようにして特徴領域内の画像データが抽出されると、次に、この特徴領域内の画像データから、ＲＧＢそれぞれが所定範囲のデータ量となる条件を満たす領域を除去することによって、特徴部の画像データのみを抽出する。即ち、本実施形態のように、サンプルが人物の顔である場合、Ｒ＝１５０〜２００、Ｇ＝１３０〜１８０、Ｂ＝９０〜１４０（この数値は、各信号の０〜２５５の階調レベルを表す）を満たす肌色となる領域は、特徴のある部分ではないので、この肌色となる領域を除去する。よって、図３（ｃ）のような特徴領域から、上述のＲＧＢの階調レベルを満たす肌色となる領域が除かれて、図３（ｄ）のような特徴部が抽出される。
【００２８】
このようにして、特徴部の画像データが抽出されると、抽出された画像データがグレースケール変換部３に与えられ、特徴部の画像データがＲＧＢデータより白黒で表されるグレーデータに変換される。よって、後段の特徴部加工部４及び高低変換部５では、画像データは全てグレーデータが用いられる。このグレーデータで表される画像データは、そのデータ量が輝度値に相当するもので画像の濃淡を表す。よって、例えば、このグレーデータで表される画像データを、２５６階調で表されるデジタルデータとするとき、０が最も濃く、２５５が最も淡くなる。
【００２９】
このようにグレーデータに変換された特徴部の画像データが特徴部加工部４に与えられると、特徴部の各部を表す領域毎にエッジ強調処理やグラデーション処理や輝度値補正処理などの画像処理を施すことによって、画像データの加工を行う。即ち、まず、特徴部全体の特徴を明らかにするために、エッジ強調処理を施す。その後、エッジ強調処理を施すことによって境界線部分の輝度値の変化量が大きいことが望ましくない部分については、エッジ強調処理を施した後に、グラデーション処理を施し境界線部分を滑らかにする。又、全体的に凹凸なく平坦な状態にしたい部分については、エッジ強調処理を施した後に輝度値補正処理を行い、同一の輝度値となるように補正する。
【００３０】
このような動作を行う特徴部加工部４において、本実施形態のように、サンプルが人物の顔である場合、まず、特徴部となる目、鼻、眉、口、クマ、シワを強調するために、特徴部全体にエッジ強調処理が行われる。このようにすることで、例えば、目元をはっきりさせたり、二重まぶたを強調させたりすることができる。又、眉や口がエッジ強調処理されることで、自然な状態と異なった形状となるため、できるだけ自然な状態に近くなるように、その境界線部分の輝度を緩やかな変化に変換するためのグラデーション処理を施す。又、白目と黒目とを同じ輝度値になるように、目の中の領域全てに対して輝度値補正処理を施す。よって、図３（ｄ）のように表される特徴部の画像データに、各領域毎に各種画像処理を施すことで、図３（ｅ）のように表される特徴部の画像データに加工される。
【００３１】
このように特徴部加工部４で加工された画像データは、高低変換部５に与えられ、画像データの輝度値を移動量に変換して、この移動量によって表される移動データを生成する。この輝度値と移動量とは比例関係にある。よって、画像データが上述のように２５６階調である場合、輝度値０に対する移動量が最も大きくなるとともに、輝度値２５５に対する移動量が０となるようにして、移動データを生成する。このとき、例えば、図４のように、輝度値０に対する移動量が−５ｍｍとなるとともに、輝度値２５５に対する移動量が０となるようにする場合、移動量が輝度値１当たり略−０．０２ｍｍとなる。よって、このとき、輝度値Ｌと移動量ｓの関係が、ｓ＝−０．０２×Ｌとなる。
【００３２】
このようにして特徴部における移動データが生成されるとき、特徴部抽出部２で抽出された特徴部以外の部分については、その移動量が０とされる。よって、特徴部と特徴部以外の部分の移動量が組み合わされて全領域を表す移動データが生成される。尚、上述の画像データ（テクスチャ画像データを含む）及び移動データについては、テクスチャ画像上の座標位置に関するデータが含まれているものとする。
【００３３】
このようにして画像データの輝度値が移動量に変換されて生成された移動データが、データ分割部１から３次元形状データが与えられる３次元形状データ変換部６に送出される。そして、まず、３次元形状データの三角パッチデータから得られる各三角パッチ毎に、その移動量が演算される。この三角パッチ毎の移動量は、例えば、図２（ｂ）に示す点ｐ１，ｑ１，ｒ１による三角パッチの場合、この三角パッチに相当する図２（ｃ）の点Ｐ１，Ｑ１，Ｒ１で囲まれる領域内の各点における高低変換部５で求められた移動量の平均値を求めることによって得られる。
【００３４】
このように各三角パッチの移動量が求められると、各三角パッチの移動方向である法線ベクトルが求められる。このとき、各三角パッチの三角パッチデータより三角パッチを構成する３点を認識し、この３点それぞれについて、座標位置データより３次元の絶対座標位置を確認する。そして、確認された３点の絶対座標位置より単位ベクトルとなる法線ベクトルが求められる。よって、例えば、図２（ｂ）に示す点ｐ１，ｑ１，ｒ１による三角パッチの法線ベクトルは、次のように表される。尚、k=(((y2-y1)(z3-z1)-(y3-y1)(z2-z1))2+((z2-z1)(x3-x1)-(z3-z1)(x2-x1))2+((x2-x1)(y3-y1)-(x3-x1)(y2-y1))2)1/2である。
（((y2-y1)(z3-z1)-(y3-y1)(z2-z1))/k,((z2-z1)(x3-x1)-(z3-z1)(x2-x1))/k,((x2-x1)(y3-y1)-(x3-x1)(y2-y1))/k）
【００３５】
このように各三角パッチの移動量及び法線ベクトルが求められると、各三角パッチに対して、その法線ベクトルの方向に対して移動量分移動させるように、各三角パッチを構成する各点の絶対座標位置が変更される。即ち、図２（ｂ）に示す点ｐ１，ｑ１，ｒ１による三角パッチの場合、図５のように、法線ベクトルＲの方向に対して、移動量Ｄ分移動させるように、点ｐ１，ｑ１，ｒ１の絶対座標位置が変更されて座標位置データが変更される。このようにして、座標位置データが変更されることによって、３次元形状データが変換される。
【００３６】
この変換された３次元形状データが形状データ抽出部７に与えられると、３次元形状データの座標位置データ（ｘ，ｙ，ｚ，ａ，ｂ）より絶対座標位置を表す（ｘ，ｙ，ｚ）を形状データとして抽出する。このようにして、テクスチャ画像データの特徴部の画像データから得られた移動データに基づいて形状データが生成され、この形状データがテクスチャ画像内の特徴部を強調させるようなデータとなる。
【００３７】
そして、生成された形状データが加工データ生成部８に与えられると、３次元立体模型を生成するための加工用データが生成される。この加工用データとして、例えば、３次元立体模型を切削加工して生成する場合、円筒状の素材を切削するエンドミルの移動経路や切削量などを示す切削加工用データが生成される。尚、この加工用データは、３次元立体模型を製造する方法に応じて生成されるデータであり、例えば、光造形を利用して３次元立体模型を製造する場合は、この光造形用のデータが生成される。
【００３８】
この加工データ生成部８で生成された加工用データが、３次元立体模型を生成するための製造装置に与えられることによって、製造装置がこの加工用データに基づいて自動的に動作し、３次元立体模型が生成される。このとき、この３次元立体模型は、テクスチャ画像データにおける特徴部の濃淡が強調された模型となる。即ち、特徴部が特徴部以外の部分と比べて、その高低差が大きくなるように生成される。
【００３９】
よって、サンプルが人物の顔である場合、目、鼻、眉、口、クマ、シワの特徴部の高低差が大きくなり、テクスチャ画像における目、鼻、眉、口、クマ、シワの特徴部濃淡が強調された３次元立体模型が生成される。即ち、データ作成装置に入力された３次元形状データより得られる形状データにより、図６（ａ）のような３次元立体模型が生成されるとき、データ作成装置から出力される形状データにより、図６（ｂ）のような３次元立体模型が生成される。
【００４０】
尚、このようなデータ作成装置によって生成された加工用データを用いて３次元立体模型を生成するとき、エンドミルなどで切削して生成するものとしたが、このような生成方法に限らず、光造形など他の方法を用いて３次元立体模型を生成するようにしても構わない。
【００４２】
又、本実施形態において、高低変換部で移動量を図４のような輝度値と線形的な関係となる連続的な１次式より求められるようにしたが、例えば、２次式や３次式などの非線形となる演算式を用いて求められるようにしても構わないし、不連続であるが単調に増加又は減少するような関係を持つ演算式を用いて求められるようにしても構わない。更に、外部から操作されることによって、この高低変換部で移動量を求める際に用いられる演算式が、このような複数の演算式より選択されるようにしても構わない。
【００４３】
又、本実施形態において、３点からなる三角パッチ毎に輝度値に応じた移動量が求められ、各三角パッチを、その法線方向に、求めた移動量分だけ平行移動させるようにして、特徴部の特徴付けを行ったが、３点からなる三角パッチ毎に輝度値に応じて補正する角度を求め、各三角パッチの３頂点のうちの少なくとも１点の座標位置を変更して、求められた角度分の補正を行って、特徴部の特徴付けを行うようにしても構わない。
【００４４】
【発明の効果】
本発明によると、画像データによる濃淡に基づいて、３次元の形状データのデータ量の変換を行うため、３次元立体模型のサンプル表面上の色の濃淡を３次元の形状データに反映させることができる。よって、このような３次元の形状データを用いて３次元立体模型を製作したとき、３次元立体模型のサンプル上における特徴を強調して表現させることができる。即ち、例えば、人物の顔をサンプルとした場合、単色の３次元立体模型において、その人物の表情などの特徴を強調させることができる。
【図面の簡単な説明】
【図１】本発明のデータ作成装置の内部構成を示すブロック図。
【図２】３次元形状データとテクスチャ画像データの関係を示すための図。
【図３】テクスチャ画像データの処理される様子を示すための図。
【図４】輝度値と移動量の関係を示す図。
【図５】３次元形状データ変換部での動作を示すための図。
【図６】データ作成装置による処理前の３次元形状データによる３次元立体模型の様子と、データ作成装置による処理後の形状データによる３次元立体模型の様子とを示す図。
【符号の説明】
１    データ分割部
２    特徴部抽出部
３    グレースケール変換部
４    特徴部加工部
５    高低変換部
６    ３次元形状データ変換部
７    形状データ抽出部
８    加工データ生成部
【図１】
0003744841.tif 000002
【図２】
0003744841.tif 000003
【図３】
0003744841.tif 000004
【図４】
0003744841.tif 000005
【図５】
0003744841.tif 000006
【図６】
0003744841.tif 000007