(57)【特許請求の範囲】
【請求項１】
二次元の顔写真に基づいて、三次元ポートレートを作成する装置であって、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数Ｎ通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納した雛形モデル格納部と、
前記Ｎ通りの雛形モデルの中の１つを選択する雛形選択部と、
前記雛形選択部が選択した選択モデルの表面に、前記顔写真格納部内の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを前記特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
個々の雛形モデルのそれぞれについて、固有の特徴量を格納した特徴量格納部と、
前記顔写真格納部に格納された二次元顔写真から固有の特徴量を抽出する特徴量抽出部と、
を備え、
前記雛形選択部が、前記特徴量抽出部が抽出した特徴量に最も近い特徴量を有する特定の雛形モデルを選択し、
特徴量として、顔を構成する個々のパーツの代表点の位置座標を用い、
前記雛形選択部が、雛形モデルと二次元顔写真との大きさ、位置、および向きを調整した上で、各代表点の位置が最も近似した特定の雛形モデルを選択することを特徴とする三次元ポートレートの作成装置。
【請求項２】
請求項１に記載の三次元ポートレートの作成装置において、
顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口の群から選択された複数のパーツを用い、
個々のパーツの代表点として、パーツ構成領域の重心点、パーツ構成領域の外接矩形の中心点、または、パーツ構成領域の輪郭線上の点を用いることを特徴とする三次元ポートレートの作成装置。
【請求項３】
請求項２に記載の三次元ポートレートの作成装置において、
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶを格納しており、
特徴量格納部が、ＸＹＺ三次元座標系上に前記正面ベクトルＶがＺ軸に平行になるように配置した雛形モデルを、ＸＹ平面上へ正射影投影した雛形投影像について、各代表点の位置座標を特徴量として格納しており、
特徴量抽出部が、ＸＹ平面上に配置した二次元顔写真について、各代表点の位置座標を特徴量として抽出し、
雛形選択部が、前記ＸＹ平面上において、前記雛形投影像と前記二次元顔写真との大きさ、位置、および向きを調整した上で、前記雛形投影像の各代表点と、これに対応する前記二次元顔写真の各代表点との距離の和もしくは距離の重み付き和が最小となる雛形モデルを選択することを特徴とする三次元ポートレートの作成装置。
【請求項４】
請求項３に記載の三次元ポートレートの作成装置において、
両目の代表点を結ぶ線を基準線と定義し、この基準線上における前記両目の代表点間の中点を基準点と定義し、前記基準線に沿った顔の幅を基準幅と定義し、
雛形選択部が、ＸＹ平面上において、前記基準幅が一致するように雛形投影像と二次元顔写真との大きさの調整を行い、前記基準点が一致するように雛形投影像と二次元顔写真との位置の調整を行い、前記基準線が重なるように雛形投影像と二次元顔写真との向きの調整を行うことを特徴とする三次元ポートレートの作成装置。
【請求項５】
二次元の顔写真に基づいて、三次元ポートレートを作成する装置であって、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数Ｎ通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納し、かつ、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶを格納した雛形モデル格納部と、
前記Ｎ通りの雛形モデルの中の１つを選択する雛形選択部と、
ＸＹＺ三次元座標系上に前記正面ベクトルＶがＺ軸に平行になるように配置した雛形モデルを、ＸＹ平面上へ正射影投影した雛形投影像について、顔を構成する個々のパーツの代表点の位置座標を特徴量として格納した特徴量格納部と、
ＸＹ平面上に配置した二次元顔写真について、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する特徴量抽出部と、
前記雛形選択部が選択した選択モデルを、前記顔写真格納部に格納されている二次元顔写真に適合するように修正するモデル修正部と、
前記モデル修正部によって修正された修正後の選択モデルの表面に、前記顔写真格納部内の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを前記特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
を備え、
前記モデル修正部が、
ＸＹ平面上において、選択モデルの雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、選択モデルの雛形投影像の各代表点から二次元顔写真上の対応する各代表点に向かう代表移動ベクトルを求め、
ＸＹＺ三次元座標系上において、雛形投影像の各代表点にそれぞれ対応する選択モデル上の個々の代表点を、それぞれ対応する代表移動ベクトルに応じて移動させ、選択モデル上のその余の一般点を、前記個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルに応じて移動させることにより、選択モデルに対する修正を行うことを特徴とする三次元ポートレートの作成装置。
【請求項６】
請求項５に記載の三次元ポートレートの作成装置において、
モデル修正部が、一般点についての一般移動ベクトルを求める際に、雛形投影像の各代表点のうち、当該一般点のＸＹ平面上への投影点Ｑに最も近い第１近傍点Ｑａおよび２番目に近い第２近傍点Ｑｂを求め、点Ｑと点Ｑａとの距離をＤａ、点Ｑと点Ｑｂとの距離をＤｂ、前記第１近傍点Ｑａについての代表移動ベクトルをベクトルαａ、前記第２近傍点Ｑｂについての代表移動ベクトルをベクトルαｂ、としたときに、α＝（Ｄｂ／（Ｄａ＋Ｄｂ））・αａ＋（Ｄａ／（Ｄａ＋Ｄｂ））・αｂなる式によって求まるベクトルαを当該一般点についての一般移動ベクトルとする補間処理を行うことを特徴とする三次元ポートレートの作成装置。
【請求項７】
請求項５に記載の三次元ポートレートの作成装置において、
モデル修正部が、一般点についての一般移動ベクトルを求める際に、雛形投影像のｎ個（ｎ≧３）の代表点のそれぞれと当該一般点のＸＹ平面上への投影点Ｑとの距離Ｄ１，... ，Ｄｉ，... ，Ｄｎをそれぞれ求め、雛形投影像のｎ個の代表点についての代表移動ベクトルを、それぞれα１，... ，αｉ，... ，αｎとしたときに、α＝Σi=1,n（αｉ／Ｄｉ２）／Σi=1,n（１／Ｄｉ２）なる式によって求まるベクトルαを当該一般点についての一般移動ベクトルとする補間処理を行うことを特徴とする三次元ポートレートの作成装置。
【請求項８】
二次元の顔写真に基づいて、三次元ポートレートを作成する装置であって、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数Ｎ通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納し、かつ、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶを格納した雛形モデル格納部と、
前記Ｎ通りの雛形モデルの中の１つを選択する雛形選択部と、
ＸＹＺ三次元座標系上に前記正面ベクトルＶがＺ軸に平行になるように配置した雛形モデルを、ＸＹ平面上へ正射影投影した雛形投影像について、顔を構成する個々のパーツの代表点の位置座標を特徴量として格納した特徴量格納部と、
ＸＹ平面上に配置した二次元顔写真について、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する特徴量抽出部と、
前記顔写真格納部に格納されている二次元顔写真を、前記雛形選択部が選択した選択モデルに適合するように修正する顔写真修正部と、
前記選択モデルの表面に、前記顔写真修正部によって修正された修正後の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを前記特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
を備え、
前記顔写真修正部が、
ＸＹ平面上において、選択モデルの雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、二次元顔写真の各代表点から選択モデルの雛形投影像上の対応する各代表点に向かう代表移動ベクトルを求め、
ＸＹ平面上において、二次元顔写真の各代表点をそれぞれ対応する代表移動ベクトルに応じて移動させ、二次元顔写真上のその余の一般点を、個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルに応じて移動させることにより、二次元顔写真に対する修正を行うことを特徴とする三次元ポートレートの作成装置。
【請求項９】
請求項８に記載の三次元ポートレートの作成装置において、
顔写真修正部が、一般点についての一般移動ベクトルを求める際に、二次元顔写真の各代表点のうち、当該一般点Ｐに最も近い第１近傍点Ｐａおよび２番目に近い第２近傍点Ｐｂを求め、点Ｐと点Ｐａとの距離をＤａ、点Ｐと点Ｐｂとの距離をＤｂ、前記第１近傍点Ｐａについての代表移動ベクトルをベクトルβａ、前記第２近傍点Ｐｂについての代表移動ベクトルをベクトルβｂ、としたときに、β＝（Ｄｂ／（Ｄａ＋Ｄｂ））・βａ＋（Ｄａ／（Ｄａ＋Ｄｂ））・βｂなる式によって求まるベクトルβを当該一般点についての一般移動ベクトルとする補間処理を行うことを特徴とする三次元ポートレートの作成装置。
【請求項１０】
請求項８に記載の三次元ポートレートの作成装置において、
顔写真修正部が、一般点についての一般移動ベクトルを求める際に、二次元顔写真のｎ個（ｎ≧３）の代表点と当該一般点Ｐとの距離Ｄ１，... ，Ｄｉ，... ，Ｄｎをそれぞれ求め、二次元顔写真のｎ個の代表点についての代表移動ベクトルを、それぞれβ１，... ，βｉ，... ，βｎとしたときに、β＝Σi=1,n（βｉ／Ｄｉ２）／Σi=1,n（１／Ｄｉ２）なる式によって求まるベクトルβを当該一般点についての一般移動ベクトルとする補間処理を行うことを特徴とする三次元ポートレートの作成装置。
【請求項１１】
請求項５〜１０のいずれかに記載の三次元ポートレートの作成装置において、
雛形選択部が、Ｎ通りの雛形モデルの中の１つを指定するオペレータの選択指示に基づいて雛形モデルの選択を行うことを特徴とする三次元ポートレートの作成装置。
【請求項１２】
請求項５〜１０のいずれかに記載の三次元ポートレートの作成装置において、
個々の雛形モデルのそれぞれについて、特定の基準で分類した場合にどの分類に所属するかを示す属性を定義した情報を格納した属性格納部を更に備え、
雛形選択部が、オペレータから入力された属性に基づいて前記属性格納部を検索し、入力された属性に合致する属性が定義された特定の雛形モデルを選択することを特徴とする三次元ポートレートの作成装置。
【請求項１３】
請求項５〜１０のいずれかに記載の三次元ポートレートの作成装置において、
雛形選択部が、特徴量抽出部が抽出した特徴量に最も近い特徴量を有する特定の雛形モデルを選択することを特徴とする三次元ポートレートの作成装置。
【請求項１４】
請求項５〜１３のいずれかに記載の三次元ポートレートの作成装置において、
顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口の群から選択された複数のパーツを用い、
個々のパーツの代表点として、パーツ構成領域の重心点、パーツ構成領域の外接矩形の中心点、または、パーツ構成領域の輪郭線上の点を用いることを特徴とする三次元ポートレートの作成装置。
【請求項１５】
請求項１４に記載の三次元ポートレートの作成装置において、
両目の代表点を結ぶ線を基準線と定義し、この基準線上における前記両目の代表点間の中点を基準点と定義し、前記基準線に沿った顔の幅を基準幅と定義し、
モデル修正部もしくは顔写真修正部が、ＸＹ平面上において、前記基準幅が一致するように雛形投影像と二次元顔写真との大きさの調整を行い、前記基準点が一致するように雛形投影像と二次元顔写真との位置の調整を行い、前記基準線が重なるように雛形投影像と二次元顔写真との向きの調整を行うことを特徴とする三次元ポートレートの作成装置。
【請求項１６】
二次元の顔写真に基づいて、三次元ポートレートを作成する装置であって、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数Ｎ通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納した雛形モデル格納部と、
前記Ｎ通りの雛形モデルの中の１つを選択する雛形選択部と、
前記雛形選択部が選択した選択モデルの表面に、前記顔写真格納部内の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを前記特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
を備え、
前記雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶを格納しており、
前記マッピング処理部が、ＸＹＺ三次元座標系上に、前記選択モデルを前記正面ベクトルＶがＺ軸に平行になるように配置し、前記二次元顔写真をＸＹ平面上に配置し、前記選択モデルおよび前記二次元顔写真の大きさ、位置、および向きを調整した上で、前記選択モデルの表面に前記二次元顔写真を正射影投影することによりマッピングを行うことを特徴とする三次元ポートレートの作成装置。
【請求項１７】
請求項１〜１６のいずれかに記載の三次元ポートレートの作成装置としてコンピュータを機能させるプログラム。
【請求項１８】
請求項１〜１６のいずれかに記載の三次元ポートレートの作成装置と、
この三次元ポートレートの作成装置から出力された頭部三次元モデルのデータに基づいて、前記頭部三次元モデルを互いに異なる視点位置から観察して得られる２枚以上の視差画像を作成し、これを画像データとして出力するか、もしくは、物理的媒体上に印刷して出力する視差画像作成装置と、
を備えることを特徴とする三次元ポートレート用視差画像作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元ポートレートの作成装置に関し、特に、特定の人物についての二次元顔写真データに基づいて、当該特定の人物についての頭部三次元モデルのデータを作成する装置に関する。
【背景技術】
【０００２】
コンピュータグラフィックス技術の発展により、様々な物体を三次元画像データとして取り扱うことが可能になってきている。このため、人物についても、立体的な肖像画（三次元ポートレート）を作成する方法が提案されている。
【０００３】
たとえば、下記の特許文献１には、人物を複数の方向から撮影した画像に対してコンピュータ処理を施すことにより、当該人物の三次元ポートレートを作成する技術が開示されている。また、特許文献２には、標準モデルを利用して、二次元ポートレートに基づいて三次元ポートレートを作成する技術が開示されている。そして、特許文献３には、このようにして得られた三次元ポートレートを、レンチキュラレンズを用いた記録媒体に記録する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−０９９８０７号公報
【特許文献２】特開２００２−３２７８３号公報
【特許文献３】特開２００７−１４７７３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特定の人物の三次元ポートレートを作成するには、前掲の特許文献１に開示されているように、被写体となる人物を様々な方向から撮影することにより三次元情報を忠実に取り込むのが最も直接的かつ確実な方法である。しかしながら、このような方法で三次元情報を取り込むには、大掛かりな撮影設備が必要になる。具体的には、スタジオの中央に被写体を座らせ、その周囲に、カメラを移動させるためのレールを敷設し、このレールに沿ってカメラを移動させながら複数の画像を撮影する装置が一般に利用されている。このような大掛かりな撮影装置を利用すれば、当然、三次元ポートレートの作成コストは高騰せざるを得ない。
【０００６】
また、被写体となる人物に、スタジオまで足を運んでもらい、撮影の間、静止していてもらう必要があるため、被写体となる人物に対する負担も大きい。当然ながら、故人となった人物については、このような方法で三次元ポートレートを作成することはできない。
【０００７】
このような問題に対処するため、前掲の特許文献２には、三次元の標準モデルを用意しておき、この標準モデルを、撮影時のパラメータに基づいて二次元ポートレートにフィッティングさせながら変形することにより三次元ポートレートを作成する技術が開示されている。しかしながら、この方法では、フィッティングを行う段階で無理な歪みが生じるため、場合によっては、ポートレートとして相応しくない程に歪みを生じる可能性がある。また、三次元の標準モデルを画一的に適用するため、二次元ポートレート上の人物の細かな特徴が、三次元ポートレート上は十分に表現されないという問題も生じる。
【０００８】
そこで本発明は、被写体となる人物の二次元顔写真に基づいて、当該人物の三次元ポートレートを正確に作成することが可能な三次元ポートレートの作成装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
(1)   本発明の第１の態様は、二次元の顔写真に基づいて、三次元ポートレートを作成する三次元ポートレートの作成装置において、
特定の人物についての二次元顔写真を画像データとして取り込む顔写真入力部と、
取り込んだ二次元顔写真を格納する顔写真格納部と、
複数Ｎ通りのバリエーションをもった頭部の三次元形状データを雛形モデルとして格納した雛形モデル格納部と、
Ｎ通りの雛形モデルの中の１つを選択する雛形選択部と、
雛形選択部が選択した選択モデルの表面に、顔写真格納部内の二次元顔写真をマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを特定の人物についての三次元ポートレートとして出力するマッピング処理部と、
を設けるようにしたものである。
【００１０】
(2)   本発明の第２の態様は、上述した第１の態様に係る三次元ポートレートの作成装置において、
雛形選択部が、Ｎ通りの雛形モデルの中の１つを指定するオペレータの選択指示に基づいて雛形モデルの選択を行うようにしたものである。
【００１１】
(3)   本発明の第３の態様は、上述した第１の態様に係る三次元ポートレートの作成装置において、
個々の雛形モデルのそれぞれについて、特定の基準で分類した場合にどの分類に所属するかを示す属性を定義した情報を格納した属性格納部を更に設け、
雛形選択部が、オペレータから入力された属性に基づいて属性格納部を検索し、入力された属性に合致する属性が定義された特定の雛形モデルを選択するようにしたものである。
【００１２】
(4)   本発明の第４の態様は、上述した第１の態様に係る三次元ポートレートの作成装置において、
個々の雛形モデルのそれぞれについて、固有の特徴量を格納した特徴量格納部と、
顔写真格納部に格納された二次元顔写真から固有の特徴量を抽出する特徴量抽出部と、
を更に設け、
雛形選択部が、特徴量抽出部が抽出した特徴量に最も近い特徴量を有する特定の雛形モデルを選択するようにしたものである。
【００１３】
(5)   本発明の第５の態様は、上述した第４の態様に係る三次元ポートレートの作成装置において、
特徴量として、顔を構成する個々のパーツの代表点の位置座標を用い、
雛形選択部が、雛形モデルと二次元顔写真との大きさ、位置、および向きを調整した上で、各代表点の位置が最も近似した特定の雛形モデルを選択するようにしたものである。
【００１４】
(6)   本発明の第６の態様は、上述した第５の態様に係る三次元ポートレートの作成装置において、
顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口の群から選択された複数のパーツを用い、
個々のパーツの代表点として、パーツ構成領域の重心点、パーツ構成領域の外接矩形の中心点、または、パーツ構成領域の輪郭線上の点を用いるようにしたものである。
【００１５】
(7)   本発明の第７の態様は、上述した第６の態様に係る三次元ポートレートの作成装置において、
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶを格納しており、
特徴量格納部が、ＸＹＺ三次元座標系上に正面ベクトルＶがＺ軸に平行になるように配置した雛形モデルを、ＸＹ平面上へ正射影投影した雛形投影像について、各代表点の位置座標を特徴量として格納しており、
特徴量抽出部が、ＸＹ平面上に配置した二次元顔写真について、各代表点の位置座標を特徴量として抽出し、
雛形選択部が、ＸＹ平面上において、雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、雛形投影像の各代表点と、これに対応する二次元顔写真の各代表点との距離の和もしくは距離の重み付き和が最小となる雛形モデルを選択するようにしたものである。
【００１６】
(8)   本発明の第８の態様は、上述した第７の態様に係る三次元ポートレートの作成装置において、
両目の代表点を結ぶ線を基準線と定義し、この基準線上における両目の代表点間の中点を基準点と定義し、基準線に沿った顔の幅を基準幅と定義し、
雛形選択部が、ＸＹ平面上において、基準幅が一致するように雛形投影像と二次元顔写真との大きさの調整を行い、基準点が一致するように雛形投影像と二次元顔写真との位置の調整を行い、基準線が重なるように雛形投影像と二次元顔写真との向きの調整を行うようにしたものである。
【００１７】
(9)   本発明の第９の態様は、上述した第１〜第８の態様に係る三次元ポートレートの作成装置において、
雛形選択部が選択した選択モデルを、顔写真格納部に格納されている二次元顔写真に適合するように修正するモデル修正部を更に設け、
マッピング処理部が、修正後の選択モデルの表面に、二次元顔写真をマッピングするようにしたものである。
【００１８】
(10)  本発明の第１０の態様は、上述した第９の態様に係る三次元ポートレートの作成装置において、
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶを格納しており、
ＸＹＺ三次元座標系上に正面ベクトルＶがＺ軸に平行になるように配置した雛形モデルを、ＸＹ平面上へ正射影投影した雛形投影像について、顔を構成する個々のパーツの代表点の位置座標を特徴量として格納した特徴量格納部と、
ＸＹ平面上に配置した二次元顔写真について、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する特徴量抽出部と、
を設け、
モデル修正部が、
ＸＹ平面上において、選択モデルの雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、選択モデルの雛形投影像の各代表点から二次元顔写真上の対応する各代表点に向かう代表移動ベクトルを求め、
ＸＹＺ三次元座標系上において、雛形投影像の各代表点にそれぞれ対応する選択モデル上の個々の代表点を、それぞれ対応する代表移動ベクトルに応じて移動させ、選択モデル上のその余の一般点を、個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルに応じて移動させることにより、選択モデルに対する修正を行うようにしたものである。
【００１９】
(11)  本発明の第１１の態様は、上述した第１０の態様に係る三次元ポートレートの作成装置において、
モデル修正部が、一般点についての一般移動ベクトルを求める際に、雛形投影像の各代表点のうち、当該一般点のＸＹ平面上への投影点Ｑに最も近い第１近傍点Ｑａおよび２番目に近い第２近傍点Ｑｂを求め、点Ｑと点Ｑａとの距離をＤａ、点Ｑと点Ｑｂとの距離をＤｂ、第１近傍点Ｑａについての代表移動ベクトルをベクトルαａ、第２近傍点Ｑｂについての代表移動ベクトルをベクトルαｂ、としたときに、α＝（Ｄｂ／（Ｄａ＋Ｄｂ））・αａ＋（Ｄａ／（Ｄａ＋Ｄｂ））・αｂなる式によって求まるベクトルαを当該一般点についての一般移動ベクトルとする補間処理を行うようにしたものである。
【００２０】
(12)  本発明の第１２の態様は、上述した第１０の態様に係る三次元ポートレートの作成装置において、
モデル修正部が、一般点についての一般移動ベクトルを求める際に、雛形投影像のｎ個（ｎ≧３）の代表点のそれぞれと当該一般点のＸＹ平面上への投影点Ｑとの距離Ｄ１，... ，Ｄｉ，... ，Ｄｎをそれぞれ求め、雛形投影像のｎ個の代表点についての代表移動ベクトルを、それぞれα１，... ，αｉ，... ，αｎとしたときに、α＝Σi=1,n（αｉ／Ｄｉ２）／Σi=1,n（１／Ｄｉ２）なる式によって求まるベクトルαを当該一般点についての一般移動ベクトルとする補間処理を行うようにしたものである。
【００２１】
(13)  本発明の第１３の態様は、上述した第１〜第８の態様に係る三次元ポートレートの作成装置において、
顔写真格納部に格納されている二次元顔写真を、雛形選択部が選択した選択モデルに適合するように修正する顔写真修正部を更に設け、
マッピング処理部が、選択モデルの表面に、修正後の二次元顔写真をマッピングするようにしたものである。
【００２２】
(14)  本発明の第１４の態様は、上述した第１３の態様に係る三次元ポートレートの作成装置において、
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶを格納しており、
ＸＹＺ三次元座標系上に正面ベクトルＶがＺ軸に平行になるように配置した雛形モデルを、ＸＹ平面上へ正射影投影した雛形投影像について、顔を構成する個々のパーツの代表点の位置座標を特徴量として格納した特徴量格納部と、
ＸＹ平面上に配置した二次元顔写真について、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する特徴量抽出部と、
を設け、
顔写真修正部が、
ＸＹ平面上において、選択モデルの雛形投影像と二次元顔写真との大きさ、位置、および向きを調整した上で、二次元顔写真の各代表点から選択モデルの雛形投影像上の対応する各代表点に向かう代表移動ベクトルを求め、
ＸＹ平面上において、二次元顔写真の各代表点をそれぞれ対応する代表移動ベクトルに応じて移動させ、二次元顔写真上のその余の一般点を、個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルに応じて移動させることにより、二次元顔写真に対する修正を行うようにしたものである。
【００２３】
(15)  本発明の第１５の態様は、上述した第１４の態様に係る三次元ポートレートの作成装置において、
顔写真修正部が、一般点についての一般移動ベクトルを求める際に、二次元顔写真の各代表点のうち、当該一般点Ｐに最も近い第１近傍点Ｐａおよび２番目に近い第２近傍点Ｐｂを求め、点Ｐと点Ｐａとの距離をＤａ、点Ｐと点Ｐｂとの距離をＤｂ、第１近傍点Ｐａについての代表移動ベクトルをベクトルβａ、第２近傍点Ｐｂについての代表移動ベクトルをベクトルβｂ、としたときに、β＝（Ｄｂ／（Ｄａ＋Ｄｂ））・βａ＋（Ｄａ／（Ｄａ＋Ｄｂ））・βｂなる式によって求まるベクトルβを当該一般点についての一般移動ベクトルとする補間処理を行うようにしたものである。
【００２４】
(16)  本発明の第１６の態様は、上述した第１４の態様に係る三次元ポートレートの作成装置において、
顔写真修正部が、一般点についての一般移動ベクトルを求める際に、二次元顔写真のｎ個（ｎ≧３）の代表点と当該一般点Ｐとの距離Ｄ１，... ，Ｄｉ，... ，Ｄｎをそれぞれ求め、二次元顔写真のｎ個の代表点についての代表移動ベクトルを、それぞれβ１，... ，βｉ，... ，βｎとしたときに、β＝Σi=1,n（βｉ／Ｄｉ２）／Σi=1,n（１／Ｄｉ２）なる式によって求まるベクトルβを当該一般点についての一般移動ベクトルとする補間処理を行うようにしたものである。
【００２５】
(17)  本発明の第１７の態様は、上述した第１０〜第１２、第１４〜第１６の態様に係る三次元ポートレートの作成装置において、
顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口の群から選択された複数のパーツを用い、
個々のパーツの代表点として、パーツ構成領域の重心点、パーツ構成領域の外接矩形の中心点、または、パーツ構成領域の輪郭線上の点を用いるようにしたものである。
【００２６】
(18)  本発明の第１８の態様は、上述した第１７の態様に係る三次元ポートレートの作成装置において、
両目の代表点を結ぶ線を基準線と定義し、この基準線上における両目の代表点間の中点を基準点と定義し、基準線に沿った顔の幅を基準幅と定義し、
モデル修正部もしくは顔写真修正部が、ＸＹ平面上において、基準幅が一致するように雛形投影像と二次元顔写真との大きさの調整を行い、基準点が一致するように雛形投影像と二次元顔写真との位置の調整を行い、基準線が重なるように雛形投影像と二次元顔写真との向きの調整を行うようにしたものである。
【００２７】
(19)  本発明の第１９の態様は、上述した第１〜第１８の態様に係る三次元ポートレートの作成装置において、
雛形モデル格納部が、個々の雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶを格納しており、
マッピング処理部が、ＸＹＺ三次元座標系上に、選択モデルを正面ベクトルＶがＺ軸に平行になるように配置し、二次元顔写真をＸＹ平面上に配置し、選択モデルおよび二次元顔写真の大きさ、位置、および向きを調整した上で、選択モデルの表面に二次元顔写真を正射影投影することによりマッピングを行うようにしたものである。
【００２８】
(20)  本発明の第２０の態様は、上述した第１〜第１９の態様に係る三次元ポートレートの作成装置を、コンピュータに専用のプログラムを組み込むことにより構成するようにしたものである。
【００２９】
(21)  本発明の第２１の態様は、上述した第１〜第１９の態様に係る三次元ポートレートの作成装置と、
この三次元ポートレートの作成装置から出力された頭部三次元モデルのデータに基づいて、頭部三次元モデルを互いに異なる視点位置から観察して得られる２枚以上の視差画像を作成し、これを画像データとして出力するか、もしくは、物理的媒体上に印刷して出力する視差画像作成装置と、
によって、三次元ポートレート用視差画像作成システムを構成したものである。
【発明の効果】
【００３０】
本発明に係る三次元ポートレートの作成装置によれば、予め、複数Ｎ通りのバリエーションをもった頭部の三次元形状データが雛形モデルとして用意されているため、その中の最適なものを選択して、二次元顔写真をマッピングすることができる。このため、被写体となる人物の二次元顔写真に基づいて、当該人物の三次元ポートレートを正確に作成することができる。
【００３１】
また、属性に基づいて雛形モデルの選択を行う実施形態を採用すれば、オペレータが、二次元顔写真についての属性を示すパラメータを入力するだけで、最適な雛形モデルの選択が可能になる。
【００３２】
一方、顔を構成する個々のパーツの代表点の位置座標など、顔についての特徴を数値で示す特徴量を利用して雛形モデルの選択を行う実施形態を採用すれば、オペレータによる入力操作を行わずに、自動的に最適な雛形モデルの選択が可能になる。
【００３３】
更に、雛形選択部が選択した選択モデルを二次元顔写真に適合するように修正するモデル修正部を付加する実施形態や、二次元顔写真を雛形選択部が選択した選択モデルに適合するように修正する顔写真修正部を付加する実施形態を採用すれば、二次元顔写真と選択モデルとの適合性を更に向上させることができ、より正確な三次元ポートレートを作成することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。
【図２】図１に示す雛形モデル格納部３０内に格納されている雛形モデルＭの例を示す斜視図である。
【図３】図１に示すマッピング処理部５０によって実行されるマッピング処理を示す斜視図である。
【図４】図３に示すマッピング処理を行う際の自動調整方法の一例を示す正面図である。
【図５】図３に示すマッピング処理によって得られる三次元ポートレートＧの斜視図である。
【図６】本発明の第２の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。
【図７】図６に示す属性格納部６０内に格納される雛形モデルの属性の具体的な定義例を示す表である。
【図８】図６に示す雛形選択部４０Ａによる雛形選択処理の一例を示す図である。
【図９】本発明の第３の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。
【図１０】図９に示す顔写真格納部２０内に格納されている二次元顔写真Ｆの一例を示す平面図である。
【図１１】図１０に示す二次元顔写真Ｆから特徴量を抽出するための代表点を決定する処理を示す平面図である。
【図１２】図１１に示す代表点に基づいて、眉間に基準点Ｐ０を決定する処理を示す平面図である。
【図１３】図１２に示す基準点Ｐ０および基準線Ｌに基づいて、顔の輪郭についての代表点を決定する処理を示す平面図である。
【図１４】図９に示す雛形モデル格納部３０内に格納されている雛形モデルの投影像Ｈの一例を示す正面図である。
【図１５】図１４に示す雛形投影像Ｈについて抽出された１０個の代表点Ｑ１〜Ｑ１０を示す平面図である。
【図１６】図１３に示す二次元顔写真Ｆの代表点（黒丸）と、図１５に示す雛形投影像Ｈの代表点（×印）と、の相互位置関係を示す平面図である。
【図１７】図９に示す雛形選択部４０Ｂによる雛形選択処理に利用される数式を示す図である。
【図１８】本発明の第４の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。
【図１９】図１８に示すモデル修正部９０によって求められた代表移動ベクトルの一例を示す平面図である。
【図２０】図１８に示すモデル修正部９０により一般移動ベクトルを定義する方法の一例を示す平面図である。
【図２１】図１８に示すモデル修正部９０により一般移動ベクトルを定義する方法の別な一例を示す平面図である。
【図２２】図２１に示す一般移動ベクトルの定義方法に用いられる一般式を示す図である。
【図２３】図１８に示すモデル修正部９０によって行われる選択モデルＭｊに対する修正処理を示す斜視図である。
【図２４】本発明の第５の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。
【図２５】図２４に示す顔写真修正部９５によって求められた代表移動ベクトルの一例を示す平面図である。
【図２６】図２４に示す顔写真修正部９５により一般移動ベクトルを定義する方法の一例を示す平面図である。
【図２７】図１８に示す顔写真修正部９５により一般移動ベクトルを定義する方法の別な一例を示す平面図である。
【図２８】図２７に示す一般移動ベクトルの定義方法に用いられる一般式を示す図である。
【発明を実施するための形態】
【００３５】
以下、本発明を図示する実施形態に基づいて説明する。
【００３６】
＜＜＜  §１．  第１の実施形態  ＞＞＞
図１は、本発明の第１の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。この装置は、図示のとおり、顔写真入力部１０、顔写真格納部２０、雛形モデル格納部３０、雛形選択部４０、マッピング処理部５０によって構成され、図の上方に示された二次元顔写真Ｆに基づいて、図の下方に示された三次元ポートレートＧを作成する機能を果たす。
【００３７】
顔写真入力部１０は、特定の人物についての二次元顔写真Ｆを画像データとして取り込む構成要素であり、顔写真格納部２０は、取り込んだ二次元顔写真Ｆを格納する構成要素である。顔写真入力部１０として、スキャナ装置を用いるようにすれば、物理的な媒体からなる写真から二次元顔写真Ｆを取り込むことができる。たとえば、故人のスナップ写真を遺族から借受け、これをスキャナ装置（顔写真入力部１０）で読み取って、得られた画像データを顔写真格納部２０に格納すれば、当該故人についての二次元顔写真Ｆを顔写真格納部２０内に用意することができる。
【００３８】
もちろん、顔写真入力部１０として、デジタルカメラを用いるようにすれば、被写体となる人物の顔を撮影することにより、当該人物の二次元顔写真Ｆを画像データとして取り込むことができる。また、ネットワークを介してユーザが送信してきた画像データを受信するという方法によって、二次元顔写真Ｆを取り込むことも可能である。この場合、顔写真入力部１０は、ネットワーク（たとえば、インターネット）に接続するための通信手段によって構成される。
【００３９】
この装置は、こうして顔写真格納部２０に格納された二次元顔写真Ｆに基づいて、三次元の情報をもった三次元ポートレート、すなわち、頭部三次元モデルのデータを作成することができる。なお、二次元顔写真Ｆとしては、できるだけ正面向きの顔写真を用意するのが好ましい。一般的なスナップ写真に写っている被写体は、ほとんどが正面を向いているため、そのような写真に基づいて二次元顔写真Ｆを取り込むようにすれば支障はない。また、本発明に係る装置の場合、必要な二次元顔写真Ｆは１枚だけあれば十分であり、撮影角度を変えた複数の写真を用意する必要はない。
【００４０】
一方、雛形モデル格納部３０には、複数Ｎ通りのバリエーションをもった頭部の三次元形状データが雛形モデルとして格納されている。この雛形モデルは、いわば頭部の三次元テンプレートであり、頭部の三次元形状データであれば、どのような形態のデータであってもかまわない。一般的には、この雛形モデルは、頭部の表面をポリゴン（たとえば、三角形や四角形）やパラメトリック曲面で表現した三次元データによって構成しておけばよい。
【００４１】
図２は、この雛形モデル格納部３０内に格納されている雛形モデルの例を示す斜視図である。この例では、ポリゴンの集合体からなる５つの雛形モデルＭ１〜Ｍ５が示されている。これら雛形モデルＭ１〜Ｍ５は、髪の毛を除いた人間の頭部表面の三次元形状データであり、互いに形状が異なっている。このように、複数通りの雛形モデルを用意するのは、顔写真格納部２０に格納されている二次元顔写真Ｆをマッピングするのに適したモデルを選択できるようにするためである。一般に、実在の人間の頭部の形状は、丸顔、角顔、三角顔、扁平顔、馬顔などと称されるように様々である。そこで、本発明では、様々な形状の頭部に適用できるように、雛形モデル格納部３０内に複数通りの雛形モデルを用意している。
【００４２】
図２に示すとおり、各雛形モデルＭ１〜Ｍ５には、それぞれ顔の正面方向を示す正面ベクトルＶ１〜Ｖ５が定義されており、雛形モデル格納部３０には、個々の雛形モデルＭ１〜Ｍ５の三次元形状データとともに、この正面ベクトルＶ１〜Ｖ５の情報も格納されている（電子出願の制約上、本願のテキスト中では、各ベクトル符号上部の矢印表記は省略する）。この正面ベクトルＶ１〜Ｖ５の情報は、後述するように、雛形モデルに二次元顔写真Ｆをマッピングする際の向きを決定するために利用される。
【００４３】
なお、この正面ベクトルＶ１〜Ｖ５の情報は、必ずしも三次元形状データと別個に用意しておく必要はなく、三次元形状データに内在させる形で定義してもかまわない。たとえば、雛形モデルとなる三次元形状データを、ＸＹＺ三次元座標系上に定義するようにし、かつ、ＸＹ平面に投影した場合に顔の正面投影像が得られるような向きに定義しておくようにすれば、このＸＹＺ三次元座標系のＺ軸が正面ベクトルＶとして機能することになるので、敢えて正面ベクトルＶを示すデータを別個に用意しておく必要はない。
【００４４】
雛形選択部４０は、雛形モデル格納部３０内に格納されているＮ通りの雛形モデルの中の１つを選択する構成要素である。ここに示す第１の実施形態の場合、雛形選択部４０は、Ｎ通りの雛形モデルの中の１つを指定するオペレータの選択指示に基づいて雛形モデルの選択を行う機能を果たす。ここで、オペレータは、顔写真入力部１０によって入力され、顔写真格納部２０内に格納された二次元顔写真Ｆをマッピングするのに最適な雛形モデルを選択する指示を入力することになる。
【００４５】
実際には、雛形選択部４０には、顔写真格納部２０に格納されている二次元顔写真Ｆの画像と、雛形モデル格納部３０に格納されているＮ通りの雛形モデルＭ１〜Ｍ５の画像とをディスプレイ画面上に表示する機能をもたせておくのが好ましい（図１において、顔写真格納部２０から雛形選択部４０への矢印は、二次元顔写真Ｆの画像データの流れを示している）。たとえば、雛形選択部４０に、ディスプレイの左半分に二次元顔写真Ｆの画像を表示させ、右半分に雛形モデルの１つの画像を表示させ、右半分に表示する雛形モデルを任意に切り替える機能をもたせておけば、オペレータは、左右の画像を比較しながら、二次元顔写真Ｆの画像をマッピングするのに最適な雛形モデルを選択することができる。
【００４６】
ここでは、こうして雛形選択部４０によって選択された雛形モデルを、選択モデルＭｊ（Ｎ通りのモデルのうちの第ｊ番目のモデルの意）と呼ぶことにする。図では、便宜上、５通りの雛形モデルＭ１〜Ｍ５を用意した例が示されているが、任意の二次元顔写真Ｆにできるだけ適合する雛形モデルを選択できるようにするには、雛形モデル格納部３０内にできるだけ多くのバリエーションを用意しておくのが好ましい。特に、顔の適合性は、その輪郭だけでなく、目、鼻、口の位置など、顔を構成する各パーツの配置や形状も考慮する必要があるので、輪郭のバリエーションだけでなく、各パーツの配置や形状のバリエーションも豊富に用意しておくのが好ましい。ただ、用意する雛形モデルのバリエーションが増えれば増えるほど、オペレータの選択作業の負担も増えることになる。
【００４７】
マッピング処理部５０は、雛形選択部４０が選択した選択モデルＭｊの表面に、顔写真格納部２０内の二次元顔写真Ｆをマッピングして、頭部三次元モデルを作成し、作成した頭部三次元モデルのデータを、二次元顔写真Ｆに写っている特定の人物についての三次元ポートレートＧとして出力する機能を果たす。
【００４８】
図３は、このマッピング処理の一例を示す斜視図である。この例の場合、図示のとおり、ＸＹＺ三次元座標系上に選択モデルＭｊを配置し、ＸＹ平面上に定義された投影面Ｓに二次元顔写真Ｆを配置している。ここで、選択モデルＭｊは、正面ベクトルＶｊがＺ軸に平行になるように配置するようにする。そうすれば、投影面Ｓ上に顔の正面投影像が得られる。なお、前述したとおり、予めＺ軸に正面ベクトルＶの機能をもたせるように雛形モデルの三次元形状データを用意しておくようにすれば、選択モデルをそのままＸＹＺ三次元座標系上に配置すればよい。
【００４９】
マッピング処理は、選択モデルＭｊの表面に二次元顔写真Ｆを正射影投影（Ｚ軸方向に投影）することにより行うことができる。より具体的には、選択モデルＭｊの表面上の所望の着目点に位置する画素の画素値として、当該着目点のＸＹ平面上への正射影投影点に位置する二次元顔画像Ｆ上の画素の画素値を採用する処理を行えばよい。
【００５０】
但し、このようなマッピング処理を適切に行うためには、選択モデルＭｊおよび二次元顔写真Ｆの大きさ、位置、向きを予め調整しておく必要がある。このような調整を行う一方法は、二次元顔写真Ｆと選択モデルＭｊの投影像とが配置された投影面Ｓをディスプレイ画面上に表示し、オペレータに、大きさ、位置、向きを調整する入力操作を行わせることである。オペレータの入力操作に応じて、対話式に各画像の大きさ、位置、向きを変化させるようにすれば、オペレータの判断に基づく調整が可能になる。
【００５１】
このような調整をマッピング処理部５０に自動的に実行させることも可能である。大きさについては、たとえば、「横幅が同じになるようにスケーリングする」という条件を決めておけば、当該条件が満たされるように自動調整を行うことができる。図４は、このようなマッピング処理時の自動調整方法の一例を示す正面図である。図示のとおり、二次元顔写真Ｆの横幅Ｌ１と、選択モデルＭｊの投影面Ｓ上への投影像Ｈｊの横幅Ｌ２とを求め、両者が一致するように、二次元顔写真Ｆもしくは選択モデルＭｊのサイズを調整すればよい。二次元顔写真Ｆの横幅Ｌ１を求めるには、公知の手法を用いて写真から顔面部分を認識する処理を行えばよい。
【００５２】
一方、位置については、たとえば、投影面Ｓ上に顎下基準線Ｗを定義し、二次元顔写真Ｆから認識した顎の下端位置および選択モデルの投影像Ｈｊから認識した顎の下端位置を、この顎下基準線Ｗに揃えるようにして上下の位置を揃える自動調整を行えばよい。もちろん、顎下基準線Ｗの変わりに、頭部上端の位置を揃える基準線を用いることもできるし、後述するように、両目の代表点を結ぶ基準線を用いることもできる。また、左右の位置については、たとえば、顔面横幅Ｌ１の区間中点と、顔面横幅Ｌ２の区間中点とが、横方向に関して揃うような位置調整を行えばよい。
【００５３】
なお、選択モデルＭｊの向きに関しては、たとえば、各雛形モデルについて、正面ベクトルＶに加えて鉛直方向を示す鉛直ベクトルＥを定義しておき、この鉛直ベクトルＥがＹ軸に平行になるような配置を行うようにすればよい。もちろん、Ｙ軸自身が鉛直ベクトルＥとして機能するように三次元形状データを用意しておけば、敢えて鉛直ベクトルＥを示すデータを別個に用意しておく必要はない。また、二次元顔写真Ｆの向きに関しては、一般的なスナップ写真の場合、被写体となる人物は、通常、正立状態で写っているので、写真の横および縦方向がＸ軸およびＹ軸方向になるように投影面Ｓ上に配置すれば大きな支障は生じない。ただ、向きをより正確に調整する必要がある場合には、たとえば、後述するように、両目の代表点を結ぶ基準線がＸ軸に平行になるような調整を行えばよい。
【００５４】
図５は、図３に示すマッピング処理によって得られる三次元ポートレートＧの斜視図である。二次元顔写真Ｆには、被写体となる人物の正面の情報しか含まれておらず、背面の情報は含まれていない。これに対して、雛形モデルは、頭部の三次元形状データであり、頭部全体の表面情報をもっている。このため、図３に示す方法によってマッピング処理を行うと、選択モデルＭｊの正面部分の画素についてのみ画素値が定義され、背面部分の画素についての画素値は定義することができない。
【００５５】
ただ、一般に、人間の頭部の背面部分は髪によって覆われており、当該人物の特徴を表す重要な情報は含まれていないので、正面部分のみにマッピングが行われた頭部三次元モデルを三次元ポートレートＧとして出力しても、大きな支障は生じない。たとえば、後述するように、三次元ポートレートＧを、左右両眼の各位置から観察して２枚の視差画像を作成する用途に利用する場合、正面部分のみにマッピングが行われていれば十分である。また、背面部分の情報も必要な用途に利用する場合には、たとえば、正面部分の頭頂部（通常、髪の毛の部分の画素）の画素値を、背面部分の画素の画素値とする処理を行えば、違和感のない背面情報を擬似的に作成することができる。
【００５６】
また、選択モデルＭｊの輪郭形状は、二次元顔写真Ｆの輪郭形状に正確には一致しないので、選択モデルＭｊの一部分については、その投影像が二次元顔写真Ｆの領域から食み出してしまい、画素値を定義できない可能性がある。そのような場合は、画素値の定義を行うことができた隣接画素の画素値に基づく補間処理を行えば、補間値として画素値の定義を行うことが可能である。
【００５７】
このように、本発明に係る三次元ポートレートの作成装置によれば、予め、複数Ｎ通りのバリエーションをもった頭部の三次元形状データが雛形モデルとして用意されているため、その中の最適なものを選択して、二次元顔写真をマッピングすることができる。このため、被写体となる人物の二次元顔写真に基づいて、当該人物の三次元ポートレートを正確に作成することができるようになる。
【００５８】
＜＜＜  §２．  第２の実施形態  ＞＞＞
上述した第１の実施形態に係る装置では、雛形選択部４０が、Ｎ通りの雛形モデルの中の１つの指定するオペレータの選択指示に基づいて雛形モデルの選択を行っていた。しかしながら、雛形モデル格納部３０内に用意されている雛形モデルの数Ｎが大きくなればなるほど、オペレータの選択作業の負担も増大する。
【００５９】
§１でも述べたとおり、顔の適合性は、その輪郭だけでなく、顔を構成する各パーツの配置や形状も考慮する必要があり、性別、年齢、人種なども考慮して決定する必要がある。したがって、実用上は、雛形モデル格納部３０内には、輪郭形状のバリエーションだけでなく、性別、年齢、人種などのバリエーションも考慮して、十分な種類の雛形モデルを用意しておくのが好ましいが、その場合、オペレータの選択作業は極めて繁雑なものにならざるを得ない。たとえば、図２に例示するような雛形モデルが数百通りもあったとすると、オペレータの目による判断により最適なモデルを選択する作業は極めて困難と言わざるを得ない。
【００６０】
ここで述べる第２の実施形態の特徴は、予め、個々の雛形モデルに属性を定義しておき、オペレータが、二次元顔写真についての属性を示すパラメータを入力するだけで、最適な雛形モデルの選択を可能にする、というものである。以下、この第２の実施形態の構成を説明する。
【００６１】
図６は、本発明の第２の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。図１に示す装置との相違は、新たに属性格納部６０が設けられている点と、雛形選択部４０Ａがオペレータの属性入力に基づいて、最適な雛形モデルの選択を行う点である。
【００６２】
属性格納部６０には、雛形モデル格納部３０内に格納されているＮ通りの雛形モデルのそれぞれについて、特定の基準で分類した場合にどの分類に所属するかを示す属性を定義した情報が格納されており、雛形選択部４０Ａは、オペレータから入力された属性に基づいて属性格納部６０を検索し、入力された属性に合致する属性が定義された特定の雛形モデルを選択する処理を行う。
【００６３】
図７は、図６に示す属性格納部６０内に格納される雛形モデルの属性を示す情報の具体的な定義例を示す表である。ここに示す例では、雛形モデルを分類するための基準として、「性別」、「年齢」、「人種」、「輪郭」、「目」という項目を定義している。項目「性別」については、「男性」，「女性」という２種類の属性が定義され、項目「年齢」については、「１０代」，「２０代」，「３０代」，「４０代」，「５０代」，「６０代」という６種類の属性が定義されている。また、項目「人種」については、「アジア系」，「アングロサクソン系」，「黒人系」，「ヒスパニック系」という４種類の属性が定義され、項目「輪郭」については、「丸顔」，「角顔」，「三角顔」，「扁平顔」，「馬顔」という５種類の属性が定義され、項目「目」については、「どんぐり目」，「上がり目」，「下がり目」，「くぼみ目」という４種類の属性が定義されている。
【００６４】
これら５項目のすべての属性の組み合わせを網羅した雛形モデルを用意するのであれば、雛形モデル格納部３０内には、９６０通りの雛形モデルＭ１〜Ｍ９６０を格納しておくようにすればよい。この場合、属性格納部６０には、この９６０通りの雛形モデルＭ１〜Ｍ９６０のそれぞれについて、上記５項目の属性を示す情報を格納しておくようにする。
【００６５】
雛形選択部４０Ａは、オペレータから、上記５項目の属性を指定する属性入力を受け、指定された属性に基づいて属性格納部６０を検索し、入力された属性に合致する属性が定義された特定の雛形モデルを選択する処理を行う。図８は、雛形選択部４０Ａによる雛形選択処理の一例を示す図である。この例では、オペレータから、項目「性別」については「男性」、項目「年齢」については「３０代」、項目「人種」については「アジア系」、項目「輪郭」については「馬顔」、項目「目」については「どんぐり目」という特定の属性を指定する属性入力がなされている。雛形選択部４０Ａは、属性格納部６０を検索し、入力された属性の組み合わせに合致する属性が定義された雛形モデルＭｊを選択モデルとして選択することになる。
【００６６】
こうして選択された雛形モデルＭｊは、３０代のアジア系男性で馬顔のドングリ目をした人物の標準的な頭部の三次元形状データということになる。§１で述べた第１の実施形態の場合、９６０通りの雛形モデルＭ１〜Ｍ９６０の中から二次元顔写真Ｆに最適なモデルを選択する必要があり、選択作業は極めて困難な作業になるが、ここに示す第２の実施形態の場合、オペレータは、二次元顔写真Ｆを見ながら、上記５項目についての属性を雛形選択部４０Ａに入力する作業を行うだけですむ。
【００６７】
前述したとおり、顔の適合性は、その輪郭だけでなく、目、鼻、口の位置など、顔を構成する各パーツの配置や形状も考慮して決定する必要がある。上述した例のように、雛形モデルとして、「性別」、「年齢」、「人種」、「輪郭」、「目」という各項目に関する属性がそれぞれ異なる複数のバリエーションを用意しておくようにすれば、二次元顔写真Ｆに、より適した雛形モデルを利用したマッピング処理が可能になる。
【００６８】
＜＜＜  §３．  第３の実施形態  ＞＞＞
ここで述べる第３の実施形態は、顔についての特徴を数値で示す特徴量を利用して最適な雛形モデルの自動選択を行うものである。この実施形態では、オペレータによる入力操作は不要になるので、オペレータを介在させることなしに、三次元ポートレートＧの作成を行うことができる。
【００６９】
図９は、本発明の第３の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。図１に示す装置との相違は、新たに特徴量抽出部７０および特徴量格納部８０が設けられている点と、雛形選択部４０Ｂが、これら特徴量抽出部７０および特徴量格納部８０を利用して自動的に最適な雛形モデルの選択を行う点である。
【００７０】
特徴量抽出部７０は、顔写真格納部２０に格納された二次元顔写真Ｆから固有の特徴量を抽出する機能を果たし、特徴量格納部８０は、雛形モデル格納部３０内に格納されている個々の雛形モデルのそれぞれについて、固有の特徴量を格納する機能を果たす。そして、雛形選択部４０Ｂは、特徴量抽出部７０が抽出した特徴量（二次元顔写真Ｆの特徴量）に最も近い特徴量を有する特定の雛形モデルを自動的に選択する。
【００７１】
ここで、固有の特徴量としては、顔の特徴を定量的に（数値として）示すことができるパラメータであれば、どのような量を用いてもかまわない。ここでは、特徴量の具体的な例として、顔を構成する個々のパーツの代表点の位置座標を用いた例を述べることにする。この場合、雛形選択部４０Ｂは、雛形モデルＭと二次元顔写真Ｆとの大きさ、位置、および向きを調整した上で、各代表点の位置が最も近似した特定の雛形モデルを自動選択することになる。以下、その具体的な方法を詳述する。
【００７２】
いま、図１０に示すような二次元顔写真Ｆが、顔写真入力部１０によって入力され、顔写真格納部２０内に格納されているものとしよう。一般に、顔の特徴は、顔の輪郭と、目、鼻、口の形状および配置によって大きく左右される。そこで、顔を構成するパーツとしては、顔を正面から見たときの、顔の輪郭、目、鼻、口などから選ばれた複数のパーツを用いるのが好ましい。ここでは、顔の輪郭、目、鼻、口のすべてを用いた例を述べるが、もちろん、その一部のみを用いてもよいし、耳や眉などのパーツを用いるようにしてもかまわない。
【００７３】
図１１は、図１０に示す二次元顔写真Ｆから特徴量を抽出するための代表点を決定する処理を示す平面図である。この例では、まず、二次元顔写真Ｆから顔の輪郭線、目、鼻、口の領域を抽出する処理が行われる。一般に、顔が写った写真の画像データに基づいて、顔の輪郭線、目、鼻、口の領域を認識する方法は、種々のアルゴリズムに基づく方法が知られている。たとえば、特開平６−１２９８３４号公報には、個々の画素の画素値のヒストグラムに基づいて、目、鼻、口の位置を認識する方法が開示されており、特開平９−２５１５３４号公報には、予め登録してあるテンプレートとの類似度を計算することにより、目、鼻、口の位置を認識する方法が開示されている。この他、特開２０００−１６３５９２号公報、特開２００５−２７６１８２号公報、特開２０１１−８６０５１号公報など、多数の特許文献にも類似の技術が開示されている。このように、顔の輪郭線、目、鼻、口の領域を認識する方法は公知技術であるため、ここではその具体的な手法についての説明は省略する。
【００７４】
図１１は、図１０に示す二次元顔写真Ｆから、顔の輪郭線、目、鼻、口の領域を認識した状態を示す平面図である。顔の輪郭線は曲線として認識され、目、鼻、口の領域は、図にハッチングを施して示すように、二次元閉領域として認識される。そこで、このようにして認識された個々のパーツに基づいて、それぞれ代表点を定義する。ここに示す例の場合、目および鼻については、パーツ構成領域の重心点を代表点としている。すなわち、右目領域の重心点Ｐ１が右目の代表点、左目領域の重心点Ｐ２が左目の代表点、鼻領域の重心点Ｐ３が鼻の代表点になる。一方、口については、口領域の左右両端点Ｐ４，Ｐ５を代表点としている。図１１は、このようにして、５つの代表点が定義された状態を示す。
【００７５】
一方、顔の輪郭線Ｃは曲線として抽出されるので、この曲線上の複数の点を代表点にとることにする。そのために、ここに示す実施例の場合、二次元顔写真Ｆ上に基準点Ｐ０および基準線Ｌを定義する。図１２は、図１１に示す代表点Ｐ１，Ｐ２（左右の目の代表点）に基づいて、眉間に基準点Ｐ０を決定する処理を示す平面図である。すなわち、両目の代表点Ｐ１，Ｐ２を結ぶ線を基準線Ｌと定義し、この基準線Ｌ上における両目の代表点Ｐ１，Ｐ２間の中点を基準点Ｐ０と定義している。
【００７６】
ここに示す実施例の場合、こうして定義した基準点Ｐ０および基準線Ｌを利用して、顔の輪郭について、次のような方法で５つの代表点を定義する。図１３は、図１２に示す基準点Ｐ０および基準線Ｌに基づいて、顔の輪郭線Ｃについての代表点Ｐ６〜Ｐ１０を決定する処理を示す平面図である。まず、基準線Ｌと輪郭線Ｃとの交点として、代表点Ｐ６，Ｐ７が定義される。また、基準点Ｐ０と鼻の代表点Ｐ３を結ぶ線を顎まで延長し、この延長線と輪郭線Ｃとの交点として代表点Ｐ８が定義される。更に、基準点Ｐ０と口の代表点Ｐ４，Ｐ５を結ぶ線を顎まで延長し、この延長線と輪郭線Ｃとの交点として代表点Ｐ９，Ｐ１０が定義される。
【００７７】
こうして定義された代表点Ｐ６〜Ｐ１０は、いずれも顔の輪郭線Ｃ上の点になり、その位置情報は、顔の輪郭線Ｃの特徴を示す情報ということになる。なお、代表点Ｐ６〜Ｐ１０は、いずれも基準線Ｌより下方の点であり、基準線Ｌより上方には代表点が定義されていないが、これは、二次元顔写真Ｆに写っている人物は、様々な髪型をしており、基準線Ｌより上方の輪郭線Ｃの位置は、髪型に大きく左右されるためである。また、一般に、顎部の形状は頭頂部の形状に比べて人相を大きく左右する要素になるため、顔の輪郭線Ｃの特徴を示す代表点は、頭頂部の輪郭上にとるよりも、顎部の輪郭上にとった方が好ましい、という事情も理由のひとつである。
【００７８】
なお、ここに示す実施例では、基準線Ｌに沿った顔の幅を基準幅と定義し、大きさ調整用のパラメータとして利用している。図１３に示す例の場合、２つの代表点Ｐ６，Ｐ７間の距離が、この二次元顔写真Ｆの基準幅になる。後述するように、二次元顔写真Ｆを各雛形モデルと比較する際には、この基準幅を一致させるスケーリングを行い、大きさを揃える処理を行うことになる。
【００７９】
結局、図１３に示す例では、顔の輪郭線、目、鼻、口を顔を構成する個々のパーツとして用い、目および鼻については、当該パーツ構成領域の重心点を代表点Ｐ１，Ｐ２，Ｐ３とし、顔の輪郭線および口については、当該パーツ構成領域の輪郭線上の点を代表点Ｐ４〜Ｐ１０とすることになる。ここで、口の代表点については、左右の両端点Ｐ４，Ｐ５を採用し、顔の輪郭線Ｃの代表点については、所定の基準点Ｐ０と他の代表点とを結ぶ線の延長線との交点Ｐ６〜Ｐ１０を採用している。
【００８０】
もちろん、ここに示す実施例における代表点の定義方法は、代表的な一例を示すものであり、本発明は、ここに示す例に限定されるものではない。たとえば、上例では、目や鼻の代表点として、パーツ構成領域の重心点を採用しているが、パーツ構成領域の外接矩形の中心点を代表点とすることも可能である。あるいは、目の代表点として、左右の両端点を採用したり、瞳の中心点を採用することも可能であり、鼻の代表点として、鼻孔の位置を採用することも可能である。また、基準点Ｐ０の位置も、必ずしも眉間に定義する必要はなく、たとえば、４点Ｐ１，Ｐ２，Ｐ４，Ｐ５の重心点を基準点Ｐ０に設定してもかまわない。
【００８１】
以上、図９に示す実施形態における特徴量抽出部７０による特徴量の抽出アルゴリズムの一例を説明した。この例の場合、特徴量抽出部７０は、顔写真格納部２０に格納されている二次元顔写真Ｆに基づいて、図１３に示すような１０個の代表点Ｐ１〜Ｐ１０の座標値を特徴量として抽出することになる。これら１０個の代表点Ｐ１〜Ｐ１０の座標分布は、二次元顔写真Ｆの固有の特徴を定量的に示す情報になる。
【００８２】
一方、特徴量格納部８０には、雛形モデル格納部３０内に格納されている個々の雛形モデルＭのそれぞれについて、予め抽出された固有の特徴量が格納されている。特徴量の抽出アルゴリズムは、上述した二次元顔写真Ｆについての特徴量の抽出アルゴリズムと同様である。ただ、二次元顔写真Ｆが二次元画像データであったのに対して、雛形モデルＭは三次元形状データであるため、特徴量の抽出は、雛形モデルＭから直接行う代わりに、その投影像Ｈから行うことになる。
【００８３】
図１４は、図９に示す雛形モデル格納部３０内に格納されている雛形モデルの投影像Ｈの一例を示す正面図である。既に述べたとおり、雛形モデル格納部３０には、個々の雛形モデルＭのそれぞれについて、顔の正面方向を示す正面ベクトルＶが格納されている（前述したとおり、Ｚ軸方向を正面ベクトルＶとする三次元形状データを用意しておけば、正面ベクトルＶの情報は当該三次元形状データに内包される）。したがって、図３に示すように、雛形モデルＭを、ＸＹＺ三次元座標系上に正面ベクトルＶがＺ軸に平行になるように配置し、これをＸＹ平面上へ正射影投影すれば、図１４に示すような雛形投影像Ｈを得ることができる。
【００８４】
そこで、二次元顔写真Ｆの代わりに、図１４に示す雛形投影像Ｈを対象として、上述した特徴量の抽出アルゴリズムを実行すれば、この雛形投影像Ｈについて、各代表点の位置座標を特徴量として抽出することができる。図１５は、こうして雛形投影像Ｈについて抽出された１０個の代表点Ｑ１〜Ｑ１０を示す平面図である。ここで、各代表点Ｑ１〜Ｑ１０は、それぞれ図１３に示す各代表点Ｐ１〜Ｐ１０に対応するものである。すなわち、点Ｑ１，Ｑ２は両目の代表点、点Ｑ３は鼻の代表点、点Ｑ４，Ｑ５は口の代表点、点Ｑ６〜Ｑ１０は顔の輪郭線ＣＣの代表点である。
【００８５】
また、点Ｑ０は、図１４に示す点Ｐ０と同様に、眉間に定義された基準点（２点Ｑ１，Ｑ２を結ぶ線分の中点）であり、直線ＬＬは、２点Ｑ１，Ｑ２を結ぶ直線として定義される基準線である。代表点Ｑ６，Ｑ７が、この基準線ＬＬと輪郭線ＣＣの交点として定まり、代表点Ｑ８〜Ｑ１０が、基準点Ｑ０と各代表点Ｑ３〜Ｑ５を結ぶ線を顎まで延長した線と輪郭線ＣＣの交点として定まる点は、図１３に示す例と同様である。ここでは、説明の便宜上、図１３に示す代表点Ｐ１〜Ｐ１０（二次元顔写真Ｆについて定義された代表点）を黒丸で示し、図１５に示す代表点Ｑ１〜Ｑ１０（雛形モデルＭの投影像Ｈについて定義された代表点）を×印で示すことにする。
【００８６】
特徴量格納部８０には、雛形モデル格納部３０内に格納されているＮ通りの雛形モデルＭのそれぞれについて、図１５に示すような１０個の代表点Ｑ１〜Ｑ１０の座標値が固有の特徴量として格納されている。もちろん、これらの特徴量は、雛形モデル格納部３０に格納されている各雛形モデルが変わらない限り不変であるから、特徴量格納部８０内の情報は、雛形モデルの入れ替えを行わない限り、そのまま利用可能である。
【００８７】
なお、ここでも、基準線ＬＬに沿った顔の幅が基準幅と定義され、大きさ調整用のパラメータとして利用される。すなわち、Ｎ通りの雛形モデルＭについての１０個の代表点Ｑ１〜Ｑ１０の座標値は、２つの代表点Ｑ６，Ｑ７間の距離（基準幅）が一定になるように、それぞれ規格化されていることになる。
【００８８】
さて、顔写真入力部１０によって特定の人物の二次元顔写真Ｆが入力され、顔写真格納部２０に格納されると、特徴量抽出部７０は、上述したアルゴリズムに基づいて、図１３に示すような１０個の代表点Ｐ１〜Ｐ１０の座標値を特徴量として抽出する処理を行う。そして、雛形選択部４０Ｂは、特徴量格納部８０に格納されている情報を参照して、特徴量抽出部７０が抽出した特徴量に最も近い特徴量を有する特定の雛形モデルを選択することになる。
【００８９】
この選択処理は、たとえば、ＸＹ平面上において、個々の雛形モデルについての投影像Ｈと二次元顔写真Ｆとの大きさ、位置、および向きを調整した上で、雛形投影像Ｈの各代表点Ｑ１〜Ｑ１０と、これに対応する二次元顔写真Ｆの各代表点Ｐ１〜Ｐ１０との距離の和が最小となる雛形モデルを選択することによって行うことができる。
【００９０】
図１６は、二次元顔写真Ｆの代表点Ｐ１〜Ｐ１０（黒丸）と、雛形モデルＭの代表点Ｑ１〜Ｑ１０（×印）と、の相互位置関係を示す平面図である。図に示すΔ１〜Δ１０は、それぞれ対応する代表点間の距離を示している。もし、特定の雛形モデルＭの特徴が、二次元顔写真Ｆの特徴に完全に一致していたとすれば（すなわち、当該雛形モデルＭが、二次元顔写真Ｆの被写体となった人物の頭部の三次元形状に完全に一致していたとすれば）、各代表点Ｐ１〜Ｐ１０の位置と、これに対応する各代表点Ｑ１〜Ｑ１０の位置とは完全に一致するので、距離Δ１〜Δ１０はいずれも零になる。
【００９１】
したがって、ここでは、二次元顔写真Ｆの代表点Ｐ１〜Ｐ１０の座標を、特徴量格納部８０に格納されているＮ通りの雛形モデルのそれぞれについての代表点Ｑ１〜Ｑ１０の座標と比較し、距離Δ１〜Δ１０の和が最小となる雛形モデルを、当該二次元顔写真Ｆに最適のモデルとして選択するようにしている。図１７(a) は、このような方法で距離の単純な算術和を求める式を示す図である。この例では、互いに対応する代表点Ｐ１〜Ｐ１０および代表点Ｑ１〜Ｑ１０が１０組ある場合を想定して、Δ１〜Δ１０の和が求められているが、もちろん、代表点の数がｍ組ある場合には、「Σi=1,m Δｉ」なる式で総和が求められることになる。
【００９２】
一方、図１７(b) は、距離の重み付き和を求める式を示す図である。ここで、ｋｉ（ｋ１〜ｋ１０）は、個々の距離に乗じる重み係数である。このような重み付き和を求める場合も、和が最小となる雛形モデルを最適のモデルとして選択する点に変わりはないが、個々の特徴量（代表点の位置）に重みをつけた取り扱いが可能になる。たとえば、両目の位置という特徴をより重要視して類似性を判断するのであれば、右目の代表点Ｐ１，Ｑ１間の距離Δ１に乗じる係数ｋ１および左目の代表点Ｐ２，Ｑ２間の距離Δ２に乗じる係数ｋ２を、他の係数に比べて大きく設定すればよい。
【００９３】
図１７(b) に示す例でも、互いに対応する代表点Ｐ１〜Ｐ１０および代表点Ｑ１〜Ｑ１０が１０組ある場合を想定して、距離Δ１〜Δ１０の重み付き和が求められているが、代表点の数がｍ組ある場合には、「Σi=1,m ｋｉ・Δｉ」なる式で距離の重み付き総和が求められることになる。
【００９４】
ところで、二次元顔写真Ｆの代表点Ｐ１〜Ｐ１０の座標値と、個々の雛形モデルの代表点Ｑ１〜Ｑ１０の座標値とに基づいて、両者の類似性を比較するためには、両者の大きさ、位置、および向きを適切に調整する必要がある。図１６に示す例は、このような調整を行った後の状態を示すものである。図に黒丸で示されている代表点Ｐ１〜Ｐ１０の座標系は二次元顔写真Ｆを配置した座標系であり、図に×印で示されている代表点Ｑ１〜Ｑ１０の座標系は雛形投影像Ｈを配置した座標系であるから、元来、両座標系はそれぞれ別個独立した座標系になっている。したがって、両座標系の相互位置関係を何らかの基準に基づいて整合させなければ、二次元顔写真Ｆの代表点Ｐ１〜Ｐ１０の位置と、個々の雛形モデルの代表点Ｑ１〜Ｑ１０の位置とを適切に比較することはできない。
【００９５】
ここに示す実施例では、図１３に示すように、二次元顔写真Ｆに関して、両目の代表点Ｐ１，Ｐ２を結ぶ線を基準線Ｌと定義し、この基準線Ｌ上における両目の代表点Ｐ１，Ｐ２間の中点を基準点Ｐ０と定義し、この基準線Ｌに沿った顔の幅（点Ｐ６，Ｐ７間の距離）を基準幅と定義している。また、図１５に示すように、雛形モデルの投影像Ｈに関して、両目の代表点Ｑ１，Ｑ２を結ぶ線を基準線ＬＬと定義し、この基準線ＬＬ上における両目の代表点Ｑ１，Ｑ２間の中点を基準点Ｑ０と定義し、この基準線ＬＬに沿った顔の幅（点Ｑ６，Ｑ７間の距離）を基準幅と定義している。
【００９６】
そこで、雛形選択部４０Ｂは、ＸＹ平面上において、上記基準幅が一致するように雛形投影像Ｈと二次元顔写真Ｆとの大きさの調整を行い（縦横等倍率で拡大縮小する処理を行えばよい）、基準点Ｐ０，Ｑ０が一致するように雛形投影像Ｈと二次元顔写真Ｆとの位置の調整を行い、基準線Ｌ，ＬＬが重なるように雛形投影像Ｈと二次元顔写真Ｆとの向きの調整を行うようにしている。
【００９７】
図１６は、上記方法で、雛形投影像Ｈと二次元顔写真Ｆとの大きさ、位置、向きの調整を行った上で、代表点Ｐ１〜Ｐ１０と代表点Ｑ１〜Ｑ１０との位置関係を示すＸＹ平面上の平面図である。したがって、基準点Ｐ０，Ｑ０は完全に一致している。また、２点Ｐ６，Ｐ７間の距離（二次元顔写真Ｆの基準幅）と２点Ｑ６，Ｑ７間の距離（雛形投影像Ｈの基準幅）とは一致するため、２点Ｐ６，Ｑ６はほぼ同じ位置を占め、２点Ｐ７，Ｑ７はほぼ同じ位置を占める。また、基準線ＬとＬＬとは重なっている。
【００９８】
このような方法で、大きさ、位置、向きの調整を行うことにすれば、二次元顔写真Ｆのどの位置に、どのような大きさで、どのような向きに人物の肖像が写っていたとしても、雛形選択部４０Ｂによる適切な比較処理を行うことができ、当該人物の特徴に最も近似した雛形モデルを選択することができる。なお、ＸＹ平面上に取り込んだ二次元顔写真Ｆが天地逆向きだった場合（頭頂部が下向きになっていた場合）、基準線ＬとＬＬとが重なるように向き調整を行うと、天地が逆向きになる可能性がある。そのような場合は、基準線ＬとＬＬとが重なり、かつ、代表点Ｐ３，Ｑ３（他の代表点でもよい）がこれら基準線ＬとＬＬを境界線として同一の領域側にくるように、向きの調整を行うようにすればよい。
【００９９】
以上、図９のブロック図を参照しながら、本発明の第３の実施形態に係る三次元ポートレートの作成装置の基本構成および動作を説明した。この実施形態に係る装置を利用すれば、雛形選択部４０Ｂによって最適な雛形モデルの自動選択が行われるので、雛形モデルを選択するためのオペレータによる入力操作は一切不要である。したがって、スナップ写真などから入力された二次元顔写真Ｆに基づいて、自動的に三次元ポートレートＧの作成を行うことができる。
【０１００】
＜＜＜  §４．  第４の実施形態  ＞＞＞
これまで述べてきた実施形態は、いずれも、雛形モデル格納部３０内に予め用意されている複数Ｎ通りの雛形モデルの中から、顔写真格納部２０に格納されている二次元顔写真Ｆのマッピングに最適なモデルを選択し、当該選択モデルに対して二次元顔写真Ｆをマッピングすることにより、三次元ポートレートＧを作成する、というものであった。ここで、雛形モデル格納部３０内に、十分に豊富なバリエーションをもった雛形モデルを用意しておけば、二次元顔写真Ｆの被写体の人物の実際の頭部にかなり近似した雛形モデルを選択することができ、実用上、違和感のない三次元ポートレートを作成することが可能である。
【０１０１】
しかしながら、雛形モデル格納部３０内に用意されている雛形モデルは、あくまでもテンプレートというべきものであり、二次元顔写真Ｆの被写体の人物に完全に適合するモデルにはなっていない。特に、人間の顔の主要な要素である両目、鼻、口といったパーツの形状や配置は、人物によって千差万別であり、雛形モデルの数Ｎをいくら増やしても、完全に一致するモデルを選択することはできない。そこで、ここで述べる第４の実施形態では、雛形選択部４０Ｂが選択した選択モデルＭｊを二次元顔写真Ｆに適合するように修正し、修正後の選択モデルＭｊ′の表面に、二次元顔写真Ｆをマッピングすることにより、二次元顔写真Ｆと選択モデルＭｊとの適合性を更に向上させる、という手法を採用する。
【０１０２】
図１８は、本発明の第４の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。図９に示す第３の実施形態に係る装置との相違は、新たにモデル修正部９０が設けられている点である。モデル修正部９０は、雛形選択部４０Ｂが選択した選択モデルＭｊを、顔写真格納部２０に格納されている二次元顔写真Ｆに適合するように修正する機能を有し、マッピング処理部５０は、修正後の選択モデルＭｊ′の表面に、二次元顔写真Ｆをマッピングする処理を行う。ここに示す例は、§３で述べた第３の実施形態に、モデル修正部９０を付加した例であるため、モデル修正部９０は、特徴量抽出部７０および特徴量格納部８０の機能を利用して選択モデルＭｊの修正を行うことができる。
【０１０３】
§３で述べたとおり、雛形モデル格納部３０には、複数Ｎ通りの雛形モデルのそれぞれについて、顔の正面方向を示す正面ベクトルＶが格納されており、特徴量格納部８０には、ＸＹＺ三次元座標系上に正面ベクトルＶがＺ軸に平行になるように配置した各雛形モデルを、ＸＹ平面上へ正射影投影した雛形投影像Ｈについて、顔を構成する個々のパーツの代表点の位置座標が特徴量として格納されている。また、特徴量抽出部７０は、ＸＹ平面上に配置した二次元顔写真Ｆについて、顔を構成する個々のパーツの代表点の位置座標を特徴量として抽出する機能を有している。
【０１０４】
特徴量抽出部７０および特徴量格納部８０は、第３の実施形態の場合、雛形選択部４０Ｂによる雛形モデルの選択処理を補助する役割を果たすことになるが、ここに示す第４の実施形態の場合は、モデル修正部９０による修正処理を補助する役割も果たすことになる。
【０１０５】
すなわち、モデル修正部９０は、まず、雛形選択部４０Ｂによって選択された選択モデルＭｊの雛形投影像Ｈと、顔写真格納部２０に格納されている二次元顔写真Ｆとを、大きさ、位置、および向きを調整した上で、ＸＹ平面上に配置し、選択モデルＭｊの雛形投影像Ｈの各代表点から二次元顔写真Ｆ上の対応する各代表点に向かう代表移動ベクトルを求める処理を行う。
【０１０６】
既に述べたとおり、二次元顔写真Ｆ上の各代表点は、特徴量抽出部７０によって、たとえば、図１３に示すような１０個の点Ｐ１〜Ｐ１０として抽出されており、選択モデルＭｊの投影像Ｈの各代表点は、特徴量格納部８０内に、たとえば、図１５に示すような１０個の点Ｑ１〜Ｑ１０として格納されている。これらの代表点は、既に述べたとおり、顔を構成するパーツとして、顔を正面から見たときの、顔の輪郭、目、鼻、口を用い、パーツ構成領域の重心点（パーツ構成領域の外接矩形の中心点でもよい）、または、パーツ構成領域の輪郭線上の点として定義された点である。上例の場合、モデル修正部９０は、特徴量格納部８０内に格納されている選択モデルＭｊについての個々の代表点Ｑ１〜Ｑ１０から、特徴量抽出部７０によって抽出されたそれぞれ対応する代表点Ｐ１〜Ｐ１０に向かうベクトルとして、代表移動ベクトルα１〜α１０を求めることができる。
【０１０７】
図１９は、図１８に示すモデル修正部９０によって求められた代表移動ベクトルの一例を示す平面図である。ここで、点Ｐ０，Ｑ０は、図１６に示す基準点Ｐ０，Ｑ０であり、その余の黒丸で示す点および×印で示す点は、図１６に示す代表点Ｐ１〜Ｐ１０および代表点Ｑ１〜Ｑ１０である。
【０１０８】
なお、代表点Ｐ１〜Ｐ１０を含む座標系と代表点Ｑ１〜Ｑ１０を含む座標系について、大きさ、位置、向きの調整が行われる点は、§３で述べたとおりである。すなわち、両目の代表点を結ぶ線を基準線Ｌ，ＬＬと定義し、この基準線Ｌ，ＬＬ上における両目の代表点間の中点を基準点Ｐ０，Ｑ０と定義し、この基準線Ｌ，ＬＬに沿った顔の幅を基準幅と定義した上で、ＸＹ平面上において、基準幅が一致するように雛形投影像Ｈと二次元顔写真Ｆとの大きさの調整を行い、基準点Ｐ０，Ｑ０が一致するように雛形投影像Ｈと二次元顔写真Ｆとの位置の調整を行い、基準線Ｌ，ＬＬが重なるように雛形投影像Ｈと二次元顔写真Ｆとの向きの調整を行うことになる。
【０１０９】
図１６は、代表点Ｐ１〜Ｐ１０の位置と代表点Ｑ１〜Ｑ１０の位置の近似度を評価するため、対応する２点間の距離Δ１〜Δ１０を求める処理を示すものであるが、図１９は、×印で示す各代表点Ｑ１〜Ｑ１０から、黒丸で示す各代表点Ｐ１〜Ｐ１０に向かう代表移動ベクトルα１〜α１０を求める処理を示すものである。なお、この例では、ベクトルα６，α７は、代表点位置が重なっているため定義されていない。
【０１１０】
こうして求められた代表移動ベクトルα１〜α１０は、ＸＹＺ三次元座標系上において、雛形投影像Ｈの各代表点Ｑ１〜Ｑ１０にそれぞれ対応する選択モデルＭｊ上の個々の代表点の移動方向および移動量を示すものである。たとえば、図１９において、代表点Ｑ１は、ＸＹ平面上の雛形投影像Ｈの右目の代表点であるが、これに対応する選択モデルＭｊの表面上の代表点をＴ１とすれば（すなわち、選択モデルＭｊ上の所定点Ｔ１のＸＹ平面上への正射影投影点が点Ｑ１になる関係にある）、当該代表点Ｔ１を代表移動ベクトルα１の示す方向に、代表移動ベクトルα１の示す距離だけ移動させれば、移動後の位置が、代表点Ｔ１の修正後の位置ということになる。
【０１１１】
このような方法で、選択モデルＭｊ上の１０個の代表点Ｔ１〜Ｔ１０（ＸＹ平面上への正射影投影点が点Ｑ１〜Ｑ１０になる関係にある点）をそれぞれ代表移動ベクトルα１〜α１０に応じて移動すれば、１０個の代表点Ｔ１〜Ｔ１０の位置に関する修正を行うことができる。選択モデルＭｊ全体に対して修正を行うためには、選択モデルＭｊの表面上の任意の一般点Ｔについての一般移動ベクトルαが定義できればよい。そこで、この任意の一般点Ｔについての一般移動ベクトルαを、個々の代表移動ベクトルα１〜α１０に対する補間処理によって求めるようにする。ここでは、モデル修正部９０が、このような補間処理によって一般移動ベクトルαを定義する具体的な方法を２通り述べておく。
【０１１２】
図２０は、代表移動ベクトルに基づく補間処理により、一般移動ベクトルαを定義する第１の方法を示す平面図である。この方法では、モデル修正部９０は、選択モデルＭｊの表面上の任意の一般点Ｔについての一般移動ベクトルαを求める際に、まず、当該一般点ＴのＸＹ平面上への投影点Ｑを求める。続いて、雛形投影像Ｈの各代表点のうち、当該投影点Ｑに最も近い第１近傍点Ｑａおよび２番目に近い第２近傍点Ｑｂを求める。そして、図２０に示すように、点Ｑと点Ｑａとの距離をＤａ、点Ｑと点Ｑｂとの距離をＤｂ、第１近傍点Ｑａについての代表移動ベクトルをベクトルαａ、第２近傍点Ｑｂについての代表移動ベクトルをベクトルαｂ、としたときに、α＝（Ｄｂ／（Ｄａ＋Ｄｂ））・αａ＋（Ｄａ／（Ｄａ＋Ｄｂ））・αｂなる式によって求まるベクトルαを当該一般点Ｔ（投影点Ｑ）についての一般移動ベクトルとする補間処理を行う。
【０１１３】
この方法によれば、基本的には、２つの近傍点Ｑａ，Ｑｂについての代表移動ベクトルαａ，αｂを参照した補間を行い、かつ、より近い近傍点Ｑａについての代表移動ベクトルαａに、より重みをおいた補間が可能になる。
【０１１４】
図１９に示す例について、上述した第１の方法を適用すると、選択モデルＭｊの表面上の任意の一般点Ｔについての一般移動ベクトルαは次のような手順で定義される。まず、一般点ＴのＸＹ平面上への投影点Ｑを求める。図１９に示されている点Ｑは、このような投影点である。続いて、図に×印で示されている１０個の代表点Ｑ１〜Ｑ１０の中から、投影点Ｑに最も近い第１近傍点Ｑａおよび２番目に近い第２近傍点Ｑｂを求める。図示の例の場合、代表点Ｑ１が第１近傍点Ｑａとなり、代表点Ｑ３が第２近傍点Ｑｂとなる。そこで、点Ｑと点Ｑ１との距離をＤａ、点Ｑと点Ｑ３との距離をＤｂとして、α＝（Ｄｂ／（Ｄａ＋Ｄｂ））・α１＋（Ｄａ／（Ｄａ＋Ｄｂ））・α３なる式によってベクトルαを求めれば、当該ベクトルαが、一般点Ｔについての一般移動ベクトルになる。
【０１１５】
一方、図２１は、代表移動ベクトルに基づく補間処理により、一般移動ベクトルαを定義する第２の方法の一例を示す平面図である。図示の例では、一般移動ベクトルαを、近傍の３つの代表移動ベクトルαａ，αｂ，αｃを用いた補間処理により決定する。すなわち、モデル修正部９０は、選択モデルＭｊの表面上の任意の一般点Ｔについての一般移動ベクトルαを求める際に、まず、当該一般点ＴのＸＹ平面上への投影点Ｑを求める。続いて、雛形投影像Ｈの各代表点のうち、当該投影点Ｑに最も近い第１近傍点Ｑａ、２番目に近い第２近傍点Ｑｂ、３番目に近い第３近傍点Ｑｃを求める。そして、図２１に示すように、点Ｑと点Ｑａとの距離をＤａ、点Ｑと点Ｑｂとの距離をＤｂ、点Ｑと点Ｑｃとの距離をＤｃ、第１近傍点Ｑａについての代表移動ベクトルをベクトルαａ、第２近傍点Ｑｂについての代表移動ベクトルをベクトルαｂ、第３近傍点Ｑｃについての代表移動ベクトルをベクトルαｃ、としたときに、α＝（αａ／Ｄａ２＋αｂ／Ｄｂ２＋αｃ／Ｄｃ２）／（１／Ｄａ２＋１／Ｄｂ２＋１／Ｄｃ２）なる式によって求まるベクトルαを当該一般点Ｔについての一般移動ベクトルとする補間処理を行う。
【０１１６】
この方法によれば、基本的には、３つの近傍点Ｑａ，Ｑｂ，Ｑｃについての代表移動ベクトルαａ，αｂ，αｃを参照した補間を行い、かつ、より近い近傍点についての代表移動ベクトルに、より重みをおいた補間が可能になる。
【０１１７】
図２１では、３つの近傍点Ｑａ，Ｑｂ，Ｑｃを用いる例を示したが、実際には、４つ以上の近傍点を用いても、同様の補間処理が可能である。すなわち、一般にｎ個（ｎ≧３）の近傍点を用いることにすれば、モデル修正部９０は、一般点Ｔについての一般移動ベクトルαを求める際に、雛形投影像Ｈのｎ個（ｎ≧３）の代表点のそれぞれと当該一般点ＴのＸＹ平面上への投影点Ｑとの距離Ｄ１，... ，Ｄｉ，... ，Ｄｎをそれぞれ求め、雛形投影像Ｈのｎ個の代表点についての代表移動ベクトルを、それぞれα１，... ，αｉ，... ，αｎとしたときに、図２２に示すように、α＝Σi=1,n（αｉ／Ｄｉ２）／Σi=1,n（１／Ｄｉ２）なる式によって求まるベクトルαを当該一般点Ｔについての一般移動ベクトルαとする補間処理を行えばよい。
【０１１８】
ｎは３以上の任意の整数に設定することができる。たとえば、図１９に示す例において、ｎ＝１０に設定すれば、任意の投影点Ｑの位置についての一般移動ベクトルαを、１０個の代表点Ｑ１〜Ｑ１０についての代表移動ベクトルα１〜α１０に基づく補間処理によって求めることができる（すなわち、すべての代表移動ベクトルに基づく補間処理を行うことになる）。
【０１１９】
なお、ｎ個の代表点としては、一般的には、投影点Ｑに第１番目に近い第１近傍点〜第ｎ番目に近い第ｎ近傍点を選択すればよいが、必ずしも近い順にｎ個を選択する必要はない。たとえば、図１５に示す例において、ｎ＝５として、５個の代表点を選択する場合、投影点Ｑの位置にかかわらず常に代表点Ｑ１〜Ｑ５を選ぶようにすれば、どのような場合も、両目、鼻、口の代表点についての代表移動ベクトルα１〜α５に基づく補間が行われることになる。
【０１２０】
以上、モデル修正部９０が、雛形投影像Ｈの各代表点に定義された代表移動ベクトルに基づく補間処理によって、選択モデルＭｊ上の任意の一般点Ｔについての一般移動ベクトルαを定義する具体的な方法を２つ紹介したが、もちろん、一般移動ベクトルαの定義方法は、これら２つの方法に限定されるものではない。このように、任意の一般点Ｔについての一般移動ベクトルαを定義し、選択モデルＭｊ上の任意の一般点Ｔを当該一般移動ベクトルαの示す方向に、当該一般移動ベクトルαの示す距離だけ移動させれば、移動後の位置が、当該一般点Ｔの修正後の位置ということになる。
【０１２１】
結局、モデル修正部９０は、ＸＹＺ三次元座標系上において、雛形投影像Ｈの各代表点にそれぞれ対応する選択モデルＭｊ上の個々の代表点については、それぞれ対応する代表移動ベクトルに応じた移動処理を行い、選択モデルＭｊ上のその余の一般点Ｔについては、個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルαに応じた移動処理を行うことにより、選択モデルＭｊに対する修正を行うことになる。
【０１２２】
図２３は、モデル修正部９０によって行われる選択モデルＭｊに対する修正処理を示す斜視図である。上述したように、正面ベクトルＶｊがＺ軸と平行になるように選択モデルＭｊをＸＹＺ三次元座標系上に配置し、投影面Ｓ（ＸＹ平面）上に雛形投影像Ｈｊを形成する。一方、この投影面Ｓ上に、大きさ、位置、向きを調整した二次元顔写真Ｆ（図２３には示されていない）を重ね合わせ、雛形投影像Ｈｊの特徴を示す１０個の代表点Ｑ１〜Ｑ１０から、二次元顔写真Ｆの特徴を示す１０個の代表点Ｐ１〜Ｐ１０へと向かう代表移動ベクトルα１〜α１０を求める。
【０１２３】
続いて、選択モデルＭｊ上の任意の一般点Ｔについて、投影面Ｓ上への投影点Ｑを求め、図２０に示す補間方法や、図２１に示す補間方法を用いて、投影点Ｑについての一般移動ベクトルαを求めれば、当該一般移動ベクトルαは、一般点Ｔの移動方向および移動量を示すベクトルということになる。なお、選択モデルＭｊは、頭部の三次元形状データであるので、背面側（後頭部側）にも点が定義されているが、一般に、個人に固有な特徴は顔面部分に現われるので、後頭部側についての修正処理は行わなくても大きな支障は生じない。ただ、必要があれば、このような背面側の一般点についても全く同様にして一般移動ベクトルαを求めることができる。たとえば、図２３に示す一般点Ｔは正面側（顔側）の点であり、一般点Ｕは背面側（後頭部側）の点であるが、図示のとおり、いずれも投影面Ｓ上への投影点が点Ｑであるので、投影点Ｑについて求められた一般移動ベクトルαは、一般点ＴおよびＵの双方に適用することができる。
【０１２４】
このように、理論的には、選択モデルＭｊの正面側、背面側を問わず、表面上の任意の一般点について、一般移動ベクトルαを定義することができるので、選択モデルＭｊの表面上のすべての点について、その位置の修正を行えば、修正後の点によって構成されるモデルが、修正後の選択モデルＭｊ′ということになる。もっとも、実際には、選択モデルＭｊは有限個の点の集合からなる三次元形状データによって構成されるので、これら有限個の点について、それぞれ位置の修正を行えば足りる。たとえば、選択モデルＭｊがポリゴンからなる三次元形状データの場合は、個々のポリゴンの頂点について位置修正を行えば、修正後の選択モデルＭｊ′を得ることができる。
【０１２５】
代表移動ベクトルも一般移動ベクトルも、いずれも投影面Ｓ（ＸＹ平面）に含まれるベクトル、すなわち、ＸＹ平面に平行なベクトルであるため、上記修正処理を行う際の点の移動は、いずれもＸＹ平面に平行な方向への移動ということになる。そして、移動後の各点によって構成される修正後の選択モデルＭｊ′を投影面Ｓへ正射影投影して得られる投影像は、二次元顔写真Ｆに対する合致度が向上したものになる（少なくとも、代表点の位置に関しては完全に一致する）。したがって、選択モデルＭｊに対するマッピングによって得られる三次元ポートレートに比べて、修正後の選択モデルＭｊ′に対するマッピングによって得られる三次元ポートレートの方が、違和感のない自然なポートレートになる。
【０１２６】
＜＜＜  §５．  第５の実施形態  ＞＞＞
§４では、第４の実施形態として、雛形選択部４０Ｂが選択した選択モデルＭｊを二次元顔写真Ｆに適合するように修正するモデル修正部９０を付加する例を説明した。ここでは、逆に、二次元顔写真Ｆを、雛形選択部４０Ｂが選択した選択モデルＭｊに適合するように修正する実施形態を説明する。
【０１２７】
図２４は、本発明の第５の実施形態に係る三次元ポートレートの作成装置の構成を示すブロック図である。図９に示す第３の実施形態に係る装置との相違は、新たに顔写真修正部９５が設けられている点である。顔写真修正部９５は、顔写真格納部２０に格納されている二次元顔写真Ｆを、雛形選択部４０Ｂが選択した選択モデルＭｊに適合するように修正する機能を有し、マッピング処理部５０は、選択モデルＭｊの表面に、修正後の二次元顔写真Ｆ′をマッピングする処理を行う。ここに示す例は、§３で述べた第３の実施形態に、顔写真修正部９５を付加した例であるため、顔写真修正部９５は、特徴量抽出部７０および特徴量格納部８０の機能を利用して二次元顔写真Ｆの修正を行うことができる。
【０１２８】
顔写真修正部９５による修正処理は、§４で述べたモデル修正部９０による修正処理と逆の処理と言うことができる。すなわち、顔写真修正部９５は、まず、雛形選択部４０Ｂによって選択された選択モデルＭｊの雛形投影像Ｈと、顔写真格納部２０に格納されている二次元顔写真Ｆとを、大きさ、位置、および向きを調整した上で、ＸＹ平面上に配置し、二次元顔写真Ｆの各代表点から選択モデルの雛形投影像Ｈ上の対応する各代表点に向かう代表移動ベクトルを求める処理を行う。
【０１２９】
既に述べたとおり、二次元顔写真Ｆ上の各代表点は、特徴量抽出部７０によって、たとえば、図１３に示すような１０個の点Ｐ１〜Ｐ１０として抽出されており、選択モデルＭｊの投影像Ｈの各代表点は、特徴量格納部８０内に、たとえば、図１５に示すような１０個の点Ｑ１〜Ｑ１０として格納されている。そこで、上例の場合、顔写真修正部９５は、特徴量抽出部７０によって抽出された個々の代表点Ｐ１〜Ｐ１０から、特徴量格納部８０内に格納されている選択モデルＭｊについてのそれぞれ対応する代表点Ｑ１〜Ｑ１０に向かうベクトルとして、代表移動ベクトルβ１〜β１０を求めることができる。
【０１３０】
図２５は、図２４に示す顔写真修正部９５によって求められた代表移動ベクトルの一例を示す平面図である。ここで、黒丸で示す各点および×印で示す各点は、図１９に示す各点と同様であり、ＸＹ平面上において、選択モデルＭｊの雛形投影像Ｈと二次元顔写真Ｆとの大きさ、位置、および向きを調整して重ね合わせることにより得られた点である。ただ、図１９では、×印で示す点（雛形投影像Ｈ上の点）から黒丸で示す点（二次元顔写真Ｆ上の点）に向かうベクトルα１〜α１０を代表移動ベクトルとしていたが、図２５では、逆に、黒丸で示す点（二次元顔写真Ｆ上の点）から×印で示す点（雛形投影像Ｈ上の点）に向かうベクトルβ１〜β１０を代表移動ベクトルとしている。別言すれば、ベクトルβ１〜β１０はベクトルα１〜α１０をそれぞれ逆向きにしたものに相当する。
【０１３１】
こうして求められた代表移動ベクトルβ１〜β１０は、ＸＹ平面（投影面Ｓ）上において、二次元顔写真Ｆ上の個々の代表点Ｐ１〜Ｐ１０の移動方向および移動量を示すものである。たとえば、図２５において、代表点Ｐ１は、二次元顔写真Ｆの右目の代表点であるが、この代表点Ｐ１を代表移動ベクトルβ１の示す方向に、代表移動ベクトルβ１の示す距離だけ移動させれば、移動後の位置が、代表点Ｐ１の修正後の位置ということになる。この修正後の位置は、雛形投影像Ｈの右目の代表点Ｑ１に一致する。
【０１３２】
このような方法で、二次元顔写真Ｆ上の１０個の代表点Ｐ１〜Ｐ１０をそれぞれ代表移動ベクトルβ１〜β１０に応じて移動すれば、１０個の代表点Ｐ１〜Ｐ１０の位置に関する修正を行うことができる。二次元顔写真Ｆ全体に対して修正を行うためには、二次元顔写真Ｆ上の任意の一般点Ｐについての一般移動ベクトルβが定義できればよい。そこで、この任意の一般点Ｐについての一般移動ベクトルβを、個々の代表移動ベクトルβ１〜β１０に対する補間処理によって求めるようにする。§４では、代表移動ベクトルα１〜α１０に対する補間処理によって一般移動ベクトルαを定義する具体的な方法を２通り述べたが、ここでは、同じ考え方を利用して、代表移動ベクトルβ１〜β１０に対する補間処理によって一般移動ベクトルβを定義する具体的な方法を２通り述べておく。
【０１３３】
図２６は、代表移動ベクトルに基づく補間処理により、一般移動ベクトルβを定義する第１の方法を示す平面図である。この方法では、顔写真修正部９５は、二次元顔写真Ｆ上の任意の一般点Ｐについての一般移動ベクトルβを求める際に、二次元顔写真Ｆの各代表点のうち、当該一般点Ｐに最も近い第１近傍点Ｐａおよび２番目に近い第２近傍点Ｐｂを求める。そして、図２６に示すように、点Ｐと点Ｐａとの距離をＤａ、点Ｐと点Ｐｂとの距離をＤｂ、第１近傍点Ｐａについての代表移動ベクトルをベクトルβａ、第２近傍点Ｐｂについての代表移動ベクトルをベクトルβｂ、としたときに、β＝（Ｄｂ／（Ｄａ＋Ｄｂ））・βａ＋（Ｄａ／（Ｄａ＋Ｄｂ））・βｂなる式によって求まるベクトルβを当該一般点Ｐについての一般移動ベクトルβとする補間処理を行う。
【０１３４】
この方法によれば、基本的には、２つの近傍点Ｐａ，Ｐｂについての代表移動ベクトルβａ，βｂを参照した補間を行い、かつ、より近い近傍点Ｐａについての代表移動ベクトルβａに、より重みをおいた補間が可能になる。
【０１３５】
図２５に示す例について、上述した第１の方法を適用すると、二次元顔写真Ｆ上の任意の一般点Ｐについての一般移動ベクトルβは次のような手順で定義される。まず、図に黒丸で示されている１０個の代表点Ｐ１〜Ｐ１０の中から、一般点Ｐに最も近い第１近傍点Ｐａおよび２番目に近い第２近傍点Ｐｂを求める。図示の例の場合、代表点Ｐ１が第１近傍点Ｐａとなり、代表点Ｐ３が第２近傍点Ｐｂとなる。そこで、点Ｐと点Ｐ１との距離をＤａ、点Ｐと点Ｐ３との距離をＤｂとして、β＝（Ｄｂ／（Ｄａ＋Ｄｂ））・β１＋（Ｄａ／（Ｄａ＋Ｄｂ））・β３なる式によってベクトルβを求めれば、当該ベクトルβが、一般点Ｐについての一般移動ベクトルになる。
【０１３６】
一方、図２７は、代表移動ベクトルに基づく補間処理により、一般移動ベクトルβを定義する第２の方法の一例を示す平面図である。図示の例では、一般移動ベクトルβを、近傍の３つの代表移動ベクトルβａ，βｂ，βｃを用いた補間処理により決定する。すなわち、顔写真修正部９５は、二次元顔写真Ｆ上の任意の一般点Ｐについての一般移動ベクトルβを求める際に、二次元顔写真Ｆの各代表点のうち、当該一般点Ｐに最も近い第１近傍点Ｐａ、２番目に近い第２近傍点Ｐｂ、３番目に近い第３近傍点Ｐｃを求める。そして、図２７に示すように、点Ｐと点Ｐａとの距離をＤａ、点Ｐと点Ｐｂとの距離をＤｂ、点Ｐと点Ｐｃとの距離をＤｃ、第１近傍点Ｐａについての代表移動ベクトルをベクトルβａ、第２近傍点Ｐｂについての代表移動ベクトルをベクトルβｂ、第３近傍点Ｐｃについての代表移動ベクトルをベクトルβｃ、としたときに、β＝（βａ／Ｄａ２＋βｂ／Ｄｂ２＋βｃ／Ｄｃ２）／（１／Ｄａ２＋１／Ｄｂ２＋１／Ｄｃ２）なる式によって求まるベクトルβを当該一般点Ｐについての一般移動ベクトルとする補間処理を行う。
【０１３７】
この方法によれば、基本的には、３つの近傍点Ｐａ，Ｐｂ，Ｐｃについての代表移動ベクトルβａ，βｂ，βｃを参照した補間を行い、かつ、より近い近傍点についての代表移動ベクトルに、より重みをおいた補間が可能になる。
【０１３８】
図２７では、３つの近傍点Ｐａ，Ｐｂ，Ｐｃを用いる例を示したが、実際には、４つ以上の近傍点を用いても、同様の補間処理が可能である。すなわち、一般にｎ個（ｎ≧３）の近傍点を用いることにすれば、顔写真修正部９５は、一般点Ｐについての一般移動ベクトルβを求める際に、二次元顔写真Ｆのｎ個（ｎ≧３）の代表点のそれぞれと当該一般点Ｐとの距離Ｄ１，... ，Ｄｉ，... ，Ｄｎをそれぞれ求め、二次元顔写真Ｆのｎ個の代表点についての代表移動ベクトルを、それぞれβ１，... ，βｉ，... ，βｎとしたときに、図２８に示すように、β＝Σi=1,n（βｉ／Ｄｉ２）／Σi=1,n（１／Ｄｉ２）なる式によって求まるベクトルβを当該一般点Ｐについての一般移動ベクトルβとする補間処理を行えばよい。
【０１３９】
ｎは３以上の任意の整数に設定することができる。たとえば、図２５に示す例において、ｎ＝１０に設定すれば、任意の一般点Ｐの位置についての一般移動ベクトルβを、１０個の代表点Ｐ１〜Ｐ１０についての代表移動ベクトルβ１〜β１０に基づく補間処理によって求めることができる（すなわち、すべての代表移動ベクトルに基づく補間処理を行うことになる）。
【０１４０】
なお、ｎ個の代表点としては、一般的には、一般点Ｐに第１番目に近い第１近傍点〜第ｎ番目に近い第ｎ近傍点を選択すればよいが、必ずしも近い順にｎ個を選択する必要はない。たとえば、図１３に示す例において、ｎ＝５として、５個の代表点を選択する場合、一般点Ｐの位置にかかわらず常に代表点Ｐ１〜Ｐ５を選ぶようにすれば、どのような場合も、両目、鼻、口の代表点についての代表移動ベクトルβ１〜β５に基づく補間が行われることになる。
【０１４１】
以上、顔写真修正部９５が、二次元顔写真Ｆの各代表点に定義された代表移動ベクトルに基づく補間処理によって、二次元顔写真Ｆ上の任意の一般点Ｐについての一般移動ベクトルβを定義する具体的な方法を２つ紹介したが、もちろん、一般移動ベクトルβの定義方法は、これら２つの方法に限定されるものではない。このように、任意の一般点Ｐについての一般移動ベクトルβを定義し、二次元顔写真Ｆ上の任意の一般点Ｐを当該一般移動ベクトルβの示す方向に、当該一般移動ベクトルβの示す距離だけ移動させれば、移動後の位置が、当該一般点Ｐの修正後の位置ということになる。
【０１４２】
結局、顔写真修正部９５は、ＸＹ平面上において、二次元顔写真Ｆの各代表点をそれぞれ対応する代表移動ベクトルに応じて移動させ、二次元顔写真Ｆ上のその余の一般点Ｐを、個々の代表移動ベクトルに対する補間処理によって得られた一般移動ベクトルβに応じて移動させることにより、二次元顔写真Ｆに対する修正を行うことになる。このように、理論的には、二次元顔写真Ｆ上の任意の一般点Ｐについて、一般移動ベクトルβを定義することができるので、二次元顔写真Ｆ上のすべての点について、その位置の修正を行えば、修正後の点によって構成される画像が、修正後の二次元顔写真Ｆ′ということになる。もっとも、実際には、二次元顔写真Ｆは有限個の点（画素）の集合からなる二次元画像データによって構成されるので、これら有限個の点（画素）について、それぞれ位置の修正を行えば足りる。
【０１４３】
代表移動ベクトルも一般移動ベクトルも、いずれも投影面Ｓ（ＸＹ平面）に含まれるベクトル、すなわち、ＸＹ平面に平行なベクトルであるため、上述した位置修正の処理は、いずれもＸＹ平面内での移動処理ということになる。こうして得られる修正後の二次元顔写真Ｆ′は、選択モデルＭｊに対する合致度が向上したものになる（少なくとも、代表点の位置に関しては完全に一致する）。すなわち、修正前の二次元顔写真Ｆを選択モデルＭｊにマッピングする場合に比べて、修正後の二次元顔写真Ｆ′を選択モデルＭｊにマッピングする場合の方が、マッピング状態がより自然になる。
【０１４４】
最後に、§４で述べた第４の実施形態と、§５で述べた第５の実施形態との特徴の違いを簡単に述べておく。
【０１４５】
まず、前者は、二次元顔写真Ｆに合致するように雛形モデルＭｊに対して修正を加える手法を採用するものであり、二次元顔写真Ｆは元のままである。このため、最終的に作成される三次元ポートレートには、元の二次元顔写真Ｆの特徴、すなわち、被写体となった元の人物の特徴がそのまま表現されることになる。別言すれば、最終的に作成される三次元ポートレートは、元の人物によく似た顔付きをしたものになる。したがって、元の人物によく似たポートレートを作成するには、§４で述べた第４の実施形態を採るのが好ましい。
【０１４６】
ただ、最終的に作成される三次元ポートレートの三次元形状は、選択した雛形モデルに修正を加えたものになるため、用意した雛形モデルのいずれとも一致しない。このため、たとえば、帽子、かつら、眼鏡などの三次元形状データを既製品として用意しておいても、これをそのまま適用することはできなくなる。
【０１４７】
これに対して、後者は、選択された雛形モデルＭｊに合致するように二次元顔写真Ｆに対して修正を加える手法を採用するものであり、雛形モデルＭｊは元のままである。したがって、個々の雛形モデルごとに、帽子、かつら、眼鏡などの三次元形状データを既製品として用意しておけば、マッピング処理部５０から出力された三次元ポートレートに、これら既製品を適用して、帽子、かつら、眼鏡などを着用した三次元ポートレートを作成することができる。ただ、二次元顔写真Ｆに対して修正が加えられてしまうため、三次元ポートレート上の顔付きは、元の人物と若干変わったものになってしまう。
【０１４８】
＜＜＜  §６．  その他の変形例／応用例  ＞＞＞
最後に、本発明の更なる変形例や応用例をいくつか述べておく。
【０１４９】
(1)   髪の毛の取り扱い
これまで述べた実施形態では、髪の毛を除いた人間の頭部表面の三次元形状データからなる雛形モデルを用いている。このため、図５に示すような三次元ポートレートＧには、二次元顔写真Ｆに写っている髪の毛の部分の画像がマッピングされているものの、髪の毛の立体形状の再現は十分ではない。
【０１５０】
そこで、髪の毛の形状までも含めて、二次元顔写真Ｆ上の人物をより忠実に再現した三次元ポートレートを作成するには、様々な髪の毛の立体形状を含んだ雛形モデルのバリエーションを用意しておき、髪の毛の形状も含めて最適な雛形モデルの選択を行うようにすればよい。具体的には、これまで述べてきた実施形態における顎の輪郭線上の代表点Ｐ８〜Ｐ１０と同様に、髪の毛の輪郭線上にも代表点を定義し、これら代表点の分布が近似する雛形モデルを選択すればよい。
【０１５１】
あるいは、上述したように、種々のバリエーションをもった「かつら」に相当する三次元形状データを既製品として用意しておき、二次元顔写真Ｆ上の人物の髪に合致する「かつら」を合成することにより、最終的な三次元ポートレートを作成するようにしてもよい。
【０１５２】
(2)   斜めを向いた二次元顔写真を用いる例
これまで述べた実施形態では、二次元顔写真Ｆとして、被写体となる人物がほぼ正面を向いて写っている画像を用いる例を説明した。本発明を実施する上で、実用上は、このような正面向きの二次元顔写真を用いるのが好ましい。ただ、正面向きの二次元顔写真は、本発明を実施するための必須事項ではなく、本発明は、斜めを向いた二次元顔写真を用いても実施可能である。
【０１５３】
一般に、人間の顔は鼻の中心線に関して左右対称になっているので、二次元顔写真Ｆに写っている被写体の人物が斜めを向いていた場合でも、左顔面および右顔面のいずれか一方に関する画像が抽出できれば、これに対する鏡像関係にある画像として、他方の画像を生成することができる。また、目、鼻、口などの形状や配置の特徴に基づいて、撮影方向の傾き角を推定することができるので、斜めの肖像画像を正面向きの肖像画像に変換することも可能である。したがって、若干、処理は複雑化するものの、本発明によれば、斜めを向いた二次元顔写真を用いて、三次元ポートレートを作成することも可能である。
【０１５４】
(3)   細かな凹凸形状の付加
顔の特徴を解析する公知技術を利用すれば、二次元顔写真Ｆにおける顔の陰影を分析することにより、肌の起伏状態など、より細かな凹凸形状を認識することが可能である。そこで、選択した雛形モデルをベースとして、認識した細かな凹凸形状を付加する修正を加えることにより、三次元形状の再現性を更に向上させることも可能である。
【０１５５】
(4)   コンピュータを利用した装置構成
これまで述べた第１の実施形態〜第５の実施形態では、それぞれブロック図を用いて、機能的構成要素の集合体として本発明に係る三次元ポートレートの作成装置を説明したが、実用上は、本発明に係る三次元ポートレートの作成装置は、コンピュータに専用のプログラムを組み込むことによって構成することが可能である。
【０１５６】
たとえば、図１に示す装置において、顔写真格納部２０や雛形モデル格納部３０は、コンピュータ用のハードディスク装置やメモリなどの記憶装置によって構成することができ、顔写真入力部１０は、スキャナ装置や通信装置などのデータ入出力装置によって構成することができ、雛形選択部４０やマッピング処理部５０は、コンピュータに内蔵されているＣＰＵなどの処理装置と専用のプログラムとの組み合わせによって構成することができる。同様に、図６に示す属性格納部６０や図９に示す特徴量格納部８０は、コンピュータ用のハードディスク装置やメモリなどの記憶装置によって構成することができ、図９に示す特徴量抽出部７０、図１８に示すモデル修正部９０、図２４に示す顔写真修正部９５は、コンピュータに内蔵されているＣＰＵなどの処理装置と専用のプログラムとの組み合わせによって構成することができる。
【０１５７】
特に、第３、第４、第５の実施形態に係る装置は、オペレータによる操作入力が必要ないので、ネットワークに接続されたサーバ装置に専用のプログラムを組み込むことによって構成し、ユーザからネットワーク経由で送信されてきた二次元顔写真Ｆの画像データに基づいて、自動的に三次元ポートレートＧとなる三次元画像データを生成し、これをネットワーク経由で当該ユーザに返信するようなシステムを構築することも可能である。
【０１５８】
(5)   視差画像作成システムへの応用
本発明により作成された三次元ポートレートは、様々な用途に利用可能である。たとえば、冠婚葬祭向けの三次元映像表示として利用するのであれば、新郎新婦の写真から、その立体映像をディスプレイ画面上に表示することができる。また、遺影に基づいて故人の三次元ポートレートを作成できれば、葬儀に立体映像の提示が可能になる。もちろん、三次元ポートレートのデータに基づいて、立体肖像を作成するような用途に利用してもかまわない。
【０１５９】
また、近年、右目と左目による視差を利用して、立体画像を提示する技術も実用化されており、本発明に係る三次元ポートレートの作成装置は、このような立体画像提示用の視差画像を作成するシステムにも利用可能である。具体的には、これまで述べてきた本発明に係る三次元ポートレートの作成装置と、この三次元ポートレートの作成装置から出力された頭部三次元モデルのデータに基づいて、頭部三次元モデルを左右両眼の各位置から観察して得られる２枚の視差画像を作成し、これを画像データとして出力する視差画像作成装置と、を組み合わせれば、三次元ポートレート用視差画像作成システムが実現できる。
【０１６０】
特に、視差画像作成装置として、作成した２枚の視差画像を物理的媒体上に印刷して出力する装置を用いれば、三次元の立体像が観察可能な物理媒体の作成が可能である。具体的には、２枚の視差画像を印刷し、その上にレンチキュラーレンズを積層するようにすれば、特定の視線方向から観察した場合に、三次元の立体像が観察可能な物理媒体を得ることができ、三次元証明写真としての用途などにも利用できる。もちろん、作成する視差画像は必ずしも左右両眼位置を視点とした２枚の画像に限定されるものではなく、互いに異なる視点位置から観察して得られる２枚以上の視差画像であればよい。
【符号の説明】
【０１６１】
１０：顔写真入力部
２０：顔写真格納部
３０：雛形モデル格納部
４０，４０Ａ，４０Ｂ：雛形選択部
５０：マッピング処理部
６０：属性格納部
７０：特徴量抽出部
８０：特徴量格納部
９０：モデル修正部
９５：顔写真修正部
Ｃ：二次元顔写真における顔の輪郭線
ＣＣ：雛形投影像における顔の輪郭線
Ｄａ〜Ｄｃ：距離
Ｆ：二次元顔写真
Ｆ′：修正後の二次元顔写真
Ｇ：三次元ポートレート（頭部三次元モデルのデータ）
Ｈ，Ｈｊ：雛形投影像
ｋｉ：重み係数
Ｌ：二次元顔写真上の基準線
ＬＬ：雛形投影像上の基準線
Ｌ１，Ｌ２：顔の横幅
Ｍ，Ｍ１〜Ｍ５：雛形モデル（頭部の三次元立体データ）
Ｍｊ：選択モデル
Ｍｊ′：修正後の選択モデル
Ｏ：ＸＹＺ三次元座標系の原点
Ｐ：二次元顔写真上の一般点
Ｐ０：二次元顔写真上の基準点
Ｐ１〜Ｐ１０，Ｐａ〜Ｐｃ：二次元顔写真上の代表点
Ｑ：雛形投影像上の一般点
Ｑ０：雛形投影像上の基準点
Ｑ１〜Ｑ１０，Ｑａ〜Ｑｃ：雛形投影像上の代表点
Ｓ：投影面（ＸＹ平面）
Ｔ，Ｕ：選択モデルＭｊ上の一般点
Ｖ１〜Ｖ５，Ｖｊ：正面ベクトル
Ｗ：顎下基準線
Ｘ：ＸＹＺ三次元座標系の座標軸
Ｙ：ＸＹＺ三次元座標系の座標軸
Ｚ：ＸＹＺ三次元座標系の座標軸
α：一般移動ベクトル
αｉ，αａ〜αｃ：代表移動ベクトル
β：一般移動ベクトル
βｉ，βａ〜βｃ：代表移動ベクトル
Δ１〜Δ１０：２点間の距離
【図１】
0005842541.tif 000002
【図２】
0005842541.tif 000003
【図３】
0005842541.tif 000004
【図４】
0005842541.tif 000005
【図５】
0005842541.tif 000006
【図６】
0005842541.tif 000007
【図７】
0005842541.tif 000008
【図８】
0005842541.tif 000009
【図９】
0005842541.tif 000010
【図１０】
0005842541.tif 000011
【図１１】
0005842541.tif 000012
【図１２】
0005842541.tif 000013
【図１３】
0005842541.tif 000014
【図１４】
0005842541.tif 000015
【図１５】
0005842541.tif 000016
【図１６】
0005842541.tif 000017
【図１７】
0005842541.tif 000018
【図１８】
0005842541.tif 000019
【図１９】
0005842541.tif 000020
【図２０】
0005842541.tif 000021
【図２１】
0005842541.tif 000022
【図２２】
0005842541.tif 000023
【図２３】
0005842541.tif 000024
【図２４】
0005842541.tif 000025
【図２５】
0005842541.tif 000026
【図２６】
0005842541.tif 000027
【図２７】
0005842541.tif 000028
【図２８】
0005842541.tif 000029