(57)【要約】【課題】より本人の顔に似ている近似形状モデルを生成する顔形状モデル生成装置を提供する。【解決手段】利用者の顔に対応する３次元の顔形状モデルを生成する顔形状モデル生成装置１０００において、  前記利用者の顔を正面から撮影した１枚の画像を入力する画像撮像機構１１００と、  前記１枚の画像から目、鼻、口、耳、輪郭線の各特徴部位の位置または形状の情報を抽出し、異なる３次元表面形状を持つポリゴンメッシュで表現される顔形状に関する標準モデルを複数記憶し、前記抽出した特徴部位の位置または形状の情報と、前記複数の標準モデルにおける特徴部位の位置または形状の情報との類似度を求め、前記類似度をもとに前記複数の標準モデルから１つの標準モデルを初期標準モデルとして選択し、前記初期標準モデルを前記抽出された特徴部位の位置または形状に近似するように変形を加えて前記利用者の顔形状モデルを求める情報処理部１２００とを具備する。【選択図】      図１
2007299070.tif 000002
【特許請求の範囲】
【請求項１】
利用者の顔に対応する３次元の顔形状モデルを生成する顔形状モデル生成装置において、
前記利用者の顔を正面から撮影した１枚の画像を入力する画像入力手段と、
前記１枚の画像から目、鼻、口、耳、輪郭線の各特徴部位の位置または形状の情報を抽出する情報抽出手段と、
異なる３次元表面形状を持つポリゴンメッシュで表現される顔形状に関する標準モデルを複数記憶する記憶手段と、
前記抽出した特徴部位の位置または形状の情報と、前記複数の標準モデルにおける特徴部位の位置または形状の情報との類似度を求める比較手段と、
前記類似度をもとに前記複数の標準モデルから１つの標準モデルを初期標準モデルとして選択する選択手段と、
前記初期標準モデルを前記抽出された特徴部位の位置または形状に近似するように変形を加えて前記利用者の顔形状モデルを求める変形手段と、
を具備する
ことを特徴とする顔形状モデル生成装置。
【請求項２】
前記抽出手段は、前記各特徴部位の抽出を前記画像から画像認識により行う
ことを特徴とする請求項１記載の顔形状モデル生成装置。
【請求項３】
多数の実在する人物の顔形状を計測し、
前記計測した顔形状に基づいて複数の標準モデルを生成する
ことを特徴とする顔形状モデル生成装置。
【請求項４】
一つの標準モデルに対して幾何的変形処理を加えることで複数の標準モデルを生成する
ことを特徴とする請求項１記載の顔形状モデル生成装置。
【請求項５】
前記比較手段は、
前記利用者の顔における各特徴部位の位置から前記類似度を求めるための基準となる基点を算出し、
前記各標準モデルにおける各特徴部位の位置から前記類似度を求めるための基準となる基点を算出する
ことを特徴とする請求項１記載の顔形状モデル生成装置。
【請求項６】
前記比較手段は、
前記利用者の顔における前記基点から一定角度で伸ばした放射線上の補助線と前記抽出した輪郭線が交差する点を補助点として求め、
前記各標準モデルにおける前記基点から一定角度で伸ばした放射線上の補助線と前記抽出した輪郭線が交差する点を補助点として求め、
前記両補助点から前記類似度を求める
ことを請求項５記載の特徴とする顔形状モデル生成装置。
【請求項７】
前記比較手段は、３次元の前記各標準モデルについて正面から見た画像をそれぞれ合成し、前記合成した各画像から前記基点と前記補助点をそれぞれ求める
ことを特徴とする請求項６記載の顔形状モデル生成装置。
【請求項８】
前記比較手段は、前記各標準モデルの補助点を予め生成して記憶しておく
ことを特徴とする請求項６記載の顔形状モデル生成装置。
【請求項９】
前記選択手段は、前記利用者の顔における補助点の位置と前記各標準モデルの補助点の位置とを比較し、前記両補助点の距離の差が最小になる標準モデルを選択する
ことを特徴とする請求項６記載の顔形状モデル生成装置。
【請求項１０】
前記変形手段が、前記各特徴部位に該当する領域に加えて、前記特徴部位の周辺の形状も変形させて、周辺の形状が滑らかさを保持するように調整する
ことを特徴とする請求項１記載の顔形状モデル生成装置。
【請求項１１】
前記変形をスプライン関数によって伝播された変形量に基づくモーフィング処理で行う
ことを特徴とする請求項１０記載の顔形状モデル生成装置。
【請求項１２】
前記変形をベジェ関数によって伝播された変形量に基づくモーフィング処理で行う
ことを特徴とする請求項１０記載の顔形状モデル生成装置。
【請求項１３】
利用者の顔に対応する３次元の顔形状モデルを生成する顔形状モデル生成方法において、
前記利用者の顔を正面から撮影した１枚の画像を入力し、
前記１枚の画像から目、鼻、口、耳、輪郭線の各特徴部位の位置または形状の情報を抽出し、
異なる３次元表面形状を持つポリゴンメッシュで表現される顔形状に関する標準モデルを複数記憶し、、
前記抽出した特徴部位の位置または形状の情報と、前記複数の標準モデルにおける特徴部位の位置または形状の情報との類似度を求め、
前記類似度をもとに前記複数の標準モデルから１つの標準モデルを初期標準モデルとして選択し、
前記初期標準モデルを前記抽出された特徴部位の位置または形状に近似するように変形を加えて前記利用者の顔形状モデルを求める
ことを特徴とする顔形状モデル生成方法。
【請求項１４】
利用者の顔に対応する３次元の顔形状モデルをコンピュータによって生成する顔形状モデル生成プログラムにおいて、
前記利用者の顔を正面から撮影した１枚の画像を入力する画像入力機能と、
前記１枚の画像から目、鼻、口、耳、輪郭線の各特徴部位の位置または形状の情報を抽出する情報抽出機能と、
異なる３次元表面形状を持つポリゴンメッシュで表現される顔形状に関する標準モデルを複数記憶する記憶機能と、
前記抽出した特徴部位の位置または形状の情報と、前記複数の標準モデルにおける特徴部位の位置または形状の情報との類似度を求める比較機能と、
前記類似度をもとに前記複数の標準モデルから１つの標準モデルを初期標準モデルとして選択する選択機能と、
前記初期標準モデルを前記抽出された特徴部位の位置または形状に近似するように変形を加えて前記利用者の顔形状モデルを求める変形機能と、
を実現する
ことを特徴とする顔形状モデル生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は顔の画像を撮影することで顔の立体的な形状モデルを生成する装置及びその方法に係り、特に、顔の初期形状モデルを導入し、この初期形状モデルの内容を工夫することで、少ない情報からでも本人の特徴を反映した顔の形状モデルを生成することが可能な顔形状モデル生成装置及びその方法に関する。
【背景技術】
【０００２】
対象物の立体的な形状情報を獲得する方法について、既に様々な技術が発明されてきている。例えば、接触針などによる直接的な計測方法、レーザ光線による測距技術を用いる方法、対象物に赤外光やパターン光を照射する能動的画像計測、通常の実写画像を解析する受動的画像計測等が挙げられる。
【０００３】
特許文献１や特許文献２ではパターン光やスリット光の照射による人体の形状入力の技術について述べられているが、対象物が人物の顔面に限定されていることを考慮すると、安全面や心理的側面からも、直接的な働きかけを行う計測方法の利用は避けたいという事情がある。
【０００４】
一方、画像を用いた受動的な計測手法の代表としてステレオ画像処理が挙げられる。ステレオ画像処理による奥行き計測では、異なる視点から撮影した複数の画像を参照し、画像中の特徴的な画素パターン同士のマッチングを行うことで三角測量を行う。このマッチングを行うという処理の性質上、画像中の特徴的なパターンを持つ領域の近辺については正確な距離情報が得られるものの、逆にパターンの乏しい部分では正確な距離情報が得られないという問題点がある。特に人物の顔面を対象とした場合、頬や額といった特徴的なパターンの無い部位では形状情報が欠落する恐れがあり、万全な技術とは言えない。
【０００５】
また、上記の一般的な技術とは別に、最初から顔の形状を求めることを前提とした特別な技術も発明されている。特許文献３においては、顔の正面と側面から撮影した画像を参照し、画像に含まれる顔の形状的な特徴の情報を計測することで精密な顔の形状モデルを生成する技術について述べている。良好な形状モデルが得られる代わりに、正面と側面という限定された条件の画像を準備する必要がある
さらに条件を緩和して、単一の画像のみを用いて顔の形状モデルを合成する技術の発明もある。例えば、特許文献４では、正面から撮影した顔の画像に合致するように、標準の顔形状モデルを変形させる処理を行って顔の形状モデルを生成する方法を取っている。この技術では顔の凹凸に関する情報は計測されていないので、得られる顔の形状モデルは近似モデルとなっている。
【特許文献１】特許第３６３５９４３号公報
【特許文献２】特許第３３５８５８４号公報
【特許文献３】特開２００５−７８６４６公報
【特許文献４】特表２００４−５０３２７６公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
背景技術で述べたように、画像から顔の形状モデルを生成する技術が発明されたことで、特殊な計測装置を用いることなく、一般の撮像装置と情報処理手段の組み合わせのみで、対象となる顔の形状モデルを生成する装置が実現されるようになった。
【０００７】
しかし、立体形状を把握するための前提条件として、異なる方向から撮影した２枚以上の画像が必要であることが利用上の障壁の一つとなっている。異なる方向から２枚以上の画像を撮影するには、まず、複数の撮像装置を配置する方法が考えられる。ところが、スチルカメラやテレビカメラ、携帯電話、パーソナルコンピュータなど、撮像機構を持つ一般の装置を考えると、殆どの場合が単一、単眼の構成となっている。
【０００８】
このような状況で、顔の形状モデルを獲得する目的の為だけに撮像機構を２系統搭載するという方針は合理的では無く、まして顔の正面と側面の画像を撮影できるように撮像装置を配置するとなれば、対象の頭部を取り囲むような大掛かりな装置となり、このような構成を取り得る装置は専門の用途に供する特殊装置でしかないと考えられる。
【０００９】
また、単一の撮像装置を移動させて、複数の方向からの画像を時間差で撮影するという運用で問題を解決する方法も考えられるが、専門家でない一般の利用者が撮影角度などを考慮して簡単に撮影出来るとは言えず、そもそも、監視カメラなど据付型で利用されている撮像装置では撮影位置を変えることすらままならない。撮影対象自身が向きを変える、という解決方法もあるが、技術の枠組みに由来する制限の為に利用者側に負担を掛けていることに変わりは無い。
【００１０】
以上の状況から、既存の複数枚の画像を参照して形状を計測するという枠組みを利用して実現される、画像から顔の形状モデルを生成する技術では、広く一般に利用される技術としての簡便さが達成されていないと言える。また、単一の画像のみを用いて顔の形状モデルを合成する技術においては、上記の例とは異なり、複数の画像を準備する困難性から開放されるが、正面から見た形状だけが合致するように初期モデルを変形させる方法を取るため、獲得される顔のモデルはいわゆる近似モデルであり、特に凹凸の情報と正面から見た輪郭線の情報に全く関連が無いため、最終的に、本人に似た顔の形状モデルを得ることが難しいという問題点がある。
【００１１】
複数の画像を準備する困難性を解決する為、顔の形状モデルを生成する際に参照する画像を、正面から撮影した唯１枚の画像のみに限定する。特許文献３では、正面から撮影した唯１枚の画像から得られる目、鼻、口や顔の輪郭線といった個人の特徴情報を参照して、予め準備しておいた標準の顔の形状モデルを変形させることで、特定の個人の顔の形状モデルを近似的に生成する。
【００１２】
しかし、この近似モデルでは、画像から本人の顔の立体的な構成情報を獲得した訳ではなく、あくまで標準モデルが持つ顔の凹凸情報を再利用しているので、このモデルを正面から見た場合は本人に似ているが、斜め横から見た場合には本人に似ていないという状況が発生することは容易に予想される。
【００１３】
そこで、本発明では上記問題点を解決する為に、より本人の顔に似ている近似形状モデルを生成する顔形状モデル生成装置及びその方法を提供する。
【課題を解決するための手段】
【００１４】
本発明は、利用者の顔に対応する３次元の顔形状モデルを生成する顔形状モデル生成装置において、前記利用者の顔を正面から撮影した１枚の画像を入力する画像入力手段と、前記１枚の画像から目、鼻、口、耳、輪郭線の各特徴部位の位置または形状の情報を抽出する情報抽出手段と、異なる３次元表面形状を持つポリゴンメッシュで表現される顔形状に関する標準モデルを複数記憶する記憶手段と、前記抽出した特徴部位の位置または形状の情報と、前記複数の標準モデルにおける特徴部位の位置または形状の情報との類似度を求める比較手段と、前記類似度をもとに前記複数の標準モデルから１つの標準モデルを初期標準モデルとして選択する選択手段と、前記初期標準モデルを前記抽出された特徴部位の位置または形状に近似するように変形を加えて前記利用者の顔形状モデルを求める変形手段と、を具備することを特徴とする顔形状モデル生成装置である。
【発明の効果】
【００１５】
本発明は、唯一枚の画像から、より本人の顔に似ている顔形状モデルを生成できる。
【発明を実施するための最良の形態】
【００１６】
（第１の実施形態）
以下、本発明の第１の実施形態の顔形状モデル生成装置（以下、単に「生成装置」という）１０００について図１から図３及び図６に基づいて説明する。
【００１７】
本実施形態の生成装置１０００は、顔形状モデルの生成機能を内蔵した鏡という構成を取る。
【００１８】
（１）生成装置１０００の目的
情報処理機器の性能の向上に伴い、精細な仮想の画像を生成することが可能となってきた。また、生成される仮想の画像が精細化することで、例えば実写画像との合成が違和感無く行えるようになってきた。このような事情から、例えば、物体に加工や操作を加える前に、予め予想される変化を事前に仮想画像で確認してみる、といった利用が可能になってきている。
【００１９】
日常の生活において、例えば化粧品を購入したり美容院で髪型を整えてもらう際に、事前にその効果を確認しておきたいという欲求がある。しかし、髪を切った後で元に戻すことは一般的には不可能であるし、一旦施した化粧を全て落としてから別の化粧を施すことは時間と手間が掛かるなどの理由で、気軽に試すことが難しいという事情がある。
【００２０】
ここで、前記仮想の画像と実写の画像を合成する技術の応用を考えると、例えば髪型の変更や化粧を行う前に、その予想される姿を予め仮想の画像として合成することで確認出来る仕組みを構築すれば、上記の欲求を満たすことが可能になると考えられる。
【００２１】
このような事情を鑑みて、本実施形態においては、仮想の画像と実写の画像の両方を用いて、利用者自身の姿、特に本実施形態では自身の顔面から頭部の外観を確認する用途に用いることが可能な鏡として機能する生成装置１０００を提案する。
【００２２】
（２）生成装置１０００の構成
図１は、本実施形態における生成装置１０００の構成を示すブロック図である。
【００２３】
図１に示すように、画像撮像機構１１００が、対象となる利用者１８００の顔を静止画もしくは動画に撮影する。撮影された静止画もしくは動画の画像は情報処理部１２００を経由して情報蓄積部１３００に蓄積される。
【００２４】
情報蓄積部１３００に蓄積された利用者の顔の画像は、適切なタイミングで情報処理部１２００によって加工された後、画像表示機構１５００内の画像表示部１５１０にて呈示され、利用者１８００は自分自身の画像を見ることで、自分の姿を確認することが可能となる。
【００２５】
本実施形態における生成装置１０００が従前から存在する光学的な鏡と異なるのは、画像撮像機構１１００によって撮影された画像を、画像表示機構１５００に呈示することで利用者が自分自身の姿を見る機能を実現している点である。画像撮像機構１１００は、撮像光学系１１１０と撮像制御部１１２０を有している。画像表示機構１５００は画像表示部１５１０と画像表示制御部１５２０を有している。また、利用者１８００が操作するための操作入力制御部１４１０と操作入力部１４２０を有している。
【００２６】
また、上記の構成を鏡として機能させる為には、利用者が注視する画像表示部１５１０に対して、同じ光軸線上から画像を撮像する必要があるが、一般的に画像表示機構は透視的でないことから、画像撮像機構を同じ光軸線上に配置して撮像することが出来ない。そこで図３に示すように、利用者が注視する光軸線上に半透過鏡（ハーフミラー１５３０）を斜めに配置して光軸を折り曲げ、ハーフミラー１５３０を線対称の軸として、画像撮像機構１１００を画像表示機構１５００と対称の位置になるように配置することで、利用者が画像表示部１５１０を注視する光軸と撮像光学系が利用者の像を結像させる際の光軸を一致させることが可能となる。
【００２７】
なお、画像表示機構１５００が画像撮像機構を兼ね備えるような別の機構が実現された場合には、特に上記の構成にとらわれず、直接、画像表示機構が兼用する撮像機能を利用して撮像する仕組みとしても良い。
【００２８】
（３）生成装置１０００の動作内容
次に、まだ実施していない髪型の変更や化粧を、事前に画像で確認できる仕組みについて説明する。
【００２９】
例えば髪型の変更であれば、画像表示部１５１０で呈示する画像の内容のうち、利用者の頭部に該当する領域を、別に生成した仮想の髪型の画像と差し替えて合成すれば良いし、化粧であれば画像中の利用者の顔面に、化粧による変色などの効果を上描きして合成すれば良い。
【００３０】
しかし、差し替えや上描きに利用される仮想の画像は、利用者本人の顔や頭部の構造に即して生成されなければ、画像中の利用者の頭部や顔面に正しく合致するように合成することが出来ない。このため利用者本人の頭部や顔面についての形状情報が必要となる。本実施形態では、これら頭部や顔面についての形状情報を「顔形状モデル」と呼ぶこととする。
【００３１】
また、利用者個人の個別の顔形状モデルを生成する機能を「顔形状モデル生成機能」と呼ぶこととする。この「顔形状モデル生成機能」は、本実施形態における鏡の機能を実現する上で最も重要な構成要素の一つである。
【００３２】
（４）顔形状モデル生成機能
次に、個別の利用者の顔形状モデルを獲得する「顔形状モデル生成機能」について説明する。なお、この機能はコンピュータよりなる情報処理部１２００に記憶されたプログラムによって実現できる。
【００３３】
（４−１）機能の目的
一般的に、物体の立体的な形状情報を獲得する手段としては従来から様々な技術が発明されてきた。しかし、それぞれの技術には長所と短所があり、利用者の姿を映す「鏡」の機能を実現する用途には利用が難しいものもある。
【００３４】
既に背景技術の項で述べた内容の繰り返しとなるが、例えば、レーザ光線による距離計測を用いて対象の形状情報を獲得するレーザレンジカメラの使用を考えた場合、利用者が顔面を写す生成装置において、毎回、顔面に向かってレーザ光線を照射するという運用では、まず安全面に問題がある。また、仮に身体的な影響が少ない実施方法が発明されても、計測時に光線を浴びる利用者にとって、使用上の心理的な抵抗は大きいと考えられる。
【００３５】
また、ステレオ画像処理による奥行き計測では、画像中の特徴的な画素パターン同士のマッチングを行うことで三角測量を行うという処理の性質上、画像中の特徴的なパターンを持つ領域の近辺については正確な距離情報が得られるものの、逆にパターンの乏しい部分では性格な距離情報が得られないという問題点がある。特に人物の顔面を対象とした場合、頬や額といった特徴的なパターンの無い部位では形状情報が欠落する可能性が高い。
【００３６】
また、最初から顔の形状を求めることを前提とした特許文献３が発明されてきているが、顔の正面と側面から撮影した２枚の画像を用意する必要があるので、利用者を囲むように２台の撮像装置を配置するか、１台の撮像装置を用いて、撮影位置を変えて時間差で２枚の画像を撮影するなどの特別な仕組みが必要になり、従前の鏡の感覚で利用可能な生成装置の機構として組み入れることは困難である。
【００３７】
そこで、本実施形態では特に、正面から撮影した唯１枚の画像から顔の立体的な形状モデルを得る技術を提案し、これを導入することで簡便な構成による仮想鏡の実現を可能とした。
【００３８】
（４−２）機能の内容
次に、正面から撮影した唯１枚の画像から顔の立体的な形状モデルを得る仕組みについて説明する。
【００３９】
まず、一般的に唯１枚の画像中に含まれる情報のみから、画像中の対象物の立体的な構成情報を得ることは不可能である。これは、対象の立体的な構造を解析する処理において、唯１枚の画像から得られる情報のみでは、手掛かりが不足する為である。よって、対象物の立体的な構成情報を得る為には、外部から別の情報を与えて補う必要がある。本実施形態では対象物を顔に限定しているので、この前提条件を極力活用する。
【００４０】
まず、獲得すべき形状が、おおよそ顔らしい形状に限られるという前提を置くことが出来る。また、顔を構成する目、鼻、口などの特徴部位についても、相互の相対的な位置関係においておおよそ典型的な目、鼻、口の位置関係を保持していることか予想される。
【００４１】
上記の事情から、予め情報処理装置の内部に標準的な顔の形状モデルを準備しておき、この標準モデルの縦横の大きさや目、鼻、口などの特徴部位の位置を画像中の顔に一致するように変形調整することで、簡易的に画像中の本人の顔に近似した形状モデルが生成可能であると考えられる。
【００４２】
しかし、これは画像から本人の顔の立体的な構成情報を獲得した訳ではなく、別人の顔の形状を再利用しているに過ぎない。凹凸の情報が本人のものは無い為、この近似モデルを正面から見た場合は本人に似ているが、斜め横から見た場合には本人に似ていないという状況が容易に発生し得ると予想される。
【００４３】
この問題を解決する為に、本実施形態では異なる特徴を持つ複数の初期標準モデルを準備して、対象の顔の近似モデルを生成する方法を提案するが、本実施形態では特に、これら複数の初期標準モデルのバリエーションの持たせ方を工夫することで、より本人の顔の形状に近い形状の近似モデルを生成するしくみを特徴としている。
【００４４】
（４−３）初期標準モデルのバリエーションの生成方法
次に、本実施形態における初期標準モデルのバリエーションの生成方法について具体的に説明する。
【００４５】
（４−３−１）第１のバリエーションの生成方法
第１のバリエーションの生成方法は、実在する人物の顔の形状の変位に基づく方法である。
【００４６】
多数の実在する人物の顔の形状を計測し、実際の人物の顔の形状が取り得る変位の成分を解析した結果に基づいてバリエーションを設定することで、例えば太っている人に特有の頬の盛り上がり方と、痩せている人に特有の頬の盛り上がり方というような、正面から見た顔の特徴に奥行方向の特徴を関連付けたバリエーションを用意することが可能になる。
【００４７】
これにより、実際に奥行の情報を計測していなくても、正面から見た顔の特徴を手掛かりにバリエーションを選択することで、間接的にその個人の奥行の特徴を近似的に加味した顔形状の標準モデルが獲得できる。
【００４８】
（４−３−２）第２のバリエーションの生成方法
第２のバリエーションの生成方法は、幾何学的変形に基づく方法である。
【００４９】
１つの顔形状の標準モデルに対して幾何学的な変形処理を加えることでバリエーションを実現する。幾何学的変形処理は、顔らしいバリエーションを実現する為には何を用いても良いが、例えば超二次関数によって記述される超二次楕円体の偏移量を標準モデルに反映させる方法がある。
【００５０】
超２次楕円体とは下式で表す幾何定義のものである。
【００５１】
｛｜ｘ｜＾（２／ｅ）＋｜ｙ｜＾（２／ｅ）｝＾（ｅ／ｎ）＋｜ｚ｜＾（２／ｎ）
＝１．０
上式で変数ｅ＝１．０、ｎ＝１．０の時に真球を表す。
【００５２】
ｅとｎの２つの値を変化させることで、凸包体の形状を連続的に変形させることが出来る。超２次楕円体の変化に基づいて顔の標準モデルを変形する処理の概念を図８に示す。
【００５３】
（５）最適な標準モデルの選択方法
次に、複数の標準モデルから最適な標準モデルを選択する方法について説明する。
【００５４】
基本的には、対象の顔を正面から撮影した際の顔の輪郭線と、複数の標準モデルを正面から見た際の顔の輪郭線とを比較し、最も近似している輪郭線をもつ初期標準モデルを選択する手順を図６のステップ１１０〜２３０に基づいて説明する。
【００５５】
線分と線分を比較してその類似度を計算する方法は、既に知られているどのような方法で行っても良いが、ここでは対象の線分を再サンプリングして、対応する再サンプリング点同士の距離を評価する方法を説明する。なお、対象の顔が撮影された画像において、目、鼻、口、輪郭線などの特徴部位の位置または形状についての情報は既に求まっているものとする。これら特徴部位の検出手順については後ほど説明を行う。
【００５６】
まず、対象の顔を撮影する。
【００５７】
次に、対象の顔が撮影された画像（図７−７１００）において、両目、両鼻腔の位置を特定する。
【００５８】
次に、特定された両目の中心の座標を結んだ線Ｌ０１を引く。
【００５９】
次に、線Ｌ０１上の中点Ｐ０１を設定する。
【００６０】
次に、線Ｌ０１を左右に延長して、顔の輪郭線と交差する点をそれぞれＰ０３Ｌ、Ｐ０３Rとする。
【００６１】
また、点Ｐ０３Ｌ、Ｐ０３Rを結んで作られる直線をＬ０１’とする。
【００６２】
次に、特定された両鼻腔の中心の座標を結んだ線Ｌ０２を引く。
【００６３】
次に、線Ｌ０２上の中点Ｐ０２を設定する。
【００６４】
次に、中点Ｐ０１と中点Ｐ０２を結ぶ線Ｌ０３を引く
次に、線Ｌ０３を上下に延長して、顔の輪郭線と交差する点をそれぞれＰ０４、Ｐ０５とする。
【００６５】
なお、実際には、頭頂部の輪郭線は髪の毛の影響によって画像から正確に求めることは難しいので、点Ｐ０４の位置は暫定的に点Ｐ０１から点Ｐ０５までの長さに一定の比率を掛けて延長した点の位置とし、画像中から検出される髪の毛と背景との境界線の位置を参照しながら、計算で求めた暫定位置を修正することで決定する。また、点Ｐ０４、Ｐ０５を結んで作られる直線をＬ０３’とする。
【００６６】
次に、点Ｐ０１を顔の基点（中心点）、線Ｌ０３’を顔の中心線とみなして、基点から一定の角度間隔で放射線上に補助線を引き、この補助線と顔の輪郭線が交差する点を、顔の輪郭線上の再サンプリング点（補助点）Ｓ０１、Ｓ０２、Ｓ０３・・・・とする（図７−７２００）。
【００６７】
次に、これらの再サンプリング点の座標を、点Ｐ０１からの相対座標に変換し、さらに線Ｌ０１’、Ｌ０３’の長さを参照して縦横のスケールを正規化する。
【００６８】
また、各標準モデルに対しても、事前に正面から見た画像をコンピュータグラフィックスなどで合成しておき、前記で述べた処理内容と同じ要領で再サンプリング点を求めておく。
【００６９】
最後に両者の対応する再サンプリング点同士の距離を比較し、距離差の合計が最も小さかった標準モデルが、最も似ている初期標準モデルとして選択される。すなわち、距離差の合計が類似度であり、最も類似度の高い標準モデルを選択する。
【００７０】
（６）初期標準モデルの変形
次に、選択された初期標準モデルを変形させて、対象の個人の顔に似せる処理を図６のステップ２４０〜２９０に基づいて説明する。
【００７１】
まず、先のモデル選択処理で求めた線Ｌ０１’、Ｌ０３’の長さを元に、初期標準モデルの縦横のスケールを変更して顔の縦横比を合わせる。
【００７２】
次に、画像から検出された、対象の顔の目、鼻、口の位置情報を参照して、初期標準モデルの目、鼻、口の各部位を移動させる。初期標準モデルには事前に目、鼻、口の特徴部位をパーツとして登録しておき、これらのパーツ単位で位置の移動や全体のスケールの調整を行う。
【００７３】
ところで、ポリゴンメッシュで構成されたモデルにおいて、一部の部位に対してのみ、移動やスケール調整などの処理を行うと、モデル全体として不自然な歪みが発生する場合があり、例えば本実施形態においては顔らしい滑らかさを失う結果につながる可能性がある。そこで、このような変形処理に伴う副作用を緩和する為、例えばスプライン関数、ベジェ関数などを用いて特定のポリゴンメッシュの頂点の移動が周辺の頂点に対して一定の割合で伝播するような処理を行い、全体として滑らかな接続を維持するようなモーフィング処理を行う。
【００７４】
以上の各操作により、対象の顔の特徴に近似した初期標準モデルを選択し、顔の縦横比を合致させ、さらに目、鼻、口といった特徴部位の位置とスケールを合わせるといった一連の操作が実現され、画像に撮影された対象の顔によく似た顔の形状モデルが獲得されることとなる。
【００７５】
（７）特徴部位を検出する手順
最後に、画像に撮影された対象の顔画像から目、鼻、口、輪郭線などの特徴部位を検出する手順について補足する。
【００７６】
既に、画像に撮影された顔を画像処理によって発見、抽出する様々な技術が提案されてきているが、本実施形態では分離度フィルターを用いて目、鼻、口などの特徴パーツを検出する手法を例に挙げる。分離度フィルターによる検出結果には類似パターンによる誤検出も含まれるので、目、鼻、口の各パーツの相互の相対位置による拘束条件を利用して誤検出を排除する。最終的に平均的な顔の画像パターンでラフなマッチングを行い、正しく顔の領域が検出されているかをチェックする。
【００７７】
顔の輪郭線については、上記の顔パーツの検出によって特定された顔領域の周辺に、予め設定しておいたパラメータに従って仮の輪郭線を設定し、この仮の輪郭線付近で画像中の輝度差の大きい部分を検出する処理を行うことで特定する。画像中の輝度差の有る部分を輪郭線として抽出する画像処理の技術は既に多数実施形態されており、これら輪郭線を抽出するいずれの方法を利用しても良いが、例えば、上記の仮に設定した輪郭線が画像中の輝度差の大きい部分に沿うようにエネルギー関数などを用いて評価しながら変形させる方法が挙げられる。
【００７８】
（第２の実施形態）
第２の実施形態は、顔形状モデルの生成機能を持つ携帯電話機という構成を取る顔形状モデルの生成装置４０００である。
【００７９】
本実施形態の生成装置４０００は、カメラ付き携帯電話としての機能を有している。これにより音声と画像を同時に送受信して通信を行うテレビ電話の機能が実現されているものとする。
【００８０】
（１）生成装置４０００の目的
テレビ電話で送受信される画像について考えると、一般的には機器に搭載された画像撮像機構によって撮影された画像をそのまま利用するが、例えば寝起きで髪型が乱れている時や着替え中の時、化粧を落としている時など、ありのままの画像を送信することが望まれない場合も予想される。このような場合には、単に画像の送受信を停止することで望まれない画像による通信を回避することが可能であるが、テレビ電話の根本的な機能を失うことになる。そこで、より能動的な回避施策として画像の全体、もしくは部分を修正、脚色して送信することで、画像中の望まれない要素を排除するという解決方法が考えられる。また、単純に娯楽要素として送受信する画像に脚色を施すという利用方法も考えられる。
【００８１】
上記の事情を鑑みて、本実施形態では顔形状モデルの生成機能を利用してテレビ電話が撮影した画像に含まれる人物の顔の画像に脚色を施して送受信を行う生成装置４０００を提案する。
【００８２】
（２）生成装置４０００の内容
まず、図４における本実施形態の生成装置４０００の構成において、画像撮像機構４１００が、対象となる利用者４９００の顔を静止画もしくは動画に撮影する。撮影された静止画もしくは動画の画像は情報処理部４２００を経由して情報蓄積部４３００に蓄積される。
【００８３】
情報蓄積部４３００に蓄積された利用者の顔の画像は、適切なタイミングで情報処理部４２００によって加工された後、通信入出力部４７００を経由して外部システム４８００へ転送される。
【００８４】
画像表示機構４５００内の表示部４５１０は通常、通信入出力部４７００経由で受信した、通信相手から送信されてきた画像を呈示する用途に使用されるが、利用者側の生成装置４０００で生成した自分自身の加工後の画像を呈示することで、利用者自身の加工後の画像の状況を確認する用途にも利用出来る。
【００８５】
音声出力部４６１０はスピーカー、音声入力部４６２０はマイクロフォンなどによって実現される音声インタフェース部であり、音声入出力制御部４６３０によって制御され、従前の音声電話機に相当する機能を実現している。
【００８６】
（３）生成装置４０００の動作内容
ここで、例えば利用者４９００が寝起きで髪型が乱れている状態で電話の利用が必要になった場面を考える。通信相手に送信する利用者４９００の顔〜頭部の画像において、乱れた髪形が気になるとする。撮影した実写の画像中の髪型の部分を、仮想の画像として生成した、整った髪型の画像に差し替えて合成することで、姿の乱れを露出させることなく通信が出来る要領となる。
【００８７】
ここで、仮想の画像を生成して実写の画像と合成する仕組みや、仮想の画像を生成する際に、対象となる利用者の頭部から顔についての形状情報、つまり「顔形状モデル」が必要となる事情については、第１の実施形態で述べた内容と同じである。
【００８８】
また、画像撮像機構４１００が撮影した画像から、利用者個人の個別の「顔形状モデル」を生成する方法についても、第１の実施形態と同じである。本実施形態が、第１の実施形態と異なる点は、仮想の画像と実写の画像を合成して得られた最終結果の画像が、他者（通信相手）に対して呈示される用途に利用される点である。
【００８９】
最終的に、乱れた髪型の利用者４９００の姿を写した画像が、整った髪型の利用者４９００の姿を写した画像に修正された後、通信相手に送信されることとなり、利用者４９００は自身の姿の乱れを気にすることなく、寝起きであっても安心してテレビ電話を利用することが可能となる。
【００９０】
また、単に髪型の乱れを修正するだけでなく、例えば実際には施すことが難しい派手な化粧や髪型を施した姿を合成した画像を通信相手と送受信することで、娯楽として楽しむという利用方法も考えられる。
【図面の簡単な説明】
【００９１】
【図１】本実施形態の第１の実施形態における生成装置の構成を示すブロック図である。
【図２】第１の実施形態における生成装置の外観図である。
【図３】第１の実施形態における生成装置の撮像機構を示す概略図である。
【図４】第２の実施形態における生成装置の構成を示すブロック図である。
【図５】第２の実施形態における生成装置の外観図である。
【図６】第１の実施形態における顔形状モデルの生成処理を示すフローチャートである。
【図７】対象の顔が撮影された画像の図である。
【図８】超２次楕円体の変化に基づいて顔の標準モデルを変形する処理の概念である。
【符号の説明】
【００９２】
１０００      生成装置
１１００      画像撮像機構
１２００      情報処理部
１３００      情報蓄積部
１５００      画像表示機構
１５１０      画像表示部
１８００      利用者
【図１】
2007299070.tif 000003
【図２】
2007299070.tif 000004
【図３】
2007299070.tif 000005
【図４】
2007299070.tif 000006
【図５】
2007299070.tif 000007
【図６】
2007299070.tif 000008
【図７】
2007299070.tif 000009
【図８】
2007299070.tif 000010