(57)【要約】【課題】利用者の使用可能度を向上させ、利用者が顔画像をインターネットや電子メール等の手段でサーバに送るだけで顔画像登録が完了し、利用者側から試してみたい髪型、髪の色、服装を選ぶ行為のみでヘアシミュレーションや着せ替えシミュレーションサービスを利用者側へ提供することができるシミュレーション画像生成システムを提供する。【解決手段】本発明のシミュレーション画像生成システムは、顔画像を合成処理するシミュレーション画像生成サーバ１０と、シミュレーション画像生成サーバ１０に合成対象の顔画像を送信し、シミュレーション画像生成サーバ１０から合成画像を受信する端末（ＰＣ２０Ａ及びデジタルカメラ３０，カメラ付き携帯電話２０Ｂ）２０と、シミュレーション画像生成サーバ１０と端末１０を通信可能に接続するネットワーク４０と、を備えている。【選択図】  図１
2004326488.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を合成処理するシミュレーション画像生成サーバであって、
顔の特徴点座標、顔の輪郭情報、顔領域マスク情報及び肌色情報を含む顔画像情報を顔画像から抽出する顔画像コンポーネント処理手段と、
前記顔画像コンポーネント処理手段で抽出された前記顔画像情報を記憶する顔画像記憶手段と、
顔画像のサンプル画像情報を記憶するサンプル画像記憶手段と、
前記顔画像記憶手段に記憶されている前記顔画像情報と、前記サンプル画像記憶手段に記憶されている前記サンプル画像情報を合成してシミュレーション画像を生成するシミュレーション処理手段と、
を備える、
ことを特徴とするシミュレーション画像生成サーバ。
【請求項２】
前記顔画像コンポーネント処理手段は、前記顔画像を前記サンプル画像情報のサイズに適応する所定のサイズにスケーリングしてスケーリング顔画像を生成し、前記顔画像及び／又は前記スケーリング顔画像から顔位置の検索範囲を算出し、前記顔位置の検索範囲内でテンプレート画像を用いてテンプレートマッチングを行って顔の特徴点座標及び顔部分画像を抽出し、前記テンプレート画像の各顔パーツの位置情報に基づいて前記顔部分画像の各顔パーツの検索範囲を決定し、各々の顔パーツの検索範囲内で前記テンプレート画像の対応する顔パーツ情報を用いてテンプレートマッチングを行って各顔パーツ毎の位置情報を獲得し、前記顔部分画像から肌色部分を検出して肌色情報を抽出し、当該肌色情報の範囲に基づいて顔領域マスク画像を生成し、当該顔領域マスク画像に基づいて顔領域マスク情報と顔の輪郭情報を抽出する、
ことを特徴とする請求項１記載のシミュレーション画像生成サーバ。
【請求項３】
前記顔画像コンポーネント処理手段は、前記顔画像及び／又は前記スケーリング顔画像のＲＧＢ値をＬａｂ値に変換し、前記顔画像及び／又は前記スケーリング顔画像内の所定の範囲を示す所定の大きさの範囲の楕円において、
＜式１＞
外側色情報：Ｃｏｕｔ＝（楕円外側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円外側画素数
内側色情報：Ｃｉｎ＝（楕円内側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円内側画素数
分離度Ｄ＝Ｃｏｕｔ／Ｃｉｎ
で算出される分離度Ｄの値が最大の場合の楕円の範囲を顔位置の検索範囲とする、
ことを特徴とする請求項２記載のシミュレーション画像生成サーバ。
【請求項４】
前記顔画像コンポーネント処理手段は、テンプレート画像とマッチング対象の画像をグレー化し、当該グレー化した画像に対して横方向の一次微分を行って夫々の一次微分画像を生成し、当該テンプレート画像の一次微分画像の輝度値ｂｔｍｐ及びマッチング対象の画像の一次微分画像の輝度値ｂｔａｒに基づいて、
＜式２＞
【数１】
2004326488.tif 000007
Ｍ：定数項
Ａ：テンプレートの画素数
で算出される評価値が最大の位置をマッチング位置とする、
ことを特徴とする請求項２又は３記載のシミュレーション画像生成サーバ。
【請求項５】
前記シミュレーション処理手段は、前記サンプル画像情報に応じて前記顔画像情報の肌色情報を調整して対象顔画像を生成し、前記サンプル画像情報に前記対象顔画像を合成するための位置データ、角度データ、拡大率データを算出し、当該データに基づいて前記サンプル画像情報をスケーリングしてスケーリング画像を生成し、当該スケーリング画像の顎の輪郭と額の高さを前記顔画像情報の顎の輪郭と額の高さに調整して被合成画像を生成し、当該被合成画像と前記対象顔画像を合成して合成顔画像部を生成すると共に前記合成顔画像部のサイズに応じて前記被合成画像の胴体部のサイズを調整してシミュレーション画像を生成する、
ことを特徴とする請求項１から４何れか記載のシミュレーション画像生成サーバ。
【請求項６】
顔画像を合成処理するシミュレーション画像生成サーバと、
前記シミュレーション画像生成サーバに合成対象の顔画像を送信し、前記シミュレーション画像生成サーバから合成画像を受信する端末と、
前記シミュレーション画像生成サーバと前記端末を通信可能に接続するネットワークと、
を備えたシミュレーション画像生成システムにおいて、
前記シミュレーション画像生成サーバは、前記請求項１から５何れか記載のシミュレーション画像生成サーバである、
ことを特徴とするシミュレーション画像生成システム。
【請求項７】
前記端末は、カメラ付き携帯電話である、ことを特徴とする請求項６記載のシミュレーション画像生成システム。
【請求項８】
前記端末は、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である、ことを特徴とする請求項６記載のシミュレーション画像生成システム。
【請求項９】
顔画像を合成処理するシミュレーション画像生成方法であって、
（Ａ）顔の特徴点座標、顔の輪郭情報、顔領域マスク情報及び肌色情報を含む顔画像情報を顔画像から抽出し、
（Ｂ）抽出した前記顔画像情報を記憶し、
（Ｃ）予め準備されている顔画像のサンプル画像情報と、記憶している前記顔画像情報とを合成してシミュレーション画像を生成する、
ことを特徴とするシミュレーション画像生成方法。
【請求項１０】
前記ステップ（Ａ）は、
（Ａ１）顔画像をサンプル画像情報のサイズに適応する所定のサイズにスケーリングしてスケーリング顔画像を生成し、
（Ａ２）前記顔画像及び／又は前記スケーリング顔画像から顔位置の検索範囲を算出し、
（Ａ３）前記顔位置の検索範囲内でテンプレート画像を用いてテンプレートマッチングを行って顔の特徴点座標及び顔部分画像を抽出し、
（Ａ４）前記テンプレート画像の各顔パーツの位置情報に基づいて前記顔部分画像の各顔パーツの検索範囲を決定し、
（Ａ５）各々の顔パーツの検索範囲内で前記テンプレート画像の対応する顔パーツ情報を用いてテンプレートマッチングを行って各顔パーツ毎の位置情報を獲得し、
（Ａ６）前記顔部分画像から肌色部分を検出して肌色情報を抽出し、
（Ａ７）当該肌色情報の範囲に基づいて顔領域マスク画像を生成し、
（Ａ８）当該顔領域マスク画像に基づいて顔領域マスク情報と顔の輪郭情報を抽出する、
ステップである、
ことを特徴とする請求項９記載のシミュレーション画像生成方法。
【請求項１１】
前記ステップ（Ａ２）は、前記顔画像及び／又は前記スケーリング顔画像のＲＧＢ値をＬａｂ値に変換し、前記顔画像及び／又は前記スケーリング顔画像内の所定の範囲を示す所定の大きさの範囲の楕円において、
＜式１＞
外側色情報：Ｃｏｕｔ＝（楕円外側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円外側画素数
内側色情報：Ｃｉｎ＝（楕円内側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円内側画素数
分離度Ｄ＝Ｃｏｕｔ／Ｃｉｎ
で算出される分離度Ｄの値が最大の場合の楕円の範囲を顔位置の検索範囲とする、
ことを特徴とする請求項１０記載のシミュレーション画像生成方法。
【請求項１２】
前記ステップ（Ａ３）及び（Ａ５）は、テンプレート画像とマッチング対象の画像をグレー化し、当該グレー化した画像に対して横方向の一次微分を行って夫々の一次微分画像を生成し、当該テンプレート画像の一次微分画像の輝度値ｂｔｍｐ及びマッチング対象の画像の一次微分画像の輝度値ｂｔａｒに基づいて、
＜式２＞
【数２】
2004326488.tif 000008
Ｍ：定数項
Ａ：テンプレートの画素数
で算出される評価値が最大の位置をマッチング位置とする、
ことを特徴とする請求項１０又は１１記載のシミュレーション画像生成方法。
【請求項１３】
前記ステップ（Ｃ）は、
（Ｃ１）前記サンプル画像情報に応じて前記顔画像情報の肌色情報を調整して対象顔画像を生成し、
（Ｃ２）前記サンプル画像情報に前記対象顔画像を合成するための位置データ、角度データ、拡大率データを算出し、
（Ｃ３）当該データに基づいて前記サンプル画像情報をスケーリングしてスケーリング画像を生成し、
（Ｃ４）当該スケーリング画像の顎の輪郭と額の高さを前記顔画像情報の顎の輪郭と額の高さに調整して被合成画像を生成し、
（Ｃ５）当該被合成画像と前記対象顔画像を合成して合成顔画像部を生成し、
（Ｃ６）前記合成顔画像部のサイズに応じて前記被合成画像の胴体部のサイズを調整して合成画像を生成する、
ことを特徴とする請求項９から１２何れか記載のシミュレーション画像生成方法。
【請求項１４】
コンピュータに顔画像を合成処理させてシミュレーション画像を生成させるためのプログラムであって、
前記請求項１から５何れか記載のシミュレーション画像生成サーバの機能を、コンピュータに実現させるためのプログラム。
【請求項１５】
コンピュータに顔画像を合成処理させてシミュレーション画像を生成させるためのプログラムであって、
前記請求項９から１３何れか記載のシミュレーション画像生成方法の処理を、コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ付携帯電話のような撮影手段付の端末装置やデジタルカメラで撮像した人物の顔画像の髪の色や髪型および服装を変えることが可能なシミュレーション画像生成サーバ、シミュレーション画像生成システム、シミュレーション画像生成方法及びプログラムに関する。特には、ユーザ側端末の撮像性能に依存せず一定の画質且つ簡便に合成画像を生成することができるシミュレーション画像生成サーバ、シミュレーション画像生成システム、シミュレーション画像生成方法及びプログラムに関する。
【０００２】
【従来の技術】
従来から、デジタルカメラで撮影した顔画像やスキャナで取り込んだ顔画像をパソコンやインターネット端末で実施するヘアシミュレーションや着せ替えシミュレーションシステムが提案されている。
【０００３】
例えば、特開平１−３１４３８５号公報に記載の顔画像検出方法及び装置によれば、顔画像検出の際に顔の特徴の候補組を、顔面に対する候補の位置を頂点とする図形の面積比で選別している。これにより、画像に写っている顔の方向に関係なく目や眉、口の領域を検出することができる。
【０００４】
また、特開平８−３２９２７８号公報に記載の画像処理装置によれば、顔の正面画像の各画素値と顔表面モデルから、顔の正面画像の頭髪と頭髪による影を除去する。これにより、頭髪の除去した部分の頭の範囲内を肌色に塗りつぶす処理ができる。
【０００５】
また、特開平９−２５１５３４号公報に記載の人物認証装置によれば、入力画像の顔の特徴点を抽出する際に、所定の円又は楕円の内部領域と内部領域の特徴量の分離度を算出する。これにより、最も適合度の高い特徴点セットを抽出し、人物認証を高精度で行うことができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上述した従来の装置及び方法によれば、シミュレーションする前の顔画像登録時に顔部位位置等の合成に必要な情報を利用者に指示してもらう必要があり、リアルなシミュレーション結果を一般利用者が容易に得ることが難しいという問題があった。
【０００７】
また、カメラ付携帯端末の場合、デジタルカメラやスキャナで得られる撮影画像と比較して極端に低解像度な画像しか得られないため、リアルなシミュレーション結果を得ることが困難であるという問題があった。
【０００８】
従って、本発明の目的は、利用者の使用可能度を向上させ、利用者が顔画像をインターネットや電子メール等の手段でサーバに送るだけで顔画像登録が完了し、利用者側から試してみたい髪型、髪の色、服装を選ぶ行為のみでヘアシミュレーションや着せ替えシミュレーションサービスを利用者側へ提供することができるシミュレーション画像生成サーバ、シミュレーション画像生成システム、シミュレーション画像生成方法及びプログラムを提供することである。
【０００９】
また、本発明の目的は、カメラ付携帯端末サービスからパソコン等に代表されるＷｅｂサービスまで撮像装置の性能や端末装置に依存しないヘアシミュレーションや着せ替えシミュレーションサービスを提供することができるシミュレーション画像生成サーバ、シミュレーション画像生成システム、シミュレーション画像生成方法及びプログラムを提供することである。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、本発明のシミュレーション画像生成サーバは、顔画像を合成処理するシミュレーション画像生成サーバであって、顔の特徴点座標、顔の輪郭情報、顔領域マスク情報及び肌色情報を含む顔画像情報を顔画像から抽出する顔画像コンポーネント処理手段と、前記顔画像コンポーネント処理手段で抽出された前記顔画像情報を記憶する顔画像記憶手段と、顔画像のサンプル画像情報を記憶するサンプル画像記憶手段と、前記顔画像記憶手段に記憶されている前記顔画像情報と、前記サンプル画像記憶手段に記憶されている前記サンプル画像情報を合成してシミュレーション画像を生成するシミュレーション処理手段と、を備える、ことを特徴とする。
【００１１】
ここで、前記顔画像コンポーネント処理手段は、前記顔画像を前記サンプル画像情報のサイズに適応する所定のサイズにスケーリングしてスケーリング顔画像を生成し、前記顔画像及び／又は前記スケーリング顔画像から顔位置の検索範囲を算出し、前記顔位置の検索範囲内でテンプレート画像を用いてテンプレートマッチングを行って顔の特徴点座標及び顔部分画像を抽出し、前記テンプレート画像の各顔パーツの位置情報に基づいて前記顔部分画像の各顔パーツの検索範囲を決定し、各々の顔パーツの検索範囲内で前記テンプレート画像の対応する顔パーツ情報を用いてテンプレートマッチングを行って各顔パーツ毎の位置情報を獲得し、前記顔部分画像から肌色部分を検出して肌色情報を抽出し、当該肌色情報の範囲に基づいて顔領域マスク画像を生成し、当該顔領域マスク画像に基づいて顔領域マスク情報と顔の輪郭情報を抽出する、ことができる。
【００１２】
また、前記顔画像コンポーネント処理手段は、前記顔画像及び／又は前記スケーリング顔画像のＲＧＢ値をＬａｂ値に変換し、前記顔画像及び／又は前記スケーリング顔画像内の所定の範囲を示す所定の大きさの範囲の楕円において、
＜式１＞
外側色情報：Ｃｏｕｔ＝（楕円外側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円外側画素数
内側色情報：Ｃｉｎ＝（楕円内側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円内側画素数
分離度Ｄ＝Ｃｏｕｔ／Ｃｉｎ
で算出される分離度Ｄの値が最大の場合の楕円の範囲を顔位置の検索範囲とする。
【００１３】
また、前記顔画像コンポーネント処理手段は、テンプレート画像とマッチング対象の画像をグレー化し、当該グレー化した画像に対して横方向の一次微分を行って夫々の一次微分画像を生成し、当該テンプレート画像の一次微分画像の輝度値ｂｔｍｐ及びマッチング対象の画像の一次微分画像の輝度値ｂｔａｒに基づいて、
＜式２＞
【数３】
2004326488.tif 000003
Ｍ：定数項
Ａ：テンプレートの画素数
で算出される評価値が最大の位置をマッチング位置とする、ようにするとよい。
【００１４】
ここで、前記シミュレーション処理手段は、前記サンプル画像情報に応じて前記顔画像情報の肌色情報を調整して対象顔画像を生成し、前記サンプル画像情報に前記対象顔画像を合成するための位置データ、角度データ、拡大率データを算出し、当該データに基づいて前記サンプル画像情報をスケーリングしてスケーリング画像を生成し、当該スケーリング画像の顎の輪郭と額の高さを前記顔画像情報の顎の輪郭と額の高さに調整して被合成画像を生成し、当該被合成画像と前記対象顔画像を合成して合成顔画像部を生成すると共に前記合成顔画像部のサイズに応じて前記被合成画像の胴体部のサイズを調整してシミュレーション画像を生成する、ことができる。
【００１５】
また、上記課題を解決するため、本発明のシミュレーション画像生成システムは、顔画像を合成処理するシミュレーション画像生成サーバと、前記シミュレーション画像生成サーバに合成対象の顔画像を送信し、前記シミュレーション画像生成サーバから合成画像を受信する端末と、前記シミュレーション画像生成サーバと前記端末を通信可能に接続するネットワークと、を備えたシミュレーション画像生成システムにおいて、前記シミュレーション画像生成サーバは、上述のシミュレーション画像生成サーバである、ことを特徴とする。
【００１６】
ここで、前記端末は、カメラ付き携帯電話又はＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）などにするとよい。
【００１７】
また、上記課題を解決するため、本発明のシミュレーション画像生成方法は、顔画像を合成処理するシミュレーション画像生成方法であって、（Ａ）顔の特徴点座標、顔の輪郭情報、顔領域マスク情報及び肌色情報を含む顔画像情報を顔画像から抽出し、（Ｂ）抽出した前記顔画像情報を記憶し、（Ｃ）予め準備されている顔画像のサンプル画像情報と、記憶している前記顔画像情報とを合成してシミュレーション画像を生成する、ことを特徴とする。
【００１８】
ここで、前記ステップ（Ａ）は、（Ａ１）顔画像をサンプル画像情報のサイズに適応する所定のサイズにスケーリングしてスケーリング顔画像を生成し、（Ａ２）前記顔画像及び／又は前記スケーリング顔画像から顔位置の検索範囲を算出し、（Ａ３）前記顔位置の検索範囲内でテンプレート画像を用いてテンプレートマッチングを行って顔の特徴点座標及び顔部分画像を抽出し、（Ａ４）前記テンプレート画像の各顔パーツの位置情報に基づいて前記顔部分画像の各顔パーツの検索範囲を決定し、（Ａ５）各々の顔パーツの検索範囲内で前記テンプレート画像の対応する顔パーツ情報を用いてテンプレートマッチングを行って各顔パーツ毎の位置情報を獲得し、（Ａ６）前記顔部分画像から肌色部分を検出して肌色情報を抽出し、（Ａ７）当該肌色情報の範囲に基づいて顔領域マスク画像を生成し、（Ａ８）当該顔領域マスク画像に基づいて顔領域マスク情報と顔の輪郭情報を抽出する、ステップである、ようにするとよい。
【００１９】
また、前記ステップ（Ａ２）は、前記顔画像及び／又は前記スケーリング顔画像のＲＧＢ値をＬａｂ値に変換し、前記顔画像及び／又は前記スケーリング顔画像内の所定の範囲を示す所定の大きさの範囲の楕円において、
＜式１＞
外側色情報：Ｃｏｕｔ＝（楕円外側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円外側画素数
内側色情報：Ｃｉｎ＝（楕円内側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円内側画素数
分離度Ｄ＝Ｃｏｕｔ／Ｃｉｎ
で算出される分離度Ｄの値が最大の場合の楕円の範囲を顔位置の検索範囲とする、ことができる。
【００２０】
また、前記ステップ（Ａ３）及び（Ａ５）は、テンプレート画像とマッチング対象の画像をグレー化し、当該グレー化した画像に対して横方向の一次微分を行って夫々の一次微分画像を生成し、当該テンプレート画像の一次微分画像の輝度値ｂｔｍｐ及びマッチング対象の画像の一次微分画像の輝度値ｂｔａｒに基づいて、
＜式２＞
【数４】
2004326488.tif 000004
Ｍ：定数項
Ａ：テンプレートの画素数
で算出される評価値が最大の位置をマッチング位置とする、ようにするとよい。
【００２１】
また、前記ステップ（Ｃ）は、（Ｃ１）前記サンプル画像情報に応じて前記顔画像情報の肌色情報を調整して対象顔画像を生成し、（Ｃ２）前記サンプル画像情報に前記対象顔画像を合成するための位置データ、角度データ、拡大率データを算出し、（Ｃ３）当該データに基づいて前記サンプル画像情報をスケーリングしてスケーリング画像を生成し、（Ｃ４）当該スケーリング画像の顎の輪郭と額の高さを前記顔画像情報の顎の輪郭と額の高さに調整して被合成画像を生成し、（Ｃ５）当該被合成画像と前記対象顔画像を合成して合成顔画像部を生成し、（Ｃ６）前記合成顔画像部のサイズに応じて前記被合成画像の胴体部のサイズを調整してシミュレーション画像を生成する、ことができる。
【００２２】
また、上記課題を解決するため、本発明の第１の態様のプログラムは、コンピュータに顔画像を合成処理させてシミュレーション画像を生成させるためのプログラムであって、上述のシミュレーション画像生成サーバの機能を、コンピュータに実現させることを特徴とする。
【００２３】
また、上記課題を解決するため、本発明の第２の態様のプログラムは、コンピュータに顔画像を合成処理させてシミュレーション画像を生成させるためのプログラムであって、上述のシミュレーション画像生成方法の処理を、コンピュータに実行させることを特徴とする。
【００２４】
【発明の実施の形態】
以下、図面を参照して本発明のシミュレーション画像生成サーバ、シミュレーション画像生成システム、シミュレーション画像生成方法及びプログラムの実施の形態を説明する。
【００２５】
図１は、本発明のシミュレーション画像生成サーバ及びシミュレーション画像生成システムの実施の一形態を示す図である。図１において、シミュレーション画像生成システムは、顔画像を合成処理するシミュレーション画像生成サーバ１０と、シミュレーション画像生成サーバ１０に合成対象の顔画像を送信し、シミュレーション画像生成サーバ１０から合成画像を受信する端末（ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）２０Ａ及びデジタルカメラ３０，カメラ付き携帯電話２０Ｂ）２０と、シミュレーション画像生成サーバ１０と端末１０を通信可能に接続するネットワーク４０と、を備えている。
【００２６】
また、シミュレーション画像生成サーバ１０は、ネットワーク４０に接続され、端末２０側とＷｅｂページや電子メールなどの通信を行う通信制御部１１と、端末２０から受信した電子メールから添付されている顔画像や電子メールアドレスなどのユーザ情報を獲得し、端末２０側に電子メールを送信する電子メール処理部１２と、電子メール処理部１２で獲得した顔画像から顔の特徴点座標、顔の輪郭情報、顔領域マスク情報及び肌色情報を含む顔画像情報を抽出する顔画像コンポーネント処理部１３と、顔画像コンポーネント処理部１３で抽出された顔画像情報と電子メール処理部１２で獲得した顔画像及びユーザ情報とを関連付けて記憶する顔画像情報ＤＢ（Ｄａｔａ  Ｂａｓｅ）１４と、顔画像のモデル画像などのサンプル画像情報やテンプレート画像などを記憶するサンプル画像情報ＤＢ１５と、顔画像情報ＤＢ１４に記憶されている顔画像情報と、サンプル画像情報ＤＢ１５に記憶されているサンプル画像情報を合成してシミュレーション画像を生成するシミュレーション処理部１６と、シミュレーション処理部１６で生成されたシミュレーション画像を記憶するシミュレーション画像情報ＤＢ１７と、を備えている。
【００２７】
ここで、顔画像コンポーネント処理部１３は、顔画像をサンプル画像情報のサイズに適応する所定のサイズにスケーリングしてスケーリング顔画像を生成し、顔画像及び／又はスケーリング顔画像から顔位置の検索範囲を算出し、顔位置の検索範囲内でテンプレート画像を用いてテンプレートマッチングを行って顔の特徴点座標及び顔部分画像を抽出し、テンプレート画像の各顔パーツの位置情報に基づいて顔部分画像の各顔パーツの検索範囲を決定し、各々の顔パーツの検索範囲内でテンプレート画像の対応する顔パーツ情報を用いてテンプレートマッチングを行って各顔パーツ毎の位置情報を獲得し、顔部分画像から肌色部分を検出して肌色情報を抽出し、当該肌色情報の範囲に基づいて顔領域マスク画像を生成し、当該顔領域マスク画像に基づいて顔領域マスク情報と顔の輪郭情報を抽出する。
【００２８】
また、顔画像コンポーネント処理部１３は、顔画像及び／又はスケーリング顔画像のＲＧＢ値をＬａｂ値に変換し、顔画像及び／又は前記スケーリング顔画像内の所定の範囲を示す所定の大きさの範囲の楕円において、
＜式１＞
外側色情報：Ｃｏｕｔ＝（楕円外側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円外側画素数
内側色情報：Ｃｉｎ＝（楕円内側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円内側画素数
分離度Ｄ＝Ｃｏｕｔ／Ｃｉｎ
で算出される分離度Ｄの値が最大の場合の楕円の範囲を顔位置の検索範囲とする。
【００２９】
また、顔画像コンポーネント処理部１３は、テンプレート画像とマッチング対象の画像をグレー化し、当該グレー化した画像に対して横方向の一次微分を行って夫々の一次微分画像を生成し、当該テンプレート画像の一次微分画像の輝度値ｂｔｍｐ及びマッチング対象の画像の一次微分画像の輝度値ｂｔａｒに基づいて、
＜式２＞
【数５】
2004326488.tif 000005
Ｍ：定数項
Ａ：テンプレートの画素数
で算出される評価値が最大の位置をマッチング位置とする。
【００３０】
ここで、シミュレーション処理部１６は、サンプル画像情報に応じて顔画像情報の肌色情報を調整して対象顔画像を生成し、サンプル画像情報に対象顔画像を合成するための位置データ、角度データ、拡大率データを算出し、当該データに基づいてサンプル画像情報をスケーリングしてスケーリング画像を生成し、当該スケーリング画像の顎の輪郭と額の高さを顔画像情報の顎の輪郭と額の高さに調整して被合成画像を生成し、当該被合成画像と対象顔画像を合成して合成顔画像部を生成すると共に合成顔画像部のサイズに応じて被合成画像の胴体部のサイズを調整してシミュレーション画像を生成する。
【００３１】
次に、図１に示した本発明のシミュレーション画像生成システムを利用したシミュレーション画像生成方法について説明する。
【００３２】
図２は、本発明のシミュレーション画像生成方法を示すフローチャートである。図１及び図２において、利用者は、カメラ付携帯端末２０Ｂやデジタルカメラ３０により顔画像を撮影する（ステップ２０１）。
【００３３】
撮影した顔画像は電子メールに添付され、シミュレーション画像生成サーバ１０に所定のメールアドレスで送付する（ステップ２０２）。電子メール処理部１２は、定期的に所定のメールアドレスの受信を監視し当該電子メールを受信する（ステップ２０３）。
【００３４】
電子メール処理部１２は、ユーザ情報（ユーザの電子メールアドレス等）と顔画像を電子メールから取得し、顔画像計測コンポーネント処理部１３に顔画像を渡す（ステップ２０４）。
【００３５】
顔画像計測コンポーネント処理部１３は、顔画像から顔の特徴点座標、顔の輪郭情報、顔領域マスク情報及び肌色情報を含む顔画像情報を取得し、認識結果画像を作成して電子メール処理部１２に戻す（ステップ２０５）。
【００３６】
電子メール処理部１２は、顔画像情報ＤＢ１４に顔画像、利用者情報、認識結果画像及び顔画像情報を関連付けて登録（記憶）する（ステップ２０６）。
【００３７】
登録が完了すると、ユーザの電子メールアドレスに顔画像登録完了通知をメール送信する（ステップ２０７）。
【００３８】
顔画像登録完了通知メールには、顔画像判定画面ＵＲＬが記述されている。端末２０側の機能によってこのＵＲＬへアクセス要求がなされると、顔画像判定画面が端末２０側に提供される（ステップ２０８）。
【００３９】
ここで、顔画像判定が成功している場合（ステップ２０９）、モデル（サンプル画像）選択画面へ遷移し、シミュレーション処理部１６は該当顔画像情報を顔画像情報ＤＢ１４から取得する（ステップ２１０）。
【００４０】
一方、顔画像判定が失敗している場合（ステップ２０９）、ユーザの端末２０に撮影上の注意点を記載したＷｅｂ画面を提供し、再撮影をユーザに促す（ステップ２１１）。
【００４１】
顔画像判定が成功しているユーザは、端末２０からモデル（サンプル画像）選択画面で試してみたいモデル画像（サンプル画像）またはモデル情報（サンプル画像情報）を選択し、シミュレーション実行指示をシミュレーション画像生成サーバ１０に発行する（ステップ２１２）。
【００４２】
シミュレーション画像生成サーバ１０のシミュレーション処理部１６は、ユーザに指示されたモデル（サンプル）に該当するモデル画像情報（サンプル画像情報）をサンプル画像情報ＤＢ１５から取得し、顔画像情報とモデル画像情報（サンプル画像情報）からシミュレーション画像を生成する（ステップ２１３）。そして、顔画像情報ＵＲＬ及びモデル画像情報ＵＲＬを作成し、該当シミュレーション画像とともにシミュレーション画像情報ＤＢ１７に登録（記憶）する（ステップ２１４）。
【００４３】
そして、電子メール処理部１２は、該当ユーザの電子メールアドレスに合成完了通知を送信する（ステップ２１５）。
【００４４】
ユーザは合成完了通知の電子メールに記載されているシミュレーション画面ＵＲＬにアクセスすることによりシミュレーション画面を獲得し、該当シミュレーション画像およびモデル（サンプル）情報をユーザの端末２０に表示する（ステップ２１６）。このとき、シミュレーション画面ＵＲＬを友人等の電子メールアドレスに送付することにより、友人等にもシミュレーション結果を見てもらうことができる。
【００４５】
図３及び図４は、本発明のシミュレーション画像生成方法のうち主に顔画像情報を取得するステップ（ステップ２０５）とシミュレーション画像を生成するステップ（ステップ２１３）を詳細に示すフローチャートである。
【００４６】
図３及び図４において、先ず、顔の特徴点座標、顔の輪郭情報、顔領域マスク情報及び肌色情報を含む顔画像情報を顔画像から抽出する（ステップ３１０）。具体的には、顔画像をサンプル画像情報のサイズに適応する所定のサイズにスケーリングしてスケーリング顔画像を生成する（ステップ３１１）。例えば、顔画像をサンプル画像情報の１／２〜１／４サイズにする。
【００４７】
そして、顔画像及び／又はスケーリング顔画像から顔位置の検索範囲を算出する（ステップ３１２）。このとき、顔画像及び／又はスケーリング顔画像のＲＧＢ値をＬａｂ値に変換し（例えば、ＲＧＢ値が各８ビット精度（２５６階調）の場合、各８ビット精度のＬａｂ値に変換する）、顔画像及び／又はスケーリング顔画像内の所定の範囲を示す所定の大きさの範囲の楕円（例えば、顔画像の１／２〜１／４サイズ）において、
＜式１＞
外側色情報：Ｃｏｕｔ＝（楕円外側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円外側画素数
内側色情報：Ｃｉｎ＝（楕円内側平均Ｌａｂ値−全体平均Ｌａｂ値）２×楕円内側画素数
分離度Ｄ＝Ｃｏｕｔ／Ｃｉｎ
で算出される分離度Ｄの値が最大の場合の楕円の範囲を顔位置の検索範囲とする。
【００４８】
次に、顔位置の検索範囲内でテンプレート画像を用いてテンプレートマッチングを行って顔の特徴点座標及び顔部分画像を抽出する（ステップ３１３）。ここで、テンプレート画像は、例えば、ＲＧＢ値各８ビット精度とすることができる。また、使用するテンプレート画像は、複数であってもよく、所定数の平均値を用いてもよい。テンプレート画像情報には、顔特徴点の位置情報も含まれる。
【００４９】
次に、テンプレート画像の各顔パーツ（眉、目、鼻、口など）の位置情報に基づいて顔部分画像の各顔パーツの検索範囲（例えば、目の場合、テンプレート位置情報の目の範囲の１．５倍の範囲など）を決定し（ステップ３１４）、各々の顔パーツの検索範囲内でテンプレート画像の対応する顔パーツ情報を用いてテンプレートマッチングを行って各顔パーツ毎の位置情報を獲得する（ステップ３１５）。
【００５０】
ここで、ステップ３１３及び３１５は、テンプレート画像とマッチング対象の画像をグレー化し、当該グレー化した画像に対して横方向の一次微分を行って夫々の一次微分画像を生成し、当該テンプレート画像の一次微分画像の輝度値ｂｔｍｐ及びマッチング対象の画像の一次微分画像の輝度値ｂｔａｒに基づいて、
＜式２＞
【数６】
2004326488.tif 000006
Ｍ：定数項
Ａ：テンプレートの画素数
で算出される評価値が最大の位置をマッチング位置とする。
【００５１】
そして、顔部分画像から肌色部分を検出して肌色情報を抽出する（ステップ３１６）。ここで、肌色は、テンプレートマッチングの計測結果から頬の部分のＲＧＢ値をＨＳＢ値（色相、彩度、明度）又はＬａｂ値に変換し、この平均値を肌色とする。
【００５２】
次に、当該肌色情報の範囲に基づいて顔領域マスク画像を生成する（ステップ３１７）。すなわち、顔画像のうち肌色に該当する部分を白とし、その他の部分を黒とするマスク画像を生成する。このとき、白と黒の境界での座標が顔の輪郭となるが、この座標の連続が滑らかな線上にならない場合には、目の高さの顔の輪郭点（顔幅）と顎を結ぶ楕円を設定し、楕円の焦点から放射状に周囲画素を計測する。この計測された座標と楕円の径とが一定の値以上はなれている場合には、その座標を使用しない。このようにして計測した座標群をスプライン曲線などで補間して顔の輪郭を得る。
【００５３】
生成した顔領域マスク画像に基づいて顔領域マスク情報と顔の輪郭情報を抽出する（ステップ３１８）。
【００５４】
そして、抽出した顔画像情報を記憶する（ステップ３２０）。
【００５５】
次に、ユーザが端末２０から選択した予め準備されている顔画像のサンプル画像情報と、記憶している顔画像情報とを合成してシミュレーション画像を生成する（ステップ３３０）。具体的には、サンプル画像情報に応じて顔画像情報の肌色情報を調整して対象顔画像を生成する（ステップ３３１）。この調整は、両方の肌色の値（ＲＧＢ値など）をＩＮ，ＯＵＴとするルックアップテーブルをスプライン曲線補間などで作成（各要素毎に作成）し、顔画像情報にこのルックアップテーブルを適用するようにする。
【００５６】
次に、サンプル画像情報に対象顔画像を合成するための位置データ、角度データ、拡大率データなどの合成データを算出し（ステップ３３２）、当該データに基づいてサンプル画像情報をスケーリングしてスケーリング画像を生成する（ステップ３３３）。例えば、対象顔画像の縦長Ｙｕと横長Ｘｕ及びサンプル画像情報の縦長Ｙｈと横長Ｘｈの拡大率データ（横）＝Ｘｕ／Ｘｈ，拡大率データ（縦）＝Ｙｕ／Ｙｈを用いて、スケーリング画像を生成する。
【００５７】
そして、当該スケーリング画像の顎の輪郭と額の高さを顔画像情報の顎の輪郭と額の高さに調整して被合成画像を生成する（ステップ３３４）。ここで、顎の部分に関しては、ワーピング処理などを行って被合成画像を生成する。
【００５８】
次に、当該被合成画像と対象顔画像を合成して合成顔画像部を生成し（ステップ３３５）、合成顔画像部のサイズに応じて被合成画像の胴体部のサイズを調整してシミュレーション画像を生成する（ステップ３３６）。
【００５９】
以上に述べた各機能及び各処理は、プログラムとしてコンピュータに実行させて、それらの機能を実現させることができる。
【００６０】
【発明の効果】
以上述べた通り、本発明のシミュレーション画像生成サーバ、シミュレーション画像生成システム、シミュレーション画像生成方法及びプログラムによれば、利用者の使用可能度を向上させ、利用者が顔画像をインターネットや電子メール等の手段でサーバに送るだけで顔画像登録が完了し、利用者側から試してみたい髪型、髪の色、服装を選ぶ行為のみでヘアシミュレーションや着せ替えシミュレーションサービスを利用者側へ提供することができるようになった。
【００６１】
また、カメラ付携帯端末サービスからパソコン等に代表されるＷｅｂサービスまで撮像装置の性能や端末装置に依存しないヘアシミュレーションや着せ替えシミュレーションサービスを提供することができるようになった。
【００６２】
すなわち、ユーザは、いままで雑誌等でモデルがしているファッションを自分に重ねてイメージしていたものが、カメラ付携帯端末等で気軽に画像イメージで確認することができるようになり、似合う似合わないの客観的な判断が事前に判断できるとともに、短時間に複数のヘアスタイルやヘアカラーおよび服装の試着イメージが得られる。特に、和服やドレス等の髪型を含めたトータルコーディネイトには有効に利用できる。
【００６３】
サービス提供者（サーバ側）は、モデル（サンプル）画像を用意するだけで店舗等に専用端末を設置しなくてもお客様に合った情報提供および広告宣伝が可能になる。
【図面の簡単な説明】
【図１】本発明のシミュレーション画像生成システムの利用形態の一例を示す図である。
【図２】本発明のシミュレーション画像生成方法の一例を示すフローチャートである。
【図３】本発明のシミュレーション画像生成方法の一例を示すフローチャートである。
【図４】本発明のシミュレーション画像生成方法の一例を示すフローチャートである。
【符号の説明】
１０  シミュレーション画像生成サーバ
１１  通信制御部
１２  電子メール処理部
１３  顔画像コンポーネント処理部
１４  顔画像情報ＤＢ
１５  サンプル画像情報ＤＢ
１６  シミュレーション処理部
１７  シミュレーション画像情報ＤＢ
２０  端末
２０Ａ  ＰＣ
２０Ｂ  カメラ付き携帯電話
３０  デジタルカメラ
４０  ネットワーク
【図１】
2004326488.tif 000009
【図２】
2004326488.tif 000010
【図３】
2004326488.tif 000011
【図４】
2004326488.tif 000012