(57)【要約】【課題】  受信した顔写真画像を分析して、あらかじめ分類されている複数の顔パターンのどれに属するかを効率的に決定できる、顔パターン分析システムを提供する。【解決手段】  受信した顔画像データに対して、平均的な顔画像を利用して、顔本体画像と少なくとも目、鼻、輪郭を含む顔の各パーツ画像を抽出して、これらのパーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分データを求め、差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けして、それぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して出力する。【選択図】  図４
2010140100.tif 000002
【特許請求の範囲】
【請求項１】
デジタル的に撮影された顔画像写真を受信して一時的に保存する顔画像データ記録手段と、
平均的な顔画像パターンと、平均的な顔画像の目・鼻・輪郭の測定値とを含む、平均的な顔画像のデータを保存する平均的な顔画像データ記録手段と、
一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定・抽出して保存する顔本体画像抽出手段と、
抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定・抽出する顔パーツ画像特定抽出手段と、
抽出された顔パーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値を一時的に保存する顔パーツ画像測定手段と、
顔パーツ画像測定手段で求めた目・鼻・輪郭の測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、所定の算式を用いて、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分の数値データを求める差分データ計算手段と、
差分データ計算手段により求めた差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けするランク決定手段と、
ランク決定手段により決定された両目の間の距離・鼻の長さ・輪郭（横長〜縦長）のそれぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して決定データを出力する顔パターン決定手段と
を備えた、顔パターン分析システム。
【請求項２】
デジタル的に撮影された顔画像写真を受信して一時的に保存する顔画像データ記録手段と、平均的な顔画像パターンと、平均的な顔画像の目・鼻・輪郭の測定値とを含む、平均的な顔画像のデータを保存する平均的な顔画像データ記録手段と、を有するサーバにおいて、
一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定・抽出して保存する顔本体画像抽出ステップと、
抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定・抽出する顔パーツ画像特定抽出ステップと、
抽出された顔パーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値を一時的に保存する顔パーツ画像測定ステップと、
顔パーツ画像測定ステップで求めた目・鼻・輪郭の測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、所定の算式を用いて、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分の数値データを求める差分データ計算ステップと、
差分データ計算ステップにより求めた差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けするランク決定ステップと、
ランク決定ステップにより決定された両目の間の距離・鼻の長さ・輪郭（横長〜縦長）のそれぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して決定データを出力する顔パターン決定ステップと
を実行する、顔パターン分析方法。
【請求項３】
デジタル的に撮影された顔画像写真を受信して一時的に保存する顔画像データ記録手段と、平均的な顔画像パターンと、平均的な顔画像の目・鼻・輪郭の測定値とを含む、平均的な顔画像のデータを保存する平均的な顔画像データ記録手段と、を有するサーバにおいて、
一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定・抽出して保存する顔本体画像抽出ステップと、
抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定・抽出する顔パーツ画像特定抽出ステップと、
抽出された顔パーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値を一時的に保存する顔パーツ画像測定ステップと、
顔パーツ画像測定ステップで求めた目・鼻・輪郭の測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、所定の算式を用いて、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分の数値データを求める差分データ計算ステップと、
差分データ計算ステップにより求めた差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けするランク決定ステップと、
ランク決定ステップにより決定された両目の間の距離・鼻の長さ・輪郭（横長〜縦長）のそれぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して決定データを出力する顔パターン決定ステップと
をコンピュータに実行させるためのプログラムを記録したコンピュータ読取可能な記録媒体。
【請求項４】
デジタル的に撮影された顔画像写真を受信して一時的に保存する顔画像データ記録手段と、平均的な顔画像パターンと、平均的な顔画像の目・鼻・輪郭の測定値とを含む、平均的な顔画像のデータを保存する平均的な顔画像データ記録手段と、を有するサーバにおいて、
一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定・抽出して保存する顔本体画像抽出ステップと、
抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定・抽出する顔パーツ画像特定抽出ステップと、
抽出された顔パーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値を一時的に保存する顔パーツ画像測定ステップと、
顔パーツ画像測定ステップで求めた目・鼻・輪郭の測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、所定の算式を用いて、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分の数値データを求める差分データ計算ステップと、
差分データ計算ステップにより求めた差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けするランク決定ステップと、
ランク決定ステップにより決定された両目の間の距離・鼻の長さ・輪郭（横長〜縦長）のそれぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して決定データを出力する顔パターン決定ステップと
をコンピュータに実行させるためのプログラム。
【請求項５】
差分データ計算手段によって求められる差分の数値データが偏差値である、請求項１に記載の顔パターン分析システム。
【請求項６】
差分データ計算ステップによって求められる差分の数値データが偏差値である、請求項２に記載の顔パターン分析方法。
【請求項７】
差分データ計算ステップによって求められる差分の数値データが偏差値である、請求項３に記載のコンピュータ読取可能な記録媒体。
【請求項８】
差分データ計算ステップによって求められる差分の数値データが偏差値である、請求項４に記載のプログラム。
【請求項９】
ランク決定手段は、両目の間の距離について「近い」「普通」「離れている」の３段階でランク付けし、鼻の長さについて「長い」「短い」「普通」の３段階でランク付けし、輪郭（横長〜縦長）について「長い」「丸い」「普通」の３段階でランク付けし、
顔パターン決定手段は、
顔パターンとして、目と目の間には目一個分が入る間隔があり目から頭のてっぺんまでの距離と目からあごの先端までの距離との比率が１：１であることを特徴とする平均顔と、目と目との間が狭く、あごが長く、おでこが広く、鼻が長いことを特徴とする内側顔と、目と目との間が狭く輪郭が丸く鼻が短いことを特徴とした内側集中顔と、目と目との間が離れており顔の横幅が広く顔の各パーツが離れているということを特徴とする外側顔と、額が広く顔の各パーツが顔の下側に集中しており顔面積に対して各パーツの面積が比較的大きいことを特徴とする下側顔と、顔全体が長く額がせまく鼻が長いことを特徴とする面長顔と、からなる予め設定された６つの顔パターンから顔パターンを決定するために、
両目の距離について近いと判断した場合は、さらに、輪郭が長くかつ鼻が長ければ面長顔と、輪郭が長くかつ鼻が短いか鼻が普通であれば内側顔と、輪郭が丸ければ鼻の特徴が何であろうと内側集中顔と、輪郭が普通であれば鼻の特徴が何であろうと内側顔と、それぞれ顔パターンを決定し、
両目の距離が普通と判断した場合は、輪郭が長くかつ鼻が長ければ面長顔と、輪郭が長くかつ鼻が短いか鼻が普通であれば平均顔と、輪郭が丸ければ鼻が長いか普通であれば平均顔で鼻が短かければ下側顔と、輪郭が普通で鼻が長いか普通であれば平均顔と、輪郭が普通で鼻が短かければ下側顔と、それぞれ顔パターンを決定し、
両目の距離が離れていると判断した場合は、輪郭が長くかつ鼻が長ければ面長顔、輪郭が長くかつ鼻が短いか鼻が普通であれば外側顔、輪郭が丸ければ鼻の特徴が何であろうと外側顔、輪郭が普通であれば鼻の特徴が何であろうと外側顔と、それぞれ顔パターンを決定する、
請求項１に記載の顔パターン決定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔写真画像から顔の特徴を分析し、どのような顔のパターンに属するかを決定する技術に関する。
【背景技術】
【０００２】
デジタルカメラ、ウェブカメラやカメラ付き携帯電話等で撮影された人物写真画像から顔画像を抽出し、顔の特徴を分析して、似顔絵画像（似顔キャラクタを含む）を生成するシステムについては、数多くの特許出願がなされており、例えば下記に記載する特許文献１〜５が挙げられる。
【０００３】
特許文献１は、入力された顔画像の各部位画像パターンを、予め記憶されている各部位毎の複数種類のパーツパターンと照合し、照合一致度が最も高い各部位ごとのパーツパターンを組み合わせて似顔絵を作成する似顔絵作成装置を開示している。
【０００４】
特許文献２は、入力された顔画像全体の輪郭や各部位の輪郭を抽出し、予め用意された顔の輪郭や各部位のアニメーション化に適したデータから最も近いパターンのデータを抽出し、これらを合成してアニメの顔画像を生成する技術が開示されている（段落番号００７５〜００７９）。
【０００５】
特許文献３は、入力された顔画像を解析し、顔を構成している複数の部位について、予め設定された項目に関する特徴データを抽出し、部位毎に各特徴項目に対応するように予め描画された複数のイラストパーツから最適なイラストパーツを選択して顔画像を合成する似顔絵画像形成システムを開示している。
【０００６】
特許文献４は、入力された顔画像から顔パーツを抽出し、各パーツ領域に対して設定されている画像処理パラメータに従って顔画像処理を行って顔画像を生成し、その画像に対してユーザーが好みの画像処理を加えることが可能な画像処理システムが開示されている。
【０００７】
特許文献５は、入力された顔画像から、眉、目、鼻、口、耳及び輪郭部の特徴を抽出し、その特徴に基づいて似顔絵を作成し、その似顔絵にユーザーの指定による素材情報を合成処理してキャラクタを生成するキャラクタ提供システムが開示されている。
【０００８】
上記の特許文献１〜５で開示されている技術は、顔画像を構成する各部位単位で特徴を抽出したり、予め用意されたパーツ画像から似ているものを選択したりすることにより、各部位毎の画像を合成して、似顔絵や似顔キャラクタを生成する点では共通している。
【０００９】
一方、顔画像からその特徴を抽出し、あらかじめ準備されている動物画像やキャラクタ画像の中から相似度の高い画像を選択する技術としては、例えば特許文献６〜８が挙げられる。
【００１０】
特許文献６は、ある人物の顔画像の特徴から連想される動物の画像をあらかじめ保存記憶してある画像情報から抽出し、人物の顔画像から抽出した特徴部分を合成する画像データ合成装置が開示されている。そして、動物の画像を抽出するために、入力された顔画像の特徴データとして、目、鼻、口及び顔等の中心位置及び縦横比及び相対位置関係と輪郭とを抽出し、各動物画像の特徴部分の縦横比と相対位置関係を照合して相似度を算出し、相似度の高い順に対応する動物画像を抽出する。
【００１１】
特許文献７は、入力された人物の顔画像からその特徴を抽出し、予め保存してある多数のキャラクタ画像から、その人物を印象づけるキャラクタ画像を抽出する装置が開示されている。そして、顔の特徴を抽出するために、平均的な顔画像パターンを使用して、相関法により顔画像の位置特定を行い、顔輪郭位置からの相対的距離に基づく、髪、眉毛、目、鼻、口、あごなどの部分抽出を行い、それらの部分画像の面積、形状、傾きなどの測定量を計測し、測定項目毎に一般的な統計分布からその測定値がどれくらい平均値から離れているかを表す偏差値を求める。そして、キャラクタ画像データベース中の画像属性情報と照合を行い、キャラクタ画像を選択する。
【００１２】
特許文献８は、入力された顔画像から特徴量（目、鼻、口、耳、眉の位置又は形状、それらの相互の位置関係、など）を抽出し、あらかじめデータベースに蓄積されているキャラクタ画像の中から類似度の高いキャラクタ画像を選択する。
【００１３】
上記の特許文献６〜８については、入力された顔画像の各部位について、予め保存されているキャラクタ画像の各部位との比較対照をそれぞれ行ってキャラクタ画像を選択しているようである。なお、これらの文献では、どのようにしてキャラクタ画像との類似度を総合的に判断するかについての詳細なロジックは開示されていない。
【特許文献１】特開平６−１８７４１０号
【特許文献２】特開平１１−０６６２７２号
【特許文献３】特開２０００−１５５８３６号
【特許文献４】特開２００４−３４２００３号
【特許文献５】特開２００５−２２８１８５号
【特許文献６】特開２００１−２９２３０５号
【特許文献７】特開２００２−０７４３４１号
【特許文献８】特開２００５−０７８５９０号
【発明の開示】
【発明が解決しようとする課題】
【００１４】
本願発明者は、受信した顔写真画像から、その顔の印象に最も近いキャラクタ画像を選択する手段として、上記の特許文献に開示されるように、入力された顔の各部位のデータについて、保存されたキャラクタ画像の各部位毎のデータと逐一比較対照して類似度を決定するのではなく、人物の顔のタイプは何種類かのパターンに分類できることを前提として、受信した顔写真画像を分析してどのパターンに属するかを判断した上で、パターン毎に準備されたキャラクタ画像の中からそのパターンに対応した画像を選択する方法を発想した。例えば、携帯電話等によるメール通信で自分の顔に似たキャラクタを使用したい場合や、自分の顔に似たキャラクタが登場するアニメや絵本をカスタムメードしたい場合等に、顔の各部位毎に詳細な分析を行わなくても、全体として印象が似ているキャラクタ画像を選択できれば目的を達成することができる。また、このような方法によれば、これを実施するためのプログラムも比較的シンプルにすることができ、プログラムを実施するハードウェアへの負荷も少なくて済む。本願発明は、受信した顔写真画像を分析して、あらかじめ分類されている複数の顔パターンのどれに属するかを効率的に決定できる、顔パターン分析システム、顔パターン分析方法、プログラム、プログラム記録媒体を提供しようとするものである。
【課題を解決するための手段】
【００１５】
本願発明による顔パターン分析システムは、デジタル的に撮影された顔画像写真を受信して一時的に保存する顔画像データ記録手段と、平均的な顔画像パターンと、平均的な顔画像の目・鼻・輪郭の測定値とを含む、平均的な顔画像のデータを保存する平均的な顔画像データ記録手段と、一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定・抽出して保存する顔本体画像抽出手段と、抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定・抽出する顔パーツ画像特定抽出手段と、抽出された顔パーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値を一時的に保存する顔パーツ画像測定手段と、顔パーツ画像測定手段で求めた目・鼻・輪郭の測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、所定の算式を用いて、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分の数値データを求める差分データ計算手段と、差分データ計算手段により求めた差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けするランク決定手段と、ランク決定手段により決定された両目の間の距離・鼻の長さ・輪郭（横長〜縦長）のそれぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して決定データを出力する顔パターン決定手段と、を備えている。
【００１６】
本願発明による顔パターン分析方法は、デジタル的に撮影された顔画像写真を受信して一時的に保存する顔画像データ記録手段と、平均的な顔画像パターンと、平均的な顔画像の目・鼻・輪郭の測定値とを含む、平均的な顔画像のデータを保存する平均的な顔画像データ記録手段と、を有するサーバにおいて、一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定・抽出して保存する顔本体画像抽出ステップと、抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定・抽出する顔パーツ画像特定抽出ステップと、抽出された顔パーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値を一時的に保存する顔パーツ画像測定ステップと、顔パーツ画像測定ステップで求めた目・鼻・輪郭の測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、所定の算式を用いて、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分の数値データを求める差分データ計算ステップと、差分データ計算ステップにより求めた差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けするランク決定ステップと、ランク決定ステップにより決定された両目の間の距離・鼻の長さ・輪郭（横長〜縦長）のそれぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して決定データを出力する顔パターン決定ステップとを実行する。
【００１７】
本願発明によるコンピュータ読取可能な記録媒体は、デジタル的に撮影された顔画像写真を受信して一時的に保存する顔画像データ記録手段と、平均的な顔画像パターンと、平均的な顔画像の目・鼻・輪郭の測定値とを含む、平均的な顔画像のデータを保存する平均的な顔画像データ記録手段と、を有するサーバにおいて、一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定・抽出して保存する顔本体画像抽出ステップと、抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定・抽出する顔パーツ画像特定抽出ステップと、抽出された顔パーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値を一時的に保存する顔パーツ画像測定ステップと、顔パーツ画像測定ステップで求めた目・鼻・輪郭の測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、所定の算式を用いて、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分の数値データを求める差分データ計算ステップと、差分データ計算ステップにより求めた差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けするランク決定ステップと、ランク決定ステップにより決定された両目の間の距離・鼻の長さ・輪郭（横長〜縦長）のそれぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して決定データを出力する顔パターン決定ステップとコンピュータに実行させるためのプログラムを記録している。
【００１８】
本願発明によるプログラムは、デジタル的に撮影された顔画像写真を受信して一時的に保存する顔画像データ記録手段と、平均的な顔画像パターンと、平均的な顔画像の目・鼻・輪郭の測定値とを含む、平均的な顔画像のデータを保存する平均的な顔画像データ記録手段と、を有するサーバにおいて、一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定・抽出して保存する顔本体画像抽出ステップと、抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定・抽出する顔パーツ画像特定抽出ステップと、抽出された顔パーツ画像の少なくとも面積・形状・位置（座標）・傾きを計測してそれらの測定値を一時的に保存する顔パーツ画像測定ステップと、顔パーツ画像測定ステップで求めた目・鼻・輪郭の測定値と、平均的な顔画像の目・鼻・輪郭の測定値とから、所定の算式を用いて、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）についての差分の数値データを求める差分データ計算ステップと、差分データ計算ステップにより求めた差分データから、両目の間の距離・鼻の長さ・輪郭（横長〜縦長）を３〜５段階でランク付けするランク決定ステップと、ランク決定ステップにより決定された両目の間の距離・鼻の長さ・輪郭（横長〜縦長）のそれぞれのランクの組み合わせにより、受信した顔画像データが属する顔パターンを、あらかじめ顔の造作が与える印象に基づいて設定されている４〜８種類の顔パターンのどれに属するかを決定して決定データを出力する顔パターン決定ステップとをコンピュータに実行させる。
【００１９】
上記した、顔パターン分析システム、顔パターン分析方法、コンピュータ読み取り可能な記録媒体、またはプログラムにおいて、差分データ計算手段あるいは差分データ計算ステップによって求められる差分の数値データを偏差値とすることが出来る。
【００２０】
さらに、上記した顔パターン決定システムにおいて、ランク決定手段は、両目の間の距離について「近い」「普通」「離れている」の３段階でランク付けし、鼻の長さについて「長い」「短い」「普通」の３段階でランク付けし、輪郭（横長〜縦長）について「長い」「丸い」「普通」の３段階でランク付けし、顔パターン決定手段は、顔パターンとして、目と目の間には目一個分が入る間隔があり目から頭のてっぺんまでの距離と目からあごの先端までの距離との比率が１：１であることを特徴とする平均顔と、目と目との間が狭く、あごが長く、おでこが広く、鼻が長いことを特徴とする内側顔と、目と目との間が狭く輪郭が丸く鼻が短いことを特徴とした内側集中顔と、目と目との間が離れており顔の横幅が広く顔の各パーツが離れているということを特徴とする外側顔と、額が広く顔の各パーツが顔の下側に集中しており顔面積に対して各パーツの面積が比較的大きいことを特徴とする下側顔と、顔全体が長く額がせまく鼻が長いことを特徴とする面長顔と、からなる予め設定された６つの顔パターンから顔パターンを決定するために、両目の距離について近いと判断した場合は、さらに、輪郭が長くかつ鼻が長ければ面長顔と、輪郭が長くかつ鼻が短いか鼻が普通であれば内側顔と、輪郭が丸ければ鼻の特徴が何であろうと内側集中顔と、輪郭が普通であれば鼻の特徴が何であろうと内側顔と、それぞれ顔パターンを決定し、両目の距離が普通と判断した場合は、輪郭が長くかつ鼻が長ければ面長顔と、輪郭が長くかつ鼻が短いか鼻が普通であれば平均顔と、輪郭が丸ければ鼻が長いか普通であれば平均顔で鼻が短かければ下側顔と、輪郭が普通で鼻が長いか普通であれば平均顔と、輪郭が普通で鼻が短かければ下側顔と、それぞれ顔パターンを決定し、両目の距離が離れていると判断した場合は、輪郭が長くかつ鼻が長ければ面長顔、輪郭が長くかつ鼻が短いか鼻が普通であれば外側顔、輪郭が丸ければ鼻の特徴が何であろうと外側顔、輪郭が普通であれば鼻の特徴が何であろうと外側顔と、それぞれ顔パターンを決定することができる。
【発明の効果】
【００２１】
本発明によれば、受信した顔写真画像がどの顔パターンに属するかを比較的少ないステップを実行することにより決定することが出来、顔写真画像に印象が似ているキャラクタ画像の選択が効率的に行えると共に、様々な分野に応用が可能である。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。本発明は、入力された顔画像を分析して、あらかじめ分類されている複数の顔パターンのどれに属するかを決定するシステムである。従って、システムの構成の説明に入る前に、まず本発明の実施の形態において採用された顔パターンの分類について説明する。
【００２３】
＜顔パターンの分類＞
本実施の形態においては、人間の顔全体から受ける印象に基づいて、人間の顔を６つの顔パターンに分類することにした。図１に示すように、その６つのパターンとは、平均顔、内側顔、内側集中顔、外側顔、下側顔、面長顔であり、その定義は以下に述べる通りである。
【００２４】
平均顔は、目と目の間には目一個分が入る間隔があり、目から頭のてっぺんまでの距離と、目からあごの先端までの距離との比率が、１：１であることを特徴としており、顔の見た目から想像される印象は、「社交的、まじめ」などというものである。
【００２５】
内側顔は、目と目との間が狭く、あごが長く、おでこが広く、鼻が長いことを特徴としており、顔の見た目から想像され印象は、「クール、知的、ハンサム」などというものである。
【００２６】
内側集中顔は、目と目との間が狭く、輪郭が丸く、鼻が短いことを特徴としており、顔の見た目から想像される印象は、「かわいい、内向的、いやされる」といったものである。
【００２７】
外側顔は、目と目との間が離れており、顔の横幅が広く、顔の各パーツが離れているということを特徴としており、顔の見た目から想像される印象は、「柔軟な、おっとりとした」などというものである。
【００２８】
下側顔は、額が広く、顔の各パーツが顔の下側に集中しており、顔面積に対して各パーツの面積が比較的大きいことを特徴としており、顔の見た目から想像される印象は、「幼い、親しみやすい」などというものである。
【００２９】
面長顔は、顔全体が長く、額がせまく、鼻が長いという特徴があり、顔の見た目から想像される印象は、「いかつい、親しみにくい、古風」などというものである。
【００３０】
なお、これらの顔パターンの特徴は、図１中の顔イメージのイラストを見れば、一見して理解することができる。このような顔のパターン分けは、多くの文献・書籍等で紹介されており、上に述べたパターン分けもすべてが発明者独自の発想によるものではない。ただ、パターン分けには様々な基準や考え方があったとしても、人の顔の造作から受ける印象に基づいて分類を行うと、行き着くパターンの形状は図１のイラストの例に示すような４〜８種類程度のパターンに分類されるのではないかと考えられる。なお、それ以下の種類の数では、あまりにも分類が粗すぎてパターン分けする意義があまりなく、逆にあまりにも細かく分類しすぎると、それぞれの特徴の差異があいまいになるおそれがある。
【００３１】
このように、顔のパターン分けは図１に示すような６種類でなければならないということはなく、本実施の形態では６種類にパターン分けを行っているが、本願発明者は、顔から受ける印象を、顔の輪郭と顔の各パーツの位置とに注目して分類する場合は、４〜８種類に分類するのが最適であると考えている。
【００３２】
ところで、本願発明の目的は、、受信した顔画像に最も印象が近いキャラクタ画像を選択するために、顔画像写真を分析してその顔画像が属する顔パターンを決定するシステムを提供するものであり、キャラクタ画像を一から生成するためのものではない。従って、入力された顔画像に印象が最も近似した顔パターンをどのようなロジックを用いて選択するかが重要となる。
【００３３】
＜システム構成＞
図２は、本発明の実施の形態による顔パターン分析システムのハードウェア構成の一例を示すブロック図である。図２に示すように、本願発明による顔パターン分析システムは、携帯電話４から送信される顔写真画像４０２やパーソナルコンピュータ５から送信される顔写真画像５０２をインターネット等のネットワーク６を介して受信して、顔画像の特徴分析処理を実行するサーバ２と、サーバ２での処理に必要なデータやプログラムを保存しあるいはサーバ２に提供するための外部記憶装置３とを備えている。サーバ２は、Ｗｅｂサーバ、メールサーバ、データベースサーバとしての機能を備えたものであり、図２では一つのブロックで表現しているが、複数のハードウェアによって構成してもよい。同様に、外部記憶装置３も一つのブロックで表現しているが、複数の外部記憶装置で構成してもよい。
【００３４】
次に、図３を用いて、外部記憶装置３の構成について、より詳細に説明する。外部記憶装置３は、本発明による顔パターン分析システムの処理に必要なデータやファイルとプログラムを保存する。外部記憶装置３に保存されているプログラムは必要に応じてサーバ２のメモリにロードされ、ＣＰＵを含むサーバ２のハードウェアと協働して、顔パターン分析システムの処理を実行する。
【００３５】
外部記憶装置３には、平均的な顔画像パターンや、平均的な顔画像の目、鼻、口、眉、輪郭などの顔の各パーツに関する測定データ等を含む、平均的な顔画像のデータを保存する平均的な顔画像データファイル３０が保存されている。また、ネットワークを介して受信した顔写真画像をデジタルデータとして一時的に保存する顔画像データファイル３１、顔画像データから抽出された顔本体画像データを保存する顔本体画像データファイル３２、顔本体画像データから抽出される顔パーツデータについての測定値を保存する顔パーツ画像測定データファイル３３、顔パーツ画像測定データと平均的な顔画像の測定データとから所定の算式を用いて求めた差分についての数値データ（これを以下「差分データ」という）を保存する差分データファイル３４を備えている。
【００３６】
さらに、外部記憶装置３は、顔パターン分析システムの処理に必要な、顔本体画像特定抽出処理プログラム３０１、目・鼻・輪郭などの顔パーツ画像特定抽出処理プログラム３０２、顔パーツ画像を各部位について計測し測定値を保存する顔パーツ画像の測定処理プログラム３０３、顔パーツ画像の測定値と平均的な顔画像の測定値から所定の算式を用いて差分についての数値データを求める、両目の距離・鼻の長さ・輪郭の差分データ計算プログラム３０４、差分データからランク付けを行うランク決定処理プログラム３０５、顔パターンの分析処理を実行する顔パターン分析処理プログラム３０６を保存している。
【００３７】
＜処理の流れ＞
次に、図４を用いて、顔画像写真を受信してから顔パターンの分析結果を出力するまでのサーバ２における処理の流れの概要を説明する。
【００３８】
まず、サーバ２は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いてデジタル的に撮影された顔画像写真４０２、５０２をインターネット等のネットワークを介して、携帯電話やパーソナルコンピュータから受信して（図２参照）、顔画像データファイル３１に一時的に保存する（Ｆ１）。
【００３９】
次に、一時的に保存された顔画像データに対して、平均的な顔画像パターンに基づくパターンマッチングを利用して、顔画像データから顔本体の位置を特定して顔本体画像を抽出し、顔本体画像データファイル３２に保存する（Ｆ２）。
【００４０】
ステップＦ２で抽出された顔本体画像に対して、少なくとも目、鼻、輪郭を含む顔の各パーツ画像を特定して抽出し、これらの顔パーツ画像の面積、形状、位置（座標）、傾き、等を計測し、測定値を顔パーツ画像測定データファイル３３に保存する（Ｆ３、Ｆ４）。このように、抽出された顔画像データから、顔の各パーツについての測定値を求めるには、文献３や文献７に開示されているように、すでに様々な技術が提供されているので、これらを利用することが出来る。例えば、文献７では、平均的な顔画像パターンを使用して、相関法により顔画像の位置特定を行い、さらに、顔輪郭位置からの相対的な距離に基づく、髪、眉毛、目、鼻、口、あごなどの部分画像抽出を行い、それらの部分画像の面積、形状、傾きなどの測定量を計測する（段落番号００２４）。
【００４１】
ステップＦ４で求めた顔パーツ画像の目、鼻、輪郭の測定値と、予め保存してある平均的な顔画像データファイル３０中の平均な顔画像の目、鼻、輪郭の測定値とから、所定の算式を用いて、両目の間の距離、鼻の長さ、輪郭（横長〜縦長）の差分についての数値データを求め、差分データとして差分データファイル３４に保存する（Ｆ５）。この差分データは、単純に平均画像の測定値と、顔パーツ画像の測定値との差を求めてもよいし、比率を求めてもよく、また偏差値を求めてもよい。本実施の形態では、この差分データとして、偏差値を求めることにする。
【００４２】
次に、ステップＦ５で求めた差分データ、すなわち偏差値から、目の特徴、鼻の特徴、輪郭の特徴を三段階で評価する（Ｆ６）。本実施の形態では、両目の間の距離について、偏差値０〜４４であれば「近い」、偏差値４５〜５５であれば「普通」、偏差値５６〜１００であれば「離れている」とランク付けし、これを目の特徴とする。鼻の長さについては、偏差値０〜４４であれば「短い」、偏差値４５〜５５であれば「普通」、偏差値５６〜１００であれば「長い」とランク付けし、これを鼻の特徴とする。顔の輪郭については、偏差値０〜４４であれば「丸い」、偏差値４５〜５５であれば「普通」、偏差値５６〜１００であれば「長い」とランク付けし、このランクを輪郭の特徴を表す符号データとして保存する。上記した偏差値の閾値については、ここに記載された数値が絶対的というわけではないが、例えばこれらの数値を用いることにより、比較的精度よく分析結果が得られる。
【００４３】
ステップＦ６において、目、鼻、輪郭の特徴をそれぞれ三段階で評価しているが、これは三段階で評価しなければならない、ということを意味しているわけではなく、三段階〜五段階程度で評価すればよい。なお、細かく評価すればよいというわけではなく、発明者のシミュレーションの結果によれば、三段階でかなり精度よく顔の特徴分析が可能であったので、本実施の形態では、三段階で評価を行っている。ランク付けの方法については、差分データとしてどのような数値を用いるかによって様々な方法が考えられる。
【００４４】
次に、ステップＦ６で行った三段階評価の結果に基づいて、顔画像のパターン分析処理を実行し、顔パターンを決定し（Ｆ７）、顔パターン決定データを出力する（Ｆ８）。このステップＦ７の詳細については、以下、図５〜図７を用いて詳細に説明する。
【００４５】
本実施の形態では、顔画像の分析の手法として、まず、目の特徴に従って顔画像を分類し、次に輪郭の特徴に従ってさらに顔画像を分類し、最後に鼻の特徴に分類した結果、顔パターンを決定する。図５〜図７は、最初に目の特徴の判断を行った段階以降の判断処理を示したものである。図５は、両目の距離が近い、と判断された顔画像についての分析手法を示し、図６は、両目の距離が普通、と判断された顔画像についての分析手法を示し、図７は、両目の距離が離れている、と判断された顔画像についての分析手法を示している。
【００４６】
図５に示すように、両目の距離が近いと判断された顔画像について、次に顔の輪郭についての評価を判断し、輪郭の三段階の評価について、それぞれ鼻の特徴に従って場合分けを行う。ここでのパターン分けは、両目の距離が近いと判断された顔画像において、輪郭が長くかつ鼻が長いと判断された場合は面長顔、輪郭が長くかつ鼻が短いか鼻が普通であれば内側顔、輪郭が丸いと判断されれば鼻の特徴が何であろうと内側集中顔、輪郭が普通と判断されれば鼻の特徴が何であろうと内側顔と、顔パターンを決定する。
【００４７】
同様に、図６に示すように、両目の距離が普通と判断された顔画像について、次に顔の輪郭についての評価を判断し、顔の輪郭の評価に従って、最後に鼻の特徴に従って場合分けを行う。ここでのパターン分けは、両目の距離が普通と判断された顔画像において、輪郭が長くかつ鼻が長いと判断された場合は面長顔、輪郭が長くかつ鼻が短いか鼻が普通であれば平均顔、輪郭が丸いと判断された場合は鼻が長いか普通と判断された場合には平均顔で鼻が短いと判断された場合には下側顔、輪郭が普通と判断された場合は鼻の特徴が長いか普通と判断されれば平均顔で鼻が短いと判断されれば下側顔と、顔パターンを決定する。
【００４８】
同様に、図７に示すように、両目の距離が離れていると判断された顔画像についても、次に顔の輪郭についての評価を判断し、それぞれの輪郭の評価について、鼻の特徴に従って場合分けを行う。ここでのパターン分けは、両目の距離が離れていると判断された顔画像において、輪郭が長くかつ鼻が長いと判断された場合は面長顔、輪郭が長くかつ鼻が短いか鼻が普通であれば外側顔、輪郭が丸いと判断されれば鼻の特徴が何であろうと外側顔、輪郭が普通と判断されれば鼻の特徴が何であろうと外側顔と、顔パターンを決定する。
【００４９】
ところで、上記に記載した顔画像特徴の分析手法については、２つの大きな特徴がある。第１の特徴は、顔の特徴を分析するための最低限の判断要素を、目、輪郭、鼻の長さ、の三要素としていることである。第２の特徴は、分析の手順に関し、目、輪郭、鼻、の順番で判断していることである。これらの特徴は、長年似顔絵に関するビジネス（似顔絵キャラクタ人形の製作、似顔絵生成ソフトウェアの作成など）に携わってきた発明者の探究の成果に基づくものである。以下、これらの手法について説明する。
【００５０】
第１の特徴について、顔の特徴の基本的な判断要素を、両目の距離、輪郭、鼻の長さにした理由について説明する。まず、目は顔の中で一番形状・配置が複雑でかつ個々人で固有の特徴量を持っており、顔の印象を決定する要素として最も必要とされるが、特に両目の距離は目の特徴を決定づける要素である。また、輪郭は、顔の外観形状を表現しており、面長、丸顔など顔全体の基礎・土台を表現するために必要とされる。さらに、鼻の長さは、顔内側における顔の各パーツ（目や口）の縦方向への分散を表現し、目と輪郭の２つの特徴データから得られる“印象”に対して、顔内側のパーツ位置情報を捕捉する要素である。一方、口・目・眉・唇の大きさ・形や、鼻の形などは、顔内側の表情や特徴を詳細に演出する要素であり、本願発明の目的である「顔写真画像から数値化した特徴データを用いて顔パターンを分析する」ための要素としては大きく影響しないという独自の考えに基づいている。
【００５１】
第２の特徴について、目、輪郭、鼻、の順番で判断する理由について説明する。目と目の距離を近づけたり離したりすることで外見的な印象が大きく変化する。例えば、目と目との距離を単純に離すことにより、カエルや魚のような顔に印象づけられ、逆に目と目との距離を近づけることで、幼い印象を与えることがある。従って、目の特徴は、その他の輪郭や鼻と比較して、外観的に顔を印象づける重要な要素と考えられる。従って、本願発明において、顔写真画像から数値化した特徴データを用いて顔パターンを分析するためには、最も重要な要素である目についての判断を選択条件の最初にすることで、分析対象である顔画像に対してより印象に近い顔パターンを選択することが可能になる。
【００５２】
なお、図５〜図７に示した分析手法は、発明者が机上で組み立てたものではない。発明者は１００個の顔画像サンプルデータを用い、様々な手順により（例えば、本実施の形態では目の要素の判断からスタートしているが、輪郭からスタートする手順も当然試みている）顔パターンを選択するシミュレーションを繰り返し、選択された顔パターンと元の顔画像を比較して、的確な選択が行われたかを評価していった結果、現時点においては、図５〜図７に示した手法が最も精度よく顔パターンを選択できるという結論に達したものである。
【００５３】
このような分析手法に関しては、プログラム上は、目の特徴、鼻の特徴、輪郭の特徴についてのランクの組み合わせにより単純に顔パターンを決定しているが、第１の特徴の項で述べた点以外にも、顔の特徴が与える印象については、例えば、鼻の長い人は基本的には面長である、など、それぞれの要素に関する重みや相関が存在しており、結果としてそれらを加味した分析方法となっている。
【００５４】
本実施の形態において、顔パターン決定処理プログラムは、図５〜図７に示した分析手法の手順をそのままプログラミング化している。一方、図５〜図７に示した決定条件を統合することにより、目の特徴、鼻の特徴、輪郭の特徴についてのランクの組み合わせを一括して判断して、顔パターンを決定するようにプログラミングすることも可能である。
【産業上の利用可能性】
【００５５】
本発明による顔パターン分析システムは、受信した顔写真画像から最も印象が近似したキャラクタ画像を選択するようなキャラクタ生成あるいはキャラクタ提供サービスに利用できるばかりではなく、顔パターンによる占いや性格診断、ファッショアドバイス、キャラクターグッズ製作、など、種々の分野で利用可能である。
【００５６】
なお、本発明による顔パターン分析システムは、ネットワークを介して顔写真画像を受信するのではなく、デジタル写真画像取り込み手段を備えたコンピュータ及び外部記憶装置から構成される単体の装置としても実施可能である。
【図面の簡単な説明】
【００５７】
【図１】顔パターンの分類の例を示す図である。
【図２】本実施の形態による顔パターン分析システムの構成の概要を示すブロック図である。
【図３】本実施の形態における外部記憶装置に保存されるファイル及びプログラムの構成を示すブロック図である。
【図４】本実施の形態における処理の流れとファイルの関係を示す図である。
【図５】本実施の形態において、両目の距離が近いと判断された顔画像についての、顔パターンの分析手法を示す図である。
【図６】本実施の形態において、両目の距離が普通と判断された顔画像についての、顔パターンの分析手法を示す図である。
【図７】本実施の形態において、両目の距離が離れていると判断された顔画像についての、顔パターンの分析手法を示す図である。
【符号の説明】
【００５８】
２  サーバ
３  外部記憶装置
４  携帯電話
５  パーソナルコンピュータ
６  ネットワーク
【図１】
2010140100.tif 000003
【図２】
2010140100.tif 000004
【図３】
2010140100.tif 000005
【図４】
2010140100.tif 000006
【図５】
2010140100.tif 000007
【図６】
2010140100.tif 000008
【図７】
2010140100.tif 000009