(57)【要約】【課題】人間の顔の形態や表情表出を定量的又は客観的に評価できるシステム又は方法を提供する。【解決手段】複数の被験者から撮像手段を介して取得した顔データがデータベースに格納される。特徴ベクトル抽出手段は、複数の被験者の各顔データから、人間の顔について予め選択された幾何学的パラメータである特徴変量を要素とする特徴ベクトルをそれぞれ抽出する。クラスタリング手段は、抽出された特徴ベクトルの集合に対しベクトル量子化手法によりクラスタリング処理を行い、複数の類型に分類された基底ベクトルである基準特徴ベクトルを求める。分類手段は、被評価者の顔データから抽出された特徴ベクトルから最も距離が近い基準特徴ベクトルを特定し、特定した最近似基準特徴ベクトルに対応する類型に当該被評価者の顔データを分類する。評価値算出手段は、被評価者の特徴ベクトルと特定された最近似基準特徴ベクトルとの距離に基づいて評価値を算出する。【選択図】図１０
2016085490.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段を介して取得した複数の被験者からそれぞれの顔の一部又は全部の三次元座標データである顔データを格納するデータベースと、
前記複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素とする、前記被験者毎のｎ次元の特徴ベクトルを抽出する特徴ベクトル抽出手段と、
抽出された前記特徴ベクトルの集合に対しベクトル量子化手法によりクラスタ重心を複数求めるクラスタリング処理を行うクラスタリング手段と、
前記各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルとして決定する基準データ決定手段と、
を備える顔形態の評価システム。
【請求項２】
前記データベースには、前記複数の被験者の顔データから抽出された複数の前記特徴ベクトルのデータと、これら特徴ベクトルをクラスタリング処理して得た複数の前記基準特徴ベクトルのデータとが格納され、
前記データベースを介して、前記複数の被験者のうちの一人である被評価者の顔データから抽出された特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する分類手段を、更に備える請求項１に記載の顔形態の評価システム。
【請求項３】
前記データベースには、前記複数の被験者の顔データから抽出された複数の前記特徴ベクトルのデータと、これら特徴ベクトルをクラスタリング処理して得た複数の前記基準特徴ベクトルのデータとが格納され、
特徴ベクトル抽出手段が、撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出し、
前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する分類手段を、更に備える請求項１に記載の顔形態の評価システム。
【請求項４】
複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素として抽出された前記被験者毎のｎ次元の特徴ベクトルと、これら特徴ベクトルをクラスタリング処理して得た複数の基準特徴ベクトルのデータとが格納されたデータベースにアクセス可能な顔形態の評価システムであって、
撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出する特徴ベクトル抽出手段と、
前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する分類手段と、
を備える顔形態の評価システム。
【請求項５】
複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素として抽出された前記被験者毎のｎ次元の特徴ベクトルの集合と、これら特徴ベクトルをクラスタリング処理して得た複数の基準特徴ベクトルのデータとが格納されたデータベースにアクセス可能な顔形態の評価システムであって、
撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出する特徴ベクトル抽出手段と、
前記データベースに格納されている前記複数の被験者の顔データから抽出された前記特徴ベクトルの集合に、前記被評価者の顔データから抽出された特徴ベクトルを加えた集合に対しベクトル量子化手法によりクラスタ重心を複数求めるクラスタリング処理を行うクラスタリング手段と、
前記各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルとして決定する基準データ決定手段と、
前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する分類手段と、
を備える顔形態の評価システム。
【請求項６】
前記被評価者の顔データから抽出された特徴ベクトルとそれが属するクラスタのクラスタ重心である最近似基準特徴ベクトルとの距離に基づいて評価値を算出する評価値算出手段を、更に備える請求項２〜５の何れか１項に記載の顔形態の評価システム。
【請求項７】
前記被評価者の顔データから抽出された特徴ベクトルとそれが属するクラスタのクラスタ重心である最近似基準特徴ベクトルとの要素間の差分に基づいて評価値を算出する評価値算出手段を、更に備える請求項２〜５の何れか１項に記載の。
【請求項８】
顔形態の評価システムにおける評価方法であって、
撮像手段を介して複数の被験者からそれぞれの顔の一部又は全部の三次元座標データである顔データを取得しデータベースに格納する工程と、
前記データベースに格納された前記各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素とする、前記被験者毎のｎ次元の特徴ベクトルを抽出する工程と、
抽出された前記特徴ベクトルの集合に対しベクトル量子化手法によりクラスタ重心を複数求めるクラスタリング処理を行う工程と、
前記各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルとして決定する工程と、
を含む顔形態の評価方法。
【請求項９】
前記データベースには、前記複数の被験者の顔データから抽出された複数の前記特徴ベクトルのデータと、これら特徴ベクトルをクラスタリング処理して得た複数の前記基準特徴ベクトルのデータとが格納され、
前記データベースを介して、前記複数の被験者のうちの一人である被評価者の顔データから抽出された特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する工程を、更に含む請求項８に記載の顔形態の評価方法。
【請求項１０】
前記データベースには、前記複数の被験者の顔データから抽出された複数の前記特徴ベクトルのデータと、これら特徴ベクトルをクラスタリング処理して得た複数の前記基準特徴ベクトルのデータとが格納され、
撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出し、
前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する工程を、更に含む請求項８に記載の顔形態の評価方法。
【請求項１１】
複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素として抽出された前記被験者毎のｎ次元の特徴ベクトルと、これら特徴ベクトルをクラスタリング処理して得た複数の基準特徴ベクトルのデータとが格納されたデータベースにアクセス可能な顔形態の評価システムにおける評価方法であって、
撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出する工程と、
前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する工程と、
を含む顔形態の評価方法。
【請求項１２】
複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素として抽出された前記被験者毎のｎ次元の特徴ベクトルと、これら特徴ベクトルをクラスタリング処理して得た複数の基準特徴ベクトルのデータとが格納されたデータベースにアクセス可能な顔形態の評価システムにおける評価方法であって、
撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出する工程と、
前記データベースに格納されている前記複数の被験者の顔データから抽出された前記特徴ベクトルの集合に、前記被評価者の顔データから抽出された特徴ベクトルを加えた集合に対しベクトル量子化手法によりクラスタ重心を複数求めるクラスタリング処理を行う工程と、
前記各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルとして決定する工程と、
前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する工程と、
を含む顔形態の評価方法。
【請求項１３】
前記被評価者の顔データから抽出された特徴ベクトルとそれが属するクラスタのクラスタ重心である最近似基準特徴ベクトルとの距離に基づいて評価値を算出する工程を、更に含む請求項８〜１２の何れか１項に記載の顔形態の評価方法。
【請求項１４】
前記被評価者の顔データから抽出された特徴ベクトルとそれが属するクラスタのクラスタ重心である最近似基準特徴ベクトルとの要素間の差分に基づいて評価値を算出する工程を、更に含む請求項８〜１２の何れか１項に記載の顔形態の評価方法。
【請求項１５】
請求項８〜１４の何れか１項に記載の顔形態の評価方法をコンピュータの演算処理により実行させるプログラム。
【請求項１６】
請求項１５に記載のプログラムを記憶する情報記憶媒体。
【請求項１７】
請求項２〜５の何れか１項に記載の評価システムにより分類された類型に属する最近似基準特徴ベクトルから再現した三次元座標データに基づいて製造される美容用マスク。
【請求項１８】
請求項９〜１２の何れかに記載の評価方法により分類された類型に属する最近似基準特徴ベクトルから再現した三次元座標データに基づいて製造される美容用マスク。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の顔の形態や表情などを評価するシステム及びその評価方法に関する。また、そのような顔形態の測定若しくは評価結果に基づき処置される美容若しくは医療への応用、又はそのような顔形態の測定若しくは評価結果に基づき製造される美容製品若しくは医療製品等に関する。
【背景技術】
【０００２】
人の顔の容貌は、自己が社会的に受け入れられているという心理的充足を得る上で強い影響力を有している。また、顔の表情は、社会生活において、感情や思考の伝達を行う上の非言語コミュニケーション手段として重要な機能を果たすものである。人の顔の形態における異常、例えば顎顔面部の形成異常やそれに由来する表情の形態的歪みが、個人にとって重大な社会心理学的な不適応の要因となる場合がある。そのため、医療や美容の分野では、顔の表情を含め、顔の形態における異常をより平均的な様相に近づけることで改善することが重要視されている。
【０００３】
また、高齢者の顔に「しわ」や「たるみ」などが生じるのは、加齢に伴い安静時の顔面軟組織形態が変化し、皮膚の弾性が失われるためと考えられている。また、高齢者では、この安静時の顔面軟組織の加齢変化に加え、表情筋の筋力の低下によっても表情表出量（例えば安静時と笑顔表出時との間の顔面形態の差分）が小さくなると認められる。さらに、表情筋と皮膚との間の皮下組織の結合が疎になることでも、表情筋の動きが皮膚表面に伝わり難くなり、それゆえに表情表出量が小さくなると考えられる。このように加齢などによる顔面軟組織形態の変化と表情表出量との間に関連性があることは容易に認められるが、その定量的な評価法については未だ確立されていない。
【０００４】
我々はこれまでに、顔の特定部位の形態を測定し数学的な手法を用いて客観的に評価する方法の開発に取り組んできた。被験者の口唇及び鼻から測定した顔画像データに基づいて複数の特徴変量を要素とする多変数ベクトル（特徴ベクトル）を抽出し、この特徴ベクトルの基準値からの偏差に対し量子化手法を適用することで、当該被験者の口唇及び鼻の形態を６〜８のクラスに分類するシステムが報告されている（例えば、非特許文献１、２参照）。
【０００５】
また、複数の被験者の頬の３次元画像に基づいて、その画像において指定された一部領域に含まれる画素の所定基準点からの距離を測定してクラス分けする顔形状分類方法が開示されている（例えば、特許文献１参照）。特許文献１では、基準点からの距離の変化を周波数解析し、周波数データ空間において距離が近い形状同士を２つのクラスに分類している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１１９０４０号公報
【非特許文献】
【０００７】
【非特許文献１】Tanikawa,C. and Kakiuchi,Y.他著，「Knowledge-dependent pattern classification of human nasal profiles」，Angle Orthodontist Vol.77 p.821-830，２００７年
【非特許文献２】Tanikawa,C. and Tanaka,K.著，「Objective classification of nose-lip-chin profiles and their relation to dentoskeletal traits」，Orthodontic & Craniofacial Research，２０１４年５月２９日
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、人間の顔の形態や表情表出を定量的又は客観的に評価できるシステム又は方法を提供することを目的としている。
【課題を解決するための手段】
【０００９】
本発明の顔形態の評価システムは、撮像手段を介して取得した複数の被験者からそれぞれの顔の一部又は全部の三次元座標データである顔データを格納するデータベースと、前記複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素とする、前記被験者毎のｎ次元の特徴ベクトルを抽出する特徴ベクトル抽出手段と、抽出された前記特徴ベクトルの集合に対しベクトル量子化手法によりクラスタ重心を複数求めるクラスタリング処理を行うクラスタリング手段と、前記各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルとして決定する基準データ決定手段と、を備える顔形態の評価システムである。
【００１０】
顔形態の評価システムは、少なくとも性別及び年齢層により限定されたグループに属する複数の被験者から取得した顔データに基づいて、前記顔パターンのクラスが分類され、そして当該各クラスの基準特徴ベクトルデータが提供されることが好ましい。
【００１１】
また、顔形態の評価システムは、前記各被験者による少なくとも２種以上の表情表出時に取得された前記各顔データに基づいて前記各特徴ベクトルが抽出されることが好ましい。
【００１２】
また、顔形態の評価システムは、前記データベースには、前記複数の被験者の顔データから抽出された複数の前記特徴ベクトルのデータと、これら特徴ベクトルをクラスタリング処理して得た複数の前記基準特徴ベクトルのデータとが格納され、前記データベースを介して、前記複数の被験者のうちの一人である被評価者の顔データから抽出された特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する分類手段を、更に備えるものでもよい。
【００１３】
また、顔形態の評価システムは、前記データベースには、前記複数の被験者の顔データから抽出された複数の前記特徴ベクトルのデータと、これら特徴ベクトルをクラスタリング処理して得た複数の前記基準特徴ベクトルのデータとが格納され、特徴ベクトル抽出手段が、撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出し、前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する分類手段を、更に備えるものでもよい。
【００１４】
また、本発明の顔形態の評価システムは、複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素として抽出された前記被験者毎のｎ次元の特徴ベクトルと、これら特徴ベクトルをクラスタリング処理して得た複数の基準特徴ベクトルのデータとが格納されたデータベースにアクセス可能な顔形態の評価システムであって、撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出する特徴ベクトル抽出手段と、前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する分類手段と、を備える顔形態の評価システムである。
【００１５】
また、本発明の顔形態の評価システムは、複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素として抽出された前記被験者毎のｎ次元の特徴ベクトルの集合と、これら特徴ベクトルをクラスタリング処理して得た複数の基準特徴ベクトルのデータとが格納されたデータベースにアクセス可能な顔形態の評価システムであって、撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出する特徴ベクトル抽出手段と、前記データベースに格納されている前記複数の被験者の顔データから抽出された前記特徴ベクトルの集合に、前記被評価者の顔データから抽出された特徴ベクトルを加えた集合に対しベクトル量子化手法によりクラスタ重心を複数求めるクラスタリング処理を行うクラスタリング手段と、前記各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルとして決定する基準データ決定手段と、前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する分類手段と、を備える顔形態の評価システムである。
【００１６】
また、顔形態の評価システムは、前記被評価者の顔データから抽出された特徴ベクトルとそれが属するクラスタのクラスタ重心である最近似基準特徴ベクトルとの距離に基づいて評価値を算出する評価値算出手段を、更に備えるものでもよい。
【００１７】
また、顔形態の評価システムは、前記被評価者の顔データから抽出された特徴ベクトルとそれが属するクラスタのクラスタ重心である最近似基準特徴ベクトルとの要素間の差分に基づいて評価値を算出する評価値算出手段を、更に備えるものでもよい。
【００１８】
また、本発明は、顔形態の評価システムにおける評価方法であって、撮像手段を介して複数の被験者からそれぞれの顔の一部又は全部の三次元座標データである顔データを取得しデータベースに格納する工程と、前記データベースに格納された前記各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素とする、前記被験者毎のｎ次元の特徴ベクトルを抽出する工程と、抽出された前記特徴ベクトルの集合に対しベクトル量子化手法によりクラスタ重心を複数求めるクラスタリング処理を行う工程と、前記各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルとして決定する工程と、を含む顔形態の評価方法である。
【００１９】
顔形態の評価方法は、前記データベースには、前記複数の被験者の顔データから抽出された複数の前記特徴ベクトルのデータと、これら特徴ベクトルをクラスタリング処理して得た複数の前記基準特徴ベクトルのデータとが格納され、前記データベースを介して、前記複数の被験者のうちの一人である被評価者の顔データから抽出された特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する工程を、更に含む方法でもよい。
【００２０】
また、顔形態の評価方法は、前記データベースには、前記複数の被験者の顔データから抽出された複数の前記特徴ベクトルのデータと、これら特徴ベクトルをクラスタリング処理して得た複数の前記基準特徴ベクトルのデータとが格納され、撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出し、前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する工程を、更に含む方法でもよい。
【００２１】
また、本発明の顔形態の評価方法は、複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素として抽出された前記被験者毎のｎ次元の特徴ベクトルと、これら特徴ベクトルをクラスタリング処理して得た複数の基準特徴ベクトルのデータとが格納されたデータベースにアクセス可能な顔形態の評価システムにおける評価方法であって、撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出する工程と、前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する工程と、を含む顔形態の評価方法である。
【００２２】
また、本発明の顔形態の評価方法は、複数の被験者の各顔データに基づいて、人間の顔について予め選択されたｎ個の幾何学的パラメータである特徴変量を要素として抽出された前記被験者毎のｎ次元の特徴ベクトルと、これら特徴ベクトルをクラスタリング処理して得た複数の基準特徴ベクトルのデータとが格納されたデータベースにアクセス可能な顔形態の評価システムにおける評価方法であって、撮像手段を介して取得した新たな被評価者の顔データに基づいて、当該被評価者の特徴ベクトルを抽出する工程と、前記データベースに格納されている前記複数の被験者の顔データから抽出された前記特徴ベクトルの集合に、前記被評価者の顔データから抽出された特徴ベクトルを加えた集合に対しベクトル量子化手法によりクラスタ重心を複数求めるクラスタリング処理を行う工程と、前記各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルとして決定する工程と、前記データベースを介して、前記被評価者の特徴ベクトルと最も距離が近いクラスタ重心を特定し、特定したクラスタ重心に対応する類型に当該被評価者の顔データを分類する工程と、を含む顔形態の評価方法である。
【００２３】
また、本発明の顔形態の評価方法は、前記被評価者の顔データから抽出された特徴ベクトルとそれが属するクラスタのクラスタ重心である最近似基準特徴ベクトルとの距離に基づいて評価値を算出する工程を、更に含む方法でもよい。
【００２４】
また、本発明の顔形態の評価方法は、前記被評価者の顔データから抽出された特徴ベクトルとそれが属するクラスタのクラスタ重心である最近似基準特徴ベクトルとの要素間の差分に基づいて評価値を算出する工程を、更に含む方法でもよい。
【００２５】
また、本発明は、前記顔形態の評価方法をコンピュータの演算処理により実行させるプログラムである。また、本発明は、前記プログラムを記憶する情報記憶媒体でもよい。
【００２６】
また、本発明は、前記評価システム又は前記評価方法により分類された類型に属する最近似基準特徴ベクトルから再現した三次元座標データに基づいて製造される美容用マスクである。
【発明の効果】
【００２７】
本発明によれば、人間の例えば顔の軟組織などの形態を定量的又は客観的に評価することができる。
【図面の簡単な説明】
【００２８】
【図１】人間の顔外形線において選択される特徴パラメータの選択例を示す図である。
【図２】特徴パラメータの選択例を更に示す断面図である。
【図３】特徴パラメータの選択例を更に示す断面図である。
【図４】特徴パラメータの選択例を更に示す断面図である。
【図５】三次元の顔画像データに基づいて作成したメッシュ図の例である。
【図６】ベクトル量子化手法を説明するための図である。
【図７】基準に対する被験者のＺ差分値とＺ標準化値とを表示する画像例である。
【図８】顔形態評価システムのハードウェア構成の概略を示すブロック図である。
【図９】第１の実施形態による評価システムのより詳細なブロック図である。
【図１０】顔形態のクラスタリングを説明するための図である。
【図１１】顔形態の分類を説明するための図である。
【図１２】第２の実施形態による評価システムのより詳細なブロック図である。
【図１３】第３の実施形態による評価システムのより詳細なブロック図である。
【発明を実施するための形態】
【００２９】
［顔形態評価の原理］
（特徴パラメータ及び特徴変量についての説明）
本実施形態の顔形態評価においては、人間の顔の形態の特徴を表す幾何学的パラメータである特徴パラメータが用いられる。ここで、図１には、人間の顔外形線において選択される特徴パラメータの例が示される。図１に示されるように、人間の顔には、その形態においていくつかの変曲点を認識することができる。そのような変曲点は、目や鼻などの境界線の角や、三次元的に最も突出した位置や、最も窪んだ位置などを選択することができる。本明細書では、そのような変曲点をランドマークと称し、特徴パラメータの定義に使用される。なお、ランドマークは、変曲点でなくても、２つの変曲点を結ぶ直線の中心点など幾何学的に定義できる点であれば特に制約はない。
【００３０】
なお、顔の外形線は次のように抽出することができる。まず、顔の正面画像から顔形態を測定するためにカスタマイズされた演算プログラムにより、三次元表面データの各ピクセルにおける面法線が計算される。また、顔表面の各座標についてｚ軸と顔の面法線とのなす角度も計算される。ｚ軸と顔の面法線とのなす角度が例えば６０度である各座標点が抽出され、それらの点を結ぶ線が顔の外形線として用いられる。顔の外形線を規定する前記角度は４５度から９０度の間の角度が好ましい。
【００３１】
特徴パラメータの一つの例はランドマーク間の距離である。図１に示される、例えば特徴パラメータｖ１は、目尻Ｅｘ間の距離（｜Ｅｘ−Ｅｘ｜）として定義される。また、ｖ３のように、ランドマーク間を結ぶ線（例えば顔の最側端Ｚｙ´と顎の突点Ｇｎ）を結ぶ線）と、ランドマーク（例えば頬の突点Ｇｏ´）との距離であってもよい。また、特徴パラメータの他の例は、ランドマークを結ぶ線の角度である。例えば特徴パラメータｖ４の角度は、顔の最側端Ｚｙ´、頬の突点Ｇｏ´及び頬の位置関係で定まる。
なお、距離の特徴パラメータは無次元量であってもよい。例えば口角幅（｜Ｃｈ−Ｃｈ｜）を目尻間の距離（｜Ｅｘ−Ｅｘ｜）で正規化した幅（｜Ｃｈ−Ｃｈ｜／｜Ｅｘ−Ｅｘ｜）を特徴パラメータとして採用することができる。また、複数の平均値に対する偏差や平均に対する比を特徴パラメータとして考慮してもよい。
【００３２】
また、図２、３に示すように、人間の顔の特定部位を撮影した三次元データに基づく断面からも複数の特徴パラメータが選択される。これらの断面は、三次元の座標系を決定した後に、解剖学的計測点に基づくデータ処理により作成される。図２には、例として、目尻Ｅｘと口角点Ｃｈとを結ぶラインで被験者の顔を切断した場合のｙｚ断面が示される。図２に示すように、例えば、目尻Ｅｘを基点とする口角Ｃｈのｚ軸方向における角度（ｖ７）、目尻Ｅｘを基点とする当該断面における頬の突点Ｐ（Ｅｘ−Ｃｈ）の角度（ｖ８）、目尻Ｅｘと口角Ｃｈの外形曲線の長さ（ｖ１２）、前記外形曲線で閉じられる面積（ｖ１３）などが特徴パラメータとして選択できる。
【００３３】
図３には、追加的な例として、鼻下点Ｓｎを通る水平面で被験者の顔を切断した場合のｘｚ断面が示される。同じく図４には、鼻の最突点Ｐｍを通る水平面で被験者の顔を切断した場合のｘｚ断面が例示される。これらの図に示されるように、様々な断面位置における顔の部位のｚ方向へ突出する量（ｖ１４、ｖ１８）、突点部の角度（ｖ１６、ｖ２０）、突出量（ｖ１７、ｖ２２、ｖ２３）、凹点部の角度（ｖ２１）などが特徴パラメータとして選択できる。顔形態を特徴付ける断面は、図示はしないがこれら以外にも、例えば、眉間点Ｇｌａ、鼻根点Ｎ、上唇点Ｌｓ、下唇点Ｌｉ、オトガイ点Ｓｍを通る断面であってもよい。
【００３４】
ここで、図５には、三次元の顔画像データに基づいてメッシュフィッティングして作成した図の例が示される。例えば正常咬合者から取得した、ある特定部位のＺ平均値に対する差分や比率を特徴パラメータに加えてもよい。更に後述するように、例えば同一人が安静時及び笑顔表出時など少なくとも２種以上の表情表出時の顔画像データから、それぞれの特徴変量を測定してもよい。
【００３５】
このように顔形態の評価に用いられる特徴パラメータは、予め任意に定めることができるが、好ましくは専門医などの経験に基づいて選択されるべきものである。また、評価の目的や要求される精度に応じて適宜に変更された特徴パラメータが選択されてもよい。例えば、咬合状態を定量的に評価することを評価の目的とする場合、口腔解剖学を専門とする医師や歯科医師により、その治療経験や知識に基づいて、最も適切な特徴パラメータが選択されることが好ましい。また、患者への評価実績をフィードバックして新たな特徴パラメータが加えられてもよいし、逆に評価の精度にあまり貢献しない特徴パラメータを削除してもよい。このように、本発明に係る評価に用いられる特徴パラメータは、評価の事例が積み重ねられそれを反映して修正、変更及び更新がされるべき性格を有している。ただし、現時点で最適とされる同一の特徴パラメータを使用すれば同一の評価結果を得ることができる。つまり、本評価システム及び評価方法においてこのことは、評価者の主観を排除し、定量的かつ客観的な顔形態の評価ができるという点で技術的に意義がある。
【００３６】
（特徴ベクトル及びクラスタリング処理についての説明）
本実施形態による顔形態の評価においては、複数の被験者(subjects)から取得された顔データから、予め選択されたｎ個の特徴パラメータｖ１，ｖ２，・・・，ｖｎを測定して各特徴変量を得る。顔データは被験者の顔の表面を測定した三次元座標データであり、ランドマークなどの三次元座標から特徴変量が測定できる。そして、それぞれの被験者毎に特徴変量を要素とするｎ次元の多変数ベクトルである特徴ベクトルＶｋ［v1, v2, v3,…, vn］が抽出される。被験者数が仮にｐ人である場合には、ｐ個の顔画像データに基づいてｐ個の特徴ベクトルＶ１，Ｖ２，Ｖ３，…，ＶＰが抽出される。また、一人の被験者の例えば安静時及び笑顔表出時など異なる表情表出時の顔画像データ及び顔画像の差分データに基づいて２以上の特徴ベクトルが抽出されてもよい。
【００３７】
複数の被験者から抽出した特徴ベクトルＶｋ；ｋ＝１，２，・・・，ｐの集合に対し、ベクトル量子化手法によるクラスタリング処理を行うことで、特徴ベクトルＶｋをいくつかのクラスタに収束させて分類することができる。このようなクラスタリング処理としては、Ｌｌｏｙｄ法やｋ−ｍｅａｎｓ法などの一般的なベクトル量子化手法を用いることができる（図６）。
【００３８】
例えばｋ−ｍｅａｎｓ法によれば、次のようにしてクラスタリング処理を行うことができる。先ずクラスタの数Ｎを設定し、ｎ次元ベクトル空間に仮のクラスタＣ＊ｉ；ｉ＝１，２，・・・，Ｎを割り当てる。次に、各一次クラスタＣ＊ｉにおける各特徴ベクトルＶｉｊのクラスタ重心（基底ベクトル）Ｇ＊ｉを求める。クラスタ重心Ｇ＊ｉはそのクラスタに属する特徴ベクトルＶｉｊの各要素（特徴変量）の算術平均とすることができる。そして、求めたＮ個の各重心Ｇ＊ｉと全ての特徴ベクトルＶｋとの距離Ｄｉ；ｉ＝１，２，・・・，Ｎを求める。ここで、ベクトル間の「距離」は、ユークリッド距離又はマンハッタン距離の何れでもよい。
【００３９】
次に、特徴ベクトルＶｋと各クラスタ重心Ｇ＊ｉとの距離のうち最も近い距離に重心があるクラスタＣ＊＊ｉに当該特徴ベクトルＶｋを割り当て二次クラスタＣ＊＊ｉを再編成する。そして、再編成されたクラスタＣ＊＊ｉにおいても新たなクラスタ重心Ｇ＊＊ｉを求め、このような特徴ベクトルＶｋとの最短距離に基づくクラスタの再編成を繰り返す。このようなクラスタの再編成のサイクルに変化がなくなったとき又は変化が閾値以下となったときに収束したとみなすことができる。分割が最適化された各クラスタＣｉのクラスタ重心Ｇｉは、そのクラスタの基底ベクトルである。また同時に、最適に分割された各クラスタＣｉに属する特徴ベクトルＶｉｊのセットも特定される。
【００４０】
次に、クラスタの数の最適化の処理を、次のアルゴリズムで行ってもよい。
先ず、候補となるクラスタの数Ｎを、例えばＮ＝３，４，・・・，１２などの合理的な範囲に設定する。各クラスタの重心Ｇｉ(N)とそのクラスタに属する特徴ベクトルＶｉｊとの距離Ｄｉｊ(N)の最小Ｄｌｍｉｎ（Ｎ）を求める（数式１）。
2016085490.tif 000003
各クラスタの最小距離の平均値であるクラスタ間距離Ｄ（Ｎ）を求める（数式２）。
2016085490.tif 000004
クラスタ数の候補である、例えばＮ＝３，４，・・・，１２について、クラスタ間距離Ｄ（１），Ｄ（２），・・・，Ｄ（１２）をそれぞれ求め、変化ΔＤ（Ｎ）が最大となるＮに１を加算したＮ＋１を、最適のクラスタ数Ｎｏｐｔとして決定することができる。
【００４１】
このようなベクトル量子化手法により分割が最適化された各クラスタは、顔パターン（顔の全体又は顔の特定部位の形態的類型）と対応付けをすることができる。本明細書では、このような各クラスタに対応する顔パターンの類型を「クラス」と称して扱っている。また、各クラスタＣｉの重心に位置する基底ベクトルＧｉは、そのクラスタＣｉにおける顔類型の特徴を最も平均的又は典型的に表す特徴ベクトルでもある。そのため、基底ベクトルＧｉを、それが属するクラスタＣｉの「基準特徴ベクトル」という。
【００４２】
このように、複数の被験者の顔を撮像した顔画像データに基づいて、ベクトル量子化手法を用いることにより、各顔類型を分類する最適なクラスの数（Ｎｏｐｔ）と、各クラスの平均的又は典型的様相を示す基底ベクトルである基準特徴ベクトルＧｉ；ｉ＝１，２，・・・，Ｎｏｐｔを得ることができる。例えば、被験者ｓの顔を撮像した顔画像データから特徴ベクトルＶｓが抽出された場合、その特徴ベクトルＶｓが属するクラスタＣｓに対応する顔類型のクラスに、当該被験者ｓの顔の様相が分類される。「特徴ベクトルＶｓがクラスタＣｓに属する」とは、特徴ベクトルＶｓとクラスタＣｓの重心（基底ベクトル）Ｇｓとの距離（｜Ｇｓ−Ｖｓ｜）が、他のクラスタの重心からの距離に比べて最も近いことを意味する。
【００４３】
（特徴ベクトル評価値の説明）
複数の被験者の顔画像から抽出した特徴ベクトル群Ｖｋの平均Ｇと被験者ｓの特徴ベクトルＶｓとの距離（＝｜Ｖｓ−Ｇ｜）を平均的顔様相に対する近似度の指標として提供することができる。また、例えば性別や特定の年齢層で限定された被験者群から抽出した平均との距離を評価値として提供してもよい。また、例えば横顔が直線型で噛み合わせが良好な正常な複数の被験者から抽出した特徴ベクトル群の平均Ｇnormalを評価の基準としてもよい。その場合には、被験者の特徴ベクトルＶｓと正常者平均Ｇnormalとの距離（＝｜Ｖｓ−Ｇnormal｜）を評価値として提供してもよい。安静時及び笑顔表出時など異なる表情表出時の顔画像に基づいて、それぞれ評価値を得てもよい。
更に、被験者ｓの顔の特徴ベクトルＶｓと、量子化手法により分類されたクラスタの重心Ｇｓとの距離（＝｜Ｖｓ−Ｇｓ｜）を、その顔の形態的類型における平均的様相に対する近似度の指標として提供してもよい。例えば性別や特定の年齢層で限定された被験者群から得たクラスタの重心Ｇｓを基準にして評価値を提供してもよい。
【００４４】
（Ｚ値評価の説明）
本実施形態では、人間の頭部において、その顔の正面方向とｚ軸とが一致するように三次元座標系が設定される。ここで、三次元の顔画像データから抽出されるＺ値（Ｚ座標値のこと、以下同じ。）を要素とする多変数ベクトルを、ＺベクトルＺとして定義する。
【００４５】
複数の被験者の顔画像から得たＺベクトル群の平均Ｚｍと被験者ｓのＺベクトルＺｓとの要素間の差分ベクトルＤＺ（＝Ｚｓ−Ｚｍ）やベクトル間距離（＝｜Ｚｓ−Ｚｍ｜）を平均的顔様相に対する近似度の指標として提供することができる。Ｚベクトル群の標準偏差値を要素とする標準偏差ＺベクトルＺｓｄで差分ベクトルを標準化した標準化ベクトルＳＤＺ（＝（Ｚｓ−Ｚｍ）／Ｚｓｄ）を評価の指標としてもよい。また、例えば性別や特定の年齢層で限定された被験者群から得たＺベクトル群を評価基準としてもよい。また、例えば横顔が直線型で噛み合わせが良好な正常な複数の被験者から得たＺベクトル群の平均Ｚnormalを評価基準としてもよい。また、安静時及び笑顔表出時など異なる表情表出時の顔画像に基づいてそれぞれ評価してもよい。更に、量子化手法により分類されたクラスタの重心Ｇｓから再現される、重心ＺベクトルＺＧｓを評価基準としてもよい。
【００４６】
上述した差分ベクトルＤＺや標準化ベクトルＳＤＺは、ｘｙｚ三次元座標系のｚ値を成分とする多変数ベクトルである。したがって、これらのＺベクトルの統計学的評価結果をｘｙ平面上にメッシュフィッティングした画像として提示することができる。ここで、図７は、正常な被験者の顔画像から得たＺベクトル群の平均Ｚnormalに対する被験者の顔画像の差分値（ＤＺ）と、同一被験者の顔画像の標準化値（ＳＤＺ）とを等高線で表示した画像例である。なお、図７の右画像における太い等高線は２標準偏差を示し、この被験者の例では、鼻が２標準偏差を超えて前突していることが認められる。
【００４７】
なお、図７はＺ値が等高線で表示されているが、基準からの差がより直観的に認識できるようにＺ値を色分けして表示することが好ましい。
【００４８】
（顔形態評価システムの説明）
本発明に係る顔形態評価システムの構成の実施形態を説明する。ここで、図８は、顔形態評価システムのハードウェア構成の概略を示すブロック図である。顔形態評価システムは、複数変量の数値解析などの演算処理を実行可能な演算処理装置１０と、入力装置３０及び出力装置４０などを有するコンピュータシステム５０として構成される。顔形態評価システムは、データベース２０と、撮像装置６０とを備えてもよい。撮像装置６０は、被験者の顔の一部又は全部の三次元座標データを取得可能な装置であれば特に制限されない。そのような撮像装置６０としては、例えば、３Ｄデジタルカメラ、３Ｄレーザスキャナ、３Ｄレーザプロファイラなど既存の非接触型三次元計測装置を用いることができる。
【００４９】
データベース２０は、演算処理装置１０からのアクセスが可能であれば、ローカルに据え置かれた例えばハードディスクなどのストレージ装置であってもよく、例えば病院のネットワークシステム上のデータベースサーバであってもよく、更には特定者に共有が許されたリモートのデータベースなどであってもよい。入力装置３０は、例えばキーボード、マウス、タッチパネル等のヒューマンインターフェース装置が含まれる。また、入力装置３０は、撮像装置６０で取得した被験者（被評価者を含む）の顔データ信号の入力や、他の装置で取得又は処理された評価データ（特徴ベクトル及び基準特徴ベクトルなど）を任意の情報記憶媒体を介して入力できる記憶ドライブであってもよい。出力装置４０は、評価結果を表示する画像ディスプレイである他に、生成した特徴ベクトル又は基準特徴ベクトルなどを含む評価データを任意の情報記憶媒体に記憶する記憶ドライブであってもよい。また、出力装置４０は、そのような評価データを図示しないネットワークを介して外部機器に出力する通信手段であってもよい。また、出力装置４０は、一連の評価処理において生成される評価データをデータベース２０に蓄積する機能を有するものでもよい。
なお、本明細書において「評価データ」とは、少なくとも、被験者（被評価者を含む）から取得した顔データ、評価のため選択し又は使用した特徴パラメータ、抽出された特徴ベクトル、クラスタリングされた基準特徴ベクトル（基底ベクトル）、特徴要素の基準値からの差分、最終的な評価値などを含む。つまり、顔画像評価システムにおける一連の処理において使用され又は生成される中間データも「評価データ」に含まれることが意図されている。
【００５０】
［顔形態評価の実施形態］
（第１実施形態）
図９には、第１の実施形態による顔形態の評価に係る各種処理手段が例示される。なお、以下説明する演算処理装置１０に備えられる各種処理手段は、何れも演算処理装置１０のＣＰＵが所与のプログラムに従って演算処理を実行することで、その機能が実現される手段である。
【００５１】
先ず、複数の被験者の顔の顔画像データがデータベース２０に格納される。顔画像データは、被験者の顔の全部又は所定部位などを、例えば撮像装置６０で取得した三次元座標データである。この工程は、例えばオペレータが、撮像装置６０で撮影した顔画像データをデータベース２０に転送する操作により行われる。また、演算処理装置１０の制御下で、撮像装置６０で取得された顔画像データが自動的にデータベース２０に転送されてもよい。また、本システムに接続しない図示しない外部の撮像装置などで撮像された顔画像データをデータベース２０に格納してもよい。また、図示しないリモートのデータベースサーバに格納されている顔画像データがデータベース２０に転送されて格納されてもよい。
【００５２】
また、この工程において、同一被験者による、少なくとも２種以上の表情表出時の顔画像データがデータベース２０に格納されてもよい。異なる表情表出時のデータは、最も表情表出量が大きいと考えられる安静時及び笑顔表出時のものであることが好ましい。また、異なる表情表出時の顔画像データの差分データ（これを「表情表出量データ」という。）が演算されてデータベース２０に格納されてもよい。つまり、本明細書において「顔データ」とは、一次的に取得される顔画像データの他に表情表出量データなど顔形態の差分データを含むことが意図されている。
【００５３】
データベース２０に格納されている顔データのうち評価に使用する顔データを、特定のグループに属する被験者由来のものに限定することが好ましい。例えば、顔形態の評価が予定されている被評価者の、少なくとも性別及び年齢層が一致した被験者標本に限定することが好ましい。
【００５４】
演算処理装置１０に備えられる特徴パラメータ設定手段１１１は、顔形態の評価に用いる複数の特徴パラメータを設定する処理を行う。特徴パラメータとは、上述した人間の顔の形態を特徴的に表す幾何学的パラメータである。この工程においては、例えば専門医がその経験や知識に基づいていくつかの特徴パラメータを選択し、その情報が入力装置３０を介してデータベース２０に格納される。また、この工程において、顔形態の評価の目的や、要求される評価精度に応じて、既にデータベース２０に設定されている特徴パラメータの情報を適宜修正又は変更してもよい。
【００５５】
演算処理装置１０に備えられる特徴変量測定手段１１２は、データベース２０に格納されている複数の被験者毎に、顔画像データの三次元座標から、選択設定された複数の各特徴パラメータに対応する特徴変量を測定する処理を行う。データベース２０に複数の被験者の表情表出量データが格納されていれば、全く同様の処理で、その被験者毎に表情表出量データの三次元座標から、選択設定された複数の各特徴パラメータに対応する特徴変量を測定することができる。なお、測定された特徴変量の集合には、由来する被験者の情報がタグ付けされる。
【００５６】
図１０に示すように、演算処理装置１０に備えられる特徴ベクトル抽出手段１１３は、複数の被験者毎にその顔画像データから測定したｎ個の特徴変量をベクトル要素とするｎ次元の特徴ベクトルＶｋ［v1, v2, v3,…, vn］を抽出する。つまり、基本的には、被験者が仮にｐ人である場合にはｐ個の特徴ベクトルＶ１，Ｖ２，Ｖ３，…，ＶＰの集合が抽出される。安静時と笑顔表出時などの異なる表情を撮影した顔画像データから、一人の被験者につき２以上の特徴ベクトルを抽出してもよい。また、これらの差分である表情表出データから測定された特徴変量をベクトル要素とした表出量ベクトルＶＥｋを抽出することもできる。なお、同一被験者においては、その個人の特徴ベクトルに表出量ベクトルを合併した新たな特徴ベクトルを導出してもよい。
【００５７】
演算処理装置１０に備えられるクラスタリング手段１１４は、抽出された特徴ベクトルＶｋの集合から複数のクラスタ重心Ｇｉを求めるクラスタリング処理を行う。クラスタリング処理としては、上述したように、Ｌｌｏｙｄ法やｋ−ｍｅａｎｓ法などの一般的なベクトル量子化手法を用いることができる。Ｎｏｐｔ個に最適化された各クラスタ重心に位置する基底ベクトルＧｉは、そのクラスタにおける顔類型の特徴を最も典型的に表す特徴ベクトルでもある。演算処理装置１０に備えられる基準データ決定手段１１５は、そのような各クラスタ重心である基底ベクトルを、顔形態の評価のための基準特徴ベクトルＧｉ；ｉ＝１，２，・・・，Ｎｏｐｔとして決定する。
【００５８】
また、クラスタリング手段１１４は、各被験者の表情表出量データ（安静時と笑顔表出時の差分データ）に基づく表出量ベクトルＶＥｋの集合からも、全く同様の処理でクラスタ重心を求め、それらのクラスタ重心に対応する基準表出量ベクトルＧＥｉを決定することができる。
【００５９】
演算処理装置１０に備えられる評価データ出力手段１１５は、各被験者の特徴ベクトルＶｋのデータと、これら特徴ベクトルＶｋの集合からクラスタリングされた基準特徴ベクトルＧｉのデータを、データベース２０に格納する。各被験者の表出量ベクトルＶＥｋ及び基準表出量ベクトルＧＥｉが演算されている場合には、評価データ出力手段１１５は、これらのデータもデータベース２０に格納する。
また、評価データ出力手段１１５は、他の評価システムにおける利用のために、出力装置４０を介して各被験者の顔データや基準特徴ベクトルのデータなどを含む評価データを任意の情報記憶媒体に記憶したり、又は外部機器などに出力したりすることができる。
【００６０】
図１１に示すように、演算処理装置１０に備えられる分類手段１１６は、データベース２０を介して、複数の被験者のうちの一人である被評価者(an evaluatee)ｅの顔画像データから抽出された特徴ベクトルＶeと最も距離が近いクラスタ重心Ｇeを特定する処理を行う。そして、分類手段１０６は、特定したクラスタ重心Ｇeに対応する顔形態の類型クラスに当該被評価者の顔画像データを分類する処理を行う。このとき特定されたクラスタ重心に位置する基底ベクトルＧeは「最近似基準特徴ベクトル」と称される。
また、データベース２０に当該被評価者ｅの表出量ベクトルＶＥeのデータが格納されている場合には、分類手段１０６は、その表出量ベクトルＶＥeと最も距離が近いクラスタ重心ＧＥeを特定し、特定したクラスタ重心に対応する表出量類型に当該被評価者の表情表出量データを分類することもできる。このとき特定されたクラスタ重心に位置する基底ベクトルＧＥeは「最近似基準表出量ベクトル」と称される。
【００６１】
演算処理装置１０に備えられる評価値算出手段１１７は、当該被評価者ｅの顔画像データから抽出された特徴ベクトルＶeとそれが属するクラスタのクラスタ重心Ｇeである「最近似基準特徴ベクトル」との距離（｜Ｇe−Ｖe｜）に基づいて当該被評価者の評価値を算出する処理を行う（数式４）。このような距離に基づく評価値は、分類された顔類型のクラスにおける平均的様相にどの程度近似しているかを定量的に示す一つの指標となる。
【００６２】
また、評価値算出手段１０７は、当該被評価者ｅの顔画像データから抽出された特徴ベクトルＶeとそれが属するクラスタのクラスタ重心Ｇｅである「最近似基準特徴ベクトル」との間の個々の要素間の差分に基づいて当該被評価者の評価値を算出する処理を行うこともできる（数式５）。このようなベクトル要素間の差分に基づく評価値は、全て又は一部の特徴パラメータ（特徴変量）要素の差分の合計であってもよいし、要素毎に差分に重み付けした合計であってもよい。このようなベクトル要素間の差分に基づく評価値は、分類された顔類型のクラスにおける、例えば特定部位の平均的形態にどの程度近似しているかを定量的に示す他の指標となる。
2016085490.tif 000005
【００６３】
また、評価値算出手段１１７は、当該被評価者ｅの表情表出量データから抽出した表出量ベクトルＶＥeと最近似基準表出量ベクトルＧＥeとの間の距離又は要素の差分に基づく評価値の算出を行ってもよい。このような、異なる表情表出時の表出量ベクトルを考慮して得た評価値は、分類されたクラスにおける、例えば顔の皮膚や表情筋などの軟組織の状態（形態、弾性、加齢変化量など）を定量的に示す指標として用いることができる。
【００６４】
演算処理装置１０に備えられる評価データ出力手段１１５は、被評価者の分類された類型クラスの情報、クラスタ重心との距離又は差分に基づく評価値などの評価結果を、オペレータや被評価者本人が視認可能な態様で、出力装置４０を介して出力することができる。また、評価データ出力手段１１５は、他のシステムにおける利用のために、出力装置４０を介して、被評価者の顔データ、抽出された特徴ベクトル、分類されたクラス、評価値などの各種評価データを任意の情報記憶媒体に記憶することができ又は外部機器などに出力することができる。
【００６５】
（第２実施形態）
次に変形例である、第２の実施形態を説明する。図１２には、第２の実施形態による顔形態の評価に係る各種処理手段が例示される。
【００６６】
データベース２０には、複数の被験者の顔データから抽出された特徴ベクトルＶｋのデータと、これら特徴ベクトルの集合をクラスタリング処理して得たクラスタ毎の重心である複数の基準特徴ベクトルＧｉのデータとが既に格納されている。また、データベース２０には、複数の被験者の表情表出量データから抽出した表出量ベクトルＶＥｋのデータと、表出量ベクトルの集合をクラスタリング処理して得た基準表出量ベクトルＧＥｉのデータとが既に格納されていてもよい。
【００６７】
先ず、新たな被評価者の顔の一部又は全部の顔データを、例えば撮像装置６０で取得する。この工程は、例えばオペレータが、撮像装置６０で撮影した顔画像データをデータベース２０に転送する操作により行われる。また、演算処理装置１０の制御下で、撮像装置６０で取得された顔画像データが自動的にデータベース２０に転送されてもよい。また、本システムに接続しない図示しない外部の撮像装置などで撮像された顔画像データをデータベース２０に格納してもよい。また、図示しないリモートのデータベースサーバに格納されている顔画像データがデータベース２０に転送されて格納されてもよい。
演算処理装置１０は、異なる２種の表情表出時に撮像した顔画像データの差分に基づいて当該被評価者の表情表出量データを作成し、表情表出量データをデータベース２０に格納してもよい。
【００６８】
なお、データベース２０に格納されている顔データのうち評価に使用する顔データを、当該被評価者の少なくとも性別及び年齢層が一致した標本に限定することが好ましい。
【００６９】
演算処理装置１０に備えられる特徴変量測定手段１２２は、新たな被評価者の顔画像データの三次元座標から特徴変量を測定する処理を行う。また、当該被評価者の表情表出量データから特徴変量を測定する処理を行ってもよい。特徴変量を測定するパラメータは、データベース２０に格納されている他の被験者の特徴ベクトル抽出の際に使用した特徴パラメータと同一のものが使用される。
【００７０】
演算処理装置１０に備えられる特徴ベクトル抽出手段１２３は、当該被評価者の顔画像データから測定した特徴変量をベクトル要素とする特徴ベクトルＶeを抽出する。被評価者の表情表出量データから特徴変量が測定されている場合には、その特徴変量を要素とする表出量ベクトルＶＥeを抽出してもよい。
【００７１】
演算処理装置１０に備えられる分類手段１２６は、被評価者ｅの顔画像データから抽出された特徴ベクトルＶeと最も距離が近いクラスタ重心（最近似基準特徴ベクトル）Ｇｅを特定する処理を行う。そして、分類手段１２６は、特定したクラスタ重心に対応する顔形態の類型クラスに当該被評価者の顔画像データを分類する処理を行う。
【００７２】
また、データベース２０に当該被評価者ｅの表出量ベクトルＶＥeのデータが格納されている場合には、分類手段１２６は、その表出量ベクトルＶＥeと最も距離が近いクラスタ重心（最近似基準表出量ベクトル）ＧＥｅを特定し、特定したクラスタ重心に対応する表出量類型に当該被評価者の表情表出量データを分類することもできる。
【００７３】
演算処理装置１０に備えられる評価値算出手段１２７は、当該被評価者ｅの顔画像データから抽出された特徴ベクトルＶeとそれが属するクラスタのクラスタ重心Ｇｅである「最近似基準特徴ベクトル」との距離（｜Ｇe−Ｖe｜）に基づいて当該被評価者の評価値を算出する処理を行う。このような距離に基づく評価値は、分類された顔類型のクラスにおける平均的様相にどの程度近似しているかを定量的に示す一つの指標となる。
【００７４】
また、評価値算出手段１２７は、当該被評価者ｅの顔画像データから抽出された特徴ベクトルＶeとそれが属するクラスタのクラスタ重心Ｇeである「最近似基準特徴ベクトル」との間の個々の要素間の差分に基づいて当該被評価者の評価値を算出する処理を行うこともできる。このようなベクトル要素間の差分に基づく評価値は、全て又は一部の特徴パラメータ（特徴変量）要素の差分の合計であってもよいし、要素毎に差分に重み付けした合計であってもよい。このようなベクトル要素間の差分に基づく評価値は、分類された顔類型のクラスにおける、例えば特定部位の平均的形態にどの程度近似しているかを定量的に示す他の指標となる。
【００７５】
また、評価値算出手段１２７は、当該被評価者ｅの表情表出量データから抽出した表出量ベクトルＶＥeと最近似基準表出量ベクトルＧＥeとの間の距離又は要素の差分に基づく評価値の算出を行ってもよい。このような、異なる表情表出時の表出量ベクトルを考慮して得た評価値は、分類されたクラスにおける、例えば顔の皮膚や筋肉などの軟組織の状態（形態、弾性、加齢変化量など）を定量的に示す指標として用いることができる。
【００７６】
演算処理装置１０に備えられる評価データ出力手段１２５は、被評価者の顔データ（顔画像データ、表情表出量データ）、特徴ベクトルＶe、表出量ベクトルＶＥe、分類された類型クラスの情報、最終的な評価値などの評価結果を、オペレータや被評価者本人が視認可能な態様で、出力装置４０を介して出力することができる。また、評価データ出力手段１２５は、後の他の評価に反映させるために、各種評価データをデータベース２０に蓄積することができる。また、評価データ出力手段１２５は、他のシステムにおける利用のために、出力装置４０を介して、各種評価データを任意の情報記憶媒体に記憶することができ又は外部機器などに出力することができる。
【００７７】
（第３実施形態）
次に、第３の実施形態を説明する。図１３には、第３の実施形態による顔形態の評価に係る各種処理手段が例示される。
【００７８】
データベース２０には、複数の被験者の顔データから抽出された特徴ベクトルＶｋのデータと、これら特徴ベクトルの集合をクラスタリング処理して得たクラスタ毎の重心である複数の基準特徴ベクトルＧｉのデータとが既に格納されている。また、データベース２０には、複数の被験者の表情表出量データから抽出した表出量ベクトルＶＥｋのデータと、表出量ベクトルの集合をクラスタリング処理して得た基準表出量ベクトルＧＥｉのデータとが既に格納されていてもよい。
【００７９】
先ず、新たな被評価者の顔の一部又は全部の顔データを、上述した第２実施形態と同様に例えば撮像装置６０で取得する。
【００８０】
演算処理装置１０に備えられる特徴変量測定手段１３２は、新たな被評価者の顔画像データの三次元座標から特徴変量を測定する処理を行う。また、当該被評価者の表情表出量データから特徴変量を測定する処理を行ってもよい。特徴変量を測定するパラメータは、データベース２０に格納されている他の被験者の特徴ベクトル抽出の際に使用した特徴パラメータと同一のものが使用される。
【００８１】
演算処理装置１０に備えられる特徴ベクトル抽出手段１３３は、当該被評価者の顔画像データから測定した特徴変量をベクトル要素とする特徴ベクトルＶeを抽出する。被評価者の表情表出量データから特徴変量が測定されている場合には、その特徴変量を要素とする表出量ベクトルＶＥeを抽出してもよい。
【００８２】
演算処理装置１０に備えられるクラスタリング手段１３４は、データベース２０に格納されている複数の被験者の特徴ベクトルＶｋの集合に、新たな被評価者の特徴ベクトルＶeを加えた特徴ベクトルの集合から複数のクラスタ重心Ｇｉを求めるクラスタリング処理を行う。クラスタリング処理としては、上述したように、Ｌｌｏｙｄ法やｋ−ｍｅａｎｓ法などの一般的なベクトル量子化手法を用いることができる。
また、クラスタリング手段１３４は、各被験者の表情表出量データに基づく表出量ベクトルＶＥｋの集合に、新たな被評価者の表出量ベクトルＶＥeを加えた特徴ベクトルの集合から、それらのクラスタ重心に対応する基準表出量ベクトルＧＥｉを生成してもよい。
【００８３】
演算処理装置１０に備えられる分類手段１３６は、被評価者ｅの顔画像データから抽出された特徴ベクトルＶeと最も距離が近いクラスタ重心（最近似基準特徴ベクトル）Ｇeを特定する処理を行う。そして、分類手段１３６は、特定したクラスタ重心に対応する顔形態の類型クラスに当該被評価者の顔画像データを分類する処理を行う。
【００８４】
また、データベース２０に当該被評価者ｅの表出量ベクトルＶＥeのデータが格納されている場合には、分類手段１３６は、その表出量ベクトルＶＥeと最も距離が近いクラスタ重心（最近似基準表出量ベクトル）ＧＥeを特定し、特定したクラスタ重心に対応する表出量類型に当該被評価者の表情表出量データを分類することもできる。
【００８５】
演算処理装置１０に備えられる評価値算出手段１３７は、当該被評価者ｅの顔画像データから抽出された特徴ベクトルＶeとそれが属するクラスタのクラスタ重心Ｇeである「最近似基準特徴ベクトル」との距離（｜Ｇe−Ｖe｜）に基づいて当該被評価者の評価値を算出する処理を行う。このような距離に基づく評価値は、分類された顔類型のクラスにおける平均的様相にどの程度近似しているかを定量的に示す一つの指標となる。
【００８６】
また、評価値算出手段１３７は、当該被評価者ｅの顔画像データから抽出された特徴ベクトルＶeとそれが属するクラスタのクラスタ重心Ｇeである「最近似基準特徴ベクトル」との間の個々の要素間の差分に基づいて当該被評価者の評価値を算出する処理を行うこともできる。このようなベクトル要素間の差分に基づく評価値は、全て又は一部の特徴パラメータ（特徴変量）要素の差分の合計であってもよいし、要素毎に差分に重み付けした合計であってもよい。このようなベクトル要素間の差分に基づく評価値は、分類された顔類型のクラスにおける、例えば特定部位の平均的形態にどの程度近似しているかを定量的に示す他の指標となる。
【００８７】
また、評価値算出手段１３７は、当該被評価者ｅの表情表出量データから抽出した表出量ベクトルＶＥeと最近似基準表出量ベクトルＧＥeとの間の距離又は要素の差分に基づく評価値の算出を行ってもよい。このような、異なる表情表出時の表出量ベクトルを考慮して得た評価値は、分類されたクラスにおける、例えば顔の皮膚や筋肉などの軟組織の状態（形態、弾性、加齢変化量など）を定量的に示す指標として用いることができる。
【００８８】
演算処理装置１０に備えられる評価データ出力手段１３５は、被評価者の顔データ（顔画像データ、表情表出量データ）、特徴ベクトルＶe、表出量ベクトルＶＥe、分類された類型クラスの情報、最終的な評価値などの評価結果を、オペレータや被評価者本人が視認可能な態様で、出力装置４０を介して出力することができる。また、評価データ出力手段１２５は、後の他の評価に反映させるために、この新たな被評価者の顔データ（顔画像データ、表情表出量データ）、特徴ベクトルＶe、表出量ベクトルＶＥe、などの各種評価データの他、新たな被評価者の顔データを考慮してクラスタリングして得たクラスタ重心群である基準特徴ベクトルＧｉ、基準表出量ベクトルＧＥｉをデータベース２０に蓄積することができる。また、評価データ出力手段１２５は、他のシステムにおける利用のために、出力装置４０を介して、当該被評価者の各種評価データを任意の情報記憶媒体に記憶することができ又は外部機器などに出力することができる。
【００８９】
上述した実施形態の顔形態評価のシステム又は評価方法によれば、同一の特徴パラメータを使用すれば同一の評価結果を得ることができる。採用する特徴パラメータを予め専門医などが定めておけば、顔形態の評価を行う現場で誰が評価を行っても、評価者の主観を排除し、定量的かつ客観的な顔形態の評価結果を得ることができる。
また、本評価システム又は評価方法により、レントゲン撮影でも困難であった患者の軟組織の形態がどの類型に属するか、その客観的な評価が可能となる。
また、患者の治療に伴う経時的な形態変化を客観的に把握することができる。また顔の整形手術前と後の定量評価も可能となる。また術後における笑顔表出方法を患者に示唆することもできる。
また、データベースに蓄積した評価実績をフィードバックすることにより、他の患者などの評価の精度も向上させることができる。データベースに蓄積される被験者の顔データが多いほど、クラスタリング処理する対象である特徴ベクトルなどの母集団も大きくなり、統計的処理における精度も増すことができる。
【００９０】
［顔形態評価の応用例］
（美容分野への応用）
上述した顔の形態評価システムにより決定される各クラスタの重心に位置する基底ベクトルは、そのクラスタにおける顔類型クラスの特徴を最も平均的又は典型的に表す基準特徴ベクトルでもある。基準特徴ベクトルからそのような典型的な顔の様相を持つ三次元座標データを再現することができる。本評価システム又は本評価方法を用いて分類された、利用者の顔類型クラスに属する最近似の基準特徴ベクトルから三次元座標データを再現し、それに基づいて三次元プリンタなどで成型した美容用マスクを製造してもよい。そのような美容用マスクは、従来の一般的なサイズ分類（小型、中型、大型）などよりも、遥かにその利用者の実際の顔の表面に適合させることができる。
女性の場合、頬の突出の程度を強調することでより女性らしさを強調できることが知られている。例えば安静時及び笑顔表出時に頬部の形態が平均より低形成である場合には、本評価システムを用いて、その位置をまるく見せるようなハイライト画像を表示することにより、効果的な化粧方法を示唆することができる。
【００９１】
（医療分野への応用）
高齢者を対象とした表情表出の加齢の影響を明らかにする上で、表情の客観的数値を用いることが可能になる。また、矯正歯科治療後の患者に対しても、表情筋トレーニングや栄養指導など、どのような取り組みが患者の表情機能を維持・向上させるのに有効であるのかを客観的に評価することが可能となる。
また、表情筋トレーニングをする上で、個人のモチベーションを向上させるために役立つと考えられる。例えば、予め複数の被験者から得た各顔類型クラスの平均像のマスクや移植用皮膚などのモデルを三次元プリンタで作成しておく。そして、患者の顔形態が分類されるクラスを本評価システムで決定する。そのクラスのマスクを使用すれば、より患者の顔にフィットし、マスクの装着も容易となる。その際に笑顔表出時の顔形態に合わせて、マスクの伸展性を調整してもよい。
例えば、火傷や腫瘍などで皮膚を失った患者に対しては、患者の顔形態が分類されるクラスの平均像となるように、失った皮膚を補完する皮膚マスクを形成することもできる。
【００９２】
以上、本発明の好ましいいくつかの実施形態を説明したが、本発明の技術的思想は、ここで説明された実施形態に限定して解釈されるべきではない。本発明に係る顔形態の評価方法をコンピュータの演算処理により実行させるプログラムとして提供されてもよく、またそのようなプログラムを記憶する情報記憶媒体の態様で提供されてもよい。また、本発明に係る顔形態の評価処理を実行するソフトウエアが、例えばインターネット上のＡＰＳ（Application Service Provider）などのクラウドシステムにより提供され又は展開されてもよい。
当業者は、本発明の要旨又は技術思想から逸脱しない範囲で、この実施形態を適宜、変更又は改良を加えることができる。そのような変更又は改良を伴う評価システムは、本発明の技術的範囲に包含されるものとして理解されなければならない。
【符号の説明】
【００９３】
１０  演算処理装置
２０  データベース
３０  入力装置
４０  出力装置
５０  コンピュータシステム
６０  撮像装置
１１１  特徴パラメータ設定手段
１１２  特徴変量測定手段
１１３  特徴ベクトル抽出手段
１１４  クラスタリング手段
１１５  評価データ出力手段
１１６  分類手段
１１７  評価値算出手段
Ｖ    特徴ベクトル
ＶＥ  表出量ベクトル
Ｇ    基準特徴ベクトル（形態の基底ベクトル、形態のクラスタ重心）
ＧＥ  基準表出量ベクトル（表出量の基底ベクトル、表出量のクラスタ重心）
【図１】
2016085490.tif 000006
【図２】
2016085490.tif 000007
【図３】
2016085490.tif 000008
【図４】
2016085490.tif 000009
【図５】
2016085490.tif 000010
【図７】
2016085490.tif 000011
【図６】
2016085490.tif 000012
【図８】
2016085490.tif 000013
【図９】
2016085490.tif 000014
【図１０】
2016085490.tif 000015
【図１１】
2016085490.tif 000016
【図１２】
2016085490.tif 000017
【図１３】
2016085490.tif 000018