〈一般研究課題〉

室内環境の電子モデリングのための多元的顔データによる人物属性推定の研究

助 成 研 究 者

中京大学

藤原孝幸

室内環境の電子モデリングのための多元的顔データによる
人物属性推定の研究藤原 孝幸（中京大学）

Individual Attribute Estimation based on Multi Dimensional Facial
data for Digital modeling of Indoor Environment involving Human
Takayuki Fujiwara(Chukyo University)
1. はじめにユーザインタフェースとして顔メディアを用いる可能性が示唆され、顔の認識・生成技術が注目されている。ところで、顔メディアの表現形式の一つとして、顔に対する人の印象を造形する手法としての似顔絵が意味を持ち始めている 1）、2）、3）、4）。似顔絵作家やイラストレータは、顔の特徴や個性を巧妙に捉え、それを巧みに表現した似顔絵を描く。彼らの観察過程は、顔の形状、大きさ、顔の目鼻立ち、顔色、更には喜怒哀楽といった顔の特徴を的確につかみ、これらの特徴をデフォルメすることにより、様々な表現方法で最終的には感性豊かな似顔絵として描いていると思われる 5）、6）、7）。また、似顔絵を鑑賞する人の感性が多様であるため、鑑賞者の個別の感性を生成プロセスに組み込む重要性があると指摘されている。それらに対応するため、アイカメラを用いて、鑑賞者の視覚感性を基に似顔絵生成するシステム、インターネット上に似顔絵システムを構築し、ネットワークを介して開かれた環境に評価の場を広げることで、不特定多数の似顔絵鑑賞者の評価を得る似顔生成システムを提案してきた。しかし、これらの手法において、入力顔と比較をする平均顔の選択が、生成される似顔絵に強く影響することへの考察が不十分であった。
そこで本研究では、生成される似顔絵に強く影響する顔の属性（年齢、性別等）に注目し、顔データの属性を示す特徴を抽出する手法を提案する。本手法では、顔内部部品における特徴点間の距離の平均値と分散の統計値を用いて、顔の属性を判別する手法において、新たな可能性を示す結果を得たので、その概要を報告する。

− 105 −

2. 顔特徴点列の抽出手法
写真等の顔画像より得られる、本研究における顔データの特徴点列に関して述べる。本研究では、コンピュータによる似顔絵生成システム 8）の顔データを用い表現することで、顔特徴の多元的に解析している。この似顔絵生成システムでは、図 1 に示すように、顔を計 37 個の顔部品、計 331 点の特徴点を式（1）にて定義し、特徴点を順に直線にてつなぐことで、顔データを線画として表現することも可能である。この特徴点列フォーマットにおいては、入力顔作成支援システムを用いて、顔画像等の輪郭を手入力することで作成する。

図1

顔データの定義

これららの特徴点において、顔データの特徴を示す指標を得る際、顔の縦、横の長さ、眉の横幅など、顔データの特徴が示されると推測される個所を計測する方法が考えられる。目と眉の間隔、顎の輪郭など、顔データ間の差を示す個所を計測すればよい。しかし、顔データの種類が増えるにつれ、属性を示す特徴量を何処に求めるか,その方策を個別に設定することは困難であることが推測される。
本研究では属性行列を提案し、顔データを大局的に扱い、顔特徴点集合を対照にした特徴量を導入する。属性行列は、ある母集団で構成される顔データにおける属性を評価するための指標となる。
顔データの全ての特徴点でペアを作り、その特徴点間の距離 d ( i, j )で N 個の母集団における平均μ(i, j )、分散σ2 (i, j )を算出する（式 2 − 4）。顔データが 331 次元の座標ベクトルであり、その全てのペアで得られる距離値となるため、331 × 331 の行列となる。全ての特徴点でペアを得るため、この行列は対称行列となり、また i = j となる要素の値は 0 となる。これら平均、分散行列は対称行列となるため、図 2 に示すように i ＜ j の要素に平均行列を格納し、i ＞ j の要素に分散行列を格納することで331× 331次元で両統計値を表現し、これを属性行列 8）と定義する。

− 106 −

図2

顔内部部品と顔輪郭

しかしながら実際にシステムを設計する上で、331 特徴点のペアで生成される特徴ベクトルの次元数は 331 × 331 次元となりシンプルさに欠け、また、識別関数の構築などが困難になる。そのため、顔の内部部品、目、眉、鼻、口と、耳を用い、8 顔部品のペアで特徴ベクトルを別に生成することとした。また顔の内部部品のみで構成するのではなく、顔内部部品と顔輪郭の関係も表現する必要があると考えた。「大づくりな顔」、「小づくりな顔」など、顔輪郭に対する顔内部部品の配置が、顔の印象として視覚されているとするべきであり、次のように顔輪郭（あご、髪の生え際）を特徴量として含めることとした。
図 3 の例で示すように、丸で囲まれた顔部品の重心を特徴点とし、あご、髪の生え際は、それぞれの重心から最も距離の大きい点をそのペアの距離値として採用し（式（5））、 それらの特徴点間の距離の平均、分散を算出した。8 顔部品の重心点 gi (i = 1、･･･、8)と 2 の顔輪郭部品から、全てのペアで得られる距離値を計算する。331 × 331 次元との属性行列と同様に N 個の距離値行列から式（6）で平均を、式（7）で分散を求め、 10 × 10 の行列となる。この行列も対称行列となるため、前述の属性行列と同様に三角行列にて平均、分散の統計値を格納する。

− 107 −

図3

顔内部部品と顔輪郭

3. 属性行列の作成
任意の顔データに対する属性の判定実験を行うため、既存の顔データベースを用い、属性行列を構築した。構築と実験に用いた顔画像は HOIP（岐阜県地域結集型共同研究事業）顔画像データベースにおける正面顔を顔データとして入力した。このデータベースは、15 〜 64 才の日本人男女各150 名、合計300名のデータである。
この顔データベースは 5 才区間毎に 15 名のサンプルとなっているが、母集団のサンプル数を考慮して 10 才区間として用いた。男女共に 15 〜 24 才、25 〜 34 才、35 〜 44 才、45 〜 54 才、55 〜 64 才の5 種類に分けて、合計 10 の属性行列を構築した。また、同時に得られる各属性の平均顔を図 4 に示す。男性の加齢を図 4（a）から（e）で、女性の加齢を図 4（f）から（j）で表していることが目視でも分かるが、これらの属性行列にそのような年齢、性別を表す特徴量があることを見出すことが期待でき、その手法を以下に示す。

− 108 −

図4

HOIP顔データベースにおける 10 才区間での平均顔4. 評価関数の設計
図 4 の 10 種類の平均顔に対し、パタンの近い顔データを推定することとし、入力顔データのベク
トル x = P ( i 、j )に対して、プロトタイプである平均顔の距離値ベクトル m = μ( i 、j )との距離を− 109 −最小にする式（8）を評価関数の基本とした。平均顔における分散を重みとして式（8）に加え、10 × 10 行列に対し、式（9）を最終的な評価関数とした。評価値 Ek ( k = 1、･･･、10: 男女それぞれ5クラス)を最小にする属性が、入力顔データに最も近く、最も個人性特徴を抽出しやすい平均顔であるとする。10 クラスに対して同時に評価するため、逐次的に性別推定、年齢推定を実行するもではない。

5. 実験
5.1 属性行列の全次元を用いた実験
HOIP 顔データベース 300 枚の入力顔に対し、10 の属性行列と評価関数を用いた推定結果を表 1に示す。正しい性別、年齢における、データ数中の成功数と成功率、また隣接するクラスとして判定された場合の結果もあわせて示す。また、構成データに入力顔が含まれないように属性行列を構築した。
全体での属性判別の的中率は 31.0%となった。成功率が低くなる結果となった場合。その区間においては、隣接するクラスと判定とされる結果が傾向として見られた。この顔データベースに対する、人間がどの程度推定できるか行った心理実験の結果 9）では、年齢の的中率が 30.8%という実験結果を示しており、本研究における提案の実験結果が、有効な値を得られたと考えられる。
表 1 属性判別の実験結果(A: クラス名、B: 推定率、C: 隣接するクラスへの推定率、D: B、C の合計)

5.2 次元数を削減し評価関数を用いた実験
5.1 節の結果より顔の形状情報による性別・年齢推定が可能である見込みを示せた。しかし、10 × 10 の属性行列においても推定計算においても、算出に影響される要素に違いがあると考えられる。そこで主成分分析を用いて次元数を削減し、性別・年齢推定実験のさまたげとなる要素を定義し、属性推定率と処理速度を処理速度の向上を考えた。

− 110 −

10 × 10 属性行列の 10 クラスのデータを用いて主成分分析をし、累積寄与率が 0.7 を超えるまでの成分を列挙した結果、以下ように抽出された。
Sa: 10 クラスの要素で主成分分析した場合（5 次元）
鼻部品―口部品、左目部品―左耳部品、左眉部品―左耳部品、右眉部品―あご部品、鼻部品―あご部品
Sb: 平均の要素のみで主成分分析した場合（4 次元）
鼻部品―左耳部品、輪郭部品―左耳部品、口―右耳部品、輪郭―右耳部品
Sc: 分散の要素のみで主成分分析した場合（5 次元）
鼻部品―輪郭部品、左眉部品―右耳部品、左眉部品―左耳部品、右眉部品―口部品、右目部品―口部品
これらの結果から式（9）の評価関数で評価値を算出した（表 2）。

表 2 主成分分析後の属性判別の実験結果(A: クラス名、B: 推定率、C: 隣接するクラスへの推定率、D: B、C の合計)

5.1 節の結果と比較し、全体的な結果では及ばないが、部分的な箇所では優位な結果が見られた。次元数を大幅に削減できたことを考慮すると、有意義な結果になったと考えられる。また、良好なカテゴリが存在することより、パタン毎にかたよりが見られ、Sa では全体的に平均が高く、Sb では若い年齢層で、Sc では高い年齢層で比較的に良好な結果となった。

5. まとめ本研究では、特徴点フォーマットを用いて、特徴点間の距離に着目し、属性を表す指標として属性行列を設計した。また、属性行列と入力顔とを大局的に比較することで、その顔の属性を自動判別する手法を提案し、その有効性を実験的に検証した。さらに、属性行列の次元数を削減することで、実験結果に一定の効果を得られ、新たな属性推定の手法を構築する指標となった。本実験において、1 つの入力顔データに対する属性判別の処理時間は 0.08 秒（Pentium 4 3.0GHz、512RAM）で、システムに組み込む際の時間的な影響は無い。

− 111 −

今後の課題として、評価関数の改善、属性行列の更なる検討などがあげられる。評価関数の改善に関しては、今回提案したような、複数の属性行列間で主成分分析をするだけではなく、さらなる属性行列の特徴を抽出することによって、 ｜入力顔−平均顔｜の要素に対する重み係数を設計する手法や、重み係数を学習させる手法などが考えられる。また、本研究のように手入力した顔データだけでなく、自動入力した顔データ 10）へ適用する。また心理実験の結果と比較し、それらの成果を学会等で報告する予定である。

謝辞
本研究の一部は、（財）日比科学技術振興財団助成、IMS 国際共同研究開発プログラム HUTOP-II助成、文部科学省ハイテクリサーチセンター HRC 助成、JST 助成の支援による。記して、謝意を表する。

参考文献
1) 赤松茂:コンピュータによる顔の認識サーベイ, 信学論 A, Vol.J80-A No.8, pp.1215-1230, 1997.

2) 長谷川修, 森島繁生, 金子正秀: 「顔」の情報処理, 信学論 A, Vol.J80-A No.8, pp.1231-1249, 1997.

3) 金子正秀:

顔による個人認証の最前線, 映像情報メディア学会誌 Vol.55, No.2, pp.180-184, 2001.

4) 顔特集、電子情報通信学会論文誌、Vol.J80-D-II、No.8, 1997.
5) 輿水大和：似顔絵のコンピュータ生成、映像情報メディア学会誌（小特集：人体と顔の画像処理）、Vol.51、No.8、pp.1140-1146, 1997.
6) 中川陽：似顔絵マシン初の手合わせ、東京新聞、1998 年 3 月 26 日(木)、夕刊
7) 山藤章二（私信）：主観によるデフォルメ、1998 年 7 月 14 日
8) 藤原孝幸, 牛木里奈, 多賀真理子, 輿水大和:法の提案

顔部品間の関係の統計的分析による顔の属性判別手, 日本顔学会誌, Vol.2, No.1, pp.25-38 , 2002.

9) 安本護, 林純一郎, 輿水大和, 丹羽義典, 山本和彦:の提案

平均顔との距離を用いた性別・年齢推定手法, 電子情報通信学会技術研究報告 Vol.101 No.422, pp. 1-6, 2001.

10）T. Fujiwara, T. Watanabe, T. Funahashi, H. Koshimizu and K. Suzuki: A Field Test at EXPO 2005of Facial Caricaturing System by Means of COOPER System, Proc. of International Workshop on
Advanced Image Technology 2006, PO2-8, 2006.

− 112 −