社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

顔特徴とコンテキスト情報に基づく顔の隠れに頑健な人物識別山口純平†

嶋田和孝††

榎田 修一††

江島 俊朗††

遠藤勉††† 九州工業大学大学院情報工学府〒 820–8502 福岡県飯塚市川津 680–4†† 九州工業大学 大学院情報工学研究院 知能情報工学研究系〒 820–8502 福岡県飯塚市川津 680–4
E-mail: {j yamaguchi,shimada,endo}@pluto.ai.kyutech.ac.jp, {enokida, ejima}@eken.ai.kyutech.ac.jp
あらまし

本稿では，隠れに頑健な人物識別手法として，顔特徴とコンテキスト情報を用いた手法について報告する．

本手法では，顔特徴として正面顔と目，鼻などの顔部品を用い，CLAFIC 法により類似度を求める．またコンテキス
ト情報には衣服の情報を使用し，衣服特徴として 4 つの特徴を用い，それぞれ類似度を求める．これらの特徴から得られた類似度を統合し，人物識別を行う．顔の一部が隠れた画像に対して，顔特徴のみで識別を行った場合の結果と本手法で識別を行った場合の結果を比べることで，コンテキスト情報として衣服特徴を用いることの有効性を確認した．
キーワード

人物識別，コンテキスト情報，顔特徴，衣服特徴

Personal Identification Using Facial Feature and Context for PartiallyOccluded Images
Junpei YAMAGUCHI† , Kazutaka SHIMADA†† , Shuichi ENOKIDA†† , Toshiaki EJIMA†† , andTsutomu ENDO††† Kyushu Institute of Technology, Graduate School of Computer Science and Systems Engineering
Kawazu 680–4, Iizuka, Fukuoka, 820–8502 Japan†† Kyushu Institute of Technology, Department of Artificial Intelligence
Kawazu 680–4, Iizuka, Fukuoka, 820–8502 Japan
E-mail: {j yamaguchi,shimada,endo}@pluto.ai.kyutech.ac.jp, {enokida, ejima}@eken.ai.kyutech.ac.jp
Abstract In this paper, we describe a method of personal identification using facial features and context information for partially occluded images. The method calculates a facial similarity by using the CLAFIC method fromthe face and face parts such as eyes. We apply clothes information to the context. The method calculates a clothes
similarity by using four clothes features. Finally, it integrates the two similarities, and identifies the person of an
input image. In the experiment, our method with the integrated similarity outperformed the method with the facesimilarity. The experimental result shows the effectiveness of our method with the context information.
Key words Personal Identification, Context, Facial Feature, Clothes Feature

1. は じ め にこの人物識別に用いられる特徴には様々なものがあるが，特に顔特徴を用いた人物識別は，対象者に意識させず，非接触で近年，人物識別が様々なタスクにおいて重要な役割を持って可能なため，最初に述べた監視システムやロボットなど，様々きている．セキュリティ分野では，駅や空港などの公共の場にな分野で用いられ，多くの研究が行われている．顔特徴を用いおいて，監視カメラの映像に映る人々の中から特定の人物を探た人物識別の研究は，幾何学的特徴ベースの方法と見え方ベーし出すためなどに用いられている．また，ロボット分野でも，スの方法の 2 つに大別できる [1]．前者は，瞳，目頭，口端な生活支援ロボットなど，人間とコミュニケーションをとるロボッ

どの特徴点の幾何学関係をパラメータ化したものを特徴量としトとの対話において，より高度なコミュニケーションを行うたて使用しており，顔の部分的な配置や距離から人物識別を行う

めに相手の情報を得る手段として用いられている．

Kanade のシステム [2] などがこれにあたる．後者は，顔全体—1—

の濃淡パターンをベクトルに展開したものを特徴量として使用しており，顔の画素値から部分空間を構成して人物識別を行う

EigenFace 法 [3] や CLAFIC 法 [4] などがこれにあたる．初期の顔特徴を用いた人物識別の研究では，幾何学的特徴ベースの方法が主流であったが，最近では見え方ベースの方法が主流となっている．このように様々な顔特徴を用いた人物識別の研究が行われているが，これらの手法は顔の一部分が隠れてしまうといった状況に対応していないことが多い．しかし，実環境下ではサングラスやマスクなどによって顔の一部分が隠れること

図 1 提案手法の概略図は珍しくなく，それにより識別率が低下してしまう問題がある．
このような顔特徴のみでは識別が困難な問題の解決法の一つに，コンテキスト情報を用いた手法が考えられる．このコンテ
キスト情報とは，顔特徴以外で人物識別に有効な情報のことであり，衣服や画像が撮影された場所，時間などがあげられる．

Gallagher ら [5] は，個人が撮影した家族写真のような画像のデータベースに対し，コンテキスト情報を用いて人物識別を行う手法を提案している．これにより，兄弟のような似た人物が映った画像での人物識別でも精度を向上させている．
本研究では，施設内生活支援ロボットが人物識別を行うことを想定している．ロボットは人物が視界に入るたびに識別を行
図 2 顔部品検出の流れうため，一日に何度も人物識別を行うことになる．衣服は一日のうちに変わることが少なく，コンテキスト情報としてこの衣服特徴が顔の隠れに対しても有効であると考えられる．そこで，
本研究では顔に一部分の隠れが生じても高い精度で人物識別が可能な手法として，顔特徴の他に，コンテキスト情報として衣服情報を用い，その結果を統合することで人物識別を行う手法
を提案し，検証を行う．

正面顔が検出された場合のみ (2) へ進む．

(2) 各顔部品の検出処理領域を以下のように制限する．
•左目及び右目は正面顔領域の左上半分及び右上半分•

鼻は正面顔領域の目より下の上半分•

口は正面顔領域の鼻より下目や鼻が検出できなかった場合は，正面顔領域を横に 3 分割し2. 提 案 手 法提案する人物識別手法は，顔特徴類似度算出部と衣服特徴類似度算出部の 2 つからなり，それより得られる結果を統合して人物の識別を行う．本章では，提案手法の概要について簡単に説明し，次にそれぞれについて詳しく説明する．

2. 1 提案手法概要
提案手法の概略図を図 1 に示す．まず，USB カメラから画像を取得する．顔特徴類似度算出部では顔領域を検出し，その検出領域から特徴量を取得する．そして，その特徴量とデータベースの学習データを用いて類似度を求める．衣服特徴類似度算出部でも同様にして類似度を求める．求められたそれぞれの類似度は統合部で統合され，最後に人物の識別結果を出力する．

2. 2 顔特徴類似度算出部
2. 2. 1 顔領域検出
顔特徴の検出では，Viola ら [6] が提案し，Rainer ら [7] によって改良された物体検出器を利用して正面顔領域と顔部品領域を検出する．しかし，そのままこの物体検出器を使って検出を行った場合，目や鼻といった顔部品の検出で，背景などの誤検出や検出サイズの誤りが多く生じ，また，処理速度も遅いという問題がある．そこで，追加処理として顔部品の探索領域の制限を行う [8]．追加処理の手順を以下と図 2 に示す．

(1) 画像をグレースケール化し，全体から正面顔を検出する．

た中心部を鼻，最下部を口の検出処理領域とする．

(3) 各顔部品検出処理領域を 4 倍に拡大し，さらにヒストグラムの均一化を行った画像からそれぞれの顔部品を検出する．
各顔部品検出処理領域を拡大する理由は，検出処理領域の画像サイズは大きい方が検出精度が高いことが実験的に分かっているためである．画像の拡大手法には，高解像度化手法の 1 つであり，品質の高い拡大画像が得られるバイキュービック法を利用する．また，ヒストグラムの均一化を行う理由は，逆光時に画像全体が暗くなることで検出精度が低くなることが実験的に分かっているためである．この追加処理により，背景や服装などの誤検出が解消し，検出精度と処理速度がともに向上する．
検出された領域の例を図 3 に示す

2. 2. 2 顔 特 徴検出された正面顔，顔部品領域からの特徴量には w × h 画
素のグレースケール画像を，w × h 個の各画素の値が一次元ベクトルの各要素となるようにしたベクトル x を用いる．この特徴量 x に対して部分空間法で一般的な CLAFIC 法 [4] を用いて正面顔，右目，左目，鼻，口の類似度をそれぞれ求める．

CLAFIC 法では，顔特徴の特徴量から相関行列を求め，主成分分析したときの固有ベクトルを部分空間として求める．識別時には，テストデータを各人の部分空間に射影し，射影ベクトルの大きさを求める．この射影ベクトルの大きさを類似度とする．

—2—

図 5 衣服特徴の検出結果例
表1 衣服特徴

図 3 顔特徴の検出結果例

2. 2. 3 顔特徴類似度の統合

大局的局所的色情報

色ヒストグラム特徴

モザイク画像の色特徴

模様情報

パワースペクトル特徴

高次局所自己相関特徴

2.2.2 節より得られた正面顔，右目，左目，鼻，口の 5 つの類似度を，顔特徴の類似度として統合する．統合は式 (1) により行われる．

能であると考えられる．

2. 3. 3 色ヒストグラム特徴

Sf = Sf ace + Sreye + Sleye + Snose + Smouth(1)

このとき，Sf ace は正面顔領域から得られた類似度，Sreye は右目領域から得られた類似度，Sleye は左目領域から得られた類似度，Snose は鼻領域から得られた類似度，Smouth は口領域から得られた類似度を表している．

2. 3 衣服特徴類似度算出部
2. 3. 1 衣服領域検出
衣服領域画像から特徴量を求める際，画像中から衣服の領域を検出する必要がある．そこで，衣服は顔の下にあるという仮定の下，図 4 のように衣服の領域を検出する. P oint(x, y) は画像上での検出領域の左上の点の位置を指し，Height が検出領域の高さ，W idth が検出領域の幅を表す．このとき，衣服領域は顔領域の高さ ×1.4 ピクセル分だけ下の領域とする．検出された領域の例を図 5 に示す．

2. 3. 2 衣 服 特 徴検出された衣服領域からの特徴量には以下の 4 つを用い，それぞれの特徴量で類似度を求める．

検出された衣服領域からの特徴量として色ヒストグラムを求める. この特徴量は衣服の大局的な色情報を表している．検出した衣服領域から特徴量を求めるために，RGB 表色系からHSV 表色系に変換を行う．この画像の色相，彩度，明度のそれぞれでヒストグラムを作成し，それを特徴量とする．このとき得られるヒストグラムの例を図 6 に示す．
類似度の算出には色ヒストグラム間の Bhattacharyya 距離を用いる. ヒストグラム間の Bhattacharyya 距離による類似度を算出するには，それぞれのヒストグラムでヒストグラムの合計が 1 になるように正規化を行う. m ビンからなる 2 つの正規化色特徴ヒストグラムをそれぞれ p，q とし，色ヒストグラムp，q の各ビンを pu ，qu とする. このときの 2 つの正規化色ヒストグラムの類似度 S は式 (2) より算出される.

S=mXppu qu(2)u=1

識別時には，テストデータのヒストグラムと，データベースに•色ヒストグラム特徴登録されている学習データのヒストグラムとの Bhattacharyya•

モザイク画像の色特徴

距離を式 (3) で求めることで，類似度を求める. また，HSV 表•

パワースペクトル特徴

色系では色相，彩度，明度の 3 つのヒストグラムがあるのでそ•

高次局所自己相関特徴

また，これらの特徴は表 1 のような関係にあり，このような異なる特徴を用いることで様々な種類の衣服に対応することが可

図 4 衣服特徴検出の方法

れぞれの Bhattacharyya 距離の類似度を SH ，SS ，SV とすると，全体での類似度は式 (3) より求められる.

Shist =

p2+ SS2 + SV2
SH(3)

図 6 HSV 表色系のヒストグラム例—3—

図 7 モザイク画像の例

図 9 パワースペクトル画像の例

元離散フーリエ変換で得られる図 9 のようなパワースペクトル画像をモノクロの画像とみなして，このパワースペクトル画像の画素値を特徴量として用いる.
類似度算出には，2.2.2 節で顔特徴の類似度を算出する際に用いた CLAFIC 法を適用する. よって，衣服特徴の学習時は2.2.2 節と同様に，部分空間として，学習データの特徴ベクトルから主成分分析により固有ベクトルを求め，データベースに登録しておく. 識別時には，テストデータの特徴ベクトルとデータベースに登録されている部分空間から，類似度 Sf ourier を求

図 8 セルごとの色差の求め方

める.

2. 3. 6 高次局所自己相関特徴

2. 3. 4 モザイク画像の色特徴検出された衣服領域からの特徴量としてモザイク画像の色特徴を求める. この特徴量は衣服の局所的な色情報を表している．
本手法でモザイク画像を使用するのは，画素値を直接使用するよりも衣服の細かな皺やズレなどの影響を抑えることができると考えたためである. 検出した衣服領域から特徴量を求めるた
めに，RGB 表色系から L*a*b*表色系に変換を行う．この画像を図 7 のようにモザイク化し，得られたセル毎の色値を特徴量とする．
類似度の算出には図 8 のようにテストデータと学習データのセルごとの色差を求め，その色差を全てのセルで合計する. 色差の計算には式 (4) を用い，類似度は式 (5) で求められる. こ検出された衣服領域からの特徴量として高次局所自己相関特徴 [9] を求める. この特徴量は衣服の局所的な模様情報を表している．高次局所自己相関特徴とは，顔や文字，テクスチャの識別などに利用されてきた凡用的な特徴で，加法性をはじめ，平行移動に不変など様々な優れた特性を持ち，利用価値の高い特徴量である. また，特徴抽出の計算量が少なく，得られる特徴量もきわめてコンパクトなため，リアルタイム処理に向いている. 高次局所自己相関特徴は，着目点 r での対象画像の画素値を f (r) とすると，着目点の周り N 個の変位 (a1 , a2 , … , aN )に対して式 (6) で求められる.

ZNx (a1 , … , aN ) =f (r)f (r + a1 )… f (r + aN )dr(6)のとき，∆L∗ は L∗ 軸の差，∆a∗ は a∗ 軸の差，∆b∗ は b∗ 軸
そして，次数 N を高々2 までとし，変位方向を着目点の周りの差，C はセルの総数を表している.

pD=∆L ∗2 +∆a ∗2 +∆b∗2

Smosaic =CX(4)3 × 3 領域に限定すると，変位方向の組み合わせは図 10 の 25通りのマスクパターンで表される. 本手法では，この 25 通りのマスクパターンによって得られる高次局所自己相関特徴を用Di

(5)

i=0

2. 3. 5 パワースペクトル特徴検出された衣服領域からの特徴量としてパワースペクトル特徴を求める. この特徴量は衣服の大局的な模様情報を表している．パワースペクトル画像とは，2 次元離散フーリエ変換による周波数分解のうち，その強度を示すパワースペクトルを 2 次元の周波数パラメータに分布させた 3 次元情報として表現し，元画像の周波数特性の全貌を把握できるように，これらの 3 次元情報を 1 枚の画像として示したものである．この 2 次元離散フーリエ変換はテクスチャ解析などに用いられているため，衣服の模様の特徴を取得できると考えている. 本手法では，2 次

図 10 高次局所自己相関特徴のマスクパターン—4—いる. 簡単な特徴量取得の流れを説明すると，まず，取得したた．各被験者の顔特徴はこの画像を用い，2.2 節で述べた方法

衣服領域の一つの画素を着目点とし，マスクパターンを適用すで特徴量を抽出してテンプレートとしてデータベースに登録しる. これを衣服領域全ての画素に対して行い，着目点を移動すた．1 人分の衣服学習データは 1 着につき 15 枚で，一人の衣るたびに得られる値を加算していくことで得られる，25 通りの服は 6 着あるので 90 枚ずつ，被験者 6 名に対して計 540 枚用マスクパターンそれぞれの値を特徴量として用いる.

意した．このときの衣服は図 11 のように異なる衣服を着ても類似度算出にはマハラノビス距離を用いる. マハラノビス距らっている．各被験者の衣服特徴はこの画像を用い，2.3 節で離はクラスの分布の状態を反映させた距離である．テストデー

述べた方法で特徴量を抽出してテンプレートとしてデータベータの高次局所自己相関特徴とデータベースの学習データとのマスに登録した．

ハラノビス距離を求めることで類似度 Smask を求める.

テストデータは，顔の一部が隠れた場合での識別を行うため，

2. 3. 7 衣服特徴類似度の統合

通常の状態の他に，サングラスをした状態，マスクをした状態

それぞれで得られた 4 つの特徴を衣服特徴の類似度として統の 3 つの場合の画像を用いた．それぞれの場合での 1 人分のテ合する．統合は式 (7) により行われる．

Sc = Shist + Smosaic + Sf ourier + Smask

ストデータは，1 人の人物が正面を向いて写った画像を 1 枚の(7)このとき，Shist は色ヒストグラム特徴による類似度，Smosaic

衣服で 10 枚，それを 2 種類の衣服で計 20 枚撮影した. このときの 2 種類の衣服は学習データに登録された衣服を着てもらった．その画像の一例を図 12 に示す．これが被験者 6 名に対しはモザイク画像の色特徴による類似度，Sf ourier はパワースペて計 120 枚あるので，全ての場合で 360 枚の画像を用意した．

クトル画像特徴による類似度，Smask は高次局所自己相関特徴

このテストデータを用いて，人物識別を行う．

による類似度を表している．また，それぞれの類似度はスケー

また，この実験の評価基準には，本人認識率を採用した．本
人認識率とは，入力された画像に対して正しく人物を判断できルが異なるため，スケーリングを行う．

る割合を表しており，式 (9) で求めることができる．

2. 4 統 合 部
2.2 節の顔特徴類似度算出部で求められる正面顔，右目，左目，鼻，口の類似度と 2.3 節の衣服特徴類似度算出部で求められる色ヒストグラム特徴，モザイク画像の色特徴，パワースペ

本人認識率 =

正しく本人と識別された画像数
全テスト画像数(9)

クトル特徴，高次局所自己相関特徴の類似度ではそれぞれ類似度のスケールが異なる．そのため，統合の際にスケールが一定になるようにスケーリングを行う．
また，顔の隠れがない場合には，顔特徴のみでも高い精度を得ることができると実験的にわかっているため，統合の際，式(8) のように重み付けを行う．
Sa = α× Sf + Sc

(8)

このとき，Sf は顔特徴類似度算出部で求められる類似度，Scは衣服特徴類似度算出部で求められる類似度，Sa は二つの類似度を統合した人物識別に用いる類似度を表しており，顔の隠れがない場合は Sf を重み α により 1.5 倍する．

3. 実

験

図 11 学習データ例

3. 1 実 験 環 境
画像を撮影する USB カメラは Logicool Qcam Pro 9000 を用い，ディスプレイの上部に設置した．撮影は室内で白色蛍光灯の下行った．また，入力画像のサイズは 320 × 240 である．

PC のスペックについては，CPU が Intel Core2 Duo 3GHz，メモリが 3GB である．

3. 2 衣服特徴統合の検証実験
顔の一部に隠れを持つ場合の人物識別において，顔特徴と衣服特徴を統合することの有効性と確認するため，実験データとして被験者 6 名から異なる日時において画像を取得した.
学習データには，1 人の人物が正面を向いている画像を用いた. その画像の一例を図 11 に示す．1 人分の顔学習データは 1人の人物につき 40 枚で，被験者 6 名に対して計 240 枚用意し図 12 テストデータ例—5—

3. 3 実験結果と考察
顔特徴と衣服特徴を統合した実験結果を表 2 に示す．ここで表 2 において，「ノーマル」は顔に隠れがない状態，「サングラス」はサングラスによって両目が隠れた状態，「マスク」はマスクによって鼻と口が隠れた状態を表す．また，統合方法は以下のような状態を表す．

• FaceOnly：顔特徴のみ
図 13 モザイク特徴で誤識別した例• +Histogram：顔特徴と色ヒストグラム特徴• +Mosaic：顔特徴とモザイク画像の色特徴• +Fourier：顔特徴とパワースペクトル特徴

テキスト情報の結果を統合することで人物識別を行う手法を提• +Mask：顔特徴と高次局所自己相関特徴

案し，コンテキスト情報として衣服特徴を用いた．実験では，• +Color：顔特徴と衣服の色情報に関する特徴

実際にサングラスやマスクを付け，顔の一部を隠した画像に対して本手法を用いることで識別精度を確認した．その結果，衣(+Histgram，+Mosaic)• +Pattern：顔特徴と衣服の模様情報に関する特徴

服特徴を統合することの有用性が確認できた．特に顔特徴と衣服の 4 つの特徴を全て統合して用いた場合が，顔の隠れに対し(+Fourier，+Mask)て最も有効であるとわかった．今後の課題としては，より頑健• All：全ての特徴
表 2 より，顔特徴のみで識別を行った場合よりも衣服特徴を統合した場合のほうが精度が良くなっている．このことから，顔特徴と衣服特徴を統合することは有効であるといえる．さらに「All」の場合に最も精度が良いことから，衣服特徴に色ヒストなシステムを目指して，衣服領域検出の改良や，統合手法の改善，他のコンテキスト情報の追加が必要である．また，様々な環境下を想定した実験を行い，より実用的なシステムの構築が必要である．

グラム特徴，モザイク画像の色特徴，パワースペクトル特徴，謝

高次局所自己相関特徴という，色に関する情報と模様に関する

本研究は，次世代ロボット知能化技術開発プロジェクト（独情報の大局的な特徴と局所的な特徴を網羅するように用いたこ立行政法人新エネルギー・産業技術総合開発機構）における「施とで様々な衣服に対応できたのだと考えられる．

設内生活支援ロボット知能の研究開発」の成果の一部である．

それぞれの単体の衣服特徴を顔特徴と統合させた場合を見ると，他の場合に比べ，モザイク画像の色特徴を統合させた場合が少し精度が低くなっている．これは図 13 のような細かいチェックやストライプの模様がモザイク化によって潰れてしまい，単一色の服と誤認識していることが多かったからである．
この問題を解決するためには，モザイクサイズを小さくすればよいが，モザイクサイズを小さくしすぎればモザイクの利点である服の皺やズレの影響を受けやすくなってしまう．そのため，より多くの衣服で実験を行い，最適なモザイクサイズを選択する必要がある．

4. お わ り に本研究ではサングラスやマスク等により，顔に一部分の隠れが生じても高い精度で人物識別が行えるように，顔特徴とコン
表 2 顔特徴と衣服特徴を統合した実験結果
統合方法

ノーマル サングラス マスク

FaceOnly

0.950

0.667

0.717+Histogram

0.975

0.800

0.875+Mosaic

0.958

0.733

0.867+Fourier

0.975

0.817

0.883+Mask

0.975

0.800

0.825
0.891+Color

0.983

0.825+Pattern

0.983

0.817

0.875

All

1.000

0.9000.950

辞文献[1] 岩井 儀雄, Lao Shihong, 山口 修, 平山 高嗣, “画像処理による顔検出と顔認識” 情報処理学会研究報告, CVIM, pp.343–368,
2005.
[2] T. Kanade, “Picture processing by computer complex andrecognition of human face”, Technical report, Kyoto University, Dept. of Information Science, 1973.
[3] M. Turk, A. P. Pentland, “Eigenfaces for recognition”, Journal of Cognitive Neuroscience, Vol.3, No.1, pp.71–86, 1991.
[4] S. Watanabe, N. Pakvasa, Subspace method in patternrecognition, Proc. 1st Int. J. Conf on Pattern Recognition,
pp.2–32, 1973.
[5] A. C. Gallagher, T. Chen, “Using Context to Recognize People in Consumer Images”, IPSJ Transactions on Computer
Vision and Applications, Vol.1, pp.115–126, 2009.
[6] P. Viola, M. Jones, “Robust Real-time Object Detection”,
Second International Workshop on Statistical and Computational Theories of Vision-Modeling, Learning, Computing,and Sampling, pp.1–25, 2001.
[7] R. Lienhart, A. Kuranov, V. Pisarevsky, “Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid
Object Detection”, MRL Technical Report, 2002.
[8] 元吉 大介, 嶋田 和孝, 榎田 修一, 江島 俊朗, 遠藤 勉, “ロボットとの対話のための発話推定に関する事例研究”, 画像の認識・理解シンポジウム (MIRU2008), 2008.
[9] 大津 展之, “パターン認識における特徴抽出に関する数理的研究”, 電子技術総合研究所研究報告, Vol.818, 1981.

—6—