論 文
多重制約相互部分空間法を用いた顔画像認識
西山 正志† a)

山口

修†

福井

和広††

Face Recognition using the Multiple Constrained Mutual Subspace Method
Masashi NISHIYAMA†a) , Osamu YAMAGUCHI† , and Kazuhiro FUKUI††

あらまし 様々なパターン変動が生じる環境でも顔画像による個人認証を精度よく行うために制約相互部分空間法が提案されている．制約相互部分空間法では，識別に有効な特徴抽出を行うために制約部分空間と呼ばれる特徴空間へ射影を行う．高い識別性能を得るためには制約部分空間をいかに学習するかが重要であり，人物の違いや照明条件の違いによる変動を表す大量のパターンが必要となる．しかし，大量のパターンを収集することは実用上困難である．この問題に対応するために，学習パターンが少数でも高い識別性能を得ることができるアン
サンブル学習に着目する．本論文では，制約部分空間の生成に対してアンサンブル学習を適用し，複数の制約部
分空間を用いることで特徴抽出を多重化した手法を提案する．この手法を多重制約相互部分空間法と名付け，従来の認識手法と比べて識別性能が向上することを実験により確認した．
キーワード

顔画像認識，個人認証，多重制約相互部分空間法，特徴抽出，アンサンブル学習

1. ま え が き

空間法 [11] を拡張した相互部分空間法 [12] により部
分空間同士のなす角度として求める．識別に有効な特顔画像を用いた個人認証は，生体情報をシステム

徴を抽出するために，相互部分空間法の前処理としに非接触で入力できるため，ユーザの利便性が高く，て，入力部分空間と参照部分空間を制約部分空間と呼ユーザの心理的な負担が少ない [1]．顔画像により個ばれる特徴空間へ射影する (図 1)．制約部分空間へ射人認証を行う際に，同一人物内における顔の見え方の影することで，識別に有効と考えられる人物間の差異

変化 (パターン変動) は誤認識を引き起こす大きな要が強調される．特徴空間への射影による特徴抽出の手因となる．同一人物内のパターン変動は，照明条件，

法は他にも，主成分分析で求めた固有空間を用いる

顔向き，表情，眼鏡などの装飾品，髪型などに依存しEigenfaces [7]，固有空間とそれに直交する補空間を同極めて多様である．このような変動が生じる環境の中時に用いる手法 [8]，線形判別分析で求めた判別空間をで精度よく個人認証を行うために，我々は制約相互部

用いる Fisherfaces [9]，同一人物内の変動を抑えるこ

分空間法 [2]〜[4] を提案している．この手法を用いるとを目的とした摂動特徴空間を用いる手法 [10] などがことで実環境でも頑健な個人認証システムを実現す提案されており，個人認証の精度向上に有効であるこることができる [5], [6]．制約相互部分空間法では，人とが確認されている．

物毎に参照部分空間を登録しておき，識別対象から獲制約相互部分空間法において，様々な実環境で不特得した複数枚のパターンから生成した入力部分空間

定多数の人物を精度良く識別するためには，制約部分と参照部分空間の類似度を比較する．類似度は，部分空間の生成に用いる学習パターンに実環境で生じる可†††能性のある全ての変動を含める必要がある．ところが(株) 東芝 研究開発センター, 川崎市
Corporate Research and Development Center, TOSHIBA

変動は極めて多様であり全ての変動を獲得するために

Corporation, 1, Komukai-toshiba-cho, Saiwai-ku, Kawasaki,は，膨大な人数を対象として照明条件などを多様に変

212-8582, JAPAN化させて撮影しなければならない．しかし，このよう

筑波大学大学院システム情報工学研究科, つくば市
Graduate School of Systems and Information Engineering,

な大量の学習パターンを収集し制約部分空間を学習す

Department of Computer Science, University of Tsukuba,

ることは実用上困難である．

1-1-1, Tennodai, Tsukuba-shi, 305-8573, JAPANa) E-mail: masashi.nishiyama@toshiba.co.jp

この問題に対応するために，複数の識別器を組み合電子情報通信学会論文誌 D–II Vol. J88–D–II No. 8 pp. 1339–1348 2005 年 8 月

1339

電子情報通信学会論文誌 2005/8 Vol. J88–D–II No. 8
Reference subspace Q

Input subspace P

P

P
Q

P c1

Projection

Q c1

c1

Constraint subspace C

Projected input subspace P c

P cM

...

Q cM

cM

Constraint subspace C1

cQ

Constraint subspace CM

Combine Ci
Projected reference subspace Q c

図 1 制約相互部分空間法の概念図
Fig. 1 Concept of the Constrained Mutual Subspace
Method.

P :Input subspace
P ci :Projected input subspace
Q :Reference subspace Q ci :Projected reference subspace
Fig. 2図 2 多重制約相互部分空間法の概念図
Concept of the Multiple Constrained Mutual
Subspace Method.

わせることで少数の学習パターンでも識別精度が向上するアンサンブル学習 [13]〜[17] に着目する．本論
文では，制約部分空間の生成に対してアンサンブル学

Patterns of person 1(1) face direction(2) illumination(3) etc...

Patterns of person L(1) face direction(2) illumination(3) etc...

Principal component analysis

Principal component analysis

Subspace of person 1

Subspace of person L

習を適用し，複数の制約部分空間を用いて特徴抽出を多重化する手法を提案する．本論文で提案する手法を多重制約相互部分空間法 (Multiple Constrained

Mutual Subspace Method : MCMSM) と名付ける．
多重制約相互部分空間法では，図 2 のように，入力部分空間と参照部分空間を複数の制約部分空間へ射
影し，それぞれの制約部分空間上において入力部分
空間と参照部分空間のなす角度を類似度として求め

Fig. 3図 3 学習用部分空間の生成
Generation of training subspaces.

る．制約部分空間の個数だけ得られた類似度を結合することで最終的に類似度を決定する．複数の制約部
分空間の生成に対してアンサンブル学習を適用する
ために，Bagging [14] に代表される並列的な学習と，

AdaBoost [15] に代表される逐次的な学習の考え方を利用する．提案手法により，従来の制約相互部分空間法に比べて高い識別精度が実現できる．
以下，2. で従来の制約部分空間の学習方法について述べ，3. で複数の制約部分空間の生成に対してアンサンブル学習を適用する方法について述べる．次に，4.
で識別時における多重制約相互部分空間法の適用方法について述べる．最後に，5. で照明変動が生じる環境で撮影されたデータベースと大規模人数が登録されたデータベースを用いた識別実験で提案手法の有効性を確認する．

2. 従来の制約部分空間の学習方法
提案手法の前提となる制約相互部分空間法における制約部分空間の学習アルゴリズムについて述べる．まず，同一人物内のパターン変動を学習するために，照明条件や顔向きなどを変化させ撮影したパターンを複
1340

数人 (L 人) について用意し，人物毎に主成分分析を適用する (図 3)．以下では，それぞれの人物について生成した部分空間を学習用部分空間と呼ぶ．学習用部分
空間の固有値が大きいほうの基底ベクトルは，同一人物内の主要なパターン変動を表していると考えられる．
次に，制約部分空間へ学習用部分空間を射影することで学習用部分空間同士のなす角度が大きくなるように，制約部分空間の基底ベクトルを求める．これにより，人物間の差異が強調され識別に有効な特徴抽出を行うことができる．制約部分空間の生成方法の一つとして，L 個の学習用部分空間が形成する和空間から一
般化差分部分空間を求める手法が提案されている [4]．
一般化差分部分空間の生成による制約部分空間の学習の流れを図 4 に示す．一般化差分部分空間は，それぞれの人物についての学習用部分空間の射影行列を

Pj (j = 1 . . . L) とし，人物毎の学習用部分空間の基
底ベクトルを ψjk (k = 1 . . . NB ) とすると，式 (1) の固有値問題より得ることができる．

(P1 + P2 + . . . + PL )a = λa(1)

論文／多重制約相互部分空間法を用いた顔画像認識

Learning of constraint subspace
Subspace of person 1

Subspace of person 1

Subspace of person L

Subspace of person L

Sampling of L’ training subspaces
Solve eigenvalue problem

Learning of constraint subspace Ci

Selection of eigen vectors

Fig. 5Small

図 5 並列的な学習の手続き
Procedure of parallel learning.

Large(i) L 個の学習用部分空間から重複しないようラConstraint subspace C

ンダムに L0 個の学習用部分空間を選択する．

図 4 制約部分空間の学習の手続き
Procedure of learning a constraint subspace.

Fig. 4(ii) L0 個の学習用部分空間の基底ベクトルを用いて 2. の手続きで 1 個の制約部分空間を生成する．

(iii) M 個の制約部分空間が生成されるまで (i) に
Pj =

NB
∑

T
ψjk ψjk

(2)

k=1

戻る．
図 5 に制約部分空間の並列的な学習の流れを示す．なお，L0 は実験的に定める．

固有値が小さい方から選んだ NC 本の基底ベクトル

3. 2 逐次的な学習で張られる空間が一般化差分部分空間となる．なお，

3. 2. 1 学習に用いる重みの決め方

NB , NC は実験的に定める．得られた一般化差分部分

並列的な学習のように学習パターンを部分的に利用

空間を制約部分空間として用いる．

3. 複数の制約部分空間の生成に対するア
ンサンブル学習するのではなく，学習パターン全てを利用する逐次的な学習について述べる．逐次的に複数の制約部分空間を生成するために，AdaBoost [15] の考え方を用いる．

AdaBoost は，Bagging と同様に複数の識別器から得2. で述べた制約部分空間の学習方法に基づいて複数られた結果を結合し認識を行う．それぞれの識別器は，の制約部分空間を学習する方法を提案する．以下では，Bagging のようにランダムに選択された少数の学習パ

並列的な学習と逐次的な学習の二つの方法について説

ターンを用いるのではなく，重み付けされた全ての学

明する．

習パターンを用いて生成される．重みは 1 個の識別器

3. 1 並列的な学習が生成される毎に更新され，新たな識別器で誤識別さ複数の制約部分空間を生成するために，アンサンブ

れた学習パターンに対して大きな重みを与える．

ル学習の一つの手法である Bagging [14] の考え方を逐次的に制約部分空間を学習する場合，何に対して用いる．Bagging は，複数の識別器を用意し，それぞどのように重みを与えるかを考える必要がある．ここ

れの識別器から得られた結果を結合することで認識

で，制約部分空間上での学習用部分空間同士の類似度を行う．それぞれの識別器は，全ての学習パターンかを考える．図 6(a) のように，制約部分空間 Ci へ射影

らランダムにサンプリングされた少数の学習パター

された学習用部分空間 P1Ci と P3Ci のなす角度が小ンを用いて生成される．学習パターンの選択にランダ

さい場合，これらは類似しており識別誤りが発生する

ム性があるため，異なる複数の識別器が生成される．

可能性が増える．そこで，Ci 上でなす角度の小さかっ

Bagging の考え方を適用するには何をランダムにサンた学習用部分空間に対して大きな重みを与え次の制約

プリングするかを決める必要がある．ここでは，L 個部分空間 Ci+1 を生成することで，図 6(b) のように，0の学習用部分空間から L (< L) 個の学習用部分空間

学習用部分空間 P1Ci+1 と P3Ci+1 のなす角度を大きをランダムにサンプリングし，複数の制約部分空間をくすることを狙う．これにより，制約部分空間 Ci で生成する．以下に，M 個の制約部分空間を生成する

識別誤りが発生しやすかった部分空間に対しては，制手続きを示す．

約部分空間 Ci+1 を用いることで識別精度の向上が期
1341

電子情報通信学会論文誌 2005/8 Vol. J88–D–II No. 8
Subspace P2

Subspace P2

Subspace P3

Subspace P1

Subspace of person 1

Subspace P3

Subspace P1

Projection

P3ci

P1ci

Subspace of person L

Projection

Reweighting training subspaces
Learning of constraint subspace Ci

P3ci+1P1ci+1

Calculation of weight Wi(j)P2ci

P2ci+1

Constraint subspace Ci

Constraint subspace Ci+1

(a)

(b)

Fig. 6図 6 逐次的な学習の概念図
Concept of sequential learning.

Fig. 7図 7 逐次的な学習の手続き
Procedure of sequential learning.

い学習部分空間のみから制約部分空間を生成することができる．

4. 多重制約相互部分空間法による識別方法

待できる．

3. 2. 2 逐次的な学習のアルゴリズム
制約部分空間 Ci を学習する時に，L 個の学習用部

多重制約相互部分空間法による顔画像認識の流れを分空間 Pj (j = 1 . . . L) に対して与える重みを Wi (j)

図 8 に示す．まず，入力された画像から瞳と鼻孔の位とすると，以下の手続きで M 個の制約部分空間が生置を基準として顔領域のパターンを切り出し，パター成できる．

ンをラスタースキャンすることで入力ベクトルに変換

4. 1 顔画像認識の流れ(i) 重み W1 (j) に初期値を与える．

する．時系列に獲得された複数の入力ベクトルから，(ii) 学習用部分空間の射影行列 Pj (j = 1 . . . L)

主成分分析により入力部分空間を生成する．主成分分に対して重み Wi (j) を与え，式 (3) の固有値問題を解

析を適用する際は自己相関行列 [18] を用いる．次に，くことで制約部分空間 Ci を生成する．

入力部分空間と予め登録されている参照部分空間を複(Wi (1)P1 + . . . + Wi (L)PL )a = λa(3)(iii) 制 約 部 分 空 間 Ci を 用 い て あ ら た な 重 み
Wi+1 (j) を決定する．

数の制約部分空間に射影し，それぞれの制約部分空間
上で類似度を算出する．得られた複数の類似度を結合
し入力部分空間と参照部分空間の類似度を決定する．
この類似度が最大になる参照部分空間に対応する人物(iv) M 個の制約部分空間が生成されるまで (ii) かを入力された人物と判定する．また，類似度がしきい

ら (iii) を繰り返す．

値を下まわる場合は，本人と判定せず棄却する．4. 2

図 7 に制約部分空間の逐次的な学習の流れを示す．各節より，それぞれの処理について詳細を述べる．

ステップの重み Wi+1 (j) は，以下の式で求めることとする．

特徴抽出のために，入力部分空間 P と参照部分空

Sj0
L
S0
j=1 j

Wi+1 (j) = ∑Sj0 =4. 2 制約部分空間への射影

L∑

cos2 θCijj 0

間 Q を M 個の制約部分空間 Ci (i = 1, . . . , M ) に射(4)影する方法について述べる．

(i) 入力部分空間を張る N 本の基底ベクトルを
制約部分空間上へ射影し射影ベクトルを求める．

(5)

j 0 =1,j 0 =j|(ii) 各射影ベクトルの長さを正規化する．
(iii) N 本 の 正 規 化 ベ ク ト ル に 対 し て Gram-

ここで，θCijj 0 は，学習用部分空間 Pj ,Pj 0 を制約部

Schmidt の直交化を施す．

分空間 Ci へ射影した後のなす角度を表す．部分空間

直交化された N 本の正規化ベクトルが射影された入がなす角度は後述 (4. 3 節) する相互部分空間法で求ま力部分空間の基底ベクトルとなる．この手続きを用意る．また，式 (5) にしきい値 T 以上の cos2 θCijj 0 か

した制約部分空間の個数 M だけ繰りかえす．参照部

ら総和をとるという条件を設けることで，類似性の高分空間も同様の手続きで制約部分空間へ射影すること

1342

論文／多重制約相互部分空間法を用いた顔画像認識

Detection of face region

Table 1

識別率の評価用画像の撮影人数
25 人
制約部分空間の学習用画像の撮影人数
25 人
照明条件 (1 人につき)10 条件
各照明条件での試行数 (1 人につき)7回
1 試行に用いる入力パターン枚数
10 枚
各照明条件での参照パターン枚数
70 枚

Principal component analysis

Input subspace P

表1 実験条件
Conditions of experiments.

Reference subspace Q(上から見た配置)

Calculation of similarity...

Projection to
constraint subspace CM

470mm

...

400mm

800mm

Projection to
constraint subspace C1

C,E

G

B

A

B

A on
B
on
C
on
on
D
on on
E
on
on
F
on on
G
on
on:点灯
空白：消灯

Fig. 9カメラ
1700mm
1800mm
2100mm
2300mm

CombineF

1200mmSimilarity SCM

E

照明条件
I1 I2 I3 I4 I5 I6 I7 I8 I9 I10Calculation of similarity
光源番号

...

D,F

カメラ

A

Similarity SC1(正面から見た配置)
C
D
G

壁面

床
13800mm
600mm

図 9 光源とカメラの配置
Setting of lights and camera.

Similarity ST

4. 4 類似度の結合

Comparison of similarities

複数の制約部分空間上で得られた類似度を結合する
図 8

多重制約相互部分空間法を用いた顔画像認識の手
続き
Fig. 8 Procedure of face recognition using MCMSM.

ために，ここでは平均値を用いる．多重制約相互部分
空間法の類似度 ST は式 (10) で決定される．

1 ∑
ST =
SCi
M
M

ができる．

4. 3 部分空間同士の類似度算出
制約部分空間 Ci に射影された入力部分空間を PCiとし, 参照部分空間を QCi とする．PCi と QCi 間の
類似度 SCi は，相互部分空間法 [12] により得られる正準角と呼ばれる二つの部分空間がなす角度 θCi により
2

SCi = cos θCi(6)

部分空間同士が完全に一致していれば θCi = 0 であ
2る．cos θCi は，以下の行列 X の最大固有値となる．

Xa = λa(7)

X = (xmn )∑(m, n = 1 . . . N )(8)

制約部分空間 Ci 上での入力部分空間 PCi と参照部分
空間 QCi の類似度を表す．

験

5. 1 照明変動に対する識別性能
5. 1. 1 実験の仕様
照明変動に対する識別性能を評価するために，登録時と試行時の照明条件を変えて撮影した顔画像による識別実験を行った．実験の条件を表 1 に示す．屋内に7 個の光源 (ハロゲンランプ) を図 9 のように配置し，光源の点灯と消灯を組み合わせることで 10 種類の照

N

xmn =

ここで，M は射影する制約部分空間の個数，SCi は

5. 実

式 (6) で決定される．

(10)

i=1

(ψm , φl )(φl , ψn )

(9)

l=1

明条件 I1 から I10 を設定した．天井の蛍光灯は点灯したままで撮影した．図 10 に，それぞれの照明条件で

ここで，ψm , φl は部分空間 PCi ,QCi の m, l 番目の基取得された画像を示す．各照明条件で，1 人につき 1

底ベクトル，(ψm , φl ) は ψm と φl の内積，N は部分

個の動画像を秒間 5 フレームで撮影した．動画像は 28

空間の基底ベクトルの本数を表す．

秒の間に撮影した 140 枚の画像からなる．被写体の顔
1343

電子情報通信学会論文誌 2005/8 Vol. J88–D–II No. 8

Images

I1

I2

I3

I4

I5

Time
Input patterns

I6

I7

I8

I9

I10

図 10 各照明条件における撮影画像の例
Fig. 10 Examples of captured image in each lighting
condition.

図 12 入力部分空間を生成するためのパターンの例
Fig. 12 Examples of patterns for generating input
subspace.

I1

I2

I3

I4

I5

cumulative
contribution ratio (%)

100
95
90
85
80
75
70
1

I6

Fig. 11

I7

I8

I9

I10

図 11 各照明条件におけるパターンの例
Examples of pattern in each lighting condition.

2

3
4
5
6
7
8
number of basis vectors

910

図 13 入力部分空間の基底ベクトルに対する累積寄与率
Fig. 13 Cumulative contribution ratio of basis vectors of input subspace.

向きと立ち位置は，瞳と鼻孔の左右両方がカメラで観間による入力を 1 回の試行とする．参照部分空間は照測できる範囲で自由に変化させた．撮影人数は 50 人

明条件毎に 70 枚の参照パターンから生成した．各照とした．顔のパターンは瞳と鼻孔の位置を基準として

明条件で 1 人につき 7 個の入力部分空間を生成し，25

30 × 30 pixels の大きさで各画像から抽出した．各照人で合計 17500 回の試行を行った．図 12 に，照明条

明条件におけるパターンの例を図 11 に示す．パター

件 I10 の入力部分空間を生成するための入力パターンンに対してヒストグラム平坦化を施し，15 × 15pixelsと，そのパターンが抽出された画像の一部を示す．顔にダウンサンプリングし，縦方向の微分オペレータを

向きを変化させながら撮影したため，鼻の見え方が変適用した後，15 × (15 − 1) = 210 次元のベクトルに化するなどのパターン変動が生じる．被写体の動きが変換しベクトル長の正規化を施した．

ほとんどなく同じパターンが入力された場合，少ない

識別実験に用いる入力パターンと参照パターンに含基底ベクトルの本数で累積寄与率は高くなるが，本実まれる人物が，制約部分空間の学習パターンに含まれ験で用いた入力部分空間では 8 本で 99% を超えた．図る人物と異なるように，50 人のパターンを 25 人と 25

13 に累積寄与率の変化を調べた結果を示す．図中の値

人の二つに分けた．これは，識別対象となる人物のパは 25 人の入力部分空間からそれぞれ算出した累積寄

ターン変動 (ここでは主に照明変動) を事前に獲得でき与率の平均値を表す．この結果より，顔向きなどを動ない状況を想定し，識別対象ではない別人物のパターかすことで，短時間で撮影した 10 枚の入力パターン

ン変動から識別に有効な制約部分空間を学習できるかに拡がりをもった分布を提供できることを確認した．

を評価することを目的とした．各照明条件の動画像か

制約部分空間の学習パターンは各照明条件で 1 人にら抽出された 140 枚のパターンのうち，前半の 70 枚

つき 140 枚とした．学習用部分空間は，照明条件によを参照パターンに，後半の 70 枚を入力パターンとしるパターン変動を十分に学習できるように，全照明条

た．入力部分空間を生成するためには複数のパターン

件の学習パターンを用いて 25 個生成した．

が必要であるため，10 枚の入力パターンで 1 個の入5. 1. 2 従来手法との比較

力部分空間を生成した．以下では，1 個の入力部分空提案手法の有効性を確認するために，識別性能につ1344

論文／多重制約相互部分空間法を用いた顔画像認識

Table 2

(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)

表 2 照明変動に対する実験結果
Experimental results in varying lighting condition.

手法
最近傍決定則
部分空間法
相互部分空間法
カーネル非線形部分空間法
核非線形相互部分空間法
制約相互部分空間法
多重制約相互部分空間法 (並列)多重制約相互部分空間法 (逐次)

ER(%)
4.6
4.6
4.6
3.2
3.8
4.6
1.8
1.4

EER(%)
23.9
12.9
9.8
10.2
8.9
5.0
4.0
3.9

ベクトルの本数 N はともに 7 とした．

(d) カーネル非線形部分空間法
特徴空間上で非線形に分布するパターンを取り扱う
ために，カーネル関数を介して特徴空間を無限次元の空間に拡張した手法 [19] である．カーネル関数はk(x, y) = exp(−||x − y||2 /2ρ2 ) を用いた．x は入力
ベクトル，y は参照ベクトルを表す．ρ = 0.4 とし，参照部分空間の基底ベクトルの本数は 40 とした．他
手法と条件を揃えるため 1 回の試行で 10 枚の入力パターンを用いた．それぞれの入力パターン毎に類似度を算出し，10 枚の平均値を 1 回の試行における類似

100

度とした．

100 - FRR (%)95(e) 核非線形相互部分空間法

90

相互部分空間法をカーネル関数を用いて非線形に拡85張した手法 [20] である．(d) と同じカーネル関数を用
い ρ = 0.4 とした．入力部分空間と参照部分空間の基

80

70
65
60

底ベクトルの本数はともに 7 とした．

(a)
(b)
(c)
(d)
(e)
(f)
(g)
(h)

75

0

5

10

15

20
25
FAR (%)

30(f ) 制約相互部分空間法
単一の制約部分空間で特徴抽出を行い相互部分空間
法により類似度を算出した．入力部分空間と参照部分空間の基底ベクトルの本数 N はともに 7 とした．制3540

図 14 ROC 曲線
Fig. 14 ROC curves.

約部分空間は，L = 25 人分全ての学習用部分空間から生成し，その基底ベクトルの本数 NC は 170 とした．学習用部分空間の基底ベクトルの本数 NB は 30とした．

(g) 多重制約相互部分空間法 (並列的な学習)
いて従来手法と比較実験を行った．それぞれの手法の制約部分空間を並列的に学習し多重制約相互部分

パラメータは以下のように設定した．

空間法により類似度を算出した．L = 25 人分の学(a) 最近傍決定則

習用部分空間からランダムに L0 = 8 個を選択し，合参照パターンを全て記憶しておき，入力パターンと

計 M = 10 個の制約部分空間を生成した．この学習最も類似する参照パターンとの距離を類似度とした．

方法では L0 個の学習用部分空間の選択にランダム性

他手法と条件を揃えるため 1 回の試行で 10 枚の入力があるために， 一連の手続きを 10 回行い，そのつパターンを用い，10 枚の中で最小となる距離を 1 回

どに後述する ER と EER を算出し平均値を求めた．

の試行における類似度とした．

N, NB , NC は (f) と同じ値を用いた．

(b) 部分空間法(h) 多重制約相互部分空間法 (逐次的な学習)

入力パターンと参照部分空間がなす角度を類似度と制約部分空間を逐次的に学習し多重制約相互部分空した．参照部分空間の基底ベクトルの本数は 40 とし間法により類似度を算出した．L = 25 人分の学習用

た．他手法と条件を揃えるため 1 回の試行で 10 枚の部分空間に対して逐次的に重みを変化させながら，合入力パターンを用いた．それぞれの入力パターン毎に計 M = 10 個の制約部分空間を生成した．重みの初期類似度を算出し，10 枚の平均値を 1 回の試行におけ

値は W1 (j) = 1/25(j = 1 . . . 25) とし，式 (5) にしきる類似度とした．

い値 T 以上の類似度から総和をとる条件を加えた．し(c) 相互部分空間法
入力部分空間と参照部分空間とのなす角度 θ の cos2 θを類似度とした．入力部分空間と参照部分空間の基底

きい値は T = 3.5σi とし，σi は制約部分空間 Ci を用いての算出した学習用部分空間同士の類似度の標準偏差とした．N, NB , NC は (f) と同じ値を用いた．
1345

電子情報通信学会論文誌 2005/8 Vol. J88–D–II No. 8

識別精度の評価には以下の 2 つの基準を用いた．

4(i) エラー率 (ER:Error Rate)

3.5

多重制約相互部分空間法(並列)本人類似度よりも他人類似度の方が高くなる割合．本物が同じ場合に算出された類似度，他人類似度は異なる場合に算出された類似度である．

多重制約相互部分空間法(逐次)3Error rate(%)

人類似度は入力部分空間と参照部分空間に対応する人

2.52(ii) 等価エラー率 (EER:Equal Error Rate)
FAR(他人受理誤り率) と FRR(本人排除誤り率) が等

1.5

しい時の割合．FAR は以下の式で求まる．
他人類似度がしきい値以上の試行数
F AR =(11)
全試行数 − 本人の試行数
一方，FRR は以下の式で求まる．

F RR =

1

は，行わなかった (a) から (e) に比べて，大きく EER

8

10

12

6

多重制約相互部分空間法(並列)5.5Equal Error Rate(%)

それぞれの基準についての評価結果を表 2 に示す．制
約部分空間への射影により特徴抽出を行った (f),(g),(h)6

図 15 制約部分空間の個数を増加させた時の ER
Fig. 15 ER of increasing the number of constraint
subspaces.

顔認識システムの場合，登録されていない未知の人物
は信頼性が高いといえる．

4

Number of constraint subspaces

本人類似度がしきい値以下の試行数(12)
本人の試行数に対応する必要がある．EER が低いとそのシステム

2

多重制約相互部分空間法(逐次)
5

4.5

4

が改善されている．複数の制約部分空間により特徴抽
3.5

出を多重化した (g) と (h) は，単一の制約部分空間のみを用いた (f) と比べて，EER,ER ともに改善されている．図 14 の ROC 曲線でも識別精度が改善されていることが確認できる．これらの結果より提案手法を

2

4

6

8

10

12

Number of constraint subspaces

図 16 制約部分空間の個数を増加させた時の EER
Fig. 16 EER of increasing the number of constraint
subspaces.

適用することで，従来の認識手法に比べて識別精度が向上することが確認できた．提案手法は，非線形に拡た．表 2 の (f) と比べて識別精度は向上したが，学習張された手法 (d) と (e) に比べても性能が優れていた．

パターンに含まれない人物から学習した提案手法のこの理由として，(d) と (e) には制約部分空間のよう(g) や (h) の方が識別精度が高い．このことから提案に人物間の差異を強調する特徴抽出が導入されていな手法は，生じる可能性のある変動成分の全てが学習パ

いことや，評価に用いたパターンには非線形な手法でターンに含まれていなくとも，従来法と比べて識別に得意とする顔向き変動の影響が少なかったことが考え有効な特徴を抽出できるといえる．

られる．線形な手法の組み合わせで，計算量が爆発的

5. 1. 3 制約部分空間の個数についての評価に増加するカーネル関数を用いることなく識別性能の提案手法において制約部分空間の個数と識別性能の向上が見込めることは，実時間で計算できる点などシ関係を調べた．制約部分空間の個数 M を 2 個から 12

ステム的な観点から意味がある．

個まで増加させたときの ER の変化を図 15 に，EER

次に，制約部分空間の学習パターンに含まれる人物の変化を図 16 に示す．図中の点線は並列的な学習にと識別実験に用いるパターンに含まれる人物が同じよる評価を 10 回行いその平均値をつないだものであ場合の従来法と，含まれる人物が異なる場合の提案手

り，点線に付属する誤差棒は結果の最大値と最小値を法を比較する．含まれる人物を同じにするために制約結んだものである．並列的な学習と逐次的な学習のど

部分空間の学習パターンとして，入力パターンと参照

ちらの学習方法でも，制約部分空間の個数が増加する

パターンを用いた．この場合の制約相互部分空間法をにつれて ER と EER が改善された．制約部分空間の(f)’ とすると，ER は 4.6% で EER は 4.8% であっ個数が 8 以下の場合，逐次的な学習では EER を大き

1346

論文／多重制約相互部分空間法を用いた顔画像認識

表 3 学習パターン数を減らした時の評価結果
Table 3 Experimental results of decreasing the number of training patterns

(I)

(II)

(III)

Method
制約相互部分空間法
多重制約相互部分空間法 (並列)多重制約相互部分空間法 (逐次)制約相互部分空間法
多重制約相互部分空間法 (並列)多重制約相互部分空間法 (逐次)制約相互部分空間法
多重制約相互部分空間法 (並列)多重制約相互部分空間法 (逐次)ER (%)
5.2
3.0
3.1
3.3
1.3
1.4
5.6
2.9
2.2

EER (%)
5.5
4.6
4.9
2.8
1.8
2.0
4.5
2.9
3.3

Table 4

(i)
(ii)
(iii)

表 4 評価結果 (登録人数 500 人).
Experimental results (500 registered persons).

Method
制約相互部分空間法
多重制約相互部分空間法 (並列)多重制約相互部分空間法 (逐次)ER (%)
5.3
3.8
3.2

EER (%)
2.3
1.6
1.6

めに 500 人の参照部分空間と 1000 個の入力部分空間を用意した．それぞれの部分空間を生成する際に用いたパターンは，照明条件がほぼ均一な環境で顔向きや立ち位置を不規則に変更しながら撮影した動画像より獲得した．入力ベクトルの次元数は 210 次元とし，入く改善できたが，並列的な学習では EER にばらつき

力部分空間と参照部分空間の基底ベクトルの本数 N はが生じた．これは並列的な学習の性能が L0 の選び方

ともに 7 とした．入力部分空間は 15 枚の入力パターに依存することを示している．並列的な学習は，アルン，参照部分空間は 125 枚の参照パターンから生成しゴリズムが単純であるため実装が容易であり，逐次的た．学習用部分空間は，各人物の参照パターンを用いな学習のように重み計算が不用であるため処理性能にて L = 500 個生成し，その基底ベクトルの本数 NB

限りがある場合には有効であると考える．メモリの使は 10 とした．(i) 制約相互部分空間法，(ii) 並列的な用量や計算性能に余裕がある場合には逐次的な学習が学習を用いた多重制約相互部分空間法，(iii) 逐次的な有効であると考える．

学習を用いた多重制約相互部分空間法について比較実

5. 1. 4 学習パターン数についての評価験を行った．(i) では制約部分空間を L = 500 人分全

制約部分空間の学習パターン数と識別性能の関係をての学習用部分空間から生成し，その基底ベクトルの実験的に明らかにする．以下では 5. 1. 1 の設定から学本数 NC は 170 とした．(ii) では L0 = 30 個から生成

習パターン数を減らした場合について述べる．学習パ

した M = 10 個の制約部分空間を用いた．(iii) では

ターンに含まれる人数を半分の 12 人とした時の実験

重みの初期値を W1 (j) = 1/500 とし，式 (5) にしき

結果を表 3(I) に示す．提案手法の識別性能は，全学

い値 T = 5σi 以上の類似度から総和をとる条件を加習パターンを用いた表 2(f) と比べて ER，EER ともえて生成した M = 10 個の制約部分空間を用いた．

に改善されていた．この結果より，提案手法は学習パ

表 4 の結果より，登録人数が大規模なデータベース

ターン数が少ない場合でも，学習パターン数が多い時においても従来の制約相互部分空間法より提案手法がの制約相互部分空間法と比べて高い識別精度を得るこ優れていることが確認できた．

とができるといえる．
次に，学習パターンに含まれる照明条件を減らした

6. む す び

時の結果を表 3(II) と (III) に示す．(II) では照明条件

本論文では，複数の制約部分空間の生成に対してア

I1 から I5 を学習パターンとし，(III) では照明条件 I6

ンサンブル学習を適用し，複数の制約部分空間を用いから I10 を学習パターンとした．学習パターンには含て特徴抽出を多重化した多重制約相互部分空間法につまれない照明条件で識別性能を評価するために，(I) でいて提案した．提案手法では，入力部分空間と参照部

は照明条件 I6 から I10 で，(II) では照明条件 I1 から分空間を複数の制約部分空間へ射影することで特徴抽I5 で識別実験を行った．学習パターンに含まれない照出を行う．制約部分空間に射影された入力部分空間と明条件で評価を行っても提案手法が優れていることが参照部分空間の類似度を算出し，制約部分空間の個数確認できた．この結果より，提案手法は従来の制約相だけ求まった類似度を結合することで最終的に類似度

互部分空間法と比べて照明変動の影響を受けにくい特を決定する．複数の制約部分空間を生成するために，

徴抽出を行うことができるといえる．

アンサンブル学習の代表的な手法である並列的な学習

5. 2 大規模データベースにおける識別性能と逐次的な学習の枠組みを導入した．提案手法により最後に，大規模な人数のデータベースで評価するた

従来の認識手法に比べて識別精度が向上することを，
1347

電子情報通信学会論文誌 2005/8 Vol. J88–D–II No. 8

照明変動が生じる環境で撮影されたデータベースと大[15]

Y. Freund and R.E. Schapire, “A Decision-Theoretic
Generalization of On-Line Learning and an Appli-

規模人数が登録されたデータベースを用いた識別実験

cation to Boosting,” J. Comput. Syst. Sci., Vol.55,

で確認した．

No.1, pp.119-139, 1997

今後の課題として，制約部分空間の個数を少なくし[16]

G.-D. Guo and H.-J. Zhang, “Boosting for Fastてもさらに高精度な認識が行えるような学習方法の検Face Recognition,” Second International Workshop

討や，認識性能が改善される要因の詳細な解析などがon Recognition, Analysis and Tracking of Faces andGestures in Real-time Systems, 2001必要である．

[17]

文
[1]
[2]

[3]

献

K. Fukui and O. Yamaguchi, “Face Recognition Using Multi-viewpoint Patterns for Robot Vision,” 11th
International Symposium of Robotics Research, pp.
192-201, 2003

[4]

Face Recognition,” IEEE Proc. Conf. on Computer
Vision and Pattern Recognition, vol.2, pp.259-265,

赤松 茂, “コンピュータによる顔の認識 –サーベイ–,” 信
学論 D-II Vol. J80-D-II, No. 8, pp. 2031-2046, 1997
福井 和広, 山口 修, 鈴木 薫, 前田 賢一, “制約相互部分空間法を用いた環境変動にロバストな顔画像認識 –照明変動の影響を抑える制約相互部分空間の学習–,” 信学論 D-II
Vol. J82-D-II, No. 4, pp. 613-620, 1999

X. Wang and X. Tang, “Random Sampling LDA for

2004
[18]
[19]

[20]

石井 健一郎, 上田 修功, 前田 英作, 村瀬 洋, “わかりやすいパターン認識,” オーム社, 1998.
前田 英作, 村瀬 洋, “カーネル非線形部分空間法によるパターン認識,” 信学論 D-II Vol. J82-D-II, No.4, pp.600612, 1999
坂野 鋭, 武川 直樹, 中村 太一, “核非線形相互部分空間
法による物体認識,” 信学論 D-II Vol. J84-D-II, No.8,
pp.1549-1556, 2001
（平成 xx 年 xx 月 xx 日受付）

福井 和広, 山口 修, “一般化差分部分空間に基づく制約相
互部分空間法,” 信学論 D-II Vol. J87-D-II, No. 8, pp.
1622-1631, 2004

[5]

[6]

佐藤 俊雄, 助川 寛, 横井 謙太朗, 土橋 浩慶, 緒方 淳, 岡崎
彰夫, “立ち位置変動を考慮した顔照合セキュリティシス
テム「FacePass」の開発,” 映像情報メディア学会誌 Vol.
56, No.7, pp.1111-1117, 2002
小坂谷 達夫, 山口 修, 福井 和広, “制約相互部分空間法を用いた顔認識システムの開発と評価,” 情報処理学会論文
誌 Vol. 45, No.3, pp.951-959, 2004
[7] M. Turk and A. Pentland, “Face recognition using
eigenfaces,” IEEE Proc. Conf. on Computer Vision
and Pattern Recognition, pp.586-591, 1991.
[8] T. Shakunaga and K. Shigenari, “Decomposed Eigenface for Face Recognition under Various Lighting
Conditions,” IEEE Proc. Conf. on Computer Vision
and Pattern Recognition, vol.1, pp.864-871, 2001
[9]

P.N. Belhumeur, J.P. Hespanha and D.J. Kriegman, “Eigenfaces vs. Fisherfaces: Recognition Using
Class Speciﬁc Linear Projection,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol.19, no.7,
pp.711-720, 1997.

[10]

相馬 正宣, 長尾 健司, “取得過程の極端に異なる顔画像の照合,” 信学論 D-II Vol. J80-D-II, No.8, pp.2225-2231,
1997

[11]

S. Watanabe and N. Pakvasa, “Subspace method ofpattern recognition,” Proc. 1st Int. J. Conf. on Pattern Recognition, 1973[12]前田 賢一, 渡辺 貞一, “局所的構造を導入したパターン
マッチング法,” 信学論 D Vol. J68-D, No.3, pp.345-352,
1985

麻生 英樹, 津田 宏治, 村田 昇, “パターン認識と学習の統計学 新しい概念と手法,” 岩波書店, 2003[14] L. Breiman, “Bagging Predictors,” Machine Learning, Vol.24, No.2, pp.123-140, 1996
[13]

1348

西山 正志

（正員）

平 12 岡山大・工・情報卒．平 14 同大大学院博士前期課程了．同年 (株) 東芝入社．
現在，同社研究開発センターマルチメディ
アラボラトリー勤務．顔画像認識の研究に取り組んでいる．計測自動制御学会会員

山口

修

（正員）

平 4 岡山大・工・情報卒．平 6 同大大学院
工学研究科了．同年 (株) 東芝入社．現在，同社研究開発センターマルチメディアラボ
ラトリー研究主務．コンピュータビジョン・
顔画像処理の研究に従事．平 8 情報処理学会全国大会優秀賞，平 14 本会論文賞，平
15 情報処理学会山下記念研究賞受賞．情報処理学会会員

福井 和広

（正員）

昭和 61 九州大・工・機械卒. 昭和 63 同大
大学院工学研究科了. 同年 (株) 東芝入社.
同社研究開発センター主任研究員を経て,
平成 16 年筑波大大学院システム情報工学研究科助教授．パターン認識・コンピュー
タビジョンの理論と応用に関する研究に従事．工学博士．平成 14 年本会論文賞．情報処理学会会員．