論 文
顔画像の階層的な対応付けを用いた複数歩行者の認識
西山 正志† a)山口

湯浅真由美†

柴田

智行†

若杉

智和†

修†

Recognition of Moving People using Hierarchical Matching of Face Images
Masashi NISHIYAMA†a) , Mayumi YUASA† , Tomoyuki SHIBATA† , Tomokazu
WAKASUGI† , and Osamu YAMAGUCHI†

あらまし 本論文では，歩行する複数人物の顔を識別する手法について述べる．歩行する人物の顔の見え方は，
照明や顔の向きによる変動で大きく変わり，高い識別性能を得ることが難しい．また，複数人物が同時に歩行するため，一つのカメラだけでは隠れの問題が発生する．そこで，複数カメラから獲得された同一人物の顔画像を一つの画像列へ統合し，歩行者毎の画像列を用いて個人識別を行う．複数カメラにより隠れに対処でき，画像列を用いた識別方法で変動に頑健になる．歩行者毎の画像列を生成するために，変動の影響が少ないと考えられる
各カメラにおいて，パターンマッチングを用いて同一人物の顔画像を対応付け，断片画像列を生成する．次に，断片画像列同士の類似性を用いてカメラ間の対応付けを行い，統合された画像列を生成する．最後に，統合された画像列を用いて個人を識別する．提案手法の有効性を，349 人の歩行者データベースを用いて，複数人が同時に歩行する状況を模擬した識別実験で確認した．
キーワード

歩行者認識，顔画像，階層的な対応付け，相互部分空間法

人識別は，図 2(i) のように，特徴空間において，入力

1. ま え が きベクトルと参照データがなす分布との比較になる．参顔による個人識別は，生体情報をシステムに非接触

照データは人物毎に予め登録された画像列であり，以で入力できるため利便性が高い [1]．本研究が目指すシ

下では参照画像列と呼ぶ．入力データが 1 枚の顔画

ステムは，歩行中の人物を識別対象とし，歩行者の顔像のみでは，照明や顔の向きの影響で参照画像列と類画像から個人識別を行う．実用的なシステムでは，同似せず誤識別が発生する場合がある．これらの変動を時に歩く複数の人物を識別すること，歩行により相対抑えるために，顔画像に含まれる顔の向きや照明の影的に変化する顔の向きや照明条件に影響を受けないこ響を補正する手法 [2]〜[5] が提案されているが，1 枚とが求められる．

の顔画像のみでは変動を完全に除去することは難し

本論文では，図 1 のように，複数カメラを用いて，い．そこで本論文では，画像列を用いた個人識別の手

通路を歩く複数の人物から正面向きに近い顔画像を獲法 [6]〜[11] の枠組みを適用する．これらの手法では，得する．歩行者の動線は，カメラが設置されたゲート

刻々と変化する顔の見え方を画像列で表し，その画像

へ向かって歩いて来る状況を仮定する．カメラを複数列を入力データとし参照画像列と比較する．この識別用いることで，ある 1 台のカメラでは隠れや顔向きに方法は，図 2(ii) のように特徴空間において，入力さより正面向きに近い顔を検出できなくとも，他のカメれた画像列がなす分布と参照画像列の分布との比較にラで捉えることを狙う．ここで，各カメラで獲得されなる．入力も分布で表されるため，変動の影響が緩和

た 1 枚の顔画像毎に個人識別を行う場合を考える．個

され，本人が正しく識別される可能性が高まる．画像†列を入力として用いる識別手法を適用するためには，(株) 東芝 研究開発センター〒 212–8582 川崎市幸区小向東芝町

1

同時に歩く複数人物の顔画像から，同一人物の顔画像

Corporate Research & Development, Toshiba Corporation,を対応付け，人物毎に統合された画像列を生成する必1, Komukai-toshiba-cho, Saiwai-ku, Kawasaki, 212-8582,

要がある．

JAPAN
a) E-mail: masashi.nishiyama@toshiba.co.jp

そこで，本論文では，図 3 のように，複数のカメラ

電子情報通信学会論文誌 X Vol. Jxx–X No. xx pp. 1–11 xxxx 年 xx 月

1

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

図 1 複数カメラによる複数の歩行者の個人識別
Fig. 1 Face identiﬁcation for moving people using
multiple cameras.
図 3 階層的な対応付けによる個人毎の画像列生成
Fig. 3 Generation of a set of face images for each individual by hierarchical matching.

図 2 (i) 顔画像 1 枚毎による個人識別と (ii) 複数カメラから統合された画像列を用いた個人識別の比較
Fig. 2 Comparison two identiﬁcation methods; (i)using
a single face image from a single camera, (ii)using a set of face images integrated from multiple cameras.

図 4 顔画像の対応付けにおける変動要因の影響
Fig. 4 Inﬂuence of variation in matching of face images

た識別実験で提案手法の有効性を確認する．
から得られる複数人の顔画像を階層的に対応付け，統合された画像列を用いて個人を識別する手法について

2. 従来手法との比較述べる．この対応付けを精度よく行うために，顔画像

本章では，顔画像を用いた歩行者認識の従来手法と，に対して変動を補正する手法についても述べる．提案

提案手法の利点について述べる．[12]〜[16] では，歩行手法では，最初に階層 1 で，各カメラ内での顔画像のによる顔の向き変動を取り扱っている．カメラと正対対応付けを行う．次に階層 2 で，カメラ間で顔画像をしている顔画像を選択する手法 [12], [13] ，特別な装置

対応付け，統合画像列を生成する．最後に階層 3 で，を用いる手法 [14], [15] ，様々な顔の向きの顔画像を標

統合画像列を用いて個人識別を行う．このように対応

準顔モデルを用いて仮想的に生成する手法 [16] が提案

付けの階層を設定した理由は，対応付けにおける変動

されている．これらの手法は顔向き変動を考慮してい要因の影響に注目し，照明，顔の向き，人数の影響がるものの，識別対象を 1 人のみとしており，複数の人

少ない順から処理を行うためである．図 4 に変動要因

物が同時に歩行する場合，どのように識別するかが検の影響をまとめる．階層 1 では，歩行で照明条件が相討されていない．

対的に変化するが，単一の視点なので顔の向きの影響

一方，複数の歩行者を対象とした個人識別の手法 [17]が少ない上で対応付けを行うことができる．階層 1,2が提案されている．この手法では，同時に複数人が歩では，同時刻に歩行する人数は限られるため，対応付

行する状況で，顔の様々な見え方を登録するために，けすべき対象の数を絞ることができる．階層 3 では，複数のカメラから獲得された顔画像を，3 次元的な追画像列を用いた識別手法の効果が発揮され，安定した跡処理を用いて人物毎に対応付ける．3 次元的な追跡

個人識別を行うことができる．

処理の手法は [18], [19] でも提案されている．これらの以下，2. で従来手法との比較を行い，3. で階層的手法は，複数カメラの撮像範囲内であれば自由に歩行な対応付けについて述べる．次に，4. で変動が補正さすることができる利点があるものの，3 次元的な追跡れた顔画像の生成手法について述べる．最後に，5. でを精度よく行うためにカメラキャリブレーションが要

349 人について撮影された歩行者データベースを用い求される．しかし，設置の時間や費用などを考えると，

2

論文／顔画像の階層的な対応付けを用いた複数歩行者の認識

番号，t は獲得された時刻を表す．次に，階層 1 における断片画像列 Xi を式 (2) で定義する．

Xi ≡ {x1 , . . . , xm }(2)

ここで，i は断片画像列へ付けられたラベル，m は断片画像列を構成する顔画像の枚数を表す．階層 1 の Xiを構成する m 枚の顔画像は，同一カメラから獲得されたものとする．カメラ c で新たに顔画像 xnew が入力されると，これまでに獲得されている Xi との類似
度 S1i を求め，対応付ける断片画像列のラベル l を次式で決める．
図 5 階層的な対応付けの構造の例
Fig. 5 Example of a structure of hierarchical matching.

カメラキャリブレーションを行わない方が有利である．
提案手法は，[12]〜[16] では取り扱っていなかった複数の歩行者に対して，画像列を用いた識別手法を適用することで，顔の向きや照明による変動に頑健な個人識別を行うことができる．また，フレーム間における幾何学的な位置の追跡 [17]〜[19] を全く用いずに，画像間の類似性を計るパターンマッチングに基づく手法{
l=argmax{S1i |i = 1, . . . , nc }i

nc + 1S1max >= Th 1sotherwise

こ こ で ， nc は カ メ ラ c に お い て 現 時 刻 ま で に 獲得された断片画像列の数，Th 1s は閾値，S1max は

max{S1i | i = 1, . . . , nc } を表す．S1max が Th 1s を下回った場合には，新たな人物が表れたと判断しラベ
ル nc + 1 を割り当てる．階層 1 の類似度は次式から算出される．

S1i = Sim1 (xnew , Xi )(3)のみを用いて，顔画像の対応付けを行う．これにより，フレーム間における位置の連続性を維持するための追関数 Sim1 については 3. 2 節で述べる．ラベル l が決跡処理の必要がなくなり，カメラのフレームレートがまると，xnew は断片画像列へ式 (4) で追加される．

低い場合や，フレームレートが異なるカメラを同時にXl ⇐ {xnew } ∪ Xl

(4)

用いる場合でも対応付けを行うことができる．また，隠れが生じた場合でも，検出と追跡の状態遷移を考え一定時間が経過した Xi は，歩行者が撮像範囲から外ることなく処理できる．さらに，厳密なカメラキャリれたと判定し，式 (5) により，階層 2 へ入力する断片

ブレーションを行うことなくシステムを構築すること

画像列 Ynew へ更新する．

ができる．

Ynew ⇐ Xi

3. 顔画像の階層的な対応付け

if t − ti > Th 1t(5)

ここで，t は現在時刻，ti は Xi へ最後に追加された x

本章では，各カメラから獲得された顔画像を階層的に対応付け，人物毎の画像列を生成し個人を識別するが獲得された時刻，Th 1t は閾値を表す．
階層 2 では，カメラ間で断片画像列を対応付け，人物毎の統合画像列を生成する．現時刻までに階層 2 で方法について述べる．

3. 1 階層的な対応付けの枠組み

蓄積されている断片画像列を Yi で表す．Ynew が入力

階層 1 で，各カメラにおいて同一人物の顔画像を対されると，Yi との類似度 S2i を求め，対応付ける断片

応付け，少数枚の顔画像から構成される断片画像列を画像列のラベル k を次式で決める．

{

生成する．顔画像はカメラ毎に時間の経過と共に獲得される．1 枚の顔画像 x を式 (1) で定義する．

k=argmax{S2i |i = 1, . . . , n}in+1x ≡ {v, c, t}

S2max >= Th 2sotherwise(1)

ここで，v は顔画像を表す特徴ベクトル，c はカメラ

ここで，n は現時刻までに階層 2 で蓄積された断片
画像列の個数，Th 2s は閾値，S2max は max{S2i |i =3

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx

1, . . . , n} を表す．階層 2 の類似度は次式から決定される．

S2i = Sim2 (Ynew , Yi )(6)

関数 Sim2 については 3. 3 節で述べる．ラベル k が決Fig. 6図 6 変動が補正された顔画像の生成
Generation of a normalized face image.

まると，Ynew は断片画像列へ式 (7) で追加される．

Yk ⇐ {Ynew } ∪ Yk

(7)

一定の時間が経過した Yi は，式 (8) により，階層 3へ入力する統合画像列 Znew へ更新する．

Znew ⇐ Yi

物の断片画像列が階層 1 に残っている場合に，新たに出現した別の人物との誤対応を防ぐ効果をもつ．
他人の顔画像が誤って対応付けられると，正しく個
人を識別できない問題が発生する．この問題を抑える

if t − ti > Th 2t(8)

ためには閾値 Th 1s の設定が重要であるが，本論文ではラベルが既知のデータセットを事前に用意し閾値を

ここで，t は現在時刻，ti は Yi へ最後に追加された xが獲得された時刻，Th 2t は閾値を表す．

実験的に決める．

3. 3 カメラ間における断片画像列を対応付けるた

最後に階層 3 において，Znew と人物 i の参照画像列

Zi を対応付けることで，次式により個人識別を行う．

{

めの類似度
階層 2 において，Ynew と Yi との間の類似度を算出す

S3max >= Th 3s

るために，画像列同士を比較できる直交相互部分空間法

otherwiseを用いる．OMSM では直交化行列を用いて，人物間

ここで，h は参照画像列が登録されている人数，Th 3s

における顔の見え方変動の差を強調する．これにより，は閾値，S3max は max{S3i |i = 1, . . . , h} を表す．階異なる人物から生成された断片画像列間での類似度が層 3 の類似度 S3i は，階層 2 と同じ関数を用いて低くなり，他人と誤って対応付けられる割合を抑える

Sim2 (Znew , Zi ) で算出される．

ことができる．

ID =argmax{S3i |i = 1, . . . , h}i

impostor(OMSM：Orthogonal Mutual Subspace Method) [7]

図 5 に，3 台のカメラの下で，2 人の人物が歩行しOMSM を適用するために，それぞれの断片画像列

たときの階層的な対応付けの構造の例を示す．図中のに対して主成分分析を適用し，部分空間を生成する．

xi は各カメラで時間順に獲得された顔画像を表す．ま

断片画像列 Ynew から生成された部分空間に対して直ず，階層 1 で xi はカメラ毎に Xi へ対応付けられる．

交化行列を適用した部分空間を Ynew ，同様に Yi に対時間が経過すると Xi は Yi へ更新され，階層 1 から 2

する部分空間を Yi とする．関数 Sim2 の出力は，二つへ移る．階層 2 で Yi はカメラ間で対応付けられ，同の部分空間 Ynew と Yi がなす正準角 θ により式 (10)様に Yi は Zi となる．最終的に Zi を用いて個人が識で定義さる．

別される．

Sim2 (Ynew , Yi ) = cos2 θ(10)

3. 2 各カメラにおける断片画像列を生成するため
なお，階層 1 において，1 人の人物から同じカメラのの類似度
階層 1 において，xnew と Xi との間の類似度を算出応付けるために，Ynew が階層 2 に入力されると，まする関数 Sim1 は，式 (9) で定義される．

Sim1 (xnew , Xi ) =(vnew T vj )2
1 + α(tnew − tj )断片画像列が複数生成される場合がある．これらを対ず，同一カメラ内の断片画像列について OMSM を用(9)

ここで，vnew は xnew を表す式 (1) の特徴ベクトル，

vj は最新の時刻 tj をもつ xj ∈ Xi を表す特徴ベクトル，tnew は xnew が獲得された時刻，α は定数である．

いた対応付けを試み，その後，カメラ間の対応付けを行う．

4. 顔画像の生成方法
4. 1 顔向きと照明による変動の補正

xnew と Xi が獲得された時間が離れている場合には類これまで述べたように階層的な対応付けには，パ

似度が小さくなるように，式 (9) の分母を設定した．

ターンマッチングの手法を用いる．対応付けに用いる

これは，ある歩行者が撮像範囲から離れたが，その人

特徴ベクトル v は，顔の向きや照明による変動の影響4論文／顔画像の階層的な対応付けを用いた複数歩行者の認識

Fig. 7図 7 顔向き正規化に用いる顔特徴点
Facial feature points for facial pose normalization.

図 8 眉内端検出の例．(a) 探索範囲，(b) 分離度マップ，(c) ２値化，(d) 眉領域判定，(e) 端点検出，(f) 分
離度フィルタFig. 8 Examples of detecting an inner corner
points of an eyebrow.
(a)Searching area,(b)Separability map, (c)Binarization, (d)Detectionof eyebrow region, (e)Detection of corner
points, (f)Separability ﬁlter.

4. 4 節では鼻頂点を検出する手法を述べる．
が少ない方が，精度よく対応付けることができる．本4. 3 修正分離度を用いた眉内端の検出

論文では，変動を緩和するために，(i) 顔領域に対して眉は人によってその輪郭が明確でなく，単純な処理

顔特徴点の検出を行い，(ii)3 次元形状モデルを用いてでは検出が難しい．また，形状の変動も大きいため，

顔向き正規化 [4] を適用し，(iii) 照明条件に影響されパターン照合などを用いる方法も難しい．そこで，円ない拡散反射率の比を抽出する照明正規化 [5] を適用

形分離度フィルタ [22] が円形の形状のみならず，一定する．この補正処理を図 6 に表す．v は，図 6 (iii) のの幅をもつような形状も抽出が可能であることを利用

顔画像をラスタースキャンすることで求める．次節よして，眉内端を検出する．

り，顔特徴点の検出手法について述べる．

まず，検出された瞳位置を基準として，図 8(a) の4. 2 顔特徴点の検出

ように，探索範囲を設定する．探索範囲内で円形の修カメラ映像から顔画像 x を生成するために，顔領域

正分離度フィルタに基づく分離度マップ (b) を作成すと顔特徴点を検出する．3 次元形状モデルを用いた顔る．従来の分離度 η [22] は式 (11) で定義される．

向きの正規化を行うには，文献 [4] で議論したように，
顔の広範囲に存在する特徴点が多数必要である．このため本論文では，図 7 に示す，瞳，鼻孔，目尻，目頭，口端，眉内端，鼻頂点，口中点の計 14 点を検出

η=

σb 2
σT 2
2

徴点を検出する手法は，例えば Elastic Bunch Graph2

σb 2 = u1 (I1 − Im ) + u2 (I2 − Im )する．これらの顔特徴点は，文献 [4] の実験結果より，
顔特徴点の数と識別性能との関係から決定した．顔特(11)

σT 2 =u∑(Ii − Im )2

i=1

Matching [20] など多数提案されているが，本論文では従来より我々が提案してきた手法 [22], [23] を拡張

ここで，u1 , u2 は領域領域 1，2 内の画素数，Ii は画

し，14 個の顔特徴点を個々に検出するアプローチをと

素値，I1 ，I2 は領域領域 1，2 における画素値の平均，る．顔向きの正規化 [4] には 14 個の顔特徴点全てが必

u は領域領域 1 と 2 合わせた領域内の画素数，Im は要であり，顔の一部が隠蔽され顔特徴点が 1 個でも欠領域領域 1 と 2 合わせた領域の画素値の平均とする．

けた場合には顔画像の生成は行わない．
以下，顔特徴点検出の流れを述べる．最初に画像全体から Joint Haar-like 特徴と AdaBoost を用いた方

本論文では，修正分離度 η 0 を式 (12) で定義する．

η 0 = η + β(I1 − I2 )(12)

法 [21] により複数の顔領域を検出する．次に，それぞここで，β は定数とする．修正分離度フィルタは，図れの顔領域から分離度フィルタとパターン照合による

8(f) の円形分離度フィルタ [22] と形状は同じである

方法 [22] により，瞳と鼻孔を検出する．検出された瞳が，2 領域の平均値の差を分離度値に加える処理を行

位置を基準として，目尻，目頭，口端をコーナー検出う．これにより，領域 1 に比べて画素値が小さい領域とパターン認識による方法 [23] で検出する．また，顔2 だけを検出することができる．

の左右中心と唇のエッジから口中点を検出する．最後

次に，分離度マップを 2 値化し (c)，2 値画像のラに眉内端と鼻頂点を検出する．以下 4. 3 節では眉内端，ベリング処理により領域を分割し，領域毎に眉内端の5電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xxの通路に設置された複数のカメラを用いる場合，照明条件，歩行位置，人物など様々な変動要因が考えられる．本論文では，複数の人物が同時に歩く場合を想定し，その人数を変えた場合について評価を行った．まず 5. 1. 2 節で，同時に歩く人物は 1 人のみとし，複数カメラから獲得された統合画像列を用いて個人識別を行うことの有効性を実験的に示す．次に 5. 1. 3 節で，複数の人物が同時に歩行する状況を模擬した実験で，
図 9 評価データベースの撮影環境
Fig. 9 Setting for collecting a database for the evaluation.

階層的な対応付けの有効性を示す．

5. 1. 1 評価データベースと評価基準
人物が歩く様子を撮影したシーケンスを 349 人について収集した．3 つのカメラ (C1, C2, C3) を図 9 のように配置した．窓付近を歩行開始位置とし，扉に向かって歩くシーケンスを各人物につき 2 回撮影した．
識別実験を行うために，一方のシーケンスを参照デー
タとし，もう一方のシーケンスを入力データとした．
各人物は，図中の破線矢印上を，各カメラを見ることなく顔を進行方向へ向けて歩いた．各カメラのシーケ

図 10 評価データベースのサンプル画像
Fig. 10 Sample images of a database for the evaluation.

ンスは，768 × 1024 pixels の解像度，フレームレート
は 15fps で撮影した．1 つのシーケンスの撮影時間は
約 4 秒間であった．図 10 に撮影されたシーケンスの一部を示す．1 回の歩行から検出された顔画像の平均判定を行う (d)．例えば左眉内端の場合の判定条件は，

枚数は，1 台のカメラにつき 17.9 枚であった．補正処

各分割領域が探索領域の右端に接し，かつ，上端，下理を適用した後の顔画像の大きさは 64 × 64 pixels と端，左端に接しないこととする．この条件を満たした

した．

候補のうち，領域の左端の点が推定点に最も近いもの

識別性能の評価には以下の 2 つの基準を用いた．以を選択する (e)．推定点はあらかじめ取得した眉内端

下では，本人の参照画像列と比較して算出された類似位置の統計的な分布を元に決定しておく．

度を本人類似度，他人の参照画像列と比較して算出さ4. 4 鼻頂点の検出
鼻頂点は光の反射により周辺と比較して輝度が大きれた類似度を他人類似度と呼ぶ．
（ 1 ） 一 位 正 解 率 (CMR : Correct Match

くなると仮定し，この仮定を満たす点を鼻頂点としてRate)検出する．まず，鼻孔の位置を基準とした探索範囲内

他人類似度と比べて本人類似度が最も高くなる割合をで通常の円形分離度フィルタ [22] の出力がピークをと表す．

る位置と，前節で述べた円形の修正分離度フィルタに（ 2 ） 等価エラー率 (EER : Equal Error Rate)

よる分離度のピーク位置を検出する．その後，前者の他人受理誤り率 (FAR : False Acceptance Rate) と本

ピーク位置のうち，後者のピーク位置に近いものを除人排除誤り率 (FRR : False Rejection Rate) が等し去する．これにより，鼻孔などの輝度の低い領域を除

い時の割合を表す．FAR は以下の式で求まる．

外することができる．残ったピーク位置のうち最も分離度値の高いものを鼻頂点位置として検出する．

5. 実

験

F AR =を撮影したデータベースを用いて評価を行った．屋内
6(13)

一方，FRR は以下の式で求まる．

5. 1 歩行者データベースによる性能評価
提案手法の有効性を確認するために，歩行する人物

他人類似度が Th 3s 以上の試行数
全試行数 − 本人の試行数

F RR =

本人類似度が Th 3s より小さい試行数(14)
本人の試行数論文／顔画像の階層的な対応付けを用いた複数歩行者の認識

表1

顔画像の対応付けが正しい理想的な場合の識別性能．
(A) 対応付けなし，(B) カメラ内の対応付けのみ，(C) 階層的な対応付け
Table 1 Recognition performance in the casethat face images are matched correctly.
(A)Without matchings, (B)Matching face
images within a camera, (C)Hierarchicalmatching.
Condition
(A)
(B)
(C)

CMR(%)
80.3
93.7
98.6

EER(%)
8.7
5.6
2.0

下の時は，個人識別は行わず棄却した．つまり，通過
したが入力部分空間が生成できず個人識別できなかった人物とし，本人類似度を 0 として FRR, CMR を計算した．以下では，これを画像列の生成失敗と呼ぶ．
それぞれの実験条件に対する識別性能を表 1 に示す．
階層的な対応付けを行った場合の (C) が，行わなかった場合の (A),(B) と比べて識別性能が高いことが確認された．(B) から (C) への性能向上の理由として，以下の二つが挙げられる．

•

画像列の生成失敗の減少

評価データベースには帽子を深く被った人物が複数

5. 1. 2 複数カメラによる個人識別の有効性の検証

含まれている．高い位置に設置されたカメラ C3 では，

複数カメラから獲得された顔画像を統合し，個人識

帽子により顔が遮蔽され，顔領域や顔特徴点が検出さ別を行うことの有効性を確認する．ここでは，顔画像

れず，画像列の生成に失敗した．一方，低い位置に存の対応付けが完全に成功したとして評価する．このた在するカメラ C1，C2 では，顔領域や顔特徴点が検出

め，同時に歩行する人数は 1 人とした．対応付けを自され画像列の生成に成功した．(B) は各カメラで個別動的に行った場合の個人識別の評価については後で述に画像列の生成を行うため，3 回の個人識別のうち 1

べる．識別性能を比較するために，次の 3 つの実験条回が誤りとなった．一方，(C) は複数カメラが連携す件を設定した．

るため，画像列の生成に成功し個人識別が正解するこ（ A ） 1 枚の顔画像毎による個人識別とが多かった．

（ B ） カメラ毎の断片画像列による個人識別•（ C ） 統合画像列による個人識別

顔画像を生成する際に 4. 1 節で述べた変動の補正が顔向きと照明による変動への耐性向上

個人識別を行う回数は，(A) が 349×3×17.9 = 18742

失敗した場合，変動の影響が大きく残り識別性能の低回，(B) が 349 × 3 = 1047 回，(C) が 349 回とした．

下がみられた．補正失敗の原因には，検出された顔特用いる顔画像の枚数は，(A),(B),(C) ともに同じであ徴点の位置ずれにより顔向き正規化ができなかったこる．階層 1 では，大きさ 64 × 64 の顔画像をダウンと，照明条件の推定を誤り照明正規化ができなかった

サンプリングし，32 × 32 = 1024 次元のベクトルをことが考えられる．補正失敗の顔画像が画像列に多く用いて対応付けを行った．階層 2 ではさらにダウンサ含まれる場合，本人類似度が小さくなり誤識別となっンプリングし，16 × 16 = 256 次元のベクトルを用いていた．逆に，補正失敗の顔画像が画像列に含まれてた．これらのベクトルの次元数は，各階層における対

いても，その枚数が少なければ識別に成功することが応付けの性能と計算量から決定した．ベクトルの次元あった．これは，画像列から部分空間を生成する際に数が小さい方が，類似度を算出する際の計算量が少な用いる主成分分析の効果に関係すると考えられる．補くなる．階層 1 の対応付けの性能は，64 × 64 = 4096

正失敗の発生回数は身長，歩き方などの個人差の影響

次元と 1024 次元とでほぼ同じであったが，256 次元

で，人物毎にカメラ間で偏りがでていた．このため，では低下した．階層 2 の対応付けの性能は，1024 次(B) では個人識別が失敗していた人物に対しても，(C)

元と 256 次元とでほぼ同じであった．(B), (C) で個では複数カメラを用いるため，画像列において補正失人識別を行う際，部分空間の基底ベクトルの本数は 4敗の顔画像の割合が少なくなり個人識別が成功する場として，OMSM を適用した．直交化行列は，各人物合があった．

の参照部分空間から生成した．(A) で個人識別を行う
際は，1 枚の顔画像を入力ベクトルとし部分空間法を用いた．ただし，参照部分空間，入力ベクトルへは直交化行列を適用した．個人識別のための参照部分空間

以上から，各カメラから獲得された顔画像を画像列へ統合することは有効であるといえる．

5. 1. 3 階層的な対応付けを用いた個人識別の有効性の検証

は，手入力で対応付けられた統合画像列から作成した．

同 時 に 複 数 の 人 物 が 歩 行 す る 場 合 に つ い て ，先(B), (C) において，生成された画像列の枚数が 4 枚以

程 と 同 じ デ ー タ ベ ー ス を 用 い て ，識 別 実 験 を 行っ
7

電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx
100
False matching rate(%)10090(i) Hierarchical Matching(ii) Matching face images within a camera(iii) Without matchings(iv) Ideal

85

10
1
0.1

Layer 1
Layer 2

0.01

0.001

0

0.1

0.2
0.3
Threshold

80
2

5

10
15
20
25
M (Number of moving people)

3014(i) Hierarchical Matching(ii) Matching face images within a camera(iii) Without matchings(iv) Ideal

12
EER(%)

100.5

図 13 閾値 Th s が変化した時の誤対応率 (%)
Fig. 13 False matching rate with changing threshold.
100

100

80

80

CMR(%)

図 11 同時に歩く人数が変化した時の CMR(%)
Fig. 11 CMR(%) with increasing the number of individuals moving simultaneously.

0.4

60

60

CMR
EER

40

40

20

20

EER(%)

RR(%)

95

8
0

6
4

0.1

0.2
0.3
Threshold

0.4

0.5

0

図 14 閾値 Th s が変化した時の CMR(%) と EER(%)
Fig. 14 CMR(%) and EER(%) with changing threshold.

2
0

0

2

5

10
15
20
25
M (Number of moving people)30

図 12 同時に歩く人数が変化した時の EER(%)
Fig. 12 EER(%) with increasing the number of individuals moving simultaneously.

画像が誤って統合される確率が 0.1% 以下となるように実験により決定した．誤って他人の顔画像が統合画像列へ混入した場合，個人識別において正解が定まらないため，他人類似度として FAR のみを計算した．

表 2 本人類似度と他人類似度の平均
Table 2 Average of self and other similarities.
Condition
(i)
(ii)
(iii)
(iv)

Similarity
Self Other
0.60 0.20
0.56 0.20
0.37 0.13
0.70 0.22

識別性能を比較するために，次の 4 つの実験条件を設定した．
（ i ） 階層的な対応付けを用いた個人識別（ ii ） 階層 1 のみを用いた個人識別（ iii ） 対応付けを用いない個人識別（ iv ） 対応付けが完全に成功した場合の個人識別(i) と (ii) では対応付けを自動で行い，(iv) では対応付
けを手作業で行う．また，(i) と (iv) では統合画像列，
た ．こ こ で は ，複 数 の 人 物 が 横 に 並 ん で 同 時 に 歩(ii) では断片画像列，(iii) では 1 枚の顔画像を個人識行する状況を模擬した．まず，349 人の中からラン別に用いる．(iii) は表 1(A) と，(iv) は表 1(C) の理

ダムに M 人を選択した．選択された人物から 1 枚

想的な性能と対応する．

の顔画像を初期時刻で階層 1 へ入力し，66 ミリ秒

M が変化したときの CMR の推移を図 11，EER の

後に，次の顔画像を入力した．M 人の選択を 200

推移を図 12 に示す．例えば M = 5 人が同時に歩いて回行い CMR,EER を算出した．階層 1,2 の変数はいるシーンを模擬した場合，提案手法 (i) は (iii) と比Th 1s = 0.4, Th 2s = 0.4, Th 1t = 1sec., Th 2t = 3sec.

べて，CMR が 80.3% から 92.2%，EER が 8.7% かとした．これらの変数は，M = 10 の時に，他人の顔ら 5.4% に改善されている．(i) の CMR と EER は，

8

論文／顔画像の階層的な対応付けを用いた複数歩行者の認識

理想的な場合 (iv) には劣るものの，(ii) や (iii) に比べて大きく改善されている．(ii) の EER が (iii) に比
べて高くなる原因として，個人識別に用いる断片画像
列の生成に失敗し，入力部分空間が生成できなかったケースが多いためと考えられる．この現象は (i) では
起きていないことからも，階層 2 の対応付けには効果

Fig. 16

図 16 検出された顔特徴点の例
Examples of detected facial feature points.

があるといえる．
次に，対応付けにより生成された画像列を構成する
顔画像の平均枚数について述べる．(i) では 15.9 枚，

端へカメラをそれぞれ 1 台配置し，床からカメラの高(ii) では 8.7 枚，(iv) では 53.6 枚であった．(i) は (iv)

さは 110cm とした．カメラ 1 とカメラ 2 ではレンズに比べると少ないものの，(ii) に比べて枚数は増加しの焦点距離が異なる．顔画像を生成するための 計算ている．枚数の増加は，識別性能の向上に寄与してい機を 1 台，階層的な対応付けと個人識別を行うためると考えられる．また，さらなる識別性能の向上のたに同じ構成の計算機を 1 台用いた．各カメラにおいてめには，対応付けの性能向上が必要であることが分1024 × 768 pixels の解像度の画像を，フレームレー

かる．

トを 7.5fps で撮影した．68 枚の顔画像を自動で検出

次に，本人類似度と他人類似度の平均値を表 2 へ示した．検出された顔特徴点の例を図 16 に示す．次に，す．実験条件は図 11 と同じである．(i),(ii) では (iii)

生成された統合画像列を図 17 に示す．この例では，統に比べて，他人類似度が少し増えているものの，本人

合画像列を構成する枚数は，人物 1 で 20 枚，人物 2

類似度が理想的な条件 (iv) に近づいている．また，(i)で 19 枚，人物 3 で 24 枚であった．一度隠れて再び出は (ii) と比べても本人類似度が向上していることが分現した人物でも対応付けが成功している．この実験でかる．

は，一方のカメラで顔の一部が隠蔽された場合，他方最後に，各階層における対応付け誤りと識別性能ののカメラで隠れが生じていない顔画像が獲得され，そ関係について述べる．対応付け誤りの発生は，閾値

の顔画像が画像列へ統合されていた．以上の結果より，

Th 1s , Th 2s に依存する．図 13 に，閾値と誤対応率のフレーム間の追跡処理では失敗するような隠れの問題

関係を示す．ここでは，Th 1s = Th 2s = Th s ，M = 5にも，提案手により本人同士で対応付けが成功し，人とした．誤対応率は，対応付け誤りの発生数を対応付物毎の統合画像列が生成されることが認できた．

けを行った総数で割ったものである．閾値が高くなる
につれて誤対応率が下ることが確認できる．図 14 に，

6. む す び閾値と識別性能の関係を示す．閾値を高く設定するこ

本論文では，複数のカメラが設置された環境においとで識別性能は向上するが，0.45 付近より性能低下がて，複数の歩行者から獲得された顔画像を対応付ける見られた．これは，本人同士の顔画像が対応付けられことで統合画像列を生成し，個人を識別する手法につず画像列の生成失敗が発生したことが原因と考えられいて述べた．提案手法では，画像列を用いた識別手法

る．この結果より，提案手法の識別性能は閾値に依存を適用するために，個人識別という全体問題を，比較するため，適切な閾値の設定が重要である．以上，実的解くことが容易な対応付け問題へと階層的に分け，

験結果により提案手法の階層的な対応付けによる個人

最終的に統合する枠組みを用いた．提案手法の有効性

識別の有効性を確認できた．

を 349 人の歩行者データベースを用いた実験により確

5. 2 隠れが生じる場合の統合画像列生成

認した．

この節では，追跡処理で問題とされる隠れに対し今後の課題として，模擬実験ではなく複数歩行者にて，階層的な対応付けの有効性について述べる．提案

よる隠れが実際に生じているデータベースでの性能評手法を用いたシステムを，通路に設置し歩行者を撮影

価，提案手法とは異なる対応付けの手法を用いた場合した．図 15 に，このシステムを用いて撮影した画像との性能比較，階層的な対応付けで誤って他人の顔画の例を示す．この例では，廊下を同時に歩く 3 人の歩像が統合される割合を減らすために閾値設定以外の方

行者が，お互いに相手の前面へ回りこむことで，隠れ法を検討すること，カメラの配置方法の検討が挙げらを意図的に発生させた．横幅が約 160cm の廊下の両れる．
9電子情報通信学会論文誌 xxxx/xx Vol. Jxx–X No. xx
TimeCamera1

Camera2

図 15

隠れを伴う歩行者を撮影したシーケンスの例 (上下の組は同時刻に獲得したフレー
ムを表す)
Fig. 15 Example of a video sequence captured from moving people with occlusion.
The pair of upper and lower images represent the same frame acquired
simultaneously.

Individual 1
Individual 2
Individual 3

図 17 生成された統合画像列の例
Fig. 17 Examples of connected sets.

文

献“Face Recognition from Long-Term Observations,”
7th European Conference on Computer Vision, pp.

赤松 茂, “コンピュータによる顔の認識 –サーベイ–,” 信
学論 D-II Vol. J80-D-II, No. 8, pp. 2031-2046, 1997[2] V. Blanz, and T. Vetter, “Face Recognition Based on
Fitting a 3D Morphable Model,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 25, no.
9, pp. 1063-1074, 2003.
[1]

[3]

851 - 868, 2002.
[9]

Recognition of Human Faces from Video,” The IEEE
International Conference on Image Processing, Vol.
I, pp. 41 - 44, 2002.
[10]

H. Wang, S. Z. Li, and Y. Wang, “Generalized Quo-

[4]

ing Research, 4:913-931, pp. 913-931, 2003.
[11]498 - 505, 2004.

tion from Image Sets using Robust Kernel ResistorAverage Distance,”, The First IEEE Workshop on

Subspace Orthogonalization,” 7th International Con-

Face Processing in Video, 2004.
[12]

鹿毛 裕史, 羽島 一夫, 三輪 祥太郎, 橋本 学, M. Jones,
J. Thornton, “ロバスト顔追跡によるベストショット顔画
像記録システム,” 第 10 回画像センシングシンポジウム講[13]

Z. Yang, H. AI, B. Wu, S. Lao, and L. Cai, “Face Pose

ference Automatic Face and Gesture Recognition, pp.
163 - 168, 2006.

[7]

age,” 7th International Conference Automatic Face

Estimation and its Application in Video Shot Selec-

and Gesture Recognition, pp. 49 - 54, 2006.

tion,” International Conference on Pattern Recogni-

西山 正志, 山口 修, 福井 和広, “多重制約相互部分空間法を用いた顔画像認識,” 電子情報通信学会論文誌 D-II Vol.
J88-D-II, No. 8, pp. 1339 - 1348, 2005.
河原 智一, 西山 正志, 山口 修, “直交相互部分空間法を用いた顔認識,” 情報処理学会 コンピュータビジョンとイ
メージメディア研究会 2005-CVIM-151 (3), pp. 17 - 24,
2005.
[8] G. Shakhnarovich, J. W. Fisher, and T. Darrell,

10

演論文集, pp. 541 - 546, 2004.

M. Nishiyama, and O. Yamaguchi, “Face Recognition
Using the Classiﬁed Appearance-based Quotient Im-[6]

O. Arandjelovic, and R. Cipolla, “Face Recogni-

T. Kozakaya, and O. Yamaguchi, “Face Recognition
by Projection-based 3D Normalization and Shading[5]

L. Wolf, and A. Shashua, “Learning over Sets using
Kernel Principal Angles,” Journal of Machine Learn-

tient Image,” IEEE Computer Society Conference on
Computer Vision and Pattern Recognition, vol. 2, pp.

R. Chellappa, V. Kruger, and S. Zhou, “Probabilistiction 2004, pp. 322 - 325, 2004.
[14]

J. G. Wang, R. Venkateswarlu, and E. T. Lim, “Facetracking and recognition from stereo sequence,” 4thInternational Conference on Audio- and Video-based
Biometric Person Authentication, pp. 145 - 153, 2003.

[15]

小原 ゆう, 八木 康史, 横山 太郎, 谷内田 正彦, “全方位画像列からの個人識別,” 情報処理学会論文誌:コンピュータ

論文／顔画像の階層的な対応付けを用いた複数歩行者の認識

湯浅真由美 （正員）

ビジョンとイメージメディア, Vol. 43, No. SIG 4(CVIM4) , pp.95 - 104, 2002.
[16]

1990 阪大・理・物理卒．1992 同大大学
院博士前期課程了．同年（株）東芝入社．
現在，同社研究開発センターマルチメディ
アラボラトリー研究主務．コンピュータビ
ジョンに関する研究開発に従事．

H. Tanaka, I. Kitahara, H. Saito, H. Murase, K.
Kogure, and N. Hagita, “Dynamically Visual Learning for People Identiﬁcation with Sparsely Distributed Cameras” 14th Scandinavian Conference on
Image Analysis, pp. 130 - 140, 2005.

加藤 丈和, 向川 康博, 尺長 健, “安定な顔認識のための分散
協調登録, ”, 電子情報通信学会論文誌 D-II, Vol.J84-D-II,
No.3, pp.500 - 508, 2001.
[18] A. Nakazawa, H. Kato, S. Hiura, and S. Inokuchi,“Tracking Multiple People using Distributed Vision
[17]

柴田 智行
2003 和歌山大・システム工・情報通信シ

ステム卒．2005 同大大学院博士前期課程
了．同年 (株) 東芝入社．現在，同社研究開発センターマルチメディアラボラトリー
勤務．コンピュータビジョン，パターン認識等の研究に従事．

Systems,” International conference on Robotics &Automation 2002, pp. 2974 - 2981, 2002.
[19]

N. Ukita, and T. Matsuyama, “Real-time Cooperative Multi-target Tracking by Communicating Active
Vision Agents,” Computer Vision and Image Understanding, Vol. 97, No. 2, pp. 137 - 179, 2005.

[20]

若杉 智和

L. Wiskott, J. Fellous, N. Kruger, and C. Malsburg,“Face Recognition by Elastic Bunch Graph Match-1996 阪大・基礎工・物理卒．1998 同大

ing,” IEEE Trans. Pattern Analysis and Machine In-

大学院博士前期課程了．同年（株）東芝入社．現在，同社研究開発センターマルチ
メディアラボラトリー勤務．画像処理によるヒューマンインタフェースの研究開発に従事．

telligence, vol. 19, no. 7, pp. 775 - 779, 1997.
[21]

T. Mita, T. Kaneko, and O. Hori, “Joint Haar-like
Features for Face Detection,” Tenth IEEE International Conference on Computer Vision 2005, pp.1619- 1626, 2005.

[22]

[23]

福井 和広, 山口 修, “形状抽出とパターン照合の組合せによる顔特徴点抽出,” 信学論 (D-II), Vol. J80-D-II, No.
8, pp. 2170 - 2177, Aug. 1997.
武口 智行, 湯浅 真由美, 山口 修, “角点を持つ顔特徴点の検出,” 第 6 回計測自動制御学会システムインテグレー
ション部門講演会 (SI2005) 講演論文集, pp.1103 - 1104,
2005.
（平成 xx 年 xx 月 xx 日受付）

（正員）

山口

修

（正員）

1992 岡山大・工・情報卒．1994 同大大学院工学研究科了．同年 (株) 東芝入社．
現在，同社研究開発センターマルチメディ
アラボラトリー研究主務．コンピュータビ
ジョン・顔画像処理の研究に従事．1996 情報処理学会全国大会優秀賞，2002 本会論文賞，2003 情報処理学会山下記念研究賞受賞．情報処理学会会員

西山

正志 （正員）2000 岡山大・工・情報卒．2002 同大大学院博士前期課程了．同年 (株) 東芝入社．
現在，同社研究開発センターマルチメディ
アラボラトリー勤務．顔画像認識の研究に従事．2006 本会パターン認識・メディア理解研究会研究奨励賞受賞, 2007 第 12 回
画像センシングシンポジウム優秀論文賞受賞．計測自動制御学会会員

11