4B2
統計的モデルを用いた見えの変化に頑強な歩容による個人識別新崎誠 ∗1 , 岩下友美 ∗2 , 小川原

光一 ∗3 , 倉爪亮 ∗2

Gait based person identiﬁcation robust to appearance changes
Makoto Shinzaki∗1 , Yumi Iwashita∗2 , Koichi Ogawara∗3 and Ryo Kurazume∗2∗1 Graduate School of Information Science and Electrical Engineering, Kyushu University

744 Motooka Nishi-ku Fukuoka, 819-0395, Japan∗2 Faculty of Information Science and Electrical Engineering, Kyushu University

744 Motooka Nishi-ku Fukuoka, 819-0395, Japan∗3 Wakayama University
930 Sakaedani Wakayama, 640-8510, Japan

Person identiﬁcation from gait images is generally sensitive to appearance changes,
such as variations of the walking direction. In general conventional methods have focused on
training a model to transform gait features or gait images to those at a different viewpoint, but
the performance gets worse in case the model is not trained at a viewpoint of a subject. In thispaper we propose a novel gait recognition method in that the subject’s sequential 3D models
and his/her motion are directly reconstructed from captured images, and arbitrary viewpoint
images are synthesized from the reconstructed 3D models for the purpose of gait recognition
robust to changes in the walking direction. Moreover, we propose a gait feature, namedMultiple-Interval Active Energy Image (MIAEI). The efﬁciency of the proposed method isdemonstrated through experiments using a database that includes 41 subjects.
Key Words : Gait, shadow biometrics, robustness to appearance changes

1. はじめ(8)に別が可能な手法を提案した ．また，建物の上階から特定人物の識別・発見を目的とした広域監視システ

地面に対して斜めに対象人物を撮影する場合，対象人

ムは，安全な社会の実現のみならず，個人適応型サー物の形状情報は，影領域と実際の全身領域の両方からビスロボットの実現においても重要な技術である．特得られる．ここで，実際の全身領域はカメラの視点かに，対象人物に特別な動作を行わせることなく，かつら撮影されている一方で，影領域は別視点に設置され非接触に取得可能な生体情報の 1 つとして，歩容が注た仮想カメラから観測される領域と見なせる．そのた

目されている ．一般的な歩容による個人識別では，め，これら 2 視点から得られる情報を用いることで，カメラにより撮影された対象人物の歩行画像列から，より高い識別率で個人識別が実現できる．しかし，カ対象人物の見えに基づいた歩行特徴を抽出して識別をメラに対する対象人物の歩行方向や太陽の位置がデー行う．従来手法では，生体情報を取得する際に，対象タベースのそれと異なる場合，見えの情報が変化する人物の全身が撮影されるようにカメラを配置していた．

ため，識別性能が低下する．

(4)

しかし，例えばより広範囲な監視システムの構築を目

対象人物とデータベースとでカメラに対する歩行方的として，建物の屋上や低高度飛行船などに設置され向が異なる場合でも，頑強に個人識別を行う手法が従たカメラの撮影画像を用いる場合，対象の全身領域が来提案されている十分に観測できないため，個人識別は困難となる．

まず多数の視点から撮影された歩行画像を予め用意しこの問題に対して岩下らは，太陽や照明などによりておき，変換モデルを学習する．次に変換モデルを用

地面に投影される対象人物の影領域を，“ 影生体情報 ”

いて，対象人物の撮影画像や歩行特徴を，データベーとして用いることで，上空からの撮影画像でも個人識スの視点における歩行画像や歩行特徴に変換して，個(3) (5) (9) (10)．従来手法では一般的に，人識別を行う．しかし，変換モデルの学習データは対九州大学大学院システム情報科学府（〒 819-0395 福岡市西区元岡 744 番地）shinzaki@irvs.ait.kyushu-u.ac.jp∗2 九州大学大学院システム情報科学研究院（〒 819-0395 福岡市西区元岡 744 番地）{yumi, kurazume}@ait.kyushu-u.ac.jp∗3 和歌山大学システム工学部光メカトロニクス学科（〒 6408510 和歌山市栄谷 930 番地）ogawara@sys.wakayama-u.ac.jp∗1

象人物を含まないため，対象人物の歩行画像から合成された画像は，実際の画像と一致しない可能性がある．
対象人物の見えの変化に頑強な個人識別を実現する

第 20 回ロボティクスシンポジア（2015 年 3 月 15 日～ 16 日－ 342 －軽井沢）

ために，提案手法ではまず，対象人物の撮影画像から3 次元形状および歩行動作を推定する。次に，推定された 3 次元形状・歩行動作からデータベースと同じ視点における画像を合成することで，歩行方向の変化に頑強な個人識別を実現する．ここで，提案手法では次の 3 つの問題を解決する．

1. 画像から対象人物の動作を推定するには，一般的にマーカレスモーションキャプチャシステム(11)(2)が用いられる．しかしその場合，対象人物に固有な骨格を持つ 3 次元形状が予め必要となる．

2. 画像中で対象人物に自己オクルージョンが存在

Fig. 1 提案手法で想定するシナリオ

する場合，動作の推定精度は低下する．複数のカメラにより対象人物を撮影することで精度の向上は図れるが，例えば，個人識別システムを公共のセキュリティのために用いる場合，単一カメラが望ましい．

3. 動作推定に必要な対象人物の位置情報を取得するには，複数視点からの撮影画像が必要となる．
これらの問題を解決するために，提案手法ではまず，
平均 3 次元形状と数個の形状パラメータからなる統(12)計的形状モデルを導入して，モーションキャプチャシステムによる動作推定と同時に対象人物の 3 次元形状を推定する．また自己オクルージョンに頑強な動作推定のために，平均歩行動作モデルと数個の動作パラメータからなる統計的歩行動作モデルを提案する．ここで，統計的形状モデルおよび統計的歩行動作モデル
では，パラメータを変更することで様々な全身形状お提案手法では，まず撮影画像中における対象人物の全身・影領域に対してモーションキャプチャシステムを適用し，統計的モデルのパラメータを推定することで，対象の 3 次元形状と歩行動作を推定する．次に，データベースと同じ視点における画像を合成する（Fig.1）．さらに，提案する歩行特徴 Multiple-Interval

Active Energy Image (MIAEI) を，合成画像およびデータベース内の画像から抽出して，個人識別を行う．
本論文の構成は次のようになっている．第 2 章では，まず統計的形状モデルについて説明し，次に統計的歩行動作モデルを紹介する．第 3 章では，統計的モデルのパラメータ推定手法と新たに提案する歩行特徴について説明する．第 4 章では，提案手法の有効性を実験により示し，第 5 章では結論を述べる．

よび歩行動作を表現可能である．そのため，画像上で2. 統 計 的 モ デ ル

観測可能な対象人物の領域から，各パラメータを推定

本章では，まず統計的形状モデルを紹介し，次に統することで，オクルージョンに頑強に対象人物の形状計的歩行動作モデルについて説明する．これらのモデや歩行動作を推定する．さらに，複数視点における画ルは，複数の被験者からなるデータセットを用いて構像を単一カメラから得るために，影生体情報に基づく築される．

対象人物の全身領域と影領域を用いる．

2·1 統計的形状モデル

ここで本論文では，統計的形状モデルと統計的歩行(12)統計的形状モデル

は，動作モデルを総称して，統計的モデルと呼ぶ．また，

97 名の被験者 (男性 49 名，女性 48 名) の 3 次元モデ(1)
ルからなる，AIST/HQL データセット を用いて構築

建物の上階から地面に対して斜めに対象人物は撮影さされている．本モデルは，平均 3 次元形状と 11 個のれており，画像中には対象人物の全身・影領域が観測形状パラメータからなり，形状パラメータの重みを変されているとする．これに対してデータベースは，よえることで，様々な形状を表現可能である．まず，平り一般的な画像である，対象人物の全身領域のみが撮均形状 x¯ を，x¯ = N1 ΣN
i=1 xi と定義する．ここで，N は影された画像で構築されていると仮定する（Fig.1）．

被験者の 3 次元モデルの数である．また，被験者 i の

ここで提案手法では，識別画像とデータベースの両方3 次元モデルを xi = (xi1 , yi1 , zi1 , · · · , xik , yik , zik )T (k は 3次元モデルの頂点数) と表す．次に，平均形状 x¯ と被験者 i の 3 次元モデル xi の差を，dxi = xi − x¯ と定義から形状・歩行動作の推定が可能な場合，その情報を用いて直接個人識別を行う方法も考えられる．しかし，本論文で想定する環境では，データベースの歩行画像から形状・歩行動作の推定ができないため，個人識別し，(dx1 , dx2 , · · · , dxN )T に対して固有値分解を適用して，固有値と固有ベクトルを得る．最後に，統計的形は歩行画像に基づいて行う．

－ 343 －

Fig. 3Fig. 2

統計的形状モデルの平均 3 次元形状と形状パ

4 次元歩容データベースを構成する時系列 3次元歩行モデルの例

ラメータ状モデルを以下の式により構築する．

x = x¯+ Eb.

(1)(a) 1 歩行周期分の平均歩行動作モデルここで，E = (e1 , e2 , · · · , et ) は固有ベクトル，b =(b1 , b2 , · · · , bt )T は形状パラメータである．固有ベクト

ルは固有値の累積寄与率が 95% 以上となるように，寄与率の高い方から 11 個を選択している．Fig.2 に，形状パラメータによる形状変形の例を示す．Fig.2 から，例えば，パラメータ 1 の重みを変えることで身長が変化していることが分かる．

2·2 統計的歩行動作モデル
統計的歩行動作モ
デルの構築には，歩行者の 1 歩行周期分の 3 次元モデ(7)ルからなる，4 次元歩容データベース を用いる．デー(b) 動作パラメータによる歩行動作の変更例

タベースは 41 名の歩行者の，各 4 シーケンス分の 3次元形状からなる (Fig.3)．

Fig. 4(11)まず，マーカレスモーションキャプチャを用いて，データベース内の歩行者の歩行動作を推定する．1.1
節で述べたように，歩行動作の推定には歩行者に固有の，骨格を持った 3 次元形状が必要である．そこで，骨格を組み込んだ統計的形状モデルを用いて，歩行者の 3 次元形状を推定する．具体的には，まず復元され統計的歩行動作モデルの平均歩行動作モデルと動作パラメータ離散コサイン変換を適用し，パワースペクトル d sj =sss
T(d(1,j) , d(2, j) , · · · , d(F, j) ) を得る．各関節におけるパワーssss, d(2,1), · · · , d(F−1,J), d(F,J))T
スペクトルから Ds = (d(1,1)

を生成し，ベクトル K = (D1 , D2 , · · · , DS ) とする．K にた各人物の 3 次元形状に対して，統計的形状モデルを固有値分解を適用し，以下の式により統計的歩行動作当てはめて形状パラメータを推定する．次に，統計的モデルを構築する．

形状モデルに対して全体で 30 の自由度を持つ骨格モデルを組み込み，歩行者の歩行動作を推定する．
歩行動作の推定後，各シーケンスのフレーム数を Fに正規化する．本論文では，F = 22 としている．次に，推定された歩行動作に対して周波数解析を行い，

K = K̄ +V w.

(2)

ここで，V = (v1 , v2 , · · · , vt ) は固有値ベクトル，w =(w1 , w2 , · · · , wt )T は歩行動作パラメータである．固有ベクトルは，累積寄与率が 95% 以上となる 20 個を選その結果に対して主成分分析を適用する．ここで，周択している．Fig.4 に歩行動作パラメータによる動作波数解析を行うのは，歩行動作が周期的な動作であるの変更の例を示す．

ことに基づいている．
平均角度ベクトルを U js = (us(1, j) , us(2, j) , · · · , us(F, j) )Tと定義する．ここで，us(i, j) はシーケンス s (1 ≤ s ≤S) における関節 j(1 ≤ j ≤ J) の関節角度であり，また S はシーケンス数，J は関節の数である．U js に

3. 歩行方向の変化に頑強な個人識別
本章では，提案手法の詳細と，提案する歩行特徴

Multiple-Interval Active Energy Image (MIAEI) について述べる．

－ 344 －

(a) 合成画像のシルエット・輪郭線

Fig. 5

3·1

対象人物の 3 次元形状・歩行動作の推定の流れ (より適切な形状・歩行動作に◯を示す)(b) 識別画像のシルエット・輪郭線

影生体情報を用いた形状・歩行動作の推定

Fig. 6 パラメータ評価のための輪郭線抽出

対象人物の全身領域と影領域を併用することで，単一カメラの撮影画像から，2 視点分の画像を取得できラメータとなる固有ベクトルを累積寄与率が 95% 以上る．そのため，カメラに対する光源の位置と姿勢が既となるように選んだ．そのため，推定される 3 次元形知であれば，全身・影領域から対象人物の位置情報を状は対象人物の実際の 3 次元形状に対して，ノイズを推定できる．本論文では，対象人物の位置情報は既知含んでいる可能性が高い．そこで本節では，ノイズにと仮定し，形状・歩行動作の推定に焦点を当てる．対頑強な歩行特徴として Multiple-Interval Active Energy

象人物の位置情報の推定は，今後の課題である．

1.1 節で述べたように，本論文では，識別画像ではImage(MIAEI) を提案する．MIAEI は Active Energy
Image (AEI) (13)を基にした特徴である．AEI は，歩行対象人物の全身・影領域が観測可能な一方で，データ画像から得られる歩行者のシルエット画像を用いて，ベースの画像は全身領域のみが観測されていると仮定以下の式により求められる．

する．そのため，識別画像を用いて対象人物の形状おFa( f , x, y)F
f =1

A(x, y) = ∑よび歩行動作を推定した後，データベースと同一の歩行方向における歩行画像を合成する (Fig.1)．次の手順により，統計的モデルのパラメータを推定することで，a( f , x, y) =対象人物の 3 次元形状・歩行動作を推定する．また，パラメータ推定の流れを Fig.5 に示す．

 I( f , x, y)

(3)

f =0

 ||I( f , x, y) − I( f − 1, x, y)||

f >0

(4)

1. まず統計的モデルを対象人物の位置へ移動させ

ここで，F は 1 歩行周期分のシルエット画像のフレーる．ここで，対象人物の位置情報は既知としていム数，I( f , x, y) はフレーム f のシルエット画像のピクる．次に，光源の位置情報に基づいて統計的モデ

セル (x, y) における輝度値を表す．一方，MIAEI の抽出

ルの影を地面に投影し，Fig.5 に示すように仮想ではまず，フレーム f とフレーム f − ∆ f のシルエット

視点における歩行画像を合成する．

画像から，以下の式に基づいて差分画像を生成する．

2. 合成画像および識別画像から得られる，対象人S f (∆ f , x, y) = ||I( f , x, y) − I( f − ∆ f , x, y)||物と統計的モデルのシルエットを用いて，輪郭線を抽出する．(Fig.6 (a) (b))

3.

識別画像の輪郭線上の各点 pi に対して，合成画像の輪郭線上の最近傍点 q j を求め，評価値

ここで，1 ≤ ∆ f ≤ F − 1 である．次に，1 歩行周期分のシルエット画像から生成される差分画像を用いて，以下の式により MIAEI を求める．

d = Σi (pi − q j )2 を算出する．最急降下法により形F

S f (∆ f , x, y)F −∆ff =∆ fMIAEI(∆ f , x, y) = ∑状・動作パラメータを求める．

4. 1～3 を，1 歩行周期の各画像に対して繰り返す．
3·2

Multiple-Interval Active Energy Image (MI-AEI)

統計的形状・歩行動作モデルの構築では，パ(5)(6)∆ f = 1 と ∆ f = 2 における MIAEI の例を，Fig.7 (a)および (b) に示す．AEI および MIAEI は，得られる差分画像を平均化することで，ノイズに対する頑健性を実現している．また，MIAEI は複数のフレーム間隔－ 345 －

(a) 視点 θ1 における歩行画像(a) ∆ f = 1 における平均画像(b) 視点 θ2 における歩行画像

Fig. 8 識別用・データベース用の歩行画像(b) ∆ f = 2 における平均画像

Fig. 7 Multiple Interval Active Energy Image(a) 視点 θ1 における合成画像(∆ f ) における平均画像をそれぞれ求めることで，時間情報を有する歩行特徴の抽出が可能となる．

3·3 個人識別
個人識別は，最近傍探索と投票(7)による手法 を組み合わせて行う．まず，データベース内の歩行画像から MIAEI を予め抽出しておく．次に，提案手法を識別画像に適用して得られる合成画像からも，同様に MIAEI を抽出し，データベース内の最も類似した特徴を持つ人物に投票する．この操作をフレーム間隔 1 ～ ∆ f において行い，最後に，最も多(b) 視点 θ2 における合成画像

くの投票を得た人物に識別する．

4. 実

Fig. 9 形状および歩行動作の推定結果

験

本章では，歩行方向の変化に対して，提案手法を適類似した画像が合成されていることが分かる．ここで，用した実験の結果について述べる．今回の実験では，

1.1 節で述べたように，統計的モデルを導入した目的(5)4 次元歩容データベースを用いた ．データベースは
41 名の歩行者の，各 4 シーケンス分の 3 次元モデルからなる．歩行者の 3 次元モデルを，視点 θ1 ，視点 θ2

は，画像上に対象人物の自己オクルージョンが存在すに設置された仮想カメラにより撮影し，得られた歩行較することで，推定の精度を検討する．Fig.9 (b) から，画像を用いて実験を行った (Fig.8)．

視点 θ1 においてオクルージョンとなっていた，3 フ

4·1 推定された統計的モデルの評価

まず，合成画像，識別画像およびデータベースを用いて，推定る場合でも，頑強に 3 次元形状・歩行動作を推定するためである．そこで，視点 θ2 における歩行画像を比レーム目の対象人物の右腕や 5 フレーム目の右膝においても，正確に復元されていることが分かる．

されたパラメータを評価する．Fig.9 (a) の上段に識別画像のシルエットの例を，下段に提案手法により得ら

4·2 提案手法による個人識別

本節では，提案手れた合成画像のシルエットの例を示す．この結果から，法を用いた個人識別を交差検証に基づいて行い，提案パラメータを推定した視点 θ1 において，識別画像とする MIAEI と他の歩行特徴を用いた場合の識別結果－ 346 －GEI (4)
AEI(13)

AMI(6)

78.66

GEI (4)

34.15

78.05

(13)

46.95

(6)

28.66

AEI

90.24

AMI

フレーム間隔 : ∆ f

Proposed
MIAEI
Table 1

175.61

フレーム間隔 : ∆ f～6～ 11～ 16～ 21

85.37

89.63

90.24

89.63

視点 θ1 における歩行画像を認証画像およびProposed
MIAEI
Table 2

データベースとした時の識別率 [%].

1
45.12～6～ 11～ 16～ 21

50.61

59.76

62.80

68.29

視点 θ1 における歩行画像を認証画像，θ2 における歩行画像をデータベースとした時の識別率 [%].

を比較する．本実験では，他の特徴として Gait Energy

Image (GEI) (4), Active Energy Image (AEI) (13), およびAfﬁne Moment Invariants (AMI)

(6)

を用いた．

まず，視点 θ1 における歩行画像を，識別画像およびデータベースとして用いた時の識別結果を表 1 に示す．表 1 から，AMI および MIAEI が最も高い識別率を示していることが分かる．次に，視点 θ1 における歩行画像を識別画像として，視点 θ2 における歩行画像をデータベースとした時の識別結果を表 2 に示す．
既存の歩行特徴である GEI，AEI および AMI を用いた場合の識別率が大きく低下した一方で，MIAEI は高い識別率を示した．

5. ま と め
本論文では，歩行方向の変化に頑強な個人識別手法を提案した．提案手法では，まず統計的モデルを用いて，撮影画像から対象人物の 3 次元形状・歩行動作を推定する．次に推定された 3 次元モデルからデータベースと同一の視点における歩行画像を合成する．また，ノイズに頑強な歩行特徴として，Multiple-IntervalActive Energy Image (MIAEI) を提案した．実験では，41 人の歩行者からなる 4 次元歩容データベースを用いて個人識別を行い，提案手法の有効性を示した．
今後は，屋外に設置されたカメラにより撮影された歩行画像に対して提案手法を適用し，個人識別を行う予定である．またその後，実環境における実験を予定しているが，背景が複雑な場合や，複数の人物が画像上で重なった場合などに対する処理については今後の課題である．
参 考 文 献(1) https://www.dh.aist.go.jp/database/fbodydb/index.
html.
(2) D. Droeschel and S. Behnke. 3d body pose
estimation using an adaptive person model forarticulated icp. Int. Conf. on Intelligent Robotics
and Applications, pages 157-167, 2011.

(3) R. Felez and T. Xiang. Uncooperative gait recognition by learning to rank. Pattern Recognition, volume 47, pages 3793-3806, 2014.
(4) J. Han and B. Bhanu. Individual recognition using
gait energy image. Trans. on Pattern Analysis andMachine Intelligence, vol 28, pages 316-322, 2006.
(5) Y. iwashita and r. baba and k. ogawara and r.
kurazume. P. identiﬁcation from spatio-temporal 3D
gait. Int. Conf. on Emerging Security Technologies,
pages 30-35, 2010.
(6) Y. Iwashita and R. Kurazume. Person identiﬁcationfrom human walking sequences using afﬁnemoment invariants. IEEE Int. Conf. on Robotics andAutomation, pages 436-441, 2009.
(7) Y. Iwashita, K. Ogawara, and R. Kurazume.
Identiﬁcation of people walking along curved
trajectories. Pattern Recognition Letters, volume46, pages 60-69, 2014.
(8) Y. Iwashita, A. Stoica, and R. Kurazume. Gait
identiﬁcation using shadow biometrics. PatternRecognition Letters, volume 33, pages 2148-2155,
2012.
(9) W. Kusakunniran, Q. Wu, J. Zhang, and H.
Li. Support vector regression for multi-view gait
recognition based on local motion feature selection.
Computer Vision and Pattern Recognition, pages
974-981, 2010.
(10) D. Muramatsu, A. Shiraishi, Y. Makihara, and Y.
Yagi. Arbitrary view transformation model for gait
person authentication. Int. Conf. on Biometrics:
Theory, Applications and Systems, pages 85-90,2012.
(11) K. Ogawara, X. Li, and K. Ikeuchi. Markerless human motion estimation using articulated
deformable model. IEEE Int. Conf. on Robotics andAutomation, pages 46-51, 2007.
(12) 垂水 信二, 岩下 友美, 倉爪 亮. 統計的人体モデルを用いた個体適応型モデルベースド・モーション
キャプチャの開発. 画像の認識・理解シンポジウ
ム (MIRU2011), pages IS3-48 1193-1200, 2011.
(13) E. Zhang, Y. Zhao, and W. Xiong. Active energy
image plus 2dlpp for gait recognition. Signal
Processing, volume 90, pages 2295-2302, 2010.

－ 347 －