「画像の認識・理解シンポジウム (MIRU2010)」 2010 年 7 月

影に着目した歩行画像からの個人識別岩下友美†

AdrianStoica††倉爪亮†† 九州大学 大学院システム情報科学研究院
819-0395 福岡市西区元岡 744†† Jet Propulsion Laboratory, California Institute of Technology
4800 Oak Grove Drive, Pasadena, CA 91109, USA
E-mail: †yumi@ait.kyushu-u.ac.jp
あらまし 本論文では，街頭カメラなどよりも大幅に対象範囲の広い監視システムの構築を目的として，ビル屋上や低高度飛行船などに設置されたカメラにより上方から撮影された画像から得られる，日中であれば太陽，夜間であれば照明により地面に投影された対象人物の影を用いた，歩容による個人識別手法を提案する．従来提案されている歩容による個人識別手法では，対象人物の全身形状に基づき歩行特徴を抽出しているため，対象人物の全身領域が十分に取得されない上方からの撮影画像を用いた場合，識別率が低下する．これに対し，提案手法は地面に投影された影に着目して，歩行動作を行う対象人物の影領域から歩行特徴を抽出することで，上方からの撮影画像を用いた場合でも個人識別が可能である．提案手法ではまず，上方より撮影された時系列歩行画像から，地面に投影された影領域を抽出し，次に一歩行周期における影領域の長さの周期性を球面調和関数により解析する．実際に屋外で撮影された歩行画像を用いて個人識別実験を行い，従来手法と比較して，提案手法は高い識別率で個人識別可能であることを示す．
キーワード 影生体情報，歩容，個人識別，球面調和関数

People identification using shadow dynamics
Yumi IWASHITA† , Adrian STOICA†† , and Ryo KURAZUME†† Kyushu University
Motooka, Nishi-ku, Fukuoka 819-0395, JAPAN†† Jet Propulsion Laboratory, California Institute of Technology
4800 Oak Grove Drive, Pasadena, CA 91109, USA
E-mail: †yumi@ait.kyushu-u.ac.jp
Abstract The exploitation of biometrics information in human shadow silhouettes (shadow biometrics), derived
from video imagery after processing by gait analysis methods opens new avenues in remote biometrics. For theﬁrst time it becomes possible to obtain ”overhead” biometrics, which may lead to recognition of human identityand behavior from high altitude airborne platforms using overhead video sequences. ”Shadow biometrics” may use
shadow information without body information, or in combination with it, as an additional perspective approximately equivalent to the use of a second camera. We took recordings and created a gait database in which both
shadows and bodies are visible and used it to provide a ﬁrst demonstration of the human gait recognition fromshadow analysis. Only the information from shadows was used, which appears appropriate for overhead surveillance. We select a set of horizontal on the silhouette, for which we determine their length; this determines a setof varaibles in time, to which we apply spherical harmonics for each gait cycle. A k-nearest neighbor classiﬁcation
is applied to spherical harmonic coeﬃcients. A subset of only 5 diﬀerent subjects were used in this work to avoid
biasing the results since we did not compensate for changing of sun position wiht time; the correct classiﬁcation
rate (CCR) was 95 %. In additional tests, we reduce spatial and temporal resolution of the images to 50 % each,
which reduced the CCR to 80 %.
Key words Shadow biometrics, gait, people identiﬁcation, spherical harmonics transforms

IS2-13：848

フーリエ変換に基づき，一歩行周期分のシルエット画像

1. は じ め に列から時空間ボリュームを構築して，各ピクセル毎に時特定人物の識別・発見を目的とした広域監視システム

間軸に沿って 1 次元フーリエ変換を適用することで，歩を実現する上で，例えば歩行動作や顔など画像から得ら

行特徴を抽出する手法が提案されている [10]．しかし，れる生体情報を用いた個人識別システムは重要な研究課

これらの手法に共通して，歩行特徴の次元数は画像解像題の一つである．従来，これらの生体情報を取得する際度に比例して増加するという問題がある．データベースには，対象人物の顔や全身が撮影されるようにカメラはのメモリ量は対象人物の人数と特徴の次元数の積に比例配置されていた．しかし，例えばより広範囲の監視シスするため，高い画像解像度を有する大規模データベース

テムの構築を目的として，建造物の屋上や低高度飛行船に対して従来手法を適用した場合，膨大なメモリ量が必などに設置されたカメラ画像を用いる場合，生体情報の要となる．

取得に必要な対象人物の領域は上方からでは十分に撮影

これに対し，歩行特徴としてアフィンモーメント不変されないため，個人識別は困難となる．これに対して，量を用いることで，特徴量の次元数が画像解像度に依存

図 1 [1] に示すように，日中であれば太陽，また夜間でせず，かつ比較的低次元で高い識別性能を実現する手法

あれば照明により対象人物の全身が地上に投影される場が提案されている [11]．しかし，シルエット領域の解像

合，上空からの撮影画像でも，対象人物の投影領域から度が低い場合，識別率が低下する問題がある．

個人識別に必要な生体情報が取得できる可能性がある．

上空または建造物の上に設置されたカメラを用いる場

Stoica [2] はこの地面に投影された人物領域を新たな生体情報である 影生体情報 として提案したが，具体的な個人識別手法は示していない．そこで本報告では，影画像データベースの構築と影生体情報による個人識別手法を提案し，影生体情報により個人識別が可能であることを示す．
影生体情報に基づき個人識別を行う手法として，歩行動作を用いる方法が考えられる．従来提案されている
歩行による個人識別手法は大きく分けて次の 2 つの手法，モデルベース法とアピアランスベース法がある．まずモデルベース法では，一般的に人体モデルを用いて入力画像から歩幅や脚の関節角度といった歩行特徴を抽出する [3] [4] [5]．しかし例えば脚が交差して自己オクルー
ジョンが発生する場合など，入力画像に対して人体モデ
ルの当てはめが困難な場合には，識別率が低下する問題がある．
一方，アピアランスベース法は人体モデルを用いることなく，歩行者の 見え から歩き方および全身形状に基づく特徴を抽出する手法である．この手法では一般的に，まず撮影画像列から背景差分法により対象人物のシ
ルエット領域を抽出して，以下に示す様々な手法により歩行特徴を抽出する．BenAbdelkader らは，シルエット
画像列から自己類似性に基づき新たな画像を合成して，歩行特徴を抽出する手法を提案した [6]．Lee [7], Liu [8]らは，対象人物がある特定の姿勢をした際の画像をキー画像とし，キー画像と歩行画像列との正規化相関を求めることで，歩行特徴を抽出する手法を提案している．この手法を 100 名以上から成るデータベースに対して適用
して，96% の高い識別率で個人識別が可能であることを示している．また，フーリエ変換に基づく手法も高い
識別率で個人識別可能である [9]．この手法ではまず，シルエット画像内の人物領域から対称性に基づき新たな画像を合成して，合成画像に対して 2 次元フーリエ変換を適用することで，歩行特徴を抽出している．また同様に合，ズームレンズなどを用いず広範囲を一度に撮影すると，撮影画像における各々の影領域の解像度は低くなる．
そこで本報告では，このような解像度が低い影領域に対しても，高い識別率で個人識別可能な歩容による個人識別手法を提案する．提案手法では，まず撮影画像から背景差分結果に基づき影領域を抽出し，次に一歩行周期における影領域の長さの周期性を球面調和関数により解析して，その係数を歩行特徴量として用いる．
本報告の構成は以下の通りである．まず第 2 章では影
画像データベースの構築について述べる．次に第 3 章では影生体情報に基づく個人識別手法について述べ，第 4章では影画像データベースに対して提案手法を適用して実験を行い，本手法の有効性を示す．第 5 章はまとめと今後の予定である．

2. 歩行者の影画像データベース
影生体情報の有効性を示すためには影画像データベースが必要であるが，これまでに一般的な影画像データ
ベースは提案，公開されていない．そこで本研究では独自に影画像データベースを構築した．具体的にはまず，
ビデオカメラ (Canon, iVIS HF S10) を建物の上階に設置
して歩行者の画像を撮影した．画像解像度は 1920×1080，
フレームレートは 30Hz であり，また被験者の数は 20 名，
うち男性は 17 名，女性は 3 名である．被験者は図 2(a)に示すような星型の図形の 12 つの頂点間を，1 番から 2番，2 番から 3 番という順番で歩いており，最後の 13 番に到達するまでに合計 12 回歩く方向を変化させている．
図 2(b) に撮影された画像の例を示す．

3. 影生体情報による個人識別
本章では地面に投影された対象人物の影から生体情報を取得する手法について述べる．まず，2 章で構築した影画像データベースから影領域のみを抽出する方法について述べ，次に時系列の影領域から歩行特徴を抽出する

IS2-13：849

(a)

(b)

(c)

図 1 (a) Remote sensing imagery (Google [1]), (b) magniﬁed and rotated 32 degrees clockwise, (c) further magniﬁcation of smaller window on top. Whatlooks like humans are, in fact, shadows. Heads and shoulders are small areasat the bottom (legs) of the shadows.

12

7

2

5

9
2

4

10

3

3

11
8

1(13)

6

(a)

(b)

図 2 (a) Diﬀerent directions of walking, (b) Image illustrating the real world
set-up, and person walking, with shadow visible.

手法について述べる．最後に，抽出された歩行特徴を用いた個人識別，及び提案手法の特徴について述べる．

3. 1 影領域の抽出
まず背景差分 [12] により，撮影画像から実際の人物領域，及び影領域を抽出する．図 3(a) に実際の画像，図

(a)

(b)

(c1)

(c2)

3(b) に背景差分結果を示す．次に実際の人物領域と影領域を手動により分割して，図 3(c2) に示すような影領域を抽出する．ここで，この画像において抽出された影領
域の高さはおよそ 80pixel である．さらに，抽出された
影領域において，高さが 100pixel になるようにアスペク
ト比を保ったまま影領域の大きさを変更する．

図 3 (a) A sample from the database, (b) its extracted target region, (c) body and shadow regions.

3. 2 歩行特徴の抽出
次に，抽出された対象人物の影領域から歩行特徴を求める．提案手法では，図 4(a) に示すように画像 I(x, y)

分の歩行ストライプを示す．これから，歩行動作と同様において x 軸に沿った影領域の両端間の距離 H(y, t) にに，歩行ストライプにも周期性があることがわかる．そ基づき歩行特徴を抽出する．ただし，t はフレーム番号

こで，この歩行ストライプの周期性を球面調和関数 [13]であり，また本論文では距離 H(y, t) を歩行ストライプを用いて解析し，歩行特徴を抽出する．

と呼ぶ．

3. 2. 1 球面調和関数に基づく歩行特徴抽出
球面調和関数 {Ylm (θ, φ) : |m| <= l ∈ N } は単位球面

また一例として，図 4(b) に y=30 に対する 3 歩行周期IS2-13：850

上 S 2 で定義された関数であり，以下の様に表わされる．
⎧ √⎪2Klm cos(mφ)Plm (cosθ)
m>0
⎨
√ 0 0
m
Yl (θ, φ) =2Kl Pl (cosθ)m = 0 (1)⎪⎩ √ m
2Kl sin(−mφ)Pl−m (cosθ) m < 0
ここで，θ ∈ [0, π]，φ ∈ [0, 2π]，Klm =



x

(a)

(2l+1) (l−|m|)!
4π (l+|m|)!

H(y,t) [pixel]
160

であり，Plm はルジャンドル陪関数である．3 次元球面上で定義された関数 f (θ, φ) は球面調和関数によって以

120
100

f (θ, φ) =

l


80
m
cm
l Yl (θ, φ).

60

(2)

40

l=0 m=−l

cm
l =


S

1 gait cycle

140

下のように展開される．
n−1

H(y,t)yf (θ, φ)Ylm (θ, φ)ds.

20
0

(3)

<
ここで，cml は球面調和関数の係数であり，また 0 = l < n,2|m| <= l であることから，係数の数は n つとなる．
提案手法では，歩行ストライプ H(y, t) に対して球面t [frames]
1

11

21

31

41

51

61

71

81

(b)
図 4 (a) Determination of H(y, t), (b) An example of gait
stripes (H(y, t)).

調和関数を適用して，得られた球面調和関数の係数を歩行特徴とする．まず，関数 f を f (θ, φ) = H(y, t) とし，

θ = Tt × π ， φ = Yy × 2π とする．ここで，T は一歩行
周期分の画像のフレーム数，Y は画像の高さ (Y = 100)である．また，本手法では時系列歩行ストライプの高周波成分の影響を低減するために，n がある定数 N 以下の係数のみを用いることとする．
3. 2. 2 対象人物の影領域と全身領域の利用
図 1 のように上空から地面に対して垂直に撮影された
画像では，対象人物の地面に投影された影から対象人物の人体形状の情報を得ることができる．また，構築した歩行画像データベースのように，建物の上階から地面に対して斜めに対象人物を撮影する場合，対象人物の人体形状の情報は影領域と実際の全身領域の両方から得ることができる．ここで，実際の全身領域はデータベース構
築時に使用したカメラから撮影された領域であるのに対して，影領域は他の視点に置かれた仮想カメラから撮影された領域であると見なせる．そのため，地面に対してカメラが斜めに設置される場合，これら 2 つの視点から得られた情報を統合することで，より高い識別率で個人識別が実現できると考えられる．

3. 3 個 人 識 別
本 手 法 で は ，識 別 器 と し て k-nearest neighbour 法(knn) を用いる．個人識別を行う際には，まず学習用の歩行画像列から球面調和関数により歩行特徴を求めて，データベースを構築する．次にテスト用の歩行画像列に対しても同様に球面調和関数により歩行特徴を求めて，識別器により個人識別を行う．

3. 4 提案手法の特徴
提案手法の特徴を以下に示す．まず，上空からの撮影

画像において，個人識別に必要な対象人物の領域が十分に抽出されない場合でも，提案手法では地面に投影された影領域から生体情報を抽出することが可能である．また，歩行特徴として球面調和関数の低周波成分の係数のみを用いているため，従来手法と比較して歩行特徴量の次元数の削減が可能である．さらに，背景差分処理において，抽出された前景領域に穴などのノイズが含まれる
場合でも，提案手法では影領域の両端の長さを用いているため，ノイズに頑強に歩行特徴を抽出することがで
きる．

4. 実

験

本章では，構築した歩行者の影画像データベースに対して提案手法を適用して行った実験について述べる．実験では以下に示す 3 通りを行った．

1 歩行画像から抽出された影画像を用いた個人識別
2 歩行画像から抽出された影画像と全身画像を用いた
個人識別
3 従来手法 [10] [11]，及び 2 次元フーリエ変換による個人識別
実験では，図 2(a) の頂点 2 から頂点 3 までを歩く 5 名の人物を対象に，それぞれ 4 パターン，計 20 パターンの歩行画像データを用いた．これは，影画像データベースを構築した際，20 名の対象人物でそれぞれ異なる時刻に画像を取得したため，データベースには様々な歩行方
向と影方向の組み合わせが含まれる．しかし，撮影時刻と撮影場所の緯度，経度が既知であると仮定すると，対応する太陽高度と方位から影の生成方向は計算可能であり，様々な方向の影データから適切な影データセットを予め選択できる．よってここではほぼ同一時刻に撮影された 5 人分の影情報を用いて実験を行った．また，デーIS2-13：851

タベース内の画像列から一歩行周期分の画像列は手動でと考えることができる．そのため，図 2 の様に対象人物切り出しており，また Leave-one-out cross validation にの影領域と全身領域からそれぞれ人体形状の情報が得ら基づき識別率を求めた．

れる場合，それぞれの領域から得られた生体情報を統合することで，より高い識別率で個人識別が実現できたと

4. 1 影画像を用いた個人識別考えられる．

まず撮影画像から抽出された影領域を用いて，個人識別実験を行った．実験では n = 10 として，合計 100 個の球面調和関数の係数を求めてた．図 5 に求めた係数の4. 3 従来手法との比較
従来手法と比較するために，1 次元フーリエ変換に例を示す．これから，例えば対象人物 A と対象人物 B でよる手法 [10]，またアフィンモーメント不変量による手は係数が異なることがわかる．また図 6 に係数の数を変法 [11] をそれぞれ，影画像データベースに対して適用し化させた場合の識別率を示す．これから，n = 7 以上，た．その結果を表 1(1), (2) に示す．これから，提案手法

つまり合計 49 個以上の係数を用いた場合，識別率は一は従来手法と比較して，より低次元数の特徴量で高い識定の 95% となることがわかる．そこで以下の実験では，別率を実現できたことがわかる．

49 個の係数を用いて個人識別を行う．
300

また，カメラ設置位置の高さによって画像内の対象人
物の空間解像度が変化し，またカメラの性能により時間

Coefficients

解像度も変化するため，時空間的に時系列影画像の解像250

度を変化させて個人識別を行った．実験では，時空間的

200
150

に解像度の変化のない影画像を学習データとして用い，

100
50

Order ofcoefficients [i]

0
-50

0

20

40

60

80

100

時空間解像度をそれぞれ 50% へと変化させた影画像をテストデータとして用いた．提案手法，1 次元フーリエSubject A

変換に基づく手法，およびアフィンモーメント不変量に

300
250

よる手法の結果を表 2 に示す．これから，提案手法は 1200

次元フーリエ変換に基づく手法と比較して，より少ない

150
100

特徴量の次元数であるが，ほぼ同一の識別率となること

50
0
-50 0

20

40

60

80

がわかる．またアフィンモーメント不変量を用いた場合

100

Subject B

は，識別率が低下したことがわかる．これは，十分な解像度の影領域が抽出されなかったため，識別率が低下し

図 5 Examples of spherical harmonic coeﬃcients.

たと考えられる．
さらに，提案手法では歩行ストライプの周期性を解析

Correct classification rate

するために球面調和関数を用いているが，周期性を解析

1.0
0.95

0.8

する他の方法としてフーリエ変換がある．そこで歩行ス
トライプ H(y, t)(0 <=y < Y, 0 <= t < T ) に対して 2 次元

0.6

フーリエ変換を適用した．ただし一歩行周期分のフレー

0.4

ム数 T はそれぞれ異なるため，フレーム数を T = 50 と

0.2
0.0
0

20

40

49
(n=7)

60

80

Order ofcoefficients100 (n 2 )図 6 Correct classiﬁcation rate with respect to the order ofthe spherical harmonic coeﬃcients.

なるように正規化している．また，高周波数にはノイズが含まれるため，識別には低周波成分のみを用いた．その結果，表 1(3) に示すように識別率は 65% であった．これは，2 次元フーリエ変換の基底関数は 1 次元軸方向の正弦波であるのに対して，球面調和関数の基底関数は 2次元軸方向の波であり，球面調和関数を用いた場合，それぞれの基底関数において，それぞれの軸の相関が求め

4. 2 歩行画像から抽出された影画像と全身画像を用いた個人識別次に，歩行画像から抽出された全身領域のみを用いてられているためであると考えられる．

5. ま と め

個人識別を行った．その結果，識別率は影領域を用いた

本報告では影生体情報により個人識別が可能であるこ実験と同じ 95% であった．さらに，対象人物の全身領域とを示すために，影画像データベースの構築と，影生体と影領域のそれぞれから求めた歩行特徴を全て用いて，情報による個人識別手法を提案した．十分な解像度の影

個人識別を行った．その結果，識別率は 100% であった．

領域が抽出されない場合でも，高い識別率で個人識別を

これは前述のように，対象人物の影領域と全身領域はそ実現するために，提案手法では一歩行周期における影領

れぞれ異なる視点に設置されたカメラから得られた情報

域の長さの周期性を球面調和関数により解析した．影画

IS2-13：852

表 1 Comparison of the proposed method and conventional methods.
(1) 1D DFT [10] (2) Aﬃne moment(3) 2D DFT
invariants [11]画像解像度 ×3
(100×400 pixel の場合，120000)
Correct classiﬁcation rate [%]85

The number of features(4) The proposed
method6

画像解像度と等しい(ただし実験では低周波成分 800 のみ)

49

70

65

95

表 2 Correct classiﬁcation rate [%] of shadow silhouettes with respect to spatial
and temporal resolution.

The number of features
The proposed method
1D DFT [10]49画像解像度 ×3
(100×400 pixel の場合，120000)

Aﬃne moment invariants [11]670

像データベースに対して提案手法を適用して，影生体情報から個人識別が可能であることを示した．また従来手法と比較して，提案手法は比較的低次元数の特徴量を用[11]

いて，最も高い識別率で個人識別が可能であることを示
した．

[12]

今後は，日時や場所の情報を基に太陽の高さと方向を推定し，影領域の形状を補正することで，太陽の位置の変化に対して頑強な個人識別を実現する．
文(Spatial resolution, temporal resolution) [%](100, 100) (50, 100) (100, 50) (50, 50)
95
75
85
80
85
80
80
80

[13]

献

[1] Google, http://maps.google.co.jp/[2] A. Stoica, Towards Recognition of Humans and their
behaviors from Space and Airborne Platforms: Extracting the Information in the Dynamics of Human
Shadows, Proc. the 2008 Bio-inspired, Learning andIntelligent Systems for Security, pp.125-128, 2008.
[3] I. Bouchrika and M. Nixon, People Detection and
Recognition using Gait for Automated Visual Surveillance, Proc. IEE Inter. Symp. Imaging for Crime Detection and Prevention, 2006.
[4] D. Cunado and M. Nixon and J. Carter, Automatic
Extraction and Description of Human Gait Models for
Recognition Purposes, CVIU, vol. 90, no. 1, pp. 1-41,
2003.
[5] C. BenAbdelkader and R. Cutler and L. Davis, Stride
and Cadence as a Biometric in Automatic Person
Identiﬁcation and Veriﬁcation, Proc. IEEE Conf. Faceand Gesture Recognition, pp. 372-377, 2002.
[6] C. BenAbdelkader and R. Cutler and H. Nanda and L.
Davis, EigenGait: Motion-based Recognition of Peopleusing Image Self-Similarity, 3rd Int. Conf. Audio- andVideo-Based Biometric Person Authentication, 2001.
[7] S. Lee, Y. Liu, and R. Collins, Shape Variation-based
Frieze Pattern for Robust Gait Recognition, Proc. of
CVPR 2007, 2007.
[8] Y. Liu and R. Collins and Y. Tsin, Gait Sequence
Analysis using Frieze Patterns, Proc. the 7th European Conf. Computer Vision (ECCV’02), 2002.
[9] J. Acquah, M. Nixon, and J. Carter, Automatic gait
recognition by symmetry analysis, Pattern Recognition Letters, 24, pp.2175-2183.
[10] 槇原 靖, 佐川 立昌, 向川 康博, 越後 富夫, 八木 康史, 周
波数領域における方向変換モデルを用いた歩容認証, 情IS2-13：853

50

80

45

報処理学会論文誌コンピュータビジョンとイメージメ
ディア, Vol. 48, No. SIG 1(CVIM 17), pp.78-87, 2007.
Y. Iwashita and R. Kurazume, Person identiﬁcationfrom human walking sequences using aﬃne moment
invariants, Proc. IEEE Int. Conf. Robotics and Automation, pp.436-441, 2009.
T. Tanaka, A. Shimada, D. Arita, and R. Taniguchi,
Object Detection under Varying Illumination basedon Adaptive Background Modeling Considering Spatial Locality, Proc. the Third Paciﬁc-Rim Symposium
on Image and Video Technology, pp.645-656, 2009.
R. Green, Spherical Harmonic Lighting: The Gritty
Details, SCEA Research and Development, 2003.