䣔䣕䣌䢴䢲䢳䢲䣃䣅䢴䣋䢴䢯䢷

歩行者の影に着目した個人識別○岩下友美 (九州大学) Adrian Stoica(JPL/Caltech) 倉爪亮 (九州大学)

Person identification using shadow analysis*Yumi IWASHITA (Kyushu University), Adrian STOICA (JPL/Caltech),
Ryo KURAZUME (Kyushu University)
Abstract— We introduce a novel person identiﬁcation method for a surveillance system of much wider area
than conventional systems using CCTV cameras. In the proposed system, we install cameras to rooftopsof buildings or a low altitude airship, and identify people by gait features extracted from shadows, which
are projected on the ground by the sun in the daytime or lights in the evening. At ﬁrst, shadow areas areextracted automatically from captured images, and then analyze dynamics of shadow areas by the sphericalharmonics. Experiments of person identiﬁcation using actual outside images revealed that the proposed
method showed the best performance than conventional methods.
Key Words: Shadow biometrics, gait, people identiﬁcation, spherical harmonics transforms

1.

はじめに

本稿では，街頭カメラなどよりも大幅に対象範囲の広い監視システムの構築を目的として，ビル屋上や低高度飛行船などに設置されたカメラにより上方から撮影された画像から得られる，日中であれば太陽，夜間であれば照明により地面に投影された対象人物の影 [1](図1) を用いた，歩容による個人識別手法を提案する．従来提案されている歩容による個人識別手法 [3] [4] [5] では，対象人物の全身形状に基づき歩行特徴を抽出しているため，対象人物の全身領域が十分に取得されない上方からの撮影画像を用いた場合，識別率が低下する．
また従来手法では，歩行特徴の次元数は画像解像度に比例して増加するという問題がある．データベースのメモリ量は対象人物の人数と特徴の次元数の積に比例するため，高い画像解像度を有する大規模データベースに対して従来手法を適用した場合，膨大なメモリ量が必要となる．これに対し，歩行特徴としてアフィンモーメント不変量を用いることで，特徴量の次元数が画像解像度に依存せず，かつ比較的低次元で高い識別性能を実現する手法が提案されている [6]．しかし，シルエット領域の解像度が低い場合，識別率が低下する問題がある．
そこで本報告では，このような解像度が低い影領域に対しても，高い識別率で個人識別可能な歩容による個人識別手法を提案する．提案手法では，まず撮影画像から背景差分結果に基づき影領域を抽出し，次に一歩行周期における影領域の長さの周期性を球面調和関数により解析して，その係数を歩行特徴量として用いる．実際に屋外で撮影された歩行画像を用いて個人識別実験を行い，従来手法と比較して，提案手法は高い識別率で個人識別可能であることを示す．

2.

歩行者の影画像データベース

影生体情報の有効性を示すためには影画像データベースが必要であるが，これまでに一般的な影画像データベースは提案，公開されていない．そこで本研究では独自に影画像データベースを構築した．具体的にはま➨䢴䢺ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢲ᖺ䢻᭶䢴䢴᪥ࠥ䢴䢶᪥凛

(a)

(b)

Fig.1 (a) Remote sensing imagery (Google [2]), (b)magniﬁcation of smaller window. What looks
like humans are shadows.

ず，ビデオカメラ (Canon, iVIS HF S10) を建物の上階に設置して歩行者の画像を撮影した．画像解像度は1920×1080，フレームレートは 30Hz であり，また被験者の数は 20 名，うち男性は 17 名，女性は 3 名である．
被験者は図 2(a) に示すような星型の図形の 12 つの頂点間を，1 番から 2 番，2 番から 3 番という順番で歩いており，最後の 13 番に到達するまでに合計 12 回歩く方向を変化させている．図 2(b) に撮影された画像の例を示す．

3.

影生体情報による個人識別

本章では地面に投影された対象人物の影から生体情報を取得する手法について述べる．まず，2 章で構築した影画像データベースから影領域のみを抽出する方法について述べ，次に時系列の影領域から歩行特徴を抽出する手法について述べる．最後に，抽出された歩行特徴を用いた個人識別，及び提案手法の特徴について述べる．

䣔䣕䣌䢴䢲䢳䢲䣃䣅䢴䣋䢴䢯䢷
12725S19S22410(a) Examples of silhouette images (b) An example of average images
S1331181(13)(a)

S16S20(c) Converted image of (b)(b)

Fig.2 (a) Diﬀerent directions of walking, (b) Image
illustrating the real world set-up, and person
walking, with shadow visible.

3·1 影領域の抽出
まず背景差分により，撮影画像から実際の人物領域，及び影領域を抽出する．図 3(a) に実際の画像，図 3(b)に背景差分結果を示す．次に抽出されたシルエット領域から，実際の人物領域と影領域を次の手順により分割する．まず，図 4(b) に示すように時系列シルエット画像より平均画像を生成して，平均画像の分散が最小となる軸 S1 とそれに直行する軸 S2 を求める．次に平均画像の画素値の和を求めることで軸 S2 に対するヒストグラムを図 4(d) に示すように求める．ここで，地面に接地している脚は数フレームの間同じ画素位置に留まるため，平均画像の画素値が大きくなる．また地面に投影された影領域において，実際の体領域が影領域における脚領域に重なって投影されるため，脚領域と体領域の間のヒストグラム値が脚領域よりも大きくなる (Ya )．一方，脚領域は他の体の部位と比較して細く，また速度が大きいため，ヒストグラム値が極小値となる (Yb )．以上の性質を利用して，体領域と影領域(Y +Y )とを Y  = a 2 b において分割することとする．分割結果の一例を図 5 に示す．さらに，抽出された影領域において，高さが 100pixel になるようにアスペクト比を保ったまま影領域の大きさを変更する．

The value ofhistogram

YbYa(d) Histogram of (c)15000

Fig.4 Calculation of the histogram.

YbY’Ya(a) Silhouette
image(b) Body area (c) Shadow area

Fig.5 Examples of body and shadow separation.

また一例として，図 6(b) に y=30 に対する 3 歩行周期分の歩行ストライプを示す．これから，歩行動作と同様に，歩行ストライプにも周期性があることがわかる．そこで，この歩行ストライプの周期性を球面調和関数 [7] を用いて解析し，歩行特徴を抽出する．

3·2.1

球面調和関数に基づく歩行特徴抽出

球面調和関数 {Ylm (θ, φ) : |m| ≤ l ∈ N } は単位球面上 S 2 で定義された関数であり，以下の様に表わされる．

⎧⎪⎨√ m2Kl cos(mφ)Plm (cosθ)√ 0 0mYl (θ, φ) =2Kl Pl (cosθ)⎪⎩ √ m2Kl sin(−mφ)Pl−m (cosθ)
ここで，θ ∈ [0, π]，φ ∈ [0, 2π]，Klm =m>0m=0m<0(1)(2l+1) (l−|m|)!
4π (l+|m|)!

であり，Plm はルジャンドル陪関数である．3 次元球面上で定義された関数 f (θ, φ) は球面調和関数によって以下のように展開される．

f (θ, φ) =n−1lmcml Yl (θ, φ).

(2)

l=0 m=−l(a)(b)

Fig.3 (a) A sample from the database, (b) its extracted target region, (c) body and shadow regions.

3·2 歩行特徴の抽出
次に，抽出された対象人物の影領域から歩行特徴を求める．提案手法では，図 6(a) に示すように画像 I(x, y)において x 軸に沿った影領域の両端間の距離 H(y, t) に基づき歩行特徴を抽出する．ただし，t はフレーム番号であり，また本論文では距離 H(y, t) を歩行ストライプと呼ぶ．

➨䢴䢺ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢲ᖺ䢻᭶䢴䢴᪥ࠥ䢴䢶᪥凛

cml =Sf (θ, φ)Ylm (θ, φ)ds.

(3)

ここで，cml は球面調和関数の係数であり，また 0 ≤ l <n, |m| ≤ l であることから，係数の数は n2 つとなる．
提案手法では，歩行ストライプ H(y, t) に対して球面調和関数を適用して，得られた球面調和関数の係数を歩行特徴とする．まず，関数 f を f (θ, φ) = H(y, t)とし，θ = Tt × π ， φ = Yy × 2π とする．ここで，Tは一歩行周期分の画像のフレーム数，Y は画像の高さ(Y = 100) である．また，本手法では時系列歩行ストライプの高周波成分の影響を低減するために，n がある定数 N 以下の係数のみを用いることとする．

䣔䣕䣌䢴䢲䢳䢲䣃䣅䢴䣋䢴䢯䢷
3·2.2 対象人物の影領域と全身領域の利用
図 1 のように上空から地面に対して垂直に撮影された画像では，対象人物の地面に投影された影から対象人物の人体形状の情報を得ることができる．また，構築した歩行画像データベースのように，建物の上階から地面に対して斜めに対象人物を撮影する場合，対象人物の人体形状の情報は影領域と実際の全身領域の両方から得ることができる．ここで，実際の全身領域はデータベース構築時に使用したカメラから撮影された領域であるのに対して，影領域は他の視点に置かれた仮想カメラから撮影された領域であると見なせる．そのため，地面に対してカメラが斜めに設置される場合，
これら 2 つの視点から得られた情報を統合することで，より高い識別率で個人識別が実現できると考えられる．
xH(y,t)yH(y,t) [pixel]
1 gait cycle

140

4·1

影画像を用いた個人識別

まず撮影画像から手動で抽出された影領域を用いて，個人識別実験を行った．実験では n = 10 として，合計100 個の球面調和関数の係数を求めた．図 7 に係数の数を変化させた場合の識別率を示す．これから，n = 7 以上，つまり合計 49 個以上の係数を用いた場合，識別率は一定の 95% となることがわかる (表 1 (1))．そこで以下の実験では，49 個の係数を用いて個人識別を行う．
また，提案手法により自動で撮影画像から抽出された影領域を用いて個人識別実験を行った結果，表 1 (2) に示すように 90% の高い識別率を示した．以下の実験では，手動で抽出された影領域を用いて個人識別を行う．

(a)
160

すると，対応する太陽高度と方位から影の生成方向は計算可能であり，様々な方向の影データから適切な影データセットを予め選択できる．よってここではほぼ同一時刻に撮影された 5 人分の影情報を用いて実験を行った．また，データベース内の画像列から一歩行周期分の画像列は手動で切り出しており，また Leave-one-outcross validation に基づき識別率を求めた．

120
100

Correct classification rate80

1.00.95

600.8

400.6

200t [frames]
11121314151617181(b)0.4
0.20.0Fig.6 (a) Determination of H(y, t), (b) An exampleof gait stripes (H(y, t)).

3·3 個人識別本手法では，識別器として k-nearest neighbour 法(knn) を用いる．個人識別を行う際には，まず学習用の歩行画像列から球面調和関数により歩行特徴を求めて，データベースを構築する．次にテスト用の歩行画像列に対しても同様に球面調和関数により歩行特徴を求めて，識別器により個人識別を行う．

4.

実験

本章では，構築した歩行者の影画像データベースに対して提案手法を適用して行った実験について述べる．
実験では以下に示す 3 通り，(i) 歩行画像から抽出された影画像を用いた個人識別，(ii) 歩行画像から抽出された影画像と全身画像を用いた個人識別， (iii) 従来
手法 [5][6]，及び 2 次元フーリエ変換による個人識別を行った．
実験では，図 2(a) の頂点 2 から頂点 3 までを歩く 5
名の人物を対象に，それぞれ 4 パターン，計 20 パターンの歩行画像データを用いた．これは，影画像データベースを構築した際，20 名の対象人物でそれぞれ異なる時刻に画像を取得したため，データベースには様々な歩行方向と影方向の組み合わせが含まれる．しかし，撮影時刻と撮影場所の緯度，経度が既知であると仮定➨䢴䢺ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢲ᖺ䢻᭶䢴䢴᪥ࠥ䢴䢶᪥凛

020

4049(n=7)6080

Order ofcoefficients100 (n 2 )Fig.7 Correct classiﬁcation rate with respect to theorder of the spherical harmonic coeﬃcients.

Table 1 Comparison of the proposed method andconventional methods.

(1) 提案手法 (手動)(2) 提案手法 (自動)特徴量の次元数

識別率 [%]

49954990

画像解像度 ×3(3) 1D DFT[5](100×400 pixelの場合 120000)

85(4) Aﬃne moment670

invariants[6]画像解像度(5) 2D DFT(実験では低周波領域 800 のみ)

65䣔䣕䣌䢴䢲䢳䢲䣃䣅䢴䣋䢴䢯䢷
Table 2 Correct classiﬁcation rate [%] of shadow silhouettes with respect to spatial and temporal resolution.

識別率 (空間解像度，時間解像度) [%]特徴量の次元数(100, 100)

(50, 100)(100, 50)

(50, 50)

9575

8580

pixel の場合 120000)

8580

8080

670508045提案手法 (1)49

1D DFT [5]画像解像度 ×3 (100×400Aﬃne moment invariants [6]4·2

歩行画像から抽出された影画像と全身画像を用いた個人識別

次に，歩行画像から抽出された全身領域のみを用いて個人識別を行った．その結果，識別率は影領域を用いた実験と同じ 95% であった．さらに，対象人物の全身領域と影領域のそれぞれから求めた歩行特徴を全て用いて，個人識別を行った．その結果，識別率は 100%であった．これは前述のように，対象人物の影領域と全身領域はそれぞれ異なる視点に設置されたカメラから得られた情報と考えることができる．そのため，図2 の様に対象人物の影領域と全身領域からそれぞれ人体形状の情報が得られる場合，それぞれの領域から得られた生体情報を統合することで，より高い識別率で個人識別が実現できたと考えられる．

4·3

従来手法との比較

従来手法と比較するために，1 次元フーリエ変換による手法 [5]，またアフィンモーメント不変量による手法 [6] をそれぞれ，影画像データベースに対して適用した．その結果を表 1(3), (4) に示す．これから，提案手法は従来手法と比較して，より低次元数の特徴量で高い識別率を実現できたことがわかる．
また，カメラ設置位置の高さによって画像内の対象人物の空間解像度が変化し，またカメラの性能により時間解像度も変化するため，時空間的に時系列影画像の解像度を変化させて個人識別を行った．実験では，時空間的に解像度の変化のない影画像を学習データとして用い，時空間解像度をそれぞれ 50% へと変化させた影画像をテストデータとして用いた．提案手法，1 次元フーリエ変換に基づく手法，およびアフィンモーメント不変量による手法の結果を表 2 に示す．これから，提案手法は 1 次元フーリエ変換に基づく手法と比較して，より少ない特徴量の次元数であるが，ほぼ同一の識別率となることがわかる．またアフィンモーメント不変量を用いた場合は，識別率が低下したことがわかる．これは，十分な解像度の影領域が抽出されなかったため，識別率が低下したと考えられる．
さらに，提案手法では歩行ストライプの周期性を解析するために球面調和関数を用いているが，周期性を解析する他の方法としてフーリエ変換がある．そこで歩行ストライプ H(y, t)(0 ≤ y < Y , 0 ≤ t < T ) に対して 2 次元フーリエ変換を適用した．ただし一歩行周期分のフレーム数 T はそれぞれ異なるため，フレーム数を T = 50 となるように正規化している．また，高周波数にはノイズが含まれるため，識別には低周波成分のみを用いた．その結果，表 1(5) に示すように識別率➨䢴䢺ᅇ᪥ᮏ兑兀儧儬Ꮫ఍Ꮫ⾡ㅮ₇఍凚䢴䢲䢳䢲ᖺ䢻᭶䢴䢴᪥ࠥ䢴䢶᪥凛は 65% であった．これは，2 次元フーリエ変換の基底関数は 1 次元軸方向の正弦波であるのに対して，球面調和関数の基底関数は 2 次元軸方向の波であり，球面調和関数を用いた場合，それぞれの基底関数において，それぞれの軸の相関が求められているためであると考えられる．

5.

まとめ

本報告では影生体情報により個人識別が可能である
ことを示すために，影画像データベースの構築と，影生体情報による個人識別手法を提案した．十分な解像度の影領域が抽出されない場合でも，高い識別率で個人識別を実現するために，提案手法では一歩行周期における影領域の長さの周期性を球面調和関数により解析した．影画像データベースに対して提案手法を適用して，影生体情報から個人識別が可能であることを示した．また従来手法と比較して，提案手法は比較的低次元数の特徴量を用いて，最も高い識別率で個人識別が可能であることを示した．
今後は，日時や場所の情報を基に太陽の高さと方向を推定し，影領域の形状を補正することで，太陽の位置の変化に対して頑強な個人識別を実現する．
参考文献[1] A. Stoica, “Towards Recognition of Humans and their
behaviors from Space and Airborne Platforms: Extracting the Information in the Dynamics of HumanShadows”, Proc. the 2008 Bio-inspired, Learning andIntelligent Systems for Security, pp.125-128, 2008.
[2] Google, “http://maps.google.co.jp/”[3] C. BenAbdelkader and R. Cutler and H. Nanda andL. Davis, “EigenGait: Motion-based Recognition ofPeople using Image Self-Similarity”, 3rd Int. Conf.
Audio- and Video-Based Biometric Person Authentication, 2001.
[4] S. Lee, Y. Liu, and R. Collins, “Shape Variation-based
Frieze Pattern for Robust Gait Recognition”, Proc. of
CVPR 2007, 2007.
[5] K. Sugiura, Y. Makihara, and Y. Yagi, , “Gait Identiﬁcation based on Multi-view Observations using Omnidirectional Camera”, Proc. 8th Asian Conference on
Computer Vision, 2007.
[6] Y. Iwashita and R. Kurazume, “Person identiﬁcationfrom human walking sequences using aﬃne momentinvariants”, Proc. IEEE Int. Conf. Robotics and Automation, pp.436-441, 2009.
[7] R. Green, “Spherical Harmonic Lighting: The GrittyDetails”, SCEA Research and Development, 2003.