情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q09
2021/3/10

階段を上る動作による歩容認証精度の検証
軍司俊実†1 柳英克†1
概要：2020 東京オリンピック（2021 年 7 月 23 日開催予定）の開催や世界中でのテロ事件の増加に伴い，より一層セキュリティへの関心が高まっている．また，新型コロナウイルスに伴うマスク着用率の増加は，顔認証の認証制度を著しく下げることが報告されている．そんな中，代替手法として歩容認証技術（人の歩き方により個人を特定する技術）への注目が集まっている．しかし，現状での歩容認証技術研
究は水平面上の歩行のみを対象としているため，セキュリティが最も求められる環境のひとつであるイ
ベント会場やスポーツの大会会場などの，平面ではない形状の床を有する環境への対応は不十分である．
本研究では，イベントやスポーツの大会会場に多く見られる階段に注目し，姿勢推定システム Openposeを用いて，階段を上り下りする動作を対象とした歩容認証精度の検証を目的とする．

1. はじめに
National Consortium For the Study of Terrorism and Responseャラリーセット（被比較データ）とプローブセット（投入データ）の歩行シーケンスのシルエット画像の類似度を比較することで認証を試みた．

to Terrorism (University of Maryland) の Global Terrorism
Database (GDT)によると 2005 年ごろ（2007 件）から 2014

2.2 歩行人物のマルチモーダル認証

年（16860 件）をピークにテロ事件件数は急激な増加傾向

村松ら[8]は歩行中の人物のマルチモーダルを行った．こにある[1]その一方で，2020 東京オリンピック（2021 年 7 月の手法では歩行映像から歩容，身長，顔の異なる生態特徴

23 日開催予定）の開催が決定し，その経済効果は，約 10 兆を抽出し，さらに，異なる観測方向から取得した生態デー円に上る[2]とされている．そのうちセキュリティ分野を含タを統合し認証を行った．それにより，約 8.2％の精度向上

む ICT 関連への波及効果は約 2.13 兆を上回ると予想されを実現した.ている[3]． さらに，IDC Japan の 2020 年 1 月に国内企業878 社を対象にした情報セキュリティ対策の実態調査の結果，2020 年度の投資見込みは 2019 年度を上回るとした企

2.3 Kinect を用いた防犯システム
堀江は[9]Kinect センサーを用いての骨格検出機能を用い業が 38％であった．[4]これらの世界情勢や国際的なイベンて左手，右手，左腰，右腰の位置の位置を検出し，万引きトの開催などにより，近年，セキュリティへの関心が一層の主な行動である「商品をポケットに入れる」，「商品をカに高まっている．

バン・カゴに入れる」という 2 つの動作に注目しリアルタ

そんな中，新型コロナウイルス感染症に伴うマスク着用率イムの万引き防犯システムを提案したの増加[5]は，顔認証の認証制度を著しく下げることが報告されている[6]．そこで，代替手法として歩容認証技術（人の歩き方により個人を特定する技術）への注目が集まっている．しかし，現状での歩容認証技術研究は水平面上の歩

3. 本研究で提案する認証手法

行のみを対象としているため，セキュリティが最も求めら

3.1 手法の概要

れる環境のひとつであるイベント会場やスポーツの大会会

本研究では生態認証手法として比較的容易で認証精度の場などの，平面ではない形状の床を有する環境への対応は高い[10]で提案された Random Subset Method と KNN（K-不十分である．本研究では，イベントやスポーツの大会会

nearest neighbor）分類器導入した手法を採用する．本節では場に多く見られる階段に注目し，姿勢推定システム提案手法を以下の 5 つのセクションに分けて解説する．

Openpose を用いて，階段を上り下りする動作を対象としたOpenPose の仕様説明，取得データの整形方針と手法，歩容歩容認証精度の検証を目的とする．

特徴の抽出，歩容特徴の選択と分類である．OpenPose で抽

2. 姿勢情報を用いた認証手法

出可能なデータ形式と構成を紹介し，Openpose によって取2.1 多視点からの歩容認証得したデータの整形の方針と python を使用した具体的なデータの整形手法を解説する．さらに，認証に使用する歩Cuntoor ら[7]は本研究では，手や足の振り方，上半身の容特徴の導出方法と Random Subset Method を用いた認証に揺れなどの動的特徴と，身長などの静的特徴を正面から見適した歩容特徴の抽出方法と KNN（K-nearest neighbor）をた場合と側面から見た場合の両方の歩容特徴に注目し，ギ用いた分類を紹介する．

†1 公立はこだて未来大学© 2021 Information Processing Society of Japan809

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3.2 手法の順序と詳細

3Q09
2021/3/10

3.2.2 データの整形方針と手法

3.2.1 Openpose の仕様

OpenPose の出力する JSON ファイルの座標データは各関

OpenPose とは画像中の人物の 2 次元姿勢推定を深層学

節に複数候補が座標ペアの候補とともに確信度が付与され習によって実現したオープンソースである．OpenPose は表ているため，座標候補を確信度により一意に設定する必要

1 と図 1 に示した 18 関節分のデータを取得することができがある．具体的なアルゴリズムは以下である（以下のアルる．解析された人物の関節座標データは ”i” : [x1, y1, c1, x2,ゴリズムは Python により実装した）．

y2, c2…]（関節番号 I : [x 座標，y 座標，確信度 c]）の構成の JSON データ形式で書き出される．

I.

指定ディレクトリに存在する先頭の JSON ファイルの情報を取得する．

関節の番号

関節名

0Nose

1

Neck

2

Right Shoulder

3

Right Elbow

4

Right Wrist

5

Left Shoulder

6

Left Elbow

7

Left Wrist

8

Right Hip

9

Right Knee

10

Right Ankle

11

Left Hip

12

Left Knee

13

Left Ankle

14

Right Eye

15

Right Ear

16

Left Eye

17

Left Ear

表1

OpenPose が取得する関節番号と名前II.

ファイル内の各関節座標候補の確信度を比較し，最大の確信度を有する関節座標ペアのみ保存する．

III.

保存した各関節座標データを格納した JSON ファイ
ルを新規作成し，保存する．

IV.

同一ディレクトリの次ファイルに操作ⅡとⅢを適応する．

3.2.3 相対座標距離による歩容特徴の抽出
絶対座標値の曲線は，歩行の周期的特性を失う可能性があり，特定の骨格点対の相対座標値は，歩行の周期特性を維持する（yang2016）ため，本研究では関節座標間の相対距離を歩容特徴要素として採用する．抽出された歩行特徴は，x，y の 2 つの方向に分けられている．これらの方向は横に x，縦に y 軸方向となる．x (または y) 方向の特徴
は， x (または y ) 方向の関節の相対距離の特徴（平均値と標準偏差）を示す．9 つの相対距離を式(1)に示す．

Dx1 = abs(x(10) - x(13))
Dx2 = abs(x(6) - x(3))
Dx3 = abs(x(7) - x(4))
Dx4 = abs(x(0) – (x(13) + x(10))/2)
Dx5 = abs((x(8) + x(11))/2 - (x(13) + x(10))/2)
Dx6 = abs(x(5) - x(2))
Dy1 = abs((y(0) – (y(13) + y(10))/2))
Dy2 = abs((y(0) – (y(12) + y(9))/2))
Dy3 = abs(y(10) - y(13))(1)
Dxi(または Dyj) は x 軸 (または y 軸) 方向の距離を表し，x(i) (または y( j)) は i 番目 (または j 番目) の関節の x (または y) 座標値を表す．abs は絶対値を表す．例えば，Dx1 は x 方向両足首間の距離である．さらに，相対距
離情報により以下の式代表値を導出することができる．3
つの代表値を式(2)に示す．

図1

OpenPose が取得する関節番号と位置© 2021 Information Processing Society of Japan810

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

MEAN = mean{Dx1, Dx2, Dx3, Dx4, Dx5, Dx6, Dx7, Dy1,Dy2, Dy3}
STD = std{ Dx1, Dx2, Dx3, Dx4, Dx5, Dx6, Dx7, Dy1, Dy2,Dy3}
RDF = {MEAN, STD}
(2)mean は平均値，std は標準偏差を表す．MEAN は (Dx1,Dx2, Dx3, Dx4, Dx5, Dx6, Dx7, Dy1, Dy2, Dy3) の平均値のベクトルであり，STD は (Dx1, Dx2, Dx3, Dx4, Dx5, Dx6,

3Q09
2021/3/10[7]

Cuntoor, Naresh & Kale, Amit & Chellappa, Rama. (2003).
Combining Multiple Evidences for Gait Recognition. 3. III- 113.
10.1109/ICASSP.2003.1199100.
[8] 村松大吾, et al. 一歩行映像から取得される複数特徴を用いた個人認証. 電子情報通信学会論文誌 A, 2014, 97.12: 735-748.
[9] 堀江純矢, et al. Kinect を用いたリアルタイム万引き検知シス
テムに関する研究.
[10] K. Yang, Y. Dou, S. Lv, F. Zhang, Q. Lv, Relative DistanceFeatures for Gait Recognitionwith Kinect, J. Vis. Commun. Image
R. (2016), doi: http://dx.doi.org/10.1016/j.jvcir.2016.05.020[11] Araujo, Ricardo & Graña, Gustavo & Andersson, Virginia. (2013).
Towards Skeleton Biometric Identification Using the Microsoft
Kinect Sensor. 10.1145/2480362.2480369.

Dx7, Dy1, Dy2, Dy3) の標準偏差のベクトルである．これら
2 つのセットは，次元が 18 である相対距離特徴量ベクトル
RDF に結合される．
3.2.4 注目要素の選定
Kinect の骨格データストリームがキャプチャされたときに無数のノイズを有するデータが存在し，その結果，特定の特徴が使用することができなくなる．一方で，骨の長さを特徴量として使用することは，関節が閉じていると推測される場合には不適切である．一方で，どの歩容特徴が適切なのかが不明確であるため，特徴量を確定することは難しい．RSM(Random Subspace Method)と MV(Majority voting)に基づく分類器による特徴選択・分類を行う．
3.2.5 認証の分類器
先行研究の多くが，KNN（K-nearest neighbor） とサポートベクターマシンが歩行認識タスクにおける分類器として最適な選択であると報告している[11]が，本研究では，マンハッタン距離を用いた KNN 分類器を用いて認証を行う．
KNN 分類器はプローブの歩容特徴データが与えられると，まずプローブデータの特徴量を計算し，次にすでに存在するギャラリーデータの特徴量との距離算出し，ギャラリーデータと照合する．

参考文献
[1]

[2]
[3]

[4]
[5]
[6]

“グローバルテロリズムデータベース(GTD) ”https://exploratory.io/note/2ac8ae888097/4281795301169
845/note_content/note.html
長田充弘, et al. 2020 年東京オリンピックの経済効果. BOJ
Report & Research Papers, 2015.
“オリンピック・パラリンピックがもたらすＩＣＴ分野の事
例及び 経済効果等の調査研究”
https://www.soumu.go.jp/johotsusintokei/linkdata/h26_03_houkok
u.pdf“2020 年 国内企業の情報セキュリティ実態調査を発表”
https://www.idc.com/getdoc.jsp?containerId=prJPJ46239620“新型コロナウイルス自主調査 第 6 回調査結果”
https://www.nrc.co.jp/nryg/200428.html
NGAN, Mei L.; GROTHER, Patrick J.; HANAOKA, Kayee K.
Ongoing face recognition vendor test (FRVT) Part 6A: Face
recognition accuracy with masks using pre-COVID-19 algorithms.
2020.

© 2021 Information Processing Society of Japan

811