深層学習を用いた異常検知による転倒把握に関する研究
OpenPose による特徴量抽出と分類
Research about Finding a Fall and Prediction by Attitude Estimation and Anomaly Detection-Extracting feature value and classfication with OpenPose○柴田拓海 *1 ,山田悟史 *2
Takumi SHIBATA*¹ , Satoshi YAMADA*2*1 立命館大学理工学部

建築都市デザイン学科

Undergraduate, Dept. of Architecture and Urban Design,Ritsumeikan Univ.
*2 立命館大学 理工学部

建築都市デザイン学科

任期制講師・博士（工学）Lecturer, Dept. of Architecture and Urban Design, Ritsumeikan Univ., Dr.Eng.
キーワード：姿勢推定 ; 異常検 ; OpenPose ; 転倒 ; 分類
Keywords: Attitude Estimation ; Anomaly Detection ; OpenPose ; Fall ; Classification抽出する OpenPose4) 着目した転倒検知システムの精度検1. はじめにスマートシティー化された今日の社会では、カメラや証を行った。OpenPose を例とする姿勢推定技術を用いてスマートフォンを代表例に、様々な対象に関するセンシ

転倒者を検知できるようになれば、転倒者を検知し近隣ングデータが多様な時間や場所に応じて入手できるようの施設管理者・AED のある施設・周辺のスマートフォンにになった。その加速に伴い、データの活用方法やあり方アラートを発信することができる。発展的にはドローン

1)などについても議論が活発化している 。国策としての技術がさらに発展すれば、現場まで AED 自動で運ぶも可DX が推進されていることから、この動向がさらに加速し能になる。OpenPose を活用した研究にはサッカーの熟練ていくことは確実である。この加速の背景には技術的な度を分類する研究 5)、高齢者の歩きから人物を照合する研発展がある。今後は、第５世代通信 (5G) による大容量デー

究 6) がある。特に直接的な関連研究には転倒している状タの高速送信が可能なり、4K カメラなどによる高画質映態を判定する研究 7) があり，室内での転倒者に対して 91%像を含む多様なデータのリアルタイム送受信も一般普及以上の精度で転倒を検知できることが報告されている。

する。これは人の行動や表情に関するデータ含むこれましかし、撮影条件や解析方法の違いによる転倒検知の精で以上に多様なデータをリアルタイムでセンシング可能度比較が行われておらず、精度の詳細や信頼性に不明瞭になることを意味している。このような技術的な発展がな点が残っている。以上のことから本研究は、4 要因が転進みつつある今だからこそ、スマートシティという環境倒検知の精度に与える影響の検証を目的に研究を行った。

で具体的にどのようなサービスや事業が展開可能であり、4 要因は①転倒時の撮影角度、②転倒姿勢、③ OpenPose技術やデータを生活還元できるかを探求する必要がある。

による特徴の抽出数、④分類アルゴリズムである。

デジタルデータの活用の方向性の一つには、安全で安心なまちの実現が挙げられる。そこで、本研究は街中や2. 実験方法

家の中での異常を予測・検知しアラートするシステムを分析手法の流れを図 2 に示す。実験的に学習画像を作構築を目指した基礎研究を行った。具体的には、自宅で成し，特徴量抽出の分類を行うという流れである。4 要因の高齢者の転倒の検知、街中での心肺停止による転倒のにおけるセンシング時の要因として、撮影角度では「30検知の 2 点に対する技術的可能性の検証である。超高齢°・45°・60°」、転倒姿勢で「横向き・仰向き・うつ伏せ」化社会の到来により、一般家庭・街中において、人が救を設定した。解析時の要因としては，関節情報の取得数

助を要する状態に陥った際の迅速な一次救命は一層重要

では 4 水準、転倒と通常を分類する機械学習のアルゴリ性を増している。特に街中で発生した突発性心停止については、医療従事者のみによる対応には限界がある。心肺停止の救命率は、処置の精度よりも処置するまでの時間が大きな影響を与えるからである ( 図 1)2)3)。そのため、予後復帰可能な救命には、心停止をいち早く発見して処置までの時間を短くすることが重要である。
以上のことから本研究は、映像から身体の関節情報を
日本建築学会情報システム技術委員会
第 44 回情報･システム･利用･技術シンポジウム論文集， 435-438 ， 2021 年 12 月，京都
Proceedings of the 44th Symposium on Computer Technology of Information ，Systems and Applications ， AIJ ， 435-438 ， Dec. ， 2021 ， Kyoto

図1－ 435 －転倒画像の抽出表1

Extraction of tumbling images
撮影角度 (30°・45°・60°)
Shooting angle

通常画像の抽出抽出数 (5points・9points・9points・15points)
Number of extracts

機械学習による評価
Evaluation by machine learning

撮影角度
Shooting angle

転倒姿勢
Tumbling posture
解析時

Feature extraction

Level

Primary factor

OpenPose→csv data
特徴量抽出水準

要因撮影時

Extraction of normal images
転倒姿勢( 横°・仰向き・うつ伏せ )インターネットからランダムに抽出
Tumbling posture(Sideways・Face Up・Upside‑down) Randomly selected from the Internet

条件の要因と水準

抽出数
Number of extracts

分類アルゴリズムClassification

30°

45°

60°

横向きSideways

仰向きFace up

うつ伏せ
Upside‑down

胴体
Body
5points

胴体+腕Body + Arm
9points

胴体+足Body + Leg
9points

決定木
Neural network
Decision tree

胴体+腕Body + Arm+足+頭+ Leg +Head
15points

Support‑vector machine※撮影角度 3 パターン×転倒姿勢 3 パターンそれぞれに 800 枚ずつの画像
800 images for each of 3 shooting angles x 3 tumbling postures

分類アルゴリズム (Dicision Tree・NN・SVM)
Classification Algorithm

図2

分析手法の流れズム方法で「決定木・ニューラルネット・サポートベクターマシン」を設定し転倒検知の精度を検証した（表１）。
2.1 転倒者・正常者データの収集

45°30°
図360°

うつ伏せ転倒時の角度の違い

学習画像は被験者の協力を得た独自に作成した。撮影角
度は，実際に街中にある防犯カメラの撮影角度の想定に基づき仰角を 30°・45°・60°と設定した。転倒者の転倒姿勢は被験者に横向き・仰向き・うつ伏せの 3 パター
ンの転倒姿勢を依頼した。撮影は仰角を固定して被験者の周囲を全方向から 1 周を動画撮影し、画像に変換する

うつ伏せ
Upside Down

横向きSideways

図4

仰向けFace Up

30°撮影の転倒姿勢の違い

ことで学習画像を作成した。なお転倒姿勢の 3 水準においてそれぞれの水準内においても姿勢が異なると推測されることから、8 名に被験者を依頼した。そのため撮影角度 30°・横向き転倒という水準の一組み合わせ辺りのデータ数は 1 人 100 枚× 8 人の計 800 枚である。水準の組み合わせあは 9 パターンあるので学習画像の総計は 7200 枚

横向きSideways

うつ伏せ
Upside Down
図5

仰向け
Face Up

OpenPose による姿勢推定である。撮影角度の各水準下の画像例を図 3 に左から 30°・45°・60°の順で示す。転倒姿勢の各水準下の画像

全 25 点 /25 points① 5points② 9points③ 9points④ 15points

例を図 4 に左からうつ伏せ・横向き・仰向き、の順で示す。
正常データはインターネットから歩行中・走行中の人物の動画をランダムに収集し画像に変換することで得た。
2.2 姿勢推定
分類に用いる特徴量の抽出には OpenPose を採用した。
画像中の人物の関節情報を解析できる姿勢推定技術として広く研究や社会実装に採用され成果が報告されていることが採用理由である。OpenPose による姿勢推定では、
図５の下部のように関節の x,y 座標のデータ及び推定信頼度を得ることができる。x,y 座標が得られる関節情報は
図 6 に示す 25 点である ( 図 6)。全ての転倒画像・通常画像に OpenPose を適用し x,y 座標を得た。
2.3 特徴量抽出

図6

OpenPose による関節情報

OpenPose によって 25 箇所の関節情報が得られるが、転報告 H58－ 436 －A 横転倒 30°

B 横転倒 45°

C 横転倒 60°

11

10.8

0.8

0.8

0.6

0.6

0.6

0.4

0.4

0.4

0.2

0.2

0.2

0①②

③0④0①

D うつ伏せ転倒 30°②③④E うつ伏せ転倒 45°
110.8

0.8

0.8

0.6

0.6

0.6

0.4

0.4

0.4

0.2

0.2

0.2

00②③④①

F 仰向け転倒 30°②③④01

10.80.80.60.60.60.40.40.40.20.20.2②③0④0①②図7③③④②③④H 仰向け転倒 60°

0.8①①G 仰向け転倒 45°

10②E うつ伏せ転倒 60°

1①①④①②③④精度結果

倒か通常かを分類を行う機械学習に入力する特徴量の抽ワークは、人間の脳内にある神経細胞・神経回路網を人出数は、以下の 4 パターンとした ( 図 6)。

工ニューロンという数式的なモデルで表現したものであ① 胴体のみの関節情報 (5 点 )り，入力層、出力層、隠れ層をつなぐ強さを示す重みか② 胴体 + 腕の関節情報 (9 点 )ら繰り返し学習することで分類精度を向上させる分類手③ 胴体 + 下半身の関節情報 (9 点 )法である 9)。サポートベクターマシンは各データ点との距④ 胴体 + 腕 + 下半身 + 頭の情報 (15 点 )離が最大となるマージン最大化超平面を求めるという基

この設定は事前実験から設定した。特に転倒時に対す準で線形入力素子のパラメータを学習し分類する手法でる OpenPose による関節推定では、体の末端部分である腕ある 10)。学習に際しては，転倒画像と通常画像の 7 割をや脚は正しく推定されない傾向があった。また関節推定

学習用データ、3 割をテスト用データとした。この割合にの信頼度も末端部分では低くなる傾向にあった。精度が対する学習画像のランダム分割により各水準の組合せ内担保されるならば、迅速な解析という観点から少ないデーで精度の散らばりが想定されるが，本稿では 3 回の平均タ量が望ましい。そこで、関節情報の信頼度が比較的高値とした。散らばりは小さかったが、回数の増加によりい傾向にある胴体部のみの一水準、腕と下半身を用いた 2得られる精度の一般性の向上は今後の課題である。

水準、頭も加えた 1 水準、計 4 水準とした。
3. 精度結果・考察
2.4 機械学習による評価

精度結果を図 7 に示し要因ごとに整理して示す。

類を行う機械学習のアルゴリズムには分類を意図する

Ⅰ 転倒姿勢による精度の違い

研究で成果が多く報告されている「決定木・ニューラル

ADG 間で抽出数ごとに精度の比較をすると差はほとん

ネット・サポートベクターマシン」の 3 水準を採用した。

ど見られなかった。30°撮影時の決定木における精度の決定木は複数の説明変数を使った条件でデータを分割し最大は、仰向け、うつ伏せの④抽出時の場合で、0.975 ポていくことで、そのデータ領域内における目的変数の特イントとなった。最少は横向き時の②で抽出した場合の8)徴を分割していく分類手法である 。ニューラルネット

報告 H580.920 ポイントとなった。BEH,CFI でも同様に比較しても－ 437 －

精度の差はほとんど見られない。また、横向きの倒れ方、る緊急事態の通知や、ドローンを使った AED の自動配送

仰向きの倒れ方、うつ伏せの倒れ方、それぞれにおいてに必須な起点としての要素技術が実現する。これをエッ一定以上の精度で分類できることが分かった。このこと

ジ側のカメラ単体によりリアルタイムに検知可能に発展から、転倒姿勢がどのようであっても、検知精度に対すさせることができれば、超高齢化社会に備える安全で安る転倒姿勢による影響は少ないことが分かった。

心な街に寄与するスマートシティの社会インフラとしてⅡ 撮影角度による精度の違いのサービス実装を前進させるだろう。今後は要因や水準

ABC 間で分類アルゴリズムごとに精度を比較すると、の増加、リアルタイム検知に向けた解析速度の比較向上

ほとんど差は見られなかった。横転倒時の決定木の角度を行う。また人命を護る社会インフラとしての情報技術による精度の違いを見ると、45°撮影の④抽出の場合がの追求の観点からは、リアルタイムであっても救助が遅0.941 で最大となり、60°撮影の②抽出の場合で最少と延する場合があるため、転倒前の動きから転倒を予測すなった。DEF,GHI でも同様にして、精度の差は見られなかっる研究にも着手する予定である。

た。また、撮影角度が 30°・45°・60°それぞれにおいて一定以上の精度で分類できることが分かった。このことから、どの角度で転倒者を検知しても高い精度で分類できることが分かった。
Ⅲ 特徴量抽出による精度の違い
それぞれのグラフ内で①②③④の抽出数のごとの精度の比較をすると、ほとんど差が見られなかった。横転倒時の 30°撮影を決定木で分類した時の抽出量による精度の違いを見ると、①④の抽出時が最大で 0.927 ポイント、②の抽出時が最少の 0.920 ポイントとなった。このことから、転倒姿勢、撮影角度、アルゴリズムの違いによらず、特徴量抽出数による精度の影響は少ない。
Ⅳ アルゴリズムによる精度の違い
仰向け転倒の 45 度で撮影した時のアルゴリズムによる精度の違いを見ると、④の抽出で決定木で分類した場合が最大の 0.951 ポイント、④の抽出で SVM 分類した場合が最少の 0.625 ポイントとなった。それぞれのグラフ内で分類アルゴリズムによる精度の比較をすると決定木、ニューラルネットワークは非常に高く、サポートベクターマシンは低くなることが分かった。
5. まとめ
以上のように、転倒時の撮影角度で 3 水準（30°・45°・60°）、転倒の姿勢で 4 水準（横向き・仰向き・うつ伏せ）、関節情報の取得数で 4 水準（5 点，9 点，9 点（部位が異なる），15 点）、転倒と通常を分類する機械学習のアルゴリズム
で 3 水準 ( 決定木・ニューラルネット・サポートベクターマシン ) 以上の 4 要因による転倒検知の精度を本稿では明らかにした。結果，転倒時の撮影角度・転倒の姿勢・抽出数による精度への影響は小さかった。この結果から，決定木・ニューラルネットワークを分類器に採用した場合においては，撮影角度の違い、転倒姿勢の違い、特徴[ 参考文献 ]1) 田邊 篤志 , 村木 美貴 , 多様な都市課題解決に向けたスマートシティ事業のあり方と評価方法に関する研究 , 日本建築学会技術報告集 , 2021, 27 巻 , 66 号 , p. 973-978
2) Mikael Holmberg,Stig Holmberg,Johan Herlitz:Effectof bystander cardiopulmonary resuscitation inout-of hospital cardiac arrest patients inSweden,Resuscitation 47,pp.59– 70,2000
3) M a r y P L a r s e n , M i c k e y S E i s e n b e r g , R i c h a r dO Cummins,Alfred P Hallstrom:Predicting Survival From Out-ofHospital Cardiac Arrest: A Graphic Model,Annals of Emergency
Medicine,22(11),pp.1652-8,1993.11
4) Cao,Z,Simon,T,Wei,S.E,& Sheikh,Y.2017. Realtime multiperson 2d pose estimation using part affinity fields. InCVPR:pp. 1302-1310.
5) 金子和樹 , 中村拓馬 , 矢入郁子 , 平田均 ,OpenPose を用いた
サッカー熟練度の分類 , 一般社団法人 人工知能学会 ,, 2020,
JSAI2020 巻 , 第 34 回 (2020)
6) 粟井 修司 , 紺野 剛史 , 冨安 史陽 , 平井 由樹雄 , 近野恵 ,2 次元姿勢推定による歩容情報を用いた人物照合 , 人工知能学会全国大会論文集 ,2020,JSAI2020 巻 , 第 34 回 (2020)
7) Markus D. Solbach; John K. Tsotsos,Vision-Based
Fallen Person Detection for the Elderly,2017 IEEE
International Conference on Computer Vision Workshops(ICCVW)
8) Quinlan,Jross.,"Induction of decision trees,"Machine
Learning,1,1986,pp.81-106
9) K a r e n S i m o n y a n , A n d r e w Z i s s e r m a n , V e r y D e e p
Convolutional Networks for Large-Scale Image
Recognition, arXiv:1409.1556
10) C o r t e s , C . a n d V a p n i k . , V . : S u p p o r t v e c t o r
networks,Machine Learning,Vol.20,pp.273-297,1995.
11) 非医療従事者の一次救命による救護環境の計画手法に関する研究 ( 山田悟史，遠藤伸太郎，宗本晋作，小峯力 ) 第 39
回情報・システム・利用・技術シンポジウム論文集：報告
pp.205-208,2016.12, 日本建築学会
12) 山田悟史 , 中島昌暉 , 非医療従事者に一次救命の不確実性をふまえた AED・サインの適正配置 , 歴史都市防災論文集 ,14
巻 ,pp.203-208,2020.07
13) 江川香奈 , 荒木望 , 山田悟史 ,AED の施設単位及び都市空間における運用状況の把握と課題 , 日本建築学会計画系論文
集 , 2021, 86 巻 , 785 号 , p. 1882-1891

量抽出数・抽出場所の違いによらず、転倒者画像と通常者画像は分類は高精度で可能であると言える。
本稿で検証した以上に様々なシチュエーションで家や街に設置されたカメラから転倒者を検知可能になれば，周辺のスマートフォン・施設管理者・AED 設置施設に対す

報告 H58－ 438 －