立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (A) ]エッジ AI デバイスを用いた監視システム実現のための行動分類
Behavior Classification for Realization of Surveillance Systems Using Edge AI Devices
2221021研究代表者

長野工業高等専門学校工学科

准教授

力丸

彩奈

[研 究 の 目 的]
近年，自動車犯罪や車上狙いといった街頭犯罪の認知によりそれらの犯罪数は増加傾向にある。その対策として，ショッピングモールや駅などの公共施設に多くの防犯カメラや監視カメラが設置され，犯罪の抑制や事件発生後の捜査図1に活用されている。これらのカメラを事件発生

本研究で想定するシステム概要

前に活用することで犯罪を未然に防ぐことも可検出するシステムの構築であるが，本報告では能になるが，防犯カメラの台数は多く，収集さその前段階として，日常的な行動が行動の種類れるデータは大量になるため限られた人手です

ごとに分類可能か検討を行う。

べてを監視することは不可能である。特に不審な行動をする人物を見つけることは非常に難し

行動の分類には大量データの解析手法であるい。本研究の目的は，防犯カメラ映像から自動機械学習を適用する。あらかじめ学習用データで不審人物を発見する監視システムの実現であを学習することで未知データの解析が可能である。

り，製品検査など官能検査の自動化を可能にす

行動解析を可能にする技術として行動認識技る技術として注目されている。その多くは「教術がある。カメラやセンサなどから得られる師あり学習」であり，学習用データとそれに対データから人の行動の特徴を抽出し，それをも応する分類種の名前 (ラベル) を付けて学習をとに対象者の行動を分析する認識技術である。

行うため，事前にデータの一つ一つにラベル付

行動認識は応用の範囲も広く，防犯や介護を目けを行うことが必須である。近年では教師あり的とした活用が期待できる。防犯用途では町中

機械学習アルゴリズムを用いた行動認識も注目

や施設にカメラを設置し，疑わしい動きをするされ，特定の行動に対して高い認識精度を実現

人物を自動で検出することで犯罪の抑制が期待している[1]。しかし，行動は種類が多いためでき，介護分野においては施設内での異常行動全ての行動に名前を付けることは困難である。の発検出や身体機能の継続的な観察を行うこと

また，ラベルを付けていない種類の行動に対しで，事故防止・介護士の負担軽減が期待できる。ては判別が難しい。人の行動には曖昧なものや，本研究の最終目的は，図 1 に示すような行動認

動作の途中など名前の存在しない行動も数多く

識技術を用いて日常行動の中に潜む危険行動をある。そこで本研究ではラベルを必要としない― 1 ―立石科学技術振興財団「教師なし学習」を用いる。特定の行動を認識するのではなく，日常的な行動かどうかを分類することで様々な種類の行動に対応できるシステムを目指す。
[研究の内容，成果]
1．行動データの取得
本研究では行動データとして人の骨格情報を用いる。行動データは深度カメラやセンサを介して取得する方法[1] が多く，この方法では大型機器の設置やセンサ装着が事前に必要であり，対象者も限定される。それに対し，骨格データはすでに撮影された映像からの取得が可能であ図2る。骨格情報の抽出には機械学習による骨格位置推定手法を用いる。

VGG-19 を用いたネットワーク構造

格推定を行うネットワーク・骨格結合の可能性

機械学習による骨格位置推定手法には Top-推定を行うネットワークの二つに分岐するネッdown 型と Bottom-up 型の 2 種のアプローチトワーク構造を持つ。骨格推定を行うネットが存在する。単一画像に複数人が含まれているワークでは，関節位置の予測結果が得られ，骨場合，Top-down 型では撮影した画像に対して格結合の可能性推定を行うネットワークでは，人間の検出を行い，各人物ごとに骨格推定を行

関節間の領域の全ピクセルに対し，方向ベクトう。一方 Bottom-up 型では，画像に存在するルが定義される。これらのネットワークでの学骨格点すべてに対し推定を行い，得られた骨格習を繰り返すことで精度が向上し，複数人の同点 に つ い て 各 人 物 ご と に 結 合 さ せ る。Top-一骨格に対して互い違いにならないように骨格down 型と比較して Bottom-up 型では複数人点とその結合が考慮され，マッチングに基づいの骨格抽出時に処理速度が落ちにくいという利た複数人の骨格点の推定を行う。取得する骨格点が存在することから，本研究では，Bottom-点の種類について，実際に取得した骨格データ

up 型に属する Cao らの人物姿勢推定手法[2]を画像に重ねた結果を図 3 に示す。

を用いて骨格の抽出を行う。Cao らの方法では使用したモデルは COCO2016[4] のデータ

VGG-19[3] の一部を用いて特徴量の抽出をセットに基づく学習モデルである。このモデル行っている。VGG-19 は物体認識に用いられる畳み込みニューラルネットワークであり，畳み込み層が 16 層，全結合層が 3 層，プーリング層が 5 層で構成されている。Cao らの人物姿勢推定手法ではまず，図 2 に示す構造の畳み込み
ニ ュ ー ラ ル ネ ッ ト ワ ー ク (ConvolutionalNeural Network: CNN) により解像度を 1/8 にまで圧縮した特徴マップ (Future Map) を生成する。図中の C は畳み込み層，P はプーリング層を表す。その後の骨格抽出部分では，骨― 2 ―図3

映像から抽出した 18 骨格点

Tateisi Science and Technology Foundation

においては，目，鼻，耳，首の付け根，肩，ひと な る が，骨 格 点 で は 0.144 KB と な り，1/じ，手首，臀部，膝，足首の計 18 個の骨格位6400 程度のデータ量削減が見込まれる。従来置について x，y 座標と尤度を取得することがシステムのサーバ負荷を分散させることもでき，できる。

サーバにおける処理を複雑化させるなどの拡張

近年の機械学習の発達に伴い，様々な分野で性を確保できる。これらの利点により，施設内の研究が行われている。リアルタイムでの実行で複数台の同時動作時においてもシステムの安処理を行う場合，高い性能を有するハードウェ定稼働が期待できる。

アが必要になるが，今後の IoT デバイスの増加に伴い，データのやり取りの増加による通信

2．行動データの分類

障害や消費電力の増加による電力不足という問本研究では日常行動の分類方法として自己組題が予想される。そのため，通信遅延が発生し織化マップ (Self-Organizing Map: SOM) [5]ないこと，かつ低消費電力で実行することが求による分類を行う。SOM はニューラルネットめられる。このような需要に対し，近年では機ワークに基づいた位相保存写像であり，多次元械学習モデルを実行するための高コストパデータのパターン認識や分類を可能とする。従フォーマンスを持つエッジ AI デバイスが製品

来のクラスタリングでは不可能であった大規模化されつつある。リアルタイムで推論を行うたなデータのクラスタリングや非線形データの自めにもエッジ AI デバイスは欠かせないもので然なクラスタリングが可能であることから，本あり，それらを用いることで通信コストの削減

研 究 で は SOM に よ る 分 類 方 法 を 採 用 す る。

や省スペースも可能となる。本研究でもエッジデータの圧縮にも有効であり，複雑かつ高次元AI デバイスを用いた通信量の削減を提案する。のデータを相互間の位相関係を保存しながら低最終目的である監視システムでは，骨格抽出は次元へマッピングを行うため，データ間の差異映像取得後にカメラ側で行うエッジ処理を想定が可視化できる。SOM は機械学習アルゴリズ

している。単眼カメラを用いて撮影し，その画ムのうち教師なし学習に分類される。通常，像に対してエッジ AI デバイス上で骨格抽出処

SOM によって学習を行った出力層は彩色を施理を行い，得られた骨格情報をサーバへと送る。

し て 用 い る。本 研 究 で は U-matrix 法 [6] に

サーバ上において行動の認識と異常行動の認識よって出力層の各ユニット間の距離情報の 2 次を行い，異常行動となった場合に，監視員等の元への視覚化を行う。

ユーザ端末に対してアラートを通知するシステ
ムを想定する。従来のシステムでは，サーバへ3．取得した行動種類と分類結果画像自体をリアルタイムで送信するため，対象本研究では図 4 に示す 4 種類の行動についてとなる施設に十分な帯域を持つネットワーク設備が必要であり，また，特徴量の生成に機械学習による推論を行う場合，通信とサーバにおける処理の負荷が増大し，リアルタイム性を損なうことが考えられる。しかし本研究で提案するシステムでは情報量の少ない骨格データをサーバへ送信するため，通常のカメラ画像による監視と比較して通信回線への負荷の減少が見込まれる。画像をそのままサーバへ送信する場合，
1 画像を 640×480pixel とした際に 921 KB 程― 3 ―図4

本研究で取得した行動イメージ

立石科学技術振興財団

分類を行う。
0．歩く
1．走る
2．スマートフォンを所持して歩く
3．転倒する (歩行 2 歩目で転倒)
これら 4 種類の行動について 30 フレーム分の映像を取得した。それを均等に間引いた 10
図 5 各行動 1 回撮影時の分類結果

フレームから骨格データを取得し，分類のための行動データとした。各フレームから取得する
18 個の骨格位置 x,y，間引き後の連続する 2 フレーム間の差分 v x,v y を入力データとする。差分 v x,v y を各骨格点の移動速度をとする。本実験では 3 番の転倒を非日常行動と想定している。
4 種類の行動について各行動 1 回のデータを取得し，SOM による分類を行った結果を図 5に示す。図中の点で示される部分にデータが分布し，その隣の番号は入力データ番号である。

図 6 各行動 3 回撮影時の分類結果

この番号は図 3 に示した行動番号に対応している。黄色や赤で示す線は各データの境界線を示た。図の左上には「転倒する」行動である 3 つ

し，緑から赤に近づくほど他のデータと違いがのデータが近くに配置され境界線も赤く示され大きいことを意味する。図 5 の出力結果では 3たことから，この 3 つは似た行動であり他の番データを囲む境界線が少し赤くなっているこデータと大きく異なる結果となった。これは，とから，転倒行動が他の行動と異なる行動であ非日常行動として想定した転倒が他と違う行動ることを示す結果となった。また，SOM によとして分類できたことを意味する。

る出力ではデータの類似度が高いほどデータは一方で，他のデータを行動の種類ごとに見る近くに配置される。0 番，2 番の行動が近くにと 3，4，5 は同一行動であるにも関わらず，離配置されていることから，「歩く」「スマートれて出力されたデータもある。これは転倒以外フォンを所持して歩く」の行動は似ている行動の行動が比較的似ていたため，このような結果であることを示す。これらの結果は，入力したになったと考えられる。データ数や行動種類を4 種類の行動が正しく分類されていることを示増やすことで改善できる可能性がある。

している。
次に，入力データ数を増やしての実験をおこ

4．エッジ AI デバイスの選定
本研究で想定するシステムではエッジ AI デなった。4 種類の行動について 3 回ずつ撮影し行動データを作成した。分類結果を図 6 に示す。 バイスを用いて骨格抽出を行う。エッジ AI デ
図中のデータ番号については，0・1・2 が「歩バイスの候補として複数のデバイスを選定した。

く」，3・4・5 が「走 る」，6・7・8 が「ス マ ー

図 7 にその一例を示す。左から Nvidia Jetson

トフォンを所持して歩く」，9・10・11 が「転Xavier NX[8], Xilinx KV260[9], Latte Panda倒する」を示している。図 5 と比較すると入力

v1[10] である。Jetson Xavier NX は GPU がデータ数が増加したため，境界線も複雑になっ

実 装 さ れ て い る た め，推 論 モ デ ル の 実 行 に― 4 ―Tateisi Science and Technology Foundation

GPU を用いるため，サーバ等で作成した機械学習モデルをそのまま実装できるメリットがある。デメリットとしては消費電力が大きいことや高価であることが挙げられる。Xilinx KV260
は FPGA (Field-Programmable Gate Array)であるため，使用者が自由に処理プログラムを書き換えることが可能であり，CPU，GPU と比較すると汎用性が高く，消費電力が低い。しかし高度なプログラミング能力が必要であり，導入のハードルが高いことがデメリットである。
また，Latte Panda は Windows を搭載したシ図8ングルボードコンピュータである。扱いやすく，エッジ AI デバイスを用いた処理フロー誰でも導入できるが，短時間の使用で発熱しやAI デバイスを処理フローに取り組んだシステ

すく長期間の稼働に対し不安が残る。

ム構築を目指す。

[今後の研究の方向，課題][成果の発表，論文など]
力丸彩奈：非日常行動検出のための教師なし機械学習

本研究では，4 種類の行動について行動データを作成し分類を行った。SOM による分類でによる行動分類，電子情報通信学会総合大会，D12-43，(2023)

は，非日常行動として想定したデータの検出が[参考文献]可能であった。他の 3 種類の行動については正確に分類が行われなかったが，日常行動として想定していたため，日常・非日常行動の分類は[ 1 ] Minh, T. L., et al., A Fine-to-Coarse Convolutional Neural Network for 3D Human Action Recognition. 29th BMVC. 2018. p. 227.

正しく行われたと言える。しかし，最終的なシ[ 2 ] 武田紳吾，Paula Lag，大北剛，井上創造，出野

ステムとしての精度を考慮すると，似た行動で義則“モーションキャプチャを用いた行動認識におあっても行動の種類ごとに分類できることが望ましい。今後は行動の種類を増やしての分類や，撮影時間を変更してのデータの作成を行う。

けるマーカー身体対応付け作業の削減，”マルチメ
ディア，分散，協調とモバイル (DICOMO) シンポジウム，pp. 1280-1286 (2019)[ 3 ] Cao, Z., et al., Realtime Multi-Person 2D Pose

また，本報告で選定したエッジ AI デバイスへの骨格抽出処理の実装は今後行う予定である。
骨格抽出精度，消費電力，実装のしやすさや耐Estimation using Part Affinity Fields. CVPR. 2017.
pp.7291-7299.
[4]Simonyan, K. and Zisserman, A.: “Very Deep

Convolutional Networks for Large-Scale Image

久性の観点からどのようなデバイスが適切か検Recognition,” Published as a conference paper at討を行う。今後は図 8 に示すように，エッジICLR, arXiv: 1409.1556 (2015)[5]

COCO dataset: https: //cocodataset. org (Ac-cessed: 2023/1/18)[ 6 ] T. Kohonen, et al., Self-organized formation oftopologically correct feature maps, Biological Cybernetics, 1982, 43 (1) pp. 59-69.
[ 7 ] A. Ultsch and H. P. Siemon. Kohonenʼs self organizing feature maps for exploratory data analysis.
INNC- 90. 1990 pp. 305-308.
図7[ 8 ] Jetson Xavier NX: https://www.nvidia.com/en-エッジ AI デバイス

― 5 ―

立石科学技術振興財団

us/autonomous-machines/embedded-systems/jets
on-xavier-nx/ (Accessed: 2023/5/18)

5/18)
[10]

[ 9 ] KV260: https://www.xilinx.com/products/som/kria/kv260-vision-starter-kit.html (Accessed: 2023/― 6 ―LattePanda v1: https://www.lattepanda.com/lattepanda-v1 (Accessed: 2023/5/18)