北信越地区

教育システム情報学会 2020年度学生研究発表会

Web Camera と小型端末による回転と移動方向の動作推定に関する基礎的研究
A Basic Study on Motion Estimation of Rotation and Movement Direction
Using Convenient Web Camera and Small Digital Terminal
神田 悠作*1, 香山 瑞恵*1
Yusaku KANDA*1, Mizue KAYAMA*1*1 信州大学*1SHINSHU University
Email: 17t2052a@shinshu-u.ac.jp
あらまし：本研究の目的は，運動中の動作を自動認識するシステムの作成である．そのために，カメラの設置場所に依存せず，距離の測れない状況での人の動作の自動認識システムの作成を行う．本稿では，自動認識システムについての基礎的検証の結果について述べる．
キーワード：動作推定，物体追跡，機械学習モデル，Web カメラ，人物領域，身体部位

1.

API (以下，Object Detection)の学習済みモデル1を使用する．手順 2)で使用するものは PoseNet の学習済
みモデル2を使用する．

はじめに現在，リモートによるカメラの利用が増加している．学校においても家庭でも安全にできる運動を課題と出すことも多い(1)．例えばダンスである(2)．このような運動に対して自動認識できればより家庭での運動の実施に役に立つのではないかと考えている．

2.

4.

研究目的

本研究の目的は運動中の動作を自動認識することである．その目的に対して，カメラの設置場所に依存せず，距離の測れない状況での人の動作の自動認識システムの作成を行った．本稿では，自動認識システムの基礎的検証の結果について述べる．

3.

4.1 顔と身体の向き
顔の向きでは，両目，両耳，鼻の x 軸の値を使用する．この 5 点で正面，右，左，後ろを向いている状態の特徴を使用して認識を行う．
体が正面か後ろを向いているのかを認識する．左
肩と右肩の x 軸の値を使用する．左肩の値が右肩よりも大きい場合は正面を向いていると認識する．

提案システムの構成

3.1 認識対象動作と利用機器
運動中の動作の基本動作を表 1 に示す 12 種であると仮定し，それぞれの基本動作の動作推定精度を検証する．これらの認識には体の向きも使用する．
本研究で使用する機器は以下の 3 つである．
・Raspberry Pi 4
・Coral USB Accelerator
・YockTec Web カメラ
解像度 : 最大 1920×1080 ピクセル
画角 : 110 °フレームレート : 最大 30 fps

4.2 身体の基本動作
前後の平行移動の認識は左肩と右肩の x 軸の値を使用する．2 点の差を取り，その値が大きくなれば前方向の移動の認識，値が小さくなれば後ろ方向の移動の認識をする．
左右の平行移動の認識は左肩と右肩の x 軸の値を使用する．2 つの値が大きくなれば左に移動，小さくなれば右に移動の認識をする．
4.3 回転の基本動作

3.2 認識手順
本研究ではカメラ映像の画像に対して以下の手順
で基本動作の認識を試みる．
1) 物体領域と物体名の推定
2) 人物領域での身体パーツの推定
3) 基本動作の推定
推定手順の 1)と 2)では機械学習モデルを利用する．
手順 1)で使用するものは TensorFlow Object Detection
1

基本動作推定アルゴリズムの概要

本章では保存したデータを使用して，動作推定を行う手順を説明する．左右方向 x 軸，上下方向 y 軸に関してはカメラ画像の左上が原点となる．右に行
くほど x 軸の値が大きくなり，下に行くほど y 軸の値が大きくなる．

ssd_mobilenet_v2_coco_quand_postprocess_edgetpu.tflite

回転の認識には左肩と右肩の x 軸の値を使用し，4 フレーム分の値を使用する．体が横を向くと 2 点の差が小さくなる．また，体が正面を向くと 2 点の差が大きくなる．このことを利用し認識する．

5.

5.1 実験条件
231

動作認識実験

posenet_mobilenet_v1_075_1280_720_quant_decoder_edgetpu.tflite北信越地区

教育システム情報学会 2020年度学生研究発表会

表 1: 身体・回転・顔の基本動作
・近づく(前方向の移動)・遠のく(後ろ方向の移動)・左平行移動・右平行移動身体・正面を向いている状態から横を向く(回転 1)
・横を向いている状態から正面を向く(回転 2)
・後ろを向いている状態から横を向く(回転 3)
転・横を向いている状態から後ろを向く(回転 4)回

顔・正面を向いている
・右を向いている
・左を向いている・後ろを向いている

表 2: 実験環境

カメラ高( m )カメラ距離( m )

条件 1
1-1
1-2
0.75
1.75
2.20

動き

個別基本動作

人数

1人

条件 2
2.00
0 – 13.47
個別基本動作+ 交差
3人

図 1: 前方向の移動の推定結果
よって推定に使用する比を変更しなければならないと考えられる．これは，カメラに近づくほど推定精度が上がっていたからである．

本研究で実施した実験環境を表 2 に示す．実験に使用するカメラは，条件 1 では YockTec Web カメラ，条件 2 では AKASO BRAVE 7 LE である．条件 1 はそれぞれ 2 回実験を行う．

7.

5.2 実験結果
条件 1 実験結果の例としてここでは条件 1-2 の前方向の移動の結果を図 1 に示す．この図は右に行く
につれて時系列が新しくなる．ラベルは[advance]が前方向の移動，[None]がそれ以外の動作である．このようにラベル付けが行われていることがわかる．
このような実験結果に対して評価を行う．評価には混同行列を使用する．本稿の評価には正に対する正答率と負に対する正答率を計算する．評価結果の左方向，右方向，回転 1，回転 3 の正に対する正答率が 60 %以下であった．条件 1-1 と 1-2 においてアルゴリズムに問題があることがわかった回転以外の動作に対して正に対する正答率を比較した結果，条件1-2 の方が高いことがわかった．したがって，カメラの高さが高い方が推定精度が良いことがわかった．
条件 2 推定実験からカメラからの距離が約 6 m 以上離れていると物体追跡が行えていないことがわかった．物体追跡が行えている範囲内での前方向の移動の動作推定の評価結果から推定精度が 3 人とも60 %以下であるとわかった．また，カメラの正面ではない人に対する推定精度がより低いことがわかった．そして，人が交差すると物体追跡ができないことがわかった．

6.

おわりに

本稿では基本動作に対する動作推定の検証を行った．条件 1 の結果から，左右方向の移動，回転の動作推定に問題があることがわかった．また，評価結果からカメラの高さが高い方が動作推定精度が良いことがわかった．条件 2 の結果からカメラから 6 m以上離れていると物体追跡が行えないことがわかった．また，人が交差すると物体追跡が行えないことがわかった．今後は推定精度の低かった動作に対しての比を改めるとともに，カメラとの距離を考慮して比を変更するようにしていく．
謝辞 本研究は株式会社ヒューマンサポートテクノ
ロジーからの支援をいただいた．
参考文献(1) 文部科学省， “新型コロナウイルス感染症の影響を踏まえた公共学校における学習指導等に関する状況につい て ( 令 和 2 年 6 月 23 日 時 点 ) ” ，
https://www.mext.go.jp/content/20200717-mxt_kouhou01000004520_1.pdf，(2021/02/05 アクセス)(2) tsulunos， “授業「ダンスの運動」｜体育｜小学生中～ 高 学 年 ｜ リ ズ ム ダ ン ス ｜ 群 馬 県 ”，
https://tsulunos.jp/single.cgi?id=39，(2021/02/05 アクセス)考察

6.1 条件 1
左右方向の正答率が低い原因として，実験での移動方法がカニ歩きであるからと考えられる．回転 1と回転 3 の正答率が低い原因として，体の向きの判定が影響していると考えられる．
6.2 条件 2
推定精度が低い原因として，カメラからの距離に32