関西地区

教育システム情報学会

2017年度学生研究発表会

Kinect と機械学習を利用したラジオ体操動作識別
Detection of the Radio Calisthenics Motion
Using Kinect and Machine Learning
酒井 正人, 越智洋司
Masato SAKAI, Youji OCHI
近畿大学理工学部
Faculty of Science and Engineering, Kindai University
Email: ochi@ele.kindai.ac.jp
あらまし：身体的動作を支援対象とする研究において，動作を定量的に分析・解析する場合には動作検出・識別が必要である．動作識別をする際は入力データから特徴量を定義したり，識別のモデルを検討する必要があるが，動作パターンによってはそれが困難となる場合もある．そこで本研究では， RNN（Recurrent
Neural Network）を用いて，Kinect から得られる身体情報を時系列データとしてそのまま活用し，動作識別を行う識別器を構築する．そしてそれをラジオ体操の動きに適用して評価実験を行い，その手法の有用性について検証する．
キーワード：動作識別，機械学習，特徴量，Kinect，RNN

1.

はじめに

2.1 動作データの取得
動作データの取得手順を以下に記す．
「動作データ」とは，Kinect から単位フレーム（30fps）あたりに送られる人体 25 関節の各 3 次元（x,y,z）座標値（3×25=75 種類の座標値），その時のフレーム番号，教師ラベルをまとめた時系列データを指す．
手順（1）高さ 115cm の所に Kinect を設置し，Kinectから 230cm 離れた場所に被験者が立つ．
手順（2）識別対象の全種類の動作データを 1 ファイルにまとめて取得するために，任意の時間毎に動作と教師ラベルを共に変更しながら順番に動作データを取得する．「教師ラベル」とは，RNN で動作パターンを識別するための指標である．例えば，動作 1種類目の時は教師ラベルが「1」，動作 2 種類目の時は教師ラベルが「2」というような数値で表される．
手順（3）取得した動作データを csv 形式で保存する．

人の動作を指導する際，例えばダンスでは「もっと足を開いてかっこよく」や，ゴルフでは「腰をきゅっとして，猫背になり過ぎないように」などのように，抽象的なアドバイスになることが多いため，その動作の理解・習得が困難になることがある．従って，動作を分析・解析する事は重要である．そこ
で，システムを用いた動作解析によって定量的なアドバイスを行えば，初心者の動作習得を容易化することができると考えられる．
人の動作を解析・指導するシステムにおいては対象となる動作を検出・識別する必要がある（1）．動作識別をする際は，学習支援に繋がる動作モデルを考え，そのモデルを表現する特徴量を定義する必要がある（2）．動作認識の精度は，そのモデルや特徴量に対応可能なものに限定される．そのため，識別対象の動作を変更あるいは増やそうとすれば，その度に特徴量の抽出方法を見直す必要性があり動作識別が容易ではない．
本研究では，Depth センサ搭載型カメラデバイスの Kinect により得られる人体関節座標データと，機械学習の一種であり時系列データから特徴量を自動的に学習可能な RNN（Recurrent Neural Network）を利用して，特徴量の抽出方法を設計せずに動作識別を行う手法を提案する．そして，この手法による動作識別の有用性を検証する．

2.

2.2 入力・出力データの構築
入力・出力データの構築手順を以下に記す．ここでいう「入力データ」とは，動作データ上の動作種類毎に一定フレーム数で分割していき，フレーム番号と教師ラベルの列を取り除いた関節座標のみのデータ群を指し，単位入力データ（学習用データ 1 個）は分割フレーム数分の時系列データとなる．また，「出力データ」とは，単位入力データに対する教師ラベルの値 1 つのみのデータを指す．
手順（1）2.1 節で保存した動作データを読み込む．
手順（2）入力・出力データの構造となるように整形し，入力・出力データ群にまとめて構築する．

動作識別手法

提案する手法は，動作データの取得（2.1），入力・出力データの構築（2.2），RNN で動作を学習（2.3），
学習結果を用いて動作識別（2.4）の 4 つの手順で構成される．以下に各手順の詳細を記す．

2.3 RNN で動作を学習
動作学習手順を以下に記す．尚，本研究では RNNにおいて長い時系列データの扱いが可能な LSTM（Long Short-Term Memory）という手法を利用する．

103

関西地区

教育システム情報学会

手順（1）2.3 節で構築した入力・出力データを用いて RNN で動作学習を行う．
手順（2）学習が完了したら，学習結果を保存する．
上記の学習モデルを図 1 に示す．
2.4 学習結果を用いて動作識別
2.3 節で保存した学習結果を復元し，それを利用して新たなデータに対して動作識別を行う．
「新たなデータ」とは，2.1，2.2 節と同様にして新たに構築した入力・出力データを指し，学習の際に使用した動作データに含まれない被験者から取得する．

3.

98.9

4.24

98.1

6.21 0.983

90.6

11.9

99.4

2.04 0.943

3 腕を回す

98.9

2.60

93.8

7.56 0.961

4 腕を反らす

99.4

2.26

98.3

4.83 0.988

5

体を真横に曲げる

99.8

1.23

99.5

1.77 0.996

4.

考察

2

本研究では RNN による動作識別の精度評価を目的とした評価実験を行う．精度評価の指標として，動作識別結果から動作毎の再現率，適合率，F 値を求める．
3.1 実験内容
手順（1）2.1 節に従い学習用データとして被験者 8人から 1 人あたり 20 回ずつ動作データを取得する．
尚，本実験では識別対象の動作を 5 種類とする．動
作内容はラジオ体操第一の 1 番から 5 番目までの運動（伸びの運動，腕を振り脚を曲げ伸ばす運動，腕を回す運動，腕を反らす運動，体を真横に曲げる運動）である．
手順（2）2.2 節に従い入力・出力データを構築する．
尚，分割フレーム数を 30 フレームとする．従って，学習用データ数は 10560 個作成される．
手順（3）2.3 節に従い動作パターンの学習を行う．
手順（4）2.4 節に従い新たに被験者 1 人から動作データを取得し入力・出力データを構築して，その新たなデータに対して動作識別を行い，識別結果から動作毎の再現率，適合率，F 値を求める．
手順（5）上記手順（4）を被験者 20 人から 1 人あたり 3 回ずつ行う．
3.2 評価結果
3.1 節より得られた再現率，適合率，F 値を表 1 に示す．再現率，適合率は全体的に平均値が 90%以上となった．しかし，動作 2 は他の動作に比べて再現率の平均値が約 8%低く，動作 3 は他の動作に比べて適合率の平均値が約 5%低い結果となった．
XL：構築した入力データの L 行目

表 1 動作毎の再現率，適合率，F 値
再現率[%] 適合率[%] F 値
動作標準
標準
平均
平均
平均偏差
偏差
1 伸び

評価実験

Y

hL：L 番目の中間層の出力
Y：予測された出力データ

2017年度学生研究発表会

腕を振り脚を曲げ伸ばす

動作識別を誤る原因として，Kinect の座標データに含まれるノイズの影響や分割フレーム数の問題が考えられる．分割フレーム数の問題とは，動作内容が異なる場合でも，分割フレーム数により細分割された状態では部分的に動作内容が似てしまうという問題である．動作 2 が部分的に動作 3 と誤認識されることが多く，動作 2 の再現率と動作 3 の適合率の低下を招く原因になったと考えられる．そのため，分割フレーム数を大きくすれば識別精度が上がる可能性は高いが，その反面，短い動作に不対応となることやリアルタイムでの識別が遅くなるなど実用性が低下する可能性がある．

5.

おわりに

本研究では Kinect と RNN による動作識別の手法を提案し，その評価結果として全体的に平均 90%以上の識別精度が得られた．このことから特徴量の抽出方法を設計せずに動作識別を行うことは可能であり，動作識別の容易化に成功したと言える．一方で，動作同士が部分的に似る箇所の識別は誤り安いことが分かった．そのため，似ている部分が多い動作同士の識別は困難になる可能性がある．
また，今後の課題として，動作識別精度の向上のための Kinect ノイズ除去や動作が部分的に似る際の識別誤り対策，汎用性の追求として動作内容の変更・追加による識別精度への影響確認，提案手法によるリアルタイム動作識別の実現が考えられる．
参考文献

中間層
h1

中間層
h2・・・

中間層
hL

X1X2・・・

XL(1) 越智洋司, 小山博敏:“Kinect を利用した動作解析支援システム”, 信学技報, Vol.115, No.285, pp.79-82 （2015）(2) 宮城諒, 平石広典:“機械学習を利用した人間動作検出センサのための行動検出”, 情報処理学会第 77 回全国大会, Vol.4, pp.313-314 （2015）

図 1 RNN（LSTM）学習モデル

104