情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1A-09
2019/3/6

ゲーミフィケーションに基づく体操支援システムの提案
姚舜禹1,a)大井 翔1,b)

松村耕平1

野間春生1,c)

概要：近年，国民の運動不足が社会問題である．この原因として，運動の時間が取れない，面白くないので続かないなどの理由がある．これらの問題を解決するために，短時間運動や体操運動の研究が進められている．その 1 つに世代を超えた家族が同時に行うことで楽しく，短い時間で運動効率の良いロコモ体操として「アクティブ 5」がある．本研究では，「アクティブ 5」の特徴に合わせて，ユーザが体操を真似することで，リアルタイムにスコアをつけ，スコアによるエフェクトを出すシステムを提案した．Kinect で計測したユーザスケルトンと OpenPose で分析したビデオの教師スケルトンをリアルタイムで類似度から点数を計算し，点数によるエフェクトを出す．実際に展示ブースや子どもに体験してもらい，体験者がゲーム感覚で楽しく運動することができる可能性があることを確認した．

1. はじめに
厚生労働省の平成 29 年国民健康・栄養調査結果 [1] によると，20 代と 30 代の国民は，2 割しか運動を実践していない．それに対して，60 代以上の国民は４割以上が運動を実践しているが，全体の平均は 4 割以下であり，運動不足が社会問題である (図１)．その原因として，運動をする時間が取れないことや，面白くないので続かないなどの理由
図 2がある．多くの日本企業では，ラジオ体操を毎日の業務開アクティブ 5*2

始前の運動として問い入れられていたり，夏休みなどでは子どもに対してラジオ体操会などの運動をする機会もある

画面の人と一緒にダンスすることを通し，点数とエフェクが，面白くないと感じる人や，やる気が出ない人もいる．

トが出るダンスゲームがある．特殊なカメラか外部デバイ

つまり，運動を楽しくさせること，やる気を出すことが課スから，ユーザの姿勢を推定し，スコアを計算する．しか題である．

し，動作内容は曲に対しての動作であるため，動きが複雑

面白く楽しい運動として，「ジャストダンス」[2] というである．
楽しい，簡単なラジオ体操として，「アクティブ 5」(図2) というロコモ体操がある．「アクティブ 5」は，健康科学の知見を基礎として，子どもから高齢者まで多世代が同時に楽しむことができ，気軽に取り組むことのできる体操である．その特徴として「生涯元気になれる 5 つの運動」，「三世代が一緒にシンクロできる楽しさ」，「簡単ではないからステップアップと達成感」を持ち，短時間で簡単に運動ができる．
図 1 運動習慣のある者の割合（20 歳以上，性・年齢階級別）*1
1a)b)
c)
*1

立命館大学
Ritsumeikan Univercity
is0445hk@ed.ritsumei.ac.jp
sho-ooi@fc.ritsumei.ac.jp
hanoma@fc.ritsumei.ac.jp
平成 29 年「国民健康・栄養調査」の結果、運動習慣のある者の割合（20 歳以上、性・年齢階級別）© 2019 Information Processing Society of Japan

本研究では，「アクティブ 5」３つの特徴に合わせて，体操を楽しくすることを目的とする．体操を真似することで，リアルタイムでスコアをつけ，ユーザの映像を撮り，スコアの高さにより，ユーザの映像にエフェクトを出すこ*2

アクティブ５一般バージョンの図（ http://www.activeforall.jp/active5/）207

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1A-09
2019/3/6

図 3

提案システムの構成*3とで楽しく運動のできるシステムを提案した．

をリアルタイムをフィードバック出るシステムを開発した．

2. 関連研究3. システム概要

体操のシステムとして，スマートフォンのセンサで動き

3.1 システムデザイン

具合を採点するアプリ「毎朝体操」[3] がある．体操中にス提案するシステムデザインとして，3 種類のポイントがマートフォンを片手に握った状態にしておくと，腕の動きある．はじめに，ユーザはリアルタイムに評価されたスコ具合を検知し，指定の動作をチェックして，スコアをつけアを見ることができ，動作の正確性を確認することができる．しかし，画面が見えないため，動作のスコアが低い理る．次に，スコアに応じて「花が咲く」，「花火が打ちあが由がわからない，動作の改善が難しい．

る」などのエフェクトが表示され，ユーザとシステムがイ

スマートフォンのセンサ以外，姿勢推定から運動のジェスチャーにスコアをつける方法もある．澁澤 [4] は深度画ンタラクションする．最後に，他のユーザとスコアを競うことで他人とのインタラクションを可能にする．

像センサを用いた拮抗体操支援システムを開発した．拮抗
体操に適用ため，関節間の距離や手の位置座標を利用し，3.2 システムの構成手足の開閉動作や突き出し動作を検出する．しかし，スコ本システムの構成を図 3 に示す．ユーザは RGB-D カメ

アの計算にはリズムを強調するため，動作の幅と角度の精ラの前に立ち，自分自身の映像と教師映像を同時に見る度を重視しない．Liu L．ら [5] も Kinect を用いて固定のことができる．本システムは主に姿勢推定，テンプレートジェスチャーを真似し，同じジェスチャーをすることでスマッチング，エフェクトフィードバックの三部分から構成コアをつけるシステムを提案した．しかし，Liu L．らのシされる．処理として，ユーザのリアルタイムの映像と教師ステムはリアルタイムの体操に対応できず，固定のポーズ映像である体操ビデオから骨格情報を得る．それぞれの骨だけ評価している．Qiao S．ら [6] は OpenPose[7] を用い

格情報に対して，テンプレートマッチングを行うことで，てリアルタイムにジェスチャーにスコアをつけるシステム

今の動作のスコア計算する．スコアによる，異なるエフェを提案した．太極拳ビデオの人の動作を真似することで，クトのフィードバックがリアルタイムの映像に出てくる．

リアルタイムでスコアをつける．しかし，複雑な計算をす

本実験の機材の配置およびユーザの配置を図 4 に示す．

るため，遅延と低速度が問題点になる．つまり，太極拳より動きが速いラジオ体操に対応が困難である．

3.3 姿勢推定

これまでのシステムでは，運動姿勢をセンサで処理する

姿勢推定はユーザのスケルトンをリアルタイム的に分析ことで，スコアを求めることができていたが，固定のジェスチャのみや動きの遅い運動しか対応できなかった．そこで，本システムでは，OpenPose と Kinect の組み合わせことで，ラジオ体操のような速さの運動も対応でき，スコア© 2019 Information Processing Society of Japan*3

KinectSDK2 プレビュー版の骨格データ（ https://www.buildinsider.net/small/kinect2dp/03）と Openpose 18 keypoints ( https://github.com/CMU-Perceptual-Computi
ng-Lab/openpose/blob/master/doc/output.md) の 図 を使った

208

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1A-09
2019/3/6

ni= (Xi , Yi ) − (Xi+1 , Yi+1 )
i={i|0≤i≤13}(1)

式 1 で 13 個肢体のベクトル集合 P = (n1 , n2 , ...n13 ) が得られる．nA と nB は隣の 2 個の肢体のベクトル間のコサイン値を下の式２より計算する．

∑ni=1 (Ai × Bi )√∑n22i=1 (Ai ) ×i=1 (Bi )cos αi = √∑n(2)ユーザの関節データとビデオの教師の関節データを式 1と式 2 で各自のコサイン値 θvideo = {αv1 ，αv2 ,...αv12 } とθreal−time = {αr1 ，αr2 ,...αr12 } を計算する．この２つのコサイン値の差値の合計を計算する．
12∑

αsum =

αri − αti

(3)

i=1

しかし体操中において一部の関節があまり動かない時がある．そのような関節の影響を減少するため，よく動く関節に対して式 4 による重み ωi を付与する．
αi

1 − e− αsum

ωi = ∑12i=1 (1 − e図 4 提案システムの配置図(4)αi− αsum)

各 12 個関節を重みをかけ合わせた合計な D になる．と体操ビデオの教師のスケルトンの分析の二部分がある．
教師ビデオの姿勢推定は OpenPose を利用した．OpenPose
では 18 カ所の関節位置を推定できる．また， 顔，手などの特徴点を求める機能が追加されている．本研究ではOpenPose を用いて得られた関節の二次元位置を利用し，Json のフォーマットで，ビデオ各フレームの関節データを保存する．

D=12∑

α i · ωi(5)i=1

最後に，下の式 6 にようる，スコアを計算する．本研究では，Dstd は標準偏差値を 60 と与えた．

(D − D) · 100−Sstd + S
std
std
Dstd
S=0

ユーザの姿勢推定方は RGB-D カメラ (Kinect for Win-0 ≤ D ≤ Dstd
D > Dstd(6)

dows v2) とライブラリである Kinect SDK2.0 を使用した．

また，人間として，教師映像の教師と同時に動作をするはKinect SDK 2.0 は図 3 の関節データ（K）の所に示すよう困難である．そこで，ユーザの動きを前段 15 フレームずに頭，首などの合計 25 カ所の関節位置をマーカを用いるつ考慮して，スコアを計算する．

ことなくリアルタイムに推定できる．本研究では Kinect

SDK 2.0 を用いて得られた関節の三次元位置を利用した．

3.5 エフェクトのフィードバック

OpenPose は X 軸と Y 軸のデータだけ得られるため，ゲーム開発ツールである Unity3D を用いてエフェクト

Kinect SDK2.0 から得られた情報の X 軸と Y 軸のデーとリアルタイムな場面を構築する．Kinect v2 Examples

タだけ使用する．図 3 の関節データ (O) の所に示すようwith MS-SDK を用いて頭の位置を追跡することにより，に，OpenPose と Kinect v2 の関節種類と数は異なるため，落ち物などのエフェクトとインタラクションができる．エNose，Neck，RShoulder，RElbow，RWrist，LShoulder，

フェクトのフィードバックはユーザの点数により，表示さLElbow，LWrist，RHip，RKnee，RAnkle，LHip，LKnee，れる．エフェクトは図 5（a と b はご褒美エフェクト，c とLAnkle のそれぞれの手法で得られる同じ関節 14 カ所だけ

d は失敗エフェクト）に示す通り，ご褒美のエフェクトと使用した．

失敗のエフェクトが二種類ある．エフェクトが出る方法として，２つの方法がある．1) は T 時間の点数の平均点を3.4 テンプレートマッチング

計算する，ロースコア Slow 以下になると失敗のエフェク

本研究では隣合う２つの肢体のコサイン類似度を計算

トが出る，ハイスコア Shigh 以上になるとご褒美のエフェする．最初は肢体のベクトル ni を下の式 1 で計算する．

クトが出る．2) は点数 S が高い標準 Sstd を超えた場合ご(Xi ，Yi ) と (Xi+1 ，Yi+1 ) は隣の二個の関節の X 座標と Y褒美エフェクトが出る．ただし，それぞれのエフェクトは座標である．

ランダムで出現する．

© 2019 Information Processing Society of Japan209

情報処理学会 インタラクション 2019
IPSJ Interaction 2019a)b)c)

d)

1A-09
2019/3/6

図 7 今後の応用課題

をスコアで評価し，スコアの高さにより，自動的にユーザ映像画面にエフェクトが出ることができる．これに対して，面白さを増える．「アクティブ 5」の「三世代が一緒にシンクロできる楽しさ」という特徴にをさらに推し進めるたa と b はご褒美エフェクト，c と d は失敗エフェクト
図 5 エフェクトの例

めに，今後はゲーム的な要素を追加する．例えば 1 つの画
面でプレイヤー二人が同時に体操をして，スコアに低い方に失敗エフェクトを，スコア高い方にご褒美エフェクトをだすといった競争の効果の導入が考えられる. また，競争

4. 実験・結果・考察機能により，子どもたちを誘導することも考えられる．同2018 年７月 24 日の茨木市の COI サイトビジット (図じパソコンではなく，遠隔対戦機能として，異なるパソコ

6a) と 2018 年 11 月 10 日の草津市の「健幸フェア」(図 6b)ンでシステムを使用することで遠距離でも一緒にラジオ体で本システムの展示を行った．子どもと大人の数人に対し操ができる (図 7)．て提案したシステムを体験していただき意見や感想をいた

謝辞 本研究は国立研究開発法人科学技術振興機構 (JST)だいた．意見として，「エフェクトがあって面白く運動がの研究成果展開事業「センター・オブ・イノベーション (COI)できる」，「自分自身の動きも見ることでできているかよくプログラム」の支援によって行われた.

わかる」などの意見が出た．問題点として，一部の子供が失敗エフェクトにしか興味をしめさず，本来の目的である参考文献

体操の練習にシステムを利用しないというもあった. また，

[1]
[2]

システム性能の問題点として，Kinect v2 は OpenPose より計測の確度が低く，一部の動作について Kinect v2 ではうまく認識できないが，OpenPose では認識できるため，結果としてスコアが下がる場面があった. また，エフェク

[3]
[4]

トのフィードバックの判断基準を平均点として利用するため，一部の良い動きするときも失敗エフェクトが出る可能

[5]

性がある．
[6]

5. まとめと今後の課題[7]

本研究では，ラジオ体操を楽しくするを目的として，支援システムを開発した．ユーザが体操する時のジェスチャーa)

厚生労働省，平成 29 年国民健康・栄養調査．
Just Dance (video game series),Wiki. https://en.wik
ipedia.org/wiki/Just_Dance_(video_game_series)「毎朝体操」. http://maiasa.jp/pc/about/index.html
澁澤 進，Kinect センサを利用した高齢者向けの体操支援システムの開発と社会実装に 向けた実践的研究，電気通信普及財団 研究調査助成報告書 No.32 2017．
Liu L， Wu X， Wu L， et al， Static Human Gesture
Grading Based on Kinect， in CISP 2012．
Qiao S，Wang Y，Li J， Real-Time Human Gesture Grading Based on OpenPose， inCISP-BMEI 2017．
Cao Z， Simon T， Wei S E， et al， Realtime Multiperson 2D Pose Estimation Using Part Aﬃnity Fields，in CVPR， vol． 1， p． 7， 2017．

b)a)COI サイトビジット
図 6b) 草津「健幸フェア」

システム展示の様子© 2019 Information Processing Society of Japan210