〈一般研究課題〉 生活空間での身体トレーニングのためのポータブル身体情報可視化システム
助 成 研 究 者

中京大学

宮崎慎也

生活空間での身体トレーニングのためのポータブル身体情報可視化システム
宮崎 慎也（中京大学）A portable body information visualization systemfor physical training in the living space
Shinya Miyazaki(Chukyo University)

Abstract：
In general, sports training requires a special place and equipment. However, for a general person
who is not a top athlete, there are few opportunities to train in such a dedicated environment. It isimportant to maintain training in everyday life, such as repeating how to use the body at homewhile being compatible with work. In order to respond to such needs, this research concretely
targets martial arts, and develops a human body information visualization system in the living
space. The state of the body is visualized in real time following the motion of punching, kicking,locking techniques, and so on. By sensing the state of the body, calculating the state of the centerof gravity and weight movement of the body from the obtained information, and visualizing theresult in real time, the user can practice repeatedly in his/her daily life.
１．はじめに
一般にスポーツのトレーニングには専用の場所と設備が必要となる。しかしながら、トップアスリートではない一般の人がスポーツを実践する際には、そのような専用の環境でトレーニングできる機会は少ない。また、仕事と両立しながら自宅で身体の使い方を反復するなど、日常生活の中でのトレーニングの持続も重要である。
他方で、各種スポーツ競技の技術習得においては、自分の姿勢や動作を把握し、それを改善して－ 173 －

いくプロセスが技術向上のために欠かせない。しかしながら、自己の感覚だけで姿勢状態や重心移動など、身体の状態を把握することは難しいため、指導者など他者からの助言やビデオカメラの映像をもとに振り返ることがオーソドックスな手段となる。ところが近年、安価なモーションキャプ
チャやバーチャルリアリティ（ＶＲ）の装置が登場し、一般の人でもこれらを利用した自主トレーニングの可能性が出てきている。
武道は比較的治安の良い我が国の現代社会においては馴染みの浅いものとなっているが、弱者を狙った無差別な犯罪も目に付くようになったことから、我々が日常生活を送る上でも護身術としての重要性が増しており、男女問わず武道を新たに始める人が増えてきている。また武道の多くはゴルフ、テニス、スキーといった専用の道具や設備を必要とするスポーツと比較して、特に道具を必要とせず、比較的限られたスペースでの反復練習が可能であり、我々が日常生活の中で継続して実践するのに適しているといえる。
そこで本研究では、一般人が自宅などの限られた住空間で武道の自主トレーニングを実践することを目的として、武道における突きや蹴り、関節技を行う際の身体の状態を可視化表示できるポータブルなシステムを構築する。身体の状態をセンシングし、得られた情報から身体の様々な特徴量を算出し、その結果をリアルタイムで可視化表示することにより、日常の生活空間において手軽に反復練習を自主学習することが可能となる。
2．システム概要
本システムではモーションセンサを用いて選手の姿勢情報を取得し、それを用いて様々な身体情報を生成し、最終的に選手が視認できる場所に表示する。本研究では自宅内等の限られた広さのスペースで利用することを想定しており、手軽にシステムを設置できることが望ましい。一般に、姿勢情報に高い精度が要求される場合はマーカを使用する光学的モーションキャプチャがしばしば使図1. 本システムの処理フローの概要－ 174 －

用されるが、マーカを身体に装備し、複数のカメラを設置する必要があり高価なうえに大掛かりなペースで利用することを想定しており、手軽にシステムを設置できることが望ましい。一般に、姿ものとなる。近年、コンシューマゲーム向けのモーションセンサが登場し安価に入手できるように勢情報に高い精度が要求される場合はマーカを使用する光学的モーションキャプチャがしばしばなってきている。そこで人物の動作情報取得にはMicrosoft社製Kinectセンサ[1]を用いる。このセ使用されるが、マーカを身体に装備し、複数のカメラを設置する必要があり高価なうえに大掛かりンサは距離センサを搭載しており、人物およびその骨格を認識する機能も有している。
なものとなる。近年、コンシューマゲーム向けのモーションセンサが登場し安価に入手できるようまた近年、コンシューマ向けゲーム機やスマートフォンを用いた簡易的なものまで、安価なヘッになってきている。そこで人物の動作情報取得にはMicrosoft
社製 Kinect センサ[1]を用いる。こドマウントディスプレイ（HMD）が登場してきている。
HMDは、没入感を得るだけでなく、視線方のセンサは距離センサを搭載しており、人物およびその骨格を認識する機能も有している。
向を直感的に変えることができ、武道のシミュレーションにも適していると考えられる。そこでまた近年、コンシューマ向けゲーム機やスマートフォンを用いた簡易的なものまで、安価なヘッKinectおよびHMD、それらとの接続、制御が容易なGame EngineソフトウェアUnityを利用する。
ドマウントディスプレイ（HMD）が登場してきている。 HMD は、没入感を得るだけでなく、視線方
図１にシステムの処理フローの概要を示す。
向を直感的に変えることができ、武道のシミュレーションにも適していると考えられる。そこでKinect および HMD、それらとの接続、制御が容易な Game Engine ソフトウェア Unity を利用する。
2.1 関連研究
図１にシステムの処理フローの概要を示す。
ここ数年、コンシューマゲームやアミューズメント施設等でVR技術が活用されている。 例えば、
Taito社VRゲームステージのVRスポーツボクシング[2]などのVRコンテンツでは高い没入感のある2.1 関連研究格闘シミュレーションを実現している。また、KinectとHMDを用いたアプリケーションが様々な
ここ数年、コンシューマゲームやアミューズメント施設等で VR 技術が活用されている。 例え
分野で開発されている[3,4]。 これらの先行研究に対して、本研究では武道の専門家とのコラボレー
ば、Taito 社 VR ゲームステージの VR スポーツボクシング[2]などの VR コンテンツでは高い没入感ションにより武道教育を支援するシステムの構築を目的としている。のある格闘シミュレーションを実現している。また、Kinect と HMD を用いたアプリケーションが様々な分野で開発されている[3,4]。 これらの先行研究に対して、本研究では武道の専門家とのコ3．人体モデルラボレーションにより武道教育を支援するシステムの構築を目的としている。
本研究では、訓練相手である巧者を視覚化し、攻撃の種類に応じて攻撃を受ける訓練の支援も行う。 本システムの機能は大きく分けてKinect v2を使用したモーションキャプチャ、キャラクタへ3. 人体モデルのモーションの投影、ユーザへのフィードバックの３部からなる。まず、Kinectで事前にキャプ
本研究では、訓練相手である巧者を視覚化し、攻撃の種類に応じて攻撃を受ける訓練の支援も行チャした上級者の攻撃動作をトレーニングパートナーとなるキャラクタにマップして仮想空間内にう。 本システムの機能は大きく分けて Kinect v2 を使用したモーションキャプチャ、キャラクタ表示する。 次に、キャラクタの攻撃動作に応じたユーザの受けの動作が、Kinectによってリアルへのモーションの投影、ユーザへのフィードバックの３部からなる。まず、Kinect で事前にキャプタイムで取り込まれ、受けの動作の評価をユーザにフィードバックする。なお、キャラクタデータチャした上級者の攻撃動作をトレーニングパートナーとなるキャラクタにマップして仮想空間内
はUnity Chan © Unity Technologies Japan/UCLを使用した。

表 1. Kinect によって取得される関節情報の階層構造
表1. Kinectによって取得される関節情報の階層構造
Joint Name
Spine Base
Spine Mid

Hip Left

Hip Right

Spine Shoulder

Knee Left

Knee Right

Shoulder Left

Neck

Shoulder Right

Ankle Left

Ankle Right

Elbow Left

HeadElbow Right

Foot LeftFoot Right

Wrist Left
Hand Left
Hand Tip Left

Thumb Left

Wrist Right
Hand Right
Hand Tip Right3－ 175 －Thumb Rightルタイムで取り込まれ、受けの動作の評価をユーザにフィードバックする。なお、キャラクタデー
タは Unity Chan © Unity Technologies Japan/UCL を使用した。

3.1 モーションキャプチャ
Kinect の標準機能より人体の骨格関節の位置および向きの情報が階層構造をもつデータとして

3.1 モーションキャプチャ
リアルタイムで算出される。 Kinect v2 では、この機能によってキャプチャされた人体の骨格デ
Kinectの標準機能より人体の骨格関節の位置および向きの情報が階層構造をもつデータとしてリータは、人間の手、足、脊柱を含む合計 25 個の関節で構成されている。一組の隣り合う関節によって形成されるリンクの方向は、親リンクに対する相対的な値が出力される。表1 に Kinect v2 にアルタイムで算出される。
Kinect v2では、この機能によってキャプチャされた人体の骨格データよって取得される関節情報の階層構造を示す。図 2 は、直立姿勢における各関節の座標軸（左）なは、人間の手、足、脊柱を含む合計25個の関節で構成されている。一組の隣り合う関節によってらびに Kinect 取得データの各関節とキャラクタの各関節との対応（右）を示している。これらの形成されるリンクの方向は、親リンクに対する相対的な値が出力される。表1にKinect v2によって対応付けは Unity 上で設定する。

取得される関節情報の階層構造を示す。図2は、直立姿勢における各関節の座標軸（左）ならびにこのシステムでは、Kinect は上級者による攻撃動作を事前に取得する部分、およびユーザのトKinect取得データの各関節とキャラクタの各関節との対応（右）を示している。これらの対応付けはレーニング中の受けの動作をリアルタイムで取得する部分の２種類の役割を担っている。前者は事Unity上で設定する。
前に編集することができるのでエラーやノイズ部分を修正することも可能である。実際の練習と異このシステムでは、Kinectは上級者による攻撃動作を事前に取得する部分、およびユーザのトなり攻撃者のスペースは不要となるため、限られたスペースで実践可能である。
レーニング中の受けの動作をリアルタイムで取得する部分の２種類の役割を担っている。前者は事前に編集することができるのでエラーやノイズ部分を修正することも可能である。実際の練習と異なり攻撃者のスペースは不要となるため、限られたスペースで実践可能である。
Correspondence
Kinect body joints

Character bones

Spine MidSpine

Elbow Left

Left Arm

Wrist Left

Left Forearm

Hand Left

Left Hand

Elbow Right

Right Arm

Wrist Right

Right Forearm

Hand Right

Right Hand

Knee Left

Left ThighAnkle Left

Left Lower Leg

Knee Right

Right ThighAnkle Right

Right Lower Leg

図2. Kinectで取得される関節位置および、それらのキャラクタ上の位置との対応

図 2. Kinect で取得される関節位置および、それらのキャラクタ上の位置との対応

4

図3. Kinectで取得される関節位置のキャラクタ上への対応付け－ 176 －3.2 キャラクタへのモーションマッピング
Kinectで取得した攻撃のモーションデータを仮想空間の訓練相手のキャラクタに投影するために、モーションデータから身体の各部位の向きに関する情報を抽出する。 さらに、それをキャラクタの対応する部分に投影し、動作させることにより仮想空間においてキャラクタからユーザへの攻撃が実現できる。図3にKinectで取得される関節位置（左）およびそれらがマッピングされる仮想キャラクタ上の関節位置を示す。また、図4にKinectで取得された深度画像と関節情報がマッピングされたキャラクタのスナップショット画像を示す。

図4. Kinectで得られる深度画像と関節情報がマッピングされたキャラクタ

3.3 ユーザフィードバック
本システムではユーザが受け動作を正しく行えたかどうかを把握するための情報のフィードバックを仮想空間内に生成する機能を有する。 例えば、Kinectでキャプチャされた受け動作を行うユーザの位置情報とキャラクタの位置情報との衝突判定により、受け動作の評価を行う。図5にシステム利用中のスナップショットを示す。
4．まとめ
本研究ではKinectセンサとヘッドマウントディ
スプレイ、Unityを用いて、武道において重要となる反復練習を限られたスペースで実践することができるポータブルなVRシステムを実現した。本システムは様々な特徴量をリアルタイムで表示できるため、自らの身体動作における特徴を示す情報－ 177 －

図5. システム利用中の様子

がリアルタイムでシームレスに変化する様子が視覚的に理解できる。このことから特徴を感覚的につかめないであろう武道の初心者の技術向上のための新たなアプローチとなることが考えられる。
今後は、より具体的な身体情報の表示を継続して行っていく予定である。
参考文献［1］Jamie Shotton, Andrew Fitzgibbon, Mat Cook, Toby Sharp, Mark Finocchio, Richard Moore,
Alex Kipman, Andrew Blake,“Real-Time Human Pose Recognition in Parts from Single DepthImages,”Microsoft Research Cambridge & Xbox Incubation.
［2］Taito Coporation,“VR Sports Boxing,”https://www.taito.co.jp/VRgs［3］Dongik Lee, Giyeol Baek, Yangwon Lim, Hankyu Lim,“Virtual Reality Contents using theOculusLift and Kinect”, Mathematics and Computers in Sciences and industry, ISBN: 978-161804-327-6.
［4］Taihei Kojima, Atsushi Hiyama, Kenjirou Kobayashi, Sachiko Kamiyama, Naokata Ishii,
Michitaka Hirose, Hiroko Akiyama“Frailty Prevention Exercise for Middle-aged and AgedFemale using Motion Instrustion System in Virtual Environment”, TVPSJ, Vol. 21 , No. 2 ,pp. 273-281, 2016.

－ 178 －