情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-85
2020/3/9

花火のインタラクティブデザインによる運動促進システム
謝大釗 1,a) 謝

浩然 1

宮田一乘 1

概要： 近年，運動不足が社会問題になり，情報端末の多用による肩や首のこりなどの健康障害も指摘されている．これは，運動をする時間がない，運動そのものが楽しくないという要因が考えられる．本研究は，この問題に対し，短時間での運動，楽しみながらの運動を促進することに焦点を当てる．身近な花火を題材とし，ユーザがお手本の動作に縛られることなく，自由度のある運動促進システムを提案する．提案システムは深度センサで得られるデータからユーザの身体動作を推定する。事前に，花火アニメーションであるパーティクルシステムの各パラメータと身体動作との関連付けを行う．推定した身体動作に対応したパラメータで，パーティクルシステムを用いた花火のアニメーションを自動生成することができる． 評価実験の結果として，体験者は花火アニメーションの生成に面白さを感じ，様々な花火を出す過程で楽しみながら運動できる可能性があることがわかった．

1. はじめにことで，いつの間にか全身の運動になるという特徴がある．
システムの概要は図 1 に示す．

近年，生活のペースが加速するにつれて，勉強や仕事で忙殺され，ジムなどで運動する時間が取れず，結果として運動不足が社会問題になっている．運動不足に起因すると思われる様々な健康障害が生じており，厚生労働省の健康障害に関する調査によると，男女とも，肩こりと腰痛の割合が高かった[1]．現在，ラジオ体操を職場に導入している会社もあるが，面白さを感じず，やる気が出ないために参加意欲が低い．すなわち，運動を楽しくさせ，やる意欲を引き出し， 退屈せずに運動できることが課題である．
現在，運動を促進するアプリケーションやウェアラブルデバイスがある．これらのシステムは，運動のカロリー消

図 1

システム概要図

費量や走行距離などを計測する機能があるが，ユーザに運動させる意欲を引き出す機能は弱く，使用時の設定が複雑なものが多い．
そこで本研究では，運動を楽しくさせると同時に，やる意欲を引き出すことを目的とし，我々の生活に身近な，特に夏の風物詩でもある打ち上げ花火を題材とする．花火は

2. 関連研究
既存の運動支援システムは，ユーザの姿勢と手本の姿勢を比較し，ユーザの動作を直す方法が多い．

身近な芸術作品の一つとして，多くの人に好まれている．

Iwaanaguchi ら[2]は，CG と VR 技術に基づく太極拳の予備実験として，パーティクルシステムで生成した花火練習支援システムを開発した．太極拳初心者のユーザに向の映像を被験者が観察し，どのような身体動作で花火を表け，ディスプレイや HMD をかけて正しく練習を行うこと現するかを調査した．その調査結果に基づき，パーティクを目指している． Alabbasi ら[3]は，Kinect を利用してユールシステムで用いる花火の打ち上げの角度，高さ，大きさ，ザの関節をトラッキングし，姿勢が正しいかどうかを確認

数量，形状などのパラメータを，計測した身体動作からリできるシステムで，医療と運動支援の応用を目標としていアルタイムで調整し，さまざまな花火アニメーションを自る．岡本ら[4]は，Kinect を用いたリアルタイムフィードバ動生成するシステムを実装した．

ック提示型運動訓練手法を提案した．この研究は，陸上競本研究では，ユーザは手本に縛られることなく，自由度技トレーニングの一つである“ハードルまたぎ”を対象とがあり楽しみながら運動することに焦点を当てる．ユーザ

し，正しい姿勢を練習者に提示しながら，正しく練習を行の身体動作と花火アニメーションを生成するためのパラメうことを目指している．Qiao S.ら[5]は，OpenPose を用いて，ータを関連付け，身体動作に応じた花火アニメーションを，リアルタイムで太極拳の練習者に手本姿勢との差をスコア

パーティクルシステムを用いて自動生成する．ユーザは，として提示する，太極拳の練習システムを提案した．このより美しい花火を出すために，色々と身体を動かしてみる研究も，練習の正確性を目指している．姚ら[6]は，「アクテ1 北陸先端科学技術大学院大学
Japan Advanced Institute of Science and Technologya)s1710419@jaist.ac.jp© 2020 Information Processing Society of Japan1094

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-85
2020/3/9

ィブ 5」というロコモ体操に基づき，リアルタイムでユーザの姿勢と手本の姿勢の類似度を求め，その結果に応じた報酬と失敗のエフェクトを提示することで，体操を楽しくすることを目標としている．Xie ら[7]は，単一 RGB カメラのみを用いた体幹トレーニングの姿勢支援システムを提案した．ユーザに視覚的フィードバックを提示し，正しい姿勢を容易に行えることを目指している．

3. 予備実験：花火と身体動作の関係
本研究では，パーティクルシステムで生成した花火の映像を被験者が観察し，Zhang Y.ら[8]の手法を参考し，どのような身体動作で花火を表現するかの予備実験を行った．
予備実験には図 2 に示すような事前作成した 18 個の基本スタイルの花火の CG 動画を使用する．図 2 の a~b は花火の打ち上げ角度，d~f は打ち上げる高さ，g~i は打ち上げる本数，j~l は花火の開花の本数，m~o は花火の開花半径，p~rは花火の開花形状が異なる．

図 3

被験者の動作データ

予備実験には，5 名の被験者が参加した．被験者の属性
図 2

予備実験で使用した花火© 2020 Information Processing Society of Japanは，男性 3 名，女性 2 名，うち 1 名はインタラクティブア

1095情報処理学会 インタラクション 2020
IPSJ Interaction 2020

プリケーションを開発した経験がある．被験者は自分の身3P-85
2020/3/9

整する．

体を用いて鑑賞した花火を表現し，その身体動作の様子を深度センサで記録する．ある被験者の記録データを図 3 に

4.3 身体動作データの取得示す．ここで，a～r は図 2 の番号に対応し，緑色が両手，本研究では，Kinect for Windows V2 と Kinect SDK2.0 を赤が頭部，黄色が腰部，青が両足の動作範囲をそれぞれ示用いて身体動作のデータを取得する．Kinect V2 は頭，手，す．予備実験の結果，花火の打ち上げ，開花，開花形状を肘，足などの 25 ヶ所の関節位置をリアルタイムで推定で表現する際に, 被験者は両手を一番使っていることがわかきる．また，Kinect と Unity3D を連動するために，Asset のった。また，体を左右に傾け，花火の打ち上げ角度を表現

Kinect v2 Examples with MS-SDK を利用して，ユーザの関節することも明らかになった．一方で，被験者のインタビュデータの三次元空間の座標，速度や姿勢推定を行う．Kinect

ー結果から，花火開花後の数量の表現は困難であることがで取得したデータと Unity3D のパーティクルシステムのわかった．

API を連動させ，パーティクルのパラメータをリアルタイムで調整する．

4. 提案システム

予備実験の結果を用い，システムの入力データと関連性がある関節を決める．本研究では Kinect で認識できる 18

本章ではシステムの概要，花火の生成，身体動作データのか所の関節の三次元座標を利用し，関節速度と加速度，関取得，身体動作とパーティクルシステムの連動を述べる．

節間の距離と角度，高さのパラメータを次節で述べるよう

4.1 システムの概要に連動する．

提案システムの構成を図 4 に示す．提案システムは主に，
1) ユーザの関節データの取得，2) パーティクルシステムのパラメータのリアルタイム調整，3)花火アニメーションの自動生成の三部分で構成する．はじめに，入力データとして，深度センサの前に立つユーザの身体の関節データを取得する．次に，取得した関節データの関節速度と加速度，関節間の距離と角度，高さを計算し，パーティクルのパラメータをリアルタイムで調整する．最後に，身体動作による，異なる花火アニメーションを自動生成する．本システ
ムの機材の配置およびユーザの配置を図 4 に示す．

図 5

花火アニメーションの構成

4.4 身体動作とパーティクルシステムの連動予備実験の結果に基づき，身体動作に連動するパーティクルシステムのデザインを行った．提案システムでは，一図 4

提案システムの構成と配置

度に 1 個のみ打ち上げるシングル花火と数本打ち上げるマルチ花火の二つのパターンを設定し，ユーザの手の左スワイプと右スワイプのハンドジェスチャーでパターンを切り4.2 花火の生成替える．パーティクルシステムの各パラメータと身体動作本研究で，花火はパーティクルシステムを用いて生成すとの対応を以下に示す，

る[9]．図 5 に示すように，1 個の打ち上げ花火（親パーテ・花火の打ち上げ角度（𝜃ィクル）と，開花後の花火（子パーティクル）の 2 階層で90°とし，首の座標値(𝑋表現するパーティクルシステムを，Unity3D で実装した．て，体の傾角を得る．

，図 6a）：ユーザが直立の時, 𝑌, 𝑍)から式 1 を用い

親パーティクルでは，花火の打ち上げる高さと角度を，子パーティクルでは花火の大きさ，形状，数量，カラーを調© 2020 Information Processing Society of Japan1096

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

𝜃

3P-85
2020/3/9

𝑋

𝑎𝑟𝑐𝑐𝑜𝑠

𝑌𝑋(1)

𝑍・花火の打ち上げの高さ（図 6b）：頭の Y 軸座標𝑌
右肩の中部𝑌

色調整

上げる高さを調整する．

花火の高さ

𝑌𝑌𝑌𝑌𝑌𝑌高𝑌

中(2)

左右肘距離𝐸

低𝑀𝑎𝑥𝑖𝑚𝑢𝑚 𝐻𝑌𝑌

青色藍色，左右足の距離𝐹，左右肩の距離𝑆，計

左腕，右肩，右肘，右腕である．
𝑆𝐿⃗𝐸𝐿⃗(3)

𝐸𝐻⃗𝐸𝑆 ⃗𝐻𝐿⃗𝑆𝑅⃗

𝐸𝐿⃗
𝐸𝑅⃗

(4)

𝐸𝐻 ⃗𝐻𝑅⃗𝐸𝑅⃗(6),𝐹,𝑆を求め，子パーティクルのを判断し，花火開花後の大きさ調整を行う．

こで，𝑆𝐿⃗，𝐸𝐿⃗，𝐻𝐿⃗，𝑆𝑅⃗，𝐸𝑅⃗，𝐻𝑅⃗ は，それぞれ左肩，左肘，𝐸𝑆 ⃗,𝐸

生命周期，初期速度を 4 段階に設定し，式 14 で𝐷，それぞれ式 7 と 8 で計算する．こ

，𝜃

緑色
𝑌

算 し ， 花 火 開 花 の 時 点 で の 最 大 距 離 𝐷

・花火の半球形状（図 6c）：左右前腕と上腕のベクトル𝐸𝑆 ⃗，⃗⃗⃗
𝐸𝐻 ，𝐸𝑆 ，𝐸𝐻 を用いて，式 3-6 で計算する．前腕と上腕の夾角𝜃

𝑌𝑌(13)⎨𝑌𝑌𝑌紫色⎪𝑌𝑌黄色⎪ 𝑌⎪𝑌𝑌オレンジ色⎩・花火開花後の大きさ調整に関して，左右手の距離𝐻 ，と左を用いて，式 2 で打ち，中部脊柱𝑌𝑌⎧⎪𝑌⎪⎪
𝑌大きさ⎧ 𝑖𝑓 𝐷⎪ 𝑖𝑓 𝐷⎨𝑖𝑓 𝐷⎪⎩ 𝑖𝑓 𝐷𝐻𝑡ℎ𝑒𝑛 一番大きい

𝐹𝑡ℎ𝑒𝑛

二番大きい

𝐸𝑡ℎ𝑒𝑛

三番大きい

𝑆𝑡ℎ𝑒𝑛

一番小さい(14)(5)

𝜃𝑎𝑟𝑐𝑐𝑜𝑠

𝐸𝑆 ⃗ ∙ 𝐸𝐻⃗|𝐸𝑆 ||𝐸𝐻 |(7)

𝜃𝑎𝑟𝑐𝑐𝑜𝑠

𝐸𝑆 ⃗ ∙ 𝐸𝐻 ⃗|𝐸𝑆 ||𝐸𝐻 |(8)・花火の円型としだれ形状（図 6d と図 6e）：式 9 で左右の手の距離を求め，手の Y 軸の座標値𝑌と中部脊柱𝑌，の Y 軸の相対位置により，円形の花火を式腰部脊柱𝑌10 で，しだれ形状の花火を式 11 生成する．ここでは，𝐻の閾値は 40 センチと設定する．40 センチをこえる場合は，子パーティクル形状をデフォルト状態と設定する．
𝐻𝐻𝐿𝐻𝑅𝐻𝐿

𝐻𝑅𝐻𝐿𝐻𝑅
(9)

円形花火
しだれ花火

𝐻40𝑌𝑌𝐻𝑌

図 6 身体動作と花火の対応関係(10)

40(11)

𝑌

5. 実験・考察
10 名の被験者で評価実験し（図 8），以下の４項目に対す・花火の打ち上げの本数（図 6f）：式 12 で左右の手の加速𝐻を求め，加速度が速ければ速いほど打ち上げる本数がる 5 段階の評価とインタビューを行った。
1.

自分の体を用いた花火生成が面白いか，度である．

2.

異なる花火を生成するために体を色々と動かしたか，

𝐻𝑇

3.

運動促進の効果があると思うか，

4.

システム全体的に満足できたか，多くなる．𝐻

𝐻，𝐻はそれぞれ手の現在速度，以前の速𝐻𝑇(12)・色調整に関しては，左手のオープンとクローズのハンドジェスチャーと右手の Y 軸の数値𝑌
部脊柱𝑌，腰部脊柱𝑌と右膝𝑌，肩部脊柱𝑌，中と頭𝑌調査の結果，図 7 に示すように，被験者全員が運動促進の効果があることがわかった．そのほか，「身体動作により，様々な花火アニメーションが生成でき，面白い」，「沢山のの Y 軸の相対位置を用いて，式 13 で 6 段階の色調整を行花火が出るパターンがすごい」，「運動させる効果がある」

う．などの意見を得た．
問題点として，ユーザの動作の誤認識や認識できない場© 2020 Information Processing Society of Japan1097

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-85
2020/3/9

合がある．また，パーティクルシステムで花火アニメーシしては，9 軸慣性センサで得られる各種データと，Kinect のョンを生成するため，身体動作から，花火生成まで一定のデータとを連携させることで，認識の精度を高めていく予時間がかかり，遅滞を感じるという意見があった．さらに，

定である．

「生成できる花火の種類が少ない」などの意見もあった．

参考文献
[1]
[2]

[3]

[4]

[5]
[6]

図 7

アンケート調査の結果

[7]

[8]
[9]

図 8

厚生労働省，平成 28 年国民生活基礎調査の概況.
Takahiro Iwaanaguchi, Mikio Shinya, et al. Cyber Tai Chi - CGbased Video Materials for Tai Chi Chuan Self-Study. 2015
International Conference on Cyberworlds.
Hesham Alabbasi, Alex Gradinaru, et al. Human motion tracking& evaluation using Kinect V2 sensor. 2015 E-Health andBioengineering Conference.
岡本勝，礒村智将，松原行宏．姿勢推定手法を活用したリア
ルタイム運動訓練支援環境．The 30th Annual Conference ofthe Japanese Society for Artificial Intelligence, 2016.
Sen Qiao, Yilin Wang, et al. Real-time human gesture grading
based on OpenPose. 2017 CISP-BMEI.
姚 舜禹, 大井 翔, 松村 耕平, 野間 春生. ゲーミフィケーシ
ョンに基づく体操支援システムの提案. 情報処理学会インタ
ラクション 2019．
Haoran Xie, Atsushi Watatani , Kazunori Miyata. Visual Feedback
for Core Training with 3D Human Shape and Pose. NICOGRAPH
International 2019, 2019.
Yupeng Zhang, Teng Han, et al. BodyAvatar: Creating Freeform
3D Avatars using First-Person Body Gestures. UIST’13.
WILLIAM T. REEVES. Particle Systems A Technique forModeling a Class of Fuzzy Objects. ACM Transactions onGraphics (TOG) Volume 2 Issue 2, April 1983, 91-108p.

システム体験の様子

6. まとめと今後の展望
本研究では，運動を楽しくし，かつ運動の動機づけを行うことを目的とした運動促進システムを提案した．ユーザは，自由に全身を使って打ち上げたい花火を生成することができる。ユーザは，自身の身体動作に連動してさまざまな花火が生成できることを体験する過程で，ユーザ自身の発見的な要素があり，いろいろ試行錯誤することで，いつの間にか全身の運動になっていることを確認した．
今後は，生成できる花火の種類を増やし，システムの面白さを向上させたい．また，多人数が参加できるようにし，対戦などのゲーム性を増やすことも試みたい．誤認識に対© 2020 Information Processing Society of Japan1098