情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

骨格推定を用いたバドミントンのスマッシュフォーム改善アプリの実装
大原黎明 †1
慶應義塾大学環境情報学部

中嶋桃香 †2慶應義塾大学環境情報学部

浜中智己, 佐々木航 †3慶應義塾大学大学院政策・メディア研究科

大越匡 †4慶應義塾大学環境情報学部

中澤仁 †5慶應義塾大学環境情報学部

概要

計測することが可能なウェアラブル端末を使用する研究 [1]

部活動においてスポーツの習熟度を向上させるためにはと Kinect を用いて骨格情報を取得してそれを利用する研究顧問やコーチなどの指導者の指導力が大きく関係する. 一方[2] がある. ただ, どちらも一般の人が所持しない特殊な機材で，膨大な仕事量による教員のリソース不足や学校に在籍を用意する必要があるため一般のユーザが利用しにくいとする教員の中で顧問を決定するため経験のないスポーツのいう問題がある. よって本研究では広く普及しているスマー

部活動を担当してしまい, 十分に指導することができない問

トフォンをシステムとのインターフェースとして利用する題がある. 本研究ではバドミントンのスマッシュの動作に焦ことで一般のユーザも利用しやすくする.

点を当て, スマートフォンを用いて国際大会に出場するレベ

スマートフォンを持った状態で動くとスポーツをする上ルの選手のスマッシュ動作と比較する. そして, 四肢の類似で動きの邪魔になってしまう問題が発生するため本研究で度スコアを算出して問題のある部位とともにフィードバッはスマートフォンはカメラとして利用する. また, 動画からクを行うシステムを開発, 効果の検証を行なった.

不要な情報を削除するための前処理として OpenPose を利用して骨格情報の取得を行う. さらに, 国際大会に出場した

1. はじめに選手の動画から右腕・左腕・右脚・左脚の骨格情報を取得し,DTW*1 を用いて類似度を算出するライブラリを作成し中学校, 高校の部活動の顧問は基本的にその学校に在籍た. そして作成したライブラリを用いて各部位の類似度スコしている教員が担当するため経験のないスポーツの顧問にアを算出し問題のある部位とともにフィードバックを行う.

なってしまう教員が一定数存在することに加えて経験がある教員も習熟度や指導力が高いとは限らない. また, 部活動以外の仕事で忙しいため指導を行う時間を割くことができ

本研究の貢献は以下の通りである.

• 特殊な機材を必要とせずに広く普及しているスマートフォンを利用してバドミントンのコーチングをサポーない場合もある. 一方で優秀な指導者が指導しないと習熟度を向上させることは難しいという問題がある.
また, バドミントンのコーチングをサポートするためのシトするためのシステムを開発した.

• 実験にてシステムを利用したグループにスコアの向上が見られた.

ステムに関する既存研究として,Myo という慣性と筋電図を

本論文では以下のように構成される.2 章では, 類似度スコUsing Skeletal Estimation Implementation of an application toimprove badminton smash form
†1
†2
†3
†4
†5

REIMEI OHARA, Faculty of Environment and Information
Studies, Keio University
MOMOKA NAKAJIMA, Faculty of Environment and Information Studies, Keio UniversitySATOKI HAMANAKA, Graduate School of Media and Governance, Keio University
TADASHI OKOSHI, Faculty of Environment and Information
Studies, Keio University
JIN NAKAZAWA, Faculty of Environment and Information
Studies, Keio University

アの算出手法の詳細について述べる.3 章では構成したシステムをもとに行う実験手順を述べる.4 章では実験結果について述べる.5 章では結果をもとにした考察を行い今後の課題を明らかにする.5.2 章では今後の課題をもとにした今後の展望を述べる.

*1

Dynamic Time Warping, 時系列データ間の類似性を計測するアルゴリズム

1

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

2. 本研究の手法
まず類似度スコアを算出するにあたり基準となるデータを収集するために YouTube からバドミントンの国際大会の動画をダウンロードする. そしてダウンロードした動画から選手がスマッシュを打っているシーンかつその選手のみが映るように切り出す. 次に切り出した動画 (n=120) をOpenPose*2 を用いて骨格情報の時系列データに変換し, そ

図3

れを一つのリストとしてまとめて npy ファイルに保存する.

図 (右脚)DTW を用いて算出した軸と入力値の距離の箱ひげシステムを利用する際はスマートフォンを用いてユーザーが類似度を算出したいショットの動画を撮影する. そして撮影した動画を実験用に開発した Web アプリケーションのフォームからアップロードする. 次にアップロードされた動画を OpenPose を用いて骨格情報の時系列データに変換する. また前述した npy ファイルの骨格情報を四肢ごとに分割しそれぞれに対して DBA*3 を用いて類似度スコアを算出するための基準となる軸を作成する. そして基準となる軸とアップロードされた動画から変換された骨格情報の時系列データから DTW を用いて距離を算出する. 次に図 1, 図 2,

図4

図 3, 図 4 をもとにプロデータと素人データの境界値が 50

図 (左脚)DTW を用いて算出した軸と入力値の距離の箱ひげ点になる sigmoid 関数を作成し, 先ほど算出した距離を入力して類似度スコアを算出する. 最後に各部位の類似度スコアに対して 40 点だと赤,40 点 60 点だと黄色,60 点 だと緑色で類似度スコアをユーザーにフィードバックする (図 5).

図1

DTW を用いて算出した軸と入力値の距離の箱ひげ

図 (右腕)

図2

DTW を用いて算出した軸と入力値の距離の箱ひげ

図 (左腕)*2*3

画像から人の体や手などのキーポイントを検出するライブラリ
DTW Barycenter Averaging, 時系列データの平均を求めるアルゴリズム

図5

スコアのフィードバック

本研究で実装するアプリケーションのシステム構成図を
図 6 に示す.

2

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

者の属性は 20 歳で 2 年生の男性,20 歳で 2 年生の男性,18歳で 1 年生の男性,18 歳で 1 年生の女性,18 歳で 1 年生の女
性の計 5 人だった.

4. 結果
システムを使用したグループと使用しなかったグループとでは使用したグループの方がプロ選手とのフォームの類似度スコアは高くなった.
各グループの実験開始時と終了時の各部位のスコアの遷移は以下の通りとなった (図 7, 8, 9,10). 青色の線がシステムを使用したグループで赤色の線がシステムを使用しなかったグループのスコアの遷移を表している.

図6

システム構成図
図7

実験結果 (右腕)図8

実験結果 (左腕)図9

実験結果 (右脚)

3. 実験手順
3.1. 実験概要
バドミントンサークルのメンバーをシステムを使用するグループ (n=6), 使用しないグループ (n=5) にわけて 3 週間実験を行った. 内容としては検証を行うために実験期間の最初と最後に両方のグループの被験者に対してシステムを使用してフォームのスコアを算出した. さらにシステムを使用したグループに対しては実験期間中サークル活動参加時に最低一回はシステムを利用して, システムからのフィードバックをもとにフォーム改善に努めた. また被験者に対してシステム利用時には試合の時と同じスマッシュのフォームで体全体がカメラに映るように後ろから撮影するように指示をした.

3.2. 実験参加者情報
バドミントンサークルに所属し過去にバドミントン部に所属していなかった未経験の学生を対象にした. システムを使用したグループの被験者の属性は 20 歳で 3 年生の男性,20 歳で 2 年生の男性,19 歳で２年生の男性,20 歳で 1 年生の男性,21 歳で２年生の女性,19 歳で 1 年生の女性の計 6人だった. また, システムを使用しなかったグループの被験3

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

ムの改善を行っていたことが大きく影響していると考えられる. 一方で, システムを使用したグループの中で体全体の平均で-31.75 と大きくスコアを低下させた被験者についてはサークルの練習日に毎回ノルマである１度しかスコアの計測をしていたことが影響していると考えられる. このことからただフォームの類似度スコアをフィードバックするだけでなく利用者のモチベーションを向上させるフィードバックを行うことができるかが重要である. さらに被験者
図 10 実験結果 (左脚)
また, 各グループ・各部位の実験前後の差分の中央値 (表 1)

からのフィードバックの中でフォームが悪いことはわかる
がどう改善すれば良いのかがわからないという意見が多くは以下の通りになった. 外れ値の存在が影響を与えないようあったので具体的な改善策がフィードバックされないことに中央値を使用した.

が利用者のモチベーションを向上させることができなかっ

特に左脚に関しては他の部位と比較してシステムを利用た一因であった.

したグループのスコアの向上がより顕著に見られた.
システム

右腕

左腕

右脚

左脚

使用群

+6+8.5-4+12.5

使用しない群-1-801

表1

各グループ・各部位の実験前後の差分の中央値

5.2. 今後の展望
今回は 3 週間とバドミントンが上手くなるには短い実験期間だったため次回の実験では 1〜2 ヶ月と今回の実験よりも長い期間で実験を行いシステムの効果を検証したい. さらに, ただ部位ごとの類似度スコアをフィードバックするだけ
では利用者は具体的にどのように動作を改善していけば良システムの評価として元山口県の代表選手で全国大会にいのかわからずモチベーションも向上しないため, 具体的なも出場した経験のある人に各被験者の実験前後でのフォーアドバイスを返す機能も実装する. またこの機能を実装する

ムの上達度を評価してもらった (表 2). 結果としてはシステ

にあたり特定の部位に対して指摘を行うのか特定の時間軸ムの評価と合致した評価もあるものの反対の評価をされたに対して指摘を行うのかさまざまな方法が考えられるため被験者も存在した.

各方法に対して検証を行い効果がある方法を見つけたい. シ
ステムの評価については今回は評価者が 1 人のみだったのシステム

体全体の平均値

評価

使用+9.75

変わらない

使用+5.25

ややフォームが良くなった

使用+36

とてもフォームが良くなった

使用+6.5ややフォームが良くなった 謝辞

使用-1.25

ややフォームが悪くなった 構の委託研究（05401），JSPS 科研費 JP21K11853，JST

使用-31.75ややフォームが良くなった RISTEX (JPMJRX21J1) の支援を受けたものである．

使用しない

-7.25

変わらない

使用しない

-4.25

ややフォームが良くなった

使用しない-14.75

変わらない

使用しない

3.25

ややフォームが良くなった

使用しない

4.25

変わらない

表2

各被験者の上達度の評価

5. 考察と今後の展望

で複数の評価者を用意して再度システムの評価を行うとともに評価者は選手ではなく選手を育てる立場である指導者を中心に依頼したい.
本研究成果は，国立研究開発法人情報通信研究機

参考文献[1] Kuo-Chin Lin, Chun-Wang Wei, C.-L. L. I.-L. C. N.-S. C.:
Development of a badminton teaching system with wearable technology for improving students badminton doubles skills，Educational Technology Research and Development, Vol. 69, pp. 945–969 (2021).
[2] Kuo-Chin Lin, Duan-Shin Lee, S.-A. C. Y.-H. V. C.-N.S. C.: The eﬀect of a badminton teaching system using
Kinect on badminton skill performance, 體育學報，Vol. 53,
pp. 161–178 (2020).

5.1. 考察システムを使用したグループの中で体全体の平均で +36と大きくスコアを向上させた被験者が存在するが, その人は実験中意欲的に何度もスコアの計測をするとともにフォー4