画像に基づくけん玉指導支援システムの実現に向けた
簡易 MoCap による動作分析
Analyzing Kendama Motions Using a Simple MoCap for Realizing
an Image-Based Kendama Instruction Support System
坂部 朋哉 1 ∗菊地 真人 1 大囿 忠親 1
Tomoya SAKABE1 , Masato KIKUCHI1 , Tadachika OZONO1
名古屋工業大学大学院
Graduate School of Engineering, Nagoya Institute of Technology
11

Abstract: Kendama is a traditional Japanese play. The attractive point of Kendama is its
fast and furious but delicate movements. For instructors and beginners, it is not easy to explain
the body movements of Kendama in using natural language. Hence, they need visualization ofKendama motions. Moreover, such a system should be easy to deploy. In this study, we aredeveloping a Kendama instruction support system to assist beginners. A camera of smartphone isavailable to realize an easy-deployable system. However, cameras have the limitation of acquiring
accurate three-dimensional motion. In addition, we should still consider the occlusion of the depth
sensors of smartphones. This research aims to build a dataset with 3D body movements using
inexpensive motion capture (MoCap) and movies. Our system will enable us to develop an easy
and inexpensive framework for general sports using inexpensive MoCap. This paper presents
the limitations of the image-based success/failure prediction system for one trick of Kendama,called Tomeken. Then, we show a body movement visualization system for Kendama using asimple MoCap. Finally, we conclude our remarks on the eﬀectiveness of this system in supporting
Kendama instruction, based on experts’ opinions.

1

はじめに

けん玉は日本の伝統的な遊びであり，健康維持のための集中力やバランス力を養う運動としても親しまれている．けん玉の特徴として，勢いよく引き上げる大きな動作と，けん先とボールの穴の位置を合わせるような繊細な動作の両方が必要とされる点が挙げられる．
けん玉に必要な身体動作を自然言語により説明することは，指導者と初心者の双方にとって容易ではない場合がある．よって，けん玉における身体動作を適切に可視化／分析することが求められている．ただし，システムの導入が容易であることが必須である．
本研究では，けん玉に必要な身体動作を初心者に説明することを支援するための，けん玉指導支援システムを開発している．システムの導入の容易さを考慮して，スマートフォン等のカメラの利用が好ましい．しかし，カメラでは映像上での 2 次元の動きの取得は可能であるが，3 次元での正確な動きの取得に課題があ∗ 連絡先： 名古屋工業大学〒 466-8555 愛知県名古屋市昭和区御器所町
E-mail: tsakabe@ozlab.org

る．また，近年のスマートフォンへの普及が進んだ深度センサを用いたとしても，手前の物体等により奥の物体が遮蔽される状態であるオクルージョンへの対応が課題となる．本研究では，この問題を解決するために，簡易的なモーションキャプチャ（MoCap）を用いて 3 次元の身体動作を取得し，画像とモーションデータの両方を用いて，画像上での 2 次元の身体動作から，正確に 3 次元の身体動作を取得することを目指している．本研究で得られる知見を用いて，安価な MoCapを用いることで，他スポーツ等にも安価かつ容易に適用可能なフレームワークを構築可能と考えている．
以降，本稿では，関連研究を示し，けん玉の指導について述べる．その後，画像に基づく成否予測システ
ムの限界を示す．そして，簡易 MoCap による身体動作取得とそのけん玉指導への適用可能性について説明する．最後に，本システムのけん玉指導支援への有効性について専門家の意見を交えて考察する．

3

けん玉と指導

けん玉は，ボール，けん，そして糸の 3 つの部品から構成される．けん玉の技は 100 種類以上あり，初心者から上級者まで技の難易度に応じて遊ぶことができる．上達のために，日本けん玉協会が定める級の認定に必要な技を練習することが多い．本研究では，けん玉初心者にとって難しい技であるとめけんを行う際の動作について分析を行う．

図 1: とめけんの動作の遷移

2

関連研究

けん玉に着目している研究として，VR 空間でけん玉を行う研究がある．Kawasaki らは，VR 技術を用いて VR 内のけん玉のスピードを調節することでけん玉スキル獲得支援を行っている [1]．ボールのスピードを調節する機能が実装されており，実際のけん玉の慣れが期待できる．しかし，実際のけん玉と，VR 空間のけん玉の違いについては，重さ・振動の違いがあり，感覚が異なるという問題がある．Goutsu らは，VR 内のけん玉でユーザのスキルに合わせた難易度調整を行うために大皿という技について成否予測を行う [2]．例えば，技の途中で失敗と予測した場合には VR 内のけん玉の皿を大きくすることで成功しやすくする．本研究では，指導のために予測結果だけではなく成否予測の根拠を突き止める必要があり，目的が異なる．
また，スポーツ支援としてはモーションキャプチャや骨格推定モデルによって運動を分析する研究がある．
例えば，Cheon らはゴルフのスイングに対してテンポ，リズム，スイングプレーンの関係を分析した [3]．この研究では，光学式モーションセンサを用いており大掛かりな設備が必要になる．しかし，けん玉の普段の練習に対して大掛かりな設備を用意することは難しい．本
研究では，簡易的なモーションキャプチャを使用して分析を行う．さらに Hiroaki らはウェアラブルセンサを用いて初心者のバッティングフォームの違いを分析し，野球初心者の打撃技術を効果的にサポートする研究を行った [4]．この研究では，身体以外ではバットにセンサをつけている．しかし，けん玉ではバランスが変わってしまうため，ボールやけんにセンサを取り付けることが難しい．骨格推定モデルを用いた動作の分析として，テニスやバスケットボールの選手の動作とボールの関係を分析した研究がある [5][6]．これらの研究では，骨格推定モデル OpenPose を使用している．
しかし，けん玉のような高速で繊細な操作を分析することは難しい．

3.1とめけんについてとめけんとは，ボールを下に垂らして静止させた状
態から，持ち手部分であるけんを鉛直方向に引き上げてボールを浮かせた後に，けん先をボールの穴に刺す技である (図 1)．刺す時にはボールの穴が下を向いている必要がある．ボールの穴の反対から紐が出ているため，引き上げの際，斜めに力が加わるとボールが回転して失敗する．10 級から 6 段まである級段位認定試験の中で，10 級から 7 級はけん玉の皿に乗せる技が対象である．とめけんはその次の 6 級の合格に必要な技の1 つであり，初心者にとって修得が容易ではない．ほとんどの初心者はとめけんに対して，けん玉上級者の指導を必要とする．この技の動作は大きく分けて前半と後半に分けられる．前半ではボールが回転しないように鉛直方向に真っ直ぐ引き上げる技術が求められ，後半では引き上げたボールの穴とけん先の位置を合わせる技術が求められる．
動作の前半のボールが回転しないように鉛直方向に真っ直ぐ引き上げる技術について，詳しく説明する．
真っ直ぐ引き上げる際に初心者の典型的な失敗例が 3
つある．1 つ目の失敗例は，肩や肘を中心としてボールを引き上げることである．この場合，引き上げ時のけんの軌道が弧を描き，ボールもけんの動きに影響されて傾いてしまう．初心者がボールを上に引き上げると自然とこの動きになっていることが多く，指導者の指摘や自身の動作の確認で気がつくことが多い．指導では，引き上げる動作をゆっくりと上下に繰り返し，真っ直ぐ引き上げる感覚を掴む練習をする．また，真っ直ぐボールを引き上げるコツとして，膝を使い体の上下運動でボールを引き上げるやり方がある．手をなるべ
く動かさないことで，けんの軌道が弧を描くことを防ぐことができる．膝を使うことは，この技に必須の技術ではなく，他の多くの技において成功を安定させる 1つの方法であると考えられる．2 つ目の失敗例は，ボールを高くあげすぎることである．引き上げ時に完全にボールが傾かないようにすることは難しく，僅かな回転がかかってしまう．必要以上にボールを高く上げすぎることで時間が経過し，結果的にボールが大きく回転してしまう．指導では，引き上げたボールの高さが腹から胸あたりになるように注意する．3 つ目の失敗例
は，前半と後半の動作が分離できていないことである．
引き上げ途中のボールに対して力が加わっている状況
で，けんを動かしてしまうとボールが回転する．引き上げてから焦ってボールを迎えにいくと，この状況になりやすい．指導では，引き上げる動作が終わってから焦らずにボールを迎えにいくことを伝える．
動作の後半の引き上げたボールの穴とけん先の位置を合わせる技術について，詳しく説明する．ボールが傾かずまっすぐ上がった場合，引き上げたボールの穴とけん先の位置を合わせることは難しくない．例えば，とめけんの前半部分の難しさを軽減した，まわしとめけんという技がある．まわしとめけんでは，ボールを回転させてからとめけんを行うことで，先述の誤った引き上げ方をしても遠心力により穴が下側に保たれる．
これによって，初心者でもボールの穴とけん先の位置を合わせるだけで技を成功させることができるため，とめけんの準備の技としても用いられる．位置を合わせる技術において，ボールの穴はボールから出ている糸の反対側にあることから，ボールの糸穴に注目することが重要である．Ito らの研究では，けん玉をする初心者と上級者の視線の違いを観察し，けん玉上級者ほどボールの穴に注目していることを示した [7]．指導ではボール全体を見るのではなく糸穴を見てその下にけんを運ぶことを教える．とめけんの成功に求められる 2 つの技術のうち，我々はボールが回転しないように鉛直方向に真っ直ぐ引き上げる技術がより重要だと考えた．引き上げた後の後半の技術は，ボールが傾かず真っ直ぐの場合は初心者でも難しくない．一方，ボールが傾いた場合は，ボールの傾きに合わせてけんの角度を合わせて刺すことで成功できるが，その状況に合わせて調整することは上級者でも難しい．成功率を安定させるにはボールが回転しないように引き上げる技術が重要になる．

44.1

画像に基づく成否予測システムの課題
成否予測について

本研究では，鉛直方向に真っ直ぐ引き上げる技術の成否について判定するため，技の前半部分である引き上げ動作の映像から技の成否予測をする．技の成否予測のために着目したのは，ボールと手首の 2 箇所である．
最初に，手首の軌跡から技の成否予測を行う手法（図2 左図）について説明する．ボールが回転する原因は，けんを斜めに引き上げることであるため，けんを持つ側の手首のキャプチャを行う．手首の位置は，静止画に対して姿勢推定が可能な Mediapipe Pose を用いて推図 2: 手首の位置推定を用いる手法の例 (左) とボールの角度を用いる手法の例 (右)定した．真っ直ぐ引き上げる場合は軌跡の水平方向の移動幅は小さく，斜めに引き上げた場合は軌跡の水平方向の移動幅が大きいことを考慮して予測すればよい．
次に，ボールの角度から技の成否予測を行う手法 (図2 右図) について説明する．本手法では，ボールにマーカとなるラインを引くことでキャプチャする．真っ直ぐ引き上げることができた場合は，ボールは回転せず初期状態と同じ角度である．ラインを色彩で判別し，さらに矩形の近似を行うことでボールの角度を算出する．
ボールの軌跡の頂点において，ボール角度が 15 度以上傾いた場合に失敗と予測する．
手首の軌跡から技の成否予測を行う手法とボールの角度から技の成否予測を行う手法のそれぞれをけん玉
熟練者の予測と比較し一致率を評価した．技の成否ではなく熟練者の成否予測と比較する理由は，技の成否には前半の鉛直方向に真っ直ぐ引き上げる技術の他に，後半のけん先とボールの穴の位置を合わせる技術が関わるからである．

4.2

評価実験と考察

手首の軌跡から技の成否予測を行う手法とボールの角度から技の成否予測を行う手法のそれぞれをけん玉熟練者の予測と比較し一致率を評価した．
評価実験では，けん玉の初心者 6 名がとめけんを 10回行う動画データ (120fps, 1920 × 1080px) を収集した．そして 60 回分の試行に対して，とめけんの動画の引き上げ動作から技の成否をけん玉熟練者が予測し，それを正解とした．
図 3 は，引き上げ時の手首の軌跡から水平方向の移動幅を算出したヒストグラムである．図中の白棒および黒棒は，それぞれけん玉熟練者が成功と予測した場合と失敗と予測した場合の度数である．実験前は，真っ図 3: 手首の水平方向の移動幅別のヒストグラム直ぐに引き上げた場合は水平方向の移動幅は小さく，斜めに引き上げた場合は水平方向の移動幅は大きくなると予測していた．しかし，実験ではどちらの場合でも移動幅が似通ってしまった．20px から 50px の移動幅には，失敗予測と成功予測のデータがどちらも存在するため，単純な方法により，成否予測ができないことを意味している．40px 程度の移動幅が多いという結果になった原因は，姿勢推定において必ずしも手首の中心が検出されなかったからである．
図 4 は，ボールのマーカの読み取りを行い，傾きを算出したヒストグラムである．図中の白棒および黒棒は，それぞれけん玉熟練者が成功と予測した場合と失敗と予測した場合の度数である．システムが 15 度以上の傾きを失敗とする予測を行った場合，熟練者の予測が一致したのは，87%(52/60) であった．また，システ
ムがボールの傾きを小さいと予測したが，熟練者が失敗と予測したデータが 5 件ある．これに関して該当のデータを確認したところ，ボールがカメラ側手前に回転していたため，システムが傾きを正しく認識できていなかった．この問題を解決するには，2 台のカメラで撮影し，一方のカメラ方向にボールが回転した時に，もう一方のカメラが回転を判定することで，改善が見込まれる．しかし，システムを容易に用いることができなくなるという欠点もあるため課題である．単体カメラでの成否判定には改良の余地がある．
画像に基づいた成否予測は，2 つの課題がある．1 つ目は，画像という特性上奥行きの情報が失われることである．奥行きの情報が失われると，引き上げ動作の奥行き方向の移動幅を取得することができず，技術の有無の判定が難しい．2 つ目は，手首と推定する位置がフレーム間で異なることである．Mediapipe Pose で手首と推定される位置は画像上の 1px であり，人間が手首と判断する範囲よりも小さい．骨格推定による手首の位置推定誤差は，無視できないほど大きい．

図 4: ボールの角度別のヒストグラム

5

簡易モーションキャプチャを使用したデータ取得

既存の骨格推定モデルを使用した場合は画像に基づいた成否予測が難しく，けん玉に特化したモデルを用いる必要がある．画像に基づいた予測の精度の向上には，けん玉動作の 3 次元のデータが必要である．本研究では，開発の第一段階としてけん玉動作の 3 次元モーションデータの分析を行った．
けん玉のモーションキャプチャは，軽量でけん玉の動作の邪魔にならないこと，高速な身体動作を記録するための高いフレームレートが求められる．しかし，高精度なモーションキャプチャは多数のカメラを設置するためのスタジオと，タイツのような全身スーツや多数のマーカを用いるため，高価であり，けん玉の動作の邪魔になる．それらの要件を満たし，安価であるモーションセンサとして，SONY 社が開発したモバイルモーションキャプチャmocopi がある．mocopi は，6 つの小型センサのみでどこでも手軽に 3 次元でフルボディトラッキングを行うことが可能である．mocopi では，頭・腰・両手・両足の 6 か所に装着したセンサのデータから，全身の関節の位置・姿勢を推定する．したがって，けん玉において最も身体動作に対する影響が危惧される手首に関しては，リストバンド状の軽量なセンサを装着するのみであり，手首の動作を阻害しないと考えている．また，mocopi は 50 fps で全身のモーションデータを取得することが可能であり，高速な身体動作を記録するためのフレームレートとしては十分であると考えた．
mocopi が推定した全身の関節位置は，モーションデータとして保存される．全身の関節位置が Root からの階層構造でそれぞれ相対位置と相対角度を持っているため，3 次元の絶対位置で可視化を行うプログラムを作成した．これにより様々な角度からとめけんの

図 5: 適切な（垂直に引き上げた）場合の軌跡

図 6: 不適切な（斜めに引き上げた）場合の軌跡

引き上げ動作を確認することができる．例えば，上から動きを見ることで真っ直ぐ上げるという動きがどれだけできているか分析することができる．
実験では 4 人のけん玉初心者に，mocopi の 6 つのセンサを全身に装着した状態でとめけんを 10 回ずつ試行させた．そして，mocopi のデータと実際の動きを見比べることができるように，同時に動画を撮影した．
mocopi の使用中に，測定誤差が蓄積される傾向があることから，5 回の試行毎にキャリブレーションを実施した．モーションデータから右手首の軌跡を可視化し，引き上げ動作時の身体動作を分析した．

上げ動作が 1 マス分に収まっていることがわかる．また，引き上げ方の特徴として，勢いよく引き上げており，鉛直方向の移動距離が短かった．
失敗グループについて，失敗時の引き上げ動作の軌跡を図 6 に示す．図 6 は上から見た軌跡であり，引き上げ動作が 2 マス分に渡って移動していることがわかる．また，引き上げ方の特徴として，ゆっくりと引き上げており，鉛直方向の移動距離が長かった．
引き上げ動作時における初心者の典型的な 3 種類の失敗例について，MoCap によって得られた軌跡からの成否判定の可能性について考察する．
1 つ目の失敗例は，肩や肘を中心としてボールを引き上げた場合である．この動作は，X-Y 平面上での軌跡として現れる．この動作は，成功グループでは観察されず，失敗グループでは 3〜5 回が観察された．図 6は，失敗例を表しており，上から見た軌跡，すなわち，X-Y 平面上での動きが，図 5 と比較して，Y 軸方向に大きく変化していることがわかる．よって，X-Y 平面上での変化の大きさを，失敗判定に利用可能と考える．
2 つ目の失敗例は，ボールを高く上げすぎた場合で6結果と考察

表 1 に 40 回の試行における，とめけんの成功回数を示す．全体の成功回数は 13 回である．成功回数が 5 回以上の被験者 (B, C) を成功グループと呼び，5 回未満の被験者 (A, D) を失敗グループと呼ぶ．
成功グループについて，成功時の引き上げ動作の軌跡を図 5 に示す．図 5 は上から見た軌跡であり，引き表 1: 被験者ごとの成否回数の内訳
被験者 成功回数 失敗回数
A19B73C55D010ある．この動作は，Z 軸上での軌跡の変化として現れる．この動作は，成功グループではほとんど観察されなかった．一方で，失敗グループでは，50% の試行において観察された．本件に関しては，軌跡からの成否判定が困難であることがわかった．なぜならば本失敗時において，軌跡からは引き上げ動作が正常であるといえる．しかし，僅かに X-Y 方向の力がボールに与えられており，その結果，ボールが回転していた．ボー
ルの回転により，ボールの穴が不適切な位置に移動したため，とめけんに失敗した．すなわち，軌跡の Z 軸方向の変化のみでは，成否判定が困難であると考える．
3 つ目の失敗例は，前半と後半の動作の切り替えが不適切な場合である．前半では真っ直ぐな引き上げが求められ，後半では引き上げたボールの穴とけん先の位置合わせが求められる．後半では，ボールの穴とけん先の位置合わせの前に，けんが上昇するボールを避けるための動作が必要である．前半での Z 軸方向の加速が終わる前に，後半の X-Y 軸方向の動きが加わることで，ボールが鉛直方向から傾いて上昇する．従来は，アルファベットの D の形に沿って，けんを動かすように指導していた．すなわち，D の縦線のように垂直にけんを持ち上げ，ボールの加速終了後に，D の弧の部分のようにけんを動かすことを指導していた．しかし，実際には，D のような軌跡が観測されなかった．これは，指導方法の誤りであると考えられる．本当に D のように動かすには，ボールの加速終了時に，けんの動きを急激に止める必要がある．この動作は，本来不要な動作である．結論としては，従来理想と考えられていた D 形を想定した，軌跡に基づく判定は利用できないと考えられる．
上記 3 点について，3 名のけん玉指導者と，引き上げ時における失敗を導くボールの水平移動について議論した．引き上げ動作終了時付近における水平方向の移動は，適切な指導法であると考えられている．一方，前半の引き上げ動作と後半のボール回避動作を分けるという従来の指導法を見直す必要性について指摘された．すなわち，本研究で得られた知見から，従来の常識を覆すようなけん玉指導法が得られる可能性がある．
また，指導者として，とめけんよりも複雑な技の説明がより難しいことから，他の技に関しても同様の分析が有効であろうという意見があった．以上より，本システムのけん玉指導における有効性が示唆された．

7

おわりに

本研究では，画像や簡易なモーションキャプチャによるけん玉学習支援システムの実現に向けて動作の分析を行った．けん玉初心者 4 名のとめけんの引き上げ動作を分析し，引き上げ時の水平方向の移動幅では，成功と失敗の動きが判別できないことがわかった．その理由として，ゆっくりと引き上げた場合は僅かな回転が時間経過で傾きにつながること，引き上げが終わる際には左右に動いていることが挙げられる．本結果をけん玉指導者と議論したところ，従来のけん玉指導法の改善に繋がる可能性が示唆された．本実験で得られたデータは，けん玉指導の検討に役立つのみならず，新たなデータセットの構築にも期待できる．

参考文献[1] H. Kawasaki, S. Wakisaka, H. Saito, A. Hiyama,
M. Inami, “A System for Augmenting Humans
Ability to Learn Kendama Tricks through VirtualReality Training”, AHs’22, pp. 152–161, 2022.
[2] Y. Goutsu, T. Inamura, “Instant Diﬃculty
Adjustment: Predicting Success Rate of VR
Kendama when Changing the Diﬃculty Level”,
AHs’23, pp. 346–348, 2023.
[3] M. Cheon, B. Khuyagbaatar, JH. Yeom, etal., “Analysis of Swing Tempo, Swing Rhythm,
and Functional Swing Plane Slope in Golf Witha Wearable Inertial Measurement Unit Sensor”
Journal of Mechanical Science and Technology,
Vol. 34, pp. 3095-–3101, 2020.
[4] I. Hiroaki, Y. Gotoh, “An Eﬃcient System forSupporting Bat Swing of Beginners in Baseball
Using Wearable Sensors” Journal of Data Intelligence, Vol. 1, No. 2, pp. 124–136, 2019.
[5] T. Shimizu, R. Hachiuma, H. Saito, T. Yoshikawa,C. Lee, “Prediction of Future Shot Direction using Pose and Position of Tennis Player”, MMSports’19, pp. 59–66, 2019.
[6] M. Nakai, Y. Tsunoda, H. Hayashi, H. Murakoshi,“Prediction of Basketball Free Throw Shootingby OpenPose”, New Frontiers in Artiﬁcial Intelligence, Vol. 11717, pp. 435-–446, 2019.
[7] M. Ito, H. Mishima, “Optical Information toGuide the Head and Handle Movements While
Playing Kendama”, Ecological Psychology, Vol.
30, No. 3, pp. 250–277, 2018.