情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D132022/2/21

二次元姿勢情報に基づく速度，加速度，躍度を利用した動作自動教示システム
原科 尭宗1,a)

高丸 尚教1

概要：近年，画像処理や機械学習を用いたスポーツやダンスの動作解析，教示するシステムの研究・開発が進んでいる．例えば，モーションキャプチャデータに対して動作解析を行っているものや，深度カメラ・RGB カメラによって撮影された動画像データに対して人物姿勢推定を行った後に動作解析を行っているものがある．本研究では，能楽などの無形文化財の保存や技能継承のための舞踏動作の意味論レベルにおける特徴抽出を目的として，(1) 人物を RGB カメラによって撮影された動画像データに対して OpenPose を用いて人物二次元姿勢を推定する．(2) 推定された関節座標の時系列データから算出された動作軌跡，速度，加速度，躍度に対して動作解析を行う．(3) これらの解析結果に cos 類似度を使用して動作の人物間の誤差を算出する．この一連の処理系を有する動作の教示システムを提案する．

1. はじめに度，躍度に対して動作解析を行う．これらの解析結果に対して計算コストの低いとされる cos 類似度を使用して動作近年，画像処理や機械学習を用いたスポーツやダンスのの人物間の誤差を算出している．これにより人物間の舞踏動作を解析し，教示するシステムの研究・開発が進んでい動作の類似度を提示する教示システムを提案する．先行研

る．このシステムは，モーションキャプチャによって獲得

究では，踊りのようなリズムに合わせた動作に対する動作できる人物の関節座標に対して動作解析を行っているも解析を行う際に，音楽の情報を導入した動作解析 [1] が存の [1], [2], [3] や，深度カメラ・RGB カメラによって撮影在する．しかし，本研究では，二次元関節座標から算出可された動画像データに対して二次元もしくは三次元の人物能な値のみを使用することを重要視して動作解析を行う．

姿勢推定によって推定された関節座標に対して動作解析をまた，3D シミュレーション上で撮影した人物動作に対し行っているもの [5], [6] がある．これらの教示システムにて提案手法を実施することで，動作の速度，加速度，躍度

よって，近年問題視されている能楽などの無形文化遺産やを用いた動作解析の有用性を提示する．そして，動作の速日本舞踊などの芸能の技能継承に役立てられている．しか度，加速度，躍度に対して cos 類似度を用いた比較を行う

し，モーションキャプチャによる動作解析では，データ採ことで似た動作の細かな違いを検出することが可能である取のために特別な環境と機材が必要であり，踊り手への負ことを示す．

担が大きい．また，RGB カメラによる動画像から推定された姿勢情報を使用した研究 [8], [9] では，人物間の関節2. 関連研究座標などの姿勢情報のみを比較している．そのため，あるモーションキャプチャにより得られた関節データを用い程度似た動作であれば高い類似性を算出してしまう問題がた動作解析の研究は過去に多く存在する．その中でも中澤ある．そこで，本研究では，リアルタイム自動教示システ

は [2]，そうらん節などの踊りの動作をモーションキャプムの開発を目標として，人物を単一の RGB カメラによっチャによって取得し，モーションセグメントを検出するたて撮影された動画像データに対して OpenPose[10] を用いめに音楽情報を導入した動作解析を行っている．これによて人物二次元姿勢推定を行う．その後，推定された関節座りモーションセグメントを意味論レベルで正しく検出する

標の時系列データから算出された各関節毎の速度，加速ことを可能にしている．また，この研究では躍度最小モデルを用いて動作軌跡を合成することでヒューマノイドによ1a)

中部大学
tr21012-2165@sti.chubu.ac.jp© 2022 Information Processing Society of Japanる舞踏動作の模倣を行っている．白鳥は [1]，音楽のリズム796

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D13
2022/2/21を考慮するためにビートトラッキングを導入した舞踏動作が可能であることを示す．また，cos 類似度により人物間の解析を行っており，モーションキャプチャによって獲得の動作の細かな違いを検出可能であることを示す．

した動作のデータから特に「止め」などのモーションセグメントを検出し，踊りの本質を失わない動作解析を可能と3.2 OpenPose による二次元姿勢推定している．鹿内は [3]，モーションキャプチャにより日本

本研究では，二次元姿勢推定手法に OpenPose を採用し舞踏の動作を取得し，関節座標間のベクトルの傾きに対している．OpenPose は，RGB カメラから取得される動画て動作解析を行い動作の印象との関係性を評価した．Ran

像に対して二次元姿勢推定を行い人物二次元関節座標を推は [4]，モーションキャプチャにより取得したダンスモー定する手法である．本研究では，Blender によって出力さションに対してヒルベルト＿ファン変換を用いて人物の関れた人物 3D モデルの動作を記録した動画を入力として，節の動きを周波数的に解析している．これらのモーション関節座標の時系列データを出力する．図 2 に OpenPose にキャプチャを用いた動作データの取得では，専用の機材によって推定された二次元姿勢を示す．

よるデータ取得を行うため，被験者への時間的，肉体的に負担が大きく大量のデータを取得することが困難であるという問題がある．

3.3 Blender による人物動作データの取得
本研究では，人物の動作データを取得するに当たって，3Dモーションキャプチャによる動作データ取得よりも被験シミュレータの Blender を使用する．Blender 内の 3D モ者に負担が掛からない手法として，深度・RGB 動画像を対デルに MMD(MikuMikuDance) によって作成されたモー象にした動作解析が挙げられる．深度動画像を対象としたションデータを読み込ませることで，様々な動作データの動作解析の手法として，柴田は [5][6]，Kinect から取得し撮影が可能としている．

た姿勢データに対して時系列間で cos 類似度を算出している．これにより，モーションセグメントを検出している．

3.4 人物動作の速度，加速度，躍度の算出

そして，検出されたモーションセグメントに対してラベル

本研究では，OpenPose により推定された二次元関節座付を行うことで動作認識を可能にしている．RGB カメラ

標に対して時間微分を行うことで，速度，加速度，躍度をにより撮影された動画像を対象にして動作解析を行ってい算出している．速度は，動作の始めと終わりを観測するたる研究も多数存在する．清水は [7]，RGB カメラから取得

め絶対値で算出している．式（1），（2），（3）にそれぞれ速した人物動作動画像から速度情報をもとにモーションセグ度，加速度，躍度を求める手法を示す．

メントを検出した後に躍度最小モデルを用いた動作生成を行うことでシミュレーション上のキャラクタによる人物動x(tn+1 ) − x(tn )|tn+1 − tn(1)a(tn ) =v(tn+1 ) − v(tn )tn+1 − tn(2)j(tn ) =a(tn+1 ) − a(tn )tn+1 − tn(3)v(tn ) = |作の模倣を実現している．
モーションキャプチャや RGB カメラから取得した動作データに対して人物間の動作の類似性を算出し動作教示を可能とするための研究は多数存在する．柴田は，検出したモーションセグメントと人物姿勢の cos 類似度を算出することで動作認識を行っている．西澤は [8]，人形のデッサンの能力向上も目的としたデッサン人形とデッサンによる人物画の二次元姿勢情報を cos 類似度によって比較することでデッサンの結果の良し悪しを評価可能であることを示した．栗井は [9]，個人の照合のために人物が同じ動作を複数回行い，それぞれの二次元姿勢情報から cos 類似度を算出している．この際に関節間のベクトルだけでなく足首同士のベクトルなどの多数のベクトルを入力とすることで個人照合を可能としている．

3.5 cos 類似度による動作データの比較
本研究では，人物間の動作の違いを比較するために cos類似度を使用する．cos 類似度は，2 種類のベクトル ⃗a, ⃗b を入力とし，ベクトル間の角度の類似度を表現する関数である．出力される値が１に近ければ類似しており，０に近ければ類似していない事を示している．本研究では，cos 類
似度へ入力するベクトルは，t と t-1 の間の速度，加速度，躍度を入力とする．式（4）に使用する cos 類似度を算出する手法を示す．

3. 使用手法，提案手法
3.1 提案手法の全体像
提案手法の流れを図 1 に示す．動画を入力として，Open-Pose により二次元姿勢を推定する．その後，推定された二次元姿勢情報に対して時間微分を行うことで速度，加速度，躍度を算出し，動作解析を行うことで動作特徴の抽出© 2022 Information Processing Society of Japancos(⃗a, ⃗b) =⃗a · ⃗b||⃗a||||⃗b||(4)4. 実験検証
4.1 実験環境
表 1 に本研究の実験環境を示す．

797

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D13
2022/2/21

図 1

図 2

手法の全体像図 3

実験で使用した人物モデル [11]図 4

体操動作に対する二次元姿勢推定

OpenPose による二次元姿勢推定の例
表 1実験環境種類

型番OSubuntu 20.04

CPUAMD x570

RAM8 GBGPU

RTX3060

VRAM

10 GB

CUDA

11.1

cudnn

8.2.1

OpenPose

1.7.0

Blender2.9

表 2

実験で使用したカメラと撮影環境

各種設定

値

地面からの高さ (m)0.85

被験者からの距離 (m)3

縦 × 横 × 高さ (m)90 × 25 × 25

解像度

1920 × 1080

焦点距離 (m)2.7

4.2 3D モデルに対する二次元姿勢推定

図 5

撮影環境の様子

この距離は，体を大きく動かした際に体がカメラに接触しないことや演者がストレスにならない距離を考慮した結果

本研究では，試験的なデータの取得のために，Blenderである．カメラから地面までの距離を 0.85m とする．この内の 3D モデルによるラジオ体操第２の動作に対して二次距離は，カメラに人物の全身をカメラに収める且つ，体の元姿勢推定を行う．これにより，ラジオ体操第２における縦幅の中心を取るために，日本人の平均身長を 1.7m とし15 個の二次元関節座標の時系列データが出力される．図 3たときの半分の値である．に実験で使用したモデルの外観を示す．図 4 に体操動作に対する二次元姿勢推定の様子を示す．表 2 に Blender 内で使用したカメラのスペックと撮影環境を示す．図 5 に撮影環境の様子を示す．

4.3 速度，加速度，躍度に対する動作解析
本研究では，人物二次元姿勢推定した結果に対して時間微分を用いて速度，加速度，躍度を算出する．これら３種

本研究では，IntelRealsence を模したカメラスペックで類の値の波形を 3D モデルの動作と照合し，波形から動作撮影を行う．カメラとの人物モデルの距離を 3m とする．の特徴を抽出できることを確認する．今回使用する動作は© 2022 Information Processing Society of Japan798

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D132022/2/21

表 3

図 6

人物二次元姿勢のパーツ分割の方法

人物動作の cos 類似度による比較結果
種目 1 と種目 11 の動作2 種類の種目 1 の動作

二次元姿勢

99.10

99.98

速度

24.18

82.62

加速度

22.78

84.51

躍度

7.79

73.84

本実験により，関節をパーツ毎に統合し，相互の関係性を考慮しながら解析することで動作の特徴を抽出できるこ

ラジオ体操第２の種目 1 13 の中で，種目 1 と種目 11 を使とを示した．また，加速度，躍度の波形を用いることで動用する．種目 1 の動作は，小さな跳躍を三回繰り返す動作

作の勢いや動作の機敏さの特徴を抽出可能であることを示となっている．跳躍の最中に左右の肘を小さく横ぶりしてした．

いる．種目 11 の動作は，大きな跳躍を三回繰り返す動作となっている．二回目の跳躍の最中に腕と脚を開いて着地した後に，腕と足を閉じながら再び跳躍し着地する．腕は，左右に約 90 度開く．脚は約 45 度開く．

4.4 cos 類似度による人物動作の比較
本研究では，似ている動作に対して，動作間の人物姿勢を入力とした cos 類似度と，動作間の速度，加速度，躍度

本実験では，関節を人体のパーツ毎に分割し，パーツ内の変化量を入力とした cos 類似度を比較する．本実験では，で各フレームの平均値を算出する．算出された各パーツ毎類似動作の他に，OpenPose では，入力動画のコーデックの波形を用いて動作解析を行う．図 6 に人物二次元姿勢の違いによる関節座標の細かな誤差が発生する．この性質のパーツ分割の方法を示す．図 7 に種目 1 の動作の波形を利用して，一つの動作データから複数の人物の二次元姿を，図 8 に種目 11 の動作の波形を示す．種目 1，種目 11勢のシーケンスデータを取得することと同義のデータのは共に跳躍する動作であるため，Chest，R arm，L arm，取得が可能であると考えられる．このデータを同じ動作でR foot，L foot のパーツは共通して Y 軸が周期的に増減しあるが少し異なる動作として扱う．具体的には，AVI とている．この波形から跳躍の大きさに応じて波形の大きさ

MPEG-4 を使用して二次元姿勢のシーケンスデータを取得が変化している．跳躍時の勢いの違いは，加速度，躍度のする．

波形から確認可能である．種目 1，種目 11 の動作は，とも本実験では，類似動作と同じ動作であるが少し異なる動に Chest のパーツは Y 軸のみ増減しており，X 軸はほとん作についての cos 類似度を比較する．この実験により，速ど動いてい無い．このことから今回の動作には体を捻る動度，加速度，躍度に対する cos 類似度が，二次元姿勢に対すきが無いこを読み取ることが可能である．種目 1 の動作のる cos 類似度よりも，細かな動作の違いに対して反応しや

R arm，L arm の動作では，跳躍のたびに腕を横に揺らしすいことを示す．類似動作として，ラジオ体操第２の種目ているため，X 軸の波形が常に小さく波打っている．しかの中で種目 1 と種目 11 の脚を閉じた跳躍１回分のシーケし，R arm，L arm の Y 軸の波形は Chest の波形ほとんどンスデータを使用する．もう一方の同じ動作であるが少し差が無いため，両腕が上下に動いていないこを読み取るこ異なる動作として，種目 1 の脚を閉じた跳躍１回分のシーとが可能である．種目 11 の動作の R arm，L arm の波形ケンスデータを AVI と MPEG-4 を使用して取得した．図では，4205 フレームから 4215 フレームの間で波形が他の9 に種目 1 と種目 11 の人物姿勢に対する cos 類似度を示フレームよりも大きくなっている．この動きは両腕を左右す．図 10，11 に種目 1 と種目 11 の速度，加速度，躍度にに開いた動作に対応していることがわかる．同様に，4225対する cos 類似度を示す．図 12 に 2 種類の種目 1 の人物

フレームから 4240 フレームにかけて X 軸の増減が Y 軸の姿勢に対する cos 類似度を示す．図 13，14 に２種類の種波形の増減にも影響している．この動きは，両腕を閉じる

目 1 の速度，加速度，躍度に対する cos 類似度を示す．表動作に対応していることを読み取ることが可能である．ま

3 に各動作の cos 類似度による比較の結果を示す．

た，Chest の X 軸の波形にはなかった膨らみが，Y 軸の値

ラジオ体操第２に含まれる小さな跳躍動作と大きな跳躍が増加したフレーム間と同じ区間で起きている．このこと動作を比較する．動作の細かな違いとして，跳躍する際のから両腕を左右に大きく開いたことが読み取ることが可能

勢いが挙げられる．この勢いという要素は姿勢からは読みである．R foot，L foot において種目 1 の動作では，X 軸取れないため，人物姿勢を入力とした cos 類似度では一致の波形の増減が無く，Y 軸のみ増減している．種目 11 のに近い 99.13 点を算出された．速度，加速度，躍度の変化

動作では，脚を開く動作に対応し，X 軸の膨らみが起きて量を入力とした cos 類似度では，24.18 点，22.78 点，7.79いる．しかし，Y 軸の波形には，R arm，L arm のような点を算出された．小さな跳躍の AVI と MPEG-4 を比較し大きな変化が現れていない．このことから，跳躍中の脚のた場合，人物姿勢を入力とした cos 類似度では 99.98 点を動きは大きな動きではないことがわかる．

算出された．速度，加速度，躍度の変化量を入力とした cos© 2022 Information Processing Society of Japan799

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D13
2022/2/21

類似度では，82.62 点，84.51 点，73.48 点を算出された．
以上の結果から，人物姿勢を入力とした cos 類似度では，点数の変動は 1%程度である．この結果に対して，速度，加速度，躍度の変化量を入力とした cos 類似度では，勢いの違いに敏感に反応することが確認された．つまり速度，加速度，躍度を利用した教示システムの有用性を示すことが可能と考える．

5. まとめと今後の展望
本研究では，人物の二次元姿勢から算出された速度・加速度・躍度を用いた動作解析によって人物間の動作の誤差を算出する動作の教示システムを提案し，動作に対する波形の分析と動作の比較が可能であることを示した．
今後は, 三次元の動作解析に応用したい．そして，実空間での日本舞踊の踊りや能楽の舞等に対して応用したモーションセマンティックスの推定により技能継承システムの向上を行いたい．その後，舞い手の個人的動作特徴を抽出し個人の動作の癖などを含めた技能保存を行いたい.

図 7

1 番の速度波形（上から Chest，R arm，L arm，R foot，L foot
左：X 軸，右：Y 軸）

図 8

11 番の速度の波形（上から Chest，R arm，L arm，R foot，L foot
左：X 軸，右：Y 軸）© 2022 Information Processing Society of Japan

参考文献
白鳥貴亮, et al. ”楽音のリズムを考慮した舞踊動作の解
析.” 第 21 回日本ロボット学会学術講演会 (2003).
[2]
中澤篤志, et al. ”モーションキャプチャによる全身運動
解析と模倣ロボット-「じょんがら」 節を HRP-1S に踊らせる.” 情報処理学会研究報告コンピュータビジョンとイメージメディア (CVIM) 2004.113 (2004-CVIM-146)(2004): 31-39.
[3]鹿内菜穂, et al. ”見返りすぎない美人: 日本舞踊における振り向く動作の特徴と女性らしさの印象.” 佐賀城下町『竃帳』 と町絵図を用いた GIS 分析の試み: 49.
[4]
董然, et al. ”ヒルベルト-ファン変換を用いたダンスモーション解析.” 電子情報通信学会論文誌 D 102.12 (2019):843-853.
[5]柴田佳幸. ”コサイン類似度を用いた人の姿勢の時系列
データに基づく日常動作の自動分類とその認識.” 大学院
研究年報 理工学研究科編 46 (2016).
[6]
柴田佳幸. ”コサイン類似度を用いた人の姿勢の時系列
データに基づく日常動作の自動分類とその認識.” 大学院
研究年報 理工学研究科編 46 (2016).
[7]
清水ありさ, et al. ”インタラクティブキャラクタにおける手先の追いかけ動作の再現.” エンタテインメントコン
ピューティングシンポジウム 2015 論文集 2015 (2015):551-556.
[8]
西澤博大, et al. ”姿勢推定を援用した実人物モデルの描画学習支援システム.” 画像電子学会研究会講演予稿 画像電子学会第 285 回研究会講演予稿. 一般社団法人 画像電子学会, 2018.
[9]粟井修司, et al. ”2 次元姿勢推定による歩容情報を用いた人物照合.” 人工知能学会全国大会論文集 第 34 回全国大会 (2020). 一般社団法人 人工知能学会, 2020.
[10] Cao, Zhe, et al. ”OpenPose: realtime multi-person 2D
pose estimation using Part Aﬃnity Fields.” IEEE transactions on pattern analysis and machine intelligence 43.1
(2019): 172-186.
[11] 優 し い 世 界 を ， 一 般 副 総 理 ASO ，
https://3d.nicovideo.jp/works/td72040 (2021/12/21)

[1]

800

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

図 96D132022/2/21

種目 1 と種目 11 の動作間の人物姿勢に対する cos 類似度

図 10

種目 1 と種目 11 の動作間の速度に対する cos 類似度

図 11

種目 1 と種目 11 の動作間の加速度に対する cos 類似度

図 122 種類の種目 1 の動作間の人物姿勢に対する cos 類似度

図 13

2 種類の種目 1 の動作間の速度に対する cos 類似度

図 142 種類の種目 1 の動作間の加速度に対する cos 類似度© 2022 Information Processing Society of Japan801