情報処理学会研究報告
IPSJ SIG Technical Report

ダンスをマスターした自身の映像を先に見ることによるダンス学習支援土田 修平1,a)

Mao Haomin1

岡本 秀明2 鈴木 裕真2
塚本 昌彦2,c)

金田 麟太郎2

堀 隆之2

寺田 努1,b)

概要：本研究では，プロフェッショナルなダンサーのダンスをマスターして踊る自身の映像を見ながらダンス動作を学習する学習支援手法を提案する．理想的な動作を行う自身の映像を見ることで行動の改善を促す「ビデオセルフモデリング」は，運動技能の学習においても有効とされる．しかし，理想的な動作を行なっている自身の映像を作成するには，多くの時間を割く必要があり手間がかかる．そこで，深層学習による映像生成技術を用いて参照動画中のダンサーの動作と同じ動作を行う学習者自身の映像を自動で生成し，その映像を見ることで学習者の学習を促す．生成した映像がダンス動作の学習に有効かどうかを検証するために参加者 20 名による評価実験を実施した．実験の結果，他者の映像を提示した場合と生成した自己映像を提示した場合とで有意差は見られなかったが，自己映像を提示したグループの方が，自己効力感が有意に低い傾向となった．これら実験結果を踏まえ，映像生成技術を活用したダンス動作の学習支援
手法の可能性を示した．

1. はじめにルレベルでトランポリンの演技をしている学習者の映像を映像編集ソフトを用いて作成し提示することで，パフォー

ダンスや武道，スポーツなどのさまざまな身体活動におマンスが向上したことを確認している．このことから，理いて，新たな運動技能を効率的に習得することは重要であ

想的な動作を行なっている映像を学習者に見せることは，る．運動技能を習得するためには，一般的に何時間ものト

運動技能の習得において有効である．

レーニングと反復練習が必要となる [1]．その中でもダンス

しかし，そのような理想的な動作を行なっている学習者

は，楽曲のリズムやメロディのタイミングに合わせて比較

自身の映像の作成には時間がかかり，ある程度の編集スキ的複雑な全身の動作を伴うため，習得に時間がかかる．ダルも必要となる．その上，複雑な動作を伴うダンス動作のンス動作を効率的に習得するために，これまで視覚，触覚，

場合，楽曲に合わせて理想的な動作で踊る学習者の映像を聴覚などさまざまなモダリティを活用した数多くの運動学

作成することは容易でない．藤本らの手法においても，フ習支援手法やツールが提案されている [2–4]．特に映像視

レーム単位で学習者の姿勢を撮影する必要があり，教師動

聴による学習支援は，これまで多数提案されてきた [5]．藤画中のダンサーと同じ姿勢をフレーム数分とることは手間本ら [6] は，熟練者のダンスで踊る自身の映像を用いた教がかかる．また，フレーム単位でダンサーの姿勢と完全に師映像を用いれば学習が早まるという仮説のもと，ダンスマッチした姿勢を学習者がとることは困難であるため，あを踊る自身の映像を比較的簡単な姿勢をとるだけで生成でる程度の誤差を許容する必要がある．そのため，この手法

きる練習支援システムを提案している．

では最終的な映像の質を高めることに限界がある．ここで藤本らが提案するシステムのように，理想的な動作を行

Chan ら [9] が提案する深層学習を用いた映像生成技術をなっている自分自身を見ることで，動作の改善を促す手法

活用すれば，ビデオセルフモデリングが適用可能な，高精を「ビデオセルフモデリング」と呼ぶ [7]．Diane ら [8] は，度・高精細で踊る自身の映像を自動で生成することができ，

トランポリンの学習において，現在の能力よりも高いスキ

その自身の映像を用いればダンスのような複雑な動作の学
習を早められるのではないかと考えた．

1
2
a)
b)
c)

神戸大学大学院工学研究科
ソフトバンク株式会社
tuchida@eedept.kobe-u.ac.jp
tutomu@eedept.kobe-u.ac.jp
tuka@kobe-u.ac.jp

c 1959 Information Processing Society of Japan⃝

そこで本研究では，ダンスをマスターした自分を先に見ることによる練習支援システムを提案する．自動生成した自己映像がダンス動作の学習に有効かどうか検証する．具1

情報処理学会研究報告
IPSJ SIG Technical Report

体的には，Chan ら [9] の手法を参考にモデルを構築，学習者の練習中の様子を 3 分程度撮影した映像を入力とし，プ
ロフェッショナルなダンサーの参照動画から抽出された動作と同じダンス動作を行う学習者自身による自己映像を作成する．学習者は上手いダンスを踊る自身の映像を見ながら練習することで，効率的な動作の習得ができると予想す

図 1

映像生成フローる．実験参加者 20 名の内，参加者自身が踊る自己映像を提示するグループとダンサーが踊る映像を提示するグループに分けて評価実験を実施した．その結果，学習の効果に

3. 見本映像の生成

有意な差は見られなかったが，自己映像の提示，他者映像

本研究では，習得するダンス動作の見本となる自己映像の提示と比べて自己効力感が有意に低くなる傾向が見られの生成に，Chan ら [9] が提案する手法を参考に作成した映た．アンケートの自由記述から，実際にはできない難しい

像生成モデルを用いた（図 1）．OpenPose [14] を用いて抽動作をこなしている自己映像が，自己効力感を低下させた出された骨格情報を中間表現として用いて，動画を生成す要因と考える．またアンケート結果から，学習するダンス

る．骨格情報の正規化により入力動画中の学習者と参照動

動作の難易度が高くなるほど，生成された映像を見ても自画中のダンサーの体格やカメラ内位置の差異を吸収する．

分が踊っているようには感じられない傾向が見られた．以

入力動画は，参照動画に含まれるダンス動作を真似て練習上のことから，将来的には学習者のスキルレベルに合わせしている様子を撮影した動画の 3 分間を用いる．出力動画て調整された動作を行う自己映像を生成する手法が有効でとして，参照動画と同じ長さで参考動画中の人物が行うダはないかと考えられる．

ンス動作と同じ動作で踊る入力動画中の人物の動画が生

2. 関連研究
自分が理想的な行動をとっているビデオを見ることで，その行動を改善したりする方法は「ビデオセルフモデリン

成される．学習にはクラウドサービスを使用し，GPU は

Tesla V100（16 GB)，vGPU が 8，メモリが 61GB の環境を用いて，40 エポックで学習させた．すべての処理が終了するまでに，入力動画 1 本あたり約 20 時間かかった．

グ」と呼ばれており，これまでさまざまな環境下での利用予備実験として，まず入力動画の検討を行った．自由にが報告されている [10–12]．Diane ら [8] は，トランポリン

動き回った動画を入力した場合と，ダンス動作の練習時との学習において，学習者が現在の能力よりも高いスキルレ

同様に参照動画と同じダンス動作を繰り返した動画を入力

ベルでトランポリンの演技をしているような映像を映像編した場合とで出力動画を比較した結果，同じ動作を繰り返集で作成し，提示した．その結果，口頭のみの指示と比べした動画を入力した場合の方が，質の高い動画が出力されて，映像を用いて学習した動作のパフォーマンスが向上しることがわかった．次に，さまざまなダンス動作を含む複ていることを確認した．以上のように，ビデオセルフモデ

数の参照動画とそのダンス動作を真似て練習している様子

リングは運動技能の学習にも有効である．本研究で提案すを撮影した３分間の入力動画を用いて学習を行い，動画をる手法では，自身の練習している様子の映像を入力として，出力した．その結果，奥行き方向の動作が，上下方向の動運動学習に有効なビデオセルフモデリングで使用する動画

作，ダンサーが後ろを向いていたり，素早く複雑な動作がを自動生成する深層学習モデルを構築する．

含まれてのようなダンス動作の場合は，ダンス動作の見本

ビデオセルフモデリングをインタラクティブに適用する動画としての質が低くなることがわかった．具体的には，手法もいくつか提案されている．Michael ら [13] は，エク

奥行き方向動作が含まれる場合，中間表現の骨格情報が 2

ササイズバイクを用いた VR エクササイズゲームを提案し次元であるためにうまく奥行きの動作を表現できていなている．このゲームでは，プレイヤーの過去のプレイをすかった．上下方向の動作では，動画中のヒトの位置が上下べて記録し，将来の自分である「ゴースト」と競争できるに細く移動してしまった．後ろを向く動作では，後頭部でレースになっている．4 週間に渡る実験の結果，提案手法

はなく顔が表示されることがあった．素早く複雑な動作での方が身体的パフォーマンス，内発的動機，及びフローをは，腕が突然消失したり，腕の位置がワープするような表向上させることを確認した．本研究では，上記に挙げたよ現が見られた．以上より，評価実験時にはこれら動作を含

うなインタラクティブなビデオセルフモデリングは実現でまない参照動画を採用する．

きていないが，将来的には学習者のスキルレベルに合わせて映像を生成し，リアルタイムに提示可能と考えている．

4. 評価実験

本研究はそれら技術の実現に向けた第一歩として，生成しダンスをマスターした自身の映像を先に見ることがダンた映像がダンス動作の学習にどのような影響を与えるか確ス学習に有効かを検証するために評価実験を行った．参加

認する．

者は 20 代の大学生 20 名（男性 19 名，女性 1 名）で，ダc 1959 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

ンスの経験は中学校・高校等での授業，文化祭などの校内をそれぞれ用いた．PC の画面上には学習の残り時間を示

イベントで実施された集団でのダンスパフォーマンスに参すタイマーを表示した．

加した程度である．本実験は，大学内に設置された 43m

2のフローリングフロアを有するスタジオにて実施した．なお，この実験は神戸大学の研究倫理審査委員会の承認を得て行った．

4.3 実験手順
実験行程を図 4 に示す．実験は DAY1，DAY2，DAY3の 3 日間実施された．

DAY1 では，まず参加者はスタジオに入り，これから三4.1 学習対象のダンス動作

つのダンス動作（Dance1∼Dance3）をそれぞれ 5 分間ず

参加者は三つのダンス動作（図 2 右参照）を学習する．

つ練習することについての説明を受けた．練習時に使用す三つのダンス動作は，AIST Dance Video Database [15] のるアプリケーションについて説明され，練習している様子

動画からトリミングし，参照動画として使用した．ダンスを実験実施者が実演して参加者に見せた．次に，5 分間のジャンルはそれぞれ Break，Pop，Pop，動画の長さは 5.9

練習直後にテスト（PreTest）を実施することを参加者に秒，9.6 秒，8.6 秒，動画に含まれる楽曲の BPM は 80，100，

伝えた上で，アプリケーションを通してダンサーの見本映

110，動画の名称は gBR sBM c01 d04 mBR0 ch01，gPO

像を見ながら，ダンス動作の練習を開始してもらった．練sBM c01 d10 mPO2 ch10，gPO sFM c01 d11 mPO3 ch

習終了後，PreTest を実施した．PreTest では，ダンサー

11 で，論文中では Dance1，Dance2，Dance3 と呼ぶことの見本映像（参照動画）を見ながらダンス動作を３回，間にする．予備実験を通して得られた知見に基づき，生成さ隔を空けて実施し，その様子を撮影した．すべてのダンス

れる見本映像の質を高めるために，奥行き方向，上下方向動作の練習とその PreTest を終えたら，DAY1 は終了としの動作が少なく，ダンサーが後ろを向いておらず，素早くた（所要時間約 20 分）．実験終了後，練習中の映像から練複雑な動作が含まれていない，カメラが撮影している方向

習開始 1 分後から 3 分間分をトリミングし，学習モデルにに対して垂直な平面上を動く動作を中心として構成された

入力し学習を開始させ，約 20 時間空けて参照動画のダンダンス動作を選んだ．

スを踊る自己映像が生成された．

DAY2 では，DAY1 と同様にダンス動作の練習とテスト
4.2 実験条件（PostTest）を実施する．ただし，ダンス動作の練習時間は

参加者は 10 名の自己映像提示グループと 10 名の他者映

10 分間とし，自己映像提示グループには，学習モデルより像提示グループの二つのグループに分けられる．グループ

生成された参加者の自己映像を見ながらダンス動作を練習

間の参加者のダンスの熟練度を揃えるために．グループ分

してもらった．他者映像提示グループでは，DAY1 と同様

けは 4.4 節で説明する PreTest で算出された DTW コストにダンサーの見本映像（参照動画）を見ながらダンス動作の値に基づき，PreTest での DTW コストの平均値の差がを練習してもらった．練習終了後の PostTest では，どちら10 以内に収まるように分けた．尚，自己映像提示グループのグループもダンサーの見本映像を見ながらダンス動作をの DTW コストの平均は 814.5，標準偏差は 61.5，他者映

３回，間隔を空けて実施し，その様子を撮影した．すべて

像提示グループの DTW コストの平均は 815.2，標準偏差のダンス動作の練習とその PostTest を終えたら，アンケー

は 61.9 であった．図 2 左に示すように，左半分は PC 搭載

トに回答してもらった．アンケートでは，それぞれのダンのカメラを通して撮影した参加者の映像を反転させた鏡映

ス動作の習得難易度を知るために，それぞれのダンス動作

像を，右半分には見本映像を表示するアプリケーションをの習得難易度について，1: 非常に簡単，2: かなり簡単，3:

用いて練習する．鏡映像はリアルタイムに表示される．ア

やや簡単，4: どちらともいえない，5: やや難しい，6: かな

プリケーションは macOS Big Sur 上の openFrameworks

り難しい，7: 非常に難しい，の 7 段階で回答してもらった．

v0.11.2 で開発された．自己映像提示グループでは，練習また参加者の自己効力感を知るために，それぞれのダンス

時（4.3 節の PreTraining）に撮影した映像より生成された，動作に対する「今後練習を続ければダンスを習得できると

参照動画のダンサーのダンスを踊る自己映像を見ながら練思う」の質問について，全く同意できないを 1，非常に同習を実施する．他者映像提示グループでは，ダンサーによ意できるを 5 とした 5 段階のリッカート尺度で回答してもる見本映像（参照動画）を見ながら練習を実施する．

らった．参加者の達成感を知るために，それぞれのダンス

三つのダンス動作（Dance1∼Dance3）の学習順序は，可動作に対する「ダンスを習得できた」の質問について，全

能な限り被験者間で被りが少なくなるようバランスをとっく同意できないを 1，非常に同意できるを 5 とした 5 段階

た．映像は，外部ディスプレイ（90 cm × 50 cm）に表示さのリッカート尺度で回答してもらった．その他実験に関すれ，参加者はその映像を見ながら練習を実施する．実験環

るコメントについては，自由記述の欄を設け，そこに回答

境を図 3 に示す．カメラは iPhone SE（第 2 世代），PC はしてもらった．さらに，自己映像提示グループに対してのMacBook Pro（13-inch, 2019, Four Thunderbolt 3 ports）

み，それぞれのダンス動作ごとで自己映像を見た際に「自c 1959 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

提示画面（他者映像提示グループ）

Dance3

生成された見本映像

Dance2

見本映像

Dance1

カウント

鏡映像をリアルタイム表示

提示画面（自己映像提示グループ）

1

・

2

・

3

・

4

・

他者
自己

他者
自己

他者
自己

図 2 （左）グループ毎の提示画面，(右) ダンス動作例．

とした（所要時間約 45 分）．

DAY3 では，練習の効果を保持できているか確認する
ために，DAY2 実施から 20 時間以上期間を空けてテスト（RetentionTest）を実施した．すべて参加者がダンサーの見本映像を見ながらダンス動作を３回，間隔を空けて実施
し，その様子を撮影した．すべてのダンス動作の Reten-tionTest を終えたら，DAY3 は終了とした（所要時間約 5分）．

4.4 評価方法
参照動画と三つのテスト時に撮影された参加者が踊って
図 3

実験環境

いる動画間において，動作にどの程度差があるかのコストを次のように算出した．まず，テスト時に撮影した動画に含まれている音声と使用した楽曲との相互相関関数を求め，最も値が高くなる箇所を開始時間として楽曲の長さ分
トリミングすることで，すべてのダンス動作の開始時刻を揃えた．次に，参照動画および切り出した動画にたいしてOpenPose [14] を適用し，図 5 に示すような 25 の特徴点
(2 次元の x，y 座標) を算出する．
参加者の体格差を考慮し，図 5 の赤い矢印で表現された

18 本の骨格をベクトルに見立て，それぞれ単位ベクトルに変換した．それぞれ特徴点に対して信頼度（0 ∼ 1）が算出されており，連結した特徴点の信頼度がそれぞれ 0.1 以
図 4

実験行程

上となるベクトルを抽出し，それ以下の場合は 0 を代入した．1 フレームあたり 36 次元のベクトルを算出し，これ分がダンスをしているように感じた」の質問について全くをすべてのフレームにおいて算出する．これらを動画一つ同意できないを 1，非常に同意できるを 5 とした 5 段階のあたりの特徴量ベクトルとし，動画間の特徴ベクトルに対リッカート尺度で回答してもらった．また自己映像を見た

して FastDTW ライブラリ [16] を用いて DTW を計算し，際の感覚などに関するコメントについては，自由記述式の

動画間の距離を算出する．これを DTW コストとし，どれアンケートに回答してもらった．回答は Google Form をだけ参照動画のダンス通りに踊れたかの評価に利用した．

介して行ってもらった．アンケート回答後，DAY2 は終了

尚，ダンス動作は楽曲のリズムに合わせてタイミングよく

c 1959 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

有意差が見られた（p < 0.05）．次に，ダンスの種類ごとのDTW コストの平均値を図 7 に示す．エラーバーは標準誤差を示す．Dance1 の DTW コストについて，日程と提示グループを要因とした 2 要因の参加者間分散分析を行った結果，日程において有意が見られ（F (2, 54) = 4.07, p < 0.05），
提示グループには有意差は見られなかった．Holm 法による多重比較を行った結果，DAY1 と DAY3 の間に有意差が見られた（p < 0.05）次に Dance2 の DTW コストについて，日程と提示グループを要因とした 2 要因の参加者間分散分析を行った結果，日程において有意が見られ（F (2, 54) = 5.80, p < 0.01），提示グループには有意差は
図 5

OpenPose で抽出された骨格情報から計算に利用したベクトル

見られなかった．Holm 法による多重比較を行った結果，

DAY1 と DAY3 の間に有意差が見られた（p < 0.05）またDance3 の DTW コストについて，日程と提示グループを要因とした 2 要因の参加者間分散分析を行った結果，2 つの要因においてそれぞれ有意差は見られなかった．
次に，アンケート結果について確認する．図 8 は，ダ
ンス動作の習得難易度に関する回答結果を示しており，エラーバーは標準誤差を示す．以降の図のエラーバーについても同じく標準誤差を示している．2 要因参加者間計画で提示グループと Dance の種類をそれぞれ要因とした分散分析を行った結果，Dance の種類の間で有意差が見
図 6Dance1∼3 の DTW コストの平均値

られた（F (2, 54) = 73.50, p < .01）．Holm 法を用いて多重比較を行ったところ，ダンス間のすべての組み合わせ

動くことが求められるが，今回は初学者を対象としている

において有意差を確認した（p < .05）．よって，Dance1，

ため，まずはどれだけ参照動画と同じ動作を行えたかを調Dance3，Dance2 の順に段階的に難しいダンス動作になっ査するために，DTW コストを評価指標としている．DTWていることがわかる．一方，提示グループの間には有意なコストが低いほど，参照動画のダンス動作と参加者のダン差は見られなかった．図 9 は，「今後練習を続ければダンス動作の類似度が高いことを意味する．また，OpenPose

ス動作を習得できると思う」に関する回答結果を示しておは 2 次元座標上での骨格推定となるため，奥行き方向の動り，参加者の自己効力感を示すと考える．2 要因参加者間きは無視されてしまう．しかし，本実験で利用する映像生計画で提示グループと Dance の種類をそれぞれ要因とし成モデルの制約から，奥行き方向の動作はあまり含まれな

た分散分析を行った結果，提示グループで有意傾向があり

いダンス動作を採用しているため，評価指標として問題な(F (1, 54) = 3.904, p < 0.1)，Dance の種類で有意差が見らいと考える．また今回，繰り返し再生される参照動画に合れた（F (2, 54) = 61.51, p < 0.01）．提示グループについ

わせてテストを実施するために，ダンス動作の正確な開始て，自己映像提示グループの平均 2.8 が他者映像提示グルー

タイミングから明らかに遅れて動き出す参加者が多く見ら

プの平均 3.2 よりも有意に小さい傾向があった．Holm 法れた．この影響を取り除くために，DTW コストを計算すを用いて多重比較を行ったところ，ダンス間のすべての組る際は最初の約 1 秒に相当する 60 フレームは飛ばして 61

み合わせにおいて有意差を確認した（p < 0.05）．よって，フレーム目以降の特徴ベクトルを用いた．

Dance1，Dance3，Dance2 の順にダンス動作を習得しやす

5. 結果

いと参加者は感じていることがわかる．一方，Dance3 につ
いては平均 0.5 以上の差がみられるものの，提示グループのDance1∼Dance3 における DTW コストの平均値を図 6間には有意な差は見られなかった．図 10 は，「ダンスを習に示す．エラーバーは標準誤差を示す．DTW コストにつ得できた」に関する回答結果を示しており，参加者の達成感

いて，日程（DAY1∼3）と提示グループを要因とした 2 要因を示す．2 要因参加者間計画で提示グループと Dance の種の参加者間分散分析を行った結果，日程において有意な差類をそれぞれ要因とした分散分析を行った結果，Dance のが見られ（F (2, 174) = 5.75, p < 0.01），提示グループには種類の間で有意差が見られた（F (2, 54) = 35.65, p < .01）．

有意差が見られなかった．Holm 法による多重比較を行っ

Holm 法を用いて多重比較を行ったところ，ダンス間のすた結果，DAY1 と DAY2，DAY1 と DAY3 の間にそれぞれべての組み合わせにおいて有意差を確認した（p < .05）．

c 1959 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Report

図 7

Dance ごとの DTW コストの平均値

図 8 「ダンスの習得難易度について」に対する回答結果
図 10 「ダンスを習得できた」に対する回答結果

図 11 「自分がダンスしているように感じた」に対する回答結果
図 9 「今後練習を続ければダンスを習得できると思う」に対する回
答結果感じる傾向が見られた．
次に自由記述について確認する．ポジティブなコメン

よって，Dance1 は他と比べて高い達成感を得られており，

トは多数見られた，特に動きの把握や動かし方について，

逆に Dance2 は低いことがわかる．一方，提示グループの「踊っている自分の姿を実際に見ることができるので，ど間には有意な差は見られなかった．図 11 は，自己映像提のように動いたらいいかを掴みやすかった」, 「もとの映像

示グループに対してのみ実施したアンケート結果である．

はダンスしている人がどのような動きをしているのか理解「自分がダンスをしているように感じた」の文について全できなかった．自己映像では複雑な動きが少し簡単になっ

く同意できないを 1，非常に同意できるを 5 とする 5 段階ているように感じた」, 「他人がやっているよりも，体の動での評価を行ってもらった．図 8 の習得難易度の結果を考かし方が分かりやすく感じました」，PreTraining 時「の練慮すると，簡単なダンス動作ほど自分が踊っているように

習より自分の動きとお手本との違いに気づけた気がする」，

c 1959 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report「体のキレや動かすタイミング，などが分かりやすいと思っもらう時間を設けた方が，参加者の混乱を避けられた可能た」，「体の動かし方が理解しやすくなったように感じた」
，

性がある．

「今の自分の動きと比較しやすい」，「自己映像と現在の自分の姿が横並びに映し出されているので，お手本の映像よ6. 考察

りも動きの比較と修正が容易かった．」，「自分がどのよう

図 6 の Dance1∼3 の DTW コストの平均値の結果から，に動けば良いのか，自分のダンスとどう違うのか分かりや参加者の学習を進めることに貢献できているが，提示グルー

すかった」「体型が同じなので体の各部位の動きを比べやプ間に有意な差はなかった．考えられる原因の一つとして，すい気がした」，などのコメントが見られ，自己映像の方が自由記述で見られるように生成した映像の質の低さが，ダ動きの理解を向上させる可能性がある．

ンス動作の学習に影響している可能性がある．映像の不自

また，「自分が本来できないはずの動きをしている映像

然さを取り除いた，より質の高い映像の生成が求められるだったので不思議な感じはあったが，動きのイメージがしことがわかった．Dance の種類それぞれについても，提示やすかった」，「今の自分も映像のように踊れていると思いグループの間には有意な差は見られなかった．難易度によながら体を動かしていた．たまに今の自分の鏡映像を見てる影響はないか，引き続き調査していく必要がある．また，比較したらうまく動けていないポイントに気づけた．違和

表示する画面のサイズが小さかった（90 cm × 50 cm）た感は特になかった」，「自分が上手く動けたらこんなふうにめに，鏡としての役割が薄まり，セルフモデリングの効果見えるのか，というイメージがつきやすい」などのコメンを得られなかった可能性がある．Elsayed ら [17] が示すよトもあり，動作のイメージをサポートできる可能性が示さうに，比較的大きなディスプレイを使用した方が姿勢誘導れた．

の際のエラー率を低減させられることがわかっている．よ

さらに，「自分がこんなに踊れている映像を見たことがり大きなディスプレイを用いることで，今回のアンケート

なかったので単純におもしろかった」，「自分が完璧に踊っの自由記述コメントで得られた自己映像に含まれるメリッてる映像が違和感バリバリで面白かった」，「自分がうまくトが定量的に測定できる効果として現れる可能性はある．

なった様子が分かって，モチベーションは上がりました」，

図 9 の結果から，自己映像提示グループは他者映像提示「上手く踊れている自分が映像で見えるので，上手く踊れ

グループより自己効力感が有意に小さい傾向があり，自己ていると錯覚して楽しく練習できる」などのコメントがあ

映像の提示は自己効力感を低下させる可能性がある．自由り，面白さという点で学習者のモチベーションを高められ記述では，「自分が映像ぐらい踊れていると錯覚してしまる可能性がある．

う．そのため鏡映像とこまめに比較しないと動きが違って他に，「見本が同じ人物・同じ場所だったため，どう真似くるような気がした」，「実際には踊れてないのに自分が踊をすればいいかのイメージが立てやすかったです」とのコれていたので変な感じでした」などの意見が見られ，自分メントがあり，今回は学習する場所と同じ場所で撮影されがそもそもできない動作，現段階ですぐには到達できないた映像を用いたが，背景が変化すると異なる効果を与える

ような動作を自己映像で提示したために，評価が低下した可能性がある．

のではないかと考える．一方で「少し違和感がある部分はネガティブなコメントとしては，「お手本の映像と比べあったが，自分の顔で上手なダンスをしているようにちゃてノイズが入っているところもあったので，細かい動きがんと感じれて，ちゃんとこのダンス上手く踊れるかもと感

わからないところもあった」，「下半身・足の動きが分かりじれた」，「他人がやっているバージョンだと全く真似できにくかったです」，「ダンス１の映像で，足がどちらが前になさそうだったんですが，自己映像で自分がダンスしてる出ているかがかなり分かりにくくなっていました．そもそ姿を見ると，再現できる可能性を感じました」，「練習しても難しい動きがある場合は，自己映像があっても，イメー

いけば，自己映像のようになるイメージはしやすいと感じ

ジはしにくい印象でした．合成によって着ている服の色にました」といったコメントもあり，人によっては自己効力

よっては奥行きの動きが見にくいように感じた」，「画質が感を高める可能性もあり，今後も引き続き調査が必要と考あまり良くなかったため，手先などの細かい部分を確認すえている．

ることが難しかったです」などの映像生成の質の低さに関する指摘があり，これらは改善の必要がある．

図 11 に示す結果では，回答についてバラつきが見られ，参加者によっては生成された映像を見ても自分が踊っていまた，今回は実験条件を統制するために，テスト時はどるようには全く感じないと回答している．自由記述では，

ちらのグループも参照動画を見ながら実施してもらったが，「身体が小さくなって」いる，「足先が少し見えないことが「実際の映像と微妙に動きが違う気がしたテストの時，そあった」，「首がなくなってしまったり，顔の向きがおかしの差によって少し頭がこんがらがったかもしれない」，「テ

かったりといった点で不自然さを感じました」，「体格がストの時の映像が違うダンサーに戻って，少し焦る．
」など合ってないように感じます」，「後半が画質が悪くなってしの指摘があり，テストを実施する前に，参照動画に慣れてまって」あまり踊っているように感じないといった指摘がc 1959 Information Processing Society of Japan⃝7

情報処理学会研究報告
IPSJ SIG Technical Report

あった．ビデオセルフモデリングでは，自身が行なっているように錯覚させることが前提となっており，ビデオセル[6]

フモデリングの効果を得るためには，自身が動作を実施している感覚を強めることが望ましい．そのため，先ほど列挙したような不自然さは排除していく必要がある．また，
図 8 と図 11 に示す結果から，学習する動作に対して難し[7]

さを感じるほど，自分が踊っているような感覚が弱くなる
ことがわかる．この点については，学習者のスキルレベル[8]に合わせて対戦相手 [13] や，利用する道具 [18] を調整していくような手法と同様に，学習者のダンス動作レベルに合わせた自己映像を提示することが望ましい．例えば，ダ[9]ンスのエキスパートの動きをマスターしている自己映像を最初に提示するのではなく，エキスパートに一歩近づいたような自己映像を，学習者のレベルに合わせて段階的に提[10]示できる技術，エキスパートのスキルと初学者のスキルをモーフィングできるような技術の開発が今後必要になると考えている．

[11]

7. まとめ[12]

本研究では，ダンス動作をマスターした自身の映像を先に見ることによるダンス学習支援手法を提案した．練習時の映像を入力とし，深層学習を用いて参照動画中のダンサーの動作と同じ動作を行う自己映像を生成し，提示する．

[13]

自動生成した自己映像が，ダンス学習に有効かどうか検証するために，参加者 20 名の評価実験を実施した．実験の結果，単に参照動画を見る場合と比べて有意な差は見られなかった．また，アンケート結果から，自己映像を提示さ[14]れたグループの自己効力感が有意に低い傾向が見られた．
謝辞 本研究の一部は，JST CREST(JPMJCR18A3) の支援によるものである．ここに記して謝意を表す．
[15]

参考文献
[1]

[2]

[3]

[4]

[5]

Ward, P., Hodges, N. J. and Williams, A. M.: Deliberate Practice and Expert Performance: Deﬁning The Path
to Excellence, Journal of Skill acquisition in sport, pp.
255–282 (2004).
Peeters, T., van breda, E., Saeys, W., Schaerlaken, E.,
Vleugels, J., Truijen, S. and Verwulgen, S.: Vibrotactile
Feedback During Physical Exercise: Perception of Vibrotactile Cues in Cycling, International Journal of Sports
Medicine, Vol. 40 (2019).
Landry, S. and Jeon, M.: Interactive Soniﬁcation Strategies for the Motion and Emotion of Dance Performances,
Journal of Multimodal User Interfaces, Vol. 14 (2020).
Kyan, M., Sun, G., Li, H., Zhong, L., Muneesawang,P., Dong, N., Elder, B. and Guan, L.: An Approach toBallet Dance Training through MS Kinect and Visualization in a CAVE Virtual Reality Environment, Journal of ACM Transactions on Intelligent Systems andTechnology, Vol. 6, No. 2 (2015).
Choi, J.-H., Lee, J.-J. and Nasridinov, A.: Dance SelfLearning Application and Its Dance Pose Evaluations,
Proceedings of the 36th Annual ACM Symposium onc 1959 Information Processing Society of Japan
⃝

[16]

[17]

[18]

Applied Computing, SAC ’21, pp. 1037–1045 (2021).
Fujimoto, M., Terada, T. and Tsukamoto, M.: A Dance
Training System that Maps Self-Images onto an Instruction Video, Proceedings of the 5th International Conference on Advances in Computer-Human Interactions,
ACHI ’12, pp. 309–314 (2012).
Creer, T. L. and Miklich, D. R.: The Application of
a Self-modeling procedure to Modify Inappropriate Behavior: A Preliminary Report, Behaviour Research andTherapy, Vol. 8, No. 1, pp. 91–92 (1970).
Ste-Marie, D., Vertes, K., Rymal, A. and Martini, R.:
Feedforward Self-Modeling Enhances Skill Acquisition inChildren Learning Trampoline Skills, Journal of Frontiers in Psychology, Vol. 2, p. 155 (2011).
Chan, C., Ginosar, S., Zhou, T. and Efros, A. A.: Everybody Dance Now, Proceedings of the IEEE/CVF International Conference on Computer Vision, ICCV ’19(2019).
Clark, S. E. and Ste-Marie, D. M.: The Impact of Selfas-a-model Interventions on Children’s Self-regulation of
Learning and Swimming Performance, Journal of Sports
Sciences, Vol. 25, No. 5, pp. 577–586 (2007).
Dowrick, P.: Self Model Theory: Learning From the Future, Wiley Interdisciplinary Reviews: Cognitive Science, Vol. 3, pp. 215–230 (2012).
Steel, K., Mudie, K., Sandoval, R., Anderson, D., Dogramaci, S., Rehmanjan, M. and Birznieks, I.: Can Video
Self-Modeling Improve Aﬀected Limb Reach and Grasp
Ability in Stroke Patients?, Journal of motor behavior,Vol. 50, pp. 1–10 (2017).
Michael, A. and Lutteroth, C.: Race Yourselves: A Longitudinal Exploration of Self-Competition Between Past,
Present, and Future Performances in a VR Exergame,
Proceedings of the 2020 CHI Conference on Human
Factors in Computing Systems, CHI ’20, pp. 1—-17(2020).
Cao, Z., Hidalgo Martinez, G., Simon, T., Wei, S. andSheikh, Y. A.: OpenPose: Realtime Multi-Person 2D
Pose Estimation using Part Aﬃnity Fields, IEEE Transactions on Pattern Analysis and Machine Intelligence(2019).
Tsuchida, S., Fukayama, S., Hamasaki, M. and Goto,
M.: AIST Dance Video Database: Multi-genre, Multidancer, and Multi-camera Database for Dance Information Processing, Proceedings of the 20th International
Society for Music Information Retrieval Conference,
ISMIR ’19, pp. 501–510 (2019).
Salvador, S. and Chan, P.: Toward Accurate Dynamic
Time Warping in Linear Time and Space, Jornal ofIntelligent Data Analysis, Vol. 11, No. 5, pp. 561–580(2007).
Elsayed, H., Hoﬀmann, P., Günther, S., Schmitz, M.,
Weigel, M., Mühlhäuser, M. and Müller, F.: CameraReady: Assessing the Inﬂuence of Display Types andVisualizations on Posture Guidance, Designing Interactive Systems Conference 2021, DIS ’21, pp. 1046–1055(2021).
Turakhia, D. G., Wong, A., Qi, Y., Blumberg, L.-G.,
Kim, Y. and Mueller, S.: Adapt2Learn: A Toolkit forConﬁguring the Learning Algorithm for Adaptive Physical Tools for Motor-Skill Learning, Designing Interactive Systems Conference 2021, DIS ’21, pp. 1301–1312(2021).

8