情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21008
2021/3/10

ダンスステップ学習における分離学習の適用
土田 修平1,a)

寺田 努1,b)

塚本 昌彦1,c)

概要：スポーツ等の学習において，情報提示を受けつつ身体を動かしながら学ぶ学習支援手法がこれまで数多く提案されてきた．我々の研究グループでは逆に，身体を動かさずに情報提示を受けることに集中するフェーズと動作を実施するフェーズの二つに分割して学習を進める「分離学習」という学習方法を提案している．先行研究では，指先を用いた打楽器のリズム学習においてこの分離学習が有効であることを確認した．しかし，身体全体を使った動作にもこの分離学習が適用可能か，また動作の習得難易度によって分離学習の有効性が変化するかについてはこれまで検討してこなかった．そこで本稿では，身体全体を使ったダンスステップの習得のための情報提示システムを構築し，ダンスステップの習得においても分離学習が適用可能か，また動作の習得難易度によって分離学習の有効性に影響を及ぼすかについて評価した．
実験の結果，ダンスステップの学習時に身体を動かさなかったとしても，身体を動かしながら行う学習との間に練習効果の差は生じなかった．

1. 背景

た．七澤ら [10] は，小学生がリズム太鼓によるリズム刺激
を受けながらスキップやバックスキップといった運動遊び

運動学習において重要な過程であるフィードバックには，の技能習得を行うと，リズムを提示しない場合に比べて有運動の結果として固有受容感覚から得られる内在的フィー意に技能の向上がみられたと述べている．しかし，スキッ

ドバックと外部から人工的に与えられる外在的フィード

プボール投げといった複数の動作を組み合わせた運動におバックがある [1]．内在的フィードバックへの注意と学習

いては，リズム提示を用いた学習でも 19 名中 2 名の児童

効果への影響を示す研究 [2, 3] から，実際に身体を動かす

しか授業単元の間にその技能を習得できなかったと述べてことで得られる内在的フィードバックは，学習の効率を高いる．スキップやバックスキップといった比較的単純な動めるための重要な要素といえる．また，身体を動かさずに作に比べて，複数の動作を組み合わせた運動に取り組む状

動いている自分を思い描くことでスポーツなど身体動作を

況では，身体を動かしながら受ける情報提示の効果は小さ伴う技能を習得・向上させるイメージトレーニング [4, 5]

いと考えられる．

がある．初学者は専門家に比べてイメージトレーニングの

ここで我々は，複数の動作を組み合わせた技能を習得す

効果を得にくいことが報告されており [6, 7]，初学者は身体る際に，身体を動かすことと情報提示を受けることを同時を動かしながら練習した方が効率的である．このように，に行うと，ワーキングメモリ [11] が不足してしまうので動作技能の習得の際には身体を動かしながら学ぶ練習方法はないかという仮説を立てた．ワーキングメモリとは，多が良いとされる研究報告が見られる．

様に変化する目的に応じて必要な情報を一時的に保持しつ

身体動作を伴う技能の習得を支援する手法として，身体つ，並列的に他の処理作業を行うための機能である．我々の動作と同時に，映像，音声や振動などの刺激を提示する

は特に，動きを一時的に保持するような「運動ワーキング手法が有用とされている．Holland ら [8] や Kimura ら [9]メモリ」の存在を疑っており，複数の動作を組み合わせたが提案する学習支援システムでは，学習者に対してリアル

身体動作ではこのワーキングメモリを大量に消費してしま

タイムに聴覚・触覚提示することで，野球の投球や打楽器

い，情報提示を受け入れる余地がなくなるのではないかと演奏の学習の効率化を図っている．従来の学習方法では，予想した（図 1 参照）．また，ワーキングメモリではなくこのように情報提示を受けつつ身体を動かしながら学ぶこ

認知リソースを消費していると捉えることもできるが，ことが良いという前提で学習支援システムが構築されてきれらの定義については今後調査が必要である．

1
a)
b)
c)

神戸大学大学院工学研究科
tuchida@eedept.kobe-u.ac.jp
tsutomu@eedept.kobe-u.ac.jp
tuka@kobe-u.ac.jp© 2021 Information Processing Society of Japan

上記の問題に対処するための手法として，我々の研究グループでは学習のフェーズを分離して学習する方法（以降，
分離学習とする）を提案した [12]．分離学習では，身体を64情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21008
2021/3/10

全体を用いた動作を複数組み合わせたより複雑な動作，たとえばダンスステップのような技能を習得する際にはワーキングメモリが不足するため，学習を動作と情報提示に分離する分離学習が有効と考えられる．
そこで本研究では，身体全体を使った複雑な動作を伴う
ダンスステップの習得を対象とした情報提示システムを構築し，ダンスステップの習得においても分離学習が有効か調査する．また従来研究と比べて，習得する動作の難易度
を複数個用意し，分離学習の有効性の閾値獲得を目指す．
提案システムでは，ユーザは楽曲を聞きながらダンスス
テップの参考映像を見つつ，膝を上げるタイミングと足先
図1

ワーキングメモリが不足するイメージ.

情報提示と動作を同時に実施
同時学習

聴覚提示

視覚提示

触覚提示

分離学習

学習フェーズ + 動作フェーズ
聴覚提示

情報提示と動作を分離して実施
視覚提示を前に蹴り出すタイミングの情報を振動によって受ける．
具体的に実験では，4 段階の習得難易度のダンスステップを用意した．この 4 つのダンスステップについて，同時学
習，分離学習の二つの学習方法で被験者に練習してもらい，学習にかかった時間を測る．

2. 関連研究2.1 情報提示手法
ヒトが有する多様な知覚を介した情報提示を用いる学習支援手法がこれまで数多く提案されている．

2.1.1 力覚提示

触覚提示

学習フェーズ
図2

動作フェーズ

分離学習の概念図．

電磁石を用いたピアノ習得支援システム [13]，ロボット
アームを用いて習字の学習を支援するシステム [14]，電気刺激と外骨格ロボットハンドを用いて皮膚感覚と固有感覚にフィードバックするピアノ演奏のための学習支援システ

動かしている間は情報提示を行わない．学習者は，まず動ム [15] など，これまで力覚提示を活用した多様な学習支

作情報に関する情報提示を受ける学習フェーズ，その後実援システムが提案されている．本研究では，まずは先行研

際に身体を動かして練習する動作フェーズの二つのフェー

究 [12] において活用された視覚・聴覚・触覚提示の三つのズによって構成される学習プロセスを経る（図 2 参照）．

知覚を介する情報提示を用いる．

先行研究 [12] では，この分離学習を指先を動かす打楽器

2.1.2 触覚提示のリズム学習に適用している．ここで学習する動作は，両振動デバイスを用いた学習支援システムが数多く存在す

手の指先を異なるタイミングで別々に動かし，叩打の強さ

る [16]．Huang ら [17] はグローブの指に振動モータを取を変えるなどの複数の動作を組み合わせた動作である．そり付け，振動で運指を提示することによるピアノ演奏支援の結果，打楽器の叩打情報の提示を受けてから練習した学

シスステム「PianoTouch」を提案している．O’Neil ら [18]

習者は，動作中に情報提示を受けた学習者よりも 5 分程度

は，身体のバランスに連動する振動提示を用いて，座って

早く叩打技能を習得していることがわかった．以上の結果いる状態から立っている状態へ移行するためのリハビリから，学習者が複数の動作を組み合わせた技能を習得する

テーション支援システムを開発した．Nakamura ら [19] は，際，動作と情報提示を同時に行う学習（以降，同時学習とダンスの動き出すタイミングを振動で提示するデバイスを呼ぶ）よりも分離学習の方が適しているといえる．

開発している．本研究では，Nakamura ら [19] が用いた手

しかし，すべての動作技能の習得において分離学習が有法のように，ダンスステップにおける膝を上げるタイミン

効かはまだ明らかでない．両手の指先を用いる打楽器演奏

グと足先を前に蹴り出すタイミングにおいて振動モータを以外の，身体全体を使った動作にも分離学習が適用可能か，用いた振動による触覚提示を行う．

動作の習得難易度によって分離学習の有効性が変化するか

2.1.3 聴覚提示を調べる必要がある．たとえばスキップのような単純な動聴覚提示を活用した学習支援システムも数多く提案され作であれば，動作と情報提示の両方の処理をワーキングメている [20]．吉岡ら [21] は，音楽のスピードや音程・音圧

モリがカバーできると予想でき，このような動作においてなどを変化させることで走行スピードや足の動きを知覚さは動作中に情報を提示する同時学習で十分であろう．身体せる聴覚提示を用いたランニング支援システムを開発した．

© 2021 Information Processing Society of Japan65

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21008
2021/3/10

室伏ら [22] は，ハンマー投げのターン動作に対して，ハンダンスの習得を支援している．Fujimoto ら [32] は，自身のマーに取り付けたセンサ情報を用いて算出した回転の角速映像を見本となるダンサーの動きにマッピングさせること

度情報を音の高低に変換し可聴化するシステムを構築してで，自分自身の上手なダンスによる見本映像を生成し，学いる．奥川ら [23] は，聴覚提示を用いて自転車のペダルを習を支援する手法を提案している．鏡を模倣・拡張したシ

漕ぐペースを一定に保つことを支援するシステムを提案しステムもいくつかみられる [33, 34]．Anderson ら [35] が提ている．Grosshauser ら [24] は，足裏に圧力センサ，膝に案する「YouMove」では，自身の動きを様々な方向から確

角度計測センサをそれぞれ取り付け，取得した値を元に可認でき，スコアや動作に対するエフェクト，文字による指聴化することで，ダンス動作の技能習得を支援している．

示など，多様な情報提示が用意されている．本研究では，

本研究では，データを取得して可聴化するようなシステム

参考映像の変更や情報の付与は行わず，参考となる 12 秒

は構築せず，リズムやメロディといった動作タイミングの程度のダンスステップ映像を繰り返し再生・表示させる．

参考となる情報が含まれる楽曲の再生を聴覚提示として活2.2.3 移動ロボット

用する．

2.1.4 視覚提示

移動ロボットを活用した研究も行われている [36]．Naka-

mura ら [37] は，参考映像が投影されたスクリーンが，学学習支援システムにおいて，視覚提示は広く利用され習者と対面しながら移動することで，前後といった物理的る情報提示の一つである．中野ら [25] は，学習者が現在な移動距離も確認できるシステムを提案している．土田

歌っている音高と正解の音高をディスプレイ上に表示するら [38] は，ダンサーが投影された自走型のスクリーンを「MiruSinger」を提案している．土井ら [26] は，琴に奏法

ダンサーの代わりに移動させることで，グループダンスでを示すプロジェクション映像を投影し，学習を支援するシのフォーメーション練習を支援する．本研究で扱うダンス

ステムを構築している．Wu ら [27] は，プロスキープレイ

ステップは，移動を伴わない動作を採用しており，移動ロ

ヤーのモーションパターンを VR 空間上に様々な方法で提ボットによる情報提示は活用しなかった．

示し，技能を効率的に習得できる VR スキートレーニング
システムを開発している．本研究では，聴覚提示の場合と上に挙げたダンスに関する学習支援システムはすべて身同様に，データを取得して可視化するようなシステムは構体を動かしながらリアルタイムに情報提示する，もしくは築せず，ダンスステップの参考となる映像を PC のディス

練習後に情報を提示する場合に限られ，身体を動かさずにプレイに表示する．

情報提示を受けることに集中するようなシステムはこれまで提案されていない．身体全体を動かすダンスステップに

2.2 ダンスに関する技能習得支援

おいても，身体を動かさずに情報提示に集中することが，本研究では，ダンスステップの習得を対象とした情報提身体を動かしながら練習する場合と比べて同等以上の効果示を行う学習支援システムを構築する．ダンスに関する技が得られるかどうかは不明である．この点において本研究能を習得するための学習支援システムは，Raheb ら [28] のはチャレンジングである．

調査報告からわかるようにこれまで数多く提案されてきた．

2.2.1 自動採点・判定
独自の採点システムを構築し，定量的なフィードバック

3. 設計
3.1 ターゲット

をユーザに与えることでダンス技能の習得を支援する研究

本研究では，新たにダンスステップを習得する学習者をがいくつかみられる．Kyan ら [29] は，CAVE 仮想環境におシステムのユーザとして定め，初歩的なダンスステップをいてバレエダンスの動きをリアルタイムにキャプチャ，評習得対象とする．ただし，提示情報が複雑になりすぎるの

価し，スコアを可視化するシステムを提案している．Chanを防ぐために，提案システムでは主に下半身の動かし方のら [30] は，教師となるバーチャルキャラクタをプロジェク

習得のみをサポートする．

タで表示し，学習者の動きをキャプチャ，解析し，部位ごとにスコアとして出力するシステムを提案している．本研

3.2 情報提示の検討

究では，ダンス経験をもつ評価者が学習者のダンスステッ

本研究では，ダンスステップの学習において，同時学習

プを目で見て，学習者がダンス動作を習得できたかどうかと分離学習の二つの学習方法を比較する．分離学習を適用について判定してもらった．

するためには，単純な情報提示ではなく，複数の情報提示

2.2.2 参考映像の変更・情報付与を受けることが必要であると我々は予想している．例えば参考とするダンス映像を変更したり，情報を付け加える

ダンスステップの学習において，単純に手本となる動画をことで学習を支援する手法がいくつか提案されている．斎

見ながら練習を実施するだけでは，分離学習を適用するた

藤ら [31] は，ダンスの教示において用いられる「スッ」「ドめの情報提示としては不十分であるため，本研究では映像ン」といったオノマトペをダンス動画に付与することで，と音声以外の振動による情報提示を追加する．また同時学© 2021 Information Processing Society of Japan66

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

図3

INT21008
2021/3/10

振動提示箇所と振動提示タイミング．

図5

振動タイミング編集インタフェース．

は円盤型振動モータ（FM34F）を採用し，PC には MacBook

Pro (13-inch, 2019, Four Thunderbolt 3 ports) を用いた．メ
インモジュールは ZigBee を介して，PC によって制御される．PC は動画に含まれる楽曲のリズムと同期して指示情報をメインモジュールに送信し，メインモジュールに接続された振動モータが振動し，振動と連動して LED が点滅する．市販のベルトとゴムバンドを用いて振動提示デバイ
スとメインモジュールを身体に固定する．メインモジュー
ルと振動提示デバイスを繋ぐビニル電線はダンスステップを妨げないよう配線されている．
図4

振動提示デバイス．

PC 上に表示される映像の制御と振動提示タイミングを編集できるアプリケーションを macOS Catalina 上の open-

習については，Camarillo-Abad ら [39] や Nakamura ら [19]Frameworks v0.11.0 で開発した．図 5 に振動提示タイミンが動作中に振動により動作の方向やタイミング等を提示す

グの編集インタフェースを示す．縦軸は各提示箇所を示し，ることで，動作の習得を支援するシステムを提案している．

横軸は時刻を表す．横軸は 1 小節における 4 分の 1 音符を同時学習と分離学習の二つの学習を実施するために，本研

1 カウントとし，カウント単位でそれぞれ区切らている．

究では，ダンスステップ動作の方向やタイミング等を振動

動画の再生に合わせて移動するインジケータが，白い四角で提示するシステムを構築する．具体的には，膝を上げる

で表示された範囲に差しかかると，PC からメインモジュー

方向とタイミングを提示するために膝の上に一箇所ずつ，

ルに振動の指示情報が送られる．画面上でマウスをドラッ

足先を前に蹴り出す動作の方向とタイミングを提示するたグすることで振動提示タイミングの ON/OFF を切り替えらめに足の甲に一箇所ずつ，両足で合計 4 箇所に振動提示れる．PC に表示するダンスステップの参考映像を図 6 左デバイスを装着する．振動提示デバイスの装着位置を図 3に示す．参考となるダンサーのダンスステップは正面からに示す．膝に取り付けられた振動提示デバイスは，膝を上撮影されている．ダンスステップの練習では鏡を見ながらげるタイミングで振動し，足の甲に取り付けられた振動デ練習する場合が有効である [40]．鏡での練習と同じ状況にバイスは足先を前方へ蹴り出すタイミングで振動する．こ近づけるために，映像は左右反転して表示させる．たとえれにより，身体全体を使った複雑な動作を伴うダンスス

ば，学習者が右足を上げる時に，映像中のダンサーは左足をテップにおいても，情報提示を受けることに集中する学習

上げる．動画に含まれる楽曲は，AIST Dance Database [41]

フェーズを含む分離学習が利用可能と考えられる．

の 80BPM のテンポを有する mBR0 を使用した．

4. 実装

5. 実験

ダンスステップの学習において，分離学習が利用可能な

身体全体を使ったダンスステップ動作にも分離学習が適情報提示システムを実装した．提案システムは，触覚提示用可能か，動作の習得難易度によって分離学習の有効性にを行う 4 つの振動モータで構成された振動提示デバイス

変化が生じるかを検証するために実験を行った．被験者は（図 4），振動提示デバイスを制御するメインモジュール，映20 代の大学生 12 名（男性 9 名，女性 3 名）で，ダンスの像及び音声を出力する PC および振動提示タイミングの編

経験は中学校・高校等での授業，校内イベントで実施され集アプリケーション（図 5）で構成される． 振動モータにた集団でのダンスパフォーマンスに参加した程度である．

© 2021 Information Processing Society of Japan67

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21008
2021/3/10

図 6 （左）ダンスステップの参考映像．（右）各ダンスステップのカウント毎の画像．
学習フェーズ - 同時学習
テストフェーズ - 同時 / 分離学習
PC

0.8m

0.5m

1m

3m

2m

学習フェーズ - 分離手法

記録用カメラ
評価者 B
0.5m
図7

表1

分離学習

評価者 A

休憩

動作中
同時学習

1m

テスト(1分)学習(1分)

映像+音声
+ 振動
静止中

映像+音声
+ 振動

学習(1分)

テスト(1分)

動作中

映像+音声

映像+音声

フロアプラン．

図8

休憩
(30秒)

休憩
(30秒)

・・・

映像+音声
+ 振動
静止中

映像+音声

・・・

映像+音声
+ 振動

映像+音声

学習サイクル．

左右の足踏みの組み合わせの出現回数．たとえば，右左では右長さを約 12 秒，80BPM で 16 カウント分になるよう切り

足 → 左足，右両では右足 → 両足の順で踏む動作．右止では出した．

右足を踏んで 0.5 カウント分停止する動作を指す．
Step

右左

左右

右右

左左

右両

左両

右止

左止

両止

1

12

12

4

3

0

0

0

0

0

2

12

12

2

0

0

2

0

0

2

3

8

10

4

0

0

2

2

0

2

る視覚提示および振動による触覚提示の三つの情報提示を

4

9

9

2

2

1

1

1

1

2

受け，以下の二つの学習方法でダンスステップを学習する．

5.2 学習方法
実験において被験者は，音声による聴覚提示，映像によ同時学習 情報提示を受けながらダンスステップを行って2

本実験は，大学内に設置された 43m のフローリングフロ
アを有するスタジオにて実施した．実験時のフロアプラン
を図 7 に示す．

学習する．
分離学習 情報提示を受ける学習とダンスステップを行う
学習を別々に行う．
実験の学習サイクルは学習フェーズとテストフェーズの5.1 習得するダンスステップ

二つのフェーズで構成されている．学習フェーズではダ

被験者は図 4 に示す振動提示デバイスを装着し，4 つのンスステップを 1 分間学習する．1 分間の学習後，テスト

ダンスステップ（図 6 右参照）を習得する．これら 4 つのフェーズに移行しダンスステップが習得できたかの確認テ

ダンスステップは，10 年以上のストリートダンス経験を有ストを行う．確認テストにおいて正しくダンスステップがする第一著者によって，それぞれのダンスステップの習得

踏めなければ 30 秒間の休憩を取った後，再度学習フェーズ

難易度が段階的に難しくなるよう設計された．具体的には，に戻り，正しくダンスステップが踏めるまで二つのフェー

ダンスステップの左右の足踏みの組み合わせを参考（表 1）

ズを繰り返し行う（図 8 参照）．学習フェーズおよびテスに設定された．足踏みの組み合わせのバリエーションが多トフェーズの詳細を以下で説明する．

いダンスステップほど習得が難しいと予想した．また，ス

5.2.1 学習フェーズ

トリートダンス経験 5 年以上を有するダンサー 1 名に 4 つ

図 9 に被験者が学習フェーズにおいて各学習方法でダンのダンスステップを見てもらい，習得難易度が段階的に難スステップを学習している様子を示す．被験者は，PC のしくなっていることを確認してもらった．これら 4 つのダ内蔵スピーカから出力される音声による聴覚提示，PC のンスステップを第一著者が実施した様子を撮影し，動画の画面上に再生されるダンスステップの参考映像による視覚© 2021 Information Processing Society of Japan68

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

学習フェーズ

INT21008
2021/3/10

テストフェーズ

映像 + 音声 + 振動

映像 + 音声

テップを途中で失敗した場合でも，再度やり直すことができる．正しく連続でダンスステップを踏めたかを判定するために，ストリートダンス経験が 5 年以上の同研究室に所

同時学習

属する学生である評価者 A と第一著者であるストリートダ
ンス経験が 10 年以上の評価者 B がそれぞれ判定し，最終的に評価者 2 名の合意によってダンスステップの正誤判定を行った．評価者 A は，本研究の背景や目的は知らされてい映像 + 音声 + 振動

映像 + 音声ない．尚，従来研究では MIDI 情報を利用した評価者による叩打の判定を行っているが，本実験の課題となるダンス

分離学習

ステップは単純に踏む動作以外にも，足を横方向に移動したり，前方向に蹴り出すといった 3 次元の動きが含まれており，足圧センサ，加速度センサやモーションキャプチャなどで得られる情報を用いて，3 次元的なダンスステップ動作ができているかどうか正確に判定を下すシステムを構
図9

学習フェーズおよびテストフェーズの様子．

築することは厳しいと判断し，評価者 2 名による主観的な判定を採用した．また，個人特有のダンスステップの動き

提示，楽曲のリズムに合わせて振動するデバイスによる触の癖を考慮し，癖を含む動作をどの程度まで許容できるか

覚提示の三つの情報提示を受ける．学習中は課題となるダについて評価者同士で話し合い，正誤の基準を設けた．

ンスステップの参考動画が繰り返し再生され，被験者はシステムを停止することができず，常にダンスステップ情報の提示を受ける．

5.3 学習コスト
本実験では，学習フェーズとテストフェーズを 1 セット

同時学習における学習フェーズでは，ダンスステップをと見做し，学習コストの最小単位として定義する．たとえ行いながら情報提示を受ける．この際，被験者のダンスス

ば，学習フェーズを 3 回行い，3 回目のテストフェーズにテップを判定してインタラクティブに振動提示するようなて正しくダンスステップを踏めた場合には，学習コストは

システムは構築しておらず，楽曲のリズムに合わせて一定

3 セットとする．

の間隔で振動を提示する．
分離学習における学習フェーズでは，正しいダンスス

5.4 実験条件

テップ情報を学習者の内部に取り込むことに集中させる

すべての被験者は，4 つのダンスステップ（Step1∼Step4）

ため，被験者はダンスステップを行わず，椅子に座った状

を同じ順序で習得する．これは，4 つのダンスステップの態で情報提示のみを受ける学習を行う．これは，ダンスス

難易度は段階的であり，より難しいダンスステップは簡単

テップを踏みながら振動刺激による情報提示を受ける場合，なダンスステップの動作をベースとして設計されており，自身の動作によって起こる皮膚と服の擦れなどによる刺激

一度難しいダンスステップを習得すれば，より簡単なダンによって，情報提示に対する知覚が小さくなると考えたた

スステップの学習に時間がかからないと予想できたためでめである．尚，椅子に座りながら軽く足踏みするなど，ダある．被験者は同時学習と分離学習での学習をそれぞれ 2

ンスステップの動作とは異なり情報提示を阻害しないと考回ずつ実施する．たとえば，Step1 と Step2 については同えられる比較的小さな動作については許容した．このよう時学習で，Step3 と Step4 では分離学習で学習を行う．こに分離学習における学習では，ダンスステップを踏まずにれら同時学習と分離学習についての 6 通りの組み合わせを

情報提示を受ける学習を行った後に，次のテストフェーズ

2 回分，12 名の被験者に対して実施する．

でダンスステップを習得できたか確認するためのダンスス
テップを行う．

5.2.2 テストフェーズ

5.5 実験手順
被験者はスタジオに入り，最初に振動提示デバイスを装テストフェーズでは学習フェーズで学習したダンスス

着し，動作に支障がないか確認する．次に，実験者から 4

テップの確認テストを実施する．テストフェーズにおいて，つのダンスステップをこれから習得すること，提案システ

図 9 に示すように被験者は楽曲を聞きつつ参考となるダンムについての説明を受ける．提案システムの動作を理解す

スステップ映像を見ながらダンスステップを行う．32 カウ

るために，課題とする 4 つのダンスステップの習得に影響ント連続でダンステップを踏むことができた場合，ダンスの少ない簡単な足踏み動作と足先を前に蹴り出す動作のみ

ステップを習得できたと判断し，テストフェーズを終了すで構成され動画を，提案システムからの情報提示を受けなる．テストフェーズ開始から 1 分以内であれば，ダンスス

がら閲覧する．被験者は，動画を見ながらリズムに合わせ© 2021 Information Processing Society of Japan69

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

表2

INT21008
2021/3/10

各被験者の学習コスト（白色で塗り潰されたセルは同時学習，
灰色で塗り潰されたセルは分離学習を示す）．
被験者

Step1

Step2

Step3

Step4

A

3

3

2

4

B

3

1

1

2

C

4

3

1

6

D

3

7

2

5

E

1

3

5

5

3.5
3.0
2.5
2.0

同時学習
図 10

分離学習

各学習方法の学習コストの平均値．

F

1

1

1

3

G

2

2

3

5

H

1

1

2

5

ミングの情報提示のみでは，ダンスステップを学習するた

I

2

1

1

3

めの十分な情報を提示できていないのではないかと考えら

J

5

5

1

8

K

3

2

1

3

L

2

2

3

5

名の被験者からイメージした動作と実際の動作のズレにつ

平均値

2.5

2.6

1.9

4.5

いて言及があった．指先を用いた叩打の動きのイメージにれる．実験後の分離学習についてのヒアリングにおいて，2比べて，身体全体を使うダンスステップのイメージは実際て足踏みおよび蹴り出しを行い，膝をあげたタイミングでの動作とのズレが生じやすいのではないかと考えられる．

膝上に，足を蹴り出したタイミングで足の甲に振動提示がイメージした動作と実際の動作の間のズレが生じにくい，あることを確認する．続いて，実験者が動画再生中に手拍

3 次元的な動作を知覚し，具体的に把握・イメージできる

子をしながらカウントについて説明し，32 カウント連続

情報提示が望まれる．たとえば，複数の伸縮制御可能なワ

して失敗なくダンスステップを踏めば一つのダンスステッ

イヤ [42, 43] を足につないで 3 次元的な動きを知覚させる

プ課題がクリアであることを被験者に伝える．次に被験者

手法や電気刺激と外骨格ロボットハンドを用いて皮膚感覚は，二つの学習方法，二つのフェーズがある説明を受け，と固有感覚にフィードバックする手法 [15] などの活用がテストフェーズにおいて評価者 2 名の合意によってダンス考えられる．また，本実験における視覚提示と聴覚提示でステップの正誤を判定する説明を受けた．また，実験条件

は，参考映像と楽曲を単に再生するのみであった．たとえを統一するために実験中は被験者の動作の具体的な誤り箇ば，身体全体が動く動作を 3 次元的に把握できるよう様々所など，評価者からアドバイス等は一切伝えられないことな方向からダンスステップを確認できる映像を表示 [44] さについて説明を受ける．すべての説明終了後，質問がなけせたり，右膝上げの指示 [35] やオノマトペ [31] などの文

れば参加同意書に署名する．また，実験終了後に動きなが

字情報を追加することで動作のイメージ把握を支援するこら学習した場合（同時学習）と座って情報提示を受けた場とが可能である．楽曲中にも，右足・左足の動作によって合（分離学習）のどちらが習得しやすいと感じたかについ異なる音程 [45] や「右膝上げ」などの音声によるアドバイて回答する．

スを付与することも可能である．このように提示する情報

6. 結果と考察

量を増やすことで，分離学習が有効となる可能性がある．
ダンスステップの設計についても再考の余地がある．先身体全体を動かすダンスステップの習得に分離学習が有行研究 [12] において，分離学習でかかった学習時間は平効であるかについて検証するために，各学習方法におけ均 10 分程度であった．本実験のセット数で考えた場合，1る学習コストについて分析する．各学習方法の学習コス

セットあたり約 2 分間かかるため，習得に平均 5 セット

トを表 2 に，各学習方法の学習コストの平均値を図 10 示

以上かかる課題が望ましいと考えられる．しかし本実験です．表 2 の灰色のセルは分離学習での実施を示している．

は，平均 4.5 セットが最大であり，1 セットでダンスステッ

図 10 の縦軸は学習コストの平均値を示し，エラーバーは標

プを習得する被験者は 12 名中 8 名いた．1 セット程度で習準誤差を表す． 同時学習における学習コストは M = 3.0，

得できる場合，複雑な動作を伴う技能習得に対して有用なSD = 18 で，分離学習では M = 2.8，SD = 1.7 であった．

分離学習の効果が得られにくい可能性が考えられる．より二つの学習方法間に対して T 検定を行ったところ，有意差

学習時間が長くなるようなダンスステップの設計が必要とは確認できなかった（p > .10）．有意差が確認できなかっ予想する．

た原因としては，提示する情報量の不足が挙げられる．先実験後のヒアリングから，すべての被験者が分離学習に

行研究 [12] における叩打は指先の動作のみに限定している

比べて同時学習の方が学習しやすいと回答した．つまり，ため，叩打の順序と強弱のタイミングの情報提示に限定ですべての被験者がダンスステップを習得するためには動ききた．しかし，ダンスステップでは身体全体を用いた 3 次ながら練習した方が学習しやすいと考えている．これにつ元的な動作を考慮した情報提示が必要であり，動作のタイ

いては，提示する情報量の不足により同時学習が好まれる© 2021 Information Processing Society of Japan70

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

A

INT21008
2021/3/10

Step1 Step2 Step3 Step4333 /( 3

同時学習

分離学習

組み合わせ例

+

2

4

2 )

法と Step の 2 種類である．分散分析の結果，Step の条件において有意差がみられた（F (3, 88) = 23.69, p < .01）が，学Sʼstep1
0.6

習方法の条件について有意差はみられなかった．Bonferroni

正規化したい学習コスト法を用いて多重比較を行ったところ，Step4 の平均値が他の正規化に使用する学習コスト
1 2

3

すべての Step に比べて有意に大きかった（p < .05）
．Step44については，他の Step に比べて習得難易度が高かったこと

同じ条件で
正規化した
組み合わせで比較

図 11がわかる．しかし，習得難易度による分離学習への有意な影響は確認できなかった．

学習能力の正規化の具体例および条件の組み合わせ．

各 Step での傾向を見てみると，Step2 では分離学習における学習コストが同時学習と比べて低い傾向にある．実験

傾向になった可能性が考えられる．ただし，実験結果から後のヒアリングにおいて，1 名の被験者から「後半になる

学習方法間に有意な差はみられず，ダンスステップを習得

につれて自分なりの覚え方が分かってきたので，スムーズするためには動きながら練習した方が学習しやすいと感じに進めれた」とのコメントがあった．分離学習では，学習ていても，動きながら練習する方法が必ずしも学習効率がフェーズにおいて自身の動作をイメージする．しかし，先良いとは言い切れない．今後，身体全体を動かす 3 次元的行研究 [12] で用いられた人差し指を動かす叩打動作に比な動作に対しても明確な動作が把握・イメージ可能な情報

べて，ダンスステップは身体全体を動かす必要があり，ダ提示手法の検討を進めることで，より効果の高い分離学習

ンスステップの経験が少ない被験者では，自身の動作をイを提案できる可能性がある．

メージすることが難しかった可能性がある．分離学習に進

次に，習得難易度によって分離学習の有効性に変化が生

む前に，まずは身体の動作をイメージしやすくする，動き

じるかについて検証するために，各 Step における学習方法

を覚えやすくするための準備運動のフェーズを用意すべき間の学習コストについて分析する．各 Step における学習と考えられる．今回の実験では，習得難易度によって分離方法間の平均値は，各被験者があらかじめ備えている学習

学習の有効性が変化することは確認できなかったが，今後能力が影響しているため，単純に比較できない．例えば，調査を進め，どのような動作や難易度に対してどのように被験者 A と被験者 C の Step2 を比較したい場合，それ以外

ワーキングメモリを消費するのかを明らかにすることがでの 3 つの Step を正規化に用いると，Step3 の学習方法が異きれば，身体動作技能を習得したい人にどのような手順でなるため比較ができない．そこで，比較したい Step 以外の教えれば良いかに繋げられ，個人の能力・状態に応じた学

Step における学習コストのセット数を用いて正規化するこ

習支援が可能となる．

とで比較可能と考えた．例えば，被験者 A と被験者 C のStep2 を比較したい場合，Step1 と Step4 のスコア用いて正規化する．具体的には，以下の式（1）に基づいて正規化を行った．
′
Sstepk= Sstepk /(Sstepi + Sstepj )7. まとめ本研究では，身体全体を使った複雑な動作を伴うダンス
ステップの習得を対象とした情報提示システムを構築し，(1)

ダンスステップの習得においても分離学習が有効か，習得する動作の難易度によって分離学習の有効性に変化が生じ正規化したい Step 番号を k ，正規化に用いる Step 番号をるかについて検証した．実験の結果，二つの学習方法の間′それぞれ i，j とし，正規化後の Sstepkを算出する．ただに有意差が確認できなかった．また，ダンスステップを習し，比較したい Step 以外の Step をすべて用いた場合，被得するためには動きながら練習した方が効率的であると感験者間で学習に用いた学習方法が異なり比較できない．そじていても，動きながら練習することが必ずしも効率的でのため，正規化に用いる学習方法の組み合わせが同一の条あるとは言い切れないことがわかった．また，動作の習得件でグループ分けし，それぞれ正規化した．正規化計算の難易度による分離学習への影響について検証したところ，

具体例および条件の組み合わせの例を図 11 に示す．

習得難易度によっては分離学習が有効となる可能性がみら

被験者ごとの学習能力の正規化後の学習コストの平均値

れた．今後，分離学習を適用するためのシステム・フェー

を図 12 に示す．縦軸は学習コストの平均値，横軸は被験者

ズ構成について検討を進め，習得難易度による有効性の閾の組み合わせを示している．たとえば GH-CD の場合，被験値獲得を目指す．また，引き続きいくつかの動作技能の習者 G と H の同時学習での正規化後の学習コストと被験者 C

得に分離学習を適応していくことで，どのような運動に対と D の分離学習での正規化後の学習コストの平均値を示す．

して分離学習が有効であるかを示し，得られた知見から動Average では各学習方法の学習コストの平均値である．エきの習得とは何かを明らかにしていく．

ラーバーは平均誤差を示す．これらに対して，分散分析（2

謝辞 本研究の一部は，JST CREST （JPMJCR16E1，JP-

要因参加者間計画）を行う．ここでの要因の種類は，学習方

MJCR18A3）の支援によるものである．ここに記して謝意© 2021 Information Processing Society of Japan71

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21008
2021/3/10

同時学習

分離学習

同時学習

分離学習

同時学習

分離学習

同時学習

分離学習

図 12

学習能力の正規化後の学習コストの平均値．

を表す．
参考文献
[1]
[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

大橋ゆかり： 運動学習におけるパフォーマンスと情報処
理，理学療法科学， Vol. 16, No. 3, pp. 133–137 (2001).
Swinnen, S., Schmidt, R., Nicholson, D. and Shapiro, D.:Information Feedback for Skill Acquisition: Instantaneous
Knowledge of Results Degrades Learning, Journal of Experimental Psychology: Learning, Memory, and Cognition,
Vol. 16, pp. 706–716 (1990).
Wrisberg, C.: Diminishing the Effects of Reduced Frequency
of Knowledge of Results on Generalized Motor Program
Learning, Journal of motor behavior, Vol. 29, pp. 17–26(1997).
Battaglia, C., D’Artibale, E., Giovanni, F., Piazza, M.,
Tsopani, D., Giombini, A., Calcagno, G. and di Cagno, A.:
Use of video observation and motor imagery on jumping performance in national rhythmic gymnastics athletes, Jounralof Human movement science, Vol. 38, pp. 225–34 (2014).
Ramsey, R., Cumming, J. and Edwards, M.: Exploring a
modiﬁed conceptualization of imagery direction and golf
putting performance, International Journal of Sport and Exercise Psychology, Vol. 6, pp. 207–223 (2008).
Debarnot, U., Sperduti, M., Di Rienzo, F. and Guillot, A.: Experts bodies, experts minds: How physical and mental training shape the brain, Journal of Frontiers in Human Neuroscience, Vol. 8, p. 280 (2014).
Ridderinkhof, K. R. and Brass, M.: How kinesthetic motor imagery works: a predictive-processing theory of visualization in sports and motor expertise, Journal of Physiology–Paris, Vol. 109, No. 1-3, pp. 53–63 (2015).
Holland, S., Bouwer, A. J., Dalgelish, M. and Hurtig, T. M.:
Feeling the Beat Where It Counts: Fostering Multi-limb
Rhythm Skills with the Haptic Drum Kit, Proceedings ofthe 4th International Conference on Tangible, embedded, andembodied interaction, TEI ’10, pp. 21–28 (2010).
Kimura, T., Mochida, T., Ijiri, T. and Kashino, M.: Real-© 2021 Information Processing Society of Japan

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

Time Soniﬁcation of Motor Coordination to Support Motor
Skill Learning in Sports, Proceedings of the 2nd International Conference on Sports Sciences Research and Technology Support, icSPORTS ’14 (2010).
七澤朱音，本田拓二： 運動のリズムを重視した体育学習がもたらす効果に関する研究，体育科教育学研究，Vol. 30,
No. 2, pp. 1–11 (2014).
Baddeley, A. D. and Hitch, G.: Working Memory, Journalof Psychology of Learning and Motivation, Vol. 8, pp. 47–89(1974).
菅家浩之，寺田 努，塚本昌彦： フレーズ内在化のための学習フェーズ分離による打楽器学習支援手法，情報処理学会論文誌，Vol. 59, No. 1, pp. 236–245 (2018).
Lewiston, C.: MaGKeyS : a haptic guidance keyboard system
for facilitating sensorimotor training and rehabilitation, PhD
Thesis. MIT Media Laboratory (2009).
Henmi, K. and Yoshikawa, T.: Virtual Lesson and Its Application to Virtual Calligraphy System, Proceedings of the1998 IEEE International Conference on Robotics and Automation, ICRA ’98, Vol. 2, pp. 1275–1280 (1998).
Hirano, M., Kimoto, Y. and Furuya, S.: Specialized
Somatosensory–Motor Integration Functions in Musicians,
Jounral of Cerebral Cortex, Vol. 30, No. 3, pp. 1148–1158(2019).
Peeters, T., van breda, E., Saeys, W., Schaerlaken, E.,
Vleugels, J., Truijen, S. and Verwulgen, S.: Vibrotactile
Feedback During Physical Exercise: Perception of Vibrotactile Cues in Cycling, International Journal of Sports
Medicine, Vol. 40 (2019).
Huang, K., Do, E. Y. and Starner, T.: PianoTouch: A wearable haptic piano instruction system for passive learning of
piano skills, Proceedings of the 12th IEEE International
Symposium on Wearable Computers, ISWC ’08, pp. 41–44(2008).
O’Neil, C., Dunlop, M. D. and Kerr, A.: Supporting Sit-ToStand Rehabilitation Using Smartphone Sensors and Arduino
Haptic Feedback Modules, Proceedings of the 17th International Conference on Human-Computer Interaction with

72

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

Mobile Devices and Services Adjunct, MobileHCI ’15, p.
811–818 (2015).
Nakamura, A., Tabata, S., Ueda, T., Kiyofuji, S. and Kuno,
Y.: Dance Training System with Active Vibro-Devices anda Mobile Image Display, Proceedings of the 2005 IEEE/RSJ
International Conference on Intelligent Robots and Systems,
IROS ’05, pp. 3075–3080 (2005).
Hasegawa, S., Ishijima, S., Kato, F., Mitake, H. and Sato,M.: Realtime Soniﬁcation of the Center of Gravity for Skiing, Proceedings of the 3rd Augmented Human International
Conference, AH ’12 (2012).
吉岡杏奈， 藤波努： 聴覚フィードバックを用いたランニ
ング練習支援システム，SIG-SKL, Vol. 26, No. 01, pp. 1–4(2018).
Murofushi, K., Sakurai, S., Umegaki, K. and Kobayashi, K.:
Development of a System to Measure Radius of Curvatureand Speed of Hammer Head during Turns in Hammer Throw,
International Journal of Sport and Health Science, Vol. 3, pp.
116–128 (2005).
奥川 遼，村尾和哉，寺田 努，塚本昌彦： 聴覚フィードバックを利用したペダリングトレーニングシステム，
コンピュータソフトウェア，Vol. 33, No. 1, pp. 1 41–1 51(2016).
Grosshauser, T., Bläsing, B., Spieth, C. and Hermann, T.:
Wearable Sensor-Based Real-Time Soniﬁcation of Motion
and Foot Pressure in Dance Teaching and Training, Journalof the Audio Engineering Society, Vol. 60, No. 7/8, pp. 580–
589 (2012).
Nakano, T., Goto, M. and Hiraga, Y.: MiruSinger: A Singing
Skill Visualization Interface Using Real-Time Feedback andMusic CD Recordings as Referential Data, Proceedings of
the 9th IEEE International Symposium on Multimedia, ISM’07, pp. 75–76 (2007).
土井麻由佳，宮下芳明： 奏法を考慮した箏演奏学習支援
手法に関する考察，情報処理学会論文誌，Vol. 59, No. 3,
pp. 912–928 (2018).
Wu, E., Perteneder, F., Koike, H. and Nozawa, T.: How
to VizSki: Visualizing Captured Skier Motion in a VR Ski
Training Simulator, Proceedings of the 17th International
Conference on Virtual-Reality Continuum and Its Applications in Industry, VRCAI ’19 (2019).
Raheb, K. E., Stergiou, M., Katifori, A. and Ioannidis, Y.:
Dance Interactive Learning Systems: A Study on Interaction
Workﬂow and Teaching Approaches, Journal of ACM Computing Surveys, Vol. 52, No. 3 (2019).
Kyan, M., Sun, G., Li, H., Zhong, L., Muneesawang, P.,
Dong, N., Elder, B. and Guan, L.: An Approach to Ballet
Dance Training through MS Kinect and Visualization in a
CAVE Virtual Reality Environment, Journal of ACM Transactions on Intelligent Systems and Technology, Vol. 6, No. 2(2015).
Chan, J. C. P., Leung, H., Tang, J. K. T. and Komura, T.: A
Virtual Reality Dance Training System Using Motion Capture Technology, Journal of IEEE Transactions on Learning
Technologies, Vol. 4, No. 2, pp. 187–195 (2011).
斎藤 光，徳久弘樹，中村聡史，小松孝徳.： ダンス動画
へのオノマトペ付与によるダンス習得促進手法，研究会報
告グループウェアとネットワークサービス（GN），Vol. 5,
No. 33, pp. 1–8 (2020-GN-109).
Fujimoto, M., Terada, T. and Tsukamoto, M.: A Dance Training System that Maps Self-Images onto an Instruction Video,
Proceedings of the 5th International Conference on Advancesin Computer-Human Interactions, ACHI ’12, pp. 309–314(2012).
Marquardt, Z., Beira, J. a., Em, N., Paiva, I. and Kox, S.: Su-© 2021 Information Processing Society of Japan

INT21008
2021/3/10

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

[45]

per Mirror: A Kinect Interface for Ballet Dancers, Extended
Abstracts Proceedings of the 2012 Conference on Human
Factors in Computing Systems, CHI EA ’12, p. 1619–1624(2012).
Molina-Tanco, L., Garcı́a-Berdonés, C. and Reyes-Lecuona,
A.: The Delay Mirror: A Technological Innovation Speciﬁcto the Dance Studio, Proceedings of the 4th International
Conference on Movement Computing, MOCO ’17 (2017).
Anderson, F., Grossman, T., Matejka, J. and Fitzmaurice,
G.: YouMove: Enhancing Movement Training with an Augmented Reality Mirror, Proceedings of the 26th Annual ACM
Symposium on User Interface Software and Technology, UIST
’13, p. 311–320 (2013).
Kosuge, K., Takeda, T., Hirata, Y., Endo, M., Nomura, M.,
Sakai, K., Koizumi, M. and Oconogi, T.: Partner Ballroom
Dance Robot -PBDR-, SICE Journal of Control, Measurement, and System Integration, Vol. 1, No. 1, pp. 74–80(2008).
Nakamura, A., Tabata, S., Ueda, T., Kiyofuji, S. and Kuno,
Y.: Multimodal Presentation Method for a Dance Training
System, Extended Abstracts Proceedings of the 2005 Conference on Human Factors in Computing Systems, CHI EA ’05,
p. 1685–1688 (2005).
Tsuchida, S., Terada, T. and Tsukamoto, M.: A System for
Practicing Formations in Dance Performance Supported by
Self-Propelled Screen, Proceedings of the 4th Augmented Human International Conference, AH ’13, p. 178–185 (2013).
Camarillo-Abad, H. M., Sandoval, M. G. and Sánchez, J. A.:
GuiDance: Wearable Technology Applied to Guided Dance,
Proceedings of the 7th Mexican Conference on HumanComputer Interaction, MexIHC ’18 (2018).
Dearborn, K. and Ross, R.: Dance Learning and the Mirror:
Comparison Study of Dance Phrase Learning with and without Mirrors, Journal of Dance Education, Vol. 6, pp. 109–115(2006).
Tsuchida, S., Fukayama, S., Hamasaki, M. and Goto, M.:
AIST Dance Video Database: Multi-genre, Multi-dancer,
and Multi-camera Database for Dance Information Processing, Proceedings of the 20th International Society for Music
Information Retrieval Conference, ISMIR ’19, pp. 501–510(2019).
Kawamura, S., Ida, M., Wada, T. and Jing-Long Wu: Development of a Virtual Sports Machine Using a Wire Drive
System - a Trial of Virtual Tennis, Proceedings of the 1995
IEEE/RSJ International Conference on Intelligent Robots
and Systems, IROS ’95, Vol. 1, pp. 111–116 (1995).
Fang, C., Zhang, Y., Dworman, M. and Harrison, C.: Wireality: Enabling Complex Tangible Geometries in Virtual Reality with Worn Multi-String Haptics, Proceedings of the 2020
CHI Conference on Human Factors in Computing Systems,
CHI ’20, p. 1–10 (2020).
曽我麻佐子，治武恭介， 海野敏： モーションデータを活用したヒップホップダンスの多角的学習支援，人文科
学とコンピュータシンポジウム 2014 論文集， No. 3, pp.
31–36 (2014).
Landry, S. and Jeon, M.: Interactive Soniﬁcation Strategies
for the Motion and Emotion of Dance Performances, Journalof Multimodal User Interfaces, Vol. 14 (2020).

73