情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4D03
2022/2/21

鬼剣舞の練習を支援するシステムの提案
近藤 勝伍1,a)

塚田 浩二1,b)

概要：日本の様々な地域で古くから民俗芸能が伝承されているが，昨今の情勢により伝承の形が変化し始めている．道場に赴いて練習をする機会が減り，代わりに，インターネットにアップロードされている動画を参考にするなどして，自宅で練習する機会が増えた．しかし，動画を参考にして練習する方法には，練習者が踊りを間違って解釈してしまいかねないという課題がある．そこで，本研究では，動画媒体を用いて鬼剣舞の踊りを適切に習得するための練習支援システムを提案する．このシステムは，練習者の踊りと練習に用いる動画内の踊りを比較し，2 つの踊りの差異を練習者にフィードバックする．本稿ではシステムのコンセプトと実装を紹介する．

1. 背景と目的
1.1 鬼剣舞についてか課題がある．１つ目の課題は，動画内では衣装を纏い踊っているため，一部体の動きを鮮明に捉えられないことである．鬼剣舞の衣装は図 1 に示すように，袴で下半身を日本の様々な地域で古くから民俗芸能が伝承されている覆い隠す形になっている．口伝であれば師匠に教えを乞うが，筆者の出身地である岩手県北上市では「鬼剣舞（おにことで解決できるが，自己判断することは難しいため，正けんばい）」と呼ばれる民俗芸能が伝承されている．鬼剣

しい形の踊りを習得できない可能性がある．２つ目の課題

舞は鬼のお面をつけて勇壮に踊ることからそう呼ばれるよは，YouTube にアップロードされている演目の偏りであうになったが，本来は「念仏剣舞」と呼ばれる踊りの一種る．鬼剣舞には様々な演目があり，演目ごとに振り付けもであり，モチーフは鬼ではなく仏である [1]．東京教育大学大きく異なる．一方，YouTube 等にはマイナーな演目はあの松本ら [2] によると，「鬼剣舞は舞楽のような端正に整っまりアップロードされていない．そのため，メジャーな演た踊りではなく，身体の捻転やゆがみ，高速な手振りや力目であれば様々な角度から踊りを見ることができるが，マのこもった足踏みなど，より自由で開放的な素朴な動きのイナーな演目の場合は参考となる動画を見つけることが難反復が見られる」と述べられている．

しい．

1.2 鬼剣舞の練習形態
鬼剣舞は今も師匠から弟子への踊りの口伝が続けられているが，自宅での自己練習の際や地元を離れている踊り手の中では動画を用いた練習も行われている．例えば，

YouTube などの動画サイトにアップロードされている鬼剣舞の動画を視聴し，その動画の踊りを参考にして練習することがある．鬼剣舞の踊り手 36 人にアンケートを実施
したところ，30 人が道場以外の場所でも自己練習をすると答え，その 30 人のうち，86.7%の人が「動画を参考に練習図 1することがある」と答えた．

鬼剣舞の衣装1.3 自己練習の課題
YouTube などの動画媒体を用いた自己練習にはいくつ

1.4 本研究の目的
動画媒体を用いて鬼剣舞の踊りを正しく習得するための1a)b)

公立はこだて未来大学
b1018008@fun.ac.jp
tsuka@fun.ac.jp© 2022 Information Processing Society of Japan

練習支援システムを開発し，その有用性を確かめることを本研究の目的とする．動画内の踊りと練習者の踊りを比較

522

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4D03
2022/2/21

しフィードバックする一連の流れを繰り返すことで自己練習においても，練習者の踊りに対する習熟度が上昇するという効果が期待できる．このシステムを構築することで，自己練習においても客観的に自分の踊りを評価し，改善することができると考える．

2. 関連研究
本研究では民俗芸能を扱うが，ダンスの練習支援の研究はこれまで盛んに行われてきた．
田中ら（2013）[3] は，モーションキャプチャを用いたダンス上達支援システムの開発を行った．この研究では，指図 2

システム構成図

導者の主観により指導内容や方法が異なることを問題として提起した．顔の向きやリズムに着目して特徴抽出を行い，上級者と学習者のデータを比較することでシステムを実現

4. 予備実験した．また，体格差などの技術的課題に対しては，ボーン鬼剣舞の踊りの特徴を抽出するために予備実験（図 3）データを正規化することにより解決を目指している． 山を行った．モーションキャプチャ装置（OptiTrack Flex3）

内ら（2013）[4] は，Kinect を用いてユーザのダンスの正を使い，鬼剣舞の「一番庭」という基本の演目を，著者の一確さを自動判定し，適切な練習方法を提案するダンス学習人が踊り，記録した．一番庭は通常 8 人で踊る演目で，約支援システムの開発を行った．このシステムは Kinect に10 分の長さである．前半は調子の遅い緩やかな踊り，後半よる振り付け習得判定，ワイヤレスマウスによるリズム感は調子の速い激しい踊りになっている．記録したデータかの判定の 2 構成となっている．リズムが取れていない場合

ら，「一番庭」における基本的な動きは「跳躍」，「屈伸」ではより簡単な振り，リズムもとれておらず，振りも正しくあることが分かった．

踊れない場合は振りのレベルとテンポを両方下げるようにシステムから指示される．
嵐ら（2021）[5] は，ダットダンスと呼ばれる手首や指，肘など腕を中心に組み合わせ踊る踊りの練習支援システムの開発を行った．このシステムは自分のカメラ映像上にダンスのパターンとアニメーションを重畳表示してユーザの練習を支援する．また，フィードバックシステムは Azure

Kinect などのデプスカメラを用いる．
川西ら（2021）[6] は，ダンサーが無意識のうちに行っている動作の修正点を見出す作業を支援する可視化システムの開発を行った．同一ダンサーによる複数回のダンスにつ

図 3

予備実験の様子いて，Azure Kinect で計測し，モーション間の差異に関する分類結果を可視化することでユーザの練習を支援する．

3. 提案

4.1 踊りの分析「跳躍」
鬼剣舞における跳躍はほとんどが片足のみによる跳躍で本研究で開発するシステムは，「OpenPose」と「Azureある（図 4）．跳躍する際の下半身の動きについて，地面をKinect」の 2 つの姿勢推定技術を用い，動画内の踊り手と蹴り上げるほうの足は空中でまっすぐと伸ばし，反対側の練習者の踊りを姿勢推定技術でモデル化・解析する．次に，足はつま先を地面に向け膝を腰の近くまで上げていた．前モデル化された 2 つの踊りを比較し，具体的にどこに差異

半の緩やかな囃子のパートではかかとを少し浮かす程度のがあったのかをリストアップする．さらに，こうした差異跳躍が多く，後半の少し早い囃子のパートでは足を浮き上に対して鬼剣舞の師匠の視点等を取り入れて重要性を評がらせるほどの跳躍が多くみられた．

価したうえで，練習者にフィードバックする．それぞれの姿勢推定技術について，OpenPose は動画内の踊り手を，

Azure Kinect はユーザを姿勢推定するために用いられる．
システム構成図を以下に示す（図 2）．

4.2 踊りの分析「屈伸」
鬼剣舞における屈伸は跳躍の前後に行われることが多い（図 5）． 跳躍前にする屈伸は跳躍の勢い付けのために，跳躍後にする屈伸は着地の衝撃を和らげるために行われてい© 2022 Information Processing Society of Japan523

情報処理学会 インタラクション 2022IPSJ Interaction 2022

図 4

左：前半の跳躍

4D03
2022/2/21

右：後半の跳躍るものであると考えられる．跳躍と同じく，踊りの前半と後半で動きの性質が異なる．前半の緩やかな囃子のパート

図 6

OpenPose の骨格検出の例

では腰をかなり深くまで落とす屈伸をするが，後半の少し速い囃子のパートではあまり深くまで屈伸することはなく，次の跳躍へ素早く移行するためのものとして行われる．

図 7

Azure Kinect の骨格検出の例

5.3 骨格情報の比較用プロトタイプ
踊りのフィードバック方法を検討するために，骨格情報
図 5

左：前半の屈伸右：後半の屈伸を視覚化／比較するためのプロトタイプを構築した．最終的には 3 次元座標値を用いてユーザの踊りを評価すること

5. 実装
5.1 OpenPoseを目標としているが，プロトタイプでは 2 次元座標値を用いてユーザの踊りを比較する．
作成したプロトタイプでは 2 つのフィードバック画面をOpenPose とは，二次元画像から人物の骨格を機械学習で作成した．それぞれのフィードバック画面では，共にユー推定することができるシステムである [7]．OpenPose では

ザの踊りは赤，手本となる動画内の踊りは青で描画される．

動画内の踊り手の骨格のみ推定する． OpenPose では様々

1 つ目はユーザの踊りと比較対象となる動画内の踊りをな出力フォーマットに対応しており，例えば画像に骨格情並べて視覚化するものである（図 8）．このフィードバック

報を重畳表示して書き出すことができる（図 6）．本研究

画面では，大まかな踊りの振り付けの差異などを見ること

では，OpenPose から出力されるデータをモーションデーができる．

タとして扱いやすくするために，BVH 形式に変換する．

2 つ目はユーザの踊りと比較対象となる動画内の踊りをBVH 形式へ変換するプログラムは Python で作成する．

重ね合わせたものである（図 9）．この画面では踊りの細かい差異を見ることができる．前述した『踊りの分析「屈5.2 Azure Kinect伸」』について評価するものとして，ユーザの腰の落とし

Azure Kinect（以下，Kinect と呼ぶ）とは，デプスカメ

具合が浅かった場合は脚が黄色く描画され，その割合が右ラと慣性６軸センサが搭載された開発者向け機材のことで上にパーセンテージ表示される機能を実装した．ユーザのある．ユーザの骨格推定は Kinect の Body Tracking SDK

屈伸が比較対象となる踊りと比べてどれほど深く腰を落とを用いる．Kinect からは図 7 のようにリアルタイムで画しているかを評価するために，両足の付け根の関節角度を像や骨格情報が出力される．Kinect も同様に出力される比較した．今回は一例として腰の落とし具合を視覚化したデータを扱いやすくするために BVH 形式への変換を行う．

が，予備実験の結果も踏まえて踊りに必要な要素の分析とKinect に関するプログラムは C#で作成する．

視覚化を今後工夫していく．

© 2022 Information Processing Society of Japan524

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4D03
2022/2/21

[5]

[6]

[7]

図 82 つの踊りを並べて比較する場合のシステム画面

図 9

2 つの踊りを重ねて比較する場合のシステム画面

嵐冠太，塚田浩二，ダットダンスの練習支援システムの提案，情報処理学会，インタラクション 2021，pp277-280，2021
川西真美，土田修平，伊藤貴之，ダンスモーションの反復練習とその上達過程の可視化，日本ソフトウェア科学会，
WISS2021，1-B04，2021
Zhe Cao, Student Member, IEEE, Gines Hidalgo, Student Member, IEEE, Tomas Simon, Shih-En Wei, andYaser Sheikh. OpenPose: Realtime Multi-Person 2D
Pose Estimation using Part Aﬃnity Fields arXiv
preprint arXiv:1812.08008, 2018

6. まとめと今後の展望
本報告では，OpenPose と Azure Kinect を用いて鬼剣舞の練習者の踊りと練習に用いる動画内の踊りを比較し，2 つの踊りの差異を練習者にフィードバックするシステムを提案した．予備実験では，鬼剣舞の一番庭という演目における基本的な動作は，「跳躍」と「屈伸」であることが分かった．プロトタイプでは，予備実験の結果を踏まえ，ユーザの踊りと比較対象となる踊りの腰の落とし具合について視覚的フィードバックができるシステムを開発した．
今後の展望として，作成したプロトタイプの評価指標，ユーザへのフィードバック手法を増やしたいと考えている．また，現段階では体の全体的な動きを対象にシステムを設計しているが，鬼剣舞独特の手や扇の動きを比較対象に入れたいと考えている．
参考文献
[1]

[2]

[3]

[4]

北 上 観 光 コ ン ベ ン シ ョ ン 協 会 ，鬼 剣 舞 に つ いて ，入 手 先 ⟨https://kitakami-kanko.jp/folkart/aboutonikenbai/⟩，2021-10-30
松本千代栄・相場了・川口千代，舞踏の比較研究-「舞楽」を中心として-，日本女子体育連盟紀要，1969(69-I)，pp5-16，
1969
田中佑典, 齋藤剛. モーションキャプチャを用いたダンス
上 達支援システムの開発, 情報処理学会第 75 回全国大会
講演論 文集, 2013(1)， pp225-227，2013
山内雅史, 篠本亮, 北原鉄朗: Kinect を用いたダンス学
習支援システムの開発, 情報処理学会第 75 回全国大会，
pp895-896，2013© 2022 Information Processing Society of Japan525