情報処理学会研究報告
IPSJ SIG Technical Report

AIST Dance Video Database: ダンス情報処理研究のためのストリートダンス動画データベース
土田 修平1

深山 覚1

濱崎 雅弘1

後藤 真孝1

概要：本稿では，研究目的で共通に利用できるストリートダンス動画データベース「AIST Dance Video
Database (AIST Dance DB / AIST ダンス動画データベース)」について述べる．本研究用 DB には，新規に制作したダンス音楽 60 曲と，それに合わせて独自の振り付けでストリートダンスを踊っているダンサーを撮影した動画 13,940 本が収録されている．ダンスと音楽は密接な関わりを持ち，音楽情報処理分野においてもさまざまなダンス関連のテーマが研究されてきた．しかし，ダンス情報処理が持つ潜在的な可能性の大きさに対して，まだ研究事例が多いとはいえなかった．そこで我々は，ダンスのジャンルの一つとして重要なストリートダンスに焦点を当てて，ダンス情報処理研究の基盤となることを目指して本 DB を構築
し，2019 年 11 月に一般公開を開始した．本稿ではさらに，本 DB によって可能になる研究テーマの事例を提案し，特にダンスモーションのジャンルを分類するタスクについては，4 つのベースライン手法を開発・評価した結果を報告する．

1. はじめに
音楽情報処理分野では，音楽の音響信号や楽譜，歌詞だ
けでなく，音楽に関連した動画や画像，ソーシャルメディ
アのデータなど，多様でマルチモーダルな情報が既に扱われてきている．音楽情報処理で対象とされてきたダンス
楽曲は，元々ダンスのために制作されており，ダンスモー
ション（ダンスの動作）と密接に関連している．そうした
ダンス楽曲やダンスモーション，ダンサーの属性等のダンスに関連した情報（以下，ダンス情報）は多様であり，それらを扱う研究は，音楽情報処理分野において今後ますま
す活発になっていくと考えられる．
そこで，そうしたダンス情報を対象とした多様な技術・研究テーマをカバーする研究分野名として，「ダンス情報
処理 (Dance Information Processing)」[1] を提唱する．これまで音楽情報処理研究の一環として，ダンス楽曲に関連したさまざまな論文が発表されてきた．伝統的なダンス音楽 [2–5] やエレクトロニック・ダンス・ミュージック

図 1 AIST Dance Video Database（AIST Dance DB）の収録ダンス動
画例．複数のジャンル（ストリートダンスで主要な 10 種類の(EDM) [6–12] に関する研究，さらにはそうしたダンス楽ジャンル）や，複数のダンサー（35 名のプロダンサーによるソ曲を分類する研究 [13, 14] などがある．これらの研究もダ

ロダンスおよびグループダンス），複数のカメラ（最大 9 台のンス情報処理に位置付けられる．一方，ダンスモーション

ビデオカメラをダンサーを囲むように設置）によるダンス動画も活発に研究されており，楽曲に基づいたダンスモーショを収録している点が特徴的である．

ンの自動生成 [15–21]，ダンス動画上でのダンスモーショ
1

産業技術総合研究所
National Institute of Advanced Industrial Science and Technology(AIST)

c 2020 Information Processing Society of Japan⃝

ンからのリズム推定 [22]，ダンスモーションによる楽曲検索 [23]，ダンスモーションによる楽曲テンポ制御 [24]，ダンスモーションの個人識別 [25]，ダンスモーションのジャ1

情報処理学会研究報告
IPSJ SIG Technical Report

ンル分類 [26] などが挙げられる．さらに，ダンスモーショ

ダンサーによって独自に振り付けされた 210 本のダンス動ンに関する研究は，音楽に関連した人間の身体の動きを扱

画を，本タスクの実験用のデータとした．それらのダンス

うので，演奏中におこなわれる演奏者の動作に関する研動画から抽出したダンスモーションを入力に与えて，Long

究 [27–31] とも関連深い．しかし，こうしたダンス情報処

Short-Term Memory（LSTM）に基づくモデルと，Support

理研究を発展させる上で，世界中の研究者が自由に利用可

Vector Machine（SVM）に基づくモデルを用いて構成した

能な大規模なストリートダンス動画データベース (DB) は分類器を学習し，評価した．ダンスジャンルを分類する 4存在しなかった．

つのベースライン手法を開発して比較評価した結果，32 秒

そこで我々は，ストリートダンスに焦点を当て，研究者の長さで切り出した動画を与えたときに，91.4% の精度でが研究目的に使用する上で，共通利用の自由，学術利用

ダンスジャンルを分類できることを確認した．しかし，その自由が確保された「AIST Dance Video Database (AISTの動画の長さを 0.67 秒に短くすると，精度は 56.6% まで

Dance DB / AIST ダンス動画データベース)」（図 1）を構築低下した．この結果は，今後の同タスクのベースライン性した [1]．本 DB は，ストリートダンスで主要な 10 種類の能として他の研究者が比較評価に用いることができる．

ジャンル（ブレイク，ポップ，ロック，ワック，ミドルヒッ
プホップ，LA スタイルヒップホップ，ハウス，クランプ，

2. 関連研究ストリートジャズ，バレエジャズ）をカバーした 13,940 本

学術研究における研究用 DB の重要性は，さまざまな研のダンス動画と，それぞれのダンスジャンルに合わせて作究分野で広く認識されてきた．ダンスに関連した研究にお曲された 60 曲のダンス楽曲によって構成されている．10

いても同様で，DB の構築にダンス関連の研究者が大きな労種類のそれぞれのダンスジャンルに対して，異なるテンポ

力を費やしてきた [32]．例えば，「Martial Arts, Dancing andのダンス楽曲が 6 曲ずつ収録されており，5 年以上のダンSports Dataset (MADS)」 [11] では，ヒップホップとジャズ

ス経験を有する 35 名のプロダンサー（男性 20 名，女性 15

ダンスのダンス動画がそれぞれ 6 本ずつ収録されている．

名）がそれら楽曲に合わせて踊っている．各ダンスジャン

3 台のカメラで 3 方向から撮影しており，動画データにはルごとに 1,389 本の動画を収録した合計 13,888 本*1 の動画

深度カメラ（Kinect を利用）から得られた奥行き情報も付に加え，ダンサーのグループが一緒に踊る際の三つの典型

与されている．しかし，各ジャンルの動画は，ダンスモー

的なシチュエーション（ショーケース，サイファー，バト

ションのジャンル分類や振り付け自動生成といったタスク

ル）の下でのダンス動画を 52 本収録している．収録動画に対して十分な本数ではなく，各ジャンルの特性を効果的の多様性を考慮して設計しており，それらをダンサーの人に表現するための十分な量のダンスモーションを含んでい数で分類すると，計 13,940 本のうち，12,988 本はダンサーなかった．また，小規模なダンスデータセット [33–36] もが 1 人で踊るソロダンスで，952 本は複数のダンサーが一構築されてきた．

緒に踊るグループダンスとなっている．振り付けの種類でダンス動画だけでなく，異なる種類のセンサデータを提分類すると，計 13,940 本のうち，10,798 本は基本的な振り供する DB も公開されている．Stavrakis ら [37] は，ダン付けで構成された基本動作で，3,142 本は各ダンサーが独ス動画に加えて高品質のモーションキャプチャデータを提自に振り付けをしたフリーダンスとなっている．また，最供する「Dance Motion Capture Database」を公開している．

大 9 台のビデオカメラをダンサーを囲むように配置し，異この DB には，ギリシャ・キプロスの伝統的なダンスの他なる方向から同時にダンスを撮影した．

に，モダンダンス，フラメンコ，ベリーダンス，サルサ，

我 々 は 2019 年 11 月 に AIST Dance DB の 一 般 公 開

ヒップホップといったダンスジャンルも含まれている．同を 開 始 し [1]，学 術 研 究 目 的 で あ れ ば 無 償 で https:

様に Tang ら [38] は，モーションキャプチャシステムを用//aistdancedb.ongaaccel.jp からすべてのダンス

いて，チャチャ，タンゴ，ルンバ，ワルツの 4 つのダンス

動画とダンス楽曲をダウンロード可能となっている．これジャンルを含む DB を構築した．Essid ら [39] は，1 台のにより，ダンス情報処理の研究分野が立ち上がり，様々なKinect と 5 台のビデオカメラを用いて，15 名のサルサダン

テーマ・タスクに関する研究が促進されることを期待してサーが 2∼5 種類の事前に決められた振り付けで踊るダンいる．例えば，ダンスモーションのジャンル分類タスクや，スを撮影し，その動画データセットを公開している．さらダンサー識別タスク，ダンステクニックの推定タスクなどに，ダンサーが身に付けた複数の慣性センサから取得されに活用できる．そうしたダンス情報処理における基本タス

たデータ（加速度，角速度，磁気）が，すべての動画デー

クの一つとして，本稿では，ストリートダンスのためのダンタに付属している点が特徴的である．上記のように従来さスモーションジャンル分類タスクを提案する．我々は，10

まざまな DB が公開されてきたが，ストリートダンスの多種類のダンスジャンルからそれぞれ 3 名ずつ，合計 30 名の様なジャンルをカバーし，複数のカメラで撮影され，かつ，*1

1,389 本 x 10 ジャンル = 13,890 本となる設計だったが，撮影時の不備で 2 本欠損して 13,888 本となっている．

c 2020 Information Processing Society of Japan⃝

複数のダンサーが踊っているダンス動画を含む DB は存在しなかった．

2

情報処理学会研究報告
IPSJ SIG Technical Report

全 10 種類のダンスジャンルのそれぞれにおいて，以下の 4 つのカテゴリに分類できる 1,389 本の動画が収録されている．
・基本ダンス: 120 種類のダンスを 9 方向から撮影した動画 1,080 本．
ジャンルごと基本的な動きを 4 つの異なる印象（激しい，緩い，固い，柔らかい）で表現．
・フリーダンス: 各ダンサーが独自に振り付けした 21 種類のダンスを 9 方向から撮影した動画 189 本．
・グループダンス: 3 名のダンサーが独自の振り付けを一緒に踊った 10 種類のグループダンスを 9 方向から撮影した動画 90 本．
・移動カメラ: 10 種類のダンスをカメラを前後に移動しながら（ドリーイン，ドリーアウトして）3 方向から撮影した動画 30 本．
その他，以下の三つのシチュエーションの下で撮影された 52 本の動画が収録されている．
・ショーケース: 10 名のダンサーがステージでのダンスパフォーマンスを観客の前で披露することを想定して踊った 3 種類のグループダンスを
9 方向から撮影した動画 27 本．
・サイファー: 10 名のダンサーが輪になって並び，ランダムな順番で踊り続ける二つのセットを 5 方向から撮影した動画 10 本．
・バトル: 2 人のダンサーが向かい合って踊る三つのセットを 5 方向から撮影した動画 15 本．
図 2 AIST Dance DB の全体構成．
．

「YouTube-8M」[40] と「Music Video Dataset」[41] はダションとの関係を分析・調査できるような DB にする

ンス研究用に構築された DB ではないが，前者には 181,579

ことが重要である．そこでまず，プロの音楽家が，そ本のダンス動画，後者にはダンスに焦点を当てた動画を含

れぞれのダンスジャンルの踊りに合ったダンス楽曲をむ 1,600 本のミュージックビデオが含まれている．これら

新規に制作した．次に，その楽曲をプロのダンサーがの DB は，ダンス情報処理の観点で整理された DB ではな

聞きながら，それに合わせて踊っているところを撮影

いため，ダンス情報処理の関連タスクに取り組む目的でそした．その結果，各動画には，ダンスモーションが映のまま利用することは難しい．それに対して AIST Dance

像に含まれているだけでなく，使用されているダンス

DB では，ダンスジャンル名，基本的な振り付けの種類，シ

楽曲も背景音楽 (BGM) として含まれている．また，各チュエーション名，ダンサーや楽曲の情報などの属性を持ダンス楽曲は個別のファイルとしても収録されている．

つように，体系的に記録・整理した動画が収録されている特長を持つ．

• ダンスジャンルや振り付けの多様性
ダンス情報処理の多様なテーマで活用できるようにするには，多様なダンスジャンルや振り付けを含むこ

3. AIST Dance Video Database (AIST DanceDB)とが重要である．そこで，10 種類のダンスジャンル，

3.1 設計指針（ソロダンスとグループダンス），異なる振り付け，異我々は，以下の三つを重点的に考慮して AIST Dance DBを設計した．

• 独自に振り付けされたダンスの動画ファイルと新規に35 名のダンサー，異なる人数のダンサーによるダンス
なる振り付け難易度（基本ダンスとフリーダンス）のような多様なダンスが収録されるようにした．

• さまざまな方向からの撮影制作したダンス楽曲ファイル

異なる視点と角度から同じダンスモーションを分析す

ダンス楽曲と，その楽曲に合わせて踊ったダンスモー

るために，ダンサーを囲むように複数のカメラを配置

c 2020 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

し，最大で 9 種類の方向から同時に撮影した．これに外のカメラも，グループダンスでないときには，ダンサー

より，たとえ正面のカメラからは捉えられない身体のの全身が極力映像内に収まるように配置した．

動きがあっても，背面のカメラから捉えられる．

3.2 データベースの収録内容

4. ダンスモーションジャンル分類
本章では，我々がダンス情報処理研究のタスクの一つと3.1 節の設計指針に基づいて構築した「AIST Dance DB」

して提案するダンスモーションジャンル分類タスクについの全体構成を図 2 に示す．13,940 本の動画には，1,618 種類て述べる．楽曲ジャンルを分類するタスクは，音楽情報処のストリートダンスが収録されている．そのうち，13,888

理研究において広く知られたタスクの一つであるが，ダン本は 10 種類のストリートダンスジャンルの動画で，残りスモーションジャンル分類タスクは，ダンスモーションのの 52 本は三つのシチュエーションの下で撮影された動画

ジャンルを分類する新しいタスクである．これは，ダンスである．10 種類のダンスジャンルは，ストリートダンスの動画推薦システムのようなアプリケーションを構築する際の専門家と相談して決定した．ダンスジャンルは，1970 年に有用であり，ダンス情報処理における標準問題になりえ

頃から 1990 年頃までのダンススタイルであるオールドスると考えている．

クール系（ブレイク，ポップ，ロック，ワック）と，1990

我々は，ダンスモーションジャンル分類タスクのベース

年頃以降のダンススタイルであるニュースクール系（ミド

ラインとなる 4 つの手法を提案・開発した．ここでの研究

ルヒップホップ，LA スタイルヒップホップ，ハウス，ク

上の問いは以下の 4 つである．

ランプ，ストリートジャズ，バレエジャズ）に分けられる．
ダンス楽曲 60 曲は，それぞれ 6 曲ずつ，10 種類のダンスジャンルに対応している．各ジャンルにおいて，ハウスを除く 6 曲のテンポは，80，90，100，110，120，130 BPM（1 分間の四分音符の個数）に設定した．ハウスでは遅いテ
ンポだとダンスの動作に合わないため，6 曲のテンポは，

110，115，120，125，130，135 BPM に設定した．
一つのダンスジャンル内で多様な振り付けを確保するた• RQ1: 動画から抽出するフレームのみを用いて，ダンスジャンル分類を行えるか？

• RQ2: ダンスジャンル分類モデルの学習には，何フレー
ム必要か？

• RQ3: ダンスジャンルによって分類のし易さは異なるか？

• RQ4: 拍位置はダンスジャンル分類の性能向上に役立
つか？

め，プロのダンサー 35 名（男性 20 名，女性 15 名）の踊りを撮影した．各ジャンルに対して，少なくとも 3 名のダ

4.1 実験条件

ンサーが踊った．すべてのダンサーは 5 年以上のダンス経

実験用データセットとして，AIST Dance DB 内の「フ験を有する．また，すべての動画はフルカラーで収録されリーダンス」カテゴリのダンス動画を用いてサブセットをたが，服装の選択をダンサーに委ねたところ，モノトーン

作成した．正面カメラから撮影した 210 本のダンス動画かの服を着ていたダンサーが多かった．

ら構成されており， 10 種類のダンスジャンルを網羅して

図 2 上部に示したように，ダンスジャンル一つあたり，1いる．各ジャンル 3 名ずつ合計 30 名のダンサーが，それ名のダンサーが基本的な振り付けで踊っている基本ダンス

ぞれ 7 つのフリーダンスを踊っているため，各ジャンルご動画が 1,080 本，1 名のダンサーが独自の振り付けで踊っとに異なる 21 本のダンス動画がある．各動画の楽曲は 64ているフリーダンス動画が 189 本，複数のダンサーが一緒

拍（4 拍 ×16 小節）で構成されている．なお，1 拍の長さに独自の振り付けを踊っているグループダンス動画が 90

は 4 分音符一つ分とする．

本，1 名のダンサーによるダンスをカメラを移動させなが以上の 210 本のダンス動画を，トレーニングデータ（126ら撮影した移動カメラ動画が 30 本の，合計 1,389 本の動画

本の動画）
，バリデーションデータ（14 本の動画），およびが収録されている．移動カメラ動画以外のすべてのカメラ

テストデータ（70 本の動画）に分割した．各ジャンルに対位置は固定されている．それらに加えて，図 2 下部のようし，2 名のダンサーによる 14 本のダンス動画をトレーニに，ダンサーの集団がダンスを楽しむ際の 3 種類のシチュ

ングデータとバリデーションデータに用い，残り 1 名のダエーションを想定して撮影した，ショーケース動画が 27

ンサーによる 7 本のダンス動画をテストデータとして用い

本，サイファー動画が 10 本，バトル動画が 15 本の合計 52

た．したがってトレーニングデータとバリデーションデー

本の動画が収録されている．

タに含まれるダンサーは，テストデータ中には一切含まれダンサーが振り付けを考えて踊る際には，ダンスジャンていない．

ルに合った振り付けをすることとした．それぞれの振り付けに対して撮影は 1 回を原則としたが，明らかな間違いが

4.2 手法

起きたら再撮影をした．撮影では，ダンサーの全身が映像

4 つのベースライン手法の概要を図 3 に示す．入力動画

内に収まるように正面のカメラを慎重に配置した．正面以から抽出したフレームを用いて，10 種類のダンスジャンル

c 2020 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

図 3 ダンスモーションジャンル分類タスクのための 4 つのベースライン法の概要: (1-a) LSTMに基づく L 固定法，(2-a) SVM に基づく L 固定法，(1-b) LSTM に基づく適応法，(2-b)

SVM に基づく適応法.

から一つのダンスジャンルに分類するよう各モデルを学習

各楽曲のテンポによって自動的に決定される．以下に二つした．モーション特徴量抽出の第 1 段階では，すべてのフの手法の詳細を示す．

レーム（60 fps）でのダンサーの骨格情報（身体の姿勢と• 適応法: 拍位置情報を用いる場合，4 種類のテンポ依存動き）を OpenPose ライブラリ [42] を用いて推定する．こな可変長ユニット内でベクトルは集約される．1，2，

れにより，推定された身体の姿勢と動きには元の RGB 情

3 または 4 つの拍を一つのユニットとして扱った．拍報が含まれていないため，我々の分類器の AIST Dance DBに対応する長さ La は，テンポが 80 から 135 の範囲のへの依存度を低減でき，他の動画にも適用できる可能性が場合，27 から 45 フレームの範囲を表す．

• L 固定法: さまざまな固定長ユニット内でベクトルが高くなる．
ダンスを特徴付ける要素として，姿勢とモーション（動作）が重要である．そこで，OpenPose によって推定された集約される．一つのユニット長 L は，20，40，60，. . .，500 動画フレームを持つ．

骨格情報から得られる 21 個の関節角度すべてを 1 フレー

各手法において，動画内のユニット毎に特徴ベクトルを計

ムごとに計算する．各関節角度は，角度のコサインとサイ

算する．各ユニットの nstart 番目から nend 番目までの動ンを計算することで，θx と θy の 2 次元の値へと変換して画フレームの身体の動作を表すベクトルの平均と標準偏差用いる．これにより，角度間の距離計算が容易になる．結（各 126 次元）を計算し，それらベクトルを k 番目の 252

果として，21 次元の角度を表すベクトルを 42 次元の特徴

次元のユニット特徴ベクトル ṽ (i) (k) として連結する．

ベクトルに変換する．i 番目の動画の n 番目のフレームに第 3 段階として，各手法においてウィンドウ特徴ベクト(i)
おける関節角度を 42 次元の特徴ベクトル vθ (n) で表す．
(i)

ルを計算する．ウィンドウ特徴ベクトルとは，一定のウィ

DB のビデオ総数を I ，i 番目の動画のフレーム数を N

ンドウの幅における身体の動作の特徴を表すベクトルでとする (1 ≤ i ≤ I, 1 ≤ n ≤ N(i))．骨格情報が検出されなある．5 つの異なるウィンドウ幅を用いて，ユニット特徴

かった関節角度は 0 を代入する．次に，フレーム間の関節ベクトルをウィンドウ特徴ベクトルに集約し，ダンスジャ

角度の変化に焦点を当て，フレーム間の速度と加速度を計

ンルを識別するのに必要な動画フレーム数を調べた．ウィ(i)
算することで身体の動作を表した．速度を v∆θ (n)，加速度(i)を v∆2 θ (n) と表し， これらを以下の式によって算出する．

ンドウ特徴ベクトルは，すべてのユニット特徴ベクトル

(i)

(i)

(i)

v∆θ (n) = vθ (n) − vθ (n − 1),
(i)

(i)

(i)

v∆2 θ (n) = v∆θ (n) − v∆θ (n − 1).
(i)

(i)

幅で連結させることでそれぞれ得られる．例えばウィンド

(1)
(2)
(i)

以上三つの特徴ベクトル，vθ (n) および v∆θ (n)，v∆2 θ (n)を，126 次元のベクトル v(i)ṽ (i) (k) を，2，4，8，16，および 32 ユニットのウィンドウ(n) にまとめた．

第 2 段階として，身体の動作を表す 126 次元のベクトルを指定された時間間隔（ユニット）ごとに集約する．このとき，拍位置情報を使用する場合（適応法）と使わない場

ウ幅が 4 の場合，まず ṽ (i) (k) から ṽ (i) (k + 3) のユニット
特徴ベクトルを連結してウィンドウ特徴ベクトルを得る．
次に，ウィンドウを 1 ユニット分時間軸方向にスライドさせて，ṽ (i) (k) から ṽ (i) (k + 3) のユニット特徴ベクトルを連結させて次のウィンドウ特徴ベクトルを得る．このようにして，5 つの異なるウィンドウ幅によって集約されたウィンドウ特徴ベクトルを取得した．
第 4 段階として，適応法と L 固定法の二つを，LSTM に合（L 固定法）の二つの手法を用いた．すべての拍位置は，

c 2020 Information Processing Society of Japan⃝5

情報処理学会研究報告
IPSJ SIG Technical Reportに示す．動画の 40 フレーム（20 フレーム / ユニット × 2ユニット）のみを用いて，56.6% の精度でダンスジャンルを分類できた．これはダンス動画のうちわずか 0.67 秒間を用いるだけで，これだけのダンスジャンル分類が可能なことを示している．これは我々の予想を超えて短い区間であった．
「RQ2: ダンスジャンル分類モデルの学習には，何フレーム必要か？」に対しては，フレーム数が少ないほど分類精度は落ちるが，1 秒未満のわずかなダンスモーショ
ンだけでも，ある程度のダンスジャンル分類が可能だとわ
図 4 1 ユニットあたりのフレーム数とユニット数の異なる組み合わかった．

せに関する LSTM に基づく L 固定法を用いたジャンル分類精

さらに，LSTM に基づく L 固定法の混合行列を作成して度の比較．空白は，フレームの合計サイズが動画の長さを超え

ダンスジャンルごとの違いについて分析した．クランプはて結果が得られないことを示す．

分類が比較的容易で，ハウスは分類が比較的困難であることがわかった．また分類精度は，分類器への入力を計算す

基づくモデルと SVM に基づくモデルの二つとそれぞれ組

るための 1 ユニットあたりのフレーム数とユニット数に依み合わせることで，4 つのベースライン手法を準備した．

存することがわかった．フレームとユニットが少ない場合

各手法は，すべてのウィンドウ特徴ベクトルを 10 種類のでは，分類器がストリートジャズとバレエジャズを混同しダンスジャンルに分類する．LSTM に基づくモデルでは，やすく，ハウスの分類精度は低下していることがわかった．

1 層の LSTM セル [43] を持つ双方向リカレントニューラ

ストリートジャズとバレエジャズには類似する姿勢が含ま

ルネットワーク（RNN）を用いた．ネットワークは，ダれており，ハウスには単純な横移動など，他のダンスジャンスジャンルを示す 10 次元の one-hot ベクトルを出力す

ンルに共通する動きが多く含まれていることが原因と考える．活性化関数 ReLU（Rectiﬁed linear unit）を LSTM の出られる．
「RQ3: ダンスジャンルによって分類のし易さは異力に適用した．またバッチ正規化を，Dense Layer の出力なるか？」に対しては，ダンスジャンルによって分類のし層に適用した．損失関数にはクロスエントロピーを用い，易さは異なり，さらにそれはフレーム数とユニット数の影

バッチサイズは 10 とした．このモデルを 100 エポックま響も受けることがわかった．

−4で 5 × 10の学習率で訓練し，バリデーションロスが最小

最後に，楽曲の拍位置を用いた場合の分類精度についとなったモデルを訓練済みモデルとした．このモデルは，て調べた．適応法を用いた場合の最も高いジャンル分類

PyTorch [44] で実装した．SVM に基づくモデルでは，最精度は 83.4% であり，L 固定法では 91.4% であった．特初に主成分分析を用いてトレーニングデータの次元を削減に SVM に基づく適応法においては，最も高いジャンル分

し，200 次元のベクトルを得て，SVM モデルを訓練した．

類精度は我々の予想に反して 80.7% まで低下した．「RQ4:

最後に，これら二つのモデルを用いて，動画中の各ウィン

拍位置はダンスジャンル分類の性能向上に役立つか？」に

ドウ特徴ベクトルでのダンスジャンルを分類した．

対しては，今回はそのような効果を見つけることはできな

5. 結果
まず，3 分割交差検証（1 分割ごとに，テストデータ作成のため，異なるダンサーを振り分ける）を用いて，ダンスモーションジャンル分類の性能を評価した．各ダンス

かった．楽曲の拍位置を用いる場合は改善の余地を残しており，今後の課題とする．

6. 議論
6.1 ダンス情報処理

ジャンルごとに分類の正解率を求め，その平均値をジャン

ダンス情報処理では，未解決で魅力的な課題が多く，研ル分類精度とした．ジャンル分類精度が最も高かったのは究テーマの宝庫である．図 5 に示すように，ダンス情報処

フレーム数が 60 フレームでユニット数が 32 ユニットの理は (a) ダンスモーション分析，(b) ダンスモーション生

LSTM に基づく L 固定法を用いた場合の 91.4% であった．

成，(c) ダンス楽曲分析，(d) ダンス楽曲生成の 4 つのカテ

なお，SVM に基づく L 固定法の場合，ジャンル分類精度

ゴリに分類できる*2 ．(a) ダンスモーション分析では，ダンは最大でも 84.0% に留まった．
「RQ1: 動画から抽出するフスモーションのジャンル分類，ダンサー識別，ダンステク

レームのみを用いて，ダンスジャンル分類を行えるか？」

ニック推定，振り付けの構造解析，ダンスのムード解析なに対しては，このデータセットにおいて，ダンスジャンル

ど，ダンスモーションのあらゆる側面を自動的に分析するは比較的高い精度で分類できることがわかった．

研究が考えられる．(b) ダンスモーション生成の典型的な

次に，1 ユニットあたりのフレーム数とユニット数を変えた場合のジャンル分類精度の変化を調べた．結果を図 4

c 2020 Information Processing Society of Japan⃝*2

これらのカテゴリ以外のダンス情報処理もあり得るが，本稿では単純のために 4 つに分けて議論する．

6

情報処理学会研究報告
IPSJ SIG Technical Report

6.2 AIST Dance Video Database
AIST Dance DB は，こうしたダンス情報処理の幅広い研究テーマに貢献できると我々は考えている．特に，ダンス
モーション分析の研究（図 5(a)）での有用性が高く，ダンスモーションジャンル分類タスク以外にも，図 2 の基本ダンス，フリーダンス，グループダンス，移動カメラのカテ
ゴリにダンス動画を自動分類する研究テーマも考えられ
図 5 ダンス情報処理の概要

る．基本ダンス動画では，すべてのダンサーが同一の基本的な振り付けで踊っているため，ダンサー間の微妙なダン

研究課題は，ロボットダンサーやコンピュータグラフィッ

スモーションの差を分析することで，個人の癖の検出やダクス (CG) ダンサーなどで活用できるような，人間の動き

ンスモーションの個人差を吸収したダンステクニック検と区別できない自然なダンスモーションを自動的に生成す出に有用である．フリーダンス動画では，さまざまなダンることである．本稿の冒頭で述べたように，(c) ダンス楽サーが同じ楽曲に合わせて独自の振り付けを踊っているた

曲分析や (d) ダンス楽曲生成を含むダンス楽曲に関する研め，ダンスモーションにおけるダンサーの個性の差を分析

究は，音楽情報処理分野で既にいろいろと取り組まれてきでき，その結果はダンサー識別システムの開発に貢献できた．しかし，ダンス楽曲をより深く分析・分類したり，さる．最大 9 方向から撮影された動画群は，任意の方向から

まざまなスタイルや目的に合うダンス楽曲を生成したりす

ダンスモーションを認識できるシステムの開発に役立つ．

る技術は，まだ発展できる余地が大きい．

4.2 節で述べたように OpenPose などの画像処理技術を用いさらに，これら 4 つのカテゴリを個別に発展させるだけでなく，複数にまたがる研究開発も魅力的である．例えば，

れば，ダンスモーションの自動生成を含む多様な目的での機械学習に有用なダンスモーションが抽出できる．

(a) ダンスモーション分析と (c) ダンス楽曲分析を組み合わ

音楽情報処理の観点からは，AIST Dance DB に収録されせることで，ダンス動画中の映像側のダンスモーションをたダンス楽曲 60 曲が，10 種類のダンスジャンルとダンス分析した結果が，音楽側の構造推定に役立てられる可能性

モーションに対応していることが価値を持つ．ダンス楽曲

がある．逆に，音楽側の分析結果（拍位置等）は，映像側の分類技術をダンスモーション併用の有無に応じて研究のダンスモーションの分析に有用である．この (a) と (c) のしたり，ダンスモーションの分類技術をダンス楽曲併用の組み合わせは，ダンスモーションに適した楽曲を見つける

有無に応じて研究したりすることができる．さらに，ダン際にも重要で，将来的には，ダンスフロアやダンスイベン

ス楽曲とダンスモーションとの相関構造を，マルチモーダ

トの会場にいるさまざまなダンサーに適した楽曲を，自動ルに分析することもできる．
「RWC 研究用音楽データベー

で選曲・再生する DJ システムが実現可能になるかもしれス」[85, 86] 等と同様に，本 DB は共通利用の自由，学術利ない．ダンス動画中のダンスモーションと音楽との関係が用の自由が確保された研究用 DB であるため，技術を比較

明らかになれば，ダンス動画の制作・編集支援システム等評価するための共通ベンチマークとしても活用できる．

を実現する上で有用である．他にも，(a) ダンスモーショ
ン分析と (b) ダンスモーション生成を組み合わせることで，インターネット上の大規模なダンス動画群から 3 次元のダ

7. おわりに
本稿の主な貢献は以下の三つである．

ンスモーションを抽出し，その踊りを機械学習することで，( 1 ) 新規に制作したダンス楽曲に合わせて踊る独自のストダンスモーションの自動生成システムを構築できる可能性

リートダンス動画を収録した世界初の大規模な研究用がある．ダンサーの踊りのスタイルを分析してモデル化できれば，そのスタイルでロボットダンサーや CG ダンサーを踊らせることも可能となる．
ダンス情報処理では，マルチモーダルな情報処理が不可
欠なテーマも多く，その観点からも魅力的である．例えば，

DB を構築した．
( 2 ) 新たな研究分野「ダンス情報処理」を提唱し，議論した．

( 3 ) ダンスモーションジャンル分類タスクを提案し，4 つのベースライン手法を開発して評価した．

ダンス練習支援 [45–54] や，振り付け作成支援 [55–57], ダ

今後，AIST Dance DB が世界中の研究者によって利用されンスパフォーマンスの拡張 [58–69], グループダンスの支て，多様なダンス情報処理技術の研究開発に貢献し，学術・援・解析 [70–74], ダンスのアーカイブ [75–78], ダンスパ

文化・社会的なインパクトを与えることを我々は期待してフォーマンスの対応付け [79, 80], ダンス動画編集 [81–83],

いる．

ダンススタイル転写 [84] など，既に多様なテーマが研究さ

謝辞

動画の自動切り出し作業に協力していただいた

れてきた．このようにダンス情報処理の研究分野は，今後

Fabrizio Pedersoli 氏に感謝する．本研究の一部は JST AC-

幅広い方向への発展が期待できる．

CEL (JPMJAC1602) の支援を受けた．

c 2020 Information Processing Society of Japan⃝7

情報処理学会研究報告
IPSJ SIG Technical Report

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

Tsuchida, S., Fukayama, S., Hamasaki, M. and Goto, M.:
AIST Dance Video Database: Multi-genre, Multi-dancer, andMulti-camera Database for Dance Information Processing,Proceedings of the 20th International Society for Music Information Retrieval Conference, ISMIR 2019, pp. 501–510(2019).
Duggan, B., O’Shea, B., Gainza, M. and Cunningham, P.:
Machine Annotation of Sets of Traditional Irish Dance Tunes,
Proceedings of the 9th International Society for Music Information Retrieval Conference, ISMIR 2016, pp. 401–406(2008).
Risk, L., Mok, L., Hankinson, A. and Cumming, J.:
Melodic Similarity in Traditional French-Canadian Instrumental Dance Tunes, Proceedings of the 16th International
Society for Music Information Retrieval Conference, ISMIR
2015, pp. 93–99 (2015).
Beauguitte, P., Duggan, B. and Kelleher, J. D.: A Corpus of
Annotated Irish Traditional Dance Music Recordings: Design
and Benchmark Evaluations, Proceedings of the 17th International Society for Music Information Retrieval Conference,
ISMIR 2016, pp. 53–59 (2016).
Holzapfel, A. and Benetos, E.: The Sousta Corpus: BeatInformed Automatic Transcription of Traditional Dance
Tunes, Proceedings of the 17th International Society for Music Information Retrieval Conference, ISMIR 2016, pp. 531–
537 (2016).
Collins, N.: Inﬂuence in Early Electronic Dance Music: An
Audio Content Analysis Investigation, Proceedings of the
13th International Society for Music Information Retrieval
Conference, ISMIR 2012, pp. 1–6 (2012).
Kell, T. and Tzanetakis, G.: Empirical Analysis of Track Selection and Ordering in Electronic Dance Music using Audio Feature Extraction, Proceedings of the 14th International
Society for Music Information Retrieval Conference, ISMIR
2013, pp. 505–510 (2013).
Yadati, K., Larson, M., Liem, C. C. S. and Hanjalic, A.: Detecting Drops in Electronic Dance Music: Content based approaches to a socially signiﬁcant music event, Proceedingsof the 15th International Society for Music Information Retrieval Conference, ISMIR 2014, pp. 143–148 (2014).
Panteli, M., Bogaards, N. and Honingh, A. K.: Modeling
Rhythm Similarity for Electronic Dance Music, Proceedingsof the 15th International Society for Music Information Retrieval Conference, ISMIR 2014, pp. 537–542 (2014).
Knees, P., Faraldo, Á., Herrera, P., Vogl, R., Böck, S.,
Hörschläger, F. and Goff, M. L.: Two Data Sets for Tempo
Estimation and Key Detection in Electronic Dance Music Annotated from User Corrections, Proceedings of the 16th International Society for Music Information Retrieval Conference,
ISMIR 2015, pp. 364–370 (2015).
Zhang, W., Liu, Z., Zhou, L., Leung, H. and Chan, A. B.:
Martial Arts, Dancing and Sports Dataset, Journal of Image
Vision Computing, Vol. 61, No. C, pp. 22–39 (2017).
Schreiber, H. and Müller, M.: A Crowdsourced Experiment
for Tempo Estimation of Electronic Dance Music, Proceedings of the 19th International Society for Music Information
Retrieval Conference, ISMIR 2018, pp. 409–415 (2018).
Dixon, S., Pampalk, E. and Widmer, G.: Classiﬁcationof dance music by periodicity patterns, Proceedings of the
4th International Conference on Music Information Retrieval,ISMIR 2003, pp. 159–165 (2003).
Gouyon, F. and Dixon, S.: Dance music classiﬁcation: A
tempo-based approach, Proceedings of the 5th International
Conference on Music Information Retrieval, ISMIR 2004

c 2020 Information Processing Society of Japan
⃝

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

(2004).
Goto, M. and Muraoka, Y.: A Beat Tracking System for
Acoustic Signals of Music, Proceedings of the ACM International Conference on Multimedia, MM 1994, pp. 365–372(1994).
Oﬂi, F., Erzin, E., Yemez, Y. and Tekalp, A. M.: Multi-modal
analysis of dance performances for music-driven choreography synthesis, Proceedings of the IEEE Conference on
Acoustics, Speech, and Signal Processing, ICASSP 2010, pp.
2466–2469 (2010).
Oﬂi, F., Erzin, E., Yemez, Y. and Tekalp, A. M.:
Learn2Dance: Learning Statistical Music-to-Dance Mappings for Choreography Synthesis, Journal of IEEE Transactions on Multimedia, Vol. 14, No. 3-2, pp. 747–759 (2012).
Fukayama, S. and Goto, M.: Music Content Driven Automated Choreography With Beat-wise Motion Connectivity
Constraints, Proceedings of the 12th Sound and Music Computing Conference, SMC 2015, pp. 177–183 (2015).
Alemi, O., Françoise, J. and Pasquier, P.: GrooveNet: Realtime music-driven dance movement generation using artiﬁcial neural networks, Workshop on Machine Learning for
Creativity, 23rd ACM SIGKDD Conference on Knowledge
Discovery and Data Mining, SIGKDD 2017, Vol. 8, p. 26(2017).
Gkiokas, A. and Katsouros, V.: Convolutional Neural Networks for Real-Time Beat Tracking: A Dancing Robot Application, Proceedings of the 18th International Society forMusic Information Retrieval Conference, ISMIR 2017, pp.
286–293 (2017).
Tang, T., Jia, J. and Mao, H.: Dance with Melody: An LSTMautoencoder Approach to Music-oriented Dance Synthesis,
Proceedings of the 26th ACM International Conference on
Multimedia, MM 2018, pp. 1598–1606 (2018).
Chu, W. T. and Tsai, S. Y.: Rhythm of Motion Extraction andRhythm-Based Cross-Media Alignment for Dance Videos,
Journal of IEEE Transactions on Multimedia, Vol. 14, No. 1,
pp. 129–141 (2012).
Tsuchida, S., Fukayama, S. and Goto, M.: Query-byDancing: A Dance Music Retrieval System Based on BodyMotion Similarity, Proceedings of the 24th International
Conference on MultiMedia Modeling, MMM 2019, pp. 251–
263 (2019).
Guedes, C.: Controlling Musical Tempo from Dance Movement in Real-Time: A Possible Approach, Proceedings of the
29th International Computer Music Conference, ICMC 2003
(2003).
Raptis, M., Kirovski, D. and Hoppe, H.: Real-time Classiﬁcation of Dance Gestures from Skeleton Animation, Proceedings of the 10th ACM SIGGRAPH/Eurographics Symposiumon Computer Animation, SCA 2011, pp. 147–156 (2011).
Kim, D., Kim, D. H. and Kwak, K. C.: Classiﬁcation of
K-Pop dance movements based on skeleton information obtained by a kinect sensor, Sensors, Vol. 17, No. 6, p. 1261
(2017).
Godøy, R. I. and Jensenius, A. R.: Body Movement in Music
Information Retrieval, Proceedings of the 10th International
Society for Music Information Retrieval Conference, ISMIR
2009, pp. 45–50 (2009).
MacRitchie, J., Buck, B. and Bailey, N. J.: Visualising Musical Structure Through Performance Gesture, Proceedingsof the 10th International Society for Music Information Retrieval Conference, ISMIR 2009, pp. 237–242 (2009).
Nymoen, K., Godøy, R. I., Jensenius, A. R. and Tørresen, J.:
Analyzing correspondence between sound objects and body
motion, Journal of ACM Transactions on Applied Perception,8

情報処理学会研究報告
IPSJ SIG Technical Report

[30]

[31]

[32]

[33]

[34]

[35]

[36]

[37]

[38]

[39]

[40]

[41]

[42]

[43]

[44]

Vol. 10, No. 2, pp. 9:1–9:22 (2013).
Seger, R. A., Wanderley, M. M. and Koerich, A. L.: Automatic detection of musicians’ ancillary gestures based onvideo analysis, Journal of Expert Systems with Applications,Vol. 41, No. 4, pp. 2098–2106 (2014).
Li, B., Maezawa, A. and Duan, Z.: Skeleton Plays Piano:
Online Generation of Pianist Body Movements from MIDI
Performance, Proceedings of the 19th International Society
for Music Information Retrieval Conference, ISMIR 2018, pp.
218–224 (2018).
Rizzo, A., Raheb, K. E., Whatley, S., Cisneros, R. M.,
Zanoni, M., Camurri, A., Viro, V., Matos, J.-M., Piana, S. andBuccoli, M.: WhoLoDancE: Whole-body interaction learning for dance education, Proceedings of the Workshop on
Cultural Informatics, co-located with the EUROMED International Conference on Digital Heritage, EUROMED 2018,
pp. 41–50 (2018).
Wang, P. and Rehg, J. M.: A Modular Approach to the Analysis and Evaluation of Particle Filters for Figure Tracking,Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition, CVPR 2006, pp. 790–797 (2006).
Saini, M., Venkatagiri, S. P., Ooi, W. T. and Chan, M. C.:
The Jiku Mobile Video Dataset, Proceedings of the 4th ACM
Multimedia Systems Conference, MMSys 2013, pp. 108–113(2013).
Chu, W. and Tsai, S.: Rhythm of Motion Extraction andRhythm-Based Cross-Media Alignment for Dance Videos,
Journal of IEEE Transactions on Multimedia, Vol. 14, No. 1,
pp. 129–141 (2012).
Castro, D., Hickson, S., Sangkloy, P., Mittal, B., Dai, S.,
Hays, J. and Essa, I. A.: Let’s Dance: Learning From Online Dance Videos, arXiv preprint arXiv:1801.07388 (2018).
Stavrakis, E., Aristidou, A., Savva, M., Himona, S. L. andChrysanthou, Y.: Digitization of Cypriot Folk Dances, Proceedings of the 4th International Conference on Progress in
Cultural Heritage Preservation, EuroMed 2012, pp. 404–413(2012).
Tang, T., Jia, J. and Hanyang, M.: Dance with Melody: An
LSTM-autoencoder Approach to Music-oriented Dance Synthesis, Proceedings of the 26th ACM International Conference on Multimedia, MM 2018, pp. 1598–1606 (2018).
Essid, S., Lin, X., Gowing, M., Kordelas, G., Aksay, A.,
Kelly, P., Fillon, T., Zhang, Q., Dielmann, A., Kitanovski,
V., Tournemenne, R., Masurelle, A., O’Connor, E. I. N. E.,
Daras, P. and Richard, G.: A multi-modal dance corpus forresearch into interaction between humans in virtual environments, Journal on Multimodal User Interfaces, Vol. 7, No. 1–
2, pp. 157–170 (2013).
Abu-El-Haija, S., Kothari, N., Lee, J., Natsev, P., Toderici,
G., Varadarajan, B. and Vijayanarasimhan, S.: YouTube-8M:
A large-scale video classiﬁcation benchmark, arXiv preprint
arXiv:1609.08675 (2016).
Schindler, A. and Rauber, A.: An audio-visual approach tomusic genre classiﬁcation through affective color features,
Proceedings of the European Conference on Information Retrieval, ECIR 2015, pp. 61–67 (2015).
Cao, Z., Simon, T., Wei, S. E. and Sheikh, Y.: Realtime multiperson 2D pose estimation using Part Afﬁnity Fields, Proceedings of the IEEE Conference on Computer Vision and
Pattern Recognition, CVPR 2017, pp. 7291–7299 (2017).
Hochreiter, S. and Schmidhuber, J.: Long Short-Term Memory, Journal of Neural Computation, Vol. 9, No. 8, pp. 1735–
1780 (1997).
Paszke, A., Gross, S., Chintala, S., Chanan, G., Yang, E., DeVito, Z., Lin, Z., Desmaison, A., Antiga, L. and Lerer, A.:

c 2020 Information Processing Society of Japan
⃝

[45]

[46]

[47]

[48]

[49]

[50]

[51]

[52]

[53]

[54]

[55]

[56]

[57]

Automatic differentiation in pytorch, Proceedings of the 31st
Conference on Neural Information Processing Systems, NIPS
2017 (2017).
Boer, V., Jansen, J., Pauw, A. T. and Nack, F.: Interactive
Dance Choreography Assistance, Proceedings of the 14th International Conference on Advances in Computer Entertainment Technology, ACE 2017, pp. 637–652 (2017).
Camurri, A., El, R. K., Even-Zohar, O., Ioannidis, Y.,
Markatzi, A., Matos, J., Morley-Fletcher, E., Palacio, P.,
Romero, M., Sarti, A., Pietro, S. D., Viro, V. and Whatley, S.:
WhoLoDancE: Towards a Methodology for Selecting Motion
Capture Data Across Different Dance Learning Practice, Proceedings of the 3rd International Symposium on Movement
and Computing, MOCO 2016, pp. 43:1–43:2 (2016).
Großhauser, T., Bläsing, B., Spieth, C. and Hermann, T.:
Wearable sensor-based real-time soniﬁcation of motion andfoot pressure in dance teaching and training, Journal of the
Audio Engineering Society, Vol. 60, No. 7/8, pp. 580–589(2012).
Faridee, A. Z. M., Ramamurthy, S. R., Hossain, H. M. S. andRoy, N.: HappyFeet: Recognizing and Assessing Dance on
the Floor, Proceedings of the 19th International Workshop on
Mobile Computing Systems & Applications, HotMobile 2018,
pp. 49–54 (2018).
Soga, A., Yazaki, Y., Umino, B. and Hirayama, M.: Bodypart Motion Synthesis System for Contemporary Dance Creation, Proceedings of the ACM SIGGRAPH 2016 Posters,
SIGGRAPH 2016, pp. 29:1–29:2 (2016).
Mousas, C.: Performance-Driven Dance Motion Control of a
Virtual Partner Character, Proceedings of the IEEE Conference on Virtual Reality and 3D User Interfaces, VR 2018, pp.
57–64 (2018).
Tang, J. K. T., Chan, J. C. P. and Leung, H.: Interactive
Dancing Game with Real-time Recognition of Continuous
Dance Moves from 3D Human Motion Capture, Proceedingsof the 5th International Conference on Ubiquitous Information Management and Communication, ICUIMC 2011, pp.
50:1–50:9 (2011).
Chan, J. C. P., Leung, H., Tang, J. K. T. and Komura, T.: A
Virtual Reality Dance Training System Using Motion Capture Technology, Journal of IEEE Transactions on Learning
Technologies, Vol. 4, No. 2, pp. 187–195 (2011).
Charbonneau, E., Miller, A. and LaViola, J. J.: Teach Me
to Dance: Exploring Player Experience and Performance inFull Body Dance Games, Proceedings of the 8th International Conference on Advances in Computer Entertainment
Technology, ACE 2011, pp. 43:1–43:8 (2011).
Alexiadis, D. S., Kelly, P., Daras, P., O’Connor, N. E.,
Boubekeur, T. and Moussa, M. B.: Evaluating a Dancer’s Performance Using Kinect-based Skeleton Tracking, Proceedings of the 19th ACM International Conference on Multimedia, MM 2011, pp. 659–662 (2011).
Felice, M. C., Alaoui, S. F. and Mackay, W. E.: Knotation:
Exploring and Documenting Choreographic Processes, Proceedings of the 2018 CHI Conference on Human Factors in
Computing Systems, CHI 2018, pp. 448:1–448:12 (2018).
Yamaguchi, T. and Kadone, H.: Bodily Expression Support
for Creative Dance Education by Grasping-Type Musical Interface with Embedded Motion and Grasp Sensors, Sensors,
Vol. 17, No. 5, p. 1171 (2017).
Raheb, K. E., Tsampounaris, G., Katifori, A. and Ioannidis,
Y.: Choreomorphy: A Whole-body Interaction Experiencefor Dance Improvisation and Visual Experimentation, Proceedings of the 2018 International Conference on Advanced
Visual Interfaces, AVI 2018, pp. 27:1–27:9 (2018).

9

情報処理学会研究報告
IPSJ SIG Technical Report

[58]

[59]

[60]

[61]

[62]

[63]

[64]

[65]

[66]

[67]

[68]

[69]

[70]

[71]

[72]

Brown, C.: Machine Tango: An Interactive Tango Dance Performance, Proceedings of the Thirteenth International Conference on Tangible, Embedded, and Embodied Interaction,
TEI 2019, pp. 565–569 (2019).
Camurri, A.: Interactive Dance/Music Systems, Proceedingsof the 21th International Computer Music Conference, ICMC
1995, pp. 245–252 (1995).
Caputo, F., Gowen, V. M., Geigel, J., Cerqueira, S., Williams,
Q., Schweppe, M., Fa, Z., Pembrook, A. and Roffe, H.:
Farewell to Dawn: A Mixed Reality Dance Performance ina Virtual Space, Proceedings of the ACM SIGGRAPH 2016
Posters, SIGGRAPH 2016, pp. 49:1–49:2 (2016).
Barkhuus, L., Engström, A. and Zoric, G.: Watching the
Footwork: Second Screen Interaction at a Dance and Music Performance, Proceedings of the SIGCHI Conference on
Human Factors in Computing Systems, CHI 2014, pp. 1305–
1314 (2014).
Tsuchida, S., Terada, T. and Tsukamoto, M.: A Dance Performance Environment in Which Performers Dance with Multiple Robotic Balls, Proceedings of the 7th Augmented Human
International Conference, AH 2016, pp. 12:1–12:8 (2016).
Hieda, N.: Mobile Brain-Computer Interface for Dance andSomatic Practice, Proceedings of the 30th Annual ACM Symposium on User Interface Software and Technology, UIST
2017, pp. 25–26 (2017).
Tsuchida, S., Takemori, T., Terada, T. and Tsukamoto, M.:
Mimebot: spherical robot visually imitating a rolling sphere,
International Journal of Pervasive Computing and Communications, Vol. 13, No. 1, pp. 92–111 (2017).
Fujimoto, M., Fujita, N., Takegawa, Y., Terada, T. andTsukamoto, M.: A Motion Recognition Method for a Wearable Dancing Musical Instrument, Proceedings of the International Symposium on Wearable Computers, ISWC 2009,
pp. 11–18 (2009).
Paradiso, J. A., Hsiao, K. Y. and Hu, E.: Interactive Music for
Instrumented Dancing Shoes, Proceedings of the 25th International Computer Music Conference, ICMC 1999, pp. 453–
456 (1999).
Fujimoto, M., Fujita, N., Terada, T. and Tsukamoto, M.:
Lighting Choreographer: An LED Control System for Dance
Performances, Proceedings of the 13th ACM International
Conference on Ubiquitous Computing, UbiComp 2011, pp.
613–614 (2011).
Kim, H. and Landay, J. A.: Aeroquake: Drone Augmented
Dance, Proceedings of the ACM Designing Interactive Systems Conference, DIS 2018, pp. 691–701 (2018).
Golz, D. P. and Shaw, A.: Augmenting Live Performance
Dance Through Mobile Technology, Proceedings of the 28th
International BCS Human Computer Interaction Conferenceon HCI 2014 - Sand, Sea and Sky - Holiday HCI, BCS-HCI
2014, pp. 311–316 (2014).
Nakamura, A., Tabata, S., Ueda, T., Kiyofuji, S. and Kuno,
Y.: Multimodal Presentation Method for a Dance Training
System, Proceedings of the SIGCHI Conference Extended
Abstracts on Human Factors in Computing Systems, CHI EA
2005, pp. 1685–1688 (2005).
Tsuchida, S., Terada, T. and Tsukamoto, M.: A System for
Practicing Formations in Dance Performance Supported by
Self-propelled Screen, Proceedings of the 4th Augmented
Human International Conference, AH 2013, pp. 178–185(2013).
Soga, A. and Yoshida, I.: Interactive Control of Dance
Groups Using Kinect, Proceedings of the 10th International
Conference on Computer Graphics Theory and Applications,
GRAPP 2015, pp. 362–365 (2015).

c 2020 Information Processing Society of Japan
⃝

[73]

[74]

[75]

[76]

[77]

[78]

[79]

[80]

[81]

[82]

[83]

[84]

[85]

[86]

Özcimder, K., Dey, B., Lazier, R. J., Trueman, D. andLeonard, N. E.: Investigating group behavior in dance: an
evolutionary dynamics approach, Proceedings of the American Control Conference, ACC 2016, pp. 6465–6470 (2016).
Griggio, C. F. and Romero, M.: Canvas Dance: An Interactive Dance Visualization for Large-Group Interaction, Proceedings of the 33rd Annual ACM Conference Extended Abstracts on Human Factors in Computing Systems, CHI EA
2015, pp. 379–382 (2015).
Raheb, K. E. and Ioannidis, Y.: Modeling abstractions fordance digital libraries, Proceedings of the 14th ACM/IEEECS Joint Conference on Digital Libraries, JCDL 2014, pp.
431–432 (2014).
Sakashita, M., Suzuki, K., Kawahara, K., Takazawa, K. andOchiai, Y.: Materialization of Motions: Tangible Representation of Dance Movements for Learning and Archiving, Proceedings of the ACM SIGGRAPH 2017 Studio, SIGGRAPH
2017, pp. 7:1–7:2 (2017).
Kim, E. S.: ChoreoSave: A digital dance preservation systemprototype, Proceedings of the American Society for Information Science and Technology, pp. 48:1–48:10 (2011).
Zhang, X., Dekel, T., Xue, T., Owens, A., He, Q., Wu, J.,
Mueller, S. and Freeman, W. T.: MoSculp: Interactive Visualization of Shape and Time, Proceedings of the 30th Annual
ACM Symposium on User Interface Software and Technology,
UIST 2018, pp. 275–285 (2018).
Dremeau, A. and Essid, S.: Probabilistic dance performancealignment by fusion of multimodal features, Proceedings ofthe IEEE International Conference on Acoustics, Speech andSignal Processing, ICASSP 2013, pp. 3642–3646 (2013).
Gowing, M., Kell, P., O’Connor, N. E., Concolato, C., Essid,
S., Lefeuvre, J., Tournemenne, R., Izquierdo, E., Kitanovski,
V., Lin, X. and Zhang, Q.: Enhanced Visualisation of Dance
Performance from Automatically Synchronised Multimodal
Recordings, Proceedings of the 19th ACM International Conference on Multimedia, MM 2011, pp. 667–670 (2011).
Tsuchida, S., Fukayama, S. and Goto, M.: Automatic System for Editing Dance Videos Recorded Using Multiple Cameras, Proceedings of the 14th International Conference on
Advances in Computer Entertainment Technology, ACE 2017,
pp. 671–688 (2017).
Jehan, T., Lew, M. and Vaucelle, C.: Cati Dance: Selfedited, Self-synchronized Music Video, Proceedings of the
ACM SIGGRAPH 2003 Sketches &Amp; Applications, SIGGRAPH 2003, pp. 1–1 (2003).
Bakala, E., Zhang, Y. and Pasquier, P.: MAVi: A Movement
Aesthetic Visualization Tool for Dance Video Making andPrototyping, Proceedings of the 5th International Conference
on Movement and Computing, MOCO 2018, pp. 11:1–11:5(2018).
Aristidou, A., Zeng, Q., Stavrakis, E., Yin, K., Cohen-Or,
D., Chrysanthou, Y. and Chen, B.: Emotion Control of Unstructured Dance Movements, Proceedings of the ACM SIGGRAPH / Eurographics Symposium on Computer Animation,
SCA 2017, pp. 9:1–9:10 (2017).
Goto, M., Hashiguchi, H., Nishimura, T. and Oka, R.:
RWC Music Database: Popular, Classical, and Jazz Music
Databases, Proceedings of the 3rd International Conference
on Music Information Retrieval, ISMIR 2002, pp. 287–288(2002).
Goto, M., Hashiguchi, H., Nishimura, T. and Oka, R.: RWC
Music Database: Music Genre Database and Musical Instrument Sound Database, Proceedings of the 4th International
Conference on Music Information Retrieval, ISMIR 2003, pp.
229–230 (2003).

10