第 27 回 NICOGRAPH 論文コンテスト (NICOGRAPH2011) 論文集, I-2, pp.1-8, September 2011.

DanceReProducer: Web 上の音楽動画を再利用して新たな音楽動画を自動生成する N 次創作支援システム
中野 倫靖 †1

室伏 空 ‡3†

1

産業技術総合研究所

t.nakano[at]aist.go.jp

アブストラクト後藤 真孝 †2

2‡

森島 繁生 ‡3

早稲田大学
3

m.goto[at]aist.go.jp

shigeo[at]waseda.jp

本研究では、既存の音楽動画の映像部分を、新たな別の音楽に合うように切り貼りして映像を自動生成し、かつインタラクティブに編集できるシステム DanceReProducer を実現した。これによって音楽鑑賞の楽しみ方を拡張し、誰でも自分の好きな音楽に映像を付与して、視覚的にも楽しむことを可能にした。音楽動画は、楽曲（音響信号）と映像（画像の時系列）で構成され、楽曲の内容（リズムやテンポ、印象など）に、映像が時間的に同期していることが多い。従来、楽曲に映像を自動付与する研究事例はあったが、既存の音楽動画を再利用した動画生成はできなかった。そこで我々は、Web 上で公開されている二次創作のダンス動画を多数収集し、音楽と映像の多様な対応関係を機械学習によってモデル化した。次に、ユーザが与える入力音楽を分析してテンポや楽曲構造等を自動推定し、そのテンポに同期し内容が合うように、収集した動画の映像を切り出して伸縮・連結することでダンス動画を自動生成した。さらに、その生成結果にユーザが「ダメ出し」するだ
けで、誰でも手軽に自分の好みを反映した編集ができる新たなインタラクション技術を実現した。

1

オリジナルコンテンツ（一次創作）

はじめに

音楽動画

画像

音楽

ダンス動画

近年、既存の音楽・画像・動画等のメディアコンテン
ツを再利用して、新たなコンテンツを作成して楽しむ
コンテンツ鑑賞の新しい文化が形成されつつある。例

MAD動画とN次創作
コンテンツ制作者

えば、ヒップホップ DJ (Disc Jockey) や VJ (Video

Jockey) は、新たなライブ演奏行為として過去 20 年間
で既に定着し、近年では、「MAD 動画」や「マッシュアップ動画」と呼ばれる新たなコンテンツが多く制作
され、動画共有サイト等で人気を集めている。マッシュ

二次創作

アップ動画や MAD 動画では、既存の映像コンテンツを再利用
新コンテンツ新コンテンツ

再利用

+

再利用

+

再利用

+

新コンテンツ+音楽や動画などの既存のメディアコンテンツを一次

再利用

+

...

再利用

縮しながら連結することで新たな音楽動画を作成する。

+

再利用

三次創作

断片的に切り貼りし、別の音楽のテンポに合わせて伸

再利用

+

+

再利用

再利用

N次創作

創作とすると、それらを素材として新たに作成された

図 1: MAD 動画制作における N 次創作の例

MAD 動画は、二次創作に位置付けられる。近年、動画共有サイトの普及によって興味深いのは、この二次創作すら素材としてさらに三次創作、四次創作がなさ分野に位置付けられており、前者ではクリエータ育成れるような大規模な協調的創造活動 [1] が起きている代」に向け、様々な人が手軽に N 次創作コンテンツをことであり、これは「N 次創作」と命名されて [2]、学制作できれば、鑑賞の楽しみが拡張された上で、さら術的観点からも分析・考察がなされてきた。図 1 に、に創作の楽しみも味わうことができる。しかし、MAD

MAD 動画制作における N 次創作の例を示す。

動画の制作を支援するためには、音楽と映像のリズム・問題も指摘されている。そこで、「一億総クリエータ時

このような MAD 動画、N 次創作コンテンツの制作

印象・文脈的な意味等を考慮した上で、それらを適切には、高度な専門知識と手間のかかる作業が必要とさに対応付ける必要があるが、技術的に困難なために従れ、スキルのない人々にとっては、好みの楽曲に映像を来実現されていなかった。

自在に付けて楽しむことはできなかった。
「コンテンツそこで本研究では、図 2 のように、Web 上に多数公立国」という言葉に代表されるように、第 3 期科学技術

開されている既存の音楽動画中の映像を組み合わせて基本計画 分野別推進戦略や経済産業省「技術戦略マッ再利用して、誰でも手軽に新たな音楽動画を制作でき

プ 2010」等においても、コンテンツは日本の戦略産業るシステム DanceReProducer を実現した [3–5]。本シ

1

第 27 回 NICOGRAPH 論文コンテスト (NICOGRAPH2011) 論文集, I-2, pp.1-8, September 2011.

音楽動画を再利用した新たな音楽動画の自動生成システム

Web

音楽の文脈に沿って動画を構成するためには、音楽の選択・切り取り様々な音楽動画
動画1

構造や文脈を耳で聴いて判断するしかなく、それが動画制作の作業効率を下げていた。

動画2
...

...

いくつか存在する。例えば近年の音楽再生ソフトウェ...

従来、音楽に合わせた映像付与に関する先行事例が
...

動画3
動画N
テンポに合わせた伸縮・連結
出力

アの多くには、音楽の周波数成分や強弱に反応した視サビ区間

覚効果を描画する機能がある。また様々な色や形（視画像の時系列覚効果）を描画する研究 [6] や、楽曲のムードの可視入力

音楽音響信号自動推定された音楽的構造

化 [7]、CG ダンサーなどのキャラクタモデルを音楽に

A A B B B A A B B B C C C

同期させて動かす研究 [8, 9] などがあった。また、ホー

図 2: 音楽動画コンテンツを再利用して新たな音楽動画を自ムビデオを自動生成する目的で、撮影した画像を音楽

動生成するシステムに合わせて切り貼りする研究 [10, 11] や撮影した映像

ステムは、実写表現も含め、内容を問わず任意の音楽を切り貼りする研究 [12,13] があった。しかし、これら動画を再利用可能だが、我々の実証実験では、音楽動の方法では、既存の音楽動画を再利用して音楽に合わ

画として人気の高いコンピュータグラフィックス表現

せた動画を生成することを支援できなかった。

を中心としたダンス動画を対象とした。そして、Web

本論文で述べる DanceReProducer では、ユーザは好上のダンス動画（一次創作だけでなく二次、三次創作

みのダンス動画をデータベースとして与え、それらを再等も含む）を多数収集して、それらの N 次創作動画の利用してダンス動画を制作できる。ここで、データベー制作を支援した。

スには一次創作動画だけでなく、N 次創作（MAD）動本システムの技術的特長は、「音楽にどのような映像

画も含めて、音楽に合った動画を自動生成する。さらを付与するのが適切か」を、人手でアドホックに設計に、自動生成された結果が好みに合わない場合には、イするのではなく、大量の音楽動画から音楽と映像の対ンタフェースを通じて「ダメ出し」を行うことで容易

応付けを機械学習できる点にある。そのために、音楽に編集できる、ダメ出しインタラクションを導入する。

と映像の特徴量の対応関係の多様さを扱える新手法を提案した。さらに、音楽と映像を同期させる上で本質

DanceReProducer の設計

3

的な楽曲の拍や小節、テンポ、楽曲構造も、人手で付与するのではなく、音響信号処理に基づく自動音楽理

本章では、システムの設計方針と、それに基づいた解技術によって、任意の楽曲を与えるだけで全自動でインタフェースの機能について述べる。なお本論文で推定可能とした。これにより、音楽の拍のタイミング

は以降、説明の便宜上、音楽付きのダンス動画コンテ

でダンスが変化し、映像が切り替わるだけでなく、サンツは単に動画と呼び、楽曲付きかそうでないかを区

ビの盛り上がりを反映した映像表現等も自動生成可能

別するために、動画の映像部分を映像と呼ぶ。

になった。ただし、「一億総クリエータ時代」に向けて

3.1

ユーザのスキルアップを促すには、全自動とは違う「自分らしさ」を反映したコンテンツ創作をいかに可能に音楽に合った映像についての考察

システムの設計にあたり、音楽に映像が合っている

するか、も大切である。そこで、自動生成結果の気に入と感じられる要素を、以下に示す「局所的な対応関係」

らない箇所にユーザが「ダメ出し」すると他候補が表と「文脈的な対応関係」の二つの観点から考察する。動示され、選択操作だけで自分の好みを反映した編集が画の自動生成に関する従来研究 [12, 13] や、Web 上等できる新たなインタラクション技術も開発した。これで公開されている二次創作の制作過程を参考にした。

により、ユーザはプロデューサ感覚でコンテンツ創作

局所的な対応関係 音楽と映像の印象があっていると感を楽しみつつ、音楽と映像の組み合わせの変化が、どじる要素のような印象の変化を生むのかを知ることもできる。

リズム ダンス動作、カメラワークや画面の切り2替えによる映像のリズムが、音楽のリズ

先行研究と本研究の位置づけ

ムやアクセントと同期している。

MAD 動画を制作するためには、音楽のリズムや印

印

象 ダンス動作、映像全体の色彩や明るさ、象に合った既存動画を探し出して、それを切り貼りしライティング等の映像効果の印象が音楽て音楽のリズム・テンポに合うように伸縮するといっの印象と合っている。

た、高度で手間隙のかかる作業が必要となる。さらに、文脈的な対応関係 音楽と映像の文脈的な流れが合って2

第 27 回 NICOGRAPH 論文コンテスト (NICOGRAPH2011) 論文集, I-2, pp.1-8, September 2011.

リズムの同期 入力音楽の小節に合わせて動画素片の映いると感じる要素
音楽的構造 音楽的構造（A/B メロ、サビ等）に合わ

像を時間方向に伸縮させることで、入力音楽

せて映像の印象が変化する。音楽の盛りとダンス映像のリズムの同期を実現する。

上がりに合わせて映像が盛り上がる。

印象の近い映像選択 動画素片の音楽と映像それぞれの

時間的連続性 音楽的まとまりの境界では映像シーンが印象に関する特徴量を自動抽出し、音楽と映切り替わり、それ以外の箇所では映像の像の対応関係をモデル化することで、入力音印象が連続している。

楽の印象にあった映像を自動選択する。

以上は常に満たされるわけではなく、分類が相互に音楽的構造 音楽的構造 (自動推定したサビ区間や繰り独立してはいないが、これらを考慮することで音楽に返し区間) の境界で、映像の印象を変えて、音合った映像が作成できると考えられる。

楽的な文脈の流れに合わせた映像を作成する。
時間的連続性 素片選択時に時間的な前後関係を考慮

3.2

映像の作成方法

し、不連続な接続にペナルティを与えて、音楽的構造毎に映像の印象が連続するようにする。

3.1 節で述べた対応関係を満たすためには、音楽のリ
ズムや印象に合った映像を既存の動画群から探し出し、

以上のようにして、音楽と映像が局所的・文脈的に音楽的な文脈に沿って映像を構成する必要がある。し対応付けられた動画を生成する。

かし、既存の動画群から音楽に合った映像を探し出す
ことは、仮に動画数が数十程度であっても、その一部3.2.2の断片が切り貼り映像候補となるために膨大な候補数

インタフェースによる視聴及び映像編集が存在し、人手で絞り込むのは容易でなかった。また、

図 3 に、本システムのインタフェース画面を示す。

音楽の印象に合わせて映像を切り出して、伸縮してリ

ユーザはシステムが自動生成した動画の視聴だけでな

ズムを合わせる必要があった。さらに、候補映像を繋く、映像が気に入らなかった場合には、「ダメ出し」機

ぎ合わせて映像を構成するためには、音楽を何度も聴能によって容易に映像を訂正・編集できる。

きながら、その構造や文脈を把握する必要があった。

視聴のための基本機能として、現在時刻の映像の描画（図 3, ⃝1 ）、音楽の読み込みや作成動画の保存（図そこで本システムでは、そのような作業を効率化するために、まず入力音楽にあった映像を自動生成する。

3, ⃝2）、動画の再生・停止機能（図 3, ⃝3）
、再生時刻を表すスライダバーと音楽的構造の推定結果（図 3, ⃝4）がある。ここで構造の各区間はサビが緑、それ以外のしかし、自動選出された候補は必ずしもユーザにとって好みの映像とは限らず、制作者のオリジナリティを反映させることも出来ない。そこで気に入らなかった

区間が青で着色して表示される。また楽曲全体を通じ場合には、ユーザが膨大な候補から選ぶことなく、単て、時間的に等間隔な 15 箇所のサムネイル画像が描画される（図 3, ⃝5）。

にシステムに「ダメ出し」をするだけで、容易に他の映像候補を選択できるようなインタフェースを提供する。

また、好みに合わない映像に「ダメ出し」するため

3.2.1

映像の自動生成に、インタフェースに以下の機能を与えた。

映像を自動生成するために、まずデータベース中のダメ出し機能 NG ボタン（図 3, ⃝6 ）をクリックするこ

動画を音楽の小節単位で切り出して、局所的な対応関とで、映像の描画領域を四分割して候補映像を確認できる（図 4, ⃝8）
。これら候補映像を係へ対処する。これ以後、小節単位で分割された動画を素片と呼ぶ。音楽とそれに合わせたダンスは、曲の同時再生して見比べ、よりイメージに合ったフレーズやダンス動作が楽曲のリズムに同期している映像を選択する。この「ダメ出し」を、音楽ため、映像の切り貼りの最小単位として小節を用いた。

的構造の構造区間毎に行うことで、音楽的な

次に、入力音楽の各小節において、印象の合った動構造や文脈を考慮した映像を手軽に作成でき画素片の映像を選択する。それを入力音楽のテンポにる。好みの映像と出会う可能性を広げるため、合わせて伸縮させながら、繋ぎ合わせることで映像を印象の異なる候補が提示されるようにした。

自動生成する。この際、文脈的な対応関係を考慮する構造の頭出し機能 見通しよく編集するため、頭出しボ
タン（図 3、⃝7 ）により音楽的構造の先頭へために、音楽的構造に基づいて、同一構造内では映像の印象が連続し（時間的連続性を保ち）、構造の切り替と移動ができる。また、構造区間（図 3、⃝
4）

わり箇所では印象を変えるように別の映像を選択する。

を直接クリックしても移動できる。

以上の処理を 3.1 節に対応させて次に示す．

3

第 27 回 NICOGRAPH 論文コンテスト (NICOGRAPH2011) 論文集, I-2, pp.1-8, September 2011.

1
2
8
7
6
3
5
4
図 4: 「ダメ出し」インタラクションによって表示された四図 3: DanceReProducer のインタフェース画面

つの映像候補DanceReProducer の実現方法

4

テンポと小節線の位置を用いて、フレーム特本システムは、音楽と映像の対応関係をモデル化し、自動推定した音楽的構造を考慮した映像の自動選出に徴量を小節単位にまとめて小節特徴量を得る(⃝
B –⃝C )。フレーム特徴量の抽出の際、分析窓よって実現する。一般に音楽と映像との自動対応付けのシフト幅は映像のフレームレートに合わせは困難な課題だが、本研究では既存の二次創作動画群て 1470 点（＝ 44100 Hz ／ 30 fps）とした。

から学習することで実現する。二次創作動画には、同

以下、処理の詳細を述べる。

一の動画素材を再利用した様々な楽曲の動画や、逆に

4.1.1

同一の楽曲に全く別の映像が対応付けられた動画が存

節線の推定在する。すなわち、人手で音楽と映像が対応付けられた大量の事例を入手して利用でき、音楽と映像に関する

楽曲のテンポ及び小節線を推定するビートトラッキ

対応付けの多様性をモデル化できる可能性がある。こングには様々な先行研究 [8] がある。将来的にはそうしのように音楽と映像との対応関係の多様な解釈をモデた成果を利用することも検討しているが、現段階では、ル化することは、学術的にも意義が深い。

予備実験において比較的良い結果が得られた、音響信システムは、既存の動画群から音楽と映像の特徴量号のパワーに基づく簡易的な方法で計算を行った。

を自動抽出して保存するデータベース構築フェーズと、

まず、入力音響信号のパワーの自己相関関数のピー

局所的・文脈的な対応関係を考慮しながら映像選択を

ク時刻を求める。これはパワーの周期性を表すため、こ行う動画生成フェーズの二段階で構成される（図 5）。

れを一拍の時間長としてテンポ推定する。ただし、倍本章では、上記の観点を踏まえて、図 5 を参照しながテンポ誤りや半テンポ誤りを回避するため、テンポにらシステムの実装について述べる。

4.1

ビートトラッキングによる楽曲のテンポ及び小60〜120bpm（一拍が 0.5〜1.0 秒）の制限を設けて推定した。続いて、推定されたテンポから一拍毎の時刻にピークを持つパルス列を生成し、それと入力音響信

データベース構築フェーズ

データベース構築フェーズでは、Web 上から収集し号のパワーの相互相関関数を計算してピーク時刻を求た動画コンテンツ群と、そこから抽出した音楽・映像

める。これは楽曲中の一拍目の時刻を表すため、本論

特徴量について以下のような処理を行う。

文では非常に単純な手法として、一拍目を小節線の開Step 1) Web から動画を収集し、映像のフレームレー
ト (fps) を 30fps、音楽のサンプリング周波数を 44.1kHz にリサンプリングする (図 5, ⃝A )。

始位置とみなし、また 4/4 拍子を仮定して、機械的に小節線の位置を決定した。

4.1.2

Step 2) ビートトラッキングによって、音楽動画のテ
ンポと小節線の位置を自動推定する (⃝B )。

音楽のフレーム特徴量抽出

音楽特徴量は、音楽と映像の対応付けに関する先行研

Step 3) 音楽と映像の対応関係をモデル化するために、

究 [14,15] と、楽曲ジャンル分類に関する先行研究 [16]1 フレーム（約 33 ms）毎に音楽と映像特徴量を抽出し（図 5，⃝A）、これをフレーム特徴量と呼んで用いる。次に、推定された楽曲のを参考に、アクセントおよび印象に関する特徴量を決定して抽出した。
アクセントに関する特徴量としては、主に楽曲のパ

4

第 27 回 NICOGRAPH 論文コンテスト (NICOGRAPH2011) 論文集, I-2, pp.1-8, September 2011.

データベース構築フェーズ

A 動画収集Web
動画コンテンツ群

B フレーム特徴量の抽出

リサンプリング(30 fps, 44.1kHz)

画像の時系列

...
1 小節

D

楽曲

再生数

DCT

1 小節

(低次4次元)ビートトラッキング

特徴ベクトル

再生数...

動画生成フェーズ

ユーザ...

... 推定

テンポ

...

対応付け

映像

（ユークリッド距離）

...
...
...

PCA

再生数

...

帰
線形回

学習
付き
重み

出力

Viterbi 探索

クラスタリング

> 20%

DCT

I 素片選択H 対応関係のモデル化
特徴空間
音楽

0%

F
小節特徴量の抽出

G データベース
再構築

...

<2

入力楽曲

...

リサンプリング(16 points)

44.1kHz

再生数

構築

...

1 フレーム30 fps

ダンス動画

E データベース

C 小節特徴量の抽出

A A A

A

B B 音楽的構造

素片の伸縮と連結

図 5: DanceReProducer の処理の流れ

ワーとその時間変化を表現するために、フィルタバンク

ルを、各次元の平均と分散をとって楽曲の特徴量とし毎のパワー（4 次元: フィルタバンク数が 4）と Spectralて用いることが多かった [16] が、そのような方法ではFlux（1 次元）を用いた。

音楽と映像の時間方向の特徴が失われてしまう。

印象に関する特徴量としては、楽曲の音色に関連した

本論文では、時間的な変化を反映するために DCT を用いて小節特徴量にまとめる（図 5，⃝
D）。ある小節の

Zero-crossing rate（1 次元）と MFCC（Mel-Frequency
Cepstral Coeﬃcients）の直流成分と低次 12 項を用いた（13 次元）。
4.1.3

フレーム特徴量を、時間方向に 16 点にリサンプリング
して各次元毎に DCT し、DCT 係数の低次 0 〜 3 項の計 4 次元を特徴量とした。すなわち、小節特徴量の映像のフレーム特徴量抽出

次元数はフレーム特徴量の次元数の 4 倍となる。

映像特徴量には、音楽と映像の対応付けに関する先4.2

行研究 [14, 15] を参考に、アクセントおよび印象に関する特徴量を決定して抽出した。特徴抽出は、画面サ

動画生成フェーズ

動画生成フェーズでは以下の処理を行い、映像の選

イズを 128×96 にリサンプリングして行った。

択候補を算出していく。

アクセントに関する特徴量としては、画面の動きや

Step 1) データベース作成フェーズと同様に入力音楽
からテンポ、小節線の推定、小節特徴量の抽出を行う (図 5, ⃝F )。

ダンス動作とそれらの時間変化や画面の切り替わりを表現するために、オプティカルフローと輝度値の時間微分の平均値を用いた（各 1 次元）。オプティカルフロー

Step 2) 入力音楽のテンポに応じてデータベースから使用する動画を選別する (⃝G )。これは、映像

はブロックマッチング法を用い、ブロック数 64×48、
シフト幅 1、最大シフト幅を 4 として計算した。
印象に関する特徴量としては、映像の雰囲気を表現

生成の際に不自然に速い（遅い）動作のダンするために、全画素における色相・彩度・明度のそれス映像が生成されることを防ぐために、テン

ぞれの値の平均と標準偏差を用いた（全 6 次元）。まポが入力音楽と ±20% 以上異なる動画素片をた映像全体の印象を表現するため、二次元の離散コサ選択候補から除外した。

イン変換（DCT: Discrete Cosine Transform）の係数

Step 3) 選別後の素片群に対し、それぞれの特徴量を
主成分分析 (PCA) で次元削減して利用する（累積寄与率 95%）。予備実験では、4.1.4 項

12 次元（＝横の低次 4 項×縦の低次 3 項）を用いた。
4.1.4

小節特徴量の抽出で述べた小節特徴量が、音楽特徴で 76 次元、

上述した音楽と映像のフレーム特徴量を小節特徴量

映像特徴で 68 次元であったものが、それぞとしてまとめ、これを音楽と映像を対応付けるためのれ 62 次元、68 次元へと削減された。ただし、特徴量として利用する。従来、楽曲のジャンル識別に

入力音楽のテンポに応じて素片を選別するた関する研究等では、フレーム毎に抽出した特徴ベクト

め、次元削減数は若干変動する．

5

第 27 回 NICOGRAPH 論文コンテスト (NICOGRAPH2011) 論文集, I-2, pp.1-8, September 2011.

Step 4) 次元削減後の素片群から、音楽と映像の小節

終端を音楽的構造が切り替わる時刻として用いた。ま

特徴量から線形回帰によって対応モデルを求
める (⃝
H )。

た、推定された繰り返し区間のうち、長さが四小節に

Step 5) 得られた対応モデルを用いて、入力音楽の全
小節特徴量から映像の小節特徴量を推定する。
最後に、局所的な対応関係として、推定され小節数が N の入力音楽について、小節番号を n(n =1, 2, ..., N )、データベース中の楽曲集合 M 中の k 番目の小節を km (k = 1, 2, ..., Km , m ∈ M ) で表した。小節た映像特徴量とデータベース中の全映像特徴

毎のコストをユークリッド距離 d(n, km ) として、選択さ満たないものは利用しなかった。

量との距離を算出する。また文脈的な対応関れるローカルコスト cl (n, km ) と累積コスト ca (n, km )係として、音楽的構造毎で連続する映像となを次式で定義した。

d(n, km )
cl (n, km ) =p × d(n, k )cm

るように時間方向にペナルティを設け、これらの最適解として Viterbi アルゴリズムによる最小パスを求めて候補を決定する（⃝I ）。
以下、処理の詳細を述べる。

ca (n, km )4.2.1

複数の線形回帰モデルを用いた音楽–映像間の対応モデルの取得= min

本論文では、説明変数に音楽の小節特徴量、目的変τ,µ数に映像の小節特徴量を与え、線形回帰によって対応付けを行うことを考える。しかし、前述したように二if ch(n) = 1∧ch(km ) = 1 ,otherwise
cl (n, km ) +c (n − 1, κ )∨st(n) ̸= st(n − 1)
pt × cl (n, km ) +c (n − 1, κ )aµotherwise

a

µ

(1)

if (µ = m ∧ κ = k − 1)
(2).

次創作動画には、同一の音楽に異なる映像、異なる音

ここで ch(n) は小節 n がサビの場合に 1 を返し、st(n)楽に同一の映像、といった多様な対応付けが存在する。

は音楽的構造の番号を返す関数である。また pc が高

しかし、単一の線形回帰のみ用いたのでは、そうした

いほど、データベース中の動画でサビに使われた映像

解釈の多様性を適切にモデル化できない。

が、入力音楽のサビで選択され易くなり、pt が低いほど選出される映像が頻繁に切り替わる。

そこで解決法として、複数の線形回帰モデルによって対応付けを行う。そのために、音楽・映像の小節特徴

累積コストを最小化する映像系列は、最終小節 N に量を用いてクラスタリングし、各クラスタ毎に線形回おいて最も累積コストが小さい映像 dmin を次式で求帰を学習した。ここで、クラスタリングには k-means

めたのち、バックトレースによって得る。

法を用いた。

dmin = argminca (N, km ).

(3)

k,m

4.2.2

局所的な対応関係と文脈的な対応関係を考慮し局所的及び文脈的な対応関係を考慮して映像選択す3.2.2 項で述べた「ダメ出し」機能では、選択された構造区間の最終小節において、累積コストが異なる四つの候補からバックトレースして映像を生成して表示るために、小節毎にコストを求めて、それが入力楽曲する。生成される映像の幅を広げるために、最も累積全体で最小となるように映像を選択する。

コストが小さい候補、全候補数の 1/3 番目と 2/3 番目

た映像選択

局所的な対応関係は、小節毎に入力音楽から推定しに累積コストが小さい候補、最も累積コストが大きいた映像特徴量と、データベース中の全映像の映像特徴

候補、の四つを選んで映像を生成した。これによって、量との距離をコストとして考慮する。入力音楽に対応

多様な印象を持つ映像が生成できる。

する映像特徴量は、4.2.1 項で得た回帰モデルを用い

4.3て、入力音楽の小節特徴量を映像の小節特徴空間へ写

再生数に応じた回帰モデルの学習像して推定した。ここで回帰モデルには、入力音楽の本研究では、Web 上に公開された二次創作動画を再小節特徴量に距離が最も近い重心を持つクラスタの線利用しているが、これは次の問題を含むと考えられる。

形回帰モデルを用いた。

動画制作者は音楽と映像の対応関係を各々で解釈してまた、文脈的な対応関係を考慮するために、生成さ動画を作成するため、音楽と映像の対応付けの信頼度、れる動画の時間的連続性や音楽的構造もコストとして

すなわち「映像が音楽と合っていると感じられる度合

考慮することで、動画像の生成をビタビ探索によるコい」には、ばらつきがあると考えられる。したがって、

スト最小化問題として解いた。ここで、音楽的構造とサ全ての動画を均等に用いて対応付けを行うと、適切にビ区間は RefraiD [17] で求め、繰り返し区間の始端と学習できない可能性がある。

6

第 27 回 NICOGRAPH 論文コンテスト (NICOGRAPH2011) 論文集, I-2, pp.1-8, September 2011.

この問題を解決するために、動画共有サイトにおけ5.2

る再生数が、楽曲と映像の対応付けの信頼度を間接的本システムにより作成された動画は、リズムの同期に反映していると仮定し、対応関係の学習で利用する。

や印象の近い映像が作成されていた。したがって、既

具体的には、再生数に応じた重み付けのモデル学習を存の動画群における音楽と映像の対応付けを適切にモ行った。再生数 Vc の動画は、モデル学習時に以下の式

デル化することができたといえる。

によって求まる重み w を用いる。

w=

α × ⌊log10 (Vc ) + 0.5⌋ + β.

システムの使用結果

インタフェースを用いた実際の運用では、音楽と合っ(4)ていない動画が自動生成される場合があっても、「ダメ

ここで ⌊·⌋ は切捨を表し、0.5 を足して四捨五入する。

出し」機能を使用するだけで映像が訂正できるため、好みの動画を簡単に作成できた。一方システムの改善点

なお本研究では、α = 2、β = −7 とした。すなわ

としては、「ダメ出し」による訂正の際に、映像の印象

ち 1 万回再生された動画は w = 1、10 万回再生されがほとんど類似した候補ばかりが提示されてしまって、た動画は w = 3 となるよう重み付けを行った。具体的

適切に訂正できない場合もあった。

には、モデル学習における特徴ベクトルの数を、w のまた、二次創作経験の無いユーザからの意見として値に応じて増やすことで重み付き学習を実現した。

は、映像候補数をさらに多くすることで、イメージが浮かびやすくなるという意見を得た（現状では四候補）。

システムの運用結果

5

二次創作に精通したユーザからは、音楽の小節線や音

本章では DanceReProducer の実装に利用した動画

楽的構造の推定結果を訂正することができれば、よりコンテンツと、運用の結果について述べる。

5.1

良い動画を作れそうだという意見を得た。

おわりに

6

収集した動画コンテンツについて

本研究では、既存のダンス動画から音楽に合ったダ

本論文では、既存のダンス動画を再利用して音楽にンス動画を切り貼りして生成し、また、音楽からの動合った動画を作成できる DanceReProducer について述

画生成に関する多様な対応付けをモデル化するために、べた4 。本システムは、音楽に合った動画が手軽に自動システムが扱う動画コンテンツは以下に示す四つの条作成できるだけでなく、「ダメ出し」機能で制作者のオ件を満たす必要がある。

リジナリティを反映させながら、新たな音楽動画を制

条件 1 内容がダンスを中心に構成されていること

作することを可能とした。技術的な成果としては、多条件 2 動画を切り貼りして生成された動画であり、数の二次創作動画における音楽と映像の多様な対応関

その素材が統制されていること

係を機械学習してモデル化し、アドホックでない映像

条件 3 再生数を対応付けの学習等に用いて動画生成付けを実現した点にある。ダンスに特化した特徴量のを行うことを考慮し、個々の動画が再生数を使用を意図的に避けたことで、学習対象の音楽動画を持つこと変更するだけで、任意の表現の音楽動画の創作を支援

条件 4 上記二つの条件を満たすコンテンツが大量にできる。さらに、その機械学習において、動画共有サ

存在し、かつ、入手が容易であること

イト上での再生数を活用するという世界初の試みをし、このような条件を全て満たすコンテンツとして、バンダ

再生数の多い人気の高い音楽動画の特性をより重視しイナムコゲームスから販売されているアイドル育成シ

た（より学習結果に反映されやすい）学習を実現した。

ミュレーションゲーム「THE IDOLM@STER」とその最後に、DanceReProducer が切り拓く未来のビジョンについて議論する。

ライブシミュレーションゲーム「アイドルマスター Live1

for You！」 を素材として二次創作された Web 上の動画を対象とした。それに加え、3DCG によるダンスモー

6.1

DanceReProducer の発展ション制作ツールである MikuMikuDance (MMD)2 に

現在の実装では、上述のように敢えてダンスに特化

よって制作された音楽動画も対象とした。これらを動した処理はしていなかったが、今後、ダンス動作に関画コミュニケーションサービス『ニコニコ動画』3 かする特徴抽出5 による動作の考慮や、顔認識技術の導入

ら、再生数が 1 万回以上のものに限定して、それぞれによるダンサーの一貫性の考慮などにより、自動生成

100 件収集した。

の精度をより上げることができる。

1 http://wwwbandainamcogames.co.jp/cs/list/idolmaster/

4 http://staﬀ.aist.go.jp/t.nakano/DanceReProducer/indexj.html でデモ動画を確認できる。
5 EyesWeb: http://www.infomus.org/EywMain.html など。

2 http://www.geocities.jp/higuchuu4/
3 http://www.nicovideo.jp/

7

第 27 回 NICOGRAPH 論文コンテスト (NICOGRAPH2011) 論文集, I-2, pp.1-8, September 2011.

我々は混合音（多重奏）中の歌詞（音素）認識技術 [18]

た動画を作成できるシステム，WISS 2009 講演論文集，pp. 63–68 (2009).
[5] Nakano, T., Murofushi, S., Goto, M. and Morishima,S.: DanceReProducer: An Automatic Mashup Music
Video Generation System by Reusing Dance Video
Clips on the Web, Proc. of SMC 2011 (2011).
[6] 藤澤隆史，谷 光彬，長田典子，片寄晴弘: 和音性の定
量的評価モデルに基づいた楽曲ムードの色彩表現インタ
フェース，情報処理学会論文誌， Vol. 50, No. 3, pp.
1133–1138 (2009).
[7] Laurier, C. and Herrera, P.: Mood Cloud : A realtime
music mood visualization tool, Proc. of CMMR 2008,
pp. 163–167 (2008).
[8] Goto, M.: An Audio-based Real-time Beat Tracking System for Music With or Without Drum-sounds,
Journal of New Music Research, Vol. 30, No. 2, pp.
159–171 (2001).
[9] 白鳥貴亮，中澤篤志，池内克史: 音楽特徴を考慮した舞踊
動作の自動生成，電子情報通信学会論文誌 D， Vol. J90D, No. 8, pp. 2242–2252 (2007).
[10] Cai, R., Zhang, L., Jing, F., Lai, W. and Ma, W.Y.: Automated Music Video Generation using WEB
Image Resource, Proc. of ICASSP 2007, pp. II–737–
II740 (2007).
[11] Hua, X.-S., Lu, L. and Zhang, H.-J.: Automatically
Converting Photographic Series into Video, Proc. of
the 12th annual ACM international conference on
Multimedia, pp. 708–715 (2004).
[12] Foote, J., Cooperand, M. and Girgensohn, A.: Creating music videos using automatic media analysis,
Proc. of the tenth ACM international conference on
Multimedia, pp. 553–560 (2002).
[13] Hua, X.-S., Lu, L. and Zhang, H.-J.: Automatic music video generation based on temporal pattern analysis, Proc. of the 12th annual ACM international conference on Multimedia, pp. 472–475 (2004).
[14] 西山正紘，北原鉄朗，駒谷和範，尾形哲也，奥乃 博:
マルチメディアコンテンツにおける音楽と映像の調和度計算モデル，情報処理学会音楽情報科学 研究報告 2007MUS-069，Vol. 2007, No. 15, pp. 111–118 (2007).
[15] Gillet, O., Essid, S. and Richard, G.: On the Correlation of Audio and Visual Segmentations of Music Videos, IEEE Trans. on Circuits and Systems forVideo Technology, Vol. 17, No. 2, pp. 347–355 (2007).
[16] Tzanetakis, G. and Cook, P.: Musical Genre Classification of Audio Signals, IEEE Transactions on
Speech and Audio Processing, Vol. 17, No. 2, pp. 293–
302 (2002).
[17] Goto, M.: A Chorus-Section Detection Method forMusical Audio Signals and Its Application to a Music, IEEE Trans. on Audio, Speech, and Language
Processing, Vol. 14, No. 5, pp. 1784–1794 (2006).
[18] 藤原弘将，後藤真孝，奥乃 博: 多重奏中の歌声の基本
周波数と有声音素の同時推定手法，情報処理学会論文誌，Vol. 51, No. 10, pp. 1995–2006 (2010).
[19] 後藤真孝: 音楽音響信号理解に基づく能動的音楽鑑賞インタフェース，情報処理学会音楽情報科学研究会 研究
報告，Vol. 2007, No. 37, pp. 59–66 (2007).
[20] Goto, M.: Augmented Music-Understanding Interfaces, SMC 2009: Inspirational Session (2009).
[21] Goto, M.: Music Listening in the Future: Augmented Music-Understanding Interfaces and Crowd
Music Listening, Proc. of the AES 42nd International
Conference on Semantic Audio, pp.21–30 (2011).

を有しているが、映像の口形状の認識技術と組み合わせることで、例えば歌っている映像を切り貼りする際に、リップシンクも考慮してより精度を上げる拡張が考えられる。
また、拍や小節線、音楽構造の自動推定結果をユー
ザが手軽に訂正できるインタラクション技術の導入により、さらに高度な動画制作も今後可能になっていく。

6.2

社会とのインタラクション技術

DanceReProducer では、システムによる自動生成の枠組みを超えて、「ダメ出し」というユーザとのインタ
ラクション技術により、N 次創作支援におけるオリジ
ナリティの反映を実現した。さらに、「動画共有サイトの再生数」を考慮する社会とのインタラクション技術
により、音楽と映像の対応関係を学習する新しい手法を実現した。つまり、社会的にその音楽動画がどのように評価されているか、も反映可能とした。
本研究はこのように、音楽と映像の対応関係のような人間の心や社会的な文化に依存する問題を扱う場合に、人間とのインタラクションと社会とのインタラク
ションという二つの観点を適切に導入する方法を示した点でも貢献がある。これは今後、同様の性質を持つ
他のシステム構築の際にも、重要となる考え方である。

6.3

豊かな社会の実現に向けてDanceReProducer は、誰もが手軽にコンテンツを N
次創作して楽しむ未来社会を目指した研究である。コンテンツの制作は「自己表現」につながるだけでなく、自分で制作を体験してみることは、コンテンツ理解能力の向上につながり [19–21]、コンテンツをより楽しむことができるようになる。これらは QoL (Quality ofLife) 向上の観点から重要であり、精神的に豊かな社会の実現に資する。
謝辞長谷川 裕記 氏、平井 辰典 氏（早稲田大学）に感謝する。

参考文献[1] 濱崎雅弘，武田英明，西村拓一: 動画共有サイトにおける大規模な協調的創造活動の創発のネットワーク分析–
ニコニコ動画における初音ミク動画コミュニティを対象として–，人工知能学会論文誌， Vol. 25, No. 1, pp.
157–167 (2010).
[2] 濱野 智史: インターネット関連産業，デジタルコンテ
ンツ白書 2009，pp. 118–124 (2009).
[3] 室伏 空，中野倫靖，後藤真孝，森島繁生: ダンス動画
コンテンツを再利用して音楽に合わせた動画を自動生成するシステム，情報処理学会 音楽情報科学研究会 研究
報告，Vol. 2009-MUS-81, No. 7, pp. 1–5 (2009).
[4] 室伏 空，中野倫靖，後藤真孝，森島繁生: DanceReProducer：既存のダンス動画の再利用により音楽に合っ8