WISS2013

音楽の構造情報を反映したミュージックビデオを簡単に制作・共有できる
Web サービス
中嶋 誠

五十嵐 健夫 ∗概要. 本稿では，音楽の構造情報を反映したミュージックビデオを簡単に制作できる Web システムを提案する．音楽の区間・小節・拍に同期したエフェクトや映像切り替え効果には，手動で煩雑な作業が必要だが，先行研究の songle システムと連携することで簡単に実現可能となった．また Web システムの特性を生かすことで，素材映像の収集・管理と，制作物の共有が容易である．加えて，音楽構造に対する映像の連動方法を抽象化して定義することにより，自分の好きな音楽に好きな映像セットを組み合わせた視聴が可能な，新しい種類のコンテンツである．

1

はじめに近年コンテンツのリッチ化が進み，多くのユーザが，音楽に加えて映像の付いたミュージックビデオを楽しむようになっている．また作曲人口の増加や，動画共有サイトなど発表の場の拡大も，音楽に付随する映像の重要性を高める要因になっている．しかし，このような需要の増加に対し，供給が追いついていないという問題がある．なぜなら通常ミュージッ
クビデオは，一つの楽曲に対して一つの映像が職人的な手作業で制作されるため，労力とコストの問題で大量生産が難しいからである．
そこで我々は新たに，ユーザが簡単に音楽と連動する映像を制作して，視聴・共有できる Web システ
ムを提案する．提案システムには以下の利点がある．

• songle システム [1] を利用する事で，音楽の構造情報を反映した映像を Web 上で簡単に制作できる• システムを Web 上に構築する事で，ユーザは映像素材の管理や制作物の共有にかかる手間を大幅に減らす事ができる• 音楽と映像の一対一対応ではなく，音楽構造に対する映像の連動方法を抽象化して定義するので，自分の好きな音楽に好きな映像セットを組み合わせて視聴できる

2

提案システムが目指す音楽映像

提案システムが目指すのは，音楽の構造情報（区間・小節・拍）と連動した映像である．これらの情報は，ユーザに音楽と映像の高い連動性を感じさせる重要な特徴量である．岩宮 [2] は，各種音楽特徴量と映像要素を連動させて提示し，マッチしている∗

Copyright is held by the author(s).
東京大学

曲のビートに対する視覚要素の表示ルールを決める

使うルール、動画、曲を選ぶ

選んだ曲に合わせてタイミングよく動画が再生される

図 1. 提案システムのコンセプト図と感じる度合いを被験者に尋ねる心理学実験を行った．その結果，音楽の拍情報と，映像の切れ目が同期しているとき，ユーザは高い調和度を感じることが報告されている．また既存のミュージックビデオ
でも，小節の切れ目や，拍に合わせて映像を切り替える演出がしばしば見られる．既存システムとして，音楽の拍情報と連動した図形アニメーションを表示する songle 外部埋め込みプレイヤーがある 1 。提案
システムは，この埋め込みプレイヤーのエフェクトを動画に拡張し，かつユーザが Web 上で動的にエフェクトを定義できるようにしたものである．
音楽映像表現の一つに，音響信号をリアルタイムで変換し映像として表示するビジュアライザがある．
提案システムはそれと異なり，あらかじめ用意した動画素材を組み合わせて表示する．これはビジュアライザほど音響信号に直結した表現はできない代わりに，レンダリングに時間のかかる 3D モーション
グラフィクス素材や，あらかじめ加工した実写素材など，多様な映像素材を利用可能である．
1

http://staff.aist.go.jp/m.goto/Songle/songle_embedded_player_demo.html

WISS 2013

楽構造情報と，音楽の再生状態を取得し，描画する動画素材を制御している．
プレイヤー画面での映像表示について，具体的には，小節ごとに表示する映像素材の切り替え，不透明度を利用した重ね合わせ，リピート区間で拍に連動したズーム効果，サビ区間で小節頭に連動したフラッシュ効果を適用している．
図 2. 動画素材一覧画面

図 4. 動画セット一覧画面

33.1

図 3. 動画セット作成画面

図 5. プレイヤー画面

システムの詳細
ユーザインタラクション

まずユーザは，提案システムの Web インタフェー
スにより，動画素材をアップロードする．アップロードされた動画素材は，動画素材一覧画面 (図 2) に表示される．将来的には，他のユーザがアップロードした動画を利用する仕組みも考えられる．次にユーザは，アップロードされた動画の中から好きなものを選び，動画セットを作る (図 3)．作成された動画セッ
トは，動画セット一覧画面に表示される (図 4)．動画セット一覧画面で，各動画セットの横にある show ボ
タンを押すと，その動画セットを再生するプレイヤー画面に遷移する (図 5)．プレイヤー画面には songle埋め込みプレイヤーが表示され，再生ボタンを押すと音楽が始まり，同時に映像が連動して再生される．
またデフォルト曲以外にも，songle の曲 URL を右側フォームに入力し，Play this ボタンを押す事で，songle システムで解析済みのものであれば任意の音楽に，映像セットを連動して再生できる．
ユーザが作成した動画セットは，それぞれが固有のURL を持つので，その URL を共有する事で，他のユーザも視聴できる．またアドレスの末尾に songleの曲 URL を追加して，再生する音楽を指定できる．
つまり使用する動画セットと音楽の組み合わせを，一つの URL として表現する事ができる．この URLを他のユーザと共有し，この曲にはこの映像がマッチすると教え合う使い方も可能である．

3.2

実装

提案システムの実装には，Ruby on Rails フレー
ムワークを使用した．動画ファイルのミックス再生には，HTML5 Canvas を利用している．Javascript
で songle システムの埋め込みプレイヤーから，音4まとめと今後の課題

本稿では，音楽の構造情報に連動したミュージックビデオを制作する Web システムを提案した．songle
システムを利用する事で，これまで手動で煩雑な作業が必要だった，音楽の区間・小節・拍に同期した映像切り替え表現やエフェクトが簡単に実現できる．
また Web システムの特性を生かし，素材映像をユーザが持ち寄る事で，素材集めと管理の手間が減った．
また作った物を共有する手間も少なくなった．加えて，音楽の構造情報を利用することで，調和度を保ったまま，任意の音楽と映像の組み合わせを試す事ができる，自由度が高いシステムになった．
今後の課題は，まず映像の表示ルールをユーザが編集できるインタフェースの実装である．現在は 3
つの映像素材からなる映像セットを，ハードコーディングされた表示ルールによって，音楽の構造特徴に連動させて表示している．音楽特徴とエフェクトのマッピングを，ユーザが Web 上で自由に編集しプログラムできるインタフェースがあれば，もっと自由度が高まり，かなりクリエイティブな表現が実現可能と考えられる．
また別の点として，提案システムで制作したミュー
ジックビデオの構成を，AfterEﬀects など既存の動画編集ソフト向けにエクスポートする機能が望まれる．ミュージックビデオのクリエイターに話を伺った
ところ，音楽構造の把握と映像への利用は，今のところほぼ手作業であり，非常に大変とのことであった．そのため支援効果の大きい分野だと考えられる．
提案システムは Web サービスなので，比較的容易にユーザに試用してもらう事ができる．そのために早い段階での一般公開が望ましい．その過程で，ユーザがどのような音楽と映像の組み合わせを好むか，嗜好のデータが収集できるので，データに基づいた学習システムや，サジェストシステムも今後の発展が予想される．

参考文献[1] 後藤 真孝, 吉井 和佳, 藤原 弘将, M. Matthias, 中野 倫靖. Songle:音楽音響信号理解技術とユーザによる誤り訂正に基づく能動的音楽鑑賞サービス. 情報処理学会論文誌, 54(4):1363–1372, 2013.
[2] 岩宮 眞一郎. 音楽と映像のマルチモーダル・コミュ
ニケーション 改訂版. 九州大学出版会, 2011.