Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

Songle Sync: 音楽に連動させて多様なデバイスを大規模に制御できるプラットフォーム
尾形 正泰1,a)

井上 隆広1,b)

加藤 淳1,c)

後藤 真孝1,d)

概要：本稿では，音楽の再生にインターネット経由で同期して多様な機器を制御することで一体感のある演出ができる大規模音楽連動制御プラットフォーム「Songle Sync」について述べる．従来，複数機器の同期制御は専用システムが個別に開発されて拡張性が乏しく，スマートフォン・パソコンのような汎用機器を自在に組み合わせたり，音楽連動演出を手軽に開発したりできなかった．Songle Sync では，数百台を超える多数のスマートフォン・パソコン・IoT デバイスを組み合わせて同時制御し，音楽と物理空間を融合した総合体験を生み出すことができる．さらに開発キットも提供し，音楽理解技術で得たビートやサビなどの音楽的要素に応じて表示・動きが変化する多様な演出を手軽に制作可能にする．2017 年 8 月に一般公開
し，汎用機器を含む 100 台以上の規模で CG 映像・ロボット・照明などを音楽と連動させる実証実験により有効性を確認した．さらに，音楽ステージで数百人のスマートフォンに音楽に連動した映像を表示する
実証実験も実施し，混雑した通信環境下で支障なく動作して音楽体験が拡張できることを確認した．

1. はじめにする演出を，ユーザの好みやイベントの内容に合わせて任意の楽曲で実施することは難しかった．また，ライブコン

本研究は，音楽に合わせて多種多様な機器が連動して一サートで多数のペンライトの光を一斉に変更する専用シス

体感のある空間を，人々が手軽に創り出して体験できるよ

テムや，スマートフォンの画面がペンライトのように単色うにするプラットフォームを構築・提供することを目的と発光するような専用アプリケーションが個別に開発されたする．そうしたプラットフォームがあれば，さまざまな場ことはあったが，拡張性が乏しく多種多様な機器を自在に面で音楽に連動した演出を生み出すことができる．例えば，

組み合わせることができなかった．そのため，一般の人々

知り合い同士で好きな音楽を流しながら，各自のスマートが個人のスマートフォンのような汎用機器を持ち寄って，フォンの画面に，その音楽に合わせて変化する CG（コン好みの楽曲に応じた演出を，アプリケーションのインス

ピュータグラフィクス）アニメーションを一斉に表示して，トールの手間なく楽しめるような仕組みはなかった．さら従来にはない一体感のある音楽体験を楽しむことが可能にに，開発者が音楽に連動した演出を作ろうとすると，楽曲なる．より大規模な例では，ライブやイベントの会場で数中で連動させる箇所を個別に手作業で指定した上で，多数百人の来場者が，会場の音楽と連動した演出をステージ上の機器を音楽再生に同期させて制御するシステムを構築すのスクリーン表示や各自のスマートフォンの画面で楽しむる必要があり，手間が大きく難易度が高かった．

ことも可能になる．さらに，ショッピングモールや飲食店

そこで本研究では，音楽の再生にインターネット経由で等で，BGM（背景音楽）に連動して店舗内の壁面や床など

同期して多様な機器を制御することで一体感のある演出がのディスプレイ・照明を変化させたり，ロボットを踊らせできる大規模音楽連動制御プラットフォーム「Songle Sync

たり，来場者のスマートフォンの画面を連動させたりして，（ソングルシンク）」を提案する．Songle Sync は，図 1 の一体感のある特別な空間を作り出すことが可能になる．

ように，Web 上のさまざまな楽曲の再生に合わせて，人々

しかし従来は，そのようにさまざまな機器が音楽に連動が既に所有する多種多様な携帯端末（スマートフォン，タ
ブレット）
・パソコン・Internet of Things (IoT) デバイス（イ

1

a)
b)
c)
d)

産業技術総合研究所
National Institute of Advanced Industrial Science and Technology(AIST)
masa.ogata［at］aist.go.jp
takahiro.inoue［at］aist.go.jp
jun.kato［at］aist.go.jp
m.goto［at］aist.go.jp

c 2018 Information Processing Society of Japan⃝

ンターネットに接続されて情報交換をしながら処理を進めるデバイス）を，インターネットを介して連動させて制御できるプラットフォームである．例えば，イベント会場などで数百人がプラットフォームの提供する QR コードを読

1

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

図1

音楽の再生に連動して複数の機器を制御できるプラットフォーム「Songle Sync（ソングルシンク）」(http://api.songle.jp/sync)

み取って Web アプリケーションにアクセスすると，会場で流れる楽曲と同期して手元の画面にアニメーションが表示
され，多人数で一体感のある演出を楽しめる．
このような体験を可能にするために，我々は以下の 3 つ

2. Songle Sync プラットフォームの概要
Songle Sync は音楽連動制御による演出を体験・提供・開発支援するためのプラットフォームである．そのプラットの問題を解決した．

フォームを利用して，多くのプログラマが多様な音楽連動( 1 ) 即座に連動: 楽曲を選ぶだけでどうやって多数の機器

制御アプリケーション（以下，音楽連動制御アプリと略す）

を一斉に連動させるかを開発して公開し，一般ユーザがそれを利用して楽しめる

音楽理解技術を用いて，膨大な楽曲のビート構造や楽ようにすることを目指している．本章ではその狙いを音楽

曲構造等の音楽的要素（音楽情景記述）を事前に自動体験，プラットフォーム，開発支援に大別して述べる．

推定しておく．その結果に基づく演出が実施されるよ
うに同期対象の機器群を自動制御することで，ユーザ

2.1 多数の機器が連動して可能になる新たな音楽体験

が楽曲を選べば即座に連動制御が可能になった．

音楽は，音だけでも楽しめるが，音楽と映像が連動する( 2 ) スケーラブルに連動: 多種多様な汎用機器をいかに大ミュージックビデオや音楽に合わせて踊るロボットのよう規模に連動させるかに，音楽に連動した演出と共に楽しむことも多い．Songle

Songle Sync のサーバに対して，多数の機器がクライ

Sync では，そうした演出をさらに大規模に多種多様な機器

アントとしてアクセスする際に，インターネットを通を連動させて実現可能にすることで，新たな音楽体験を生じて非同期かつ断続的に通信するだけで動作する仕組

み出し，文化的・産業的に多様な価値を生むことを狙ってみを実現した．これにより演出実施中の通信帯域が少いる．

なく，混雑した通信環境でも運用可能になり，スケー
ラビリティが増した．

( 3 ) 容易に開発: 大規模な音楽連動演出をいかに容易に開そのための第一歩として，既に Web サイト上で公開されていて，不特定多数の人々がアクセスして聴くことができる楽曲群のうち一曲を再生しながら，スマートフォン・パ

発可能にするか

ソコン・IoT デバイス等の機器を多数組み合わせて同時制

プログラマ（開発者）向けのチュートリアルを含む開御できるようにする．その楽曲の中身を事前に自動解析し発キットを提供した．ビートのような各音楽的要素をておき，その解析結果に基づいて各機器の表示や動き等のイベントとして，イベント駆動型プログラムを書くだ

演出を生成することで，楽曲の再生にすべての機器が一斉けで，Songle Sync が音楽を再生しながら他の機器とに連動する制御が可能になる．このように Web 上の音楽

自動的に連動制御してくれる．プログラマが，他の多をユーザが選んで，それに多数の機器を連動させて新たな数の機器の存在や音楽再生制御を意識する必要がない

音楽体験を生み出すための汎用的な仕組みは，これまでな点が優れている．

かった．さらに，図 2 のように，スマートフォン・パソコ

我々は Songle Sync (http://api.songle.jp/sync)

ンの画面表示だけでなく，照明機器や光る衣装，IoT 化しを，チュートリアルサイト (http://tutorial.songle.

た小型ロボット等の多様な機器を，音楽のビート等に合わ

jp/sync) と共に 2017 年 8 月 2 日に一般公開し，実証実せて一斉に変化させることで，音楽と物理空間を融合した験を開始した．既に，100 台以上の多種多様な機器を同時総合体験を生み出すことができる．以上述べてきたようなにつないで有用性を確認した．同年 9 月 2 日には，幕張体験を可能にするアプリケーションや利用シーンについて

メッセで開催されたイベントの 40 分間のライブステージ

は，3 章で詳述する．

で初めて活用された．来場者のスマートフォンによる最大同時接続数が 275 人以上の状態で，それらの画面上の映像
がビートや小節，サビ区間等に応じて一斉に変わる演出に成功した．

c 2018 Information Processing Society of Japan⃝

2.2 プラットフォームの主要機能を手軽に体験
Songle Sync のプラットフォームが提供する主要な機能を一般ユーザが Web ブラウザだけで手軽に体験できるよ2

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

図2

Songle Sync を利用した各種機器の制御事例（既に開発して動作している機器の様子）

図 3 Songle Sync の利用方法

うに，チュートリアルの一部として入門的な音楽連動制御に入力すると（QR コードの場合には QR コードリー

アプリを提供する．このアプリは，図 3 に示した以下の手ダーで読み取ると），Songle Sync のサーバに自動的に順で利用できる．これらの機能の具体的な実現手法や技術接続される．すると，同じ楽曲の音楽再生プレーヤがについては 4 章で述べる．

表示され，場所を問わず全員が同じ瞬間に同期して楽( 1 ) 楽曲と演出スタイルの選択

曲とアニメーションを楽しむことができる．楽曲の途

ユーザはスマートフォンやパソコンの Web ブラウザを中で接続しても同期でき，ユーザが楽曲を変更したり使って，Web サイト上で公開されている楽曲（MP3 形

再生・停止したりすれば，それに連動して，他の人々

式の音響信号ファイルや楽曲・動画共有サービス上のの楽曲やアニメーションも追従する．

楽曲・動画）と，楽曲全体にわたる演出の仕方を決めまた，他の人々が接続する際には，楽曲再生とアニメー

る数種類の「演出スタイル」を好みに応じて選択する．

ション表示のどちらか一方だけを選択してもよい．例

その選択後に音楽再生プレーヤが表示されて，Web サ

えば後者を選択すれば，スピーカーで鳴らしている音

イト上にある楽曲がストリーミング再生されるととも楽を一緒に聞きながら，その場にいる人々のスマートに，ディスプレイには選択した演出スタイルに応じて，フォンの画面に同じアニメーションを表示するといっその楽曲のビートやサビなどに合わせて変化する CGた使い方ができる．

アニメーションが表示される．こうして，楽曲を目と耳の両方で楽しむことができる．

( 2 ) アクセスキーの発行

2.3 プログラマのための開発支援
プログラマによる開発を支援して敷居を下げ，多種多ユーザが他の人々と一緒に同じ音楽と演出を楽しむた

様な音楽連動制御アプリが生み出されることを期待して，めに，Songle Sync のサーバを介して，この音楽再生プ

Songle Sync ではチュートリアルを含む開発キットを提供

レーヤと連動するためのアクセスキー（文字列，URL，する．従来，専用機器ではないインターネット接続可能な

QR コード）を発行できる．

汎用機器を用いて大規模な音楽連動制御を可能にするのは( 3 ) 複数の汎用機器がインターネットを介して音楽に連動

技術的に難易度が高く，プログラマが開発するのは容易でユーザからアクセスキーを受け取った他の人々が，そはなかった．それは，音楽の再生や演出を同期制御しよう

れを自分のスマートフォンやパソコンの Web ブラウザとしても，個別に非同期通信が断続的に繰り返される通信

c 2018 Information Processing Society of Japan⃝3

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

図4

さまざまな利用シーンで大規模な音楽連動制御が活用される際のイメージ画像

環境と多様な実行環境においては，連続的な再生が必要なや小節，サビ区間など）を音楽理解技術（音楽の音響信号

音楽とそれに合わせた演出が機器ごとにずれやすく，技術

中のさまざまな要素を自動的に推定できる技術）で解析し的に困難であったからである．ユーザが，異なる演出を手ておく必要がある．

軽に組み合わせたり，演出を変更したりすることも従来の本研究ではその解析を，我々の研究グループがこれ

技術では実現されておらず，大規模な音楽連動制御に基づまでに研究開発して一般公開してきた能動的音楽鑑賞

く新たな演出を，プログラマが容易に開発できるような開

サ ー ビ ス「Songle（ ソ ン グ ル ）」(http://songle.jp)

発キットも存在していなかった．

[1–3] を活用して実現した．これは，Web 上の楽曲の中Songle Sync では，プログラマが開発キットを使って演

身を音楽理解技術で解析して可視化するサービスで，出スタイルのサンプルプログラムを変更するだけで，楽曲

既に 111 万曲を解析済みである．MP3 形式の音響信号を再生して演出を描画する音楽連動制御アプリを容易に開ファイルに加え，コンテンツ投稿サイトの「ピアプロ」

発できる．プログラマは，1 台の機器を制御するつもりで(http://piapro.jp) や，動画共有サービスの「ニコニプログラミングをするだけでよく，音楽を再生しながらイコ動画」(http://www.nicovideo.jp/) と「YouTube」

ンターネットを介して他の機器と連動する制御は，Songle(https://www.youtube.com/) 等の楽曲の音響信号を

Sync が自動的におこなってくれる点が優れている．その対象に，ビート構造（ビート，小節），楽曲構造（サビ区ため，プログラマは複数台の機器制御を意識する必要がな

間，繰り返し区間），コード等を自動解析できる．Songle

く，複数の機器間の通信や時刻同期に関して専門知識のなは解析誤りをユーザーが手動で訂正して共有できるインタ

いプログラマであっても，音楽連動制御アプリの開発に取フェースも備えており，Songle Sync による音楽連動制御

り組むことができる．これらを可能にする開発キットの詳で用いた楽曲に解析誤りがあって困る場合には，Songle 上細については 5 章で述べる．

で誤り訂正ができる．

3. Songle Sync が可能にする多様な音楽連動制
御・利用シーン

中身に連動した演出を楽しむことができる．再生したい楽これらの解析結果を利用することで，楽曲ごとに異なる
曲が自動解析されていない場合は，Songle に楽曲の URL

Songle Sync は，これまでにない音楽体験を生み出し，さを登録して自動解析することで，その楽曲も Songle Sync

まざまな利用シーンで価値を創出できる可能性を持っていで再生できるようになる．楽曲は元の Web サイト上からる．以下では，そうした Songle Sync が切り拓く未来につ

ユーザのブラウザに直接ストリーミング再生される仕組み

いて議論する．

となっている．

3.1 音楽理解技術による解析結果に基づく多様な連動制御

出スタイル」は，一般的な Web ブラウザから利用できて汎Songle Sync では，個々の楽曲に対して手作業でビート用性が高いため，異なる OS（Windows，macOS）を搭載し時刻等のラベリングをしなくても，Web 上の楽曲を選択したパソコンや，異なる OS（iOS，Android）を搭載したスて再生すれば即座に，多種多様な携帯端末・パソコン・IoT

マートフォン・タブレットのように多種多様な機器を連動デバイスが連動制御できるという従来にない体験を可能に制御することができる．さらに，小型軽量端末 Raspberry

する．そのためには，事前に Web 上の楽曲の中身（ビートPi や，IoT デバイス（ロボットや照明機器など）を活用し

2.2 節で紹介した入門的な音楽連動制御アプリやその「演c 2018 Information Processing Society of Japan⃝4

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

た演出もできる．

設置されているさまざまなディスプレイや照明，プロ

6.1 節でも後述するように，実際に図 2 のように多様な

ジェクションマッピングなどを組み合わせて，音楽連利用事例で有効性が確認されている．画面表示では，パソ動制御を実施することも考えられる．主催者側が，特コン，iPhone，iPad， iPod touch，Android スマートフォン

別な演出を体験可能な QR コードを事前に用意して配などの汎用機器を用いて，画面上で音楽に連動したアニ

布すれば，その街を訪れている人々が同時に音楽に連メーションを表示できた．空間演出制御では，IoT 化した

動した演出を楽しむことができる．

照明機器や発光ダイオード（LED）を内蔵した光る生活雑貨（花瓶，キャンドル）などを用いて，部屋・環境の照明・

4. プラットフォームの実現手法

光を音楽に連動して変化させられた．ファッション制御でSongle Sync のプラットフォームに必要な機能群を実現

は，IoT 化した LED を装着・内蔵した光る衣装や光る腕輪するために，上述の Songle による音楽理解技術に加え，大を用いて，音楽に連動した発光制御ができた．さらにメカ

規模音楽連動制御技術を新たに開発し，それらを融合させ制御では，IoT 化した小型ロボットや電動カーテンを用いることで，音楽に連動した演出を容易に利用・開発可能にて，音楽に連動させながらロボットを動かしたり，カーテ

した．以下では，大規模音楽連動制御技術の具体的内容にンを開閉したりできた．今後も，他の利用事例が開発されついて述べる．

ることが期待できる．

4.1 一般的な常時接続アーキテクチャの問題点
3.2 さまざまな利用シーンにおいて価値を創出

本研究の大規模音楽連動制御のように，多数の機器を連人々が Songle Sync を利用すると，楽曲の再生と同時に，動制御したい場合には，マスターと呼ばれる制御の主導権個人が所有している携帯端末・パソコンなどのスピーカーを握る側の機器から，多数のスレーブと呼ばれる制御されから同時に同じ楽曲が流れ，しかもそれらの画面に，そのる側の機器に短時間で通信（情報伝達）が可能な状態を確

音楽に合わせて動く多様で変化に富むアニメーションが表保する常時接続アーキテクチャが一般的である．マスター

示できる．従来の技術では実現できなかったこのような音がスレーブの状態を変えたいときに，そのタイミングで毎楽体験は，今後，例えば以下のような利用シーンで新たな回変更指示を通信し，各スレーブはそれを受信してから状価値を創出できる可能性がある（図 4）．

態を変更する（例えば，描画する，動かす，光らせる）．

( a ) ライブ・イベント会場

ライブやイベント会場等で多数の照明機器（舞台照明）を会場に設置されたスピーカーから流れる音楽の再生に制御するために用いられる通信プロトコル DMX512 は，こ合わせて，来場者のスマートフォンの画面に変化に富のアーキテクチャに基づいている．また，ライブコンサー

んだアニメーションが表示するような新たな演出が可トで多数のペンライトの光を一斉に変更する専用システム

能になる．さらに，会場の複数の大型スクリーンにもの多くもこのアーキテクチャに基づいており，マスターか同じアニメーションを表示させたり，ステージ登壇者

らの制御情報を会場内の電波アンテナから発信し，各ペンの衣装や腕輪を発光させたりするような演出もできる．

ライトがその電波を受動的に受信して光る．

ライブ開始前やイベントの入場待機列などの場面で来他にも，スマートフォンの画面がペンライトのように単場者に一体感を持って楽しんでもらう演出として，音色発光するような専用アプリケーションは同様のアーキテ

楽連動制御を活用しても効果的である．

クチャのことが多く，専用アプリーケーションと専用送信( b ) ショッピングモール・店舗

サーバとの間に常時通信可能なコネクション（論理的な通ショッピング中の BGM に合わせて通路や店舗の壁面信路）を WebSocket プロトコル等を用いて確立しておき，や床などのさまざまな箇所に演出ができる．大型ディマスターからの色指定指示を専用送信サーバから受信しスプレイや照明機器，プロジェクタの投影映像などをて，アプリケーションが受動的に画面更新する．

連動させた演出で，モールや店舗全体に一体感を出す

しかし，上記の常時接続アーキテクチャで時間精度の良ことができる．さらに来店者のスマートフォンと連動

い音楽連動制御を実現するには，リアルタイムに近い短時させても効果的である．

間で安定した通信が必須となる．マスターからスレーブへ( c ) カフェ・飲食店の通信遅延時間，スレーブ同士の受信時刻のずれが，音楽

飲食時の BGM に，間接照明やディスプレイ・照明機

に対するずれに直結するからである．Songle Sync では，ス器を連動させることで，楽曲に合わせてムードを変えマートフォン等の人々が既に所有する多種多様な汎用機器

たり，店舗ごとに異なる印象を与えたりするなどの空を中心に，多数の機器を自由自在に組み合わせる必要があ

間演出が可能になる．

り，多様な実行環境・通信環境で動作させるためにも，そ( d ) 街中・屋外イベント

うした通信を前提にできない．

街中全体を使った屋外イベントのような機会に，既にc 2018 Information Processing Society of Japan⃝5

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

してきたマスターを「Songle Sync マスター」，スレーブを「Songle Sync スレーブ」，Web サーバを「Songle Sync サー
バ」と呼ぶ．Songle Sync サーバを多数のユーザ・利用事
例が相互に干渉せずに利用できるように，利用事例ごとに「Songle Sync ステージ」（以下，ステージ）と名付けた管理の枠組みを設けた．

Songle Sync サーバ上でユーザ（ステージ管理者）が申請すると，そのユーザ専用のステージを利用事例毎にいくつでも作成できる．各ステージに対して，サーバから「シー図 5 Songle Sync の機能およびシステム構成図

クレットキー」と「アクセスキー」が発行される．これらは乱数をエンコードした文字列を用いて表現される．両者を

4.2 Songle Sync の自律制御アーキテクチャ

用いてステージに接続するとマスターとみなされ，後者の本研究では，常時接続アーキテクチャは採用せず，Songle

みだとスレーブとみなされる．各ステージは，両者のキー

Sync の Web サーバと，マスター，多数のスレーブが断続と，マスターとスレーブの接続状況（識別 ID，接続台数），

的に非同期な通信をしながら，各スレーブが楽曲の再生時

楽曲の再生状況（楽曲 URL，再生・停止状態，基準時間軸

刻に応じて自律的にイベント駆動で演出を呼び出して連動

上の再生開始時刻）を管理する．

する自律制御アーキテクチャを用いる．この新たな仕組み

マスターは演出全体の時間軸を制御できるため，シークでは，マスターとスレーブの間で基準時間軸（基準となる

レットキーは利用事例の実施者（イベントの主催者・運営時間軸）が共有されていることを前提とする．この共有は，者）のみが把握し，他の一般の利用者に知られてはならな

マスターとスレーブのそれぞれの内部時計が，基準時間軸

い．一方，スレーブ用のアクセスキーは一般の利用者が全に対してどれぐらいずれているかという時刻差を測定する

員入手する必要がある．そのためにはアクセスキーを含むことで実現できる．

URL や，その QR コードを配布すると効果的であり，ス

まず，楽曲の再生をマスターが指示する際には，その楽テージにはそのための QR コード生成機能もある．

曲が基準時間軸上でいつ再生開始するか（したか）を設定する．すると，楽曲中の音楽的要素は事前の自動解析によ4.4 Songle Sync マスターの動作

り確定しているので，それらの音楽的要素に対応するすべ

マスターはステージの管理権限を持ち，ステージに対してのイベント（例えば，ビート，小節の先頭，サビ区間のてそこで再生する楽曲 URL を指定した上で，その再生や開始と終了）の基準時間軸上での時刻（イベント時刻）も停止の状態の設定，基準時間軸上の再生開始時刻の設定が確定する．

できる．マスターが楽曲の先頭から再生を開始したいとき

次に，自立的に動作する各スレーブは，内部時計の現在には，再生状態に設定し，その再生開始時点でのマスター

時刻が基準時間軸上のどの時点かを随時把握し，それが上の内部時計の現在時刻を，基準時間軸上の再生開始時刻に記の各イベント時刻に到達したら，そのイベントに対して変換して設定する．シーク（楽曲内の再生位置移動）の場

定義されている演出を実行する．この仕組みならば，イベ

合には，シーク位置に応じて，基準時間軸上の再生開始時

ントのタイミングで通信が発生しないため，スレーブの台刻を過去に設定する．例えば楽曲の先頭から 1 分の位置に数が増えても，スレーブ間で演出のタイミングがずれにくシークすると，基準時間軸上の再生開始時刻は 1 分前に設い点が優れている．

定される．停止したいときは，停止状態に設定するだけで音楽連動制御の仕組みが機種依存にならず，相互接続をよい．

容易にし，スマートフォン等に専用アプリケーションをイ

複数のマスターをステージに接続してもよく，その場合

ンストールする手間をかけさせないために，この自律制御には上記の楽曲の再生状況をどのマスターからでも更新でアーキテクチャは，Web 標準技術のみに基づいて実現する

きる．これにより，例えば数百人の音楽ステージ等で利用必要がある．

しているときに，1 台のマスターに不具合が生じても，他のマスターをバックアップ手段にして制御ができて問題が4.3 Songle Sync ステージ，シークレットキー，アクセ
スキー

起きにくくなる．
なお，マスターは次に説明するスレーブのすべての機能

上記の自律制御アーキテクチャで前提としたマスターとを兼ね備えており，マスターを操作するユーザは，楽曲のスレーブ間での基準時間軸の共有を実現し，さまざまな音

再生音を聴いたり演出を見たりしながら，ステージの楽曲

楽連動制御を可能にするためのシステム構成図を図 5 に示の再生状況を変更できる．

す．Songle Sync プラットフォーム上では，これまで説明

c 2018 Information Processing Society of Japan⃝

6

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

4.5 Songle Sync スレーブの動作

4.7 マスターとスレーブの接続状況の管理

各スレーブがステージに接続した後は，定期的（一定時各ステージに対するマスターとスレーブの接続台数は動間以上のランダムな時間間隔）に楽曲の再生状況を取得し，的に変動するため，それぞれを区別する識別 ID （乱数をエ

その楽曲 URL に対応する楽曲解析結果（すべてのイベン

ンコードした文字列）によって管理する．初回の接続時にト）を取得する．再生状態であれば，楽曲の再生開始時刻

発行され，以後は，マスターとスレーブ側が識別 ID を自からすべてのイベント時刻を算出して確定し，スレーブの動付与して毎回通信する（ユーザは意識する必要がない）．

内部時計の現在時刻が，それに対応する基準時間軸上のイ

ステージ側では識別 ID と最終接続時刻の一覧を記録してベント時刻に達したら，その演出を自律的に実行する．停

おき，一定時間接続がなければ，その識別 ID を無効にす

止状態であれば，何も演出を実行しないようにする．

る．無効な識別 ID を付与して通信した場合には，初回接スレーブが各イベントでどのような演出を実行するか

続と同様に扱われる．

は，スレーブ側のプログラムとして実装されている（例えこれにより，同一機器が断続的に通信を繰り返しても，ば事前にダウンロードされている）ので，イベントの時点

同時接続台数を把握できる．また，識別 ID の発行数を制で一切通信する必要がない点が常時接続アーキテクチャと限すれば，あるステージの接続台数に上限を設けることもは大きく異なる．マスターとスレーブや，スレーブ同士も可能になる．

一切通信する必要がなく，サーバ上のステージの楽曲の再生状況のみを介して連動する．そのため，スレーブが楽曲再生中に途中から接続して参加したり，途中で脱退したりすること容易である．

4.8 通信量削減によるスケーラビリティ向上
楽曲再生開始後の演出中は，個々のスレーブからは，楽曲の再生状況の取得と，内部時計の時刻差の測定の二種類

スレーブが楽曲も再生する場合には，楽曲 URL に基づの通信しか発生しない．いずれも通信量が少ない上に，そいて適切な音楽再生プレーヤを呼び出し（生成し），基準時

れぞれの通信タイミングも任意で非同期でよく，演出に直間軸上の再生開始時刻から現在再生されているべき楽曲中結するイベント時刻には無関係な点が優れている．これらの再生時刻を求めて，その時刻を同期して再生するようにの性質は，音楽連動演出をする機器の数を増やす，つまり，音楽再生プレーヤを制御する．

スケーラビリティを向上する上で有利になるように，意図的に設計されている．

4.6 基準時間軸の共有

それに加えて，いずれの通信の頻度も自在に変更できる

マスターとスレーブ間で共有する基準時間軸は，仮想の特長を持っている．頻度を下げることでさらに通信量を削

時間軸でもよいが，現在の実装では Songle Sync サーバの内減し，スケーラビリティを向上できる．まず，楽曲の再生部時計とした．マスターとスレーブのそれぞれは，Songle

状況の取得頻度を下げると，マスターによって楽曲を再生

Sync サーバと通信して，自分の内部時計と基準時間軸との開始したりシークしたりした際に，スレーブの反応がばら

時刻差（オフセット）を測定する．この測定方法は，NTP

つくリスクがあるが，最初に楽曲再生開始した後はマス(Network Time Protocol) からヒントを得ており，基本的にターが何も操作しないのであれば，それでも支障がない．

は，送信側が自分の内部時計の送信時点での時刻を送り，

しかも Songle Sync サーバが返す楽曲の再生状況には，現受信側が自分の内部時計の受信時点での時刻との時刻差を

在時刻のような変動する値が一切なく，マスターが変更を計算する．これは実際の内部時計の時刻差に加え，通信遅加えていないときには毎回同じ通信内容になるので，サー延時間も含まれている．そこでこれを送受信を入れ替えてバ側でのキャッシュが効きやすい利点もある．次に，内部往復させることで通信遅延時間を打ち消し，内部時計の時

時計の時刻差の測定頻度を下げると，測定時にたまたま通刻差を求める．通信環境によっては通信遅延時間が極端に信環境が悪化した際に影響を受けやすくなったり，内部時

大きな外れ値も含まれることを考慮し，これを複数回繰り計の精度が低いときにずれやすくなったりするリスクが返して，内部時計と基準時間軸との時刻差をロバスト推定

あるが，実行環境や演出の内容によっては支障がない場合する（中央値を求める）．

も多い．仮に混雑した通信環境下で一時的に通信が不能に

この基準時間軸の共有のための通信は，ステージに接続

なっても演出は続行できる．

して最低一回実施すれば，その後は各スレーブは楽曲の再上記で述べてきた Songle Sync の通信はすべて，Songle

生状況だけを取得しながら，自律的に動作が可能である．

Sync サーバに対する一般的な HTTP 通信で実装されていしかし，通信環境の変動を考慮して，現在の実装では，マる．個々の通信が終わるごとに切断し，次回の通信まで

スターとスレーブのそれぞれが非同期に，ステージ接続後

HTTP 接続（コネクション）を保持しない．これは音楽連に定期的に基準時間軸の共有（基準時間軸に対する内部時動制御の規模を数万台以上に大規模化する際に有利で，コ計の時刻差の測定）を実施するようにした．

ネクションを保持し続ける WebSocket プロトコルでは OSのファイルディスクリプタが枯渇する恐れがある．Songle

c 2018 Information Processing Society of Japan⃝7

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

Sync では，既に DNS ラウンドロビンにより複数サーバでた．Web ブラウザ上で動作するプログラムだけでなく，IoT

負荷分散しており，個々の通信も低容量で短時間なので大デバイス用にハードウェア（Raspberry Pi，Intel Edison 等）

規模化しやすい．

を必要とするプログラムも用意した．

5. プログラマのための開発支援

5.2 オンラインチュートリアル

プログラマが大規模音楽連動制御の利用事例（音楽連動

Web ブラウザで試せるチュートリアルを，一般ユーザと制御アプリ）を容易に開発するための支援として，Songle

プログラマの両者を意識して，以下の 4 つのステップに分

Sync の開発キットは図 6 のように，API（Application Pro-

けて設計した．

gramming Interface）やそのドキュメントに加え，それを効( 1 ) 音楽連動制御を体験

率的に習得するためのサンプルプログラム，チュートリア

このページを開いて演出スタイルの選択肢の中から一ルで構成される．本開発キットを用いたプログラミングにつを選ぶと，Songle Sync スレーブが動作し，楽曲が鳴は以下の特長がある．

りながら CG アニメーションが表示される．このため( a ) プログラマは音楽に同期させるための時間管理を意識に，デモ楽曲が無限に繰り返し自動再生される専用のする必要がない．

Songle Sync ステージを用意した．複数の機器の Web

小節の先頭ではメリハリのある演出，サビに入ったらブラウザから開けば，それらがすべて同一楽曲に連動盛り上がる演出のように，楽曲の再生状況に応じたイ

していることが確認できる．

ベント駆動なプログラムを記述するだけで，楽曲中の再生時刻が各イベントの時刻に達すると自動的に指定した演出が実行される．しかも楽曲ごとに手作業でイベントを設定する必要がなく，Songle の解析結果( 2 ) 好きな曲で連動
2.2 節 で述べた入門的な音楽連動制御アプリに対応している．

( 3 ) Songle Sync アプリを開発（ビート，小節，サビ区間，繰り返し区間，コードな

このページ内のコードエディタに，マスターとスレー

ど）をイベントとして利用できる．

ブのサンプルプログラムがセットされており，それを( b ) プログラマは他の機器との連動制御を意識する必要がない．

1 台の機器を念頭においてアプリをプログラミングす

書き換えて Web ブラウザ上で実行結果を確認しながら，アプリ開発を習得できる．

( 4 ) Songle Sync アプリを公開るだけで，他の多数の機器と自動的に連動できる．し開発した Songle Sync アプリを GitHub で公開する手

かも，スマートフォンやパソコンの Web ブラウザで動順や，Node.js を使って Songle Sync マスターとして動作するアプリ，照明を制御するアプリ，ロボットを制作する Web サーバを開発・公開する方法を紹介して御するアプリのように，個別に開発されたさまざまないる．

種類のアプリを，ある楽曲の再生に一緒に連動させる

以上の設計では，Web 上でのプログラミングのためのチューことができる．このようにプログラマは，通信や他のトリアルに関する調査研究 [4] も参考にした．

機器との連動制御を全く意識せずに，大規模な音楽連
動制御を実現できる．

6. 実証実験

以上により，ユーザにとって自分の機器が容易に他の機Songle Sync プラットフォームの有効性を確認するため器と連動する新たな音楽体験を可能にするだけでなく，プに，100 台以上のスマートフォン・パソコン・IoT デバイス

ログラマにとっても大規模な音楽連動制御による演出を容（ロボット・照明等）を音楽連動制御する実証実験と，音楽

易にプログラミングできる新たな体験を可能にする．

ステージで数百人のスマートフォン音楽連動制御する実証実験を実施した．

5.1 Songle Sync API とサンプルプログラム
Songle Sync プラットフォームを Web 標準技術で実装し，6.1 実証実験 1: 多種多様な機器の音楽連動制御

開発キットの Songle Sync API を JavaScript で提供した．プ

図 2 に示した多様な利用事例のすべてを同じ部屋で一斉

ログラマは，JavaScript で記述した音楽連動制御アプリをに動作させる実証実験を実施した．そのために図 7 に示し

幅広い実行環境（JavaScript が実行できる一般的な Web ブ

た複数種類の音楽連動制御アプリを開発し，本実証実験のラウザ，IoT デバイス上で動作する JavaScript 環境 Node.js

ための専用の Songle Sync ステージにスレーブとして接続など）で動作させることができ，ユーザは，QR コードなさせた．同ステージに接続したマスターから再生する楽曲

どで手軽に利用できる．

を部屋のスピーカーから鳴らし，10 種類，100 台以上の機

API の 使 用 方 法 は ，サ ン プ ル プ ロ グ ラ ム と し て
GitHub (https://github.com/SongleJp/songle-widget) で公開しc 2018 Information Processing Society of Japan⃝

器がその楽曲の中身に同期することを確認した．
以下では，これらの利用事例を 4 つに分類して説明し，

8

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

図 6 手軽で容易な大規模音楽連動制御を可能にする開発キット

6.1.3 ファッション制御
LED で装飾した光る衣装や，個別の LED を制御して光る腕輪を開発して制御し，音楽に連動して光らせた．光る
衣装は，服に LED（Adafruit NeoPixel）計 200 個を貼り付
けて Arduino に接続した．光る腕輪は，腕輪に LED を埋め込んで Arduino に接続した．その上で，ビートや小節等に連動して色と明るさが変化するように制御した．

6.1.4 メカ制御
音楽に連動して，IoT 化した小型ロボットを動かし，電図 7 多様な音楽連動制御アプリが利用されている状況でのシステム
構成図

動カーテンを開閉させた．小型ロボットには市販の Rapiroと Webmo を使用した．Rapiro と Webmo には，モータ制
御用にそれぞれ Raspberry Pi と Intel Edison が内蔵されて得られた結果を述べる．

6.1.1 画面表示
音楽に連動した CG アニメーションを，パソコン（Win-dows, macOS），Phone，iPad， iPod touch，Android スマー
トフォン，Raspberry Pi の画面に表示した．このための音楽連動制御アプリを Web 上に用意し，それを各機器の Web
ブラウザで読み込むと演出が開始される．

CG アニメーションの演出スタイルは 5 種類用意し，ビー
トや小節の先頭で変化するだけでなく，楽曲構造のサビ区
間や繰り返し区間で種類を切り替え，単調ではない映像表
現となるように工夫した．また，描画性能が低い Raspberry

Pi のような端末にも配慮し，WebGL を用いない軽量な演
出スタイルも用意した．

6.1.2 空間演出制御
IoT 化した照明機器や LED 内蔵の生活雑貨（花瓶，キャンドル）を開発して制御し，部屋・環境の照明・光を音楽に連動して変化させた．そのために，DMX512 対応の照明
機器を DMX 拡張ボードを介して Arduino に接続した．花瓶とキャンドルは，市販機器に対して LED を置き換えたり信号線を変更したりして Arduino に接続した．その上で，いずれもパソコン上の JavaScript プログラムから Arduino

おり，それらの上で Node.js を動かして，JavaScript プログ
ラムを実行した．
カーテンは，市販の電動カーテンのリモコン上で，カーテン開閉ボタンの回路電圧を Arduino で制御した．これにより，パソコン上の JavaScript プログラムから Arduino 経
由で開閉を制御でき，サビ区間の開始時点でカーテンを開き，終了時点で閉じるようにした．

6.1.5 実証実験結果
100 台を超える機器を同時にスレーブとして制御した状
態で，マスターで再生した楽曲に同期した制御が可能なことを確認した．Songle Sync ステージで管理しているマス
ターとスレーブの接続状況の接続台数を画面に表示し，それが 110 台を超え続けている状態を維持した．
ただし，同一の部屋に設置した 100 台以上の機器が Songle

Sync サーバに円滑にインターネット接続するためには，有線 LAN と無線 LAN を併用し，高性能なネットワーク機器を用いる必要があった．さらに，冷却ファンを持たない機器が熱暴走を起こすのを防ぐため，室温管理とファン等による冷却・排熱が不可欠だった．その結果，すべてのス
レーブが繰り返し安定に動作し，実証実験時の Songle Sync
サーバの負荷も充分低く抑えられていることを確認した．

経由で LED の色を制御した．

c 2018 Information Processing Society of Japan⃝

9

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

6.2.2 実証実験結果
実証実験中のライブ会場の様子を図 9 に示す．QR コー
ドが書かれたポストカードを 900 人以上の来場者に配布
し，途中まで，あるいは，途中から部分的に参加する来場者も多かったが，40 分間の最初から最後まで Songle Sync
サーバが安定して動作し，意図していた演出に成功したことを確認した．のべ 600 人以上は接続していたと推測さ
図 8 DJ ステージの実証実験で表示された CG アニメーションの例

れ，最大同時接続数として，少なくとも 275 人以上の来場
者のスマートフォンが同時に接続されたことを確認した．
会場内の 4G 回線等による来場者のスマートフォンのイン
ターネット接続には支障がなく，Songle Sync サーバの負荷も充分に低いことが確認できた．これらは実証実験を実施しなければ確認できない点であり，サーバに対する負荷テストは事前に可能でも，実際に数百台のスマートフォンを接続した状態での動作検証は困難なので，本実証実験は有意義であった．
実証実験中の来場者の様子を見て気づいた点，考察した点を以下に述べる．

• ペンライトを持参している来場者が多く，音楽に合わせて片手でペンライトを振りながら，反対側の手にス
マートフォンを持って Songle Sync の演出を楽しんでいる姿が多く見られた．

• ステージから遠い来場者は，図 9 の上の写真のように
アーティストやステージ上のディスプレイを充分に見
図 9 実証実験中の DJ ステージ会場の様子ることができないことがあり，手元でステージ上と同
じ CG アニメーションを見られる Songle Sync の画面

6.2 実証実験 2: 音楽ステージでの音楽連動制御を注視する姿が目立っていた．

幕張メッセで開催されたイベント『初音ミク「マジカル• ステージに近い来場者は，一時的には参加しても，ミライ 2017」』の企画展 DJ ステージ『keisei ×ミクダヨー

Songle Sync を注視し続けることは少なかった．ス

DJ ステージ − Songle Sync コラボ −』（2017 年 9 月 2 日開

マートフォンの画面を見続けて，目の前のアーティス

催）において，Songle Sync による演出を来場者が体験する

トを見ないのは考えにくく，その行動は自然だと考え

実証実験を実施した．QR コードが書かれたポストカードられる．実際，アーティスト側から見たときにも，目を来場者に配布し，各来場者がその QR コードをスマートの前の来場者が下を向いて画面を見ていたら望ましくフォンから開くと，ステージの音楽に同期して画面の CGない可能性が高く，必ずしも来場者全員に参加しても映像が一斉に変わる演出を提供した．その結果，40 分間のらうことを前提にしない方がよいと考えられる．3.2

演奏中に数百人が同時アクセスしても支障なく楽しめるこ節 の利用シーンで提案したような，ライブ開始前やイとを確認した．

ベントの入場待機列などの場面で用いるのであれば，

6.2.1 DJ ステージ特別版による演出

こうした問題が起きにくい．

今回の DJ ステージ専用の音楽連動制御アプリを開発し，• 来場者が同じ CG アニメーションを見るだけでなく，

40 分間に使用される各楽曲に適した CG アニメーションをステージと連動したインタラクティブな要素を音楽連用意した．その際，JavaScript のプログラムのサイズが小動制御アプリに加え，アーティストが呼びかけて反応

さく，極力多くの機種のスマートフォンで動作するようにするような演出をするのも効果的だと考えられる．

工夫した．そのスクリーンショット例を図 8 に示す．
会場のスピーカーから流れる音楽に同期して，この CG

7. 関連研究

アニメーションがステージ上の大型ディスプレイと，来場

音楽に連動した表現や制御は高い価値を持ち，人々の関者のスマートフォンに表示されるようにした．開演前は，心も高い．そのため，音楽を自動解析した結果に基づいて，ステージ上のディスプレイに QR コードを表示し，参加を音楽に連動した映像やアニメーションを生成する研究も数呼びかけた．

多く取り組まれてきた．例えば，音楽のビート等の中身に

c 2018 Information Processing Society of Japan⃝10

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

情報処理学会研究報告
IPSJ SIG Technical Report

応じて三次元 CG キャラクタを踊らせる技術 [5,6] は，既にウザだけで動作する点は Songle Sync と共通である．しかさまざまな形で開発されて産業界で一般的になっている．

し，これらの事例で用いられている技術は，Songle Sync の音楽の中身に応じて，ビデオや写真を編集してミュージッ

ような汎用のプラットフォームではなかった．

クビデオを生成する研究事例も多い [7–9]．楽譜や歌詞をSongle Sync では，一般ユーザがいつでもどこでも手軽

含むさまざまな視覚的な素材を音楽に連動させて表示したに大規模音楽連動制御を体験でき，プログラマが開発キッり [10]，歌詞の内容に基づいて画像を表示したり [11, 12]

トで手軽に開発に参加できる点が，従来の研究事例や取りする研究もなされてきた．

組みとは大きく異なる．

そうした音楽に連動した表現・制御をプログラマが容易に開発できるように，我々は，上述の能動的音楽鑑賞

8. おわりにサービス Songle [1–3] で曲の中身を解析した結果を，1 台

本稿では，Web ブラウザから利用できる拡張性の高いのパソコンの Web ブラウザ上で利用して音楽に連動した大規模音楽連動制御プラットフォーム「Songle Sync」を提演出ができる開発フレームワーク「Songle Widget（ソング

案した．新たに開発した大規模音楽連動制御技術を音楽理

ルウィジェット）」(http://widget.songle.jp) [13]

解技術と融合させることで，多種多様な機器を用いた大規を研究開発し，公開してきた．この Songle Widget の API

模な音楽連動制御を手軽に利用・開発できる．実証実験では，音楽視聴支援サービス「Songrium（ソングリウム）」

は，ハードウェアの性能や特性が異なる多種多様な 100 台(http://songrium.jp) [14, 15] や 歌 詞 ア ニ メ ー シ ョ

以上の機器を同時に制御でき，音楽ステージで数百人のス

ン 制 作 支 援 サ ー ビ ス「TextAlive（ テ キ ス ト ア ラ イ ブ ）」マートフォンの画面を一斉に変える制御が可能なことを確(http://textalive.jp) [16] でも活用され，音楽に連認した．

動した映像表示を可能にしている．Songle Widget は音楽

今後も Songle Sync の持続的な研究開発・運用に取り組連動制御のためのブラウザベースの開発フレームワークでみ，スケーラビリティの検証や，より多様な音楽連動制御あり，本研究の Songle Sync の土台となっているが，Songle

アプリでの有効性の確認を進めていく予定である．そして，

Sync のように複数の機器の制御はできなかった．

インターネット経由で音楽に連動制御される端末・デバイ

また，プログラミングによって即興で音楽を奏でる Live

ス群によって構成されるネットワークを，音楽版の Internet

Coding においては，音楽だけでなく，ビートなどに同期しof Things (IoT) の意味を込めて「Internet of Musical Thingsて表示する映像を同時にプログラミングすることも珍しく(IoMT)」と名付け，音楽と物理空間を融合した利用事例をない．例えば Gibber [17] では Web ブラウザ上でそのよう開拓していく．そのために産業界等と連携しながら，ライな即興演奏が可能である．また，そうしたプログラミング

ブ・イベントや，ショッピングモール・店舗，カフェ・飲環境をインターネット越しに共有し，複数人でセッション

食店，ファッション，街中など，さまざまな利用シーンにできるようにする試みも存在する [18]．しかしながら，こ応用展開していければと考えている．

れらはあくまで Live Coding のための試みであり，本研究

謝辞Songle Sync の音楽連動制御アプリの実装を担当のように既存の好みの楽曲に合わせて多種多様な機器を制して頂いた石田 啓介 氏（CG アニメーション），土田 修平御するアプリケーション開発はできない．

氏（電飾衣装制御），中村 裕美 氏（照明機器制御），およ

本研究でも音楽イベントでの活用例を議論したが，来び，Songle Sync の土台となる Songle サービスのサーバと場者にスマートフォンで参加を促す音楽イベントは既にクライアントの実装を担当して頂いた川崎 裕太 氏に感謝実施されている．2013 年 1 月に東京で開催されたイベン

する．本研究の一部は JST ACCEL (JPMJAC1602) の支援

ト「FULL CONTROL TOKYO」では，来場者がスマートを受けた．

フォンに専用アプリケーションをインストールし，事前に決められた特定の楽曲の進行に合わせて，各画面上で参考文献

単色の色が変わる，という演出が実施されていた．また，[1]

スマートフォンを入力コントローラーとする演出も取り入れられていた．2016 年 8 月にオランダで開催されたイベント「Lowlands Festival」では，Smartphone Orchestra[2](https://smartphoneorchestra.com) では，楽曲の構成要素を事前に分割しておき，その音を来場者のスマー
トフォンのスピーカーから別々に鳴らすことで，全体で音[3]楽を構成するコンサートが実施されていた．音楽に連動して生成される映像表現はなく，各画面は単色で様々な色が表示されていた．専用アプリケーションはなく，Web ブラ

c 2018 Information Processing Society of Japan⃝[4]

Goto, M., Yoshii, K., Fujihara, H., Mauch, M. and Nakano,
T.: Songle: A Web Service for Active Music Listening Improved by User Contributions, Proc. of ISMIR 2011, pp. 311–
316 (2011).
後 藤 真 孝 ，吉 井 和 佳 ，藤 原 弘 将 ，Mauch, M.，中 野 倫
靖：Songle: 音楽音響信号理解技術とユーザによる誤り訂正に基づく能動的音楽鑑賞サービス，情処学論，Vol. 54,
No. 4, pp. 1363–1372 (2013).
後藤真孝，吉井和佳，中野倫靖：Songle: Web 上の楽曲の中身を音楽理解技術で推定する能動的音楽鑑賞サービ
ス，情処研報音楽情報科学，Vol. 2013-MUS-100, No. 16,
pp. 1–9 (2013).
Kim, A. S. and Ko, A. J.: A Pedagogical Analysis of Online

11

情報処理学会研究報告
IPSJ SIG Technical Report

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

Vol.2018-MUS-118 No.9
Vol.2018-SLP-120 No.9
2018/2/20

Coding Tutorials, Proc. of ACM SIGCSE 2017, pp. 321–326(2017).
Goto, M. and Muraoka, Y.: A Beat Tracking System for
Acoustic Signals of Music, Proc. of ACM Multimedia 94, pp.
365–372 (1994).
Sauer, D. and Yang, Y.-H.: Music-driven Character Animation, ACM Trans. Multimedia Comput. Commun. Appl.,
Vol. 5, No. 4, pp. 1–16 (2009).
Foote, J., Cooper, M. and Girgensohn, A.: Creating Music
Videos Using Automatic Media Analysis, Proc. of ACM Multimedia 2002, pp. 553–560 (2002).
Hua, X.-S., Lu, L. and Zhang, H.-J.: Automatic Music Video
Generation Based on Temporal Pattern Analysis, Proc. of
ACM Multimedia 2004, pp. 472–475 (2004).
Shamma, D. A., Pardo, B. and Hammond, K. J.: MusicStory:
A Personalized Music Video Creator, Proc. of ACM Multimedia 2005, pp. 563–566 (2005).
Kurth, F., Müller, M., Damm, D., Fremerey, C., Ribbrock, A.
and Clausen, M.: SyncPlayer — An Advanced System for
Multimodal Music Access, Proc. of ISMIR 2005, pp. 381–
388 (2005).
Geleijnse, G., Sekulovski, D., Korst, J., Pauws, S., Kater, B.
and Vignoli, F.: Enriching Music with Synchronized Lyrics,
Images and Colored Lights, Proc. of Ambi-Sys 2008, pp. 1–8(2008).
Funasawa, S., Ishizaki, H., Hoashi, K., Takishima, Y. and
Katto, J.: Automated Music Slideshow Generation Using
Web Images Based on Lyrics, Proc. of ISMIR 2010, pp. 63–
68 (2010).
Goto, M., Yoshii, K. and Nakano, T.: Songle Widget: Making Animation and Physical Devices Synchronized with Music Videos on the Web, Proc. of IEEE ISM 2015, pp. 85–88(2015).
Hamasaki, M., Goto, M. and Nakano, T.: Songrium: Browsing and Listening Environment for Music Content Creation
Community, Proc. of SMC 2015, pp. 23–30 (2015).
Hamasaki, M., Goto, M. and Nakano, T.: Songrium: A Music
Browsing Assistance Service with Interactive Visualizationand Exploration of a Web of Music, Proc. of WWW 2014, pp.
523–528 (2014).
Kato, J., Nakano, T. and Goto, M.: TextAlive: Integrated Design Environment for Kinetic Typography, Proc. of ACM CHI
2015, pp. 3403–3412 (2015).
Roberts, C. and Kuchera-Morin, J.: Gibber: Live coding audio in the browser, Proc. of the International Computer Music
Conference (ICMC), pp. 64–69.
Roberts, C., Yerkes, K., Bazo, D., Wright, M. and KucheraMorin, J.: Sharing Time and Code in a Browser-Based Live
Coding Environment, Proc. of the First International Conference on Live Coding, pp. 179–185 (2015).

c 2018 Information Processing Society of Japan⃝

12