Songle
ユーザが誤り訂正により貢献可能な能動的音楽鑑賞サービス
産業技術総合研究所
後藤 真孝 吉井 和佳 藤原 弘将
Matthias Mauch 中野 倫靖
2012/03/15 インタラクション2012
No. 1

音楽理解技術により人々の音楽の聴き方をより能動的で豊かに
No. 2

能動的音楽鑑賞インタフェース
 能動的音楽鑑賞インタフェース[後藤, 2002-2012]• 従来の受動的な鑑賞とは違う、インタラクティブな音楽鑑賞
 「SmartMusicKIOSK: サビ出し機能付き音楽試聴機」[後藤, インタラクション2003ベストペーパー賞]• 一連の能動的音楽鑑賞インタフェースに取り組む発端• 「音楽地図」を見ながら再生位置を容易に変更

No. 3

能動的音楽鑑賞インタフェース
 能動的音楽鑑賞インタフェース[後藤, 2002-2012]• 従来の受動的な鑑賞とは違う、インタラクティブな音楽鑑賞
 「SmartMusicKIOSK: サビ出し機能付き音楽試聴機」[後藤, インタラクション2003ベストペーパー賞]• 一連の能動的音楽鑑賞インタフェースに取り組む発端• 「音楽地図」を見ながら再生位置を容易に変更

理く深りよを
図
意の家
楽
音やかけ造

解

把握
きっくを聴子て様しる
識す
意化を変
造が構
ジン
レ
楽曲
アや詞に歌とごし返
繰り

楽曲構

No. 4

従来、研究開発段階の音楽インタフェースや技術を日常生活で人々に使ってもらうのは容易でなかった
No. 5

誰でも手軽にWeb上で能動的音楽鑑賞を！

能動的音楽鑑賞サービス

Songle http://songle.jp

No. 6

Songle (http://songle.jp)
 能動的音楽鑑賞サービス Songle （ソングル）• 計算機が音楽を自動理解（解析）して中身を可視化• インタラクティブに音楽鑑賞を楽しめる• Web上で公開中の任意の楽曲 (MP3のURL) を登録可能

No. 7

Songle (http://songle.jp)
 産総研独自の音楽理解技術を使用• ４種類の音楽的要素を推定して表示表示された「音楽地図」を見ながら繰り返しや音楽的要素に気づくことができる

楽曲構造（サビ区間と繰り返し区間）

コード（ルート音と和音の種類）

メロディライン（歌声の音高軌跡）

階層的なビート構造（小節の先頭と拍位置）
No. 8

Songle デモンストレーション（可視化）No. 9

Songle デモンストレーション（可視化）Songle の自動推定結果を可視化することでユーザの音楽理解が深まる

No. 10Songle + SmartMusicKIOSK サビ出し機能付き音楽試聴機SmartMusicKIOSKを搭載• 楽曲中のサビ区間や繰り返し区間へ頭出しして聴くことが可能

サビ区間

サビ区間 サビ区間
繰り返し区間No. 11

音楽理解技術の誤り
 推定誤りが不可避• Web上の楽曲は多様だが音楽理解技術には得手不得手がある
歌声を含むポピュラー音楽を前提

楽曲構造（サビ区間と繰り返し区間）

コード（ルート音と和音の種類）

メロディライン（歌声の音高軌跡）

階層的なビート構造（小節の先頭と拍位置）
No. 12効率的な誤り訂正インタフェース
 推定誤りを誰でも自由に訂正して保存・共有できる機能

楽曲構造

階層的なビート構造

サビ区間
小節の先頭と拍位置繰り返し区間メロディラインコード

歌声の音高軌跡
ルート音と和音の種類
No. 13

訂正せずに楽しむだけで十分 Songle は誤り訂正を集積するのが目的ではなく人々の音楽の聴き方を能動的で豊かにするのが目的• 訂正せずに能動的音楽鑑賞を楽しむだけでよい Songle で容易に訂正できる人は限られている• 訂正する場合でも全部を完璧にせずに一部だけでよい

No. 14

実証実験
 産総研が単独で研究開発した Songle の実証実験• 2012年2月2日 Songle ベータ版を試験公開開始
 CGM型コンテンツ投稿サイト「ピアプロ」と外部連携• 2012年2月2日 ピアプロ との連携機能を試験的に追加
ユーザ数: 55万人以上
音楽コンテンツ数: 8万曲以上
・クリエータが自分の作品を投稿し、共同制作する「創造の場」
・ 「初音ミク」楽曲等の歌声合成がメインボーカルの楽曲が中心
No. 15

実証実験
 産総研が単独で研究開発した Songle の実証実験• 2012年2月2日 Songle ベータ版を試験公開開始
 CGM型コンテンツ投稿サイト「ピアプロ」と外部連携• 2012年2月2日 ピアプロ との連携機能を試験的に追加
ピアプロの各曲からSongleへのリンク
自動音楽理解＆訂正

ピアプロプレーヤー上でのサビJUMP機能
サビ区間
No. 16

実証実験
 産総研が単独で研究開発した Songle の実証実験• 2012年2月2日 Songle ベータ版を試験公開開始
 CGM型コンテンツ投稿サイト「ピアプロ」と外部連携• 2012年2月2日 ピアプロ との連携機能を試験的に追加
ピアプロの各曲からSongleへのリンク
自動音楽理解＆訂正
効率的な試聴でより多くの曲が聴いてもらえる初心者のユーザが楽曲制作を学べる場になる
ピアプロプレーヤー上でのサビJUMP機能
サビ区間
No. 17

Songleの貢献と意義

No. 18

まとめ: 社会的意義
 世界初のWebサービスによりユーザの役に立つ• 研究開発段階の音楽インタフェースや技術を誰でも使えるように 音楽理解技術の存在自体への認知度の向上• 他の応用事例開拓への波及効果
 音楽理解技術の性能への理解を促す• どういう音楽ジャンルや混合音に対する推定が難しいか• 訂正の痕跡を着色することで性能が過大評価されないよう配慮

No. 19まとめ: 学術的意義
 ユーザの訂正による利便性と利用率向上の探求• 従来の音楽理解研究にはなかった発想• 音声認識では我々のPodCastle (http://podcastle.jp) が先駆的
 みんなで訂正する社会的訂正によるポジティブスパイラル（１）音楽理解技術に基づくサービスを利用して性能を理解（２）誤りを訂正してサービス改善にユーザが貢献（３）その改善がより良い音楽鑑賞体験に結びつき（１）がさらに促進
従来のゲームの楽しさや金銭的報酬をインセンティブとした
クラウドソーシングのアプローチでは（３）が欠けていた[Turnbull et al., ’07] [Mandel et al., ’07] [Law et al., ’07][Lee, ’10][Mandel et al., ’10]
No. 20音楽コンテンツのデジタル化がもたらす真の価値を引き出す
No. 21

音楽のデジタル化がもたらす真の価値を引き出す デジタル化された音楽コンテンツが持つ潜在的な可能性• まだ充分には引き出されていない
 多量の楽曲に自在にアクセスできる量的な変化は起きた• 音楽配信、オンラインストレージ等の普及• 膨大な音楽コンテンツをいつでもどこでも視聴可能 デジタル化がもたらす真の価値は質的な変化• 音楽コンテンツを蓄積するだけでなく計算可能にしていく！
• 変化を起こす鍵となるのが音楽理解技術• 音楽の楽しみ方がより能動的で豊かになる質的な変化をエンドユーザの日常生活で起こすことが最終的な目的
No. 22

是非お試し下さい！

日本語版と英語版が利用できます
Web上で公開中の任意の楽曲 (MP3のURL) を登録できます
No. 23