Songle

ユーザが誤り訂正により貢献可能な能動的音楽鑑賞サービス
後藤 真孝 吉井 和佳 藤原 弘将 Matthias Mauch 中野 倫靖（産業技術総合研究所）

http://songle.jp（本研究の一部は JST CREST の支援を受けた）

Songle は、音楽理解技術によって音楽の聴き方をより豊かにするための能動的音楽鑑賞サービスである。研究開発中の音楽理解技術と音楽インタフェースを Web 上で体験してもらうことで、音楽鑑賞がより能動的で豊かになる質的な変化を日常生活で起こすことを目指している。ユーザが登録した Web 上の楽曲に対して、4 種類の音楽的要素（楽曲構造、階層的なビート構造、メロディライン、コード）を自動推定して可視化することで、それを見て再生したユーザの音楽理解が深まることを可能にする。しかし、自動推定では誤りが不可避である。そこで効率的な誤り訂正インタフェースを提供し、誤りを人手で訂正可能にした。そうした訂正という形での不特定多数の貢献はユーザ間で共有され、ユーザ全員の体験・利便性が向上していく。

産総研独自の音楽理解技術による推定結果を見ながら能動的に音楽を鑑賞
音楽理解技術による推定結果（音楽情景記述）

楽曲構造（音楽地図）
コード
メロディライン
階層的なビート構造

サビ区間や繰り返し区間へ頭出しして聴くことが可能

楽曲構造

階層的なビート構造

サビ区間
小節の先頭と拍位置繰り返し区間
誤り訂正インタフェースにより推定誤りは誰でも自由にメロディライン
コード
訂正して保存・共有できる
歌声の音高軌跡
ルート音と和音の種類

Songle（ソングル）とはユーザが誤り訂正により貢献可能な能動的音楽鑑賞サービス
・音楽をより深く理解しながら、能動的に音楽鑑賞が楽しめるサービス
・インターネット上で公開中の任意の楽曲 (MP3 の URL) を登録可能
ピアプロ、twitter、Open ID（Google、Yahoo 等）のアカウントでログイン

・音楽理解技術で推定した内容（サビ、ビート、メロディ、コード）を表示「音楽地図」を見ながら、繰り返しや音楽的要素に気づくことができる

Songle の実装

・楽曲中のサビ区間や繰り返し区間へ頭出しして聴くことが可能
楽曲構造に基づくブラウジングで、興味のない区間を容易に飛ばせる

訂正せずに能動的音楽鑑賞を楽しむだけでよい

・容易に訂正できる人は限られている
訂正する場合でも全部を完璧にせずに一部だけでよい

どういう未来を切り拓くのか
デジタル化された音楽コンテンツが持つ潜在的な可能性
・まだ充分には引き出されていない多量の楽曲に自在にアクセスできる量的な変化は起きた・膨大な音楽コンテンツを保存していつでもどこでも視聴可能
・音楽配信やオンラインストレージ等の普及で持ち運び不要
書誌情報に基づく音楽検索
協調フィルタリング等に基づく音楽推薦

データベース管理部
音楽理解状態管理部
Speechrecognizer
recognizer
SpeechSpeechrecognizer
Speechrecognizer
音楽理解モジュールＷｅｂサーバ・Songle は誤り訂正を集積するのが目的ではなく人々の音楽の聴き方を能動的で豊かにするのが目的

サビ検出手法 RefraiD、メロディ推定手法 PreFEst 等の成果を使用

・楽曲 MP3 は元サイトから Songle を経由せずにブラウザ上で再生

Ｗｅｂクローラ

訂正せずに楽しむだけで十分・音楽理解技術（音楽情景記述推定手法）
を 20 年間研究開発

楽曲
楽曲

音楽理解技術は得手不得手がある（歌声を含むポピュラー音楽を前提）

音楽理解モジュールは任意の計算機上で実行可能（ＭＰ３ファイル）楽曲（ＭＰ３ファイル）楽曲（ＭＰ３ファイル）（ＭＰ３ファイル）・推定誤りは候補選択等により誰でも自由に訂正して保存・共有可能

インタフェース
インタフェース
インタフェース

試験公開と外部連携
産総研が単独で研究開発した Songle ベータ版の試験公開開始
・2012 年 2 月 2 日 Songle ベータ版を試験公開開始
・2012 年 2 月 2 日 CGM 型コンテンツ投稿サイト「ピアプロ」との連携機能を試験的に追加
ピアプロプレーヤー上
ピアプロの各曲から
Songle へのリンク Songle ででのサビ JUMP 機能
自動音楽理解＆訂正

・音楽の音響信号の内容理解に踏み込んだ処理は普及していなかった
従来は表層的なスペクトル特徴量等に基づく処理が中心で限界
表層的な処理では性能が頭打ちになる「ガラスの天井」問題が有名

デジタル化がもたらす次の価値は質的な変化
・音楽の聴き方がより能動的で豊かになる質的な変化をエンドユーザの日常生活で起こすことが最終的な目的
・変化を起こす鍵となるのが音楽音響信号理解技術（音楽の音響信号を自動的に理解できる技術）
一生かけても聞ききれない膨大な楽曲を計算機が聴いてくれる・音楽コンテンツを蓄積するだけでなく計算対象にしていく！

本研究の意義社会的意義 : 世界初の Web サービスによりユーザの役に立つ
・音楽理解技術に基づく世界初の Web サービス & インタフェース
音楽の聴き方がより能動的で豊かになる質的な変化を誰でも体験

・音楽理解技術の存在自体への認知度の向上、性能への理解を促す
どういう音楽ジャンルや混合音に対する推定が難しいかを理解
訂正の痕跡を着色することで性能が過大評価されないように配慮

能動的音楽鑑賞インタフェース
従来の受動的な鑑賞とは違う能動的な音楽鑑賞を可能にする
エンドユーザ向け音楽インタフェース
・「音楽理解技術が音楽の聴き方をどのように豊かにできるか」を
2002 年から様々な事例を実現して明らかにしてきた・ここでの「能動的」という言葉は音楽の創作は意味せず、音楽鑑賞を楽しむ上でのあらゆる能動的なインタラクションを意味する
音楽再生位置の変更、インタラクティブな加工、ブラウジング等

サビ出し機能付き音楽試聴機 SmartMusicKIOSK［後藤真孝 , インタラクション 2003 ベストペーパー賞］

学術的意義 : ユーザの訂正による利便性と利用率向上の探求
・従来の信号処理に基づく音楽理解研究にはなかった発想
集合知やクラウドソーシングを活用してユーザ体験の向上を実現
技術が不充分でもユーザの貢献によって利便性を感じられる仕組み

・他の訂正活動もわかる社会的訂正によるポジティブスパイラル(i) 音楽理解技術に基づくサービスを利用して性能を理解する(ii) 誤りを訂正してサービス改善にユーザが貢献する(iii) その改善がより良い音楽鑑賞体験に結びつく（(i) がさらに促進）

今後の予定
・試験公開から一般公開へ向けた研究開発、機能向上、操作性改善
可視化方法の多様化、音楽理解性能の向上、訂正インタフェース改善

・ユーザ訂正で音楽理解性能をどこまで高くできるかを探求

・ユーザが楽曲中の興味のない区間を容易に飛ばしながら自動検出されたサビ区間を聞く

訂正結果を機械学習して性能向上させる仕組みを将来実装予定

・楽曲中の繰り返し構造を可視化した「音楽地図」を見ながら音楽に対する理解をより深める

・将来的には様々な研究者が開発した音楽理解技術に対応し共同で社会に対して貢献していくプラットフォームに発展

能動的音楽鑑賞インタフェースや音楽理解技術を日常生活で誰でも自由に使える環境は実現されていなかった

産総研の関連サービス :音声全文検索・書き起こしサービス PodCastle (http://podcastle.jp)

・誰でも質的な変化を実感することが Songle で初めて可能に！

訂正の信頼性（楽曲内容と合致するか）を音響的に自動検証

2012/03/17 情報処理学会 インタラクション 2012 / songle@m.aist.go.jp