情報処理学会 インタラクション 2012IPSJ Interaction 20122012-Interaction
2012/3/15

Songle: ユーザが誤り訂正により貢献可能な能動的音楽鑑賞サービス
後 藤 真 孝†吉 井Matthias Mauch†

和 佳†
中 野

藤 原
倫 靖†

弘

将†

本稿では，音楽音響信号理解技術によって音楽の聴き方をより豊かにするための能動的音楽鑑賞
サービス Songle について述べる．従来，研究開発段階の音楽インタフェースや技術を，日常生活で人々に使ってもらうのは容易でなかった．Songle では，Web 上で人々に能動的音楽鑑賞インタフェー
スを体験してもらうことで，音楽鑑賞がより能動的で豊かになる質的な変化を日常生活で起こすことを目指す．そして，Web 上の任意の楽曲に対して楽曲構造，階層的なビート構造，メロディライン，コードの 4 種類の音楽情景記述を自動推定して可視化することで，それを見て再生したユーザの音楽
理解が深まることを可能にする．しかし，自動推定では誤りが不可避である．そこで効率的な誤り訂正インタフェースを Web 上で提供し，誤りを人手で自発的に訂正する貢献を促す．そうした不特定多数による訂正がユーザ体験の改善に結びつくことで，Songle のさらなる利用を促していく．

Songle: An Active Music Listening Service
Enabling Users to Contribute by Correcting Errors
M ASATAKA G OTO ,† K AZUYOSHI YOSHII ,† H IROMASA F UJIHARA ,†M ATTHIAS M AUCH† and T OMOYASU NAKANO †This paper describes a public web service for active music listening, Songle, that enriches music listening experiences by using music-understanding technologies based on signal processing. Although various
research-level music interfaces and technologies have been developed, it has not been easy to get people touse them in everyday life. Songle aims at bringing qualitative changes in everyday life toward more active,richer music listening by enabling people to experience active music listening interfaces on the web. Songle
facilitates deeper understanding of any musical piece on the web by visualizing its music scene descriptions
estimated automatically, such as music structure, hierarchical beat structure, melody line, and chords. Whenusing music-understanding technologies, however, estimation errors are inevitable. Songle therefore features an efficient error correction interface that encourages people to contribute by correcting those errors to
improve the web service. The error corrections by anonymous users lead to a better user experience, which
encourages further use of Songle.

の音響信号の内容理解に踏み込んだ処理は，ほとんど

1. は じ め に普及していなかった．

デジタル化された音楽コンテンツが持つ潜在的な可デジタル化がもたらす価値として，こうした多量の能性は，まだ充分には引き出されていない．近年，膨楽曲に自在にアクセスできる量的な変化は日常生活

大な音楽コンテンツをデジタル化して保存しておくこで起きたが，本研究ではさらに，音楽の聴き方がよりとで，いつでもどこでも視聴可能になった．また，音能動的で豊かになる質的な変化をエンドユーザの日常

楽配信やオンラインストレージ等の普及により，自ら生活で起こすことを最終的な目的とする．その変化を持ち運ぶ必要もなくなり，書誌情報に基づく音楽検索

起こす鍵となるのが，音楽の音響信号を自動的に理解や，協調フィルタリング等に基づく音楽推薦も実用化できる技術（音楽音響信号理解技術）である．我々はされた．しかし，従来は表層的なスペクトル特徴量等

2002 年から，従来の受動的な鑑賞とは違う，能動的に基づく処理が中心で限界があり（例えば，性能が頭な音楽鑑賞を可能にするエンドユーザ向け音楽インタ打ちになる「ガラスの天井」問題 [1] が有名），音楽

フェースの研究に取り組み [2]，その研究アプローチ† 産業技術総合研究所
National Institute of Advanced Industrial Science and Technology(AIST)「音楽音響信号理解技術が，音楽の聴き方をどのようを「能動的音楽鑑賞インタフェース」と名付けて [3]，に豊かにできるか」を様々な事例により明らかにして1

きた．ここでの「能動的」という言葉は，音楽の創作は意味せず，音楽鑑賞を楽しむ上でのあらゆる能動的なインタラクション（音楽再生位置の変更やインタラ
クティブな加工，ブラウジング等) を意味する．例えば，「SmartMusicKIOSK」[2, 4] では，ユーザが楽曲中の興味のない区間を容易に飛ばしながら，自動検出されたサビ区間を聞いたり，楽曲中の繰り返し構造を可視化した「音楽地図」を見ながら，音楽に対する理解をより深めたりすることができる．しかし，こうした研究中の音楽鑑賞インタフェースや音楽理解技術を，
日常生活で誰でも自由に使える環境は実現されておらず，エンドユーザは質的な変化を実感できなかった．
そこで本研究では，誰でも Web ブラウザ上で能動的音楽鑑賞インタフェースを使用して楽しむことができる
環境の実現を第一の目標とし，Web サービス「Songle」（ソングル）を実現して提供する．Songle は，音楽理

図1Songle の中心的な機能である音楽再生用インタフェースの画
面表示例．自動推定された音楽情景記述も可視化されている．
Fig. 1 Songle screen snapshot of the main interface for music playbackwith the visualization of music scene descriptions estimated automatically.

解技術を用いて，Web 上で公開されている任意の楽曲（MP3 形式の音響信号ファイル）中の音楽情景記述（音楽要素）[5,6] を推定する．Songle のユーザは，その結果が可視化された様子を見ながら，楽曲の再生を楽しむことができる．現在の実装では，(i) 楽曲構造（サビれた段階で，訂正結果を機械学習することによって，区間と繰り返し区間），(ii) 階層的なビート構造（拍と音楽理解技術の性能向上につなげていく予定である．

小節の先頭），(iii) メロディライン（メロディの歌声の

我々は 2009 年 6 月に Songle の開発を開始し，2 年

基本周波数 (F0)），(iv) コード（根音とコードタイプ

以上対外発表をせずに準備した後に，2011 年 10 月 20

（構成音））の四つの代表的な音楽情景記述を自動推定

日から，Songle の Web サービス (http://songle.jp) の一し，可視化して音楽内容に基づくブラウジングを可能

般公開を開始した [7]．Songle により，音楽の聴き方にする．Songle では特に，前述の SmartMusicKIOSK

がより能動的で豊かになる質的な変化を誰でも体験でのインタフェース機能を実装し，楽曲中の興味のあるきるだけでなく，どういう音楽ジャンルや混合音に対箇所を容易に見つけて聞くことができる．

する推定が難しいかといった音楽理解技術に対する理さらに本研究では，音楽理解技術が不充分であって解が深まることが期待できる．将来的には，様々な研も，ユーザの貢献によってユーザ自身が利便性を感じ究者が開発した音楽理解技術に対応し，共同で社会にられる仕組みの実現を第二の目標とし，音楽情景記述

対して貢献していくプラットフォームに発展させていの推定誤りを誰でも容易に訂正して貢献可能なインタ

ければと考えている．

フェースを Web 上で提供する．音楽理解技術は，推定

2. 能動的音楽鑑賞サービス Songle の機能

誤りが不可避だが，人間が一生かけても聞ききれない多量の楽曲を処理できる利点を持つ．一方，人間（特Songle は，Web 上の楽曲をユーザが検索，閲覧，アに音楽家）は音楽の内容をより深く理解して記述でき，

ノテーション可能なソーシャルアノテーション用 Web

推定誤りにも気づくことができるが，何もないところ

サービスである．図 1 に，楽曲選択後の Songle のインからすべてを記述するのは長時間かかり限界がある．

タフェース表示例を示す．Songle 公開当初の現段階でそこで両者が相補的に力を合わせることで，より的確

は，歌声を伴うポピュラー音楽を主な対象としている．

な音楽情景記述を各楽曲に付与し，音楽鑑賞時のユー

ユーザは，任意の楽曲の MP3 ファイルが置かれている

ザ体験を向上させることを狙う．Songle のユーザは推URL や，複数の MP3 ファイルの URL が列挙された

定誤りを見つけたら，自動生成された候補から選んだ

Web ページあるいは RSS (Really Simple Syndication)

り，直接編集したりして自発的に訂正する．その結果の URL を指定することで，Songle に登録できる．または他のユーザと共有されて，即座にユーザ体験の向上

Songle には，PIAPRO (http://piapro.jp/) や Magnatuneに資することができる．今後，充分な訂正量が蓄積さ(http://magnatune.com/) のような既存の音楽 Web サー2

ビスの楽曲を自動的に追加する機能もある．

そこで選択した区間が拡大表示されている．

誰でもログインせずに匿名で能動的音楽鑑賞を楽し

この機能では，自動推定した下記の 4 種類の音楽情み，推定誤りを自発的に訂正できる．ただし楽曲を登

景記述をユーザが閲覧しながら，普段見落としがちな録するには，OpenID を用いてログインする必要があ

構造や音に気づいたりできる点が重要である．

る．ログインすると，プレイリストを作成したり，作(1)

楽曲構造（サビ区間と繰り返し区間）

成したプレイリストに名付けて他のユーザと共有した

大局的な表示部に，SmartMusicKIOSK [2, 4] の「音りすることができる．ログインしたユーザごとの楽曲

楽地図」が表示されている．音楽地図は，楽曲中の推薦機能もあり，各曲の好き・嫌いの嗜好を入力して繰り返し構造を可視化した楽曲構造表示で，最上段

いくと推薦精度が向上する．

にサビ区間，その下の 5 段に様々な長さの繰り返し

Songle では，1 章で述べた二つの目標を達成するた区間が表示されている．各段の中で，着色されてい

めに，
「検索」，
「閲覧」，
「アノテーション（誤り訂正）」る区間同士が似ている（繰り返しである）ことを表の三つの機能を用意した．
「検索」と「閲覧」機能にしている．楽曲を聴く前に構造が把握できるので，

よって能動的音楽鑑賞を可能にし，「アノテーション」

区間を直接クリックして再生したり，興味がある場

機能によって，推定誤りを訂正して音楽情景記述の改所へ再生位置スライダを動かして再生したりするこ

善に貢献可能にする．そして，音楽情景記述が改善さとが可能である．音楽地図よりも上には，再生位置

れると，楽曲を検索・閲覧する際のユーザ体験も向上

スライダ，楽曲の先頭からの経過時間表示，再生操する．

作ボタンが表示されている．再生操作ボタンには，

2.1 「検索」機能

通常の再生，停止ボタンだけでなく，音楽地図に対曲名やアーティスト名をテキスト検索したり，曲名応した「前・次のサビ区間の頭出し」，「前・次の繰

一覧，アーティスト名一覧から選択したりして，次のり返し区間の頭出し」ボタンが配置されている．

「閲覧」機能で再生する楽曲を指定できる機能である．

(2)

階層的なビート構造（拍と小節の先頭）

最近推定や訂正がなされた曲名一覧や，様々なランキ

局所的な表示部の最下部では，小さい三角形が，各ング（再生回数の多い楽曲やアーティスト，登録楽曲

拍（四分音符に対応するビート）の位置を示していの多いアーティスト，訂正回数の多いユーザ等）からる．三角形の上側の頂点がその時刻である．大きい

選択することもできる．

三角形は，小節の先頭を示している．大局的な表示

さらに，声質の類似度に基づく楽曲検索が可能な能部でも，音楽地図の直下にすべての小節の先頭を赤

動的音楽鑑賞インタフェース「VocalFinder」[8] の発想

い点列で表示し，ユーザがテンポ変化に気づきやすを取り入れ，声質の類似楽曲グラフを表示して，そこく工夫した．

からの選択も可能にする．類似楽曲グラフの中心ノー(3)

メロディライン（メロディの歌声の基本周波数

ドには，推薦されたりユーザが指定したりした楽曲が(F0)）

配置され，それと声質が似ている楽曲のノードが周辺

局所的な表示部のビート構造表示の上には，メロに放射状に接続されて表示される．ユーザは，ノード

ディラインの基本周波数 (F0) がピアノロール☆ で表上の楽曲にマウスをオーバレイして試聴しながら，グ示されている．半音 (semitone) 単位に量子化した表

ラフ上を次々とたどることで，好みの声質に近い新た示もできる．大局的な表示部でも，下部に楽曲全体な楽曲を見つけることができる．

のメロディラインを縮小表示し，ユーザが繰り返し最終的に，検索結果や曲名一覧等で，興味がある楽や全体の高低変化に気づきやすく工夫した．

曲かを試聴をして判断し，楽曲を選択すると次の「閲(4)コード（根音とコードタイプ（構成音））

覧」機能の画面に切り替わる．プレイリストを選択し局所的な表示部の最上部には，各区間ごとのコードた場合には，その再生順に従って，「閲覧」機能画面上

名がテキストで表示されている．例えば，コード名

で聴いている楽曲が次々と自動的に切り替わる．

Abm7 は，根音が Ab であり，その構成音を示すコー

2.2 楽曲内の「閲覧」機能

ドタイプが m7 であることを意味している．1 オク

図 1 の上半分の再生画面のように，楽曲の内容（音ターブ中の 12 種類の根音をそれぞれ違う色で着色

楽情景記述）を可視化したユーザインタフェースによすることで，ユーザがコード進行の繰り返し等に気り，再生位置を自在に制御できる機能である．横軸が時間であり，再生画面上部の大局的な表示部には，楽☆

曲全体の構造が表示され，下部の局所的な表示部には，

3

ピアノロールとは，横軸が時間，縦軸が音高の二次元平面上で，発音中の部分に着色する表示方法である．

(a) 楽曲構造（サビ区間と繰り返し区間）の訂正(a) Correcting music structure (chorus sections and repeated sections)(b) 階層的なビート構造（拍と小節の先頭）の訂正(b) Correcting hierarchical beat structure (musical beats and bar lines)(c) メロディライン（メロディの歌声の基本周波数 (F0)）の訂正(c) Correcting melody line (F0 of the vocal melody)(d) コード（根音とコードタイプ（構成音））の訂正(d) Correcting chords (root note and chord type)

図 2 アノテーション機能で音楽情景記述を訂正する際の画面表示例．
Fig. 2 Songle screen snapshots of the annotation function for correcting music scene descriptions.

づきやすく工夫した．大局的な表示部の最下部も同再生画面下部の局所的な表示部のタブを切り替える

様に着色した．

ことで，下記の 4 種類の音楽情景記述を編集できる．

こうした表示は，「音楽理解力拡張インタフェース」[9](1)

楽曲構造 （図 2(a)）の観点からも重要であり，専門的知識のないユーザ

サビ区間，繰り返し区間の追加，移動，削除や，区（非音楽家）でも，各音楽的要素の存在や要素間の関間長の調整ができる．この訂正で音楽地図が改善さ

係，構成上の意図に気づきやすくなる．このように，れると，ユーザはより的確に再生位置の変更が可能

音楽の理解は再生に同期して「見る」ことで深まる．

になる．今後，各段に楽曲構造上のラベル（A メロ，

さらに，図 1 の下半分（再生画面の下）では，ソーB メロ等）を付与する機能を追加する拡張を検討しシャルタグや時刻同期コメント（各時刻を指定して言ている．

及することもできる任意のテキスト）を，ユーザが自(2)

階層的なビート構造 （図 2(b)）

由に追加・共有できる．時刻同期コメントをクリック

拍と小節先頭で異なるクリック音が鳴りながら楽曲すると，そこから再生される．音楽を聴いて気付いたと共に再生されるので，ユーザはそれらが正しいかことをその要素に時刻同期してコメントして共有するを確認する．訂正が必要な場合には，局所的な表示ことで，他の人とコミュニケーションしながら自分一部の下半分に表示された複数の訂正候補から選択し，人では気付けない豊かな理解を得ることができる [9]．

選択時点から先を置き換えることができる．もし適2.3 アノテーション（誤り訂正）機能

切な候補がない場合には，音楽再生に同期して拍と音楽を聴きながら推定誤りに気づいたら，それを訂

小節先頭の位置でそれぞれの入力キーを押すか，手正して，楽曲のアノテーションとして共有できる機能

作業で左右に直接移動して修正する．

である．ここでのアノテーションは楽曲の内容に関す(3)

メロディライン （図 2(c)）

る記述を意味し，候補選択や直接修正によって入力で推定したメロディの高さで合成音が楽曲と共に再生きる．そのために，図 2 に示すような効率的な誤り訂されるので，ユーザは訂正が必要な箇所を確認し，

正インタフェース（エディタ）を Web 上に実装した．

必要に応じてピアノロール表示上で半音単位の線を4

跡を直接描いて半音より細かい修正をしてもよい．
この訂正でメロディラインが改善されると，声質の類似楽曲グラフがより的確に求まる．

(4)

䝕䞊䝍䝧䞊䝇⟶⌮㒊㡢ᴦ⌮ゎ≧ែ⟶⌮㒊
Speechrecognizer
recognizer
SpeechSpeechrecognizer
Speechrecognizer㡢ᴦ⌮ゎ䝰䝆䝳䞊䝹䠳䡁䠾䝃䞊䝞

ᴦ᭤ᴦ᭤

部的には F0 の軌跡として表現されているので，軌䠳䡁䠾䜽䝻䞊䝷

䠄䠩䠬䠏䝣䜯䜲䝹䠅ᴦ᭤䠄䠩䠬䠏䝣䜯䜲䝹䠅ᴦ᭤䠄䠩䠬䠏䝣䜯䜲䝹䠅䠄䠩䠬䠏䝣䜯䜲䝹䠅

引いて訂正ができる．ただし，メロディラインは内䜲䞁䝍䝣䜵䞊䝇
䜲䞁䝍䝣䜵䞊䝇
䜲䞁䝍䝣䜵䞊䝇

図 3 Songle のシステム構成図．
Fig. 3 Implementation overview of Songle.

コード （図 2(d)）

コードの構成音が楽曲と共に再生されるので，ユー
ザはその音とコード名表示から正しいかを確認する．

に，音楽情景記述のそれぞれの種類に対応した音楽理訂正が必要な場合には，コード名をクリックして表解モジュールが，各楽曲を処理する．例えば，楽曲構造示される候補から選択するか，直接コード名をタイとビート構造は別々のモジュールが推定する．処理がプ入力できる．コードの区間（境界）も追加・修正・終わった音楽理解モジュールから音楽理解状態管理部

削除ができる．

へリクエストがあると，次に処理すべき楽曲が引き渡以上の訂正機能は，いかにユーザが迅速かつ容易に訂される．音楽理解モジュールがその推定処理を終える

正できるかを追求して実現した．上記で選択肢としてと，推定結果は音楽理解状態管理部を経てデータベー

表示される訂正候補は，いずれも音楽情景記述の推定

ス管理部に渡される．データベース管理部では，その時に事前に求めておく．

推定結果やユーザによる訂正結果を保存し，処理状態

以上が達成する Songle の第一の目標は，あくまでを管理する．最後に，Web サーバは，Songle のインタ1 章で述べたように，誰でも Web ブラウザ上で能動的フェースを提供する Web サイトとして動作する．なお

音楽鑑賞インタフェースを使用して楽しむことができ

楽曲 MP3 ファイルは，元の Web サイトから，Songle

る環境を提供することである．そのため，ユーザの多を経由せずに直接ユーザのブラウザ上で再生される．

くは訂正をせずに，単に能動的音楽鑑賞を楽しむこと

一連の機能のサーバ側動作は，Web アプリケーショ

を我々は想定している．実際，一部のユーザにとってンフレームワーク Ruby on Rails，プログラミング言語

は，訂正の意欲はあっても，上記の音楽情景記述（特Ruby，Web サーバ Passenger および Apache，データにコード）を訂正するのは難しい．そこで，より一層

ベース MySQL を用いて実装した．一方，クライアン

簡易に訂正できるインタフェースの設計にも，今後取ト側のユーザインタフェース機能は，スクリプト言語

り組んでいくことを検討している．また，訂正してもActionScript 3，そのコンパイラ Adobe Flex Compiler，

らえる場合でも，すべてが網羅的に訂正されるのでは

スクリプト言語 JavaScript を用いて実装した．

なく，ユーザが興味のある箇所が一部だけ訂正される

各音楽情景記述は，以下のように推定した．

ことを期待している．

(1)

楽曲構造の推定

こうした Songle の訂正機能は，音楽理解技術が不サビ区間と繰り返し区間は，ポピュラー音楽に対す充分であっても，ユーザの貢献によってユーザ自身がるサビ区間検出手法 RefraiD [2, 4] を用いて推定し利便性を感じられる仕組みの実現という第二の目標をた．RefraiD は，様々な繰り返し区間の相互関係を達成する．それと同時に 1 章で述べたように，ユーザ調べることで，転調の有無に関わらず，楽曲中で繰が Songle を使用して楽しむ過程で，音楽理解技術にり返されるすべてのサビ区間を網羅的に検出しよう

対する理解が深まることも我々は期待している．そことする特長を持つ．

で，性能が過大評価されないように，ユーザが誤り訂(2)

階層的なビート構造の推定

正すると，元の自動推定結果は違う色（図 2 の白，グ

拍推定は，テンポや位相の違いを表現する複数の

レー，黄色）で着色されて跡が残るように工夫した．

状態を持つ隠れマルコフモデル (HMM) に基づく手

これにより，ユーザは訂正された箇所を容易に区別で法を新たに実現した．各テンポにおいて，テンポ変きる．さらに，すべての訂正履歴を記録して，誰でも動や変化に追従した遷移が可能な left-to-right 型の訂正前後の比較ができる機能も用意した．

HMM で拍をモデル化し，各状態の出力確率は発音
時刻検出結果との一致度に基づいて計算した．裏拍

3. Songle の実装

や倍テンポ誤りが起きる可能性も考慮しながら，尤

Songle のシステム構成図を図 3 に示す．Web クロー

もらしい複数の拍候補を出力できる特長を持つ．

ラはユーザが登録した URL や RSS に基づいて楽曲

小節先頭の推定は，コードの響きの変化に基づく手

MP3 ファイルを収集し，データベースに登録する．次法を実現した．拍に同期した低域と高域の NNLS ク

5

ロマ特徴量 [10] を求め，コード変化をしている可能4.1 関 連 研 究

性が高い拍ほど，小節の先頭となるように計算した．

音楽の内容を表すアノテーションを収集する様々なその際，3/4，4/4，6/8 拍子のそれぞれの可能性を評手法が，従来提案されてきた．そうしたアノテーショ

価して，尤もらしい拍子と小節の先頭を決定した．

ンは，機械学習手法の学習データとしても，音楽情報(3)

メロディラインの推定処理システムの評価用正解データとしても，有用であ

混合音中で最も優勢な音高を推定する手法 PreFEst

る．例えば，Lee [14] は，金銭的報酬を与えて不特定[6] を，メロディの歌声に特化するように拡張した

多数に仕事を依頼するクラウドソーシング型 Web サー

F0 推定手法 [11] を用いて推定した．PreFEst により

ビス Amazon Mechanical Turk (MTurk) を用いて，類求めた各 F0 候補に対し，その歌声らしさを事前に似度の判断結果を集めた．Mandel ら [15] は，同様に学習した歌声 GMM を用いて評価することで，歌声

MTurk を用いて音楽を表現するタグを収集した．これに対する推定精度を高めた．さらに，歌声区間も文らのアプローチでは，充分に高い品質のアノテーショ

献 [12] の手法で推定した．

ンが得られたものの，いたずら対策が不可欠で，必要(4)

コードの推定とされるアノテーションの量に比例して，人間の労力

9 種類の代表的なコードタイプ (major, major 6th,と対価が増える問題があった．

major 7th, dominant 7th, minor, minor 7th, half-

その問題を解決する一つのアプローチが，ゲームと

diminished, diminished, augmented) に加え，ベース

して楽しませながらアノテーションを付与させる方音が異なる major コードの変種 5 種類 (/2, /3, /5, /b7,法である．例えば，Turnbull ら [16, 17] は，与えられ/7) の，計 14 種類のコードタイプに対応し，それた曲に対して最も適切・不適切な表現をプレーヤに選

ぞれに根音は 12 種類存在するので全部で 168 種類

ばせるアノテーションゲームを提案した．Mandel とのコードを推定できる手法を新たに実現した．コー

Ellis [18] も，他のプレーヤに付与されていないようドが存在しない区間も推定できる．本手法では，小な有用な表現を入力すると加点されるゲームを提案し節先頭の推定と同様のクロマ特徴量に基づくコード

た．Law ら [19] は，初期のアノテーションゲームと推定用 HMM と，3 種類のスケール (major, natural

して有名な画像用 ESP Game [20] の考え方に基づき，minor, harmonic minor) に対応した調（キー）推定用

ランダムに選ばれてペアになった相手が音に付与しそ

HMM を組み合わせた．その際，調ごとに使用されうな表現を推測して答えるゲームを提案した．一方，るコードが大きく異なることを文献 [13] のように

Songle のユーザは，貢献するとサービスが改善して自考慮し，一旦，調推定用 HMM に基づいて調の事後分を含む他のユーザの役に立てるということを明確に分布を推定し，それをコード推定用 HMM による各

意識できるので，こうした従来のアプローチよりも，

コードの確率の重みとして用いた．コード変化は拍貢献しようというより強い動機に基づいてアノテーの場所のみで起き，かつ，小節の先頭で起きる可能ション（訂正）可能な点が特徴的である．

性が高いように Viterbi 探索で考慮した．

他の関連研究としては，楽曲のアノテーション用

声質の類似楽曲グラフは，VocalFinder [8] で用いたエディタとして，Sonic Visualiser [21]，Audacity ex-

手法に基づいて，歌声の声質に関する 2 曲間の類似度

tension [22]，CLAM [23]，MUCOSA [24] のようなを網羅的に計算して求めた．現在の実装では，楽曲のスタンドアロンアプリケーションが開発されてきた．

推薦機能も同一の類似度を用いている．声質の似た楽

多様なアノテーションを利用する上では，Echo Nest

曲が推薦される点は好ましいが，多様な尺度を今後導API (http://developer.echonest.com/) も便利である．一入していく予定である．

方 Songle は，サビ，ビート，メロディ，コードという

4. 議

主要な音楽情景記述を，Web 上で不特定多数のユーザ論が協調して編集可能な世界初のシステムであり，スタ本研究のように，能動的音楽鑑賞とソーシャルアノ

ンドアロンアプリケーションと違ってインストールがテーションのための Web サービスを一般公開した研不要で誰でも気軽に利用できる特長を持つ．

究は，我々の調査した限り前例がないが，音楽のアノ

4.2 Songle の貢献と意義

テーションに関しては様々な関連研究がなされてきた．

本研究は，音楽理解技術に基づく能動的音楽鑑賞イ

以下では，関連研究を紹介すると共に，Songle の社会

ンタフェースを楽しむための世界初の Web サービス

的，学術的貢献等を議論する．

を公開して，エンドユーザの役に立つという社会的意義を持っている．さらに，音楽理解技術は，既に普及

6しつつある音声認識技術や画像理解技術と違い，そも2.0 や人間計算 [25] にない特長であり，これまで音声

そもそういう技術があるということ自体の認知度が高認識を用いた我々の PodCastle [26] の研究でその重要くなく，Songle によって音楽理解技術の潜在的な可能性と可能性を示してきたが，今後は Songle で音楽情性が認知され，他の応用事例開拓に波及する効果が期

報処理における可能性も示していきたい．

待できる．また，音楽理解技術で Web 上の様々な楽

我々は「ユーザを信頼する」立場から，PodCastle [26]曲に対して推定した結果をユーザが見れば，どのよう同様に，基本的にはユーザによる訂正の質は高いものな箇所で推定が難しいかがわかる．そこで誤認識が多と考えている．仮にユーザが故意に不適切な訂正（いい場合には，批判を受けるリスクはあるが，そうしたたずら）をした場合でも，その信頼性（訂正が楽曲内

現状をユーザと共有してはじめて，音楽理解技術の真容と合致するか）を音響的に検証する方法が実現できの普及と発展があると我々は考える．

る可能性があり，新たな研究課題として興味深い．

4.3 研究プラットフォームとしての Songle の発展

本研究の学術的意義は，不特定多数のエンドユーザに誤り訂正の協力をしてもらうことで，サービスの利

今後，他の研究者が開発した音楽理解技術による推便性とユーザによる利用率をどこまで向上できるかを定結果も提示可能とすることで，Songle を共同で社探求することにある．こうした発想は，従来の信号処会に対して貢献していく研究プラットフォームに発展

理に基づく音楽理解研究にはなかった．この新たな研させていきたいと考えている．そうした技術を，図 3

究アプローチでは，(i) ユーザが音楽理解技術に基づくの音楽理解モジュールとして実装すれば，ソースコー

サービスを利用することでその性能を理解する，(ii)ドやバイナリコードを一切共有せずに，世界中のどこ

そのサービス改善にユーザが貢献する，(iii) その改善

でも（ファイアウォールの中でも）実行可能な実装にがより良いユーザ体験に結びつく，という三段階から既になっている．ある音楽情景記述について複数のモ成るポジティブスパイラルを回すことができる点が重ジュールの結果が得られたら，その違いを比較・可視要である．(iii) のユーザ体験の向上が，(i) のサービス化するのも興味深い．そうすれば，そうした異なる結利用を促進するからである．従来の GWAP (game with

果を，訂正の候補としたり，まとめ上げたりする仕組

a purpose) や人間計算 [25] （ESP Game [20] も含む）

みも，今後研究対象にできる可能性がある．

といったゲームの楽しさをインセンティブとしたクラ5. お わ り にウドソーシングのアプローチでは，この (iii) という重要な段階が欠けていた．Songle は，多数のユーザの訂

本稿では，ユーザ貢献によって徐々に改善されてい正結果を Web サービス上で共有して性能改善を図る

く能動的音楽鑑賞サービス Songle を提案した．4 種類

社会的訂正の枠組みであり，他のユーザの利便性に貢の主要な音楽情景記述を自動推定し，Web ブラウザ上献している実感が得られる上に，他のユーザが訂正しで動作するユーザインタフェースによって可視化したている活動を見ることで，訂正の意欲も高まる点が優ことで，ユーザはそれを見て音楽に対する理解を深めれている．このように Songle では，集合知 (wisdom

ながら，インタラクティブに再生位置を変更して音楽of crowds) やクラウドソーシングを活用しつつ，ユーを楽しむことができるようなった．自動推定結果は不

ザ体験向上を実現していく．

完全でも，その誤りをユーザが自発的に訂正して他の今後取り組むべき重要課題の一つは，ユーザによるユーザと共有していくことで，ユーザ体験が向上する

誤り訂正の協力で，音楽理解技術の性能をどこまで高ポジティブスパイラルを回す仕組みも実現できた．

くできるかを探求することである．訂正結果を機械学

ただし，音楽情景記述の可視化方法には，多様な習して性能向上させる仕組みはまだ実装しておらず，ユーザに向けて異なる選択肢があるとよい．そこで，今後，充分な訂正量が蓄積された段階で実現する予定

能動的音楽鑑賞の観点から見ても効果的なビジュアラ

である．それが実現できれば，「ユーザの貢献を増幅」

イザ（視覚エフェクトや音楽同期アニメーション）機する新たな音楽情報処理の枠組みとなる．Wikipedia

能等の，より一層わかりやすい方法を探求したい．ま(http://www.wikipedia.org/) 等の典型的な Web 2.0 のた，音楽情景記述を訂正するインセンティブも高めてWeb サービスでは，ユーザの貢献は編集した項目に限いく必要がある．楽曲構造とメロディラインは，音楽定される．一方，Songle のユーザ貢献増幅の枠組みで地図や類似楽曲グラフが改善されるのでわかりやすい

は，訂正内容の学習によって音楽理解技術が向上する

が，ビートは他の音楽情景記述の位置を決めやすくす

ことで，まだ訂正していない楽曲に対する性能改善もる効果が主で，コードもまだ見たり聴いたりして楽し期待できる．このユーザ貢献増幅こそが，従来の Web

いという以上の効果がない．そこで，音楽情景記述を

7

パートに対する音高推定手法，情処学論，Vol.49,
No.10, pp.3682–3693 (2008).
12) Fujihara, H., Goto, M., Ogata, J. and Okuno, H.G.:
LyricSynchronizer: Automatic Synchronization System Between Musical Audio Signals and Lyrics,
IEEE Journal of Selected Topics in Signal Processing, Vol.5, No.6, pp.1252–1261 (2011).
13) Mauch, M. and Dixon, S.: Simultaneous Estimation of Chords and Musical Context from Audio,
IEEE Trans. on ASLP, Vol.18, No.6, pp.1280–1289(2010).
14) Lee, J. H.: Crowdsourcing Music Similarity Judgments using Mechanical Turk, Proc. of ISMIR 2010,
pp.183–188 (2010).
15) Mandel, M. I., Eck, D. and Bengio, Y.: Learning
Tags That Vary within a Song, Proc. of ISMIR 2010,
pp.399–404 (2010).
16) Turnbull, D., Liu, R., Barrington, L. and Lanckriet,
G.: A Game-Based Approach for Collecting Semantic Annotations of Music, Proc. of ISMIR 2007, pp.
535–538 (2007).
17) Turnbull, D., Barrington, L. and Lanckriet, G.: Five
Approaches to Collecting Tags for Music, Proc. of
ISMIR 2008, pp.225–230 (2008).
18) Mandel, M. I. and Ellis, D. P. W.: A Web-Based
Game for Collecting Music Metadata, Proc. of ISMIR 2007, pp.365–366 (2007).
19) Law, E. L.M., von Ahn, L., Dannenberg, R.B. andCrawford, M.: TagATune: A Game for Music andSound Annotation, Proc. of ISMIR 2007, pp. 361–
364 (2007).
20) von Ahn, L. and Dabbish, L.: Labeling Images witha Computer Game, Proc. of CHI 2004, pp.319–326(2004).
21) Cannam, C., Landone, C., Sandler, M. and Bello,J. P.: The Sonic Visualiser: A Visualisation Platform for Semantic Descriptors from Musical Signals, Proc. of ISMIR 2006, pp.324–327 (2006).
22) Li, B., Burgoyne, J.A. and Fujinaga, I.: Extending
Audacity as a Grouth-Truth Annotation Tool, Proc.
of ISMIR 2006, pp.379–380 (2006).
23) Amatriain, X., Massaguer, J., Garcia, D. and Mosquera, I.: The CLAM Annotator: A Cross-platform
Audio Descriptors Editing Tool, Proc. of ISMIR
2005, pp.426–429 (2005).
24) Herrera, P., Celma, Ò., Massaguer, J., Cano, P. etal.: MUCOSA: A Music Content Semantic Annotator, Proc. of ISMIR 2005, pp.77–83 (2005).
25) von Ahn, L.: Games With A Purpose, IEEE Computer Magazine, Vol.39, No.6, pp.92–94 (2006).
26) 後藤真孝，緒方 淳，江渡浩一郎：PodCastle: ユー
ザ貢献により性能が向上する音声情報検索システ
ム，人工知能学会誌， Vol.25, No.1, pp.104–113(2010).

他の Web サービスから活用して連携できる API 機能等を追加する拡張に取り組んでいる．さらに，ある音楽情景記述の訂正が他の種類の音楽情景記述の改善につながる機能の追加や，音楽理解技術の性能向上，インタフェース改善によって，訂正の労力も低減していく予定である．
謝辞 Songle の Web サービスの実装を担当して頂いた川崎 裕太 氏，Web デザインを担当して頂いた櫻井 稔 氏に感謝する．本研究の一部は JST CREST の支援を受けた．

参 考

文献1) Aucouturier, J.-J. and Pachet, F.: Improving Timbre
Similarity: How high is the sky?, Journal of Negative
Results in Speech and Audio Sciences, Vol.1, No.1
(2004).
2) 後藤真孝：SmartMusicKIOSK: サビ出し機能付き
音楽試聴機，情報処理学会インタラクション 2003
論文集，pp.9–16 (2003).
3) Goto, M.: Active Music Listening Interfaces Basedon Signal Processing, Proc. of ICASSP 2007 (2007).
4) Goto, M.: A Chorus-Section Detection Method forMusical Audio Signals and Its Application to a Music Listening Station, IEEE Trans. on ASLP, Vol.14,
No.5, pp.1783–1794 (2006).
5) Goto, M.: Music Scene Description Project: Toward Audio-based Real-time Music Understanding,Proc. of ISMIR 2003, pp.231–232 (2003).
6) Goto, M.: A Real-time Music Scene Description
System: Predominant-F0 Estimation for Detecting
Melody and Bass Lines in Real-world Audio Signals, Speech Communication, Vol.43, No.4, pp.311–
329 (2004).
7) Goto, M., Yoshii, K., Fujihara, H., Mauch, M. andNakano, T.: Songle: A Web Service for Active Music Listening Improved by User Contributions, Proc.
of ISMIR 2011, pp.311–316 (2011).
8) Fujihara, H., Goto, M., Kitahara, T. and Okuno,
H. G.: A Modeling of Singing Voice Robust to
Accompaniment Sounds and Its Application toSinger Identification and Vocal-Timbre-SimilarityBased Music Information Retrieval, IEEE Trans. on
ASLP, Vol.18, No.3, pp.638–648 (2010).
9) Goto, M.: Music Listening in the Future: Augmented Music-Understanding Interfaces and Crowd
Music Listening, Proc. of the AES 42nd International Conf. on Semantic Audio, pp.21–30 (2011).
10) Mauch, M. and Dixon, S.: Approximate Note Transcription for the Improved Identification of Difficult
Chords, Proc. of ISMIR 2010, pp.135–140 (2010).
11) 藤原弘将，後藤真孝，奥乃 博：歌声の統計的モデル化とビタビ探索を用いた多重奏中のボーカル

8