WISS2007

Goromi-Music 音楽をより楽しむためのインタフェース
Goromi-Music - Interface for making music more enjoyable

大坪五郎∗
概要. 音楽と Web 上に存在する情報との関係に注目し，音楽をより楽しむためのインタフェース GoromiMusic を開発した．音楽のアーティスト名，アルバム名および楽曲名に関連した Web 情報を連続的に表示することにより，その音楽がどのような情報と関連を持っているかを把握することが可能となる．また演奏中の曲に興味を持った場合，あるいは聴いている曲とは異なる曲を聴きたくなった場合にも容易な操作で楽曲をブラウズすることを可能とした．一定期間使用した結果，音楽とともに楽曲と関連した Web 情報を閲覧することで，未知の情報への興味を刺激する効果が確認できた．

1

はじめに

本論文では，デジタルデータの形で記録された音楽をより楽しむためのインタフェース GoromiMusic に関して述べる．

2

研究の動機

iPod をはじめとする携帯音楽プレーヤーの普及に伴い，音楽の聴き方は大きく変化した．いわゆる「ながら視聴」は古くウォークマンが発売された頃からの視聴スタイルであったが，昨今はこれに加え「大量（数千以上）の音楽を聴き流す」といった状況が生じている．すなわち過去においてはある程度目的をもって選曲していた楽曲を，現在ではより受動的に随時聴き流す，といったスタイルが主流となっている．本研究ではこうした聴取スタイルを前提とした上で，既存のインタフェースとは異なった音楽鑑賞の楽しみを得る事を目的とする．
検討にあたり，まず音楽を聴く楽しみを構成する要素について考察する．ここでは内部要因と外部要因とに分類して考える．内部要因と称しているのは，楽曲そのものに起因する楽しみである．例えばメロディが自分好みだ，アレンジがよい，歌詞が心を打つ，といったものである．それに対して外部要因とは何か．楽曲が内部的に持つ性質以外に，その楽曲が社会的にどのような情報と関連付けられているかに依存する要因である．一例として映画「アマデウス」のメイキングビデオにおけるネヴィル・マリナーの言葉 [7] を引用したい．
「（今までクラシックに興味を持たなかった若い人たちに）モーツァルトという作曲家を紹介できた．
コンサートで百年かかったことを我々はこの映画で成し遂げたのだ．
」
この言葉は，音楽を楽しむための要因が必ずしも∗Copyright is held by the author(s).
Goro Otsubo, (株) デンソーアイティーラボラトリ

楽曲の内部だけに存在していないことを意味している．すなわち同じクラシック音楽であっても，従来とは異なる情報と関連づけられる，すなわちアマデウスという映画の中で聴くことにより，その良さを発見する．またそれをきっかけにモーツァルトの音楽のすばらしさ，あるいはモーツァルトという作曲家について知る，といったこともあるのではないだ
ろうか．
本研究では，ひとつの試みとして，前述した要因のうち外部要因，すなわち楽曲の音楽的特性とは関係なく，その楽曲が持っているメタデータ-すなわちアーティスト名，アルバム名，楽曲の名称-が外部とどのような関連を持っているかに注目し，より音楽を楽しむことを可能とするインタフェースを開発する．音楽の楽しみ方は様々であると考えられ，外部要因に全く興味を示さないユーザもいる事が予想される．将来的には外部要因と内部要因をあわせて考慮することにより，より多くの人にとって楽曲を楽しむことができるインタフェースが開発されることも考えられるが，本論文では，対象を外部要因に絞って開発を行うことにより，その可能性について検討を行いたい．

3

Goromi-Music の機能

Goromi-Music は前述した「外部要因」にフォーカスし，楽曲の再生，および楽曲の検索においてそれぞれ楽曲をより楽しむための機能を提供する．以下，それらの機能を順に紹介する．
3.1

楽曲再生時のビジュアライズ機能

既存の音楽プレーヤーでは，楽曲再生時に楽曲の特性に合わせた幾何学的なアニメーションを表示する機能が広く提供されている [4]．こうしたビジュア
ライズ機能は，前述の区分を用いれば「楽曲の内部要因」を利用したものと考えられる．これに対して
Goromi-Music では「楽曲の外部要因」に着目し，

WISS 2007

その音楽がもつメタデータが実世界においてどのような情報と関連づけられているかを直感的に理解できる形で提示する．楽曲のメタデータに関してユーザが既にもっていたイメージに近い情報が表示される場合には，その音楽をより引き立てる効果が期待できる．またユーザにとって未知の情報が表示された場合には，その楽曲，あるいはメタデータがもつ新たな意味を発見し，ユーザに対して発見の喜び，あるいは驚きを与えることを狙っている．
具体的には楽曲の演奏が始まった時点で，楽曲のアルバム名，アーティスト名及び曲名からなるメタデータをキーとし Web 検索を行い，検索結果として返されたページのタイトル，およびそのページに存在するイメージを表示する．Goromi-Music のス
クリーンショットを図 1,2 に示す．
画面右下に大きな文字で表示されているのが，現在演奏中の楽曲に関する情報．その上に並んでいるのがプレイリスト中の楽曲情報である．画面左方には演奏中の楽曲に関して Web から取得した情報を表示している．この情報は自動的に上方にスクロールするためユーザは特別な操作を行うことなしに，演奏中の楽曲にどのような外部情報が関連しているかを眺めることができる．
こうした表示方式は Goromi-Web[6] と類似しているが，本システムによる情報表示はあくまでも楽曲を再生することのバックグラウンドで行うものであるため以下のような特長を持っている．

し表示する機能が提供されている．こうした情報は正確といえるが，より以上の広がりを持っていない．
具体例を挙げれば，Dreams Come True というグループが演奏する”Million Kisses”というアルバムがある．このアルバムのジャケットは確かに正確な情報であるだろうが，それ以上の情報をもたらすことはない．
しかしここで”Million Kisses”という単語で検索を行いどのような情報が表示されるかを見れば，ユー
ザは「このアルバムは知っていたが，Web 上で Million Kisses といえばこのようなイメージなのか」と新しい情報を発見することが期待できる．
当初アルバム名，アーティスト名，楽曲名をひとつのクエリーの中に or 結合し検索をすることを試みた．そうした検索を行うと，検索エンジンの仕様により，データの中に Web 上でよく使われるフレーズがあると，その情報に関する結果だけが多く返されることが判明した．そのため，，Goromi-Music では以下の方法で Web 情報検索を行うこととした．

1. 「アルバム名」「アーティスト名」「楽曲名」それぞれをキーワードにして並列に Web 検索を行う．

2. 上記３つの検索結果をそれぞれのクエリーでの検索結果順を保ったままマージする．

3. 検索結果に含まれる URL から HTML データを取得．内容を解析し，イメージデータを最大 4 つ取得する．

1. ユーザは音楽を聴くことを主タスクとしているので，情報を正確に伝えることよりも，その音楽に関連する情報を直感的に理解させることが必要となる．そのため直感的に理解しやすいイメージが存在するページの情報のみ表示する．またより多くのイメージを表示するためページ情報のスクロール速度に差異をつけ，イメージをオーバーラップさせて表示している．

2. 楽曲とは直接関係無い QR コードの画像，あるいは「１０％オフ」といった宣伝的要素の強い画像は音楽再生の雰囲気を損ねる．そのため Support Vector Machine を用いた画像フィルタリング処理を行っている．

3. 各 Web ページの表示回数を記録しておき，表示回数の少ないページの情報を優先して表示する．このような処理を行うことにより，期間をおいて同じ曲を再生した場合，新しく検索結果に含まれるようになった情報が先に表示され，楽曲に関連する世の中の情報が変化したことが実感しやすくなる．
次に Web 検索方法について記述する．既存の音楽プレーヤーでは楽曲情報と関連する外部情報として，ネット経由でアルバムジャケットの写真を取得

4. イメージが取得できた情報から画面上に表示する．
このような検索方法を用いることで，メタデータに関連を持ちかつ幅広い情報を表示することを可能としている．本機能を用いて得られた Web 関連デー
タは次に記述する楽曲検索機能でも使用される．

3.2

楽曲検索機能デジタル形式で記録された多数の音楽をどのように聴くか，という問題を解決するためにさまざまな提案がなされている．商用の音楽プレーヤーでは主に以下に示す検索方法が使用されている．

1. プレイリストの定義，選択．
2. ランダムを基礎としたシャッフル選択．
3. キーワード入力による文字列検索．
4. ジャンル，アルバム名，アーティスト名を指定しての楽曲検索．
現状これらの機能を持つプレーヤーを使用している際，ほとんどの場面で不便を感じることはない．
しかしながら頻度は高くないが以下の要望を感じることがある．

Interface for making music more enjoyable

図 1. Goromi-Music の楽曲再生時ビジュアライズ機能

1. シャッフル再生の途中で演奏中の曲に興味を持った場合，そのアーティストのほかの曲を聴く，あるいはその曲が含まれるアルバムを聴いてみたいと感じる．

2. 再生されている曲が気分に合わない際「これではない他の曲」を明確な目的なしに選択したくなる．

Goromi-Music ではこれらの要望に対応した検索機能を提供する．１番目の点については画面上に表示されているアルバム名，アーティスト名および楽曲名と関連性の強い楽曲を検索できるようにした．
画面に表示されている楽曲情報中の，任意の項目をクリックすることにより，その項目は画面右中央に移動し，その項目中の単語を含む楽曲が右側に表示される．この機能によりアルバム名を選択し，そのアルバムに含まれる楽曲を表示することも可能である．また楽曲名を選択することで現在演奏中の楽曲名に含まれる単語と共通する単語を有する楽曲名を表示させることもできる．そのイメージを図 2 に示す．ここでは”All You Need Is Love”という楽曲名に関連する楽曲を表示している．
２番目の点についてはキー操作により「プレイリストを順送りする機能」とあわせて「何か他の曲」を選択する機能を提供する．その際使用するアルゴリ
ズム詳細については後述する．このように本インタ
フェースでは「容易な操作で表示する候補を気軽にどんどん変更していく」ことを狙っているため，提示された情報をユーザが短時間で視認できるようにする必要がある．そのため，ダウンロードした Webページ中の画像情報をプレイリスト中の楽曲にあわせて提示することとした．
既存のミュージックプレーヤーではアルバムジャケットを楽曲のイメージとする方法が広く用いられている．しかしデジタル形式で記録された音楽の普及に伴い，楽曲をアルバム単位ではなく，曲単位で購入，聴取するというスタイルが多くなっていることを考えると，アルバムジャケットは必ずしも楽曲の印象を表すのに最適な情報とは言えない．複数アー
ティストの楽曲を集めたコンピレーションアルバム等ではこの問題が顕著になる．
そのためアーティスト，アルバム，楽曲それぞれのデータに代表的な画像を設定できるようにする必要がある．またその楽曲，あるいはアーティストを最も端的にあらわしている画像が何かは個人の主観によるところが多いと考える．そうした要素を考慮し，以下に示す画像選択，表示機能を提供することとした．

1. アーティスト名，アルバム名，楽曲名，それぞれの検索によって取得された画像のうち一番早く取得できたものをデフォルトでそれぞれのデータを代表する画像とする．

2. デフォルトで提供された写真がユーザのイメー

WISS 2007

ジに合っていない場合，ダウンロードした他の写真の中から容易に写真を選択できるインタフェースを提供する．

3. 個々の楽曲を表示する際，アーティスト名，アルバム名，楽曲名の順で写真が選択されているか否かをチェックする．最初に見つかった写真を楽曲のめたデータと併せて提示する．
なお，ここで記述した「楽曲演奏中のビジュアライズ表示」を利用する際と「楽曲検索」を利用する
際ではユーザが注目する情報の種類が異なる．
そのため，楽曲検索を行う際には検索結果を表す
プレイリスト中の楽曲情報をはっきりと，演奏中の楽曲に関連する Web 情報を薄く表示する．(図２参照) その後しばらく操作がない場合には Web 情報をはっきりと表示し，同時にプレイリスト中の楽曲情報を薄く表示する．(図１参照) このように，操作のコンテキストに応じて自動的に透明度を調節することにより画面上に多くの情報を提示しながら視認性，操作性に支障をきたさないことを狙っている．

1. 映像データをブラウズするためのインタフェー
ス Goromi-TV[12] と類似の「過去の選択と異なるジャンルのデータをある程度まとめて表示する」方法

2. ランダム選択
その結果上記２種類のアルゴリズムではランダム選択の方が好ましいという評価が多かった．しかしインタビューの結果から選択結果に同一ジャンル，アーティストの曲が多く選択される傾向は好ましくないという意見が聞かれた．これは特に特定のジャンル，もしくはアーティストの楽曲を多く所有している場合に顕著であった．そのため楽曲をブラウズする際には，ランダム選択よりもさらに検索結果内の楽曲を「散らす」必要があると考えた．
また同時に，選ばれた楽曲間に「自明でない」共通項を持たせることにより，より興味深い選曲ができるのではないかと考えた．具体的に述べれば，検索結果内の楽曲が共通のジャンル名，アーティスト名，アルバム名を持っていた場合には前述の「散らす」という目的に合致しない．しかし例えば曲名の一部に”Love”という言葉がある楽曲をいろいろなジャンルから集める，といった機能を提供することにより，従来のインタフェースとは異なる楽曲の楽しみ方を可能にできるのではないかと考えた．
上記二つの用件を満足させるため以下に示すアルゴリズムを実装した．

1. 選択候補となる楽曲情報の中からランダムに３０曲を選択する．

2. それまでに「何か他の曲」操作時に選択候補として表示されていた曲と一項目目で選択された個々の曲の類似度を計算する．

3. 上記評価値が一番小さいものを選択しプレイリストの最初の項目とする．
図 2. 楽曲名選択による楽曲検索の様子

3.3

情報選択アルゴリズム

キーワードが選択された際には，選択されたキーワード中の単語と，個々の楽曲のメタデータ中の単語の一致数をカウントすることで楽曲の評価値を計算，評価値の高い楽曲から表示している．これに対し「何か他の曲」という操作が行われた場合の評価方法には工夫が必要となる．ここでは「プレイリス
ト内の曲が，特定のジャンル，アーティスト，アルバムに偏ることなく，かつある程度共通の単語を有する」選択を可能とすることを目標とした．理由について以下に述べる．
当初「何か他の曲」を選択する際のアルゴリズムとして，以下の２種類の方式を実装し試験的に評価を行った．

4. プレイリスト中にある楽曲で使われている単語のうち出現頻度が基準値以上のもの，出現頻度が基準値以下でありかつ２以上のものを識別する．ここで出現頻度が基準値以上のものは，アルバム名，あるいはアーティスト名に含まれる単語である可能性が高いと想定している．

5. 出現頻度が基準値以上の単語を有している楽曲には負の評価値を与え，出現頻度が基準値以下の単語を有している楽曲には正の評価値を与える．

6. 上記計算の結果，評価値がもっとも高い楽曲をプレイリストに追加する．所定の回数同等の評価を繰り返す．
ここで出現頻度の基準値としては予備実験により７を使用している．

Interface for making music more enjoyable

このような評価方法を行うことにより，多くの楽曲で共有される「ジャンル名」「アーティスト名」を共有せず，かつ共通の単語を持つ楽曲を選択することができる．ここで識別された「共通の単語」は「関連キーワード」として選択されたキーワードの周囲に表示する．

3.4 実装システム
Goromi-Music は iTunes のフロントエンドとして動作する．楽曲の管理，および演奏には iTunesの機能を用い，Goromi-Music は楽曲の検索，選択，および演奏時の情報表示を行う．プログラムの起動時に XML で記述された iTunes のミュージックライブラリを読み込み楽曲データベースとして用いる．
現在のバージョンは Macintosh 上で動作し，演奏状態取得，再生および停止などの iTunes との情報のやり取りには AppleScript を用いている．

4

運用結果

2100 曲程度を登録した iTunes をバックグラウンドで用いながら，Goromi-Music を 3 週間ほどの間運用した．その結果実装した機能が有効に動作することを確認した．そうした例を図１によって説明する．
ここで示されているのは，”Dreams Come True”というアーティスト名，”Million Kisses”というアルバム名，”未来予想図”という楽曲名をもつ音楽を再生している時の画面イメージである．この画面に写っている範囲でも本来の”Dreams Come True”のアルバムジャケットのほかに興味深い情報を見てとることができる．おそらくはアジアのどこかで大勢の人間がキスをしている光景，あるいは”The Firstof a Million Kisses”という異なるアーティストによるジャケットらしきものが見える．ここに表示されているもの以外では，”Dreams Come True”という文字列をタイトルの一部に含む”Dream Come True
Beneﬁt for Seiously, Chroniocally and terminallyill children”というページがあることを知ったり，あるいは”未来予想図”というタイトルで描かれた抽象画があることを知ることができた．
他にはクラシックの楽曲を再生している際，主にWikipedia から取得できたアーティストの顔写真を閲覧できることが効果的であった．同じ音楽を聴いていてもその演奏者，あるいは作曲者の容貌と思しき写真を見ながら聴取すると，音楽だけを聴いている場合とは異なった興味を持つことができる．またよく知っているつもりのアーティストであっても，若き日の写真などを発見し驚くこともあった．
一方改善を必要とする点も発見された．今回はかな，漢字を含む文字列は日本語サイトを対象に，そうでない文字列は言語指定をせずに検索を行っている．そのため例えば前述の”Dreams Come True”のようにアルファベットのみで記載されていても日本のアーティストであったり，逆に欧米のアーティストであっても日本語名で記載されているため，表示される情報の範囲が限定される，という問題があった．前述したように，”Dreams Come True”を言語指定なしに検索し，意外な情報を見つけるといった楽しみもある反面，本来の「ドリームズ・カム・トゥルー」というアーティストに関する情報は表示されない．
メタデータ指定による楽曲の検索，あるいは「何か他の」検索機能もほぼ期待通り働いた．しかし関連キーワード抽出機能は予想よりも有効性が低かった．例えば普段はまず検索に用いない”King”であるとか”Hey”という単語を含む楽曲をさまざまなジャンルから並べるといったように有効に機能する場合もあったが，多くの場合にはそれほど興味深いキーワードは抽出されなかった．また表示されたキーワー
ドがどのように楽曲と関連しているのかわからないことも多かった．

5

関連研究

大量の楽曲情報をブラウズするためのインタフ
ェースの試みがいくつかなされている．後藤らは多数の楽曲を聴くためのインタフェースとして，MusicStream[8] を提案している．類似の音楽をインタラクティブに「くっつける」といった形で検索する，あるいは時間をさかのぼって再生していた曲を探す等の機能を提供している．神原らは「シンプル」「なめらかな操作」「大まかな管理」を狙った MeltingSound[11] を提案している. また石井らは「聴きたい音楽を 集める，集めておく ためのインタフェー
ス」IKESU を提案している [13]．Goromi-Music はこれらの研究にはない「楽曲再生時のビジュアライズ機能」を有している点が異なる．
Knees らは音楽の楽曲的特性を用いて，楽曲のクラスタを３Ｄの島の形に表示，その中をユーザがナビゲートすることにより音楽を探索できるインタフェースを開発している [5]．彼らの研究で興味深いのは，モードを選択することにより，島に Web から抽出したイメージおよび単語を表示することが可能な点である．Pampalk らは，MusicRainbow[2] を開発している．音楽の楽曲特性を用いて楽曲を円環状に配置，アーティストごとに関連する単語を Webから抽出し，アーティスト選択の際の補助情報として用いている．これらの研究は Web から抽出した情報を用いる，という点に関して Goromi-Music と類似している．しかしながらこれらのシステムにおいて単語およびイメージの表示はあくまでも楽曲検索の補助として用いられている．そのため，検索の際に用いるキーワードは狭く，正確なものに限定されており，Goromi-Music のように関連があり、かつ広い範囲の情報を提示することにより楽曲に対す

WISS 2007

る興味をかきたてるものとは方向性が異なる
楽曲再生時のビジュアライズ機能に Web データを用いる試みとしては，Collage[1] が挙げられる．
iTunes のプラグインとして機能し，Goromi-Musicと同様のメタデータを用いて Web 情報を検索し得られた映像を表示する．しかしながら表示されるの個々の映像のみであり，それがどのような意味を持っているかユーザが把握することは困難である．また表示方法もランダムな位置に繰り返し表示するのみで見易さの点から問題がある．Goromi-Music ではユーザを情報の内容に集中させることを狙い，情報の表示方法自体はあえて単純な縦スクロールとしている．Web データではなく，一般の画像を楽曲の歌詞に合わせて表示する試みとして ActiveKaraoke[10]があげられる．歌詞に強く関連づけられた画像を提示するという点で，その楽曲に関連する情報を広く提示する Goromi-Music とは目的が異なる．しかしながら表示方法に楽曲の内部情報を用いている点において興味深いシステムである．
音楽を聴く楽しみを提供する，という点に関しては，後藤らが「能動的音楽鑑賞方法 [4]」を提唱している．楽曲の構造を視覚化し，その間を自由にナビゲートすることを可能にする [9]，あるいはリズムに合わせたダンサーのアニメーションを表示する[3] などの方法を用いることにより，従来ユーザが受動的に行ってきた音楽鑑賞に能動的要素を取り込み，新たな楽しみ方を提供しようとする試みである．
本研究はこうした「能動的音楽鑑賞方法」と補完的な関係にあるものと考えられる．Goromi-Music で想定しているのは受動的な音楽鑑賞態度であるが，ユーザは音楽鑑賞態度を時と場合により受動的-能動的と随時連続的に変化させるものと考えられる．
そのためそれぞれの状態にあった音楽鑑賞方法が研究されることにより，より豊かな音楽鑑賞体験を実現できるのではないだろうか．

6

まとめ

楽曲に関連した Web 上の情報を表示，きままに検索することにより音楽の新しい楽しみ方を見出すことを狙った Goromi-Music を試作した．今後は同じような「特定の目的なくさまよう」形の情報ブラウジングを他のデータに適用する方法についてさらに研究を行っていきたい．

謝辞
本システムを開発するきっかけを与えていただきました産業技術総合研究所の後藤真孝氏に深く感謝いたします．

参考文献[1] Collage
byTrinﬁnitySoftware.
http://www.trinﬁnitysoftware.com/collage.shtml,
2006.
[2] M. G. Elias Pampalk. MusicRainbow: A New
User Interface to Discover Artists Using Audiobased Similarity and Web-based Labeling. In
ISMIR International Conference on Music Information Retrieval, pp. 367–370, 2006.
[3] M. Goto. An audio-based real-time beat tracking system for music with or without drumsounds. In Journal of New Music Research,vol.
30, no. 2, pp. 159–171, 2001.
[4] M. Goto. Active Music Listening Interfaces
Based on Signal Processing. In 2007 IEEE
International Conference on Acoustics, Speech,and Signal Processing (ICASSP 2007), pp. IV–1441–1444, 2007.
[5] P. Knees, M. Schedl, T. Pohle, and G. Widmer.
An Innovative Three-Dimensional User Interface for Exploring Music Collections Enrichedwith Meta-Information from the Web. In Proceedings of the ACM Multimedia 2006 (MM’06),
Santa Barbara, California, USA, October 23-26
2006.
[6] G. Otsubo. Goromi-Web: browsing for unexpected information on the web. In Proceedingsof the 6th ACM SIGCHI conference on Creativity and cognition, pp. 267–268, 2007.
[7] ネビル・マリナー. Making of Amadeus. アマデウス ディレクターズカット スペシャル・エディション, 2006.
[8] 後藤孝行, 後藤真孝. Musicream: 楽曲を流してくっつけて並べることのできる新たな音楽再生
インタフェース. WISS2004 論文集, pp. 53–58,2004.
[9] 後藤真孝. SmartMusicKIOSK: サビ出し機能付
き音楽試聴機. 情報処理学会論文誌, 第 44 巻, pp.
2737–2747, 2003.
[10] 寺田努, 塚本昌彦, 西尾章治郎. アクティブデー
タベースを用いたカラオケの背景作成システム.
情報処理学会論文誌, Vol.44, No2, pp. 235–244,
2003.
[11] 神原啓介, 安村通晃. MeltingSound: なめらかなオーディオブラウジング. HIS2003 論文集, pp.
817–820. ヒューマンインタフェース学会, 2003.
[12] 大坪五郎. Goromi-TV 撮りためた千以上のビデオを気ままに閲覧する方法. WISS2006 論文集,
pp. 47–52, 2006.
[13] 石井 隆昭, 望月 有人, 星野 剛史, 堀井 洋一.
IKESU:「旬」な音楽を聴くための収集型ミュー
ジックプレーヤー. WISS2005 論文集, 2005.