WISS2006Music Scope Headphones: 音のみによる楽曲選択インタフェース
Music Scope Headphones: Audio Only Interface for Selecting Songs

浜中 雅俊

李 昇姫∗

Summary. This paper describes a novel audio only interface for selecting music which enables us toselect songs without having to click a mouse. Using previous music players with normal headphones, wecan hear only one song at a time and we thus have to play pieces individually to select the one we want
to hear from numerous new music files, which involves a large number of mouse operations. The main
advantage of our headphones is that they detect natural movements, such as the head or hand moving
when users are listening to music and they can focus on a particular musical source that they want tohear. By moving their head left or right, listeners can hear the source from a frontal position as the digitalcompass detects the change in the direction they are facing. By looking up or down, the tilt sensor willdetect the change in the face’s angle of elevation; they can better hear the source that is allocated to amore distant or closer position. By putting their hand behind their ear, listeners can adjust the focus
sensor on the headphones to focus on a particular musical source that they want to hear.

1

はじめに

近年，インターネット経由の楽曲ダウンロードサービスを利用して莫大な数の楽曲にアクセスすることが可能となったが，メジャーでない楽曲に触れる機会は依然として限られており，多くのユーザが聴くのはごく一部のメジャーな楽曲に限られている．我々の目標は，円滑な選曲ができるシステムを構築することで，未知の楽曲にユーザが触れる機会をできる限り増やすことである．本稿では，その一つの解決法として，ディスプレイなどの画面表示がなくても音のみで多くの楽曲をプリビューしながら目的の楽曲を円滑に探し出すことを可能とするヘッドフォン型インタフェースを提案する．
Music Scope Headphones では，具体的には，以下のような 3 つの機能を提供する．

1. あたかも周囲を見渡すように，頭を上下左右に振ることでことで 2 次元空間上に配置した多くの楽曲を聴く楽曲プリビュー機能.
2. 手を耳にかざす耳を澄ますポーズを検出し，空間上で楽曲が聴こえる範囲を連続的に変化されることで，ユーザが聴きたいと思う楽曲を強調するフォーカス機能.

3. 首の静止などを検出することで，選曲モードから再生モードにシームレスに移行するなどのスイッチ機能.

Music Scope Headphones の特長は，首を上下左右に動かして音が来る方向を確認したり，手を耳の∗Copyright is held by the author(s).
Masatoshi Hamanaka, 科学技術振興機構 さきがけ研究員, Seunghee Lee, 筑波大学 人間総合科学研究科

横に添え耳を澄ますポーズをするなど，音を聴くときにする自然な動作をヘッドフォンに搭載したデジタルコンパス，傾斜センサ，距離センサの 3 つで検出することで，多く未知の曲の中からユーザが聴きたい目的の曲を選択することを可能としている点である．これにより，ユーザはマウス操作やボタン操作から解放され，選曲に集中することができる．
本稿では，以下 2 章でヘッドフォンの機能について説明し，3 章ではシステムの動作の流れについて説明する．そして，4 章で実装方法について議論し，5 章で実装したシステムを評価する．5 章では関連研究について議論し，最後に 6 章でまとめを述べる．

2Music Scope Headphones

我々は以下の 3 つの方針に基づき Music ScopeHeadphones を構築した．
マウス操作・ボタン操作の減少
計算機やＣＤプ
レーヤ，ＭＰ３プレーヤ等を用いて選曲する際，グラフィカルユーザインタフェース（GUI）やボタンインタフェースによる多くの操作が必要で，ユーザはその操作によって，あたかも電話が鳴ったときのように音楽を聴くという動作を中断しなくてはならない．この問題を解決するため，本研究では音を聴くときの自然な動作を検出することで，GUI やボタンインタフェースによる操作をできる限り減少させることを試みた．
楽曲プリビューの実現 我々は，ユーザが未知の楽曲に触れる機会を増加させたいと考えているが，通常の音楽の聴き方では限られた時間内で触れることのできる楽曲数には限界がある．つまり，楽曲の数を増加させるにつれて，一曲あたりの試聴時間が短WISS 2006

くなっていってしまう．この問題の解決法として，
本研究では，多くの楽曲を同時に再生する「楽曲プリビュー」という新しい音楽の聴き方を提案する．
ディスプレイレスでの操作 散歩中や運転中，何かの作業中など，いつでもどこでも選曲できるシステムを実現することを目指し，ディスプレイが無くても使えるシステムの構築を試みた．
以下本章では，上記の方針に基づき Music Scope
Headphones を構築する上での問題点と解決法について述べる．

2.1

どのように聴きたい楽曲を探すのか「聴きたい曲を探す」ことを可能にするためには，探した曲とその他の曲が区別できなければならない．
本研究では，各曲の定位（左右の増幅率の比率）とボリューム（曲全体の増幅率）に変化をもたせることで，探した曲とその他の曲が区別できるようにした．具体的には，探した曲は定位を中央に位置させボリュームを大きくする．一方，その他の曲は定位を左右に振り，ボリュームを小さくする．このようにすることで，ユーザは自分の聴きたい曲を探し出すことが可能となる．

きたい楽曲が正面から聞こえるように調節することが可能となる．顔を左右に動かしても，なお正面から複数の楽曲が聞こえていて，目的の楽曲が明瞭に聴き取れない場合には，今度は顔を上下に振ることで，より明瞭に聞き取れるようにする．顔の上下動は，傾斜センサで検出し，下を向いている場合近くに配置した楽曲の増幅率を上げ，上を向いている場
合遠くに配置した楽曲の増幅率を上げる．ここで，楽曲は 2 次元の「楽曲空間」上に配置し，その配置は図 2 に示すような GUI で変更することができる．
中心にある円がユーザのアバタとその顔の向きを表す．アバタの周りにある丸数字が各楽曲の位置を表す．楽曲の配置は，図 3 のようにいくつかのプリセットが用意されており切り替えることが可能である．

図 2. 楽曲を配置する GUI

2.2

どのように動作を検出するのか

本研究では，ヘッドフォンの頭頂部に電子コンパ
スと傾斜センサを搭載し，頭を前後左右に振る動作を検出する．また，右スピーカの外側に赤外線距離センサを搭載し，耳を澄ますポーズをして手を耳にかざす動作における手と耳の距離を検出する (図 1)．
図 3. 楽曲配置のプリセット

図 1. ヘッドフォンに搭載した 3 種類のセンサ

2.3

どのように動作と機能を関連づけるのか円滑な楽曲選択を実現するためには，1 章で述べた Music Scope Headphones の 3 つの機能と，検出した動作との対応づけを適切に行う必要がある．
本研究では以下のような対応づけを試みた．
楽曲プリビュー機能との関連付け 通常のヘッドフォ
ンでは左（右）を向くと左（右）から聴こえていた音はやはり左（右）から聴こえるのに対し，MusicScope Headphones では電子コンパスが顔の向きを検出し，正面から聞こえるようにする．これにより，ユーザは顔を左右に振るという自然な動作だけで聴フォーカス機能との関連付け 距離センサが検出した手と耳との距離に応じて楽曲空間上で楽曲が聴こえる範囲を設定する．たとえば，手を耳に近づけると，真正面に配置された楽曲のみが聴こえるようになり，離すと真後ろ以外の全ての楽曲が聴こえるよ
うになる．また，その中間ぐらいの距離にした場合には，前半分の音のみが聴こえるようになる．したがって，手と耳の距離を適切に調節することによって，あたかもフォーカスしたように自分の聴きたい楽曲を明瞭に聴くことが可能になる．
スイッチ機能との関連付け Music Scope Headphones には，「選曲モード」と「再生モード」の 2つのモードがある．まず選曲モードでは，楽曲リストから上位 10 曲が楽曲空間上に配置され，楽曲プリビュー機能やフォーカス機能を使って曲の試聴が可能となる．このとき，ユーザがある曲をもっと聴きたいと思った場合，その曲が正面になるような状態でフォーカスして曲を聴くことになる．そこで，ある曲にフォーカスした状態を 5 秒以上続けると再生モードへ移行し，その曲が先頭から再生されるよMusic Scope Headphones: Audio Only Interface for Selecting Songs

うにした (図 4(a))．これは，通常のヘッドフォンで音楽を聴くのと同じ状態である．逆に，もとの状態に戻りたい場合には，いいえという感じに首を左右に振ればよい (図 4(b))．首を横に倒すと楽曲配置のプリセットが変更される．倒した回数に応じて順次別のプリセットに変更されていく (図 4(c)) そして，首を大きく一周回転させると，楽曲リストから新たな 10 曲が楽曲空間上に配置される (図 4(d))．

率が大きくなるよう次式を用いることにした．
h¯φn < 0 0hφn =h¯φn13

処理方法

本章では，システムの処理の流れについて，楽曲プリビュー機能とフォーカス機能を中心に説明する．
スイッチ機能については紙面の都合上省略する．以下の説明では，電子コンパスから得られる方位角をθ(−π ≤ θ < π)，傾斜センサから得られる仰角をφ(−π ≤ φ < π)，距離センサから得られる距離をδ(0 ≤ δ ≤ 1) とする（図 5）．角度の単位はラジアンを用い，仰角，方位角はユーザが初期状態で向いている方向を 0 とする．距離センサは 0cm から 3cmの距離を検出するが δ はそれを 0 から 1 までの値に正規化したもので，距離が 0cm のときに 0，距離が3cm またはそれより長いときに 1，0cm と 3cm の間のときは 0 と 1 の間の値を出力する．

1 Xh¯φn = 1 + ln sin φ −lm sin φm m

前処理: 各楽曲の音源 Sn を用意し，楽曲空間上に配置する (図 2)．このとき，アバタから各曲までの距離を ln ，方位を θn とする．ただし，θn の単位はラジアン，ln (0 ≤ ln ≤ 1) は一番遠くに配置した楽曲までの距離を 1 として正規化した値である．
ステップ 1: 仰角 φ に応じて変化させる各楽曲 nの増幅率（減衰率）hφn (0 ≤ hφn ≤ 1) を算出する．ここでは，上を向けばより遠くに配置した曲の増幅率が大きくなり，下を向けば近くに配置した曲の増幅.

各楽曲を図 6(a) のように配置しているとすると，
φ = 0 のとき，各曲の増幅率は図 6(b) のようになる．一方 φ < 0 のときには図 6(c) のようになり，近く（遠く）に配置した楽曲の増幅率が増加（減少）する．図 6(b) と (c) は増幅率を音楽用ミキサーのように表示したものである．縦のスライドバーは左から順に番から番の楽曲に対応しており，スライダーが上にあるほど，増幅率が高いことを表す．

図 6. 仰角 φ と各楽曲の増幅率の変化

ステップ 2: 距離 δ に応じて変化させる各曲の増幅率 hδn を算出する．|a| は a の絶対値，θn0 (−π ≤θn0 < π) は，θn と θ の作る角である．
½0hδn =

図 5. 方位角 θ ，仰角 φ および手と耳の距離 δ(1)

ただし，m : 楽曲の総数

図 4. スイッチ機能との関連づけ

0 ≤ h¯φn < 11 ≤ h¯φn ,10π · δ ≥ |θn |π · δ < |θn0 |(2)たとえば，θ = π/3，δ = 0.5 の場合では，図 7 のように，そのときユーザが向いている方向の後ろ半分の領域に配置した楽曲で hδn = 0，前半分に配置した楽曲で hδn = 1 となる．これにより不要な楽曲の音を除外することができる．

図 7. 距離 δ と各楽曲の増幅率の変化

WISS 2006

ステップ 3: 方位角 θ に応じて変化させる各音源の増幅率 hθn を算出する．hθn はユーザが向いている方向に配置されている曲では大きな値を，そうでない曲では小さな値を示す関数である．
(hθn =
ただし，h˜θn =(0h˜θn00n|
1 − α·|θπ·δh˜θn < 00 ≤ h˜θn ,(3)

δ=0
δ>0 .

各楽曲を図 2 のように配置しているとすると，ユーザが左を向いているときの増幅率は図 8(a) のようになり，正面を向いているときは図 8(b) のように，右を向いているときは図 8(c) のようになる．と左の増幅率の比率は 0：1，pn が 0.5 のとき，1：1 とする．β は調節可能なパラメータで，β = 0 の場合には，耳を澄ますポーズをして耳に手を近づけても定位に変化はないが，β > 0 の場合には耳に手を近づけるにしたがって，そのとき正面にあるパート以外のパートの定位が後ろに移動していく．たとえば，右前方に定位しているパートは右後方に定位が移動する．このようにすることで，正面のパートをより明瞭に聞くことが可能になる．

pn =1 β · θn0+2π·δ(4)ステップ 5: すべてのパートの信号を加算しヘッドフォンから出力する．その際，ステップ 1 から 4 までで求めた増幅率を掛け合わせる．Sright は右スピーカの出力，Slef t は，左スピーカの出力である．
XSright =Sn · hφn · hδn · hθn · pn

(5)Sn · hφn · hδn · hθn · (1 − pn )(6)nSlef t =Xn4
図 8. 方向 θ と各楽曲の増幅率の変化

α(0 ≤ α ≤ 1) は調節可能なパラメータで，耳を澄ますポーズをして耳に手を近づけて δ < 1 となった場合の増幅率の変化を設定する．α = 0 の場合には，耳を澄ますポーズをしても各曲の増幅率に変化はな
いが，α > 0 の場合には，耳に手が近くなるに応じて増幅率が減少する．このときユーザが向いている方向の曲の増幅率の減少よりも，向いていない方向の曲の増幅率の減少のほうが大きいため，正面の音が相対的に大きな音で聞こえるようになる．各楽曲を図 2 のように配置しているとすると，δ = 0 のときの増幅率は図 9(a) のようになる．耳を澄ますポー
ズをして耳に手を近づけて δ < 1 となった場合の増幅率は図 9(b) のようになり，正面の楽曲がより明瞭に聴こえるようになっている．

図 9. α > 0 のときの増幅率の変化

ステップ 4: 電子コンパスから得られる方位角 θ に応じて，各楽曲の定位（左右の増幅率の比率）pn (0 ≤pn ≤ 1) を算出する．pn が 0 のとき，その楽曲の右実装

前章では，システムをソフトウェアの動作の流れから説明した．システムは Max/MSP[1] 上で動作する．本章ではハードウェアを説明する（図 10）．

図 10. Music Scope Headphones のハードウェア

我々は，以下の 2 つの方針に基づき Music Scope
Headphones のハードウェアを構築した．
- 軽くて壊れにくいこと．
- 計算機に簡単に接続できること．
センサ アイチマイクロインテリジェント製姿勢検知モジュール (AMI-302-ATD) をヘッドフォンの頭頂部に搭載した．電子コンパスは地球の地磁気を測定しているため，一般に仰角が大きくなるにしたがって方位角の出力誤差が大きくなる．今回使用した姿勢検知モジュールは，3 軸磁気センサに加えて2 軸加速度センサが搭載されており，方位角と仰角の測定および誤差の補正ができるという特徴がある．
分解能は仰角，方位角ともに２度である．
ヘッドフォンの右スピーカの外側にはシャープ製赤外線測距センサ（GP2S40J）を搭載した．測距セン
サを取り付けた基板上に可変抵抗を実装し，0 から3cm の距離が測定できるように設定した．

Music Scope Headphones: Audio Only Interface for Selecting Songs

マイコン Renesas 社のマイコン (R8C/15) をヘッドフォンの右側のハウジング内部に埋め込み，姿勢検知モジュールからの方位角および仰角の情報と赤外線測距センサからの距離情報を統合してシリアル信号を出力している（図 11(a)）．このようにすることで，ヘッドフォンからのケーブルを細く軽いものにすることを可能とした．さらに，ケーブルの途中に，Silicon Labs 社製のシリアル USB 変換基板を挿入することで，USB を用いて計算機に容易に接続することを可能にした (図 11(b))．マイコンや全てのセンサは，USB バスパワーで駆動している．

図 11. マイコンと USB 変換基板

れらのシステム [4, 13, 14] は，楽曲の選択や曲の試聴の時間を節約できるという点が優れていた．しかし，ボタンインタフェースや GUI を操作しながら曲を 1 曲ずつ試聴しなくてはならないという点では，従来の楽曲検索手法や楽曲推薦システムと同様の問題があった．すなわち，限られた時間内で出来る限り多くの楽曲を試聴しようとすると，1 曲あたりの試聴時間が短くなっていき，曲の試聴よりも楽曲選択の操作に多くの時間や意識を費やさねばならなくなるという問題があった．
Music Scope Headphones では，この問題の解決法として，多くの楽曲を同時に再生する楽曲プリビューという新しい音楽の聴き方を提案した．MeltingSound[12] は，複数の音源を同時に再生し，各曲の音量を変化させることによって選曲を可能にしていた点で本研究と関連がある．Melting Sound では
ディスプレイ上に配置した音源とマウスポインタとの距離によって各曲の音量のコントロールを行っていたため，ユーザは画面を見ながら操作することを前提していたのに対し，Music Scope Headphones
では音を聴くときの直感的な動作を検出することでディスプレイレスでの操作を実現した．

65

関連研究

本研究で提案した Music Scope Headphones は，音のみによる楽曲選択を行う新たなインタフェースである．本章では，Mound Scope Headphones で実現した楽曲プリビュー機能やフォーカス機能に関する関連研究について検討し，本研究の位置づけを明確にする．尚，スイッチ機能については代替手段が様々考えられることからここでは議論しない．
頭の方向や位置を検出するセンサを搭載したヘッドフォンは従来から存在していたが，その目的は仮想の音源位置を固定することで臨場感を高めることにあったため，Music Scope Headphones のようにユーザの意図によって特定の楽曲を強調することはできなかった [3, 10, 11]．つまり，それらのヘッドフォンでは多くの楽曲の中から特定の楽曲を選択することは困難であった．
一方，従来の楽曲検索手法や楽曲推薦システムには，類似度に基づく手法 [5, 6, 7, 9] や協調フィルタリングに基づく手法 [2, 8] などがあるが，これらは，多くの楽曲から限られた数の楽曲に絞り込むことには有効であるが，絞りこまれた後の楽曲をどのように試聴するかについては議論されておらず，ユーザは1 曲ずつ楽曲を試聴していかなくてはならなかった．
これに対し，Musicream[13] では，流しそうめんのように楽曲が流れるインタフェースを提案した．
また，Papipuun[4] や SmartMusicKIOSK[14] は，音楽要約，すなわち傷の付いたレコード盤上での針飛びで生じる速聴きのような方法を可能とした．こ

評価実験

Music Scope Headphones を使用して，円滑な選曲が可能であるか評価実験を行った．実験には，RWC 研究用音楽データベース：ジャズ音楽（RWCMDB-J-2001）[15] を用いた．このデータベースには，50 のジャズ曲が収められており，そのうちソプラノサックスを含む楽曲は 1 曲である．そして，3人の音楽初心者がソプラノサックスを含む曲を探し出すまでの時間を測定した．被験者は，データベースにある曲を聴いたことはないが，ソプラノサックスの音色は知っていた．楽曲リストは，データベー
スにある順で与え，ソプラノサックスを含む楽曲は50 曲中 50 番目にあった．ただし，被験者には，データベースに何曲の曲があるかは知らせていない．3
章で述べた調節可能なパラメータのαとβは予備実験を行い被験者ごとに任意に設定させた．楽譜配置のプリセットは被験者 1 が星型，被験者 2 が円形，被験者 3 がオーケストラを使用していた．
表 1 は，測定結果をまとめたものである．いずれの被験者も短時間で，目的の曲を見つけることができた．Music Scope Headphones を用いた測定の後にWindows の標準プレイヤである Windows Media
Player を用いて同様の測定を行った．用いたのは同じデータベースであるため，被験者が曲の内容を覚えている場合には Windows Media Player が有利になる可能性が高い．しかし，結果は逆で，いずれの被験者も Music Scope Headphones を用いた場合のほうが，短時間でソプラノサックスを含む曲を選択できた．この結果は，Music Scope Headphones

WISS 2006

表 1. ソプラノサックスを含む曲を探し出すまでの時間

被験者 1
被験者 2
被験者 3
平均本ヘッドフォン
224 秒
423 秒
642 秒
429 秒

標準プレイヤ845 秒
1145 秒
751 秒
914 秒は楽曲リストから，特定の音色を含む曲など，目的の曲を探すのに有効であることを示している．

7

まとめ

本研究では，楽曲プリビュー機能，フォーカス機能，スイッチ機能という 3 つの機能を備えた楽曲選択のためのインタフェース Music Scope Headphonesについて述べた．Music Scope Headphones は，電子コンパス，傾斜センサ，距離センサという 3 つのセンサを搭載することで，人間が音を聞くときの自然な動作を検出し，検出した動作と 3 つの機能の関連づけを行った．これにより，ユーザは煩雑なマウス操作から解放され，円滑な選曲作業が可能となる．
さらに，マイコンや USB 変換基板を用いることで，軽量で壊れにくく，かつ容易にパソコンに接続可能なハードウェアを実現した．今回の実験では，いずれの被験者も短時間で，目的の曲を見つけることができ，音のみによる楽曲選択が可能であることが確認できた．
今後，さらに詳細なユーザビリティの評価方法について検討していきたい．また，楽曲の検索から試聴まで GUI を全く使わずに全ての操作が可能となるような統合的なシステムを構築していきたい．さらに，その他の応用についても検討していきたい．
図 12 は，各楽器ごと別々に録音された音源を楽曲空間上に配置することで，自分の好きなパートを選択しながら聞けるようにしたものである．周囲に楽器を配置し，音量に応じて各楽器に照明をあてることで，アミューズメント効果を高めている．福祉や医療分野などへの応用についても検討していきたい．

参考文献[1] cycling74. http://www.cycling74.com/products/maxmsp/, 2006.
[2] W. W. Cohen and W. Fan. Web-collaborative
filtering: Recommending music by crawling theWeb. In WWW9/Computer Networks, Vol. 33,
pp. 685–698, 2000.
[3] C. Goudeseune and H. Kaczmarski. Composing Outdoor Augmented-reality Sound Environments. In Proceedings of ICMC2001, pp. 83–86,
2001.

図 12. アミューズメントへの応用例[4] K. Hirata and S. Matsuda. Interactive Music
Summarization Based on GTTM. In Proceedings of ISMIR2002, pp. 86–93, 2002.
[5] E. Pampalk. A MATLAB toolbox to computemusic similarity from audio. In Proceedings ofISMIR2004, pp. 254–257, 2004.
[6] T. Soding and A. F. Smeaton. Evaluating a music information retrieval system - TREC style.
In Proceedings of ISMIR2002, pp. 71–78, 2002.
[7] G. Tzanetakis and P. Cook. Musical genre classification of audio signals. In IEEE Transactions on Speech and Audio Processing, Vol. 10,
pp. 293–302, 2002.
[8] A. Uitdenbogerd and R. van Schyndel. A review of factors affecting music recommender
success. In Proceedings of ISMIR2002, pp. 204–208, 2002.
[9] F. Vignoli and S. Pauws. A music retrieval system based on user-driven similarity and its evaluation. In Proceedings of ISMIR2005, pp. 272–279, 2005.
[10] O. Warusfel and G. Eckel. LISTEN - Augmenting Everyday Environments through Interactive
Soundscapes. In Proceedings of VR2004, pp.
268–275, 2004.
[11] J. Wu, D. C. Duh, M. Ouhyoung, and J. Wu.
Head Motion and Latency Compensation on Localization of 3D Sound in Virtual Reality. In
Proceedings of VRCIA1997, pp. 15–20, 1997.
[12] 神原 啓介, 安村 通晃. MeltingSound: なめらかなオーディオブラウジング. HIS2003 論文集, pp.
817–820, 2003.
[13] 後藤 孝行, 後藤 真孝. Musicream: 楽曲を流してくっつけて並べることのできる新たな音楽再生
インタフェース. WISS2004 論文集, pp. 53–58,2004.
[14] 後藤 真孝. SmartMusicKIOSK: サビ出し機能付
き音楽試聴機. 情報処理学会論文誌, 第 44 巻, pp.
2737–2747, 2003.
[15] 後藤 真孝, 橋口 博樹, 西村 拓一, 岡 隆一. RWC
研究用音楽データベース: 研究目的で利用可能な著作権処理済み楽曲・楽器音データベース. 情報処理学会論文誌, 第 45 巻, pp. 728–738, 2004.