情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-28
2023/3/1

SUI（Sound User Interface）
音で表現された対象をインタラクティブに操作可能な UI
古町昂大†1, a)

美馬義亮†1, b)

概要：本研究では，音によるユーザインタフェースを構成する SUI（Sound User Interface）を提案し，その実現を目的としたプロトタイプを制作した．音によるユーザインタフェースとは，GUI におけるスクリーン上のアイコンやポインタなどを用いて行う同等の操作を，立体音響空間内に表現された音による操作として実現したものである．本
プロトタイプは，動的バイノーラル技術を用いて実現した立体音響空間内で音オブジェクトの選択や移動などの操作が可能であることを示し，視覚を用いず，GUI に相当する利用価値をもつようにしようとしている，新たなユーザインタフェースの提案である．本稿では，音オブジェクトの選択を示す音響表現手法や，音響オブジェクトの移動を行うための操作手法について述べる．さらに，これらの手法をもとにして構築されるアプリケーションを実現するためのユーザインタフェースについて議論を行う．

1. はじめに

2. 先行事例・関連研究

Graphical User Interface(以下 GUI）は，人がコンピュータ2.1 GUI のデスクトップ機能を使うために不可欠な技術として広く使われてきた．しかGUI の上に構築された，デスクトップ上のファイルやごし，GUI の利用にはスクリーンを用いることが前提となるみ箱などのアイコンはポインタで選択することにより，ユため，液晶等のディスプレイやプロジェクタなどの機器をーザが目的とする操作を直感的に行うことができる．机上携帯しなければならないことには不便さを感じる時もある．

で用いられたもののメタファーによるアイコンの表現によ

一方，音響提示技術の進歩により，立体音響空間の提示り，そのアイコンの大まかな要素や機能を視覚的にわかりは容易になった．イヤフォンでも利用可能な解像度の高いやすくユーザに伝えている[1]．

立体音響空間は，一般的なユーザにも普及しつつある．

本研究ではこのデスクトップを音響空間に置き換え，ポ本研究では，スクリーン上に視覚的要素を投影する代わインタやアイコン等の対象が音で表現され，それらの相互りに，立体音響空間内に対象を生じさせることにより，音作用によりコンピュータの操作を可能にすることを目指す．

によるユーザインタフェース，Sound User Interface（以下SUI）の実現（図１）を試みた．ユーザは SUI を利用する

2.2 音の定位に関する技術

ことで，視覚的表示に頼ることなく新たな環境や感覚でコ複数の音を空間に定位させる技術として立体音響技術がンピュータとのインタラクションを行うことが可能になる．

ある．また，頭部を回転させても一定の方向から音源が再生されるよう，頭部の姿勢と立体音響空間を同期させる動的バイノーラル技術がある．動的バイノーラル技術を用いることで，提示される音像を定位しやすくなる[2]．近年
では，これらの技術を搭載したイヤフォン製品として，
Apple 社の「AirPodsPro」シリーズや Sony 社の「LinkBuds」シリーズが挙げられ，一般的なユーザにも普及しつつある．
本研究ではこれらに用いられている立体音響技術を活用し，プロトタイプを制作する．
2.3 聴く音を選択するインタフェース
立体音響空間内の特定の音を選択して聴くことを目的とした研究は，数多く取り組まれてきた．
浜中ら[3]は，⾃然な頭の向きや⼿の動きでオーディオミ

図１：SUI の概念図

キサーを操作できる，サウンドスコープヘッドフォンを提†1 公立はこだて未来大学a) b1019039@fun.ac.jpb) mima@fun.ac.jp© 2023 Information Processing Society of Japan893

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-28
2023/3/1

ディスプレイ

案している．これはユーザの周囲に配置された各楽器の⾳量を，頭の向きによって，リアルタイムで制御できるユーザインタフェースである．頭の⽅向を変え，⼿をヘッドフポインタ

ォンに近づけるだけで，正⾯の楽器やパートをより強調しフォルダ

GUI による操作
ex. ポインタでフォルダを選択するて聞くことができる．
この技術に伴って，梅津ら[4]は，AR 空間内において，視覚的に表現⾳声⾳源の位置や⽅向をわかりやすく提⽰可能な，⾳声案内システムを提案している．ユーザの空間把握能⼒を，聴覚によるインタラクティブな情報提⽰によって向上させて情報世界の関係存在に変更

インタラクションの仕組みを加える

対象の関係の変化をいる．

対象 A

対象 B

対象 A

対象 B操作として意味付ける
ex. A を B に重ねる→選択

これに対して関ら[5]は，⼈の注視⾏動と正⾯を注意している時間に応じて，複数⾳源から興味のある⾳源を徐々に絞り込むことが可能なユーザインタフェースを提案している．前述した先⾏研究とは異なり，⾳源の⽅向に注意する

情報世界に存在する電子的な存在な対象

コンピュータ内の情報世界ことで，頭部の⽅向変化と時間経過による，空間にある⾳源の絞り込みを可能としている．
これらの研究は，ユーザの頭部の姿勢，⽅向の変化によ

図２：GUI のインタラクションの仕組み

る，ユーザの周囲に配置された⾳を絞り込んで聴取することを可能としている．しかし，提⽰された⾳を「選択」するとき，「選択的に聴き取る」操作を⾏うものの，その⾳3.2 SUI におけるインタラクションの内容や状態に対して変更を加えたりすることは不可能で今回提案する SUI では，音響空間内に存在する音で表現ある．本研究では，提⽰された⾳を「選択的に聴き取る」

されたオブジェクトを重ね合わせることによりコンピューのみではなく，GUI のポインタでアイコンを選択するとい

タ内の対象の操作を可能にすること（図３）を目指す．こった操作を⾳による表現によって可能にする．

こでは，立体音響空間において複数の対象を表現し，音の方向を知覚する音源定位[6]や音を選択的に聞き取る能力

3. アプローチ
GUI の直感的な操作のプロセスを分析し，音響空間でも[7]を利用する．3.1 で述べた GUI の基本操作である「選択」「移動」を，SUI では様々な方向から聴こえる対象やそこで生じる対象間の関係の変化により実現する．

同等のインタラクションを実現するための仕組みを設計した．
音響空間

音で表現した3.1 GUI におけるインタラクションの分析

ポインタ

音で表現した対象

GUI は本来直接ふれることのできない情報世界にある存SUI による操作

在を，視覚化された対象として表現し，ポインタを用いてex. ポインタで対象を選択する

あたかも実体のように操作するインタラクティブな操作を可能にしている．この操作においては，視覚的に表現され音による表現る対象間の関係の変化によって操作の意味付けが行われること（図２）が重要である．例えば，対象 A と対象 B があった時に，対象 B に対象 A を重ね合わせるという関係の変化による「アプリケーションの起動」，あるいはドラ情報世界の関係存在に変更

インタラクションの仕組み

を加える

対象の関係の変化を
対象 A

対象 B

対象 A

対象 B

操作として意味付ける
ex. A を B に重ねる→選択

ッグ操作により「データの移動」といった操作の意味があたえられ，結果として情報世界の存在に変更が加えられる．
このとき，GUI の基本にあるのは，視覚的に表現されたそれぞれの対象を，「選択」する，「移動」するという２つの操作である．

情報世界に存在する電子的な存在な対象

コンピュータ内の情報世界

図３：SUI のインタラクションの仕組み© 2023 Information Processing Society of Japan894

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-28
2023/3/1

4. SUI の提案
本研究では，SUI のインタラクションの実現と有効性を確かめるために，デスクトップインタフェースを模したプロトタイプを制作した．本プロトタイプは，イヤフォンと入力デバイス（スマートフォン）を用いて，「目的の対象を選択する」と「目的の対象を移動させる」操作を可能にする．
4.1 サウンドポインタとサウンドオブジェクトの実現
SUI では，3.2 で述べたインタラクションを実現するために，ユーザが操作可能な音のオブジェクトである「サウンドポインタ」を導入する．また，このサウンドポインタを

図６：サウンドオブジェクトの提示操作し，3.1 で述べた「選択」や「移動」を行う音で表現された対象を「サウンドオブジェクト」とする．

4.3 SUI による対象の「選択」とフィードバックサウンドオブジェクトを「選択」する操作と，その操作

4.2 SUI の提示方法
試行の第一段階として，立体音響空間の提示される部分を一定範囲内（前方 180°）に限定した．音で表現される操作の対象はユーザを中心とした円周上に提示され，同一円周上を移動する．（図４）
このとき，サウンドポインタは図５のように提示と操作がなされ，サウンドオブジェクトは図６のように提示されを行う際のフィードバックを，チョイス，ポイント，セレクトの３つの手順に分けて以下に示す．
・ チョイス：選択する対象を決める
音源定位を用いて，複数のサウンドオブジェクトの中から，目的のサウンドオブジェクトの位置を，ユーザは聴覚で把握する．また，サウンドポインタと目的のサウンドオブジェクトの位置関係を聴覚で比較し，サウンドポインタる．の移動方向を決める．（図７）このときユーザは，提示されたサウンドオブジェクトの位置を把握しやすくため，サウンドポインタの音を消す操作を任意のタイミングで行うことができる．

図４：SUI における立体音響空間のイメージ

図７．⼿順：チョイス・ ポイント：選択する対象へポインティング
目的のサウンドオブジェクトの位置に，サウンドポインタを移動させ，重ねる．このときユーザは，サウンドポインタが目的のサウンドオブジェクトに近づいている状況をフィードバックにより知覚する．ここではサウンドポイン
図５：サウンドポインタの操作と提示タが近づくほど音程が上がり，目的のサウンドオブジェクト以外の音量を下げるフィードバックを行う．そうすることで，ユーザがサウンドポインタを目的の対象を示す音に近づけるという行為が，目的の結果に近づいているかどうかを音で伝える．（図８）© 2023 Information Processing Society of Japan895

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-28
2023/3/1

5. 実装
本プロトタイプは，加速度センサが搭載された出力デバ
イスのイヤフォン（AirPods Pro），入力デバイスのスマートフォン（iPhone XR）を用いて実装を行なった．立体音
響空間の構築と頭部姿勢との連動，スマートフォンの向きによる操作の総合的システムを，ゲーム開発エンジンである Unity で行い，デモ操作を行えるアプリケーションを PC
図８．⼿順：ポイント（MacBook Pro）で制作した．このアプリケーションをスマートホンで実行し，イヤフォンから得られた頭部の姿勢データとスマートホンの姿勢データを処理し，立体音響空・セレクト：選択する対象を確定する
目的のサウンドオブジェクトが選択可能な状況を，ユー間へリアルタイムに反映させる．（図 10）

ザは聴覚で判断する．目的のサウンドオブジェクトの選択
スマートフォン

可能範囲に，サウンドポインタが存在している間，上がり入力操作，姿勢データを出力続けていた音程が，一定になるフィードバックを行う．まアプリケーションを実装た，目的のサウンドオブジェクト以外のサウンドオブジェクトの音を消すフィードバックを行う．そうすることで，目的のサウンドオブジェクトを選択するという行為の結果

頭部の姿勢データを送信

サウンドポインタ，サウンドオブジェクトの定位後データを送信を伝えている．このときユーザが入力デバイスによるクリUnity
立体音響空間を構築
システムを開発

ック等の操作により，情報の選択を完了する．（図９）
イヤフォン

立体音響空間を提供
姿勢データを出力PC

図 10：システム構成

6. SUI のアプリケーションへの応用
6.1 楽曲の再生位置編集アプリケーション
現状のプロトタイプによる操作体系を用いた，立体音響内のメディアに対する位置操作アプリケーション（図 11）
図９．⼿順：セレクトを実現可能である．例えば楽曲データ内の各楽器やオーディオデータを分け，それを「サウンドオブジェクト」に紐づけることで，ユーザは楽器などを任意の位置に変更し，4.4 SUI による対象の「移動」音楽体験を自らが変化させる一種のメディアとして利用で「選択」する操作に次いで実行できるサウンドオブジェ

きる．これはダイレクトマニュピレーション[8]による対クトを「移動」させる操作は，ドラッグとドロップの 2 つ象の直接操作によりユーザへの直感的な操作を可能にしての手順に分かれる．

いる．

・ドラッグ：対象の位置を動かす
目的のサウンドオブジェクトを「選択」するとき，入力デバイスを長押しすることで，サウンドポインタと同じ位置を追従するように操作できる．
・ドロップ：対象の位置を確定する
任意の位置で長押しを解除することで，「サウンドオブジ
ェクト」の位置を移動させることができる．
これは GUI のドラッグ＆ドロップに対応する操作である．
図 11：再生位置編集アプリケーション© 2023 Information Processing Society of Japan896

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-28
2023/3/1

6.2 実世界へ「サウンドオブジェクト」をマッピング

参考文献

実世界に「サウンドオブジェクト」をマッピングするこ[1] Apple Computer, Inc. Apple human interface guidelines: TheApple desktop interface. Addison Wesley Publishing Company,（1987）[2] 平原 他, "頭部伝達関数の計測とバイノーラル再生にかかわる諸問題," Fundamentals Review 2(4),pp. 68-85, (2009).
[3] 浜中雅俊, 李昇姫, “サウンドスコープヘッドフォン”, 日本
バーチャルリアリティ学 会論文誌, Vol.12, No.3, pp.295-304,(2007)[4] 梅津直貴，井ノ上寛人，堀内恒, 佐藤美恵, 小黒久史, 春日正男, “空間把握性に注目した音響案内システムの開発に関する研究”, 映像情報メディア学会技術報告, Vol.35, No.39,
pp.41-44, (2011)[5] 関洋平，大谷拓郎，岡林桂樹, 柳沼義典, “人の行動に連動した音を使ったユーザインタフェースの提案と評価”, 情報科学
技術フォーラム講演論文集(FIT), Vol.11, No.3, pp.441-446,(2012)[6] 山田玲, 音源定位 脳科学辞典 DOI:10.14931/bsd.7583, (2018)[7] 米村俊一, 「音」を理解するための教科書，コロナ社, (2021)[8] Ben Shneiderman, Direct Manipulation: A Step Beyond
Programming Languages（1983）とで，拡張現実的に応用できる．
例えば，家電に「サウンドオブジェクト」を紐づけることにより，選択とそれに次ぐ電源操作等を固有のリモコンを用いなくても可能にできると考えられる．
また，地図アプリと同期させることで実世界の位置情報と「サウンドオブジェクト」を紐づけることにより，複数の目的地の中からひとつを選択する操作や，案内中の周囲の情報に物理的なディスプレイを用いなくてもアクセスできると考えられる．
6.2.2

サウンドオブジェクトのウィジェット表現

GUI には画面中にボタンやスライダ，トグルスイッチなどのポインタでクリックして操作するウィジェットの組み合わせにより，選択操作とそれに次ぐドラッグ＆ドロップの要領の操作のみで，選択操作以上のインタラクションを直感的に実現している． SUI では音響空間内で操作可能な「サウンドポインタ」を持つため，これらのウィジェットを「サウンドオブジェクト」で表現することにより，直感的な操作が可能になると推察される．例えば，映像や音楽メディアへの再生，早送り，巻戻しの指示を音のウィジェットで表現することで，図 12 のような操作を実現できると考える．
「再生ボタン」の音「早送りボタン」の音「巻戻しボタン」の音

図 12：SUI による「再生，早送り，巻戻し」の操作

7. 今後の展望
本稿では，立体音響空間の音で表現された情報世界の対象を選択可能な SUI の提案を行い，その有効性を示すためにデスクトップインタフェースを模したプロトタイプを制作した．被験者には，プロトタイプを用いて，３つの「サウンドオブジェクト」の中から筆者が指示した，目的の「サウンドオブジェクト」を選択可能であるかを，実行時間と練習・学習時間を合わせて調査する予定である．
また，この SUI を実際に取り入れた上記のようなアプリケーションを制作していくことを目指し，具体的な操作場面を実際に示していく必要性があると考える．

© 2023 Information Processing Society of Japan897