情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-47
2019/3/6

ポインティング・デバイスの操作感覚に影響を与えることを目的とした音響フィードバック
高野 衛1

須田 拓也1

安藤 大地1

馬場 哲晃1

串山 久美子1

概要：人間は環境から得られるフィードバックをもとに動作を認識する特性を備えている．この認知特性を背景に拡張現実の分野では，デジタル・フィードバックを用いた感覚の拡張手法の研究が行われている．
音響フィードバックを用いた研究においては，音響パラメーターの変化によって体性感覚や空間認識における印象の変容に関する事例が報告されている．これらの事例をもとに，操作印象の拡張を目的とした動的な多変数の音響パラメーターの操作が可能なシステムを用いたフィードバック手法の提案を行う．

1. はじめに1.1 背景人間は，動作において内部感覚と動作に伴う環境フィードバックによって身体や動作のイメージを作り上げている．
拡張現実やクロスモーダルの研究分野においては，情報の知覚化を利用した体性感覚の拡張に関する研究が行われている．一般的に視覚フィードバックを用いた感覚への影響についての研究が多く行われている．一方で，聴覚フィー
ドバックに関する事例が近年いくつか報告されており，音図 1 システム概要図を用いたフィードバックによる拡張手法の可能性も示唆されている．本研究では音響フィードバックを用いることでデバイスの操作感覚に影響を与え，動作や身体イメージの変容が可能な手法の提案を行う．

1.2 関連研究
本節では関連する先行研究や実装事例を提示し，本論文のシステム設計に至る背景を説明する．ポインティング・

著者らは，これまで動作情報をもちいた音響フィードデバイスを用いた事例では，視覚情報による操作の印象をバック手法の提案を行ってきた [1]．本稿ではタッチパネル変化させる手法が多く存在する．代表的な事例としては，やトラックパッドなどから得られた入力情報をもとに音響渡辺が行ったマウス・ポインタの視覚情報を用いたコンテ情報を生成することにより，ポインティング・デバイスのンツが挙げられる [2]．この作品ではマウスの動作を視覚情操作感覚に影響を及ぼすことが可能なフィードバック手法

報と関連づけてインタラクティブに変化させることで，重の提案を行う．入力情報によって音が持つ周波数や音量なみや手触りなどの触覚知覚や体性感覚への影響を与えるこどの複数の音響パラメータを動的にコントロールすることとことに成功している．このような事例から，入力情報をで，ポインティング・デバイスの操作印象の拡張を目指す．

もとに感覚フィードバックを生成することで，他の感覚やこのような音響フィードバックを用いることで，ドローイ体性感覚を変調することが可能であることが示されている．

ングアプリにおける操作性の向上や，拡張現実や仮想現実

一方で，聴覚情報を用いた操作印象の変容事例も近年における動作のニュアンス表現を向上することが可能にな報告されている．Jousmäki らの研究 [3] や Guest らの研る．本稿では，背景となる事例をもとに設計したシステム

究 [4] では，操作により発生する音響の高周波数帯域を変についての詳細と，今回行ったフィードバック手法につい調することにより，自身の掌の手触りや研磨剤などの手触ての考察を行う．

りの印象が変化することが報告されている．双方の事例で

1

首都大学東京大学院システムデザイン研究科
Tokyo Metropolitan University Faculty of System Design© 2019 Information Processing Society of Japanは，触る素材から得られた触覚情報によるクロスモーダルな影響もあると示唆されているが，音の特定の周波数帯域893

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-47
2019/3/6の増減による感覚への影響は与えることが可能であると判断できる．

1.3 本研究の目的
前述のような事例から，デバイスの入力情報に音響フィードバックを付加することで操作印象を変化させることが可能であると推測できる．本稿ではタッチパネルやトラックパッドなどの操作ツールの情報を複数の音響パラメータにマッピングすることで，操作印象の変化を加えることが可能な音響情報の提示手法を提案する．筆者らはこれまで多変数マッピングによる動作情報の可聴化研究を行い，個々

図 2 動的なパラメータ操作によるスペクトルの変化
バンドパスフィルターにより音響処理されたホワイト・ノイズの音響パラメータが与える知覚への相互作用や動作への結びつきに関して考察を行ってきた．前述の事例におけるについては，固定値での静的なパラメータによる音響提示

触覚知覚への影響のみならず，音響パラメーターの変化にと，入力情報に応じて値を変化させる動的なパラメータ変よって体性感覚や空間認識における印象の変容事例がいく換を用いた音響提示が可能となっている．主観評価実験のつか報告されている [5][6]．これらの研究事例をもとに，音ために，動的なパラメータ変換に関しては，Max7 で制作

響パラメーターを効果的に用いたフィードバックを付加すした GUI を用いてスケーリング値の調整や変化方向の指定ることで，操作感覚の変容や動作イメージの拡張が可能にが可能となっている．音響パラメータのスケーリング値になる．このような事例を背景として本研究では，操作感覚関しては，表 1 で示した範囲での調整が可能となっている．の拡張を目的とした，多変数の音響パラメーターの操作がまた，サウンドファイルの音を用いたフィードバック可能なシステムを用いた動的なフィードバック手法の提案も可能となっている．ここでは電子音楽（electro-acousticを行う．

music）の音響生成で一般的な手法である，「グラニュラー・

2. システム設計サンプリング」を用いた．グラニュラー・サンプリングはサウンドファイルの一部の時間帯の音を取り出し，音を粒本システムはトラックパッドやタッチパネルの操作情報

子状に連続して再生する手法である．サウンドファイルもを取得し，それらから得た情報をコンピュータにより処理

ホワイト・ノイズと同様に，フィルタによる周波数帯域のすることで音響情報への変換を行なっている．今回のシス調整が行える．

テムでは，音響プログラミング言語である Max7 を用いた
表 1 マッピングとスケーリング値
音響パラメータ
マッピング値

音響処理を行なった．トラックパッドについては MacBook
内臓のものや USB 接続のデバイスからの情報の取得が可

Amp(0,1.0)能となっている．タッチパネルに関しては OSC 通信を用

Filter Cutoﬀ(100.0, 10000.0)

いた位置に関する情報の送受信を行なった．

Filter Gain

(0.01, 5.0)

Filter Q(0.01, 5.0)

Panning(0.0, 1.0)

2.1 音響情報
ここでは採用した音響パラメータとマッピング手法について説明を行う．本システムでは前述の研究を背景に，主音の生成にはポインティング・デバイスをスクロールしに周波数帯域のコントロールが可能な仕様になっている．

た時の変量をトリガーとして用いており，その速度に対応デバイスの操作に関する変量を計算し，その値を正規化しして音量を段階的に変化させることが可能になっている．

0 - 1 の範囲に変換している．マッピング時には，それぞれ聴覚は対数的な知覚特性を持っているため，物理的な刺激の音響パラメータに適した数値の範囲に正規化した入力情が倍増することで等間隔に音が増加していると知覚され報を再度スケーリングすることが可能となっている．

る．このような知覚特性を考慮し，入力値を指数補間する音色に関してはホワイト・ノイズを用いており，フィルことで知覚特性に対応した処理を行った．この聴覚の知覚タのカット・オフ周波数や Q 値，ゲインなどの値を調整す特性に合わせた処理を行うことで，実世界のフィードバッることによる音色の変換が可能になっている．複数種類のクに近い状態で強弱のニュアンスを表現することが可能とフィルタの形状 (Lowpass，Highpass，Lowshelf，Highshelf，なる．

Bandpass，Allpass) を選択することが可能となっている．
これらフィルタの特性の違いによって操作時の音の印象を変化させることが可能である．フィルタが持つパラメータ© 2019 Information Processing Society of Japan

3. 考察
ここでは本研究で制作したシステムの考察を行う．今回

894

情報処理学会 インタラクション 2019
IPSJ Interaction 20193B-47
2019/3/6

本来はあまり意識されない音響的な側面を，フィードバッ
クを付加することにより操作に関する動きの印象を音で拡張することが可能となる．今回用いた手法は研究事例を踏まえたうえで，主にフィルタの特性や周波数帯域の操作が可能な仕様になっている．事例では，素材の印象が変化することが示唆されており，今回の手法を用いることで操作時のデバイスに対する触覚知覚や操作の印象を変容することが可能になる．今後の展望としては，本稿で提案した動図 3 操作感覚の強調イメージ的なパラメータ操作による操作感覚の印象評価についてのアンケートや，操作情報の変化について検証を行っていく．の手法では，操作情報をもとにフィルタが持つ変数を変換することで，動的に音色の調整を行うことが可能となって参考文献

いる．前述の先行事例では音響パラメータを固定した状態[1]での提示手法が用いられていたが，この動的な提示手法を用いることでユーザの指の圧力や動きの速度などに関する変化を音の変化のニュアンスとして表現することが可能[2]となる．周波数帯域の操作に関しては，ラウドネス加算やピッチの印象変化など他の音響パラメータへの認知的変化[3]も加わるため，多変数のパラメータのコントロールを用いることでより実環境に近いフィードバックやそれを拡張した表現が可能となる．

[4]

前述の Jousmäki らの研究や Guest らの研究では，素材の滑らかさや荒さの印象の変化や，ユーザの動作イメージ[5]が変容することが報告されている．本研究で用いたマッピングのスケーリング値の範囲によっては，操作感覚の印象の変化の強度が変わってくるのではないかと考えられる．
今回は被験者による評価実験は行なっていないが，制作したシステムでは操作情報の記録やアンケートによる印象評[6]高野 衛，安藤 大地，馬場 哲晃, 串山 久美子, 動作情報に関する複数の音響パラメータへの多変数マッピングを用いた可聴化手法の考察，先端芸術音楽創作学会 会報 Vol.9
No.1 pp.18-23
渡 邊恵 太,VisualHaptics
カ ー ソ ルを 用 い た 手 触 り 感 提 示 シ ス テ ム,
http://www.persistent.org/VisualHapticsWeb.html.
V. Jousmäki and R. Hari: Parchment-skin illusion:
sound-biased touch, Current Biology, Volume 8, Issue
6, 12 March 1998, Pages R190-R191
Guest, S., Catmur, C., Lloyd, D, Audiotactile Interactions In Roughness Perception, Exp Brain Res, September 2002, Volume 146, Issue2, pp 161-171
Ana Tajadura-JiménezEmail and Ana Tajadura-Jiménezand Aleksander Väljamäe and Iwaki Toshima and Toshitaka Kimura and Manos Tsakiris and Norimichi Kitagawa 2012, “Action sounds recalibrate perceived tactile
distance , Curr.Biol, Vol.22, No.13, pp.516-517.
北川 智利 2013, “聴くことと身体を感じることのかかわり (特集 こころまで伝わるコミュニケーションを支える
音声言語と聴覚研究の最前線) , NTT 技術ジャーナル,Vol.25, No.9, pp.30-33.

価が可能となっている．今後の展望としては，本稿で提案した動的なパラメータ操作による操作感覚の印象評価についてのアンケートや，操作情報の変化について検証を行っていく．
音響フィードバックにおいて，操作と音響フィードバックの同期性が保証されていることが重要な課題点として挙げられる．同期に関する印象においては遅延を感じさせないようなリアルタイムな提示が重要となる．今回用いたデバイスやシステムでは，トラックパッドにおいてはフレームレートが平均 10ms だったため，遅延がない状態で操作との同期性は保たれていたと著者らは感じた．タッチパネ
ルによる OSC 通信を用いた手法では平均 20-30ms となっていたが，同期度合いに関しては問題のない範囲であると思われた．このことから，双方のデバイスで同期性は保たれていたと著者らは推測している．

4. おわりに
本稿では音響フィードバックによる動作や知覚印象の変容事例を背景に，タッチパネルやトラックパッドの操作情報を用いた音響フィードバックシステムを提案してきた．

© 2019 Information Processing Society of Japan895