視覚情報が音声情報提示の主観的音量に与える影響の調査
渡邉 拓貴1,2

松田 裕貴3,2

概要：近年の技術発展に伴い，イヤホン型のウェアラブルデバイス（ヒアラブルデバイス）が急速に普及しつつある．ヒアラブルデバイスによって，ユーザはナビゲーションや音声アシスタントからの提案など，システムから常に情報を受け取ることが可能になる．一方で，人間が知覚する音の大きさ（主観的音量）は，ユーザの状況によって異なることが分かっており，システムからの音声情報を常に一定の音量で提示することは適切ではないといえる．そこで本研究では，主観的音量に影響を与え得る要素の中で，ユーザの視覚から得られる情報に着目し，ヒアラブルデバイスでの音声情報の利用を想定した環境で，視覚情報が音声情報提示の主観的音量に与える影響を調査した．視覚刺激として雑踏と公園の 2 種類，聴覚刺激として 3 種類の音量（small，normal，large）の音声アナウンスを用いて主観的音量の変化を調査した．結果として，同じ音圧で音声情報を提示しても，雑踏のような視覚刺激の多い映像よりも，公園のような視覚刺激の少ない映像の方が，被験者は音量を大きく感じる（主観的音量が大きい）傾向が確認できた．また，音量 small の場合には視覚刺激間で有意な差が確認された．

Investigation of the Eﬀect of Visual Information on Subjective-Volume
Change of Audio Information Presentation
HIROKI WATANABE1,2

1. はじめに

YUKI MATSUDA3,2に影響を与えることが報告されている [3]．音についても，ユーザが感じる音の大きさ（主観的音量）は，ユーザの状近年の技術発展に伴い，イヤホン型のウェアラブルデバ況によって異なることが先行研究から報告されている．例

イス（ヒアラブルデバイス）が急速に普及しつつある．ヒ

えば，ユーザの主観的な音量は，直前までに提示されていアラブルデバイスによって，ユーザは移動時や運動時などた音量によって変化すること [4] や，同音圧の音源でも視様々な状況下で，ナビゲーションや音声アシスタントから覚効果の有無によって主観的な音量や音から受ける印象がの提案など，システムから常に情報を受け取ることが可能変化することが報告されている [5]．一方で，これらの研になる．

究では視覚刺激と音とは対応するもの（例えば，車の映像一方で人間が知覚する主観的な印象は，ユーザの状況にに対して車の音）を用いており，ヒアラブル環境で想定しよって変化することが先行研究から報告されている．例えうる，視覚刺激と音とが対応していない場合（例えば，視ば，スマートグラス上に視覚刺激を提示することで主観的覚刺激は公園だが聴覚刺激は音声アナウンス）の影響につな時間の速さが変化するシステムの提案 [1] や，スマートグ

いては，我々の知る限り調査されていない．この影響が明ラス上で再生する動画の再生速度が視聴後の作業速度に与らかにされれば，ヒアラブル環境において従来考慮されてえる影響が報告されている [2]．また，新型コロナウイルス

いた環境音に応じて情報提示の音量を変化させるだけでな感染症といった社会情勢が，ある空間における体感混雑度

く，視覚刺激にも応じて情報提示の音量を変化させることで適切な音量でのサービス提供が可能になる．また、ユー123北海道大学, Hokkaido University
科学技術振興機構さきがけ
PRESTO, Japan Science and Technology Agency
奈良先端科学技術大学院大学, Nara Institute of Science andTechnology

ザとシステムのインタラクション（ユーザによる能動的な音量調整など）を通じて、ある環境がどのような特性を持つ場所であるのかの情報を参加型センシングのアプローチ

解釈・理解視覚刺激

映像情報

Q. 影響が変化する？
視覚刺激の内容によって

ヒト

フィルタ

体感音量

物理音量

街，公園 等
音声ナビ 等

応用・発展

で生じる影響について検討しており，同じ騒音環境であれば，騒音源が視認できる方が不快感が高まることが報告さ

視覚刺激の状況に応じたナビの音量の自動調整 等

音情報

図 1 実験の枠組みれている [10]．宮川らは日常聞かれる 62 種類の環境音を対象として，音のみを提示した場合と，映像を付加して提示した場合について音の印象を調査した [11]．また，朝倉は都市環境音の主観的印象が視覚情報の有無や種類によって異なることを明らかにしている [12]。結果として、視覚刺激のない場合に比べて滝や飛行機といった視覚刺激がある場合に主観的音量が増大することが示されている。

で収集することも可能となると考える。これによって、あ上記の研究では，視覚情報が聴覚へ与える影響を調査しらゆる状況（視覚刺激）における体感音量の対応関係を網ており，視覚情報と聴覚情報とに関連があることが示され羅することも可能となる。ている．しかし，これらの研究では対応のある視覚刺激と従って本研究では，視覚刺激と聴覚刺激との間に関連が聴覚刺激を用いており，本研究で対象とする視覚刺激と聴ない場合に生じる，視覚刺激が主観的音量に与える影響の覚刺激が対応していない状況での影響の調査という点で異調査を目的とした評価実験を行った（図 1）．ユーザが屋外なる．

環境でヒアラブルデバイスから音声情報を得る環境を想定し，ヘッドマウントディスプレイ（HMD: Head Mounted

2.2 聴覚刺激が主観的音量に与える影響Display）から視覚刺激を，イヤホンから聴覚刺激を与え，聴覚に音刺激が持続的に提示されることで，主観的音量がユーザの主観的音量の変化を調査した．視覚刺激として雑減少するということは古くから研究されている [13], [14]．

踏と公園の 2 種類を，聴覚刺激として 3 種類の音量（small，矢高らは，騒音等の周囲の状況や会話中などの活動状況のnormal，large）の音声アナウンスを用いた．結果として，影響に応じてイヤホンから提示する音量を動的に変更する

雑踏のような刺激の多い映像よりも，公園のような刺激のシステムを提案した [15]．同じく矢高らは，主観的音量が少ない映像の方が，主観的音量が上がる傾向にあることが直前に聴取した音量の影響を受けることを利用し，システ確認された．また，音量 small の場合には 2 つの視覚刺激

ムからの音声情報提示によりユーザの感じる音量が一定との間に有意差が確認された．

する機構を提案した [4]．

2. 関連研究2.1 視覚刺激が主観的音量に与える影響視覚情報と聴覚情報とは相互に影響を及ぼす可能性があることが複数の先行研究から示されている．佐久間らは，視覚情報の変化によって主観的音量が変化するか調査を行った [6]．Web カメラを搭載した HMD を用い，ユーザが指定した箇所に視覚効果を施すことにより，ユーザの主

上記の研究では音の提示により主観的音量が変化することに着目しており，本研究で対象とする異なる視覚刺激が音声情報提示の主観的音量に与える影響の調査とは対象が異なっている．

3. 視覚刺激が主観的音量に与える影響調査
3.1 実験方法
3.1.1 実験条件

観的音量を制御するシステムを実装した．安倍らは，視覚本研究では，ヒアラブルデバイスの利用時を想定し，屋情報が環境音知覚に及ぼす影響について調査を行った [5]．

外環境で音声情報提示を受ける際の主観的音量を調査する

刺激音を提示する際に，対応する映像も同時に提示して評ことを目的とする．実験の枠組みを図 1 に示す．

価実験を行なった結果，音の明るさ因子を除く各因子につ実験の様子を図 2 に示す．被験者は，没入型 HMD（MetaQuest 2*1 ）を装着し視覚刺激を，耳にはイヤホン（AppleAirPods Pro*2 ）を装着し，聴覚刺激をそれぞれ受ける．

いて，映像の付加による影響が確認されている．Tokunagaらは，自動車走行音を対象として，音のみの場合と，音と映像を与えた場合に，被験者の感じる主観的な音量が変化

視覚刺激として，視覚刺激が大きいと想定される雑踏することを報告している [7]．藤本らも自動車騒音を対象と（town 条件）と，視覚刺激が小さいと想定される公園（parkして，現場で実騒音を聴いた場合，実験室内で騒音だけを条件）の 2 条件を選択した．それぞれの条件で 6 種類の動聴いた場合，実験室内で映像と騒音を試聴した場合におい画を用意し，視覚刺激とした．利用した視覚刺激の一例をて，得られる大きさ，やかましさ，妨害感の評価が異なる

図 3 に示す．用いた動画は VR180 に対応しており，被験ことを示している [8]．Szychowska らは，聴覚刺激のみ，者の頭部方向に応じた視界が得られるため，被験者は没入

視覚刺激のみ，聴覚刺激と視覚刺激を与えた場合で，環感を持って視覚刺激を得られる．なお，本研究では視覚刺境騒音から得られる評価が異なることを検証している [9]．

Bangjun らは，騒音の音源が視覚的に確認できるかどうか*1*2

https://store.facebook.com/quest/products/quest-2/
https://www.apple.com/jp/airpods-pro/

基準音

HMD

視覚刺激なし刺激音(small/normal/large)
視覚刺激(park/town)

イヤホン

HMDで再生中の映像

図 2 実験中の様子

a×12

基準音の音量をもとに刺激音の音量を回答b

図 4 実験の流れ数値で解答する．例えば，基準音を 100 とした場合，刺激
図 3 視覚刺激の一例: (a) 公園，(b) 雑踏

音が少し大きいと感じたら 120 などと回答するよう指示した．なお，基準音の数値は指示せず，被験者が設定できる

表 1 使用した聴覚刺激ようにした．刺激音に対する被験者の回答結果を被験者ご

文章
再生時間 [s]岸田総理は東南アジアとヨーロッパ 6 カ国への歴訪を終え，先ほど政府専用機で羽田空港
11に到着した．
ウクライナ南東部の要衝マリウポリで，ロシア軍は 6 日，アゾフスタル製鉄所に対する攻撃を継続した．
9
半導体不足の影がクレジットカード業界にも忍び寄る．カードの IC チップには半導体が使われる．
10
ウクライナ政府は，南東部マリウポリのアゾフスタル製鉄所から民間人の女性や子供，高齢者全員が避難したと発表した．
11との基準音の数値で割ることで，各被験者の回答を正規化した．上記の手順を 12 回（視覚刺激：2 条件 ×6 種類，聴覚刺激：3 条件 ×4 種類）行う．視覚刺激と聴覚刺激の組み合わせと提示順は，被験者毎に異なるようにランダムに設定した．
実験では，まず実験環境及び実験手順への慣れを考慮し，テスト動画及びテスト音声を用いて，数回上記の実験手順を繰り返した．その後，本実験として被験者は上記の手順を 12 回繰り返した．被験者には映像，音声ともに条件がどのように異なるかは説明せず，条件名も伝えずに実験を激による主観的音量の変化の調査を目的とするため，動画行った．被験者は 20 代から 30 代の男女 10 名である．の音は無音とした．
聴覚刺激として，3 種類の音量のアナウンス（small，3.2 実験結果normal，large）を用意した．normal はイヤホンからの出力で約 55dB であり，large は normal の +6dB，small はnormal の −6dB である．アナウンスは Text-to-speech で各被験者の正規化後の回答結果を表 2 に，結果を音量ご量の場合で，town 条件よりも park 条件の方が平均値が高作成されたもので，内容はニュースの見出しとした．時間

い．つまり，park 条件の方が主観的音量を大きく感じるは 10 秒前後のものを 12 種類（3 音量 ×4 種類）用意した傾向が確認できる．本研究では，物理的な音圧が同じ場合（表 1）．の視覚刺激による主観的な音量の変化に着目している．し3.1.2 実験手順

たがって，音量 small，normal，large それぞれの場合で tとにまとめたものを図 5，図 6，図 7 に示す．全ての音実験の流れを図 4 に示す．実験では，視覚刺激がない（目検定を行った．結果として，small 条件の場合，視覚刺激を閉じた）状態で，まず基準音を提示する．毎回の聴覚刺によって主観的音量に有意な差が確認された（p < .01）．

激の基準とするため，基準音は毎回同じ音量とし，normalと同一のものを用いた．次に，被験者は HMD から視覚刺

normal 条件の場合，視覚刺激による有意な差は確認されなかった．large 条件の場合，視覚刺激による有意な差は激を，イヤホンから聴覚刺激をそれぞれ受ける．最後に，確認されなかった．

被験者は基準音と比較して刺激音がどの程度と感じたか，

表 2 各被験者ごとの正規化後の回答値

Small

NormalLarge

1.2

被験者ParkTown

ParkTown

ParkTown

A

0.70

0.65

1.05

1.00

1.30

1.20

1.0
0.8

0.70

0.65

1.10

0.95

1.35

1.40

0.80

0.70

1.00

1.00

1.23

1.20

D

0.88

0.83

1.03

0.94

1.23

1.20

E

0.80

0.85

1.05

0.93

1.18

1.15

F

0.83

0.78

1.05

1.05

1.13

1.13

G

0.95

0.80

0.95

1.10

1.20

1.10

0.2

H

0.80

0.70

1.05

1.00

1.25

1.20

I

0.90

0.85

1.10

1.05

1.15

1.10

0.0

J

0.90

0.80

1.00

1.05

1.20

1.25

平均

0.83

0.76

1.04

1.01

1.22

1.19

ScoreBC

0.60.4
Park
Town
Large
図 7 音量 large の実験結果なる．一方で公園のような静音な環境では聴覚から得られる音量は小さいことを期待しているため，実際の提示音圧

Score

0.8は同一でも雑踏の場合よりも主観的には大きく聞こえたと考えられる．

0.6

一方で，音量 normal，large の場合には有意な差が得られなかった．この原因として，被験者の数が十分ではな0.4かった可能性が考えられる．今後，被験者数や音量パター

0.2ンの増加など，より発展した調査が必要である．

Park
Town

0.0

Small

4.2 主観的音量変化を考慮した情報提示
前述したように，視覚刺激によって主観的音量に変化が

図 5 音量 small の実験結果生じることが示唆された．従って，ヒアラブルデバイスでの情報提示時には，従来考慮されてきたユーザの周囲状況の音量のみならず，ユーザの視覚刺激も考慮した情報提示

1.0を行う必要がある．また，本研究では視覚刺激の影響のみを考慮するため，動画の音を削除していたが，実際の環境

Score

0.8

では視覚と聴覚に同時にその環境の情報が得られることに0.6なる．今後の課題として，ユーザの置かれた環境の視覚刺激及び聴覚刺激を複合的に考慮した最適な音声情報提示手

0.4
0.2
0.0

法を確立する必要がある．

ParkTown
Normal
図 6 音量 normal の実験結果

4.3 視覚刺激の種類
本稿では，視覚刺激として雑踏と公園を選択し，雑踏は視覚刺激が大きく，公園は視覚刺激が小さいと想定して実験を行った．しかし，視覚刺激のどのような要因が主観的

4. 考察

音量に影響を与えたのかは明らかでない．例えば，同じ繁華街でも人通りが全くない場合は，主観的音量に与える影

4.1 視覚刺激による主観的音量の変化
実験結果より，音量 small の場合にのみ，視覚刺激によっ響が異なる可能性がある．視覚刺激のどのような要素が主て主観的音量に有意な差が認められ，仮説が一部支持され必要がある．

観的音量の変化に与える影響が大きいのか，今後調査するたといえる．視覚刺激によって主観的音量に変化が生じる原因として，視覚刺激によって期待する音量と，実際に聞4.4 刺激音の種類こえてくる音量の差異が影響している可能性がある．つま

本稿では，屋外環境でヒアラブルデバイスからナビゲーり，雑踏では音量が大きいことを想像するため，聴覚からション等がある環境を想定し，刺激音として音声アナウン得られる音量も大きいことを期待しながら音を聞くことにスを利用したが，刺激音が他の音の場合（純音や環境音）には異なる結果が得られる可能性がある．また，同じアナウンスでもユーザの状況と合致する音声かどうかで主観的音量が変化する可能性は考えられる．例えば，駅の中でする現場実験と実験室実験の比較. 日本建築学会計画系
論文報告集, Vol. 364, pp. 10–19, 1986.

[9]

ニュース音声と次の発車時刻の読み上げがあれば，後者の方がユーザにとっては重要と考えられ，主観的音量に差が生じる可能性がある．刺激音の種類や音声アナウンスの内[10]容まで考慮した検討も今後必要だと考えられる．

5. まとめ[11]

本研究では，ヒアラブルデバイスでの音声情報提示を想定し，視覚刺激と聴覚刺激が対応しない場合に，視覚刺激[12]が主観的音量に与える影響を調査した．雑踏と公園の視覚刺激に対して主観的音量を調査したところ，音量 small の[13]場合に，雑踏の視覚刺激よりも，公園の視覚刺激の方が主観的音量が有意に大きくなることが確認できた．また，得られた結果からヒアラブルデバイスにおける今後の音声情[14]

報提示手法について議論した．

[15]

Malina Szychowska, Honorata Hafke-Dys, Anna Preis,Jędrzej Kociński, and Paweł Kleka. The inﬂuence ofaudio-visual interactions on the annoyance ratings forwind turbines. Appl. Acoust., Vol. 129, pp. 190–203,
January 2018.
Zhang Bangjun, Shi Lili, and Di Guoqing. The inﬂuence of the visibility of the source on the subjective
annoyance due to its noise. Appl. Acoust., Vol. 64,
No. 12, pp. 1205–1215, December 2003.
宮川雅充, 鈴木真一, 青野正二, 高木興一. 視覚情報が種々の環境音の印象に与える影響. 日本音響学会誌, Vol. 56,
No. 6, pp. 427–436, 2000.
朝倉巧. 聴感実験における視覚情報の影響. 日本音響学会
誌, Vol. 74, No. 12, pp. 655–662, 2018.
Sylvie Charron, Marie ‐ ClaireBotte. Frequency selectivity in loudness adaptation and auditory fatigue.
The Journal of the Acoustical Society of America,
Vol. 83, No. 1, pp. 178–187, 1988.
立木孝. 聴覚の順応現象について. 耳鼻咽喉科臨床,
Vol. 58, No. 11, pp. 741–751, 1965.
矢高真一, 田中宏平, 寺田努, 塚本昌彦, 西尾章治郎. ウェ
アラブルコンピューティングのための状況依存音声情報提示手法. 情報処理学会論文誌, Vol. 51, No. 12, pp.

謝辞

2384–2395, 2010.

本研究の一部は，JST さきがけ JPMJPR2138，JP-

MJPR2039，および奈良先端科学技術大学院大学 CICP プ
ロジェクトの助成を受けたものである．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

長谷川瑛一, 磯山直也, 酒田信親, 清川清. 動画の再生速度が視聴後の作業速度に与える影響. インタラクション

2021, pp. 41–48, 2021.
Tomoyuki Shimizu, Kyosuke Futami, Tsutomu Terada, and Masahiko Tsukamoto. In-clock manipulator: information-presentation method for manipulating subjective time using wearable devices. In Proceedings of the 16th International Conference on Mobileand Ubiquitous Multimedia, MUM ’17, pp. 223–230,
New York, NY, USA, November 2017. Association forComputing Machinery.
松田裕貴, 中村優吾, 諏訪博彦, 安本慶一. 人の知覚の集合知による参加型 IoT センサ調整プラットフォームの設計. マルチメディア, 分散, 協調とモバイル（DICOMO2021）シンポジウム論文集, pp. 591–599, 2021.
矢高真一, 寺田努, 塚本昌彦. ウェアラブルコンピュー
ティングのための主観的音量に基づく音声情報提示手法.
情報処理学会研究報告 Vol. 2011-UBI-29, No. 38, pp.
1–8, mar 2011.
安倍幸治, 小澤賢司, 鈴木陽一, 曽根敏夫. 視覚情報が環境音知覚に与える影響. 日本音響学会誌, Vol. 56, No. 12,
pp. 793–804, 2000.
佐久間一平, 寺田努, 塚本昌彦. 視覚効果を用いた主観的音量の制御システムの設計と実装. エンタテインメントコン
ピューティングシンポジウム 2015 論文集, pp. 357–364,2015.
Yasunobu Tokunaga, Takane Terashima, and Ayumi
Ishikawa. Inﬂuence of visual information on subjective evaluation of road traﬃc noise. In INTER-NOISEand NOISE-CON Congress and Conference Proceedings, Vol. 249, pp. 3607–3611, 2014.
藤本一寿, 坂田展甫, 谷田雅敏. 自動車騒音の不快感に関