情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A102016/3/4

擬音語を利用した室内環境認知支援システムの試作
塩澤 朋1,a)長谷川 大1

佐久田 博司1

概要：本研究では，環境音を擬音語として表示することで周辺環境の認知を支援するシステムを試作する．
多くの聴覚障害者は環境音の知覚が困難であるということから，日常生活において不自由を感じている．
システムでは音信号のスペクトルに基づいて表示する擬音語を決定する．また，Kinect を使用して擬音語を AR 表示する．しかし実際に聴覚障害者に対しての有効性を計る前段階として，システムが正確に音を表現できているかを評価する必要がある．そのため本稿ではシステムの評価実験を行った．また，評価実
験では表示される擬音語の妥当性に対して高い評価が得られた．
キーワード：擬音語，音の可視化，Prototype of Onomatopoeia Displaying Indoor Environment Perception
Support System
Shiozawa Tomo1,a)Hasegawa Dai1

Sakuta Hiroshi1

Abstract: In this study, we propose a system that supports environmental perception by displaying environmental sounds as onomatopoeia. There are still many people who are hearing impaired. Such people
feel inconvenience in their daily life because it is diﬃcult to perceive the sounds around them. The systemdetermines which onomatopoeia to display based on the spectrum of the sound. The system uses Kinect
to display onomatopoeias as augmented reality. However, there is a need to evaluate how accurately oursystem can express sounds before evaluating the use of the system by the hearing impaired. We conducted
an evaluation experiment and earned high scores about the validity of the onomatopoeia shown in responseto the emitted sound.
Keywords: onomatopoeia, sound visualization,

1. はじめに1.1 背景認知をすることで周辺環境の状況や変化を把握している．
また，人にとって環境音の情報が周辺環境の把握において重要な情報であることは Matthews らの研究で示されてい現在，日本には多くの難聴者や聴覚障害者がいる．2011

る [2]．しかし，聴覚障害者はこの環境音の認知が困難であ

年現在（平成 23 年現在）で，聴覚障害者の数はおよそ 32

る．齋藤らによって，聴覚障害者が日常生活の様々な場面万人である [1]．それらの聴覚障害者の抱える問題は，環境においての環境音に対して，音が聞こえないために不自由音を認知することが難しいことだといえる．環境音とは，を感じていることが示されている [3]．

ものの動作音や衝突音などの身の回りで発生する音のこと

そこで，聴覚障害者でも環境音の知覚ができるようにすである．聴覚に障害のない人は身の回りの環境音を聞くこるために，環境音に対して音に対応した擬音語を表示させとができ，環境音の音源の方向や音の大きさ，どのようなることで音を視覚的に伝達する方法を検討する．擬音語は，音が鳴っているかなどの認知を行っている．人は環境音の音の特徴や音のニュアンスを字句で表現したものである．

1

我々は日常のコミュニケーションにおいても擬音語を使用a)青山学院大学
Aoyama Gakuin University
a5812053@aoyama.jp© 2016 Information Processing Society of Japan

して音を伝えることが多い．田中らの研究では音響物理の814情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A102016/3/4

観点から音と音を表現する擬音語との関係を分析している [4]．田中らによると，擬音語表現は音の持つ特徴に合わせた表現になっており，擬音語が音に対応したものであることが示されている．他にも，漫画などにおいては効果音を擬音語を用いて表現している．また，鳥の鳴き声を表現する擬音語が実際の鳴き声と鳥を結びつけるための橋渡しをしていることが Hahimoto らの研究で示されている [5]．
このように，擬音語表現が音を表現するための有効な手段であるといえる．したがって，擬音語を音に対して表示させることで，どのような音が鳴っているかを視覚的に表現図 1選定した 10 種類の擬音語の表現

Fig. 1 10 kinds of selected onomatopoeias

できると考えられる．それらを踏まえて，本研究では環境音を視覚的に聴覚障害者へ伝えることを目的として，環境音から特徴的な音を判別して擬音語として表示するシステム（以下，システム）を開発し，擬音語の表示が音の知覚に有効であるか検討する．

1.2 先行研究
これまでの先行研究でも様々な音の可視化が行われてきた [6][7][8][9][10]．しかし，これらの音の可視化技術は音場の可視化や反響音の軌跡を可視化したものであり，騒音問

図 2

システム構成および処理手順

Fig. 2 System configuration

題の解決や建築音響での利用を目的としたものである．そのため，聴覚障害者に対して音を視覚的に伝えることを目テムが同じ音に対して同じ擬音語を正しく決定できている的としたものではない．また，これらの技術では音が発生か，システムの表示する擬音語が実際の音に対してふさわしている場所を可視化することはできているが，どのようしいかをアンケートにより評価した．

な音が鳴っているかを視覚的に認知するのは困難である．
したがって，聴覚障害者へ環境音を視覚的に伝えるための2. システム

手段には不適切であるといえる．Bian らの研究では，家庭システムでは，Kinect v2 sensor を使用する．システム

環境の音に関して音源定位を行っているが，主に家庭内でではまず，Kinect によって音を取得する．次に，取得しのコミュニケーションをする場所を考察したもので環境音た音の種類を判別して対応する擬音語を決定し，実映像にについては研究されていない [11]．Shen らの研究では拡張重ねて擬音語を表示させるものである．擬音語を表示させ現実を用いて音の可視化を試みている [12]．しかし，Shenる位置は音の方向に合わせて表示させる．また，音の大きらの研究のシステムでは AR を使った可視化手法であるたさに合わせて表示させる擬音語の大きさも変化するようにめ，音源となる物体にマーカーを付けなければならないとなっている．システムで表示させる擬音語に関しては，比いう制約がある．環境音を発生させる原因となる物体のす

屋根ら [13] の単発音と擬音語表現に関する研究をもとに単べてにマーカーを付けることはほぼ不可能であり，実用性発音を表現する擬音語を 10 種類選定した．選定した 10 種は低いといえる．本研究のシステムはこれまでの先行研究

類の擬音語は図 1 の通りである．またシステムでは 10 種とは違い，音の可視化に擬音語を使用する．これまでの音類の擬音語の中から，取得した音にふさわしい擬音語を選の可視化技術にはなかった，どのような音が鳴っているか択して表示させる．音に対応した擬音語の選択は，取得しを視覚的に伝えることができる．そのため，本研究のシスた音の周波数スペクトルをもとに行う．取得した音をスペ

テムはどのような音が鳴っているかを聴覚障害者に伝える

クトル解析し，最も音圧が高い周波数に応じて表示する擬ことができ，聴覚障害者の音の認知に有効であると考えら音語を決定する．周波数と表示される擬音語の対応は表 1

れる．の通りである．また，図 2 にシステム構成を，図 3 にシス
テムの実行画面を示す．

1.3 目的
本稿では，環境音を視覚的に聴覚障害者へ伝えることを

3. 評価実験目標として，基礎的なシステムを開発する．開発したシスシステムを聴覚障害者に実際に使用してもらう前に，研テムは室内での環境音を対象とし，単発音に対応した擬音究の基礎段階としてシステムの評価実験を行った．評価実語表現を表示するものである．また，評価実験としてシス

験は実験 1 と実験 2 の 2 つの実験を行った．実験 1 では同© 2016 Information Processing Society of Japan815

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A102016/3/4

らった．評価結果はアンケート方式で実験参加者から回答を得た．実験参加者が評価をする際には，実験参加者が実際の音を聞きながら擬音語の評価をできるようににするため，実験参加者にシステムの画面を見てもらいながら実験

1 と同様にシステムの前で実際に音を発生させた．また，
実験 2 で発生させる音は実験 1 で発生させた音と同じ音である．表 3 に実験 2 での評価結果の平均値と標準偏差を示す．また，評価と対応する番号は以下のとおりである．

1：ふさわしくない
2：ややふさわしくない
図 3

3：どちらともいえない

システム実行画面

Fig. 3 Running screen of system
表 1 先行研究 [13] に基づいた周波数と擬音語の対応表

Table 1 Reference table of frequency and onomatopoeia
周波数

擬音語

4：ややふさわしい
5：ふさわしい4. 考察
実験 1 の結果から，全体的に見るとシステムが 1 つの音

150Hz 未満

ドン150Hz 以上 200Hz 未満

ボン200Hz 以上 600Hz 未満

トンの音に対応する 1 つの擬音語を安定して選択できているとに対して表示させる擬音語にばらつきが少なく，概ね 1 つ

600Hz 以上 1000Hz 未満

ポンいえる．そのため，同じ音を違う音として判別することは1000Hz 以上 1500Hz 未満

コン少ないといえる．しかし，鍵を床に落とす音に限定して注1500Hz 以上 2500Hz 未満

パン

目すると，他の音の結果と比較すると表示される擬音語に2500Hz 以上 3500Hz 未満

カン

3500Hz 以上 4500Hz 未満

キン4500Hz 以上 5500Hz 未満

ピン5500Hz 以上

チン

ばらつきが見られる．これは，鍵を落とす際の鍵の落ち方や鍵と床の衝突の仕方が違うことによって，発生する音も変化してしまうからだと考えられる．また，より高い精度を目指すのであれば，音の判別の際の閾値を見直すことでじ音に対して同じ擬音語を選択して表示できるかどうかを評価した．実験 2 では表示される擬音語が実際の音に対してふさわしいかどうかを評価した．

修正ができると考えられる．
実験 2 の評価では，ほとんどの音で高い評価を得ることができたといえる．表 3 では，平均評価が 3 を下回るものが缶をはじく音の 1 つのみである．また，平均評価が 4 以

3.1 実験 1

上のものは 5 つあり，比較的に発生した音に対してふさわ

実験 1 ではそれぞれの音を 10 回ずつ発生させ，それぞしい擬音語を表示できているといえる．また，棚 (引き戸)れの擬音語が何回表示されたかを集計した．音は実際にシを閉める音，ティッシュの箱を置く音，鍵を床に落とす音

ステムの前で発生させ，システムの実行画面に表示されるの 3 つについては，平均評価が 4 以上に達していないが，擬音語を確認して集計を行った．また，実験は騒音の少な

これは参加者の評価が高い評価と低い評価に割れてしまっい室内で行った．発生させる音については，室内で発生すているからである．表 3 において，棚 (引き戸) を閉めるる音を考え，また不自然な音ではないように考慮して決定

音，ティッシュの箱を置く音，鍵を床に落とす音の 3 つでした．実験 1 の集計結果と共に表 2 に示す．表 2 は音をは標準偏差の値が大きく評価にばらつきがあるといえる．

発生させた 10 回のうち，どの擬音語が何回表示されたかしたがって，平均評価では高評価にならなかったと考えらをまとめたものである．

れる．参加者ごとの評価に大きな差が生じた原因はおそら
く，参加者が音に対して抱く擬音語のイメージが参加者ご

3.2 実験 2とに違うからであると考えられる．今回の場合では，参加

実験 2 では，表示される擬音語が実際の音にふさわしい者が音に対して抱く擬音語のイメージとシステムで表示さかどうかを評価した．この実験では実験参加者にシステムれる擬音語が一致していれば高い評価となり，一致していの実行画面を見てもらい，システムで表示される擬音語がなければ低い評価となる．したがって，1 つの音に対して実際の音にふさわしいかを評価してもらった．実験参加者

抱く擬音語のイメージが参加者ごとに違っているため，シは聴覚障害を持たない者 4 名を対象とした．また，評価はステムで表示される擬音語とイメージしている擬音語が一1 から 5 の 5 段階評価で行ってもらい，実験参加者１名ず致している参加者がいる一方で，一致していない参加者がつにそれぞれの音に対するシステムの擬音語を評価してもいたといえる．そのため参加者によって評価が大きく分か© 2016 Information Processing Society of Japan816

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163A102016/3/4

表 2

実験 1 の結果

Table 2 Results of Experiment 1

ノックする音表 3ドン

ボン

トン

ポン

コン

パン

カン

キン

ピン

チン

-

-

10-

-----

-

呼び鈴の音

------

3--

7

椅子に座る音

2-

8-

-

-----

足音

1-

9-

------

テーブルを叩く音-

72

1------

缶をはじく音

-----

-

72-

1-

手を叩く音

----

-

10-

-

-

棚 (開き戸) を閉める音

-

8

2-

-----

-

床を強く踏む音

10---------

ティッシュの箱を置く音

-

1

9-

-----

-

鍵を床に落とす音

--

1-

-

1--

1

7

実験 2 の評価の平均と標準偏差Table 3 Average and deviation of Experiment 2ているかを視覚的に知覚することが可能であるかを調べていく．その他にも，音に対して擬音語が表示されることに平均

標準偏差

どう感じるか，その場の臨場感を感じることができるかな

ノックする音4.00

1.22

ど，難聴者や聴覚障害者がシステムを使用した際の感想を呼び鈴の音

4.25

0.43

集めるだけで有益な情報が得られるかもしれない．また，椅子に座る音

3.00

1.22

足音

4.25

0.83

テーブルを叩く音

3.00

1.00

缶をはじく音

2.75

1.09

手を叩く音

5.00

0.00

棚 (開き戸) を閉める音

3.75

1.64

床を強く踏む音

4.50

0.50

ティッシュの箱を置く音

3.25

1.79

鍵を床に落とす音

3.50

1.50

れてしまったと考えられる．

5. 結論
本稿では，擬音語を表示させることによって音を視覚的に伝達するシステムの提案と，システムの評価実験および評価実験の考察を述べた．また，システムの評価実験では比較的良い評価結果を得ることができた．ただし，良い評価が得られていたとしても，考察にも述べたように問題点や課題がないとはいえない．また，システムにも改良の余地が多く残っている．表示する擬音語の種類の増加や精度の向上など検討すべき点は今後の研究で検討していく必要がある．

6. 今後の展望
今後は，難聴者や聴覚障害者の環境音の認知においてシステムがどれほど有効であるかを調査していきたいと考えている．擬音語の表示によって音を視覚的に伝達することは，聴覚障害者の環境音の認知において有効な手段であると考えられる．そのため，聴覚障害者が擬音語と音の対応付けができるのかを調査を行っていく．また，聴覚障害者がシステムを通して音の方向や音量，どのような音が鳴っ© 2016 Information Processing Society of Japan

難聴者や聴覚障害者だけに限らず，例えばヘッドホンやイヤホンをしている場合などの身の回りの音を聞くことができない場面でも有効であると考えられる．
参考文献厚生労働省：平成 23 年生活のしづらさなどに関する調査（全国在宅障害児・者等実態調査）結果， (2013).
[2]
Matthews, Tara, Janette Fong, and Jennifer Mankoﬀ.:
Visualizing non-speech sounds for the deaf, Proceedingsof the 7th international ACM SIGACCESS conference
on Computers and accessibility. ACM (2005).
[3]
齋藤昌彦, 宇根正美, 奥英久, and 山口的昭：難聴者が生活で必要とする音情報について，映像情報メディア学会
技術報告 (1999).
[4]
Kihachiroh Tanaka, Kenichiroh Matsubbara, and Taichi
Sato: Study of Onomatopoeia Expressing Strange
Sounds. Cases of Impulse Sounds and Beat Sounds., 本
機械学会論文集 C 編 61.592 (1995).
[5]
Hashimoto, T., Usui, N., Taira, M., Nose, I., Haji, T.,
and Kojima, S.: The neural mechanism associated withthe processing of onomatopoeic sounds., Neuroimage
31.4: 1762-1770. (2006)[6]
Kaper, Hans G., Sever Tipei, and Elizabeth Wiebel.:
Data sonification and sound visualization., Computing
in science ＆ engineering, 1.4: 48-58. (1999)[7]
Comesaa, D. F., Steltenpool, S., Carrillo Pousa, G., deBree, H. E., and Holland, K. R.: Scan and paint: theory and practice of a sound field visualization method.,
ISRN Mechanical Engineering 2013, (2013)[8]
Bertram, M., Deines, E., Mohring, J., Jegorovs, J., andHagen, H.: Phonon tracing for auralization and visualization of sound., The JournVisualization, 2005. VIS
05. IEEE 151-158. (2005)[9]
尾 本 章, 中 原 雅 考, and 高 島 和 博：音 の 可 視 化 技 術 ，The Journal of The Institute of Image Information andTelevision Engineers 65.4: 453-458. (2011)[10] 飯田一嘉：音場の可視化とその動向，可視化情報学会誌
27.104: 3-8. (2007)

[1]

817

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

[11]

[12]

[13]

163A102016/3/4

Bian, X., Abowd, G. D., and Rehg, J. M.: Using soundsource localization in a home environment., Pervasive
Computing 19-36. (2005)
Shen, R., Terada, T., and Tsukamoto, M.: A systemfor visualizing sound source using augmented reality.,
Proceedings of the 10th International Conference onAdvances in Mobile Computing ＆ Multimedia 97-102.
(2012)
比屋根一雄, 澤部直太, and 飯尾淳：単発音のスペクトル構造とその擬音語表現に関する検討，電子情報通信学会
技術研究報告. SP, 音声 97.586: 65-72. (1998)© 2016 Information Processing Society of Japan818