情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-05
2023/3/1

EchoPark:仮想やまびこで感じる音の伝搬田中聖也†1外村佳伸†2，a)

概要：本論文では，本来なら見えない音の伝搬を，仮想的な環境の中でやまびこ風の現象として可視化し，利用者に音の空気中での伝搬速度に伴う遅延を体感させるシステム EchoPark を提案する．さらに，そのシステムを用いて，コウモリ等が持つエコーロケーション現象を，通常の可聴音で簡易に模した条件を作り出し，利用者が音だけで仮想空間中の物体位置を推定する状況設定を試みた．初期的なシステムを実装し，評価実験を行った結果について報告する．

1. はじめに
近年，デジタル化の進展に伴い，通常は見えない情報をにより，340m 先にある山で反射した音は 2 秒後に聞こえることになる．これが「やまびこ」の基本形である．今回，利用者の目の前に CG による距離のある奥行を作り出し，可視化し活用することが盛んである．例えば，本論文で対反射物を設定できる仮想環境を作ることを考えた．

象としている音については，古くから音のレベルを光るバ

2.2

エコーロケーション

ーの長さや色で表すことが行われている．また，研究用にコウモリやイルカは，自分の発する音や超音波により，音の強さを波形としてタイムラインで表示することや．音

物に反射して帰ってくる反響音の時間や位相差などにより響的なスペクトログラムとしてリアルタイム表示すること

その物の位置（距離，方向）や大きさを測位するエコーロなどは一般的に行われている．最近では，透過型の AR ゴケーション（反響定位）と言われるしくみを持つ．超音波ーグル越しに音源からの音の広がりを実環境にオーバレイを用いた人間用の同種のしくみを試した研究もある[2]．本する形で可視化する例[1] など，VR， AR の発展とともに研究では，上記「やまびこ」システムの拡張として，特別音の様々な可視化も試みられている．これらに対し，本研なデバイスを用いずに，通常の可聴音を用いて仮想環境の究では，もっと日常の生活体験になじむ形で音の性質を，中で疑似的にこの現象を模擬することを考えた．反射した特別なデバイスの装着なしに可視化・体験化することに焦音が聞こえるまでの時間と方向性から対象物の位置推定を点を当てている．例えば，私たちは，花火や雷に対して，可能とすることをめざした．

瞬時に見える光と遅れてくる音により，発生源と自分の位置との距離を感じることを日常の体験として知っている．
また，やまびこでは，遠くの山で跳ね返って遅れて聞こえてくる自分の声を聞くことができる．
そこで我々は，まず「やまびこ」を模した仮想環境にお3. EchoPark
前章で述べた環境を実現する EchoPark を提案する．
3.1 基本概念

いて，秒オーダーで遅れて帰ってくる音の伝搬を可視化す

３次元 CG による奥行のある仮想環境を作り，その中のることで，音の伝搬速度が体感できるシステム EchoPark

遠方に山を表示し，一番手前を利用者の位置とする．ここを構築した．任意の距離離れた山に対するやまびこを容易

では音響的な音波伝搬としてシミュレーションするのではに体験できる．また同環境を基本に，複数の反射物（山ななく，直線的に音の塊が進むとした単純化モデルで考える．

ど）がある際に，聞こえる音の遅れの違いだけで視覚情報

利用者が声を出すなどで音を発すると，音が球の形に可視なしに山の位置を推測する一種のエコーロケーション的な化されて進み，また山で反射して帰ってくるとその音が聞利用形についても検討・実装し，実験した結果と併せて報こえるものである．これにより利用者は，音の伝搬を視覚告する．

的なフィードバックと合わせて感じることができるとともに，ある種ゲーム感覚を持って利用できることをめざした．

2. 音の伝搬と仮想環境
2.1

やまびこ

音は通常の空気中では約 340m/秒で伝搬する．このこと

3.2 仮想空間
本研究において仮想空間を用いるのは，秒オーダーで音の遅延を作り出すために必要な疑似距離をとるためである．
視覚的に空間内の奥行きと幅を直観できるよう 3 次元 CGにより仮想空間を構成する．

†1 龍谷大学理工学部 情報ディア学科†2 龍谷大学 端理工学部 能情報ディア課程a) tonomura@rins.ryukoku.ac.jp© 2023 Information Processing Society of Japan

また，空間内には音の反射を想定した山のオブジェクトを生成する．また山までの距離や位置の変化とそれに伴う

811

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

聞こえ方の変化をより直感的に理解できるよう山の位置をユーザーが調整できる機能を取り入れる．
3.3

音の可視化表現ト」)に変換する．音オブジェクトには音のかたまりとして認識しやすいよう球を用いる．音オブジェクトは一定レベル以上の音が検出されると生成され，それぞれ仮想空間内を音速 340m で進行する．これによりユーザーが音の伝搬を流れとして視覚的にとらえられることをめざした.
プロトタイプ

実装したプロトタイプシステムを用いて，実際に音の伝に，基本形の「やまびこ」と，複数の山による「エコーロケーション」設定環境における評価実験を行った．
4.1 「やまびこ」実験
3 次元仮想空間中の奥にひとつ山を置く．被験者には投映仮想環境(図 3)の前に立ってもらい，出した声が山に向かって進み，山で反射して帰ってきた音が聞こえることを観察してもらう．次に視覚的に感じた音の進行を活用する実装したプロトタイプシステムでは，壁に 3 次元 CG を投映し，利用者はマイクを通じて声を入力する．図 1 にシステムの概要を示す．音の出力は，後述の複数の音反射オブジェクト（山）の位置を聞き分けるために，耳元で音を発生するステレオのネックスピーカーを用いる．

図 1

4. 評価実験
搬を視覚的に感じることができるかどうかを検証するため発した声を空間内でオブジェクト(以下「音オブジェク

3.4

3A-05
2023/3/1

タスクとして，帰ってきた自分の声に新たに発した声を重ねてハーモニーを作ることを試してもらう.（図 4）は，距離の異なる２つの山に対し，遠い方の山からの反射音に合うように近い山の反射音を合わせてハーモニーを作る様子を描いたものである．

図3「やまびこ」実験の仮想空間画面例

図4「やまびこ」ハーモニー実験の概要

EchoPark システム概要

3.5 ソフトウェア処理
処理の基本は，山の設定位置にもとづく仮想距離分の音の遅延処理の実現である．任意の時間分の音の遅延を実現するために，マイクから入力された音を秒オーダーで格納するバッファを設け，山までの２倍の距離を音が進む時間分を遅らせて再生する．３次元 CG 仮想環境は JavaFX を用いて構築し，音オブジェクトは Sphere（球）により表現する．図 2 にソフトウェア処理の概要を示す．

本実験は以下の手順で行った．
① 山を 170ｍの位置に置き，被験者には短い音(単音，拍手など)を出してもらい，音が山に反射し返ってくる様子を観察して山との距離を予想してもらう．
② 音の進行速度について質問した後，答えを提示する．
③ 次に，山を 850ｍの位置に置き，もう一度行う.
④ 山二つを一方がもう一方の倍の距離になるように置き，被験者にはハーモニーを作ることを試してもらう．
⑤ 上記③を音の可視化ありとなしの場合で行う.
被験者は本システムを初めて体験する 20 代の男女５名であり，上記タスク実行後，質問表に記入してもらった．
図 2

EchoPark のソフトウェア処理概要© 2023 Information Processing Society of Japan812

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-05
2023/3/1

質問した内容を以下に示す．に示す．

Q1

返ってきた音はしっかりと聞こえましたか．

Q2

仮想空間内に距離や奥行き，幅は感じましたか．

Q3

本体験は音の速さを体感するのに役立ちましたか．

Q4

本システムの基本動作は理解できましたか．

い，帰ってくる音のみを聞いてもらう．その後，山のQ5

ハーモニーを作る実験で音の可視化なしの場合に，ハ数と方向，聞こえるまでに何秒かかったかを予想してーモニーを作ることができましたか．

もらう．

Q6

ハーモニーを作る実験で音の可視化ありの場合に,本実験は以下の手順で行った．
① 被験者には目を閉じてもらった状態で声を出してもら② 山の数，位置などがわかっている状態で声を出してもハーモニーを作ることができましたか．
Q7

らう．これを数回行い，環境に慣れてもらう．

音の可視化によってハーモニーを作りやすくなりま③ 上記の①と同様の実験をもう一度行う.

したか.
結果を図 5 に示す．また，実験手順①，②，③での回答を表 1 に示す．

次に質問した内容を以下に示す．
Q8

１度目の実験において，帰ってきた音を聞いて直感的に山の位置を感じ取ることができましたか．

Q9

２度目の実験において，帰ってきた音を聞いて直感的に山の位置を感じ取ることができましたか．

Q10 一度目と比べて感じ取りやすくなりましたか．
Q11 左右の音の違いは感じ取りやすかったですか．

図5
表1「やまびこ」実験の結果「やまびこ実験」における被験者回答

被験者№

手順①

手順②

手順③

No.1

100m

未回答

1020ｍ

No.2

5000m

340m/s

1190ｍ

No.3

10ｍ

未回答

1190ｍ

No.4

2000m

300m/s

1190m

No.5

200m

340m/s850ｍ

図6「エコーロケーション」実験のモデル図7「エコーロケーション」実験の様子

図8「エコーロケーション」実験の結果

4.2 「エコーロケーション」実験
この実験では音を反射するオブジェクトとして奥行の違う山を最大 3 つまで用意し，被験者の発した声が同時に進行し，それぞれの山で反射後，各距離に応じた遅延時間の後に聞こえる設定とする．なお，「やまびこ」実験ではモノラル音声出力としていたが，本実験では，被験者が反射音の方向を仮想的に感じることができるように，到達する音は左右バランスを計算したステレオ音として出力する．実
験タスクとしては，被験者には目を閉じてもらった状態で声を出してもらい，帰ってきた音により山の数と位置を推定してもらう．被験者にはタスク実行後，質問票に答えてもらう．被験者は「やまびこ」実験に続いて行ってもらった．実験のモデルと様子を図 6，7 に，また実験結果を図 8© 2023 Information Processing Society of Japan813

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-05
2023/3/1

また，実験手順①，③での回答を表 2 に示す．山の数，にくいためであると考えられる．そのため精度を向上させ方向については正否を記す．聞こえるまでにかかった秒数

るためには，今回行った左右の音バランスのみでなく，よについては被験者の回答と正解の誤差を示す（山が複数のり立体的な音の変化をもたらす機能を実装することが必要場合はそれらの平均をとることとする）．

かもしれない．また秒数の測定に関しては，手順①と③を比べると手順③において全体的に精度が上がっているこ

表2「エコーロケーション」実験における被験者回答

被験手順 1とがわかるものの，やはり個人差はあるため，正確にするためには「やまびこ」と同様に補助機能が必要であると考

手順 3

者№数

方向

秒数(s)

数

方向

秒数(s)

No.1〇

〇

1〇〇

0

No.2〇

×3〇

×1.7

No.3〇

×1〇

〇

1.5

No.4〇

×

1.5〇

×0

No.5〇×0.5〇〇0えられる．

6. おわりに
本論文では，仮想環境中で音の進行を単純化して模擬した視覚化により，利用者に音の伝搬を体感してもらうことを目的としたシステム EchoPark を提案した．また，基本検証を行うためにプロトタイプシステムとして実装するとと

5. 考察
本章では 4 章の実験結果をふまえて，本システムの有効性について考察を行う．
5.1 「やまびこ」体験システムの考察
まず「やまびこ」としての体験について考察する．図 5の Q2 や表 1 の手順①の結果から，空間内に奥行きや幅を感じてもらえていると考えられる．また手順①，③の結果を比べると，最初に音の速度を知らなかった人も，知ってからは，ある程度距離を推測できるようになっていることがわかる．加えて Q3 の結果で全員が音の速さを体感するのに役立ったと感じているように，本システムは音の速度について学ぶために有効なシステムと言える．
しかし，手順③の結果からもわかるように，時間の経過もに，「やまびこ」および「エコーロケーション」設定による初期的な被験者評価実験を行った．その結果，音の速度を体感することに役立つとともに，可聴音によるエコーロケーションもある程度可能であることがわかった．一方で基本となる人の時間感覚には個人差があり，精度を求めるには課題があることも明らかになった．今回音を線的に直進する球とする簡略化したモデルによって実現したが，今後，もう少し実際の音の波面的な性質も取り入れ，音に関する様々な性質を体感できる環境として発展させていきたい．
謝辞

被験者実験への参加者全員に謹んで感謝の意を表する．の測定については個人差が大きくあり，正確性に欠けるこ

参考文献とがわかった．そのため，正確に知りたい場合には，ユー[1] Inoue，A．，Yatabe，K．， Oikawa，Y．， Ikeda，Y．， Visualizationof 3D sound field using see-through head mounted display， ACM
SIGGRAPH 2017，No．34， pp 1–2， 2017．
[2] Kimura，K．， Hoshuyama，O．， Narumi，T．， Tanikawa，T．，Hirose，M．，Sound-Power Visualization System for Real-WorldInteraction Based on Ultrasonic Power Transmission， Proceedingsof ACE '11， No．60， pp 1–8，2011．

ザーが正確な時間の経過を測定するための補助機能が何らかの形で必要だと考えられる．ただし，音の反射や，音が帰ってくるタイミングを計るという面においては，音の可視化が有用だと考えられる．この点については，Q5，6，7の結果から音の可視化によりハーモニーがかなり作りやすくなっていることからもわかる．これは音の可視化により声を出すタイミングを視覚的に予測できることによると考えられる．一方，音の可視化による時間の測定の可能性については今後検討が必要であると考える．
5.2 「エコーロケーション」実験の考察
本システムの拡張的な機能として「エコーロケーション」設定を用いた実験について考察する．まず山の数の特定に関しては，表 2 の結果から容易に感じ取ることができている．しかし山の方向の特定については，手順①と③の結果を比べると，ある程度の慣れが必要であると考えられる．
これは帰ってくる方向による音の変化が左右の音のバラン
スの違いのみであるため，一度聞いただけでは判断が付き© 2023 Information Processing Society of Japan814