3D2-1
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 25 回日本バーチャルリアリティ学会大会論文集（2020 年 9 月）

交流型 WebVR における空間音響のオンライン評価手法
Online evaluation method of spatial acoustic design method for network collaboration WebVR
坂口塔也 1) ，山崎勇祐 2) ，Bredikhina Liudmila3) ，白井暁彦 2)

Toya SAKAGUCHI, Yusuke YAMAZAKI, Bredikhina Liudmila , and Akihiko SHIRAI
1) 静岡大学 情報学部（〒 432-8011 静岡県浜松市中区城北 3-5-1）
2) GREE VR Studio Lab
3) Geneva University
概要: オープンソースで実装されている WebVR コラボレーションプラットフォーム「Hubs」では、空間音響に Web Audio API の PannerNode インターフェイスが実装されている。立体音響は空間や距離感を認識する上で重要である一方、ネットワークで接続された同一空間内の不特定多数のユーザによる動的に移動可能な会話環境を考慮すると、音量減衰モデルによってはお互いに干渉し合うため、適切な会話環境の設計を行うためには各モデルの特性を明らかにしたうえでの設定が必要となる。本研究ではPannerNode を利用した複数人の会話を再現する評価実験を完全オンラインで実施することに成功しており、結果を共有する。
キーワード： WebVR, Hubs, PannerNode, オンライン実験

1.

はじめにのような話者以外のミュート処理を施すことも難しい。ま

不特定多数の参加者が会話ベースのコミュニケーションたアバターシステムによっては、相手の表情や頷きなど高を行う国際会議や展覧会をオンラインで開催するにあたり、解像度を必要とする情報を考慮することも難しい。またポソーシャル VR プラットフォームが注目されており、そのスターや懇親会のような環境は、Zoom のようなビデオ会一つである Mozilla Hubs (以下、Hubs) が実際に国際会議議システムによる事前に話者が知られている会議や講演者等に積極的に活用され始めている [1]。

が定められた Webinar と違い、「会場の賑わい」のようなDuc Anh Le et.al が UIST2019 にて、Hubs を利用した参加者にアンケート調査を行い、Hubs が国際学会に有用で未知の参加者同士の会話が聞こえてくる環境の再現も重要である。

あることを示している [2]。また IEEE VR 2020 では専用の Hubs 会場が作られ、口頭発表の視聴に並列し、デモや2.

減衰のモデルポスター発表、200 件近い交流型発表が Hubs 上で行われネットワーク WebVR における複数話者の会話を快適た（https://hubs.ieeevr.online/）。環境問題や新型感に再現する現実的な手法として、距離や話者の向きといっ染症といった問題が大きくなる昨今、こうした学会や交流た減衰モデルを適切に利用し、リアルタイム処理を幅広い型イベントのオンライン化の取り組みが今後より積極的に再生環境で再現できる必要がある。Hubs では、空間音響行われるのは想像に難くない。に Web Audio API の PannerNode インターフェイスが一方で、こうしたソーシャル VR プラットフォームに共通JavaScript ベースで実装されている。この API は W3Cする課題の一つに、音声混合がある。VRChat や Hubs な

Audio Working Group が標準化1 し Mozilla が API とし

ど、いくつかのソーシャル VR プラットフォーム上において整備している2 。て、簡易的な空間音響モデルが適用されているものの、音各ブラウザ環境でサポートされている実装はそれぞれ異場再現のような特殊なデバイスや、コストの高い演算処理なる（例えば、Orientation は Internet Explorer や Safariが必要な手法はリアルタイム処理には向いておらず、まだで実装がない）ため、指向性を制御する cone 値と、距離に普及していない。3 次元空間内の音源はすべてヘッドホンな対する減衰モデルである distanceModel（以下、減衰モデ

どの音響機器によってステレオ 2 チャンネルに集約されたルと呼ぶ）ならびにそれに付随するパラメータが Hubs 内音として知覚される。

において制御可能である。
減衰は（linear, inverse, exponential）の 3 種類のモデル

学会のポスター発表や懇親会など、不特定多数の話者が同一空間において無秩序に会話を行う場合、電話のような 2 者

1 https://www.w3.org/TR/webaudio/

間通話モデルとは異なり、音声処理における Push-to-Talk

2 https://developer.mozilla.org/en-US/docs/Web/API/

PannerNodeⒸ 2020 日本バーチャルリアリティ学会-3D2-1-

3D2-1から選択することができる。inverse モデルおよび exponen-tial モデルは逆数もしくは指数関数的曲線で減衰を行う。音表 1: 実験ルームの設定 (Lin.=Linear, Inv.=Inverse)

源とリスナーの距離遠くなるにつれ 0 に収束するが、どれだけ離れても完全に 0 にはならないため音が聞こえ続ける。一方、linear モデルは直線的な減衰を行う。音の減衰の終了距
離は明確に設定でき、またその地点での最小ゲインを設定す

Room123456

減衰モデル

Lin.

Inv.

Lin.

Inv.

Lin.

Inv.

ることが可能である。反対に inverse モデルと exponential

音源 Aモデルは性質が近いため、本稿では Hubs でデフォルトで音源 B

440Hz Sin 波会話（女性）

ホワイトノイズ

会話（男性）

利用されている inverse モデルと linear モデルの特性を比較する実験の中心とし、exponential モデルについては割愛する。それぞれの減衰モデル 式 (1), 式 (2) に示し、それらに使用されている変数を以下に記す。

GLinear ＝ 1 − f[]
max min(d, d′max ), d′ref − d ref
d′max − d ref
図 1: 実験環境概念図(1)d ref = min (dref , dmax )目安であり、アルファベット間幅は 0.3 m である。いずれd′max = max(dref , dmax )かのアルファベット位置に音源 A と音源 B が設置してある

ただし、d′ref ≤ d ≤ d′maxが、被験者からは不可視状態となっている。音源の位置は（d′ref = d′max の場合、上式は 1 − f と等価となる）

部屋ごとに変更した。 なお、2 音源間距離を 4.2 m で固定した。これは式 (3) と式 (4) において減衰率が同じになる地点が d=1.5 m と d=2.0 m であり、アルファベット選択肢

dref
GInverse =dref + f [max(d, dref ) − dref ](2)となる 0.3 の倍数の中で 2.0 m に最も近い 2.1 m 地点で理論上の同一減衰量となる地点が設定できるためである。こただし、dref ≤ d < ∞れにより、両音源の中間地点での減衰率は GLinear が 0.3、GInverse が 0.3125 となる。この環境において、音源 A• d = 音源とリスナー間の距離と音源 B の組み合わせを変更し、合計 6 種類の実験ルーム• dref = 音源から減衰が始まるまでの距離を用意した。実験ルームの対応表を表 1 に示す。サイン波• dmax = 音源とリスナーの間の最大距離

およびホワイトノイズは音声編集ソフト「Audacity」を利• f = 減衰係数、値が大きいほど減衰率が上昇する。

用してなお、サイン波の周波数は 440 Hz、ホワイトノイズは Amplitude = 0.1 で生成した。会話の音源は「千葉大学3.

実験

3 人会話コーパス」[3] を利用した。この音源は、千葉大学

3.1

手法で収録された大学生・院生・ポスドクを含む同性 3 人から

本実験では、linear 減衰モデルとして式 (1) に dref =なる友人同士 12 組の雑談を収めたものである。この会話音

0, dmax = 3, f = 1 をそれぞれ代入した式 (3)、inverse 減源を利用して、WebVR コラボレーションプラットフォーム

衰モデルとして式 (2) に dref = 1, f = 1 をそれぞれ代入しで発生しうる「複数の会話が並列に進行している状況」をた式 (4) を用いた。なお、linear モデルのパラメータは実験再現した。女性 3 人の会話データと男性 3 人の会話データ環境をもとに仮定したものである。また、inverse 減衰モデを 5 分程度に切り抜き、ホイトノイズおよびサイン波と合ルおよびパラメータは、Hubs においてデフォルトで適用さわせて Audacity に て Loudness Normalization で正規化れている設定である。

を行った上で、モノラル音声に加工した。

[]
1
GLinear = 1 − max min(d, 3), 03
1
GInverse =1 + 2[max(d, 1) − 1]

3.2

本実験は全てオンライン上で行った。被験者は、実験の(3)ガイドならびに実験ルームのリンクが記載された Google(4)

図 1 は Hubs ルーム上に構築した実験環境である。被験者はキーボードの A/左矢印キー、D/右矢印キーを使って左右の移動のみ行う。被験者の面には壁があり、A〜Y の 25のアルファベットが記載された直線の画像が壁に並行に設置した。このアルファベット直線は座標を回答するためのⒸ 2020 日本バーチャルリアリティ学会

手順

フォームのリンク (https://bit.ly/VR20200805) が与えられた。また事前に、該当する年齢層と性別を回答した。被験者は初めに実験手順が説明された画像が並ぶ Hubs ルームに入室した。このルームでは Hubs の操作方法を確認できる。Hubs 標準のルーム内での移動モデルには加速度があり、現実空間に比べて高速であり、調整法での実験に向いていな-3D2-1-

3D2-1い。そのため Hubs 内のユーザ設定項目である Movementており、両音源からの音量が等しくなる位置を検出できてspeed modiﬁer (移動速度変化量) の値を標準の 1.0 よりいなかったことがわかる。正答以外の回答に着目すると、図0.1 に変更するように指示した。これにより、実験環境内で2, 3 の Q5 の回答結果が、両音源の音量が理論上同等となの移動速度は約 0.32 m/s となった。バーチャルな予備室にる点 (紫) よりも、Room 1 ではホワイトノイズ、Roomて動作確認を完了後、被験者は実験用ルーム Room1〜6

3, 4, 5, 6 では会話 (女性) に近い位置で回答される傾向がに入室する。実験用ルームは全て定員が 1 名に設定されてある。また実験の順番に関して、表 2 下から、Room5 のおり、ユーザー同士の干渉を防止した。一連の実験操作はQ2 を除き、K の方が U よりも正答率が同等か大きい。

すべてオンラインで各自の協力者がヘッドフォンを装着し、静音環境において時間制限なく実施することを要請してい4.

考察る。音源は入室すると自動で再生される。設問はそれぞれ、音源の位置の特定 (Q1,Q3) において inverse モデルで正Q1:音源 A の位置、Q2:音源 A が聞こえなくなる境界の位答率が低い理由は、減衰開始位置まで 1.0 m 離れているこ

置、Q3:音源 B の位置、Q4:音源 B が聞こえなくなる境界とによって、GInverse が最大空間が広いためと考える。両音の位置、Q5:音源 A と音源 B が同程度に混ざって聞こえた源の中央の特定 (Q5) において inverse モデルで正答率が低位置とした。以上 5 点について、アルファベットで回答すい理由は、音源から離れるほど減衰がなだらかになり、距離る。なお、Q2 と Q4 については、境界が無いと判断したによる音量の差が少ないためと考える。よって inverse 音場合は「無し」と回答できる。実験順によるバイアスを避源では、遠距離における定位の難易度が上がると言える。会けるため、Room 2 での終了後被験者に｛クマさん, ウサ話の定位精度が低い点について、実験協力者からのコメンギさん｝ のいずれかの実験グループを選択 (もしくは指示トとして「実験で利用した女性の会話は抑揚や声量の変化により同数となるよう) 実施した。クマさん を選択した場が大きく定位しづらい」という意見がみられた。会話におい合は Linear → Inverse の順、すなわち Room 3, 4, 5, 6ては抑揚や話者毎の声量の差などが要因となり、完全なノまで順に入室し、ウサギさん を選択した場合は Inverse →ーマライズが難しいことが背景にある。改善方法として話Linear の順、すなわち Room 4, 3, 6, 5 の順に入室して者毎の音声が単一のチャンネルに含まれている状態でノー実験を行うルートが設定される。

マライズ処理を行うことが考えられるがリアルタイム処理

3.3は難しいだろう。サイン波およびホワイトノイズの音位置

結果

24 時間の実施期間において参加した実験協力者は男性 12の定位精度は高く、会話では低い傾向にあった。特にホワイ名 (10 代: 3 名, 20 代: 7 名, 40 代: 1 名, 50 代: 1 名) 、女トノイズについては、位置関係が変わる際に聞こえる音の性 2 名 (30 代: 2 名) の計 14 名であった。ウサギ (以下 U)

周波数が変わり、音量以外の情報を得ていると考える。順序とクマ (以下 K) の比率は 1:1 (各 7 名) であった。実験結

バイアス差は、K において linear と inverse モデルを交互果のうち、減衰モデルが linear であるものを図 2、 inverseに実験するため、その法則性に気づいて正答率が上がったであるものを図 3 に示す。各設問において、回答が次の条ことが考えられる。本実験では linear モデルの減衰開始距件を満たしたときに正答とし、その正答率を表 2 に示した。
・Q1 および Q3: 回答が音源 A, B の位置と一致した場合（例: Room1 の場合は Q1=D, Q2=R）。
・Q2 および Q4: 音源 B からの音量が 0 になった位置

表 2: 上表:実験全体の正答率 (%)(n = 14) ／下表:順序バイアス考慮。K の正答率 (%) - 正答率 (%) (各 n=7）。

Q1Q2

Q3

Q4Q5

Room1

78.6

64.3

78.6

64.3

35.7

Room2

42.9

78.6

78.6

64.3

28.6

linear → inverse, U: inverse → linear) の正答率の差異を

Room3

50.0

57.1

100.0

64.328.6

表 2 に示した。

Room4

14.3

92.9

78.6

57.1

7.1

Room557.1

50.0

28.6

57.1

14.3

Room6

35.7

71.4

35.7

57.1

14.3

Q1Q2

Q3Q4Q5と合致した場合（例: Room1 の場合は Q2=N, Q4=H）。
・Q5: 両音源からの音量が理論上等しくなる位置（例:Room1 の場合は Q5=K）。
また実験全体の正答率と実験の順番を入れ替えた場合 (K:

表 2 から、linear 減衰モデルの場合、サイン波とホワイトノイズに関しては音源位置特定の正解率が高いが（Room1の Q1,Q3、Room3 の Q3）、会話音源（Room3 の Q1,Room5 の Q1, Q3）では正解率が低かった。inverse 減衰モデルの場合、ホワイトノイズの音源位置特定に関する正答率はいずれも 80%近くあるが、その他音源ではいずれも正

Room3

21.4

0.0

0.0

21.40.0

答率が 50%を下回っていた。このモデルでは音量が 0.1 よ

Room4

0.0

7.1

7.1

0.0

7.1

Room528.6

-7.1

0.0

14.3

0.0

Room6

21.4

14.3

21.4

28.6

0.0

り小さくなることは無いが、20 〜 40%程度の参加者が「ある点で音量が 0 になった」と誤答している。いずれの減衰モデルの場合についても、Q5 の正答率は全て 50%を下回っⒸ 2020 日本バーチャルリアリティ学会-3D2-1-

3D2-1

図 2: linear での結果: 横軸は図 1 における A を 0 とした

図 3: inverse での結果 (描画は図 2 同様)

ときの距離 (m) と回答位置、配色は各問での正答を表す。

404 は「無し」の回答数。縦軸は各モデルの Gain 理論値(折線) および回答数 (バー)。

離によって異なるため、音源との距離感を音声から掴むのが難しくなる。よって音源が多い環境、つまり同時参加者が多いイベント等においては linear モデルが適している。

離を 0m としているが、両モデルの定位や特性をより対照的に比較するのであれば、減衰開始距離を合わせて同実験

参考文献を行うことが妥当であろう。なお今回の実験では linear 減[1] 加藤史洋他. 小特集：学会オンライン化・VR 開催の幕衰の傾きを 1.0 としているが、これを 1.0 以下の数値にする

開け. 日本バーチャルリアリティー学会誌, pp. 35–43,

ことで、どれだけ離れても GainLinear が 0 にならない音源

6 2020.
[2] Duc Anh Le, Blair MacIntyre, and Jessica Outlaw.

を生成可能である。これらを考慮して追加実験を行うこと

Enhancing the experience of virtual conferences in so-

で、より適切な設定を求めることができると考える。

cial virtual environments. In 2020 IEEE Conference5.

結論

on Virtual Reality and 3D User Interfaces Abstracts

減衰開始距離を短くすることで視覚情報や音声の指向性がなくても音源の定位が容易になる。ただし、ある音源のand Workshops (VRW), pp. 485–494. IEEE, 2020.
[3] Yasuharu Den and Mika Enomoto. A Scientiﬁc

定位が容易になることは、他の音源が聞こえにくくなるこ

Approach to Conversational Informatics: Descrip-とを意味する。よって、賑わいを表現したい場合や、多くの

tion, Analysis, and Modeling of Human Conversa-

人物の音声を混在させる必要がある場合にも有益な知見を

tion, chapter 17, pp. 305–330. John Wiley & Sons,得た。inverse モデルを利用した場合、音の減衰の強さが距Ltd, 2007.

Ⓒ 2020 日本バーチャルリアリティ学会-3D2-1-