情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2P06
2021/3/10

オンラインビデオ会議の状況に応じた背景音の自動生成と共有
神場知成†1
概要：オンラインビデオ会議の利用が急増しているが，実際の利用方法はさまざまである．形式的な会議もあればプライベートな飲み会もある．映像をオンにするルールのものもあれば，任意で一部の人だけがオンになっている場合もある．音声も，全員がオンの場合もあれば，話をする人が発言のときだけオンにする場合もある．発言者がしゃべり続けても，他の人の反応がまったくわからない場合も多い．このようなオンライン会議では，「話をする際に緊張する」「会話が途切れると沈黙が耐えられない」などという意見も聞くようになった．一方，従来から，対面の会議室やカフェ等での背景音（ノイズや BGM）が，会議参加者の心理面や会話に与える影響が検討されている．本研究ではオンライン会議の背景音に注目し，一般的に使われる会議システム内に流れる音量の変化をモニタリングしながらリアルタイムで適切な背景音を自動挿入することが可能なシステムの実装を行った．背景音の選択，再生の開始と終了，フェードイン・アウト，ボリューム等を自動制御することが可能なので，今後は本システムを用いて，会議の効率や心理的な側面にポジティブな影響を与える手法の検討を進める予定である．

1. はじめに

2. オンライン会議の利点と欠点

オンラインビデオ会議は以前から利用されていたが，コオンライン会議の一般的な利点は明らかで，地理的に離ロナ禍で急増した．しかもここでは「会議」と呼んでいるれた場所にいる人同士が，開催場所を確保したり移動するが，単なる雑談や「オンライン飲み会」と言われるような時間をかけたりすることなくすぐに開催できるので，会議娯楽のための利用も増えた．利用者はシステム操作に不慣開催の自由度は大きく上がる．これによる費用の削減も，れだったり利用環境の設備が整っていなかったりするため，特に遠隔地同士であれば非常に大きい．

さまざまな問題も発生した．技術的には問題なくオンライ

欠点について考えるためには，もう少し実際の運用方法

ンビデオ会議ができても，オンラインコミュニケーションを見る必要があるが，特に最近のコロナ禍での運用には，は対面の会議と大きく異なるため，感覚的に違和感を持つ

次のような特徴があるだろう．

人もいる．

⚫

従来は「対面で集まっている会議に，地理的な理由なだがオンラインビデオ会議には移動のための時間や費どで参加できない一部の人がビデオや音声で参加す用を大きく削減するという明確な利点があり，すでにかなる」というハイブリッド型の運用が多かったのに対し，りの数の人が利用に慣れたことを考慮すれば，今後広がっ「参加者全員が一人ひとり，自分の PC からオンライていくことは確実だろう．その際に，画像や音声の低遅延ンで参加する」という形態の完全なオンライン会議がや高画質化，セキュリティ強化，画面共有の柔軟性などの増えた．

機能強化や性能向上も重要だが，参加する人が落ちついて⚫

そもそも対面で参加するという選択肢が提供されず，参加でき快適なコミュニケーションができるように，心理PC 等のシステムに不慣れな人も一人で会議に参加す的な面を含むユーザエクスペリエンスの向上は非常に重要ることになり，1 つの会議あたりの平均的なオンライだろう．

ン参加者の数も増えた．

この問題に対し本稿では，音響面の施策によるアプロー⚫

さまざまな種類の会議で利用されるようになったのチを試みる．具体的には，会議内の音響をモニタリングし，で，たとえば議事進行役がいて発言者や発言時間を制自動的に背景音を挿入することで利用者の心理的な快適性御するような形式的な会議だけでなく，参加者が思いを向上するシステムの開発を目指す．なお，以下では，特ついたときに自由に話をし，終了時間も厳密に決まっにことわらずに「オンライン会議」と記載した場合は，Zoom，ていないブレインストーミングなども増えた．さらに，Google Meet，Teams, WebEx 等の汎用的なシステムを用いた業務上の会議だけでなく，友人同士のオンライン交流オンラインビデオ会議を指し，利用法としては，娯楽的な会なども行われるようになった．

ミーティングまで含めるものとする．

これらの利用状況を考えたときに，たとえば次のように，ユーザエクスペリエンスの観点から，利点とも欠点とも判断しづらいいくつかの特徴が見えてくる．

†1 東洋大学情報連携学部© 2021 Information Processing Society of Japan680

情報処理学会 インタラクション 2021
IPSJ Interaction 2021⚫

2P06
2021/3/10

PC に搭載された，あるいは手元に設置された Web カグラムにより柔軟に制御可能である．実際に，会議の効率メラから本人の顔だけを比較的大きく映して参加すや快適性を向上するための適切な運用方法については，こることが多いので，身振りなどのボディランゲージはのシステムを用いた実験により調査および検証をしていく

伝わりにくい．オンライン会議によっては，一部ある予定である．

いはすべての人がビデオ映像をオフにして音声だけで参加することもあり，この傾向はさらに顕著になる．
⚫

ノート PC から会議に参加することが多く，PC 内蔵のマイクを使うと周囲環境のノイズを拾うことが多3. 背景音制御システムの概要
3.1 システム構成と動作の概要

いため，専用のマイクを使う人も増えた．結果として，本人の声はよく聞こえ，環境音は入りにくくなった．
⚫

さらに，上記のように環境音が入りにくくなったとは言っても多地点で多人数がオンにしていると全体としてはノイズがある程度増えてしまうため，「発言していないときは音声をオフにする」という習慣も起きつつある．これにより，発言者の発言以外の音はまったく入ってこない，という状況も増えている．

⚫

映像だけでなく，サウンドも発言者以外はオフにしている状態では，ちょっとしたあいずち（「そうですね」「うん，うん」など）も聞こえなくなるため，発言している人は「なんのフィードバックもない沈黙の中で
図 1

自分の発言を続ける」という状況になりやすい．
⚫

システムの概要

しかも，議事進行にもとづく会議のようなものと異なり，参加者が自由にアイデア出しをするミーティング

提案するシステムの概要を図１に示す．利用場面としてであったり，プライベートなオンライン飲み会などで想定するのは，汎用のオンライン会議クライアント（Zoom，あれば，少しの間，沈黙が続くような状況も自然に発Google Meet, Teams, WebEx 等）を用いて複数メンバーがオ生し，その間は完全な無音の状態となる．

ンライン会議をしている状況である．ここでは「会議」とこのような運用の結果として，参加者からは「相手の反呼ぶが，複数メンバーがそれぞれ話をするという状況を指応が見えづらいので話しづらい」「 皆が黙ってしまったときしており，業務的な会議であっても私的な雑談であってもに沈黙が耐えられない」などの声も聞かれるようになった．

かまわない．

従来，オンライン会議において，単なるコンピュータ画本システムは，Web サイト上の環境分析サーバと，ブラ面の共有だけでは伝わらなかったり，通常の映像ではずれウザ上で動作する環境制御クライアントから成る．利用にてしまう視線の動き・対話者の目線の一致やボディランゲ

あたっては，オンライン会議に参加している 1 台の PC 上ージを伝える研究は，石井の ClearBoard [1]をはじめとしてのブラウザから，環境分析サーバが動作するサイトにアク多々の研究がおこなわれているが，これらはある程度専用セスする．サーバは，クラウド上に立ち上げてもローカルの環境や専用の会議システムを必要とするため，現在の「一PC 内に立ち上げてもかまわない．そのサーバ上から読み込

般のノート PC と Web カメラだけで，さまざまな汎用のオまれたページに記述されたスクリプトを通じて PC から取ンライン会議ソフトを用いる」と運用形態を保ったままで得した会議音がサーバに送信され，サーバ側からは，会議も，できる限り会議参加者の心理的な軽減を行う方法が必

音の分析結果に基づいて，ブラウザ上の環境制御クライア要となってきている．

ントに対し背景音再生の指示が送られる．サーバ側とクラ

この課題に対する第一段階として本研究では，オンライイアント側の機能分担は柔軟に設定してあり，たとえば，ン会議内に流す背景音（環境音や BGM）だけで対処するこ

何の背景音を再生するかをサーバ側で判断したのちに再生とを試みる．本稿ではその実験の準備段階として，汎用の指示をクライアントに送ることも可能であるし，サーバ側オンライン会議システム内のサウンド状況をモニタリングから送付した条件（その時点の会議内がどの程度活性化しして会議状況に応じて自動的に背景音を流すことが可能なているか等のパラメータ）に基づいて，クライアント側でシステムを構築したので，その実装方法について報告する．

背景音を選択することも可能である．

実際に流す背景音については，再生開始の条件（会議内の環境制御クライアントが動作するブラウザ上の表示例

音のボリューム変化，周波数変化等）や再生方法（サウンを図 2 に示す（画面の一部のみ）．画面下部左側のグラフ

ド選択，ボリューム調整，自動的な楽曲生成など）をプロ

は，環境分析サーバから受信した結果に基づいて，クライ© 2021 Information Processing Society of Japan681

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

アント側で生成・再生中のサウンドのボリュームであり，

2P06
2021/3/10

Banana が有効なようだが，現時点では動作未確認である[3]．

右側のグラフは，会議環境から取得中のサウンドの高速フーリエ変換（FFT）結果のグラフである．これらのグラフの下に，会議環境から取得しているサウンドのボリュームグラフなども表示されるが，ここでは省略している．

図3

オンライン会議システムへのサウンド送出設定

3.2 動作の詳細
図 2

具体的には，次のような動作をする．図 4 に，クライア

ブラウザ表示画面例

ントとサーバ間の通信のシーケンスを示す．
画面上部では，再生するサウンドを選択したり，サウンド再生の際のフェードイン，フェードアウトにかける経過時間（秒）等のパラメータを指定することができ、それらの数値をサーバ側からコントロールすることもできる．
上記の，環境制御クライアントとして動作するブラウザ
は，会議参加者のうちの一人がオンライン会議参加用に利用している PC 上で立ち上げても，それとは別の PC で立ち上げてもかまわない．同じ PC の場合は，環境制御クライアントから発生する背景音は，会議参加者が利用している会議ソフトに対し，その PC にいる参加者の声に重畳して送り込まれる．別の PC で立ち上げた場合には，その PC上で会議ソフト（つまり Zoom，Google Meet 等のアプリ）を動作させたうえで，仮想的な一人の会議参加者として会議にアクセスする．環境制御クライアントからの背景音を，その仮想的な会議参加者のサウンド入力に入れる．この場合，オンライン会議システムの側から見るとその参加者は，会議音をモニタして適宜，背景音を生成して流すだけの，図 4

いわゆる「ボット」として動作することになる．

シーケンス図

会議参加者が会議に参加している PC 上でこの環境制御クライアントを動かす場合には，その PC からは会議参加⚫

Web ブラウザから，クラウドまたはローカル上に立ち者自身の音声と，環境制御クライアントが生成するサウン

上げた Web サイトにアクセスすると（サイト A とすドの両方を重畳して会議クライアントに送り込むことになる），ブラウザにサイト A が読み込まれ，そのページる．この際，「会議参加者本人には，会議クライアント内のに Web Audio API を用いて実装された JavaScript プロ

音（つまり他の参加者の声）と，環境制御クライアントがグラムが記述されている．

送り込むサウンドの両方が聞こえるが，本人の声はエコー⚫

上記の JavaScript プログラムは環境分析サーバに対しバックしない」「 他の会議参加者全員には，この本人の声と，て WebSocket の通信を開き，接続中は常に PC 上のサ

環境制御クライアントが生成したサウンドの両方が聞こえ

ウンドデータを取得し，特定間隔（自動調整されている」ということを実現するために，Macintosh 上のビジュアる）ごとにサーバに送信する．それを受信したサーバ

ル・ソフトウェアミキサーである LOOPBACK を用いて制上の Python プログラムは一定時間ごと（設定可能．

御し てい る[2]．LOOPBACK の画 面例 を 図 3 に示 す ．

デフォールト値は 5 秒）の平均音量を算出し，さらにWindows 上では類似機能を 実現するために Voicemeeter

その変化状況に応じていくつかまとめた上で，JSON© 2021 Information Processing Society of Japan682

情報処理学会 インタラクション 2021
IPSJ Interaction 2021⚫

⚫

形式でクライアントに送る．ただしここで，サーバ側も，雑音や BGM がマイナスの影響を持つ場合があり，流で何を計算してクライアントに送信するかは今後，要す音響や音量，その他には慎重な検討を要することを示す．

検討である．たとえば「音量から判断した会議の活性一方，辻村他は，対面会議で知識創造活動を行う状況を化状況を示す数値」「会議内で続いている沈黙時間」想定して，環境音として「会話の内容は理解できない複数「会議内で流れている声の高さの平均値」などさまざの音声による会話雑音」を用いた実験を行い，「会議のしやまなものが考えられる．

すさ」への影響を調べ，「知識創造活動では必ずしも静かな

クライアント側では，上記データを受け取り，会議内

環 境 が望 ま し い と は言 え ず ， 静 かな 印 象 が 損 なわ れ ずのサウンド変化状況が，設定したルールに当てはまる（50dB より低い），活気が感じられやすい（45dB 以上）環と 背 景 音 を 再 生 す る ． ル ー ル は Web ペ ー ジ 内 の境が「会議しやすい」という印象につながることが示唆さ

JavaScript で記述しているため柔軟に設定可能だが，れたと述べている[7]．

現時点では，静音状態が何秒間続いたかだけを見て，八木は，会話が騒音であることを前提としたうえで，そ生成した背景音を会議内に送出している．送出をし始れを和らげるための背景音を入れるサウンドマスキング

めるまでの秒数は Web ページ上で設定可能である．

（実験では，42.5dB）に一定の効果があることを，物理的再生する背景音は，ローカル PC 内にあらかじめ蓄積な仕切りの効果と合わせて論じている[8]．

したものを利用することも，ネット上のストリーミン

カフェにおける実験についても，前述の堀中等によるもグサイト等を指定することも可能．現時点では，あらのとは異なる視点のものもあり，小林等は「アップテンポ

かじめ蓄積するサウンドは，フリーサンプルの環境音の BGM によって，より視線を合わせ，会話量が増し，会（オフィスのざわめき，波の音，山の鳥の声）を選択

話音量が大きくなるという傾向に合った」等の報告をして可能とした他，楽曲生成のライブラリである Magenta

いる[9]．

[4]による自動生成を指示することも可能である．
⚫

2P06
2021/3/10

さらに，会議とは異なるが中川等は，演習形式の授業にMagenta は Google が中心となって開発を開始した，BGM 導入をすることで学習の持続効果が見られた等の報

深層学習による音楽等の生成用ライブラリであるが，告をしている[10]．

Python モジュールを用いて学習をさせることができ，また大野等は，「会議の背景音としてサウンドを流す」と

JavaScript モジュールの Magenta.js を用いることで，いうものとは異なり，会話の際に個々人が，自分自身のみ事前に学習が済んだモデルに対し，適宜パラメータをが聴取可能な音楽を聴取することで各人の緊張が緩和され，指定しながら音楽生成をすることができる．ここでは，会話が円滑に行われるようになるという手法の提案をしてモデルとし Magenta にあらかじめ用意されているいる[11]．

MusicVAE を用い，チェックポイントを利用者が設定

これらは基本的に対面の場や会議を想定したものである可能とした．Magenta では，音のばらつき等のパラメが、その知見はオンライン会議においても参考になるであータを指定して，その条件下で楽曲の自動生成をする

ろう．

ことができるが，今後，会議状況のさまざまな視覚的，聴覚的パラメータをそのパラメータに反映させたうえで楽曲生成をすることも想定している．

4.2 サウンド生成条件の判定
上記に示したような従来の研究では，背景音はノイズであれ BGM であれ，人手で制御することを想定しているが，4. 考察と今後の課題
4.1 会議等におけるサウンド挿入について

本稿での検討は自動制御を想定している．サウンドのオン・オフあるいはボリューム制御，またはサウンド選択（ノイズ，BGM，あるいは前述のような，その場での自動作曲）

本稿では，オンライン会議へのサウンド挿入について技などをすることになるが，制御のためのインプットとして術的な方法を中心に述べているが，対面の会議等へのサウ

現時点で想定しているのは会議内に流れている音のボリュ

ンド挿入の効果については，これまでさまざまな角度からームであり，同時に周波数解析（FFT）も行っている．会議の議論がある．

内に挿入するサウンドはサーバ側の Python プログラム，またとえば，藤井等は単純な精神活動（1 桁の加算演算，講演の音声聴取）に雑音が及ぼす影響の実験を通じ，有意たはクライアント側の JavaScript で制御するので処理の自由度は高い．

味雑音が無意味雑音よりもうるさく感じられることなどを現状では，会議参加者が沈黙した状態が 10 秒，20 秒，述べている[5]．また，堀中等は，一般には飲食店において30 秒など経過した時点で背景音再生をする簡易な実験を

BGM を流すことは快適な環境を保つ効果があると思われ行った段階で，沈黙の判定は，手動で設定した適当な数値ているものの，学生食堂での実験ではむしろネガティブなを下回っているかどうかということだけで行っている．し影響が生じた実験について述べている[6]．これらはいずれかし実際には，オンライン会議における「沈黙」の自動判© 2021 Information Processing Society of Japan683

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2P06
2021/3/10

定はさほど容易ではない．たとえば参加者が，自分が話し会議内の音の状況に基づいて自動的に背景音を挿入するこていないときはずっとマイクをオフにしているような会議とが可能なシステムについて述べた．本システムは、いわと，何人かがオンにしているような会議とでは定常的に流ば「会議内の音量変化を聴きながら適切な背景音を挿入すれている音量も異なる．沈黙の判定を自動化をするためにるボット」であり、さまざまな会議システムで利用可能なは，会議によって実際に沈黙が続いているときにどのよう実装方法をとっている.今後は，本システムを用いてオンラな音が流れているかを測定し，その会議における沈黙の状

イン会議を運用することにより，実際に会議参加者がリラ態を判定する必要があるだろう．

ックスして会議に参加できたり、会話がスムーズに行われたいするような背景音挿入について検討していく予定であ

4.3 サウンドと再生音量の選択

る．

本システムで現在までに試したのは「オフィスのざわめ
き，波の音，山の鳥の声」の 3 つであり，再生するときの謝辞

本研究は，東洋大学井上円了記念研究助成により音量はあらかじめ適当な数値に設定している．前節で「沈助成を受けたものです．また，本システムのプログラム開黙が一定秒数以上続いたときに再生をする」と述べたが，発においては、塩田健氏の協力を得ました。同氏に感謝い実際には「話が続いているときは邪魔にならないように音たします．

量を下げ，沈黙が続いているときは音量を上げる」等の工夫が必要になるであろう．また，本来これらは「あたかもオフィスにいるように感じる」あるいは「海辺で皆が話をしている」というような感覚を得ることを目的としているが，現時点では，利用者は単に，そのような BGM が鳴っていると感じる程度である．たとえば「オフィスのざわめき」の背景音を利用して，参加者たちが，あたかも対面のオフィスで話をしているような感覚をつくりだすのであれば，単に適切なサウンドをあらかじめ用意するだけでなく，3 次元音響など新たな技術的な工夫が必要になると考えている．
4.4 フェードイン・フェードアウト
沈黙（会議内のボリュームが一定値以下）の状態が一定秒数（10～30 秒）続いたときにサウンドを再生する簡易な実験を行ったところ，単に沈黙の判定に用いる秒数だけでなく，サウンド再生の際に用いるフェードイン・フェードアウトにかける秒数が印象に大きく関わることも確認している．特に，フェードインやフェードアウトをまったくせずに背景音が始まったり終了したりすることは非常に不自

参考文献[1] H. Ishii and M. Kobayashi: ClearBoard: A Seamless Medium for
Shared Drawing and Conversation with Eye Contact, CHI’92, pp. 525522 (1992).
[2] Rogue Amoeba: LOOPBACK (https://rogueamoeba.com/loopback/)[3] VB-AUDIO Software: Voicemeeter Banana(https://vb-audio.com/Voicemeeter/banana.htm )[4] Magenta (https://magenta.tensorflow.org/)[5] 藤井他：有意味・無意味外来雑音が単純精神作業者に及ぼす影響, 人間工学, Vol. 38, No. 1, pp.63-68, 2002.
[6] 堀中他：飲食店内の BGM の効果,日本心理学会大会発表論文集，日本心理学会第 71 回大会, 2007.
[7] 辻村他：複数人による知識創造活動を行う会議に及ぼす室内
音環境の影響，日本建築学会環境系論文集, Vol.80, No. 711,
pp.397-405 (2015).
[8] 八木：会話騒音のあるオフィスにおけるサウンドマスキングと仕切りの効果, 労働科学, Vo. 88, No. 1, pp.25-36, 2012.
[9] 小林，小口：光色と BGM の種類がカフェでの会話行動に与える影響，日本建築学会環境系論文集，Vol.71, No. 599, pp.143150, 2006.
[10] 中川他：演習主体とする授業における BGM 導入による教育効果, 神戸高専研究紀要第 55 号, pp.1-6, 2017.
[11] 大野他：自身のみ聴取可能な音楽を用いたコミュニケーショ
ン円滑化手法の提案, 情処学会研究報告 グループウェアとネッ
トワークサービス（GN），Vol.2019-GN-106，No.22, pp. 1-7, 2019.

然な印象を受ける．また，そこにかける秒数は，特にフェードインの場合，ごく短い秒数（1～3 秒程度）ではなく，やや長め（7～10 秒程度）の方が適切というのが簡易実験による印象である．会議参加者の側からすると，多少沈黙が続いたときに，いきなり背景音が入るのは違和感があり，いつの間にか自然にサウンドが鳴り始める程度が好ましい．
これについては，沈黙と判定する時間長などとあわせ，今後実験によって評価をしていく予定である．

5. おわりにオンライン会議において，沈黙が参加者に与える不安の解消や、会議内の雰囲気を向上するための BGM の再現などを想定し、汎用的なオンライン会議システムにおいて、© 2021 Information Processing Society of Japan684