情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-092023/3/1

複数 Web 会議に同時参加するための映像交互倍速再生・音声字幕化システム
山本貴文1,a)土田修平1,b)

寺田 努1,c)

塚本昌彦1,d)

概要：Web 会議は場所による制約を受けずにリアルタイムでのコミュニケーションが可能なため，二つの会議に同時に参加できる．しかし，複数の Web 会議に同時に参加する場合，複数の会議内容をリアルタイムに理解できないため，質問や意見などの発言が困難となる．そこで本研究では，複数の Web 会議に同時に参加している状況において，参加しているすべての Web 会議の内容を理解し，発言などのインタラクション支援するシステムの構築をする．提案システムは録画された二つの会議映像の再生速度を上げることにより再生時間の短縮を行う．それらの映像を短い間隔で交互に視聴することで複数の Web 会議への同時参加を試みる．また，会議音声の字幕化，タイムシフト再生を用いて会議内容の理解を支援する．本稿では，提案システムを実装し，同時刻に行われる二つの Web 会議への同時参加か可能となるか調査した．結果，ユーザが複数の Web 会議内容の理解することを支援できたが，一方，リアルタイムの会議への発言や応答に 20 秒程度の遅れが生じ，ユーザ以外の会議参加者に違和感を与える結果になった．

1. はじめにの遠隔会議映像を一部重複しながら 44 秒間隔で交互に視聴することで同時参加を支援したが，リアルタイムの会議働き方改革や新型コロナウィルスの感染拡大防止などにから数十秒遅れるため円滑なインタラクションは実現でき

より，Web 会議システムは急速に普及している．従来の対ていない．二つ目は，ツールに関する課題である．複数の面による会議と比べ，人と人同士の接触を避けることによ

Web 会議に同時に参加する機能は既存の Web 会議ツール

り，コロナウィルスの主な感染要因とされている飛沫感染に無く，複数ツールの操作を会議の進行と同時に行うことや接触感染 [1] を防ぐことができる．また，会議場所へのは困難である．これら問題の解決に向けて，同時に参加し移動にかかる時間と交通費を削減でき，資料や会議室の確ているすべての Web 会議への発言や返答を行うために，会保といった事前準備にかかる手間とコストを抑えることが議の内容理解を支援する手法を検討する必要があるが，筆できる．よって，業務効率化とウィルスの感染予防の観点者らの知る限りこれまで調査されてこなかった．

において，Web 会議の需要と重要性は高まっている．まそこで本研究では，複数の Web 会議に同時に参加してた，ネット環境と PC といった最低限の環境を整えることいる状況において，参加しているすべての Web 会議の内で，場所による制約を受けないという特徴をもつ．そのた容を理解し，発言などのインタラクションを支援すること

め，Web 会議システムを使用すれば二つの会議に同時に参を目的とする．本稿では，先行研究 [3] で提案した二つの加することが可能である．

Web 会議の内容を理解を支援するシステムをもとに，二つ

しかし，複数の Web 会議に同時に参加する場合，会議内容に対する質問や意見などの発言が困難となる．その理由として，主に二つの課題がある．一つ目は，会議内容をリアルタイムに適切に理解することが難しい点である．複数の会議映像を同時に視聴して，議題の異なる会議内容を理解することは困難である．高田ら [2] は，2.2 倍速の二つ
1a)b)c)d)

神戸大学大学院工学研究科
Grad. School of Engineering, Kobe University
takafumi-yamamoto@stu.kobe-u.ac.jp
t.sway.tmpp@gmail.com
tsutomu@eedept.kobe-u.ac.jp
tuka@kobe-u.ac.jp© 2023 Information Processing Society of Japanの Web 会議へのインタラクションを支援するシステムを実装し，有効性を調査した．

2. 関連研究2.1 音声・映像を高速で視聴する研究
音声や映像メディアの内容を短い時間で理解するための研究は数多く行われている．長濱ら [4] は，1 倍速，1.5 倍速，2 倍速の再生速度の異なる映像コンテンツの学習効果を調査した．理解度テストの分析結果から，2 倍速までの再生速度の違いは学習効果に影響を与えないことが示唆さ

825

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-09
2023/3/1

れた．しかし，2 倍速に対するアンケート調査では高速再な部分のみを抽出・再生することで，会議への途中参加を生による疲労感が指摘されており，認知負荷が高まる可能支援するシステム catchup を開発した．これは TF-IDF を性がある．栗原 [5] は，映画などの字幕付き動画の鑑賞方法用いて会議音声中に出現する単語の重要度をスコア化するとして，主映像と言語情報を独立して制御する変則再生シことで，抽出する部分を決定している．Shi ら [12] も会議

ステム CinemaGazer を提案した．また，音声からの情報音声データを用いて，過去に参加した会議の要約を図を用理解を諦めることで鑑賞時間を平均 85.5%削減できることいてビジュアル化することで，テキスト表示よりも直感的が示された．また粥川ら [6] は，ウェアラブルカメラで撮影な要約を提供する Meeting Vis を開発した．Meeting Vis

された一人称視点の映像において，重要な部分を強調しつでは，タイムライン形式で，話し合われたトピック，頻出つ，高速で閲覧するためのインターフェース DO-Scanning

したキーワード，発言が活発であった人を表示することにを提案している．DO-Scanning は，画像認識を利用してよって，会議の詳細情報の把握を支援する．James ら [13]

映像中の物体を分類し，強調箇所の候補とする．ユーザはは，議題，発言者の役割といった事前情報と音声認識を用

各候補の中から物体の重要度を設定することにより，重要いて，仮想会議の要約を行う V-ROOM を提案し，要約のな物体が映ったシーンは元の速さで，他のシーンは高速で品質を向上させた．

再生することで，映像全体を高速で閲覧する．Lee ら [7]しかし，これらの要約は自動で行われるため，ユーザには，人物に着目して一人称視点の映像を自動要約するシスとって重要である議論を見逃してしまう可能性がある．本テムを提案した．このシステムでは，映像に映る人物や，研究では，音声認識技術を用いた会議音声の字幕化とユー

一人称視点の映像を用いて，重要なシーンを検出し，冗長ザが任意の会議映像を見返すことで，会議内容の理解を支なシーンをカットした．別のアプローチで視聴時間を削減援する．

する研究として，中野ら [8] は，インターネット上の動画共有サイトに投稿されている動画の複数同時視聴を支援す

2.3 遠隔会議の同時参加を検討する研究

る Web アプリケーションを提案した．このシステムでは，遠隔会議の同時参加を検討する研究は多数行われていユーザが Web サイトから視聴したい動画を選択すると，動る．安西ら [14] は，重複して流れる二つの音声に対する画プレーヤーがアプリケーション上に配置される．この操

内容理解ついて調査した．この研究では，二つの音声をそ作を繰り返すことで，1 画面上に複数の動画プレーヤーがれぞれ交互に聞く場合と同時に聞く場合で，内容理解度に配置され，同時視聴ができる．

大きな差はないと報告している．しかし，同時に聞く場合このように音声や映像を高速で視聴するための研究は数では，正確に内容を理解できているか確信を持てない被験多く行われているが，これらは情報の高速受容を目的とし者がいた．また高田ら [2], [15] は，二つの遠隔会議映像のており，リアルタイム性は考慮されていない．本研究では，短縮再生と映像切り替えを用いてリアルタイムに近い時間リアルタイム性を考慮した，会議映像の内容理解を支援すで会議内容を理解し，そのうち一つの遠隔会議への参加をるシステムを検討する．

支援している．会議 A と会議 B の二つの会議映像を蓄積し，それらの映像を 2.2 倍速再生することで再生時間の短2.2 会議の要約に関する研究

縮を行う．また，44 秒間隔で映像をスイッチングすること会議内容を要約し，会議参加者への適切な情報提示を検で，リアルタイムに近い時間で二つの映像を交互に視聴す討する研究は多く行われている．Hsueh ら [9] は，目標をる．しかし，ユーザが早送りの会議映像で見た場面はリア達成するために，複数の手段や代替案から最適なものを選

ルタイムでは数十秒前の場面であり，そこから会議への発ぶ意思決定に着目した自動要約ブラウザを開発した．これ言を行っても，会議の進行に対してスムーズな参加とは言は，会議の結論とその過程に関する情報をモデルにより推えない．

定する．従来の要約よりも，議論での意思決定に関連する

これらの研究では二つの遠隔会議の内容理解を検討して記録を効率的に見つけることを可能にした．また会議の途いるが，双方のインタラクションについては検討されてい中参加を想定した要約システムとして，水田ら [10] は，議ない．本研究では，同時に参加しているすべての Web 会

論内容の摘要を用いて，途中参加の支援を行うテキスト

議へのインタラクションを検討する．

ベースの電子会議システムを開発した．このシステムでは，会議全体の流れをまとめたものと，議題内容ごとにまとめ3. システム設計たものを提供することで，途中参加者が参加以前の議論情

本研究の想定環境を図 1 に示す．参加者はそれぞれ異な報を取得することを支援している．このシステムを利用しるメンバーで構成されており，トピックも異なる，二つのた結果，会議の全発言ログの利用頻度が低下したことから，Web 会議に同時に参加する状況を想定している．このようダイジェストが議論内容の把握を代替したことを示唆してな状況において，参加している Web 会議内のユーザの発いる．他にも Tuker ら [11] は，録音された会議音声の重要言や返答を通常の会議と同様に行うことができれば，複数© 2023 Information Processing Society of Japan826

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

Web会議A

3A-09
2023/3/1

Web会議B

進捗報告t秒新規事業会議A
会議B

リアルタイムの会議映像
t/2秒 t/2秒

提案システムの視聴映像
私は・・・

会議A映像
図 1

想定環境

図 2の Web 会議に同時に参加できたと言える．本章では，以ディスプレイ1上を達成するシステムの構築に向けて，満たすべきシステ

会議B映像

視聴イメージ

ディスプレイ2

Webカメラ1

ム要件と必要な機能について述べる．

時間[s]Webカメラ2

3.1 システム要件
複数の会議映像を同時に視聴する場合，互いに音声が打ち消し合うため，トピックの異なる会議内容を理解す

PC1

PC2

ることは困難である．同時に視聴をしない場合，通常速度で再生を行うとリアルタイムとの遅れが生じる．また，

Zoom [16] や Microsoft Teams [17] のような Web 会議ツールを用いる場合，複数のツールを同時に操作する必要がある．会議内容を聞き取りながら，マイクミュートの切り替

オーディオミキサ

えなどの操作を行う必要がある．以上より，以下二つの項

図 3PC3

イヤホン

デバイス構成目をシステム要件とした．リアルタイムから遅れずに会議内容を理解できる．発言を行う操作が簡易である．

議ツールの操作をキーボードで行うことで，発言を行う操作を容易にする．

3.2 機能設計
前節のシステム要件を踏まえて，問題点を解決するシス

4. 実装

テムの機能について述べる．まず，二つの会議映像をリア実装したシステムのデバイス構成を図 3 に示す．シス

ルタイムに取り込み，映像の再生速度を上げ，それら二つテムは PC を 3 台使用し，Web 会議音声・映像を処理・再の会議映像を短い間隔で交互に視聴する．通常速度で映像生する PC1，PC2 と，PC1 と PC2 を通信・操作する PC3を視聴する場合，二つの映像を視聴する時間が必要となるから構成される．1 台の PC で使用できるシステムが望まため，視聴時間に応じてリアルタイムからの遅れが大きくしいが，実装簡略化のため PC を 3 台使用した．PC1 となる．そこで，会議映像の 2.0 倍速で視聴することで，映PC2 で処理された映像をそれぞれ映すため，ディスプレ像視聴に必要な時間を短くする．視聴イメージを図 2 に示

イを 2 台使用する．また，音声の出力制御はオーディオミす．先行研究 [2] では，2.2 倍速の二つの遠隔会議映像を一キサを使用し，一つのイヤホンで会議音声を聞く．2 つの部重複しながら 44 秒間隔で交互に再生することで同時参Web 会議にユーザを映すためのカメラ，マイクとして Web加を支援していたが，本研究では映像が切り替わる間隔をカメラを 2 台使用する．PC は Lenovo 社の ThinkPad をさらに短くし，リアルタイムとの遅れをより短くする．通3 台，ディスプレイは I・O DATA 社の 27 型ディスプレ

常，再生速度を上げると音程も高くなるため，内容理解がイを 2 台，オーディオミキサは Donner 社の 4 入力 2 出力困難となる可能性がある．ピッチを変えず，音声の再生速オーディオミキサ，Web カメラは Logicool 社の C505e HD

度を上げることは内容理解にとって有効であるため [18]，BUSINESS WEBCAM を使用する．

Phase Vocoder と呼ばれる周波数領域で音程や時間といった情報を制御するアルゴリズム [19] を用いて，音程を変え4.1 システム構成ずに再生速度を変える．また，音声認識技術を用いて，会システム構成を図 4 に示す．PC1 とディスプレイ 1，

議音声データからリアルタイムで文字起こしを行い，会議

Web カメラ 1，オーディオミキサはそれぞれ接続されての字幕を作成する．会議の発言をすべて文字起こしするこおり，PC2 も対応するデバイスと同様に接続されている．とで，視覚情報による内容理解の補助を行う．さらに，視PC1，PC2 と PC3 は OSC（Open Sound Control）と呼ば聴映像の表示に加え，マイクのオン・オフといった Web 会れるデバイス同士でデータの送受信を行う通信プロトコル© 2023 Information Processing Society of Japan827

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-09
2023/3/1

Webカメラ1

Webカメラ2
ディスプレイ1 ディスプレイ2

プレイヤー1
Web会議Aを録音・録画

PC2

PC1
OSC通信

タイムストレッチ
文字起こし

再生

制御

OSC通信

コントローラプレイヤー2

オーディオミキサ

Web会議Bを録音・録画

PC3

タイムストレッチ
文字起こし

図 6

図 4

処理フロー

再生中

イヤホン

再生

再生停止

再生中
字幕

ユーザ視聴映像A

システム構成

再生中

再生停止

再生停止
字幕

ユーザ視聴映像B

00:06:25

00:06:30

00:06:35

00:06:40 時間

プレイヤー2

プレイヤー1

図 7

OSC通信

OSC通信

準リアルタイム視聴機能の再生イメージ

準リアルタイム視聴機能
準リアルタイム視聴機能の再生イメージを図 7 に示す．
準リアルタイム視聴機能では，プレイヤー 1 とプレイヤー

コントローラ図 5

PC アプリケーション構成

2 で 2.0 倍速の会議映像が再生される．画面下部には会議の発言内容が字幕として表示される．2.0 倍速の会議映像
はプレイヤー 1 とプレイヤー 2 でそれぞれ交互に再生されを用いて接続する．また，PC1 と PC2 で再生される音声る．交互再生の制御はコントローラで行う．

はオーディオミキサを通じてミックスされ，イヤホンからタイムシフト視聴機能聞こえる．

タイムシフト視聴機能では，Web 会議映像 A または Web
会議映像 B いずれか一方を早戻しし，視聴できる．この機

4.2 PC アプリケーション
PC アプリケーションの構成を図 5 に示す．アプリケー

能により，会議中聞き逃してしまった内容を何度も視聴できる．このとき，再生速度は 1.0 倍速，1.5 倍速，2.0 倍速

ションは Python と openFrameworks を用いて作成した．の中から任意で選択できる．

アプリケーションは，PC1 で実行されるプレイヤー 1，PC2リアルタイム視聴機能

で実行されるプレイヤー 2，PC3 で実行されるコントロー

リアルタイム視聴機能では，Web 会議映像 A または Web

ラで構成される．プレイヤー 1 とプレイヤー 2 では音声・会議映像 B いずれか一方のリアルタイムの映像を視聴でき映像の録音・録画と再生が行われ，コントローラで再生のる．この機能により，リアルタイムの Web 会議へ発言や制御を行う．アプリケーションの処理フローを図 6 に示返答ができる．また，マイクミュートの切り替えをコントす．まず，プレイヤーで Web 会議映像の録音・録画を行ローラで制御する．

い，音声データ・画像データとして保存する．音声データの再生速度を音程を変えずに上げるため，ソフトウェアラ

5. 評価実験

イブラリ Rubber Band Library [20] を用いて音声処理を行

第一著者をシステムユーザとして，図 8 のように実装しう．また，音声認識ツールキット Vosk [21] を用いて，会たシステムを用いて同時に行われる二つの Web 会議へ同議音声を文字起こしし，テキスト化する．2.0 倍速の音声時に参加できるか評価する実験を行った．被験者には，シデータ，画像データ，テキストデータを再生処理部分で読ステムユーザが違和感なく二つの Web 会議に同時に参加み取り，プレイヤーで再生・表示する．複数の Web 会議できていたか，評価してもらった．

への同時参加を支援する機能として，準リアルタイム視聴機能，タイムシフト視聴機能，リアルタイム視聴機能を実装した．機能の切り替えは，コントローラから任意のタイミングで行うことができる．

© 2023 Information Processing Society of Japan

5.1 実験内容
被験者は，20 代の男性 6 名である．6 名の被験者をそれぞれ 3 人ずつグループ A とグループ B に分け，議題に沿っ828

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-09
2023/3/1

況において，参加しているすべての Web 会議の内容を理解し，発言などのインタラクションを支援するシステムを提案した．提案システムを実装し，複数の Web 会議に同時に参加している状況において，システムが有効であるか第一著者をシステムユーザとして評価実験を行った．実験の結果，提案システムを用いてユーザが複数の Web 会議内容の理解することを支援できたが，一方，リアルタイムの会議への発言や応答に 20 秒程度の遅れが生じ，ユーザ以外の会議参加者に違和感を与える結果になった．今後はシステムの機能を改善・追加し，ユーザ以外の会議参加者から返事や意見を求められたときにすぐに反応し，発言を支援するシステムを構築する．また，ブレーンストーミン
グ，報告や連絡を行う会議，意思決定を行う会議など，ど図 8システムを使用している様子の会議の形式が同時参加に適しているか調査する．
謝辞 本研究の一部は，JST CREST(JPMJCR18A3) の支援によるものである．ここに記して謝意を表す．
参考文献
[1]

グループA

グループB

図 9

Web 会議の様子て会議をしてもらった．グループ A とグループ B の Web

[2]

[3]

会議の様子を図 9 に示す．また，グループ A の議題は「研究室の節電対策のために何をするべきか」，グループ B の議題は「研究の進捗報告」とした．会議の時間は 20 分間[4]とし，会議終了後，システムユーザは違和感なく会議に参加できていたか，システムユーザに対して思ったことを答[5]えてもらうインタビューを行った．

5.2 実験結果と考察[6]

実験結果から考察を行い，システムに必要な機能について議論する．インタビューから，「システムユーザの反応が遅く会議が止まることがあった」という意見があった．ま[7]

た，「システムユーザの名前を読んでから返事が返ってくるまでに 20 秒間の程度の遅れが生じていた」という意見があった．提案システムでは，準リアルタイム視聴機能を[8]用いて，会議映像を視聴し，倍速再生された映像内で名前を呼ばれたり，意見を求められたときに，リアルタイム視[9]

聴機能を用いてリアルタイムの会議に発言を行うことを想定している．しかし，システムユーザ以外の会議参加者が違和感を覚える程度の遅延が発生していることから，リア[10]

ルタイムの会議映像で返事や意見を求められたときにすぐにリアルタイムの会議へ発言ができる機能が必要である．

6. まとめ
本論文では，複数の Web 会議に同時に参加している状© 2023 Information Processing Society of Japan[11]

東京都福祉保健局: 新型コロナウイルス感染症について,
入 手 先 ⟨https://www.fukushihoken.metro.tokyo.lg.jp/iryo/kansen/coronap ortal/inf o/shingatakorona.html⟩(Accessed 2022-12-20).
高田 格, 栖関邦明, 杉山阿葵, 岡田謙一: 2 つの遠隔会議への同時参加支援手法, 情報処理学会論文誌, Vol. 50, No.
1, pp. 236–245 (Jan. 2009).
山本貴文, 土田修平, 寺田努, 塚本昌彦: 複数の Web 会議へ同時参加するための高速再生・映像切替方式, マルチメ
ディア，分散協調とモバイルシンポジウム 2021 論文集,
Vol. 2021, No. 1, pp. 140–148 (June 2021).
長濱 澄, 森田裕介: 映像コンテンツの高速提示による学習効果の分析, 日本教育工学会論文誌, Vol. 40, No. 4, pp.
291–300 (Mar. 2017).
栗原一貴, CinemaGazer: 動画の極限的な高速鑑賞のためのシステムの開発と評価, コンピュータソフトウェア,
Vol. 29, No. 4, pp. 293–304 (Nov. 2012).
粥川青汰, 樋口啓太, 米谷 竜, 中村優文, 佐藤洋一, 森島繁
生: 物体検出とユーザ入力に基づく一人称視点映像の高速閲覧手法, 研究報告コンピュータビジョンとイメージメ
ディア (CVIM), Vol. 2017, No. 4, pp. 1–8 (Nov. 2017).
Y. J. Lee, J. Ghosh, and K. Grauman: Discovering Important People and Objects for Egocentric Video Summarization, Proc. of the Conference on Computer Vision and Pattern Recognition, pp. 1346–1353 (June2012).
中野裕太, 服部 哲, 速水治夫: ゲーム実況動画における動画多画面視聴支援システムの提案, 分散協調とモバイルシンポジウム 2011 論文集, pp. 370–373 (June 2011).
P. Y. Hsueh and J. D. Moore: Improving Meeting Summarization by Focusing on User Needs: A Task-Oriented
Evaluation, Proc. of the 14th International Conferenceon Intelligent User Interfaces, pp. 17–26 (Feb. 2009).
水田賢志, 菱山玲子: 電子会議への途中参加支援のためのダイジェスト提示システムの効果, 人工知能学会全国大会
論文集, pp. 1–4 (June 2011).
S. Tuker, O. Bergman, A. Ramamoorthy, and S. Whittaker: Catchup: A Useful Application of Time-Travel inMeetings, Proc. of the 2010 ACM Conference on Computer Supported Cooperative Work, pp. 99–102 (Feb.

829情報処理学会 インタラクション 2023
IPSJ Interaction 2023

[12]

[13]

[14]

[15]

[16]
[17]

[18]

[19]

[20]

[21]

3A-09
2023/3/12010).
Y. Shi, C. Bryan, S. Bhamidipati, Y. Zhao, Y. Zhang,and K. L. Ma: MeetingVis: Visual Narratives to Assist in Recalling Meeting Context and Content, Journalof IEEE Transactions on Visualization and ComputerGraphics, Vol. 24, No. 6, pp. 1918–1929 (June 2018).
A. E. James, A. G. Nanos, and P. Thompson: V-ROOM:A Virtual Meeting System with Intelligent Structured
Summarisation, Journal of Enterprise Information Systems, Vol. 10, No. 8, pp. 863–892 (Oct. 2016).
安西 悠, 江木啓訓, 西川真由佳, 湯澤秀人, 松永義文, 岡田謙一: 遠隔会議への同時多重参加に関する基礎検討, 情報処理学会研究報告グループウェアとネットワークサービ
ス (GN), Vol. 2005, No. 30, pp. 75–80 (Mar. 2005).
高田 格, 杉山阿葵, 岡田謙一: 変速再生と映像切替による多重会議支援手法の提案, 情報処理学会研究報告グループ
ウェアとネットワークサービス (GN), Vol. 2007, No. 56,
pp. 67–72 (June 2007).
Zoom Video Communications: One platform to connect,
入手先 ⟨https://zoom.us/⟩ (Accessed 2022-12-20).
Microsoft Teams: リモート ワーク - コラボレーショ
ン ツ ー ル, 入 手 先 ⟨https://www.microsoft.com/jajp/microsoft-teams/group-chat-software⟩(Accessed2022-12-20).
E. Foulke and T. G. Sticht: Review of Research on theIntelligibility and Comprehension of Accelerated Speech,
Journal of Psychological Bulletin, Vol. 72, No. 1, pp. 50–
62 (July 1969).
J. L. Flanagan and R. M. Golden: Phase Vocoder, Journal of Bell System Technical Journal, Vol. 45, Issue. 9,
pp 1493–1509 (Nov. 1966).
Breakfast Quay: Rubber Band Library, 入手先 ⟨https://breakfastquay.com/rubberband/⟩ (Accessed 2022-1220).
Alpha Cephei: Vosk, 入手先 ⟨https://alphacephei.com/vosk/⟩ (Accessed 2022-12-20).

© 2023 Information Processing Society of Japan830