情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q07
2021/3/10

ビデオ会議における会話の流れを可視化するシステムの検討
今井 廉1

呉 健朗2

富永 詩音3

木村 悠児1

酒井 知尋2

小島 一憲2

宮田 章裕1,a)

概要：ビデオ会議システムが普及してきており，リモートワークなどオンラインで議論する機会が以前より増加してきている．ファシリテータによる会議の円滑化は対面会議のみならず，ビデオ会議でも重要である．ところが，ビデオ会議では視線方向・頷きなどの情報が伝達されにくいため，会議参加者にとって他者の発言・反応が誰に対するものなのか把握しにくく，記憶にも残りにくいと考えられる．こうした背景から対面での会議に比べビデオ会議の円滑化はファシリテータにとって困難である．我々はファシリテー
タによる会議の円滑化を支援するため，会議参加者の会話の流れに着目し，有向グラフを用いて会話の流れをリアルタイムに可視化する手法を提案している．本稿ではビデオ会議における会話の流れを可視化するシステムの実装の改善案について検討を行った．

1. はじめに

2.1 会議参加者の行動を可視化する研究
会議における会議参加者の行動を可視化することで会議ビデオ会議システムが普及してきており，リモートワーの支援を行う研究が行われている．これらの研究では，会クなどオンラインで議論する機会が以前より増加してき

議参加者の発言時間 [3][4][5]，発言回数 [6]，発言速度 [7][8]，ている．一般的な会議では，参加者に発言を促したり話の発言内の単語 [8][9]，発言率，無音率，ターンテイク数 [6]，流れをまとめたりして会議全体の円滑化を行う，ファシリ発言内の単語などが可視化されている．会議参加者の行動テータという役割が設けられることが多い．ファシリテーを可視化する研究は概ね全会議参加者の会議参加度の均等

タによる会議の円滑化は，対面会議・ビデオ会議問わず行化や，遠隔会議をより対面環境での会議に近づけることをわれているが，一般的にビデオ会議のような分散環境で行目的としている．会議参加者の行動の可視化により会議参われる会議の円滑化は対面会議と比べて難しい [1]．ビデオ

加者の参加度の均等化がなされたことを検証実験で明らか

会議の円滑化が難しい一因として，ノンバーバル情報の欠にした研究もある [3][4]．同様に，遠隔会議をより対面環境落が考えられる．特にビデオ会議では視線方向・頷きなどでの会議に近づける効果 [5] や会議参加者の主観的評価との情報が伝達されにくいため，会議参加者にとって他者の議論状況の相関 [6]，自身の発言速度を意識させる効果 [7]発言・反応が誰に対するものなのか把握しにくく，記憶にも確認されている．また，会議参加者の行動の可視化をリも残りにくいと考えられる．これではファシリテータは会アルタイムに行う研究だけでなく，会議後にシステムが会議全体の流れを追ったり，発言をまとめたりすることは難議参加者に対し可視化内容を提示する研究 [10][11] も行わ

しく，会議の円滑化は困難である．そこで我々は会議参加れており，対話プロセスの評価が可能であることが示唆さ者の会話の流れに着目し，これを有向グラフを用いてリアれている．他にもフィードバックを行う対象とその形式にルタイムに可視化する手法を提案している [2]．本稿では，ついて調査 [12] が行われており，視覚によるフィードバッ

会話の流れを可視化するシステムの実装の改善案に関する

クよりも触覚によるフィードバックの方がターンテイキ検討の報告をする．

ングを促すこと，潜在的話者に対してフィードバックを行

2. 関連研究
本研究は会議の支援を行う研究領域に属する．関連研究

うよりも，全ての会議参加者，現行話者に対してフィードバックを行う方がターンテイキングを促すことが示唆されている．

は次のように大別できる．

2.2 システムによる会議の円滑化を目指す研究
123a)

日本大学文理学部
ソフトバンク株式会社
日本大学大学院総合基礎科学研究科
miyata.akihiro@acm.org© 2021 Information Processing Society of Japan

システムによる適切な会議の円滑化が行えた場合，ビデオ会議などの人間のファシリテータによる会議の円滑化が802情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q07
2021/3/10

困難であるシーンにおいて優れた手段となり得ると考えられる．システムによる会議の円滑化を目指すために，会議参加者の発言の意図を推定する試み [13] やファシリテータの行動の分析・分類 [14] が行われている．これらの研究をもとにシステムによる人と同程度あるいは人以上の会議の円滑化がなされるようになることが期待される．実際にシステムがファシリテータを務めている研究 [15][16] も存在しており，システムによる会議参加者に向けた指示によって，会議参加者の参加度に影響を与えたことが示唆されている [15]．Limayem らの研究 [16] では，学生を対象として人間のファシリテータによる会議の円滑化とシステムによ

図 1

提案手法により生成されたグラフ

る会議の円滑化の比較を行っている．実験結果からはシス
テムも人と同程度の会議の円滑化が行えるということが示

量，発話順に頷きといった身体動作を含めて可視化してい唆された．

るが，会議の場でのリアルタイムの運用には至っていな

3. 研究課題

い．システムによる会議の円滑化を目指す研究 [13][14][15]をビデオ会議の場で用いることも考えられる．しかし，研ファシリテータにとって会議が滞ることは望ましくな究 [13][14] では準備段階であり会議の円滑化をリアルタイい．会議が滞らないように，ファシリテータは会議の円滑ムで行うシステムの作成には至っていない．研究 [15] で化を行うが，それには何らかの判断材料が必要である．例は，システムと人それぞれによる会議の円滑化の比較はな

えば，オフラインの対面会議であれば，会議参加者はお互されていない．そのためシステムが人と同程度の会議の円いに実空間を共有しているため，視線，姿勢，ジェスチャ滑化が行えるか明らかにされていない．研究 [16] では，シといったノンバーバル情報から，ファシリテータは参加者ステムによる人と同程度の会議の円滑化が可能であることの参加度の把握，参加意欲の推測ができる．このため会議が示唆されたが，論文内でも述べられているようにシーンの円滑化も比較的行いやすいと思われる．しかし，ビデオが限定的であり，この知見が一般化できるかは定かでない．

会議となると，視線方向などのノンバーバル情報の欠落が本章の冒頭で示したように，ビデオ会議では一部のノン生じてしまう．ファシリテータが会議参加者の発言，行動バーバル情報が欠落するため，ファシリテータは会議の円が誰に向けたものなのか把握することは容易でなく，記憶滑化を容易に行えないという問題が存在する．そこで我々にも残りにくいと考えられる．結果的にファシリテータはは，以下の要件を満たすファシリテータの会議の円滑化を判断材料が乏しい状態で会議の円滑化に努めなければなら支援するシステムの構築を研究課題とする．

ない．
この問題に対して，関連研究で行われているように，会議参加者の行動の可視化 [3][4][5][6][7][8][9][10] を行うことでファシリテータに判断材料を提供することも可能であ• ビデオ会議参加者の発言関係を可視化する．
• ビデオ会議参加者の発言量を可視化する．

4. 提案手法

る．研究 [3][4][5] では，可視化内容を見ることでファシリ

本稿ではユーザの発言方向・発言回数・発言時間を総じ

テータは会議参加者の会議への参加度を把握し，これに基て会話の流れと定義する．3 章で設定した研究課題を達成づいて参加者の参加度の均等化が行える．しかし，参加者するため，我々は会話の流れを可視化する方法として有向の発言関係は把握しにくいため，一部の会議参加者間のみグラフに着目した．有向グラフでは，エッジが方向性を保発言のやり取りが多くなってしまうことが危惧される．研持している．また，エッジの重みによってエッジの表現す

究 [6] では，発言量の他に無音率，話者交代回数を可視化しる対象の量を表すことができる．このため，有向グラフはている．話者交代の可視化により会議の流れを把握できる

会議参加者の発言方向，発言回数，発言時間を一度に可視と思われるが，ビデオ会議における会議参加者の行動，発化することができると考えられる．以上より，我々は会話言が誰に向けたものなのかは依然把握しにくく，ファシリの流れを有向グラフを用いてリアルタイムに可視化する手テータの記憶にも残りにくいままであると考えられる．研法を提案している [2]．有向グラフでは，発言者からその発究 [7][8] では，発言速度を可視化しており，ファシリテー

言の相手に対してエッジを描く．この手法により，会話のタは会議参加者の発言速度の把握はできるが，会議参加者流れの可視化が行われ，ファシリテータは会議参加者間での発言関係は把握しにくい．研究 [9] はチャットベースのどの程度会話が行われているか，誰が発言過多・発言過少会議を想定したシステムであり，音声が多く用いられるビであるか，といった会議の円滑化のための判断材料を獲得

デオ会議の場での効果は定かでない．研究 [10] では発言できると考えられる．

© 2021 Information Processing Society of Japan803

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q07
2021/3/10

5. 実装
4 章の提案手法の効果を検証するため，システムの実装を行う．このシステムはサーバクライアントシステムとして実装する．様々なビデオ会議システムと併用できるよう，Web ブラウザ上で動作するようにする．システムは，ユーザの発言によりグラフを生成する．生成したグラフをシステムが Web ブラウザ上に表示することで，ユーザに可視化内容を提示する．提案手法により生成されたグラフを
図 1 に示す．グラフのノードは参加者を表しており，エッジの向きは誰に対する発言かを，エッジの太さは発言量を表している．
システムの構成は次のとおりである，クライアント部では，音声の取得，発言開始終了時刻の送信，グラフの出力

図 2 発言時刻による重みづけの一例を行う．サーバ部では，発言開始終了時刻の受信，グラフの生成，グラフの送信を行う．5.1 節にてクライアント部，5.2 節にてサーバ部の詳細な説明を行う．

上を踏まえ過去の一定時間内の発言者の名前が表示されている全てのノードをエッジの終点とする．

5.1 クライアント部

エッジの太さWeb ブラウザ上でマイクからユーザの発言開始時刻・発有向エッジで発言量を表現するため，エッジの太さに言終了時刻を取得する．音声を取得した際に．無音区間が重みづけを行う．重みづけの際の基準は次のとおりで200 msec 以下の場合は連続音声区間として判定する．連続ある．

音声区間の開始時刻を発言開始時刻，終了時刻を発言終了

発言回数・発言時間時刻，長さを発言時間とする．取得した発言開始時刻・発発言の回数が多いほど，発言量も多いとみなせると考言終了時刻・発言時間をサーバへと送信する．サーバへのえられる．このため発言回数による重みづけを行う．

送信後，レスポンスとしてサーバからグラフ画像が送信さまた，長い発言と短い発言の会議の場への影響力が等れる．受信したグラフ画像を Web ブラウザ上に表示する．

価なものであるとは考えにくいことから，発言時間に比例する重みづけを行う．

5.2 サーバ部

発言時刻

サーバはクライアントから発言開始時刻・発言終了時刻

サーバは会議参加者の発言終了時刻を記録しておく．

を受信する．受信後，グラフの生成を行う．グラフには，サーバはクライアントから新たに発言開始時刻・発言サーバに接続しているクライアントをノードとして描画す

終了時刻を受信した際，記録してある過去の発言終了る．各ノードがどのクライアントのものか区別するため，時刻と受信した発言開始時刻の差 (sec) を求める．こノードの中にはクライアントの名前を表示する．会話の流の差が大きくなるほど減衰する重みを付与する．このれを表現するため，グラフに有向エッジを描画する．有向概念を図 2 に示す．

エッジの描画アルゴリズムは次のとおりである．
エッジの起点
エッジの起点は現在の発言者の名前が表示されているノードとする．
エッジの終点最後に，サーバは生成したグラフをクライアントへ送信する．

6. おわりに
実際の会議における会議参加者の発言は直前の発言者の先行研究では現在の発言者が直前の発言者に対して発みでなく過去の一定時間内の発言者に向けた場合もあるこ言を行ったものとみなしていた．このため，直前の発とから，従来のビデオ会議における会話の流れを可視化す

言者の名前が表示されているノードをエッジの終点とるシステムのエッジ描画処理には改善の余地があった．こしていた．しかしながら，実際の会議における会議参のため，本稿ではビデオ会議における会話の流れを可視化

加者の発言は直前の発言者のみでなく，過去の一定時するシステムの実装の改善案について検討を行った．今後間内の発言者に向けた場合もあると考えられる．このは検証実験を行い，ビデオ会議における会話の流れを可視ことから現在の発言者が過去の一定時間内の発言者全化するシステムがビデオ会議の円滑化に与える影響を明ら員に向けて発言を行ったものとみなすことにする．以かにしていく予定である．

© 2021 Information Processing Society of Japan804

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q072021/3/10

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

Niederman, F., Beise, C. M., and Beranek, P. M.: Facilitation issues in distributed group support systems, Proc.
SIGCPR’93, pp.299–312 (1993).
今井 廉，呉 健朗，富永詩音，木村悠児，酒井知尋，小島一憲，宮田章裕：会話の流れの可視化によるビデオ会議
ファシリテーションへの影響，ワークショップ 2020（GNWorkshop 2020) 論文集，Vol.2020, pp.1–7 (2020).
Samrose, S., Zhao, R., White, J., et al.: CoCo: Collaboration Coach for Understanding Team Dynamics during
Video Conferencing, Proc. the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, Vol.1, No.4,pp.1–24 (2018).
Adachi, H., Myojin, S., and Shimada, N.: ScoringTalk:a tablet system scoring and visualizing conversation forbalancing of participation, Proc. SA’15, pp.1–5 (2015).
Kim, T., Chang, A., Holland, L., et al.: Meeting Mediator: Enhancing Group Collaboration with SociometricFeedback, Proc. CSCW’08, pp.357–466 (2008).
岡澤大志，大山涼太，石川誠彬，望月俊男，江木啓訓：発言状況のリアルタイム可視化が議論への参加意欲に及ぼす影響，GN Workshop 2018 論文集，Vol.2018, pp.1–6(2018).
Duan, W., Yamashita, N., and Fussell, S. R.: Increasing
Native Speakers’ Awareness of the Need to Slow Down
in Multilingual Conversations Using a Real-Time Speech
Speedometer, Proc. ACM on Human-Computer Interaction, Vol.3, No.CSCW, Article No.171 (2019).
Mathur, P., and Karahalios, K.: Visualizing Remote
Voice Conversations, Proc. CHI EA’09, pp.4675–4680(2009).
Leshed, G., Perez, D., Hancock, J. T., et al.: Visualizing
real-time language-based feedback on teamwork behaviorin computer-mediated groups, Proc. CHI’09, pp.537–546(2009).
根本啓一，高橋正道，堀田竜士，林 直樹：時間区間ごとの発話順序ネットワーク構造に着目したワールドカフェ型のダイアログの計測と評価，情報処理学会論文誌，Vol.57,No.1, pp.248–259 (2016).
宮田章裕，林 剛史，福井健太郎，重野 寛，岡田謙一：思考状態と発話停止点を利用した会議の動画ダイジェスト生
成支援，情報処理学会論文誌，Vol.47, No.3, pp.906—914(2006).
市野順子，八木佳子，西野哲生，小澤 照：グループディ
スカッション支援のための振動によるフィードバックの提示，情報処理学会論文誌，Vol.60, No.4, pp.1171–1183(2019).
河野進，相原健郎：グループ会話における発話意図の推定システム，情報処理学会論文誌，Vol.58, No.5, pp.1113–1123(2017).
大本義正，戸田泰史，植田一博，西田豊明：議論への参加
態度と非言語情報に基づくファシリテーションの分析，情報処理学会論文誌，Vol.52, No.12, pp.3659–3670 (2011).
Tausczik, Y. R., and Pannebaker, J. W.: Improving teamwork using real-time language feedback, Proc.
CHI’13, pp.359–468 (2013).
Limayem, M.: Human versus automated facilitation in
the GSS context, ACM SIGMIS Database, Vol.37, No.2–3, pp.156–166 (2006).

© 2021 Information Processing Society of Japan805