オンラインミーティング参加者の感情推定における機械学習モデルと客観的評価との比較
鳥羽望海1

藤本まなと2

諏訪 博彦1,3

酒井 元気4

酒造 正樹5

安本 慶一1

概要：労働者の心理状態を表す Work Engagement を知ることで，上司や産業医は労働者の好不調を事前に把握することができ，結果的に健全な組織運営を実現することができる．一方，昨今の COVID-19 の影
響で，労働者がテレワークが取り入れられるようになり，上司や産業医にとってテレワーク中の労働者の心理状態は把握しにくい．我々は費用と労力，感染リスクを減らせるメリットがあるオンラインミーティ
ングサービスに着目し，オンラインミーティングで得られる動画や音声などのマルチモーダルデータを用いて労働者の感情を推定する手法を検討する．オンラインミーティングサービスを用いてグループディス
カッションを参加者にしてもらい，そこから映像，心拍など様々なデータをセンシングして参加者の状態を推定する．グループディスカッション中の参加者の発言録から得られた感情極性，顔のランドマーク座標，心拍，他者に対する感情アノテーションの 4 種類の指標から，他者への感情アノテーションを推定するために Light GBM (Gradient Boosting Machine)，SVR (Support Vector Regression)，我々自身による客観的評価を行った結果，MAE に関して機械学習モデルである Light GBM，SVR のほうが客観的評価よりも 6 つのセッションのうち 5 つのセッションで良い結果を出力することがわかった．

Comparison between Machine Learning and Objective Evaluationin Estimating Emotions of Participants in Online Meeting
Nozomi Toba1

Manato Fujimoto2

Hirohiko Suwa1,3

1. はじめに
Zoom や Microsoft Teams などのオンラインミーティン

Motoki Sakai4

Masaki Shuzo5

Keiichi Yasumoto1

リスクを減らすことを期待できる一方，オンサイトでのミーティングと比較して，利用者の表情や感情の把握が難
しく，労働管理の観点から課題が指摘されている．

グサービスの 1 日あたりの参加者数は，2019 年 12 月から

オンラインミーティングにおける参加者の効率性に関連2020 年 4 月で，それぞれ 1,000 万人から 3 億人，2,000 万する研究として，Samrose ら [1] は，オンラインミーティ

人から 7,500 万人にまで増加した*1 ．これは 2020 年からングに対する参加者の意識を向上させる参加者ごとにパー

現在まで，新型コロナウイルス感染症（COVID-19）のパ

ソナライズされたダッシュボードの構築を提案している．

ンデミックにより，世界中で外出制限の措置がなされ，仕Cutler ら [2] は，ミーティングの有効性とミーティングの事におけるオンラインミーティングサービスの利用が急速

包括性を調査するため，COVID-19 以前に大規模なテクノに広まったことに起因する．

ロジー企業で大規模な電子メール調査を実施し，オンライ

オンラインミーティングサービスは，費用と労力，感染

ンミーティングの有効性の多変量モデルを導き出し，電子
メールと参加者のミーティングへの貢献度の相関性を示し

1

2
3
4
5
*1

奈良先端科学技術大学院大学，Nara Institute of Science andTechnology
大阪公立大学，Osaka Metropolitan University
理化学研究所, RIKEN
日本大学， Nihon University
東京電機大学， Tokyo Denki University
https://blog.zoom.us/a-message-to-our-users/ている．ミーティングの効果を向上させることで，企業は時間と費用を大幅に節約でき，組織での作業環境と従業員の定着率も改善すると仮定している．しかし，これらの既存研究では，視線や心拍に関する解析を行っておらず，高精度な感情推定やノンバーバルコミュニケーションの情報

High Activation

Workaholic

Work
Engagement

Unpleasant
図 1

モデルの概要図

Pleasant
Burnout

Job
Satisfactionを加味できていない．さらに，アノテーションがなく，客Low Activation

観性が不足している．
本研究では，時系列性を考慮したマルチモーダル情報を

図 2

Work Engagement, Burnout, Workaholic の関係性

用いた感情推定システムを提案する．本システムは，図 1のような 4 つのステップで構成されている．具体的には，いた感情推定手法について述べる．

1) グループディスカッションを実行・記録するステップ，2) 他者への対するアノテーションを記録するステップ，3)

2.1 労働者の状態得られたデータから特徴量を抽出するステップ，4) 機械

労働者の状態としては Work Engagement がある [7]．

学習によりモデルを構築するステップである．モデル構築

Work Engagement とは，仕事に関連したポジティブなは，他者へのアノテーション付きグループディスカッショ

心の状態と定義されている．一方でその対概念として，

ンデータ，発言に関する感情極性データ，グループディス

Burnout[4], [5], [6] がある．Burnout とは，仕事に関連した

カッション中の参加者の心拍データ，顔のランドマーク座

ネガティブな心の状態と定義されている．さらに，Worka-

標データといったマルチモーダルなデータを用いる．複数

holic とは，一般的に，過度に働きすぎる傾向と表現され，の機械学習アルゴリズムにより感情推定モデルを構築し，仕事に執着し，仕事から離れようとしないことが特徴的でその結果を比較検討する．

ある [8], [9]．Workaholic は，達成したいという非常に強提案手法を評価するため，オンラインミーティンのグい欲求を持っているため，仕事をしなければならないとループディスカッションを参加者にしてもらい，そこからいう強迫観念に抵抗することができない傾向がある [10]．

映像，心拍など様々なデータをセンシングして，参加者の他

Oerlemans が構築した仕事に関連した主観的幸福感の二者への感情アノテーションを収集する実験を行う．グルー

次元的な見方 [11] を簡略化した形式で Work Engagement,

プディスカッション中の参加者の心拍，発言録から得られBurnout, Workaholic の関係性を図 2 に示す．Oerlemans

た感情極性，顔のランドマーク座標，他者からの感情アノはこれら 4 つの労働者の状態を提示し，労働者を状態に応テーションの 4 種類の指標を用いて，Light GBM，SVR にじて適切に対処することを提案した一方で，例えばオンラ

よる感情推定モデルを構築する．また，構築したモデルがインミーティングを活用した手法を用いて労働者を定量的適切に参加者の感情を推定できてるかどうかを判断するたに評価することについて触れていなかった．

め，我々自身が映像と音声を視聴して得た客観的評価と比較した．その結果，MAE に関して機械学習モデルである

2.2 参加者へのフィードバック

Light GBM，SVR のほうが客観的評価よりも 6 つのセッオンラインミーティングにおける参加者へのフィード

ションのうち 5 つのセッションで良い結果を出力することバックをする手法として，Samrose ら [1] は，参加者ごとがわかった．

にパーソナライズされたダッシュボードである Meeting-

本研究の結果は，オンラインミーティングに参加する労

Coach の構築を提案している．MeetingCoach は，参加者

働者の感情の動きから Workaholic[3] や Burnout[4], [5], [6]にコンテキストおよび行動のミーティング情報を要約してを事前に把握し，労働者の健全な管理に貢献する可能性が提供する．また，話者交替，感情などの信号を識別する．

あることを示唆している．

MeetingCoach の設計は，実際のオンラインミーティング

2. 関連研究の参加者によって評価している． 彼らは，4 週間にわたって 8 チームとの電話ミーティングを記録するためのツール

本章では，オンラインミーティングにおける参加者へのを構築した．ダッシュボードを作成することにより，参加

フィードバック手法として MeetingCoach を紹介し，その者の参加意欲の向上に役立つことを示している．しかしな

機能と課題を述べる．その上で，課題を解決するための技

がら，(1) 心拍や視線に関する解析を行っいないこと，(2)術として，表現分析手法，音声データ処理手法，心拍を用

アノテーションがなく，客観性が足りないことが課題とし

て挙げられる．

線，グループディスカッション参加者自身から他者へのア
ノテーションを付与することで，客観性な感情推定を行う

2.3 表情分析手法

ことができるか検討する．具体的には，表情分析手法や音表情を分析する手法として，Baltrušaitis ら [12] は，Open-

声分析，心拍からの感情推定手法を用いることで特徴量をFace を提案している．OpenFace は，顔のランドマーク検

抽出し，その特徴量を用いて Light GBM や SVR といった

出，頭部のポーズ推定，顔の Action Unit の認識，視線の機械学習モデルで分析する．

推定が可能なオープンソースツールである．OpenFace はリアルタイム性能を備えており，特別なハードウェアを必要とせず，単純なウェブカメラから実行することが可能

3. 対象とするグループディスカッションデー
タである．顔のランドマークの検出と追跡には Conditional

本章では，対象とするグループディスカッションデータ

Local Neural Fields (CLNF)[13] を使用している．彼らが（日本大学酒井元気らのグループが提供）について説明す提案した CLNF モデルでは，顔にある 68 個のランドマー

る．このデータセットには，(1) オンラインミーティング

クをすべてまとめて検出する．また，顔の Action Unit のサービスを用いた参加者 3 人から 4 人が写ったグループ

認識は，[14], [15] のフレームワークに基づいている．実験

ディスカッションのギャラリー映像，(2) 発話者のみが写っ

では 100 ピクセル以上の顔画像に対して適切な結果が得らた映像，(3) 各参加者の音声，(4) 音声を用いて発言をテキれることが示されている．

スト化するサービス Google Speech-to-Text により生成した発言録，(5) 発言録から取得された感情極性データ [18]，2.4 音声からの話者交代推定手法
音声処理アルゴリズムに関して，Tashev[16] は音声と雑(6) ウェアラブルデバイスから取得された各参加者の心拍データ，(7) 他者へのアノテーションが含まれる．それぞ

音の異なる確率密度関数に基づいたオフライン音声活動検れの詳細は以下の通りである．

出器 (Voice Activity Detector: VAD) を提案している．提(1) ギャラリー映像：

案された VAD アルゴリズムは，周波数領域で動作し，各オンラインミーティングサービスの表示におけるギャ

オーディオフレームの各周波数に対する音声信号の存在確

ラリーモードを用いて実現している．グループディス

率と，各フレームの音声存在確率を推定し，さらにフレー

カッション実験に参加している参加者全員が表示されムごとに二値判定を行っている．これによりグループディ

る映像を MP4 形式で保存している．図 3 に，2022 年

スカッション参加者の話者交代を検出することが期待さ

2 月 28 日 11 時 5 分から 16 時 39 分までに行われた各れる．また，音声データからテキストデータを手軽に抽セッション 15 分で構成された 6 セッションのオンラ出する技術が開発されている．具体的なサービスとして，

インミーティングサービスを用いたグループディス

Google Speech-to-Text*2 などがあげられる．これらの技術

カッションのギャラリー映像から抽出した 1 フレームを用いることにより，誰がどんな発言をしているのかを抽の例を示す．

出することが可能となる．

(2) 発話者のみが写った映像：
オンラインミーティングサービスの表示におけるス

2.5 心拍からの感情推定手法

ピーカーモードを用いて実現している．グループディ

Harper ら [17] は，単峰性心拍時系列から感情の価値を分

スカッション実験に参加している参加者が発言した際類する End-to-end の深層学習モデルを提案している．まに画面全体に表示される映像を MP4 形式で保存してた，これらの価値予測に対する不確実性をモデル化するたいる．

めのベイジアンフレームワークを提案している．これらの(3) 各参加者の音声：

結果は，非侵襲的なデータ収集と予測の確実性が重視されオンラインミーティングサービスの「参加者ごとに個るヘルスケアなどの実世界の領域における感情コンピュー別のオーディオファイルで録音」モードを用いて実現

ティングの応用の基礎となると述べている．この技術を用している．グループディスカッション実験に参加していることで，生体データから感情を推定することが可能といる参加者の音声を M4A 形式で保存している．図 4なる．

に，上記グループディスカッションのうち参加者 A の音声の例を示す．

2.6 本研究と関連研究の関係(4) 発言録：本研究では，労働者の状態である Work Engagement を

Google Speech-to-Text により，録音した各参加者の把握する手法で MeetingCoach で実現していない心拍や視音声をテキスト変換することで実現している．CSV 形式で保存している．カラムインデックスは時間，発話*2

https://cloud.google.com/speech-to-text

者，発話内容となっており時系列で保存している．

98heartbeat [bpm]

96
94
92
90
88
86
84
00:00

03:00

06:00

図 5

amplitude

図 3

表 1

映像データ

time [MM:SS]

09:00

12:00

心拍データ

参加者 A の感情アノテーションを一例として示す
経過時間
感情ラベル
評価対象の参加者

00:46.0

3

B

1.00

02:00.5

2

C

0.75

03:11.3

0

D

0.50

03:30.8

-1

C

0.25

03:53.8

0

B

0.00

04:04.6

2

B

0.25

04:46.7

3

B

0.50

05:09.4

2

D

0.75

05:41.2

0

C

1.00
00:00

05:48.8

1

C

03:00

06:00
09:00
time [MM:SS]

図 4

12:00

15:00

音声データ

(5) 感情極性データ：
意見や態度を含んだ感情をテキストから分析するた

06:10.7

0D

06:36.1-1

D

07:01.9

0A

07:58.8

1

C

08:00.3

0C
C

めの重要なリソースとして挙げられる単語の感情極

08:00.9-1

08:13.3

3

B性を用いる [18]．Google Speech-to-Text によりテキ

09:30.2

2

D

ストに変換された参加者の発言内容を MeCab[19] に09:34.10Dより形態素解析を実行したのち，各単語に関して感情

09:43.2-1D

極性データを対応させ，それぞれの文に対して平均を

09:58.9

0B

10:09.4

2

C

10:27.9

1

D

10:40.5

0B

各参加者にウェアラブルデバイス Fitbit Ionic® *3 を装11:00.6

3

B

着してもらい，そこから心拍を取得することで実現し11:46.9

2

Bている．Fitbit SDK における Web API を用いて心拍12:23.2

0D

12:55.5-2

D

13:36.5

0

C

取った．

(6) 心拍データ：

データを抽出し，JSON 形式を変換して CSV 形式で保存している．図 5 に，上記グループディスカッショ

15:00

ンのうち参加者 A の心拍波形の例を示す．

(7) 他者へのアノテーション：
オンラインミーティングサービスによるグループディ

4. 感情推定システム

スカッション収録後，発話者のみが写った映像を用い本章では，グループディスカッション参加者の感情推定て，各参加者がグループディスカッションに同席してシステムについて提案する．提案システムでは，オンライ

いた他の参加者の発言に対して，−4 点から 4 点で評価

ンミーティングサービスやウェアラブルデバイス，グルー

してもらう．悪ければ −4 点，良ければ 4 点の評価をプディスカッション参加者が他者に対して行ったアノテー

つけることで CSV 形式で実現している．表 1 に，上ションから得られたデータから参加者の感情推定を行う．

記グループディスカッションのうち参加者 A による，本システムは，図 1 のような 4 つのステップで構成され

他者へのアノテーションの例を示す．

ている．1) グループディスカッションを実行・記録するス
テップ，2) 他者への対するアノテーションを記録するス*3

https://www.ﬁtbit.com/

テップ，3) 得られたデータから特徴量を抽出するステップ，4) 機械学習によりモデルを構築するステップである．

1) では，オンラインミーティングサービスとウェアラ
ブルデバイスを用いて，参加者 4 人にグループディスカッ
ションをしてもらう．その際に音声，映像，心拍の 3 種類のマルチモーダルなデータを取得する．

2) では，参加者には音声と映像のデータから判断して他者の発言に対して評価をしてもらう．良いと判断した場合は 4 点，逆に悪いと判断した場合は-4 点として 9 段階で判断してもらう．このデータをアノテーションデータと呼ぶことにする．

図 6

OpenFace で映像データ解析した結果

3) では，音声，映像，心拍，アノテーションの 4 種類のデータから Speech-to-Text や感情極性辞書，OpenFace を

タを確認することで，与えられたテーマに沿った発言をし用いて，4 種類の特徴量を取得する．4 種類の特徴量とは，ているかどうかを判断することや，ポジティブ・ネガティ

参加者の発言から取得した感情極性データ，映像から取得

ブ分析が可能となり，感情アノテーションと統合して発言した顔のランドマーク座標，心拍，他者に対するアノテーの適切性を確認することが可能となる．

ションを指す．

映像データから表情を検出するため，OpenFace の映像

4) では，得られた 4 種類の特徴量を説明変数として，ま内に複数人が映っている場合に表情認識を行う FaceLand-

た自身が行った他者へのアノテーションを目的関数としてmarkVidMulti を用いて，複数人の顔のランドマーク検出

機械学習にかける．

を行った．4 人の参加者の映像（図 3）を実際に OpenFace

5. 既存データの分析実験
本章では，提案システムの実現可能性を探るため，既存のグループディスカッションデータからの特徴量の抽出とを用いて顔のランドマーク検出を行って生成した映像を図6 に示す．これにより，顔の向きから視線の位置が，ランドマークから表情の検出が可能となっている．
以上の 2 つの特徴量に加え，心拍データと他者からの感

その特徴量を用いた感情推定モデルの構築を試みる．

情アノテーションを加えた 4 つを特徴量とする．

5.1 分析対象

5.3 感情推定モデルの構築

分析対象は，2022 年 2 月 28 日 11 時 5 分から 16 時 39

グループディスカッション中の発言録から得られた感情

分までに行われた各セッション 15 分で構成された 6 セッ

極性，顔のランドマーク座標，参加者の心拍，他者からのションのオンラインミーティングサービスを用いたグルー

感情アノテーションの 4 指標から，他者への感情アノテー

プディスカッションデータである．参加者は，19 歳からションを推定するため，Light GBM[20] と SVR[21] を用い

22 歳の男子大学生で構成された 4 人で，事前に A，B，C，て感情推定モデルの構築を試みる．モデルの評価は，平均

D の ID を割り振っている．

絶対誤差 (Mean Absolute Error: MAE) で行う．MAE はまた，各セクションで扱ったテーマと各参加者の立場は以下の式で表される．

表 2 のようになっている．このテーマは，議論が活発になM=とを目的としている．ただし△で表記されているものは，
中立的な立場の意見である．

1∑|At − Ft |n t=1n

りそうなものを取り上げており，参加者の発言を増やすこ

上式において，M が MAE，n がフレーム数，Ft がモデルが推定した感情ラベル，At が参加者がアノテーションし

5.2 特徴量の抽出た感情ラベルを表す．また，個人ごとのモデルを検証する

音声データからテキスト抽出をするため，Google Speech-

ため，15 分で 25 フレーム毎秒 6 セクションのデータ（全to-Text を用いて，個別に保存されていた参加者 4 人の音

135000 フレーム，縦 720 ピクセル，横 1280 ピクセル）を

声データをテキスト化し，発言した時間に合わせて統合をセクションごとに分割し，交差検証を行なっている．

行った．図 4 に，参加者 A の音声データを示す．図 4 より，発話のタイミングを確認することができる．また，こ6. 分析結果の音声データをフーリエ変換するなどすることにより，声表 4 に，参加者 C のセッション 1 から 6 の実際にアノ質などを取得できるようになると考える．また，表 3 に，4テーションした感情ラベルと Light GBM，SVR，客観的人の参加者がグループディスカッションをした内容を実際

評価と実際の感情ラベルを比較することで得た MAE を示に統合して生成したテキストデータを示す．テキストデー

す．MAE は 0 に近ければ近いほど，推定された結果が実

表 2
テーマ一覧

各セクションで扱ったテーマ一覧
A

B

C

D

生徒は制服を着るべきか (1)，私服でも良いか (2)

△

2

1

2

宿題は有益か (1)，有益でないか (2)

1

1

2

2

人間はその人の心か (1)，見た目か (2)

2

2

1

1

自動車免許を定年制にすべきか (1)，そうでないか (2)

1

1

2

△

男性専用車両は今後作るべきか (1)，そうでないか (2)

△

1

2

2

タイムマシンで未来に行くか (1)，過去に行くか (2)

2

1

1

2

経過時間 (s)表 3
内容

参加者 A の発言録データの一部

188.5

中学か中学とかは公立通ってました．

194.6

制服が来てたんですか？

198.3

で今大学生になって私服着るようになってますけど
あのーそれを親に決めてもらった服を着てるんですか

210.4

うーん．

212.9

でさっきの話だとあのー公立に孤立というかあの姿勢服を着ているような習慣がついているとあのー自分で洋服決められないって言ってるけどでも実際はあのー
なんとなくですけど洋服は着られてますよねちゃんと選んで231.0

なんであんまそこに関しては心配する必要がないかなと思っててで特にあとは個性を発揮するっていう風な話があったと思うんですけどなんか具体的な個性の発揮の例とかってあります

客観的評価

1

1.657266

2.146015

2.924895

2

1.2463071.500750

1.819257

3

1.679402

1.747157

2.643581

4

1.523522

1.700253

2.653716

51.354815

0.917558

1.616949

6

1.727151

1.736929

1.613559

際の感情ラベルに近いことを表す．表 4 から見て取れるよoutput of target_name='c', mae=1.65727, session=1 (Light GBM)

emotion

表 4 参加者 C の MAE
Light GBM SVR

セッション

図 7

4
3
2
1
0
1
2
3
4
00:00

prediction
objective function

03:00

06:00
09:00
time [MM:SS]

12:00

15:00

セッション 1 の参加者 C の Light GBM による分析結果

うに，機械学習モデルである Light GBM，SVR により推定した結果のほうが客観的評価よりも MAE が良いことがoutput of target_name='c', mae=2.14601, session=1 (SVR)

わかる．このことから，人間よりも機械学習モデルのほう
参加者の感情を推定することができることが示唆される．
次に，図 7-図 15 に，参加者 C のセッション 1，5，6 に関して実際にアノテーションした感情ラベルと Light GBM，SVR，客観的評価を示す．これらのセッションはそれぞれLight GBM，SVR，客観的評価が最も良い MAE を出力したものである（表 4）．縦軸が −4 から 4 点までの感情ラベ

emotionがより正確にグループディスカッションの映像や音声から

4
3
2
1
0
1
2
3
4
00:00

図 8

prediction
objective function

03:00

06:00
09:00
time [MM:SS]

12:00

15:00

セッション 1 の参加者 C の SVR による分析結果

ルの値，横軸が時間，オレンジ線で描かれた矩形波が実際に参加者がアノテーションした感情ラベル，青線で描かれで推定できている．これは，映像では参加者 C は他者の意た波形が Light GBM，SVR，我々自身が推定した参加者

見を聞いて頷いており，肯定していると我々自身は推定しの感情ラベルを表している．オレンジ線が青線の形状に近た一方，機械学習モデルは顔のランドマーク座標，心拍とければ近いほど良い推定をしているということが言える．

いった特徴量を加味した推定をしたためだと考えられる．

セッション 1（図 7-図 9）に関しては，3 分周辺の立ちセッション 5（図 10-図 12）に関しては，Light GBM，下がりを客観的評価は難しかった一方，Light GBM，SVR

SVR，客観的評価全てで推定するのは難しかった．これは，

図 9output of target_name='c', mae=1.72715, session=6 (Light GBM)

prediction
objective function

4
3
2
1
0
1
2
3
4
00:00

emotionemotionoutput of target_name='c', mae=2.92489, session=1 (Self Annotation)

03:00

06:00
09:00
time [MM:SS]

12:00

15:00

セッション 1 の参加者 C の客観的評価によるアノテーション

図 13

prediction
objective function

4
3
2
1
0
1
2
3
4
00:00

03:00

06:00
09:00
time [MM:SS]

12:00

15:00

セッション 6 の参加者 C の Light GBM による分析結果の結果
output of target_name='c', mae=1.73693, session=6 (SVR)

図 10

prediction
objective function

4
3
2
1
0
1
2
3
4
00:00

emotionemotionoutput of target_name='c', mae=1.35482, session=5 (Light GBM)

03:00

06:00
09:00
time [MM:SS]

12:00

図 14

図 11

emotionemotionprediction
objective function

06:00
09:00
time [MM:SS]

12:00

15:00

セッション 5 の参加者 C の SVR による分析結果

emotionoutput of target_name='c', mae=1.61695, session=5 (Self Annotation)

図 12

4
3
2
1
0
1
2
3
4
00:00

06:00
09:00
time [MM:SS]

12:00

15:00

セッション 6 の参加者 C の SVR による分析結果

output of target_name='c', mae=1.61356, session=6 (Self Annotation)

output of target_name='c', mae=0.917558, session=5 (SVR)

03:00

03:00

15:00

セッション 5 の参加者 C の Light GBM による分析結果

4
3
2
1
0
1
2
3
4
00:00

prediction
objective function

4
3
2
1
0
1
2
3
4
00:00

prediction
objective function

図 15

4
3
2
1
0
1
2
3
4
00:00

prediction
objective function

03:00

06:00
09:00
time [MM:SS]

12:00

15:00

セッション 6 の参加者 C の客観的評価によるアノテーショ
ンの結果

ルの波形に近い形状をしている．Light GBM に関しては，

11 分周辺で正解ラベルにかなり近い値を取っている．これは，実際の映像データでも参加者 C が肯定的な発言や深い頷きをしており，これらを感情極性や顔のランドマーク座標といった特徴量をうまく学習して推定したためだと考え
られる．

03:00

06:00
09:00
time [MM:SS]

12:00

15:00

セッション 5 の参加者 C の客観的評価によるアノテーショ
ンの結果

7. まとめ
本稿では，オンラインミーティングサービスを用いたグ
ループディスカッションにおける感情推定システムの実現

参加者がしたアノテーションした感情ラベルの波形自体がに向けた初期段階として，OpenFace による映像解析，テキ

他のセッションとは異なりパルスのような形状をしている

スト解析のために音声からの発言録データ作成を行った．

ため，他のセッションで学習してもうまく推定できなかっ

また，Light GBM，SVR，客観的評価により感情ラベルをたためだと示唆される．

推定した結果，MAE において Light GBM，SVR といったセッション 6（図 13-図 15）に関しては，後半部分の立

機械学習モデルのほうが客観的評価よりも 6 つのセッショ

ち上がり，立ち下がり Light GBM，SVR，客観的評価のンのうち 5 つのセッションで良い結果を得ることがわかっ全てで比較的，参加者がしたアノテーションした感情ラベ

た．一方，頷きがうまく取れていない可能性や発言録から

感情極性を組成するステップで情報が落ちている可能性が示唆される．今後は，単位秒ごとのフレーム数や頷きの回
数のカウントの方式といった説明変数のデータの集約方法[13]

を見直すことや，参加者の声質といった特徴量も加味することで，音声・映像・心拍・テキストデータをマルチモーダルに用いてオンラインミーティングサービスを用いたグ[14]

ループディスカッションにおける感情推定システムの実現
を目指す．

[15]

謝辞
本研究の一部は，Society 5.0 実現化研究拠点支援事業お[16]

よび科研費基盤研究 (B)(No.19H01719) ，科研費基盤研究(B)(No.20H04177) の助成によって行った．

[17]

参考文献
[1]

[2]

[3]

[4]
[5]

[6]

[7]

[8]
[9]

[10]

[11]

[12]

Samiha Samrose, Jina Suh, Sean Rintel, Daniel McDuf,
Kael Rowan, Kevin Moynihan, Robert Sim, Javier Hernandez, and Mary Czerwinski. Meetingcoach: An intelligent dashboard for supporting eﬀective & inclusive meetings. Conference on Human Factors in Computing Systems, Vol. 16, No. 252, pp. 1–13, 2021.
Ross Cutler, Yasaman Hosseinkashi, Jamie Pool, Senja
Filipi, Robert Aichner, Yuan Tu, and Johannes Gehrke.
Meeting eﬀectiveness and inclusiveness in remote collaboration. Proceedings of the ACM on Human-Computer
Interaction, Vol. 5, No. 173, pp. 1–29, 2021.
Janet T. Spence and Ann S. Robbins. Workaholism: Definition, measurement, and preliminary results. Journalof Personality Assessment, Vol. 58, No. 1, pp. 160–178,
1992.
Herbert J. Freudenberger. Staﬀ burn-out. Journal of Social Issues, Vol. 30, No. 1, pp. 159–165, 1974.
Christina Maslach and Susan E. Jackson. The measurement of experienced burnout. Journal of Occupational
Behaviour, Vol. 2, pp. 99–113, 1981.
Christina Maslach, Wilmar B. Schaufeli, and Michael
P. Leiter. Job burnout. Annual Review of Psychology,
Vol. 52, pp. 397–422, 2001.
Hely Innanen, Asko Tolvanen, and Katariina SalmelaAro. Burnout, work engagement and workaholism among
highly educated employees: Proﬁles, antecedents andoutcomes. Burnout Research, Vol. 1, No. 1, pp. 38–49,
2014.
Wayne E. Oates. On being a ”workaholic”. Pastoral Psychology, Vol. 19, pp. 16–20, 1968.
Lynley H. W. McMillan, Michael P. O’Driscoll, Nigel
V. Marsh, and Elizabeth C. Brady. Understanding
workaholism: Data synthesis, theoretical critique, andfuture design strategies. International Journal of Stress
Management, Vol. 8, pp. 69–91, 2001.
Peter E. Mudrack and Thomas J. Naughton. The assessment of workaholism as behavioral tendencies: Scaledevelopment and preliminary empirical testing. International Journal of Stress Management, Vol. 8, pp. 93–
111, 2001.
Wido Oerlemans. Subjective well-being in organizations.
The Oxford handbook of positive organizational scholarship, pp. 178–189, 2011.
Tadas Baltrušaitis, Peter Robinson, and Louis-Philippe

[18]

[19]
[20]

[21]

Morency. Openface: An open source facial behavior
analysis toolkit. Winter Conference on Applications ofComputer Vision, 2016.
Tadas Baltrušaitis, Peter Robinson, and Louis-Philippe
Morency. Constrained local neural ﬁelds for robust facial
landmark detection in the wild. International Conference on Computer Vision Workshops, 2013.
Tadas Baltrušaitis, Marwa Mahmoud, and Peter Robinson. Cross-dataset learning and person-specic normalisation for automatic action unit detection.
Jessica L. Tracy and David Matsumoto. The spontaneous
expression of pride and shame: Evidence for biologicallyinnate nonverbal displays. the National Academy of Sciences, Vol. 105, No. 33, pp. 11655–11660, 2008.
Ivan J. Tashev. Oﬄine voice activity detector using
speech supergaussianity. Information Theory and Applications Workshop, 2015.
Ross Harper and Joshua Southern. A bayesian deeplearning framework for end-to-end prediction of emotion
from heartbeat. IEEE Transactions on Aﬀective Computing, 2020.
Hiroya Takamura, Takashi Inui, and Manabu Okumura.
Extracting semantic orientations of words using spinmodel. Proceedings of the 43rd Annual Meeting of the
Association for Computational Linguistics, pp. 133–
140, 2005.
Taku Kudo. Mecab: Yet another part-of-speech and morphological analyzer. http://mecab.sourceforge.jp, 2006.
Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang,
Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu.
Lightgbm: A highly eﬃcient gradient boosting decision
tree. Advances in neural information processing systems, Vol. 30, pp. 3149—-3157, 2017.
Mariette Awad and Rahul Khanna. Support vector regression. In Eﬃcient learning machines, pp. 67–80.
Springer, 2015.