情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

オンライン会議中の参加状態推定と音声変換提示による参加促進手法の提案
城谷知葵 †1
九州大学大学院システム情報科学研究院

難波洸也 †2
九州大学大学院システム情報科学研究院

中村優吾 †3
九州大学大学院システム情報科学研究院

荒川豊 †4
九州大学大学院システム情報科学研究院

1. はじめにTeams, Zoom, Discord, Slack, hangout, WebEx などの各会議においては発言やリアクションなど場への参加度

種コミュニケーションツールはチャットやエモート，他者が高いことが望ましい．発言やリアクションなどの情報にのチャットへのいいねなどの機能が存在している．しかしよって相手の状況を理解することができ，会議を円滑に進これらの機能は参加者自らが用いる必要があり，対面会議

めることができる．これは近年盛んであるオンライン会議

時のリアクションのように自然に発生するものとは異なる．

においても同じである．オンライン会議は場所を気にする

そのため参加者に心理的負担を与えることになる．よってことなく参加できるため，従来の対面会議に比べて会議へ

参加者のリアクションを自動でフィードバックするシステの参加が容易になった．オンライン会議において参加度をムがあれば，情報開示のような負荷やリスクの影響なく，会上げるために効果的な方法はカメラとマイクを ON にする

議を円滑に進めることができる．

ことである．カメラを ON にすることで表情や頷きなどのしかしカメラ OFF でのオンライン会議においてはリアク

仕草を確認することができ，相手の反応を理解することがションを伝えることよりもオンライン会議特有の問題を先出来る．つまり参加者の情報を対面会議同様に得ることがに解決すべきである．1 つ目はカメラを OFF にすることにできる．

よって参加者の緊張感が減ることである．対面会議ではオ

しかしオンライン会議中にカメラとマイクを ON にするンライン会議のカメラほどではないが，他の参加者に見らことは参加者に測定れている・監視されているなどの印象れているかもという緊張感を少なからず与えることができを与えてしまう．そのため対面会議よりも心理的な負荷がる．しかし，オンライン会議でカメラを OFF にすると他者大きくなる．さらに話し手・聞き手ともに無意識のうちにの視線が完全にカットされるため，会議への集中力が減っ

自然な振る舞いが阻害されることや心理的な緊張感によるてしまうことがある．2 つ目は認知資源が他のことに奪わ疲れも懸念される．会議などのコミュニケーションにおいれやすいことである．オンライン会議に使用しているデバて心理的な安全性を確保することは会議を活発にする上でイス (PC やタブレット，スマートフォンなど) を前に置いも会議の質を高める上でも大切である．

ていることによってポップアップ通知やその他の機能に気上記の問題を解決するにはカメラとマイクを OFF にするが散ってしまう．また個々の作業空間によってはデバイス方法が考えられる．カメラを OFF にすることによって自分の外にも気が散るものが存在し，注意が別の方向に向いてと相手の顔が見れなくなり，心理的負担を減らすことがでしまうことがある．

きる．しかし，カメラやマイクを OFF にするとノンバーバ

以上のことからリアクションを自動で伝えるシステムのル情報 (身振り・手振り，息遣い，視線，布ズレ音，椅子に開発より先にオンライン会議中に他所にそれる注意を引き

座り直す音など) が欠落し，他の参加者の反応を理解するこ戻すシステムが必要である．

とが困難になる．その結果会議を円滑に進めることが難し
くなり，会議の質が低下してしまう．
カメラやマイクを OFF でもリアクションを伝えるために

Arakawa らは，ビデオベースの学習において非集中状態
を音声変化によって再び集中状態に戻す手法を提案している [1]．Mindless Attractor は実験参加者の視線によってビデオへの集中力を測定しており，PC から目線が外れている(スマホなどを見ている) 場合には，ビデオ音声のピッチを
†1
†2
†3
†4

TOMOKI JOYA, Kyushu University
KOYA NAMBA, Kyushu University
YUGO NAKAMURA, Kyushu University
YUTAKA ARAKAWA, Kyushu University

変化させることで集中状態に引き戻している．しかし上記の手法ではオンライン会議への参加と PC 上での内職 (ネットサーフィンや動画視聴) を識別することが困難である．ま1

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

た音声変化に用いているのはピッチだけであり，音声変化

メラを用いる手法は外部センサを新しく導入する必要がな

が 1 種類だけであると馴化してしまう可能性がある．

いため手軽に実施できるが，カメラの画角に顔を収める必

そこで本研究では，オンライン会議において参加者の PC

要がある．また，オンライン会議ではカメラをオフにする

情報からオンライン会議への集中状態を推定し，その状態こともあり，その場合は自分がカメラの画角内に収まってに応じて音声を変化させ，参加者をオンライン会議へと注いるか確認することができない．

意を引き戻す手法を提案する．オンライン会議への集中状

そこで本研究では CPU 使用率やマウスの挙動などのユー態を推定するために用いるのは PC のプロセス情報だけでザの PC 情報に着目した．PC 情報を用いることで画角をあるため，カメラやマイクなどによる測定感を軽減するこ

気にすることなくデータを収集することが可能となる．本

とができ，参加者に不快感を与えることがなくなる．さら研究では ActivityWatch [8] を参考にユーザの PC 情報をにプロセス情報によって PC 上での内職を識別することも取得し参加度を推定する．

できる．また，非集中状態と推定された参加者に対しては，
オンライン会議の音声に対し，ピッチやリバーブといった音変化をさせることにより，参加者に強制感を与えずに会議への注意を引き戻すことができる．

2.2. 非集中状態のユーザを集中状態に戻す研究
次に参加度が低い聞き手に対してのフィードバック手法について述べる．文献 [9] では視線情報から参加度を推定

オンライン会議中，非集中状態と推定された参加者に対し，参加度が低い聞き手に対して試聴している動画を止めてし，ピッチやリバーブといった音声変換提示をすることで，画面上にアラートを表示する．文献 [10] ではプレゼン資料

参加者の注意を会議へ引き戻し，集中状態へ戻る効果があ

上に四角形の枠を表示して聞き手に注意を促している．こるかを明らかにするための評価実験を実施した．７名の実のような PC の画面に提示する手法では聞き手が PC の画

験協力者に対し，普段オンライン授業に参加するときと同面を見ている必要があるが，別の画面を見ている場合にはじ状況下において，ビデオ講演を聞いてもらった．音声変有効ではない．

換ありとなしの場合の集中状態時間を比較した結果，音声

そこで本研究では音による提示によって聞き手へフィー変換を体験した実験参加者５名中４名に対し，ビデオ講演

ドバックする．文献 [1] では，聞き手が聞く音声のピッチをへの集中時間割合が増加した．また，実験参加者は，ピッ変換することで無意識的に会議に集中するよう促す手法を

チやリバーブといった音声変換機能の詳細まで意識的に気提案している．本研究でも音声変換をすることにより参加

づかなくとも，集中状態への復帰行動を取ることが確認で度が低い聞き手の参加度を向上させることを目標とする．

きた．

3. 提案システム
2. 関連研究

本章では，オンライン会議中において，注意が会議に向け

本章ではユーザの状態をセンシング技術によって取得られていない非集中状態にいる参加者を，会議へと注意が向する研究と，聞き手を集中状態に引き戻す研究について述いている集中状態に引き戻すシステムの概要について記す．

べる．

まずはじめに，3.1 節でオンライン会議における参加者の状
態や遷移について定義し，ターゲットとなる参加者の状態

2.1. ユーザの状態を認識する研究と目指すべき参加者の状態について述べる．次に，3.2 節でユーザの集中状態を外部センサを用いて取得する研究がターゲットとなる参加者の状態のセンシング推定手法につ多く行われている [2, 3]．文献 [2] では，被験者が装着した

いて述べ，3.3 節でセンシング結果に基づいてシステムが参

ウェアラブルデバイスから生理学的なデータを取得するこ

加者へどいういった介入をすべきかについて述べる．最後とで被験者の参加状態をセンシングしている．また文献 [3]に，3.4 節で上記要件を満たしたプロトタイプ開発の詳細に

では外部センサを PC に装着することで視線情報を取得しついて述べる．

ている．しかし，外部センサを使用するためにはコストがかかる上に，会議のためにセンサを装着することは現実的ではない．
オンライン会議で用いる PC に付属しているカメラでまた，本研究で提案するシステムの適応対象となるオンライン会議の想定環境について下記に記す．
・会議形式：先生（話し手）と生徒（聞き手）といったような役割が分かれている会議

ユーザの状態をセンシングする研究も行われている [4–7]．

・発表資料：あり．話し手は画面共有をしている

文献 [4] ではオンライン講義を受講している学生の表情を・ハードウェア：PC やスマートフォンといった視覚と聴

PC のカメラで撮影し感情を分析している．文献 [5] では表
情に加えて頷きや眉の動きをセンシングしている．PC のカ

覚機能を有するデバイス
・ソフトウェア：Teams や Zoom といったオンライン会

2情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

図1

オンライン会議中における参加者の状態遷移

議システム
・参加者のマイクの状態：問わない
・参加者のカメラプレビュー：OFF

3.1. オンライン会議における参加者の状態遷移

図2

参加度を高めるための全体フロー

図 1 に示すように，オンライン会議における参加者の状
態は，非集中状態と集中状態に大別できる．
非集中状態とは，参加者の注意がオンライン会議から外

文では，デバイスは普段使用しているノート PC を想定し，代表的な非集中状態の行動として，内職作業を取り上げる．

れており，心身的な理由から集中度が低い・乱れている状
態，または会議システムを実行している機器の別のアプリ
ケーションに認知資源を割いている状態，会議システムを実行している機器の外（参加者が置かれている環境) に認知

3.2. 参加状態推定ブロック
参加状態推定ブロックではユーザの参加状態を推定する．
図 3 に参加状態推定ブロックの概要を示す．

資源を割いている状態を示す．代表的な行動としては，会

まずユーザの PC から PC 情報を取得する．PC 情報は

議には直接関係のないアプリケーションを使用する（メーCPU 使用率・Active Window（PC 上で作業中や選択中のルチェックや Web 検索），会議に参加せずにスマートフォ画面）・AFK 時間（マウスやキーボードを触っていない秒ンを操作するなどが挙げられる．

数）で構成されている．PC 情報を取得するプログラムは集中状態とは，オンライン会議に注意を向け，高いパ
フォーマンスが発揮されている状態である．集中状態は参

python で記述しユーザの PC で動作させる．プログラムは
1 秒毎に CPU 情報を取得し csv ファイルに書き込む．

加者の状態を傾聴中・参加中の二つに分類することができ

次に取得したデータをそれぞれ前処理ブロックに入力

る．傾聴中はその名の通り，話に耳を傾けている状態を示する．CPU 使用率データに対しては，全て値が 0 であるす．参加中の代表的な行動としては，発話をする・チャット

CPU プロセスを削除した後に使用した Web 会議システムに書き込む・エモートを押すなどが挙げられる．

の CPU 使用率で正規化する．Active Window データに対図 1 に示したように，左側に行くほど場への参加度が低しては，使用した Web 会議システムかそれ以外かの 2 値にくなり会議への貢献が低下し，反対に右側へ行くほど場へ分類する．AFK データに対しては，閾値を設定して 2 値化の参加度が高まり，会議への貢献が向上すると言える．1 章

する．本研究では閾値は 3 秒とする．

でも触れた通り，我々は会議の参加者の場への参加度を高特徴量抽出ブロックでは前処理したデータを窓で区切り，めるため，会議の参加者をこの一番右側の参加中の状態へ

それぞれ特徴量を抽出する．本研究では窓サイズは 4 サンと促すことを目指したい．しかし先に挙げた様々な要因か

プル，スライド幅は 2 サンプルとする．CPU 使用率データ

ら参加者の集中が保たれず，参加者の注意がオンライン会からは最大値と最小値の差・標準偏差を計算する．Active

議から逸れて，非集中状態に落ちてしまうことがある．
そこで，オンライン会議の参加者の場への参加度を高める
ためには，図 2 のようにまず参加者の状態が集中・非集中状

CPU使⽤率態のどちらにあるのかを検出し，参加者の状態に応じて，”Active Window

施策 A：内職中の人を傾聴中のステートに押し上げる”と，”

AFK

施策 B：傾聴中の人のリアクションを増やして参加中の状

PC情報

前処理ブロック

機械学習ブロック

正規化

特徴量抽出

学習
参加
2値化

態に背中を押す”を使い分ける必要がある．これらの施策の

多数決
不参加

うち，本研究ではオンライン会議中に注意が逸れてしまう
参加者の注意を引きもどすシステムを提案する．また本論

図3

参加状態推定ブロックの全体像

3

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

Window と AFK データからは合計値を計算する．
機械学習ブロックでは教師あり学習を用いて特徴量からユーザの参加状態を推定する．正解ラベルは参加状態と不参加状態の 2 値である．機械学習モデルは限定しないが，本研究では lightGBM を用いた．

4. 実験
4.1. 参加度推定性能
参加度推定の機械学習モデルを作成するために, 教師デー
タ取得実験と評価用データ取得実験を行った. いずれの実最後に推定されたラベルについて数サンプル毎に多数決

験でも，実験参加者のパソコンに「CPU 使用率」・「Active

をとり，最も個数が多かった状態を最終状態として出力す

Window」・「AFK」を取得するソースコードをインストー

る．本研究では 5 サンプル毎に多数決をとる．

3.3. 施策 A: どのように参加者の注意を引き戻すのか
施策 A の目的は，オンライン会議の非集中状態における参加者に対し，再びオンライン会議へ注意を向けさせることである．この際，我々が重要視するのは，参加者に対して強制感を与えることなく，感情や心理に訴えかけてさりげなく行動を促したいということである．よって，システムの介入によって参加者が作業を中断する必要がある・不快な思いをするようなことは避けたい．また，オンライン会
議では，非集中状態にある参加者は常に PC 画面を見ているとは限らず，PC 画面を見ていたとしても打ち合わせアプ
リケーションではない他のアプリケーションを閲覧している状況も考えられる．こういった状況下で，参加者に対して有効な提示をするには，視覚的な提示よりも聴覚提示の方が適していると考えた．先にも述べたが，文献 [1] では，聞き手が聞く音声のピッチを変換することで無意識的に会議に集中するよう促す手法を提案している．しかし，ピッ
チ変換は音声変換の開始と終了時に注意を惹くことはでき
るが，変換中は馴化してしまい，効果としては不十分であると予測されたため，音声のピッチ変換だけでなく，音声変換
中ずっと効果の持続性が期待できると考えられるリバーブ
変換に着目した．

3.4. 施策 A：プロトタイプ実装
図 4 に提案手法の一連の流れを示す．我々は，非集中状態と判定された場合には，会議の音声を変換するプロトタ
イプ実装を行った．音声変換は 3 種類（ピッチ，リバーブ
弱，リバーブ強）用意した．非集中時間の継続時間に応じルし，コードを実行した状態で，Microsoft Teams を使用したオンライン会議を行った.
まず教師データ取得実験のため，オンライン会議に入った

5 人の実験参加者に指定した行動をとってもらった. 参加している状態では「Teams の画面を真面目に見る」・「議事録をとる」・「Teams のチャットに質問を書く」の行動をしてもらった．不参加の状態では「ネットサーフィンする」
・「資料を作成する」・「YouTube 動画を見る」などの行動をしてもらった. なお，パソコンを使用する以外の不参加状態はこ
こでは取得していない.
次に評価用データ取得実験を行った．2 名の実験参加者を参加している状態と不参加の状態に分け，オンライン会議
室に入ってもらった．教師データ取得実験とは異なり，実験参加者には指定した行動ではなく自由な行動をとってもらった．実際は，参加状態では「Teams の画面を真面目に見る」，不参加状態では「ネットサーフィンする」の行動があった．
取得した教師データを用いて 3.2 章の手順で機械学習モ
デルを作成した．前処理とアンダーサンプリングの結果，機械学習モデルに使用したデータは参加状態と不参加状態いずれも 1770 サンプルであった．作成した機械学習モデルを
評価データで検証したところ正解率は 0.776 であった．

4.2. 施策 A：予備実験
ピッチやリバーブ音声変換によって，参加者の注意をオンライン会議に引き戻す効果があるかを検証するにあたり，
まず参加者がピッチやリバーブ音声変換に気づくかどうか，
またその機能はシステムの挙動として受け入れられる（受容性）のか，ピッチとリバーブ変換はどちらが効果的なのかて，ピッチ→リバーブ弱→リバーブ強と段階的に刺激の強度が変化するようにし，参加者が非集中状態になるごとに，繰り返されるようにした．オンライン会議システムに入力された話し手の音声を，仮想マイクを介すことで聞き手のPC にインストールされたプログラムに入力して音声変換を施す．
使用 OS は macOS のみを対象としており，音声変換はpedalboard，CPU 情報取得には psutil を用いた．PC 情報
は 1 秒間に 1 回取得し，音声変換は非集中状態の場合は 15
秒に 1 回施した．

図4

提案手法の一連の流れ

4情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）といった知見を得るための予備実験を行った．

4.2.1

実験概要

音声変換データを 3 種類（ピッチ，リバーブ弱，リバーブ

4.3.2

タスク

実験参加者は，各自が普段使用しているノート PC 内の打ち合わせアプリケーション（Teams）を通して，用意され強）用意した．14 名の実験参加者に対し，3 種類の音声変た音声ビデオを学習するように指示された．

換データのうち 1 種類を体験するようにグループ分けした．

4.3.3

内訳はピッチ変換（5 名），リバーブ弱変換（5 名），リバー素材

15 分程度の UIST2019 のプレゼンテーション発表動画を

ブ強変換（4 名）である．テスト中，実験参加者は変換され用意し，実験参加者に学習状況を再現させた．

た音声を聴きながら，手元の PC で文章を読む作業を行っ

4.3.4

実験参加者

てもらった．テスト終了後に音声内容理解の確認テストと実験はファシリテータ 1 名と実験参加者 7 名で行った．

作業負荷や音声に対する印象についてのアンケート調査をファシリテータ 1 名と実験参加者 7 名は，共に九州大学の行った．

学生である．

4.2.2

実験結果

4.3.5

実験手順

アンケート調査によって，ピッチよりもリバーブ音声変実験参加者は，椅子に座り，机の上に PC を置き，有線換の方が気づきやすいという結果が得られた．また，テスのイヤホンまたはヘッドフォンを装着してもらい，普段オ

ト中に変換された音声を聞くことによる認知負荷について

ンライン授業に参加するときと同じ状況下で実験を行った．

は，変換されていない音声を聞くときと比較して大きな変音声変換機能がある場合とない場合での，違いを比較する化は見られなかった．変換されていない音声と変換された

ため音声ビデオ学習を 2 回実施した．その際，順序効果を

音声を聞く場合を比較して，音声内容の理解度や参加者のなくすため，最初に音声変換機能を体験するグループと 2

手元 PC 画面でのタスクパフォーマンスに大きな違いは見回目で体験するグループに実験参加者を分けた．図 5 に実られなかった．

験の流れを示す．まずはじめに，実験参加者に，これから

4.2.3

まとめと本実験に向けて

音声ビデオ学習を行ってもらう旨を伝えた (事前説明)．音アンケート調査から明らかになった，ピッチよりもリバー

声ビデオ学習は 2 回に分けて行い，ビデオ学習後に作業負ブ変換の方が気づきやすいという結果から，音声変換した荷や音声に対する印象についてのアンケート調査を行った．

際に参加者に与える刺激の強度としてピッチ＜リバーブのすべてのテスト終了後，事後インタビューを行った．

関係があると考えられる．また，テスト中に変換された音声を聞くことによる認知負荷については，変換されていない
音声を聞くときと比較して変化はなかったことから，ピッチやリバーブによる音声変換提示が参加者の心理や感情を阻害することはないと言える．ピッチ変換は音変換の開始と終了時に注意を惹けるが，変換中は馴化してしまい，また

図5

元々の話し手の音声に依存する部分も重なって効果が不十分であることが明らかになった．一方でリバーブ変換にはその懸念がなく，音変換開始，終了時に注意を惹けるのはもちろんのこと，音声変換中ずっと効果の持続性が期待できると考えられる．よって，本実験では，非集中時間の継続時
間に応じて，ピッチ→リバーブ弱→リバーブ強と段階的に刺激の強度が変化するようにし，参加者が非集中状態になるごとに、繰り返されるようにした．

4.3. 施策 A：本実験
4.3.1

目的

4.3.6

実験の流れ

測定データ

音声ビデオ学習中は，参加者の PC の CPU 使用率，Ac-

tiveWindow，AFK のログを採取した．学習後に行ったア
ンケートについては，ポジティブ/ネガティブ感情の変化や音声変換に気づいたか否かを調査した．すべてのテスト後の事後インタビューによって，参加者の感想を集めた．

4.3.7

実験結果

図 6 に，音声変換機能なしとありの場合の集中状態時間割
合の変化を示す．7 名の実験参加者のうち，複数回にわたって音声変換を体験したのは 5 人（ID:3,4,5,6,7）であった．

予備実験の結果および得られた知見を踏まえ，オンライ

図 6 のグレー色で示した 2 名（ID:1,2）はテスト中ずっと集

ン会議において参加者が別アプリケーションに認知資源を中していたため，音声変換機能をほとんど体験しなかった．

割いている状態において，音声変換提示が，参加者の注意を

音声変換を体験した 5 人中 4 人が，音声変換提示をするこ

引き付けて別アプリケーション作業を中断させる効果があとで，音声ビデオへの集中時間の割合が上がった．また，音るか否かを明らかにするための実験を行った．

声ビデオへの集中状態へ戻ったのは，リバーブ変換発動時

5

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）が最も多く，ピッチ変換だけでは音声ビデオへの集中状態

5. おわりにに戻らなかった．また，テスト後の事後インタビューから，

本研究ではオンライン会議においてカメラを ON にする

実験参加者 7 人中 2 人が，音声変換に気づき，残りの 5 名

ことなく参加者を集中状態にする手法を提案した．そのたは気づかなかった．音声変換を体験した 5 人中，リバーブ

めの第一歩として内職中の人を傾聴中のステートに押し上変換機能に気づいた人は 1 人しかいなかった．実験参加者

げる手法（施策 A）の有効性を検証した．提案手法では，まず7 人中 2 人が，音が変化した際に Teams 画面を確認したと参加者の PC から取得した CPU 使用率，Active Window，

コメントした．音声変換による，ポジティブ/ネガティブ感

AFK 情報を機械学習モデルに入力し参加状態を推定する．

情の大きな変化は見られなかった．

次いで非集中状態と判定された参加者の音声に対してピッチシフト，リバーブの加工を施す．実験の結果より，音声変換を体験した実験参加者 5 名中 4 名に対し，ビデオ講演への集中時間割合が増加したこと，音声変換を施しても無意
識的に実験参加者を集中状態へ復帰できることを確認した．
今後は，傾聴中の参加者のリアクションを増やして参加中の状態に背中を押す手法（施策 B）について取り組む予定で
ある．
謝辞

図6

実験参加者の集中時間割合の変化

本稿の研究を行うに際し，ご助言いただいたソニーグループ株式会社川名氏，森氏，朽木氏に感謝の意を表する．

参考文献
4.3.8

まとめと今後の課題

音声変換を体験した 5 名中 4 名に対し，音声ビデオへの集中時間割合が増加する結果が得られたことから，本シス
テムによる音声変換提示は，参加者の注意を惹き戻す効果があると言える．音声ビデオへの集中状態へ戻ったのは，リバーブ時が多かった理由としては，実験参加者が，そもそもピッチ変換に気づいていない可能性が高い．本実験で使用したプロトタイプは，ピッチ変換時の音声の変化量が小さかったために参加者に気づかれにくかったことや，実装の都合上，変換時にノイズ（ぷつぷつ途切れる音）が混ざってしまったことが原因と考えられる．音声変換を体験した

5 人中，リバーブに気づいた人は 1 人だけだったが，意識的に気づいてなくとも実際に集中状態への復帰行動は複数の実験参加者の間で観測されていた．最後に，音声変換によるポジティブ/ネガティブ感情の大きな変化は見られなかったことから，本システムによる音声変換に対する参加者の受容度（受け入れやすさ）に関しては問題ないレベルであったといえる．
今後の課題としては，まず今回の本実験におけるピッチ音
声変換時にノイズが混ざってしまったことで，純粋にピッチ変換だけの効果ではなく，ピッチ＋ノイズの効果になってしまった点が挙げられる．また，音声変換提示は，話し手の声の性質や聞き手との関係性（聞き手にとって面識のない人が発表する際はより気づきにくくなる可能性），参加者が使用しているヘッドフォンの性能，出力方法（ヘッドフォ
ン or スピーカ) といった外部環境に注意する必要がある．

[1] Arakawa, R. and Yakura, H.: Mindless Attractor: A
False-Positive Resistant Intervention for Drawing Attention Using Auditory Perturbation, Proceedings of the2021 CHI Conference on Human Factors in Computing
Systems, pp. 1–15 (2021).
[2] Di Lascio, E., Gashi, S. and Santini, S.: Unobtrusive
Assessment of Students’ Emotional Engagement during
Lectures Using Electrodermal Activity Sensors, Vol. 2,
No. 3 (online), 10.1145/3264913 (2018).
[3] Yao, N., Brewer, J., D’Angelo, S., Horn, M. and Gergle, D.: Visualizing Gaze Information from Multiple
Students to Support Remote Instruction, Extended Abstracts of the 2018 CHI Conference on Human Factors in
Computing Systems, CHI EA ’18, New York, NY, USA,
Association for Computing Machinery, p. 1–6 (online),
10.1145/3170427.3188453 (2018).
[4] Yao, N., Brewer, J., D’Angelo, S., Horn, M. and Gergle, D.: Visualizing Gaze Information from Multiple
Students to Support Remote Instruction, Extended Abstracts of the 2018 CHI Conference on Human Factors in
Computing Systems, CHI EA ’18, New York, NY, USA,
Association for Computing Machinery, p. 1–6 (online),
10.1145/3170427.3188453 (2018).
[5] Murali, P., Hernandez, J., McDuﬀ, D., Rowan, K.,
Suh, J. and Czerwinski, M.: AﬀectiveSpotlight: Facilitating the Communication of Aﬀective Responses from
Audience Members during Online Presentations, Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, CHI ’21, New York, NY,

6

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

USA, Association for Computing Machinery, (online),
10.1145/3411764.3445235 (2021).
[6] Watanabe, K., Soneda, Y., Matsuda, Y., Nakamura, Y.,
Arakawa, Y., Dengel, A. and Ishimaru, S.: Discaas: Micro behavior analysis on discussion by camera as a sensor,
Sensors, Vol. 21, No. 17, p. 5719 (2021).
[7] Chen, C., Arakawa, Y., Watanabe, K. and Ishimaru,
S.: Quantitative Evaluation System for Online Meetings
Based on Multimodal Microbehavior Analysis, Sensors
and Materials, Vol. 34, No. 8, pp. 3017–3027 (2022).
[8] : ActivityWatch, https://github.com/ActivityWatch/
activitywatch.
[9] D’Mello, S., Olney, A., Williams, C. and Hays, P.: Gazetutor: A gaze-reactive intelligent tutoring system, International Journal of human-computer studies, Vol. 70,
No. 5, pp. 377–398 (2012).
[10] Sharma, K., Alavi, H. S., Jermann, P. and Dillenbourg, P.: A Gaze-Based Learning Analytics Model: InVideo Visual Feedback to Improve Learner’s Attention in
MOOCs, Proceedings of the Sixth International Conference on Learning Analytics amp; Knowledge, LAK ’16,
New York, NY, USA, Association for Computing Machinery, p. 417–421 (online), 10.1145/2883851.2883902(2016).

7