WISS 2021

心拍変動を用いた認知課題中の情動制御
米田 凌 ∗

森田 純哉 ∗

概要. 認知課題中の覚醒度は，課題の遂行を促進することもあれば阻害することもある．取り組む課題に対して適切な覚醒の水準に調整することは，生産性を向上させる重要な要因となる．現状，情報技術を用いて感情へ介入するシステムは研究されている．しかし，喚起された覚醒度が認知課題中にどのように作用するかの研究は十分に行われていない．本稿では生体情報からユーザの覚醒度を推定することで，課題に適していない覚醒水準から脱却するシステムを提案する．このシステムでは，覚醒度を推定するのために心拍変動を取得する．推定された覚醒度をもとに，暗示的な刺激として照明の光色，BGM の BPM, アイコンの表情をリアルタイムに変動させる．このシステムでは，生体情報からユーザの覚醒度を推定し，それに基づいたフィードバックを行うことで，ユーザを課題実行に適した状態へと誘導されると予測される．

1

はじめに

認知的な課題における従事者の覚醒水準は，課題の遂行を促進することもあれば，阻害することもある．そのため，取り組む課題に適切な覚醒水準に調整することは，課題の失敗によって生じるリスクを最小化させ，生産性を向上させる重要な要因となる．
覚醒度は自律神経の状態から推定することが可能であることが知られている [1]．そのため，自律神経の動きが反映される生体情報を取得し，覚醒度へ作用するフィードバックを行うシステムによって，ユーザを課題に適していない覚醒水準から脱却させることができる．現状，情報技術を用いて感情へ介入するシステムの研究は多く行われている [7, 3, 4]．これらの研究によって，情報技術を用いた感情への介入の効果が検証されてきた．しかし，認知課題中に覚醒度へ介入するシステムは，まだ十分に検討されていない．そのため，本稿では認知課題中のユーザの生体情報から覚醒度を推定し，フィードバックを与えることで，ユーザを課題不適応な覚醒水準から脱却させるシステムを提案する．

2

関連研究

情報技術によって感情を喚起するシステムの研究がなされている．吉田らはディスプレイに映るユーザの表情を変形させることでユーザの感情操作を試みる実験を行った [7]．この結果，ディスプレイに映る表情が笑顔の場合はポジティブ感情が，悲しい表情の場合はネガティブ感情が喚起された．しかし，このシステムの利用はユーザがディスプレイを観察可能な状況に限定される．米田らは，直感的な思考
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
静岡大学

図 1. 課題画面（システム 1）と熟慮した思考（システム 2）を想定し，外的要因が被験者の意思決定に与える影響を調べた [6]．この結果，被験者が直感的に意思決定を行う条件では，照明の光色が覚醒度を喚起し，それに基づく意思決定の変動も確認された．このシステム
では，光や BGM，アイコンの表情などのアンビエントな刺激を利用することで，ユーザの課題遂行を妨害しないシステムとなっていた．参加者の覚醒度を反映して色が変化する照明を開発し，それによる行動の変容を試みた研究もある [4]．その結果，参加者は高覚醒度，低覚醒度どちらの場合でも，それを打ち消すような行動をすることが分かった．また，心拍情報を元に変動する音楽の揺らぎによってユーザの心拍数を変化させ，ストレスを減少させるシステムも開発されている [3]．
以上のように，感情への情報技術を用いた介入の効果が確認されている一方で，ユーザの覚醒度へ介入することで，ユーザの覚醒水準を適応的に操作するシステムは十分に研究されていない．そこで，本稿では生体情報からユーザの覚醒度を推定し，それに基づいたフィードバックを行うことで，ユーザを課題実行に適した状態へと誘導するインタラクティブなフィードバックを行うシステムを提案する．

WISS 2021

3提案システム醒度を高める効果があることが分かっており，青色は覚醒度を下げることが分かっている．BPM と覚醒度は正の相関が確認されている．情動伝染は，自分の情動が他者の情動へと近づく現象のことであリ，表情によって喚起させることが知られている．さらに，これらの刺激は，課題に対するユーザの注意を削ぐことなく作用すると考えられる．本システムでは，色と音とアイコンの表情を，以下のように操作する．

• 色: 色刺激は課題のゲーム内に配置した照明の色を変更することで提示する．提示される照明の色が赤色と青色の間で推移していくよ
うに設定した．その際，照度は一定に保ち，プレイ画面は常に見えていた．

図 2. システムの概略

提案するシステムは，心拍センサによって取得したユーザの心拍変動をもとに，情動を喚起させる刺激を提示するインタラクティブシステムである．このシステムは，多様な認知課題中のアンビエント環境を操作することを意図しているが，プロトタイプシステムではカードゲームを認知課題として設定した．1）[2]．この課題中の心拍情報を心拍センサで取得する．その情報をもとに視覚，聴覚，情動感染の視点から刺激を与え，ユーザの行動を変容させる．
図 2 が概略となる．

3.1

心拍フィードバック

心拍を取得するためのセンサには，ユニオンツール社のウェアラブル生体センサである myBeat を利用した．この心拍センサによって，RRI(R-R Interval) を取得し，SDNN (Standard deviation Normal to Normal) を計算する. 事前に測定しておいた平常時の RRI から計算した SDNN をベースラインとし，リアルタイムで取得した SDNN と比較す
る．SDNN を各刺激へと適用する式は(SDN N − Baseline)∗x(M ax − Baseline)である．SDNN は試行中に取得した SDNN を，Baseline は事前に取得した SDNN を，Max は取得された SDNN の最大値を表す．これをパラメータとして各刺激へと渡す．

3.2• 音: ゲーム中に流れる BGM として提示する．
この BGM の BPM を操作することで，情動の喚起を促す．BPM は 80〜150 の間で推移していく．

• アイコンの表情: ギャンブル課題を行う画面の背後に配置する．このシステムでは Smile とDisgust の 2 つの表情の画像を用意した（図3）．これをユーザの情動に応じて変動させる．
これらの刺激が，心拍変動に連動して変化する．
本システムでは，心拍変動から高覚醒度が推定された場合は低覚醒度へ，低覚醒度が推定された場合は高覚醒度へと誘導する刺激を提示し，ユーザの覚醒度を課題実行に最適な状態に保つことを目指す [5]．

4

まとめと今後

本稿では，生体情報からユーザの覚醒度を推定し，それに基づいたフィードバックを行うことで，ユーザを課題実行に不適応な状態から脱却するシステムを提案した．今後はこのシステムの効果を，実験を通して検証する．その実験ではフィードバックを用いることで，課題のスコアが上がることが予想される．
また，その後はカードゲーム課題に限定せず，より広いジャンルへと適用方法を検討する必要がある．

参考文献

刺激提示
[1] A. Azarbarzin, M. Ostrowski, P. Hanly, andM. Younes. Relationship between Arousal Intensity and Heart Rate Response to Arousal. Sleep,37(4):645–653, 04 2014.

図 3. アイコンの表情

覚醒度に影響を与える外的要因を人間は，視覚，聴覚，情動伝染などを経由して受け取る．赤色は覚[2] M. Laiacona, M. Inzaghi, A. De Tanti, andE. Capitani. Wisconsin card sorting test: a new
global score, with Italian norms, and its relationship with the Weigl sorting test. Neurological Sciences, 21(5):279–291, 2000.
[3] G. Leslie, A. Ghandeharioun, D. Zhou, and R. W.
Picard. Engineering Music to Slow Breathing心拍変動を用いた認知課題中の情動制御

and Invite Relaxed Physiology. In 2019 8th International Conference on Aﬀective Computing
and Intelligent Interaction (ACII), pp. 1–7, Los
Alamitos, CA, USA, 2019. IEEE, IEEE Computer Society.
[4] J. Snyder, M. Matthews, J. Chien, P. F. Chang,E. Sun, S. Abdullah, and G. Gay. Moodlight:
Exploring personal and social implications of ambient display of biosensor data. In Proceedingsof the 18th ACM Conference on Computer Supported Cooperative Work & Social Computing,pp. 143–153, New York, NY, USA, 2015. Association for Computing Machinery.
[5] R. M. Yerkes, J. D. Dodson, et al. The rela-未来ビジョン
テクノロジーによって，人間の様々な機能は拡張されてきた．例えば，自動車の発明は，歩行よりもより遠くへの移動を可能にした．また，義手や眼鏡は直接的に身体機能を補完した．近年は，パワーアシストスーツ等によって人間の身体能力を拡張した．さらに，AR やVR の技術では，遠隔にいる人間との共同作業が容易になることや，自分とは異なる姿のアバターを自身の身体として扱うことができるようになった．ブレインマシンインタフェースによって，人間の情報処理機能を拡張しようとする試みもなされている．このように，人体の拡張は肉体だけでなく認知機能にも及ぶ．
本稿では，生体情報からユーザの覚醒度を推定し，それに基づいたフィードバックを行うことで，ユーザを課題実行に不適応な状態から脱却させるシステムを提案した．このシステ
ムは，ユーザを課題実行に不適応な状態から脱却させるという点で，認知機能の拡張に位tion of strength of stimulus to rapidity of habitformation. Journal of Comparative Neurology
and Psychology, 18:459–482, 1908.
[6] R. Yoneda and J. Morita. The Internal State Mediating Between Decision-Making and Arousal.
HAI ’21, p. 75–83, New York, NY, USA, 2021.
Association for Computing Machinery.
[7] S. Yoshida, T. Tanikawa, S. Sakurai, M. Hirose,and T. Narumi. Manipulation of an emotional
experience by real-time deformed facial feedback.
In Proceedings of the 4th Augmented Human International Conference, AH ’13, p. 35–42, New
York, NY, USA, 2013. Association for Computing Machinery.

置づけることができる．感情の制御は自身の力だけでは困難である．今後，感情をその場に適した形に変動させる技術が実現すると，より高い生産性で仕事をこなすことが可能になることや，より円滑なコミュニケーションが可能になるだろう．その結果，ウェルビーイングの高い社会の実現にも寄与するだろう．また，このようなシステムの開発のためには，人間の感情とは何かを理解する必要がある．認知科学や心理学で得られた知見を応用することでシステムのプロトタイプを開発し，そこで計測されたデータを分析することは，新たな感情の理解へと繋がると筆者は考える．こうしたサイクルを続けることで，システムの実現だけでなく，感情の理解も推進できるだろう．