令和 4 年度 修士学位論文梗概

高知工科大学大学院 基盤工学専攻 情報学コース

サーモグラフィより観測した呼吸パターンからのストレス推定への深層学習の応用
1255103

筧 拓也【 コンピュータ構成学研究室 】

An Application of Deep Learning to Stress Estimation Based on
Breathing Patterns Through Thermography
1255103

1

Takuya Kakehi【 Advanced Computer Engineering Lab. 】

はじめに近年，心拍数や心拍変動，脳波等の生体信号を用いてストレスを推定する手法が提案されている [1]．しかし，従来の手法では，生体信号の計測に接触型センサを用いる必要があり，日常的なストレスの推定が困難である．
一方，非接触型センサを用いたストレス推定法についても研究され，赤外線カメラより観測した呼吸パターン(RVS) に基づくストレス推定法 [2] が提案された．
本稿では，文献 [2] の追検証により明らかとなった課題に対して，データセットと学習モデルの 2 つの側面から RVS に基づくストレス推定の精度向上に向けた深層学習の応用法について検討する．

2

RVS に基づくストレス推定の課題

RVS に基づくストレス推定の流れを図 1 に示す．まず，心理実験にて課題実行中の実験参加者 8 名の鼻孔領域サーモグラフィを撮影する．この際に，Visual Analog
Scale を用いて課題実施後の主観ストレス強度を収集する (図 1-1)．次に，鼻孔領域サーモグラフィから復元した呼吸信号のスペクトル分析によって RVS を生成し，主観ストレス強度は，個人毎に正規化して，k-means 法によってクラス数に応じてラベルに変換する (図 1-2)．2
クラスの場合，“None-stress(NS)” と “Stress(S)”，3 クラスの場合，“None-stress(NS)”，“Low-level-stress(LS)”，“High-level-stress(HS)” がラベルとなる．そして，深層学習によってストレスを推定する (図 1-3)．
文献 [2] では，2 層 2DCNN を用いた推定精度は 2 ク
ラスで 84.6%，3 クラスで 56.5%と報告され，非侵襲的かつ簡易的なストレス推定の可能性が示唆された．しかし，2 クラス分類時の NS と 3 クラス分類時の LS の精度が十分に高くなかった．
そこで，本研究では，分類精度が高くない原因を調査するため，文献 [2] の著者から同一のデータセットを入手し，多層 2DCNN や転移学習による推定を試みた．
その結果，2 クラス分類では，転移学習によって 10%程度精度向上できた．一方，3 クラス分類では，いずれも精度が向上しなかった．これらの結果を精査したとこ

図 1 RVS に基づくストレス推定の手続き

ろ，転移学習による 3 クラス分類時の LS の F 値が数%であった．これは，データセットの質とモデル性能が不十分であったことに起因する可能性がある．そのため，
本研究では，深層学習の枠組みにおけるデータセットと学習モデルの改善によって LS の F 値向上を目指す．

RVS に着目した深層学習の応用法

3

データセット [2] に関して，RVS と主観ストレス強度は双方の個人差が大きいと予測されるため，より多くの参加者からデータを収集し，さらに，前処理によって個人差を緩和させる必要がある．加えて，個人毎に各ストレスのラベル数に偏りがあるため，データセットの均等化が必要と考えられる．また，モデル性能に関して，追検証時には ImageNet1 に基づく転移学習を適用したが，結果より RVS に対する特徴抽出が十分ではなかったと予測されるため，事前学習タスクの改善が必要である．
本章では，上記のデータセットとモデル性能の改善点に着目して提案手法の検討を行う．

3.1

心理実験によるデータ収集

本研究における実験参加者は，健常な大学生 11 名 (女性 4 名) であり，平均年齢は 19.09(±0.30) 歳であった．
実験手続きは，文献 [2] と同様に，安静状態を維持するための 5 分間のリラックス期間とリラックス直後の主観ストレス評価 (Q)，そして，5 分間の課題期間と課1 https://www.image-net.org/

令和 4 年度 修士学位論文梗概

題直後の Q を 1 セットとした 4 セット試行で構成した．
課題は，それぞれ 2 段階の難易度の計算課題 (Math) とストループ課題 (Stroop) で，各セットにて出題順をランダム化した．個人差の抑制および各ストレスクラスにおけるラベルの均等化のため，本研究では独自に，サーモグラフィ撮影時に顎台で顔を固定することに加え，各課題の難しい方の難易度を上げた．
赤外線カメラは FLIR ONE Gen3 for iOS を使用し，顎台使用時のディスプレイ距離は 55cm で固定した．また，カメラ距離は 45cm(±3.9cm) に設定した．

3.2

前処理およびデータセット構築

個人差抑制に向け，収集したデータに対して，以下の1 と 2 の前処理を施し，データセットの均等化に関しては 3 の手法を適用した．さらに，4 の手法によって F 値の改善を試みた．

1. リラックス直後の Q のベースライン化 (Base)
個人によって，ストレスの解釈が異なるため，課題後の Q との差分を使用してラベルを作成する．

高知工科大学大学院 基盤工学専攻 情報学コース

法に比べて最も高くなったが，Sep. を適用することで，各ストレスのラベル数に偏りが生じるため，妥当な評価とは言えない．以上の結果より，Base と Bal.，Cut，そして，Xfer を適用することで F 値の向上が期待される．しかし，Bal. のみ適用したデータセット [2] と比較したところ，全体の性能が劣る結果となった．
最終的に，本研究では，Bal. と Base の組み合わせが最も良く，データセット [2] に Bal. を適用した比較結果を一部抜粋して表 1 に示す．精度に関して，本研究では，全体的に低下する結果とはなったものの，F 値が飛躍的に向上した．データセット [2] の Bal. の方が精度が高い理由として，学習とテストに 8 人中 2 人分のデータしか使用しておらず，データ数が少なかったことで個人差による影響を受けにくかったと考えられる．一方，
本研究では，Bal. によって 11 人中 4 人とデータセット[2] の 2 人よりもデータ数が増え，さらに，Base によって主観ストレス強度の個人差を抑制できたことで F 値が向上したと考えられる．
表1

2. 課題開始冒頭 30 秒データの削除 (Cut)
課題開始直後は緊張等により，呼吸が安定していない可能性があるため，cut によって個人毎に一貫した RVS を獲得する．

3. 不均質なデータセットの均等化 (Bal.)
個人毎に少数派のラベルを多数派に合わせてランダムに複製し，全てのラベルを保持する参加者のデータのみ学習とテストに使用する．

4. 課題種類別にデータセットの分割 (Sep.)
Math と Stroop では，認知されるストレス強度が異なるため，より効果的に弱いストレスを誘発している課題データセットを使用する．
3.3

深層学習における事前学習タスク

RVS は生体信号であるため，個人毎に特徴に偏りがあると考えられる．そこで，データセット [2] を基に既存モデルをファインチューニングし，最もロス値が減少した際の重みを用いて転移学習を行う (Xfer)．

4

評価と考察

本研究では，各提案手法の有効性について精度と LSの F 値を評価指標として検証を行った．その後，有効性の高い手法を組み合わせ，データセット [2] との比較を行った．なお，深層学習モデルには 2 つの 2DCNN(2層 [2]，3 層) と 3 つの既存モデルを使用した．
Base と Cut，Xfer に関して，それぞれ適用しない場合に比べて，双方のクラスにおいて精度が向上した．また，Bal. は適用なしに比べ，F 値が最大で 11%向上した
ことから，これらの手法は有効性が高いと考えられる．
一方，Sep. の Stroop では，F 値が 51 ∼ 73% と他の手精度と “Low-level-stress” の F 値の比較

データセット [2]本実験データ

精度

F値

精度

F値

2 層 2DCNN[2]

43.94

13.22

45.83

51.98

3 層 2DCNN

51.21

44.83

49.26

44.43

ResNet1836.57

7.49

38.1146.66

MobileNet-v355.26

1.5945.57

46.78

EﬃcientNet-b052.56

1.25

35.95

34.52

5

おわりに

本研究では，RVS に基づくストレス推定において LSの F 値向上を目的に RVS に着目した深層学習の応用法について検討した．結果として，本研究のデータセットにて主観ストレス強度に対するベースラインを設け，ラベルの均等化をすることで F 値が向上した．しかし，精度に関しては，データセット [2] より劣る結果となった．
今後は，ストレスの推定精度向上に向けて，呼吸パターンに加え，鼻先の温度や脈波等，複数の生体信号を用いた深層学習の手法について検討する必要がある．

参考文献[1] J. Healey, et al., “Detecting stress during realworld driving tasks using physiological sensors,”
IEEE Trans. Intelligent Transportation Systems,Vol. 6, No. 2, pp. 156–166, Jun. 2005.
[2] Y.Cho, et al., “DeepBreath: Deep learning ofbreathing patterns for automatic stress recognition using low-cost thermal imaging in unconstrained settings,” ACII, pp. 456–463, 2017.