計測自動制御学会東北支部 第 330 回研究集会 (2020.12.2)
資料番号 330-7

実環境における携帯型デバイスによる人間状態推定に関する研究
Experimental Study on Human State Estimation with Wearable Device in a RealWorld○小西健斗, 高橋信○Kento Konishi, Makoto Takahashi

東北大学Tohoku University
キーワード : 心拍変動(heart rate variavility), 皮膚電気活動(electrodermal activity),皮膚コンダクタンス反応(skin conductance response),自己回帰モデル(autoregressive model)
連絡先 : 〒980-8579 仙台市青葉区荒巻字青葉 6-6-11 総合研究棟 904 号室 高橋・狩川研究室
小西健斗, Tel: (022)795-7921, Fax: (022)795-7921, E-mail: konishi.kento.q8@dc.tohoku.ac.jp

1.

可能で、自律神経活動 1)や認知能力 2)との関連性が指摘されている心拍変動に着目し、ウェアラブル心拍センサを用いて計測した心拍変動の解析方法および状態推定の可能性について検討した。さらに、より装着が簡便で日常生活での計測に適した腕時計型端末を用いて、容積脈波および皮膚電気活動を測定し、人間状態推定の可能性について検討した。

はじめに

AI 技術が進展するにつれ、人と AI が協働する系において人間側の関与は減少し AI 側の関与が増大していくことが予想される。しかし、その過渡期においては A I が対応できない状況
では最終的な判断は常に人間が下すことが求められている。このような状況下ではオートメーションサプライズと同様の現象が発生する可能性が指摘されている。この現象は自動化システムの動作が操作者の期待通りではない時に「驚き」が生じ、操作者が混乱状態に陥り正常な判断能力を失い危険な状況になるというものであり、航空機等の高度な自動化システムの操作において現状で既に問題となっている。
このようなオートメーションサプライズの概念を AI まで拡張した概念を「AI サプライズ」と呼ぶ。今後 AI が一般社会に広く浸透した場合、AI サプライズは AI を利用する人全てに起こりうる問題であり、AI が一般社会に浸透しつつある現時点で対応を検討しておく必要がある。
本研究では、AI サプライズ時の人間側の混乱状態の検出に向け、携帯型端末による計測が2.

心拍変動による状態推定

心拍変動とは、心臓が拍動した際に生じ、心臓の電気活動を測定した心電位に現れる鋭いピーク（R 波）の間隔（RRI）の変動である。
RRI の変動は自律神経系との関連が示唆されている。自律神経系は交感神経と副交感神経の二つに大別することができ、交感神経は主に緊張時や興奮状態で活発となる。一方、副交感神経は安静時やリラックス時に活発となる。一般的に交感神経活動が活発化することで RRI のゆらぎが小さくなり、副交感神経活動が活発化することで RRI のゆらぎが大きくなるとされる．
本章では心拍変動による自律神経活動の評価方法と、人間状態推定の可能性について検討
1

SDNN は交感神経と副交感神経の活動を、RMSSD は副交感神経の活動を表す指標であるとされ、交感神経の指標として SDNN/RMSSDが、副交感神経の指標として RMSSD が用いられる 5)。
2.2周波数領域指標を導出するにあたり、時系列RRI のスペクトル解析には AR 法を用いた。
AR モデルの次数の決定法として、赤池情報量基準（AIC）が一般的に用いられているが、この基準に従うと LF 成分や HF 成分が分離できない場合がある 6)。また、AIC を最小にする次数を機械的に選択すると次数が過大になることが指摘されている 9)。モデル次数によって推定スペクトルが変化するため、次数による心拍変動性指標への影響を考慮する必要がある。先行研究 6)では、安静時の心拍変動の分析ではAR モデル次数を 16 次以上に設定するのが適切であり、その限りにおいては次数の影響を考慮する必要はないことが示された．
本研究においても、AR モデル次数が周波数領域指標に与える影響を確認するため、被験者 6 名、計 10回分の安静時の 5 分間の時系列 RRI データを用いて、次数を 1 次~23 次まで変化させたときの LF、 HF、 LF/HF の値を求めた、その結果を図 2 に示す。図 2 より、12 次以降では指標の値がおおよそ一定となることが分かる。よって本研究では AR モデルの次数は 12 次を用いることとした。なお、安静時にはリラックス状態の実現方法の１つである黙読法を用いた 8)。
また、RRI の測定には UNION TOOL 社製のウェアラブル心拍センサ my Beat WHS-17)を使用し、前処理として時系列 RRI データについて SG 検定を行い、異常値を除去した。
さらに、時系列 RRI を等間隔にするため、3 次スプライン補完を行い 1Hz で再サンプリングした。

図 1 ローレンツプロット

した結果について述べる。

2.1心拍変動性指標

時系列 RRI のスペクトルには、低周波成分（0.04~0.15 Hz）と高周波成分 (0.15~0.5 Hz)にピークが存在し、前者は LF 成分、後者は HF成分と呼ばれる。LF 成分は交感神経活動及び副感神経活動の影響を受け、HF 成分は副交感神経活動の影響を受けるといわれており、交感神経活動の指標として LF/HF が、副交感神経活動の指標として HF が用いられる 3)。
周波数解析を行わずに心拍変動性を評価する指標として RRI のローレンツプロット（以下 LP）による評価方法がある 4)。LP とは、時系列 RRI を n 番目の RRI を横軸、n+1 番目のRRI を縦軸とした 2 次元直交座標上にプロットしたものを指す。図 1 に LP の評価方法を示す。LP されたすべての点を𝑦 = 𝑥軸と𝑦 = −𝑥軸に投影し、𝑦 = 𝑥軸上の点の原点からの距離の標準偏差を𝜎𝑥 、𝑦 = −𝑥軸の点の原点からの距離の標準偏差を𝜎−𝑥 としたとき、楕円の面積（以下 LP 面積）S は
𝑆 = 𝜋 × 𝜎𝑥 × 𝜎−𝑥

AR モデル次数(1)となる。LP 面積Sは自律神経活動の指標とされ、LP 面積Sが小さいほど交感神経活動が亢進状態であるとされる。
心拍変動性指標として時間領域の解析指標である SDNN（計算区間における RRI の標準偏差）および RMSSD（計算区間における RRIの逐次差分の２乗平均平方根）を用いた。

2.3

心拍変動による自律神経活動の評価

以上に述べた心拍変動性指標と自律神経系の関連性を実際に確認するため、被験者 6 名
2

(a) HF(b) LF
図 2

AR 次数が周波数領域指標に与える影響に対し暗算課題を課し、安静時と課題時の心拍変動性指標を導出し比較を行った。暗算課題には内田クレペリン精神検査を用い、黙読と暗算課題をそれぞれ 5 分間行った。結果を表 1 に示す。表 1 より、安静時と課題時で心拍変動性指標が変化していることが分かる。これは、課題を行うことで交感神経活動が亢進し、副交感神経活動が抑制されたためと考えられる。
しかし、すべての被験者・指標において 2.2 節で述べたような交感神経活動と副交感神経活動の影響を反映した結果となっているわけではない。これ
により、共通した基準で被験者の状態推定を行うことは困難であるが、被験者ごとに異なる複表1(c) LF/HF数の指標を用いることで状態推定が可能であると考えられる。

3.

腕時計型端末による推定

my Beat のような心電図計測は、精度よく心拍情報を取得できる一方で、心臓付近に電極を接触させる必要があり、胸に電極を貼り付ける、バンドを装着するといった方法を用いるため、日常生活においては拘束感が強い。一方で、腕時計型端末は装着が簡便であり、拘束感が弱く手軽に生体情報を取得することができるため、より実環境での計測に適している。本研究では、
容積脈波、加速度、皮膚電気活動、皮膚温度が計測可能な Empatica 社製の E4 Wristband（図 3）10)を使用し状態推定の可能性について検討した。

心拍変動性指標の導出結果
被験者 1
安静時

課題時

安静時

課題時

2

HF [𝑚𝑠 ]

114.2

135.0

305.2

236.7

LF/HF

1.545

0.8101

3.558

1.589

LPS

1939

1731

5482

3400

RMSSD

25.85

32.98

46.99

37.83

SDNN/RMSSD

1.632

1.107

1.423

1.374

被験者 3
安静時

課題時

安静時

課題時

HF [𝑚𝑠 ]

221.8

67.03

211.4

64.64

LF/HF

1.194

1.386

2.370

4.210

LPS

2573

1240

3644

1681

RMSSD

34.22

32.58

33.00

25.05

SDNN/RMSSD

1.3251.4741.820

1.461

脈拍変動

光電式容積脈波法により脈波波形を測定する。
光電式容積脈波計は、LED で光を照射し、動脈により反射された光を受信する。ヘモグロビンは光を吸収する特性を持っているため、動脈で反射した光を計測すると動脈血管の容積変化として脈波波形が得られる 11)。脈波波形も心電位と同様にピークが存在し、そのピーク間隔の変動は脈拍変動として計測できる。脈拍変動は、安静時においては心拍変動に代替でき、心拍変動と同様に自律神経活動を評価することができ

被験者 42

被験者 5

3.1

被験者 2

被験者 6

安静時

課題時

安静時

課題時

2

HF [𝑚𝑠 ]

60.28

33.48

41.65

46.22

LF/HF

3.828

4.577

2.323

4.100

LPS2154

901.0

1164

1229

RMSSD

22.75

26.75

17.13

19.53

SDNN/RMSSD2.181

1.504

1.977

1.470

図 33

E4 Wristband

1 日の中で点検作業が必要となっており、18 時までに点検を行えなかった場合は期限切れとなる。なお、マイクロワールド時間 24 時間は実時間における 4 分に相当する。以上に述べたように、SGS は現実の世界を反映し、時々刻々と環境が動的に変化するため、心理学実験で使用されるような環境と比較してより実環境に近い作業環境となっている。

3.4 実験結果および考察
図 5

健康な成人男性 3 人に、停電を発生させないこと、指定時間内で点検を終わらせることを指示し、十分に訓練タスクを行ってもらったうえ
で、5 回の本番タスクを行ってもらい、本番タスク中の生体指標を E4 Wristband により計測した。
計測した BVP 波形に対し遮断周波数 1Hz のローパスフィルタを通すことにより、高域周波成分を取り除いた。
フィルタを通した BVP 波形に対し、ピーク検出を行い、振幅が閾値以上のものを SCR として検出した。
被験者 1 のタスク 3 実行時に計測した EDA波形と SCR を検出した結果を図 4 に示す。図 4より、タスク中に複数の SCR が発生していることが分かる。
動作ログや録画映像を確認すると、
81 秒、140 秒、200 秒で停電警告アラームが発生し、170 秒付近で点検を太陽光発電の点検を終えられずタイムオーバーになる、といったよ
うに、SCR が発生した時刻には、交感神経の活動を亢進させるような事象が確認された。その他の被験者においても、SCR が検出された時刻には、焦る様子や警報、異常の発生が確認できた。一方で、タスクが比較的容易である開始後

SGS のメイン画面る 12)。よって以下では脈拍変動と心拍変動を区別せずに用いる。

3.2

皮膚電気活動

本研究では、人間状態推定のための指標として、脈拍変動に加え、皮膚電気活動(electrodermalactivity: EDA)についても検討した。EDA は交感神経支配下の汗腺活動を電気的に測定したものである。通電法により測定された EDA のうち、急 峻 な 反 応 を 皮 膚 コ ン ダ ク タ ン ス 反 応 (skinconductance response: SCR)とよび、被験者の情動状態や認知活動、情報処理過程を分析・評価することができる 13)。

3.3

実験用シミュレータの概要

本研究では、腕時計型端末を用いて測定した生理指標による人間状態推定の可能性を検討するため、認知実験用マイクロワールドシミュレー
タであるスマートグリッドシミュレータ(SmartGrid Simulator: SGS) 14)を使用した。図 4 に本シミュレータのメイン画面を示す。本シミュレー
タは、様々な制約が存在する 4 つの発電装置を用いて適切な電力供給を行い、シミュレーション環境において停電を発生させないよう安定した電力供給を行うことを作業者に要求する。画面中央には SG 系統電圧値が表示され、電圧値により「良好」、「注意」、「危険」の 3 種類に評価される。
「危険」状態になると警報を発し、一定時間続くと停電となる。また、各発電設備は

図 44EDA 波形と SCR

80 秒間には SCR が検出されていない。これにより、実環境において人間状態を推定する上でSCR は有用な指標であることが示された。図 4に示すように、SCR が連続して発生している時間帯があり、時間当たりの SCR 回数なども状態推定を行ううえで有効な指標であると推測される。
続いて、心拍変動性指標について検討する。
実環境において、心拍変動から混乱状態を推定するためには、人間の状態変化に伴う心拍変動性指標の時間変化を捉える必要がある。そこで、
SCR と心拍変動性指標の変化の関連について検証を行った。
最初に計測した脈波信号から脈拍間隔を算出するにあたり、低域遮断周波数 0.7Hz、高域遮断周波数 10Hz のバンドパスフィルタを掛ける。
フィルタ処理後の脈波信号に対し、閾値によるピーク検出を行い極小点を求め、隣り合う 2 点の極小点から脈波間隔を求めた。
被験者 3 人のタスク 5 回分の測定結果について、タスク開始後 60 秒間と、初めて SCR が検出された前 60 秒間と検出された後 60 秒間の計 3 区間の各心拍変動性指標を導出し、比較した。そのうち、被験者 1 のタスク 1～タスク 5 の結果を図 5 に示す。なお，各値はタスク開始後 60 秒(a) task1間の結果で正規化している．図 5 より、心拍変動性指標について，いずれの場合においても SCRが検出される前に比べ、検出された後の 60 秒間において、交感神経活動が亢進、または副交感神経活動が抑制されたことを示す結果となった。
これは、SCR が交感神経活動を反映しているという従来の研究結果 15)と一致するものである。
他の被験者 2、3 についても同様の結果が見られた。この結果から、SCR と心拍変動性指標の関連が示され、人間の状態変化に伴う心拍変動性指標の時間変化を確認できた。これにより腕時計型端末を用いて皮膚電気活動と脈波を測定・解析し、状態推定に用いることで、人間状態をより精度よく推定できる可能性が示された。

4.

まとめ及び今後の課題

本研究では、実環境における混乱状態推定にむけ、携帯型端末により測定した生理指標による人間状態推定の可能性について実験的に検討した。
自律神経機能の評価に用いられる心拍変動を、ウェアラブル心拍センサである my Beat により計測し、安静時と課題時の心拍変動性指標を求めた。これにより、被験者ごとに異なる複数の(b) task2(d)task4
図 6(C)task3(e)task5

SCR 検出前後の心拍変動性指標の変化
5指標を用いることで心拍変動による状態推定が可能であると結論付けた。
第 3 章では、my Beat よりも実環境での測定に適した腕時計型端末である E4 Wristbandを使用し、スマートグリッドシミュレータを用いた動的タスク環境下における被験者の生理指標を測定し、人間状態推定の可能性について検証した。その結果、腕時計型端末で測定した SCR と脈拍変動が人間状態推定を行ううえで有用であり、これら 2 つを同時に用いることで、実環境における人間状態を推定できる可能性が示唆された。
本研究では、心拍変動制指標を求める際に、60 秒の時間幅を設けたが混乱状態推定を実用的なものにするためには、より短い時間幅での推定可能性について検討する必要がある。
しかし、本実験で使用した腕時計型端末は光電式容積脈波法により脈波を計測しているが、体動の影響を受けやすく、計測中に体動が伴った場合、脈波に MA(Motion Artifact)が含まれ、精度よく RRI を取得することが難しい。そのため、時間幅を短くすると MA の割合が高くなる可能性があり、状態推定を行うことが困難になると考えられる。今後、MAが少ない my Beat で計測した心拍変動を用いて短時間での状態推定の可能性を検証した
後、容積脈波中に含まれる MA の除去について検討したうえで、E4 Wristband を用いた短時間の状態推定の可能性の検証を行っていく予定である。

5.

部研究紀要, Vol, 31, No. 1, 2010, p
p. 1-10.
4) 豊福史, 山口和彦,萩原啓, 心電図 RR
間隔のローレンツプロットによる副交感神経活動の簡易推定法の開発, 人間工学, Vol. 43, No.4, 2007.
5) Hui-Min Wang and Sheng-Chieh Huang, SDNN/RMSSD as a Surrogat
e for LF/HF: A Rivised, Investigati
on, Modelling and Simulation in E
ngineering, 2012.
6) 向井誠時, 早野順一郎, 心拍変動解析の標準化の問題点, J. ELECTROCADIOLOGY Vol. 16, No. 3, 1996.
7) 佐藤教昭, スペクトル解析手法の差異による心拍変動性評価, 平成 21 年度電気関係学会九州支部連合大会, 081P09,2009.
8) 手塚洋介, 感情研究におけるベースライン測定の標準プロトコルの開発, 科学研
究費助成事業 研究成果報告書
9) ユニオンツール株式会社, http://www.uniontool.co.jp/product/sensor/index.htm
l. （2020 年 11 月アクセス）10) empatica E4 wristband, https://www.empatica.com/e4-wristband. （2020年 11 月アクセス）
11) 島崎拓則, 原晋介, 奥畑宏之, 中村肇,
河端隆志, 光電脈波計の原理を利用した適応フィルタによる運動中の心拍数センシング, 生体医工学, 54 巻, 5 号, pp.
225-235, 2016.
12) 前田祐佳, 関根正樹, 田村俊世, 水谷孝
一, 脈波を用いた自律神経機能推定に向けた脈波伝搬時間の変動に関する検証, 生体医工学, 54 巻, 5 号, pp. 261266, 2016.

参考文献1) 早野順一郎, 山田眞己, 藤波隆夫, 横山清子, 渡辺興作, 高田和之, 心拍変動と自律神経機能, 生物物理, Vol. 28, No.
4, pp. 32-36, 1988.

13) 沼田恵太郎, 宮田洋, 皮膚電気条件付
け：その意義と研究動向, 人文論究, 61
巻, 2 号, pp.55-88, 2011.

2) 角田啓介, 千葉昭宏, 千明裕, 浦哲也,渡部智樹, 水野理, 心拍変動を用いた認知能力変化の推定, 情報処理学会論文
誌, Vol. 57, No. 8, pp. 1835-1844, 2016.

14) 澤里玄太, 佐藤博則, 星井義隆, 中野渡寛之, 高橋信, 手順書の整備が想定外事象のパフォーマンスに与える影響に関す る 実 験 研 究 , ヒ ュ ー マ ン イ ン ター
フェース学会論文誌, Vol21, No2, 2019.

3) 山口勝機, 心拍変動による精神負荷ス
トレスの分析, 志學館大学人間関係学
615) 福田玄明, 生理計測で何がわかるのか―環境心理学への応用―, MERA, 第41 号, 2018.

7