平石研究室

生体反応に着目した VR 型運転再現システムの設計
G21601
１．はじめに
本研究では, VR 型運転再現システムの構築を行なった. これは360 度カメラで撮影した運転映像をVR環境内で閲覧すると同時に, 実際の運転時に感じた心的状態を再現することが可能である. 心的状態はスマートウォッチの心拍センサを利用して計測を行ない, 実際に運転した場合の心的負荷を映像に対するフィルターとして表現した. 本研究では, どのようにフィルターを利用することで, 実際の運転時の心的状態を VR 環境内で再現可能であるかを検証した.
２．VR 型運転再現システム

安西瑠輝
標である. また, HF は副交換神経の活性度であり,リラックス状態などを表す指標である. これらの指標の比として計算されるLF/HF は自律神経系機能の評価指数とされ, 被験者の心的状態を把握することができる.
３．視覚的フィルターと LF/HF との関係

これまでの研究にて VR 型運転再現システムを利用し, 色のついたフィルターを映像にかけることで,心的状態の再現を目的とする実験を行った 2).
その結果, 濃いフィルターがかかった瞬間に,LF/HF が急激に上昇し, 一時的な緊張状態を表すことが可能となった. この実験により，フィルターによる一時的な緊張状態を作り出したことによる心的状態の再現が可能となったが，瞬間的に LF/HF が上がった後，なだらかに値が下がり, フィルターとしての効果を発揮していなかった. そこで，フィルターがかかった瞬間に LF/HF が上昇した点に着目し, それぞれ新しいフィルターによる実験を行った.
４．実験 1

図 1 VR 型運転再現システムの構成
図 1 は VR 型運転再現システムの構成である. VR
環境は HTC 社の VIVE Pro Eye を利用し, システムはゲーム開発環境である Unity を利用して構築した.
VR 環境にて閲覧する運転映像は RICHO 社製
THETA Ⅴより実際に運転している様子を 360 度映像で撮影し, Unity に組み込むことで利用者が VR 上にて運転映像を見渡すことができる.
図 1 のスマートウォッチは JSBP 社製 Kingwear
KW88 であり, 心拍センサの光センサ（緑色）を用いて血流を読み取り心拍を測定する. インストールしたアプリケーションにより心拍センサの値を出力する構造になっている.
このアプリケーションを起動した状態で, 実際の運転中と VR 映像を見る際の心拍計測を行い, 心的状態を把握するために LF/HF の算出を行った 1). LFは交換神経の活性度であり, 緊張状態などを表す指本研究では 2 種類のフィルターの利用方法について比較を行なった. 一つは, 実際の運転時の LF/HFの値に閾値を設定し, 閾値を超えた場合に, 一気に濃いフィルターをかける方法（方法 1）である, もう一つは, 設定した閾値までの間に, 徐々にフィルターの濃さを濃くしていく方法（方法 2）である. 二人の被験者（成人男性 2 名（50 代男性、20 代男性））に対して, 本システムを利用してもらい, 利用時のLF/HF の値を計測した. その際に, フィルター無しの状況と 3 種類の閾値（1.0, 2,0, 3.0）により実験を行い，実際の運転時の LF/HF との相関を計算することで評価を行なった. また, REALと閾値1.0, 2.0, 3.0による LFHF の相関を求めた.
表 1 は方法 1 の相関値，表 2 は方法 2 の相関値を示している. それぞれ, 実際の運転時の LF/FH とフィルターなし(non), および, それぞれの閾値 1.0(1.0), 2.0 (2.0), 3.0 (3.0)の場合の相関値を示している.
平均 (AVG) は 3 つの閾値の平均である.

表 1 方法 1 による LF/HF の相関関係
被験者 1
被験者 2

non0.14
0.15

1.0
0.24
0.36

2.0
0.23
0.44

3.00.500.36

AVG
0.320.38

表 2 方法 2 による LF/HF の相関関係
被験者 1
被験者 2

non
0.14
0.15

1.0
0.13
0.45

2.00.43
0.27

3.0
0.27
0.25

AVG
0.28
0.32

方法 2 の閾値 1.0 以外は全てフィルターなしの状態(non)より高い相関関係を表しており, フィルターをかけた映像による実験は有効だと考えられる. また, 方法 1 では被験者 1 は閾値 3.0, 被験者 2 では閾
値 2.0 が REAL との相関値が高くなっており, AVGは方法 2 より高い値となった. 方法 2 では被験者 1は閾値 2.0, 被験者 2 は閾値 1.0 が REAL との相関値が高くなっているが AVG は方法 1 より低い値となった.
方法 2 の閾値 1.0 以外は全てフィルターなしの状態(non)より高い相関関係を表しており, フィルターをかけた映像による実験は有効だと考えられる. 方法１と方法 2 を比較すると, 平均では方法 1 の方が高い相関を示している. これは, 急激な視覚的変化によって, より心的状態を再現できたことを意味する.

VR 型運転再現システムでは 3 種類のフィルターを用意した. 実験 1 にて利用した方法 1, 2 に加え, 実際の運転時の LF/HF の 1 秒間ごとの変化率の平均を閾値とし瞬間的にフィルターをかける方法（方法 3）を利用した. 二人の被験者に対して，本システムを利用してもらい, VR 環境における LF/HF の値を測定した. その際に, フィルター無しの状況と3 種類のフィルター（方法 1, 2, 3）による実験を 3 回ずつ行い,実際の運転時のLF/HF との相関を計算することで評価を行なった. また, それぞれの相関値の平均（AVE）と標準偏差（STD）を計算した.
表 3 被験者 1 による LF/HF の相関関係
Non
方法 1
方法 2
方法 3

1 回目

2 回目

3 回目

0.11
0.44
0.13
0.27

0.43
0.52
0.41
0.30

0.32
0.30
0.56
0.29

AVE
0.29
0.42
0.370.29

STD
0.16
0.11
0.220.02

表 4 被験者 2 による LF/HF の相関関係
Non
方法 1
方法 2
方法 3

1 回目

2 回目

3 回目

0.12
0.63
0.60
0.31

0.17
0.66
0.14
0.33

0.51
0.39
0.12
0.45

AVE
0.27
0.56
0.29
0.36

STD
0.21
0.15
0.270.07

表 3 は被験者 1 の相関値，表 4 は被験者 2 の相関値を示している. それぞれ, 実際の運転時の LF/HF
しかし, 閾値を 1.0, 2.0, 3.0 と固定している影響にとフィルターなし（Non）, 方法 1, 方法 2, 方法 3 のより方法 1 で最も相関値が高い閾値 3.0 は, VR 映像相関値を示しており, それぞれ 3 回の平均（AVE）,にほとんどフィルターがかかっておらず, フィルターによる心的状態の再現とは言えない結果となった． 標準偏差（STD）を示している. Non（フィルター無し）は, 被験者 1 の方法 3 と LF/HF の相関値の平均
方法 2 では閾値 1.0 ではフィルターが不透明であるが同値であるが, それ以外の方法 1, 2, 3 は全て non
時間が続きすぎており，主観では閾値 3.0 が認識しやより高い相関関係を表しており, フィルターをかけすいと感じられた.
た映像による実験は有効だと考えられる.
５．実験 2

実験 1 ではそれぞれ閾値を変えることでどのような心的状態の変化が行われるか実験を行ったが, 閾値の変化による影響はあまり見られなかった. そのため閾値を高い値に設定してしまうとフィルターによる影響なのか判断が難しい. そこで 閾値を REALの LF/HF の平均（1.36）を固定値とし, 回数を増やして実験を行なった. 実験 1 では, 方法 1 の方が一気にフィルターがかかるため相関は高いが, 方法 2 の方が変化の様子が視覚的に理解しやすいといった特徴があった. そのため, その両方を考慮した新しいフィルターの作成を行なった.

方法1 に着目すると, 両方の被験者において, 最も高い平均値を示しているが, 標準偏差が小さいとも言えず, ある程度ばらつきがみられた.方法 2 では,両方の被験者において, 平均値が高いとは言えず,また標準偏差においてほかの方法より値のばらつきが多くみられた.方法 3 では, 両方の被験者において,平均値が高いとは言えず, また被験者 1 の平均値がフィルターなしの場合より低い値になっている. 標
準偏差に関しては、どの方法よりも小さい値になっており、ばらつきが少ない結果になった.
図 2 は上から REAL, 方法 1, 方法 2, 方法 3, Nonとなっており, このグラフは被験者 1, 2 のそれぞれの方法による相関の最高値から選択し比較した.REAL と各方法のグラフの部分的な形を比較する

と, 方法 1 では 20, 40, 60, 90 秒付近で緊張の形があっている.方法 2, 3, Non フィルターは 40, 90 秒付近
で緊張の形はあっているが他の TIME では緊張の形があっているとこはみられなかった. REAL と各方法のグラフの全体の形を比較すると方法 1 はグラフの形があっているように見えるが, 他の方法はグラフの形があっているようには見られなかった.

マートフォン用アプリ「Metronome Beats」により設定されたメトロームの拍数（60 秒 60 泊鳴らすように設定）を設定し, 音が鳴るタイミングで呼気と吸気を入れ替えることで実験を行った．また, 指示する呼吸の間隔は以下の 5 通りにより行った.
l

1 秒吐いて，1 秒吸う（基本的な呼吸）l

3 秒吐いて，3 秒吸う（基本的な呼吸）l

5 秒吐いて，5 秒吸う（基本的な深呼吸）l

1 秒吐いて，5 秒吸う（呼吸と深呼吸の混合）l

5 秒吐いて，1 秒吸う（呼吸と深呼吸の混合）

呼気時に緊張し, 吸気時にリラックスすると考えられているため, それぞれ呼気と吸気の秒数を変えることで意識的に緊張とリラックスの制御を行う．
結果として, それぞれの呼吸法による LF/HF の急激な増減は被験者 1, 2 どちらからもみられず, 本手法
では RSA の状態を再現できなかった．
つまり, 意識的な呼吸によって緊張状態の制御は難しいと考えられる. これまでのフィルターによる視覚的なアプローチの方が有効だと考えられる.
７．実験 4６．実験 3VR 型運転再現システムを利用する上で, 呼吸のほかに聴覚による既存の VR 映像から流れる音に対して, 心的状態の操作が可能であるか検証すべく実験を行った. 過去の研究にて, 騒音レベル（騒音値(dB)）
を変化させたときに作業量と心拍数がどのように変化するのか実験が行われ, 騒音レベルが増加するにつれ, 心拍数の増加が認められた 4).

これまでフィルターによるストレス（LF/HF）の再現を行ってきたが, 心拍センサより心拍データを取得しているため, 呼吸によりストレスの値を意識的に変化させることが可能ではないかという疑問が浮かび, 呼吸による実験を行った. 呼吸と心拍の関係について RSA(respiratory sinus arrhythmia)：呼吸性洞性不整脈とよばれる現象があり, 息を吸うときは心拍数が増加し, 息を吐くときは心拍数が減少する 3)現象を利用し, RSA を用いて呼吸を意図的に変化させることでLF/HF の値を意識的に変化させることが可能であるか再現実験を行った.
被験者 1, 2 の 2 名（50 代男性，20 代男性）を対象に60 秒間指示された秒数の呼気と吸気を繰り返す間,スマートウォッチの心拍センサを用いて、呼吸時の心拍数を測定し, LF/HF を算出する. 60 秒はスマー
トフォンのストップウォッチにより測り, 指示された秒数の呼気と吸気のタイミングを合わせる為，ス

騒音値が高ければ高いほど被験者の心拍数が増加することによって, LF/HF が増加し, 緊張状態になることが考えられる. そこで実験として VR 型運転再現システムにより, 3 種類の音の強さがあるノイズ音源（60, 70, 80dB）を加えることで被験者の LF/HFが急激に変化するかの実験を行なった.
実験方法として, VR 型運転再現システムを起動し,被験者 1, 2 の 2 名（50 代男性、20 代男性）に VR 映像を閲覧させ, ノイズ音源無し（non）と, 3 種類のノイズ音源（60, 70,80dB）を流すことでスマートウォ
ッチにより測定された心拍数より LF/HF を算出し,どのように変化するか実験を行った. また, ノイズ音源を流すタイミングはスタートから 35 秒後とし,スタートから 1 分後にノイズを切ることとした.
実験結果より, ノイズ音源の音の強さ（60, 70,80dB）による LF/HF の変化は, 被験者 1, 2 どちらも特徴的な変化はみられなかった. そのため, 音の強さによる意識的な緊張の制御は難しいと考えられ

図 2 REAL, 方法 1, 2, 3, non フィルターによるグラフ比較図

る. 今回の実験ではノイズ音源の音の強さにより,心的状態の変化があるか実験した. 他の音を利用した場合（例, クラクション）, 運転再現として考えるとあまり現実的ではないと考えられ, 変化の割合は視覚によるアプローチが高いためそちらのほうで実験を進めていく.
８. 実験 5

実験 2 より, 実際の運転時の LF/HF の平均値を閾値とし, 一気に濃いフィルターを利用する方法 1 が,もっとも実際の運転の緊張状態の再現に最も近づけることができることがわかった.
本章では, 方法1 の有効性を検証するために, 被験者を 2 名から 9 名に増やし実験を行った. 新たに 9人の被験者（20 代男性）に対して, 実際に運転した場合の心的状態と VR 型運転再現システムを利用した状態での心的状態を比較し，解析を行った. 実際に運転した場合の心的状態は実験 1 にて組み込んだ被験者 1 の LF/HF を利用した. VR 型運転再現システ
ムでは方法 1 のフィルターのみを利用した. 1 人につき実験を 3 回ずつ行い, 実際の運転時の LF/HF との相関を計算することで評価を行なった. また, それぞれの相関値の平均（AVE）と標準偏差（STD）を計算した.
表 5 被験者 A, B, C, D, E, F, G, H, I による LF/HFの相関関係
被験者 A
被験者 B
被験者 C
被験者 D
被験者 E
被験者 F被験者 G
被験者 H
被験者 I

1 回目

2 回目

3 回目

0.12
0.20
0.18
0.37
0.11
0.11
0.21
0.51
0.00

0.07
0.12
0.40
-0.05
0.52
0.27
-0.01
0.32
-0.08

0.10
0.03
0.20
0.18
0.52
0.08
0.39
-0.13
0.43

AVE
0.10
0.11
0.26
0.17
0.38
0.15
0.19
0.23
0.11

STD
0.03
0.09
0.12
0.21
0.24
0.10
0.20
0.33
0.27

表 5 は被験者 A, B, C, D, E, F, G, H, I の相関値を示している. REAL と方法 1 の相関値を示しており,それぞれ 3 回の平均（AVE）, 標準偏差（STD）を示している．
被験者 A, B, F は AVG が 0.20 未満で STDが 0.11 未満となり, AVG は低く STD は低く, ばらつきが少ない結果となった. 被験者 D, G, I は AVG が0.20 未満で STD が 0.11 以上となり, AVG は低く
STD は高くばらつきが，ある程度見られる結果となった. 被験者 C, E, H は AVG が 0.20 以上 STD が0.11 以上となり, AVG は高く STD も高く, ばらつきがある程度みられる結果となった. 各被験者の中で最も AVG が高い結果は被験者 E であった. 実験 2 の方法 1 の結果と比較して, 実験 2 の被験者 1 の AVG（0.30）を超える AVG を算出された被験者は被験者E であった. 実験 2 の被験 2 の AVG（0.56）を超える AVG を算出された被験者はいなかった. STD は 6人の被験者おいてある程度ばらつきがみられ, 全体の結果として安定しているとはいえなかった.
9 人の被験者に対して 3 人の被験者で AVG が比較的高い結果となった. しかし, STD が高い結果が算出されてしまいばらつきがある程度みられる結果となった.
各被験者の一番良い相関値をピックアップして考えると, 実験 2 の被験者 1 の平均値である 3.0 を超える人は 6 人であり, また, 全体の平均では 0.36 となり, 比較的高い相関を示している. そのため，フィルターによる効果が常に発揮できるは言えないが,
方法１による視覚的フィルターによる影響を与えることは可能であることが示された.
９．まとめ

本研究ではこの VR 型運転再現システムを利用して被験者の心的状態の再現実験行い, どのようにフィルターを利用することで, 実際の運転時の心的状態を VR 環境内で再現可能であるかを検証した.
上記実験より, 一気に濃いフィルターをかける方法 1 により視覚的なアプローチが実際に運転した場合の心的状態の再現が行われ, フィルターによる影響がある程度心的状態に作用する可能性が示唆された. 今後は被験者の視線による対象物への眼球運動に着目し, 被験者の認知能力の評価が可能となるシステム構築や実験を目標とする.
参考文献

1) 秋山 早弥香, 加藤 由花, “QOL 可視化システムのための脈拍センサを用いたストレス状態推定手法”, 第 77 回全国大会講演論文集, Vol.2015,
No.1, pp.129-130, 2015.3.
2) 宮原 亘, “全方位映像を利用した簡易ドライブシミュレータ設計”,足利大学創生工学科システム情報分野卒業論文，2021.
3) 早野 順一郎, 山田 眞己, 藤浪 隆夫, “心拍変動と自律神経機能” 生物物理, 1988, vol.28, no.4,
pp.198-202.
4) 梅 村 守 , 本 多 薫 , “ 騒 音 が 精 神 作 業 のperformanceおよびworkloadに及ぼす影響”, 日本人間工学雑誌, 1990, vol.26, pp.340-341.