生体反応に着目したVR型運転再現システムの設計
平石研究室
G21601 安 西 瑠 輝

1

目次
1.

はじめに

2.

VR型運転再現システム

3.

心的状態の取得

4.

視覚的フィルターとLF/HFとの関連

5.

実験１（方法1, 2）

6.

実験2（方法1, 2, 3）

7.

実験3（呼吸）8.

実験4（音）

9.

実験5（方法1）

10. 終わりに2

はじめに
l現代社会にて生活するために自動車は必要不可欠でありその利便性と危険性について常日頃から問われている.

利便性
先進安全自動車（ASV: Advanced Safety Vehicle）技術

危険性
高齢者の交通事故件数例）交通事故死亡者数の割合が全体の55％ほど高齢者の交通事故死亡数の問題より, 日常的に自動車を利用する上で高齢者の自動車運転技術の改善,維持が必要になると考えられる.

国土交通省 自動車総合安全情報
https://www.mlit.go.jp/jidosha/anzen/01asv/index.html
3高齢運転の認知能力について（先行論文）
l二瓶美里,小竹元基,鎌田 実 , “高齢者の認知特性を考慮した運転能力評価システムの開発”日本機械学会論文集Ｃ編, 2011, Vol77, p. 4591-4604
l加齢や軽度認知障害の影響により低下すると考えられる運転能力に関する課題を作成し、高齢ドライバの運転能力を定量的かつ短時間で評価可能なシステムを開発することを目的とする。走路追従タスク, 障害物回避タスク, 危険地帯脱出タスクに振り分け評価を行う
l追従の正確性や障害物に対して瞬間的な判断力の低下しており, 車や障害物に対する認知能力が低下している可能性があることが示唆されている.
l高齢運転に対する認知能力の改善、維持が必要だと考えられる.

4ドライブシミュレータ（先行論文）
l伊藤 安海 根本 哲也 山中 真 高橋 良枝 松浦 弘幸, “簡易ドライブシミュレー
タを用いた高齢・認知症ドライバー支援”,人工知能学会全国大会論文集,
2009, Vol23l過去の研究にて,同一の高齢者を実験参加者とした大型ドライブシミュレー
タと簡易型シミュレータの成績比較実験（乗り比べ実験）が行われ,l大型装置とは形状の違う簡易型装置でもトレーニング効果が引き継がれることにより簡易装置を使ったトレーニングが実写運転の際に効果を示す可能性がある.
l実験により回避成績が向上したことによって簡易型装置でも高齢ドライバーの支援が可能であることが明らかになった.
l簡易型装置が大型装置とトレーニング結果が変わらないのであれば, VRを利用したドライブ装置も有用性があるのではないかと考えられる.

5

本研究の目的lしかし, 実験手法が走行ルートや障害物状態を定め評価を行っておりシミュレータ内の仮想的な実験にとどまっている.
l本手法では実際に運転した運転映像や運転データをVRにて活用することで臨場感を高め現実に近い状態で実験評価が可能.
l本研究ではこのVR型運転再現システムを利用して被験者の心的状態を実際に運転した場合の心的状態を比較し, 評価することで, より現実に近い状態の再現システムを構築することを目的とする.
l被験者の生体反応を利用し被験者の運転状況を客観的に理解させることで，最終的に認知能力を維持することを目標とする.

6VR型運転再現システムl VRシステム環境はUnity –v 2019.4.11f1
l VR機器はHTC社の「VIVE pro Eye」
l VR環境内に360度カメラからの運転映像

スマートウォッチ
（心拍）を組み込み, VR上にて運転映像を見渡Unity（ドライブ映像）
HMD（VR閲覧中）すことが可能.
l スマートウォッチより心拍測定を行い, 被験者の緊張状態を算出可能.

7心的状態の取得
l スマートウォッチのアプリ「Heart Activity」 より心拍データから被験者の緊張状態を計測することができる.
l JSBP 社製 Kingwear KW88l OS:Android 5.1
l 心拍センサは光センサ（緑色）を用いて血流を読み取り心拍を測定する.
l 一般的なスマートウォッチでは心拍の値を整数で返すが, Kingwear KW88は小数点で返すため, 心拍変動を計測する上でより精度が高いといえる.
8

心拍と緊張l 緊張状態は自律神経機能の評価として用いられるLF/HFから緊張度とリラックス度を判別する. （秋山 早弥香, 加藤 由花, “QOL可視化システムのための脈拍センサを用いたストレス状態推定手法”, 第77回全国大会講演論文集, Vol.2015, No.1, pp.129-130, 2015.3.）
l LFは交感神経を指し, 緊張度を表す. HFは副交感神経を指し, リラックス度を表す.
l LF/HFの値が高ければ高いほど緊張しており, 低い場合はリラックスしている.
l計測アプリの構造として心拍数が高いとLF/HFが高い状態になり緊張していることを表す.
l 本研究ではこのLF/HFを用いて、心的状態から被験者にかかる緊張状態を計測する.

9

実データの収集
l 距離:1.3km
l 運転時間:1分30秒
l 360度カメラを車のダッシュボードに取り付け,できるだけ運転者の目線に近い位置で撮影した.
l 運転者にスマートウォッチ装着し, 心拍データを取得しながら走行.
l VRシステムにて心拍データと運転映像を同期させている.
10

視覚的フィルターとLF/HFとの関連1l これまでの研究にてVR型運転再現システムを利用し, 色のついたフィル
ターを映像にかけることで，心的状態を再現を目的とする実験を行った．

11

視覚的フィルターとLF/HFとの関連2l その結果，濃いフィルターがかかった瞬間に，LF/HFが急激に上昇し，一時的な緊張状態を表すことが可能となった．

図1 赤いフィルターを利用時のLF/HF
12

視覚的フィルターとLF/HFとの関連3lこの実験により，フィルターによる一時的な緊張状態を作り出したことによる心的状態の再現が可能となったが，瞬間的にLF/HFが上がった後，なだらかに値が下がり，フィルターとしての効果を発揮していなかった．

lそこで，フィルターがかかった瞬間にLF/HFが上昇した点に着目し，それぞれ新しいフィルターによる実験を行った．

13

実験1:概要
l実際の運転時に計測された心的負荷の状態(REAL)にしたがって，VR映像にフィルターをかけることで心的状態の再現を行う．
l運転映像に赤いフィルターをかけることで，視覚的な圧迫感を表現し，心的状態の再現を行なった．その際に，どのようにフィルターをかければ，より実際の心的状態の再現が可能であるか，２種類の実験を行なった．

14

実験1：実験方法
REAL

VR型運転再現システム

LF/HF（緊張）を相関にて比較

被験者2名

フィルター：方法1, 2
閾値1.0, 2.0, 3.0を1回ずつ

15

方法1
方法1
実際の運転時のLF/HFから閾値（1.0,2.0, 3.0）を設定し，閾値を超えている間に, フィルターをかける方法

16

方法2
方法2設定した閾値（1.0, 2.0, 3.0）までの間に，徐々にフィルターの透明度の濃さを変化させる方法

17実験1：結果
表1 被験者1のLF/HF

表2 被験者2のLF/HF

non

1.0

2.0

3.0

AVG

方法1

0.14

0.24

0.23

0.50

0.32

方法20.14

0.13

0.43

0.270.28

l 方法1では被験者1は閾値3.0, 被験者2では閾値2.0がREALとの相関値が高くなっており, AVGは方法2より高い値になっている.

non

1.0

2.0

3.0

AVG

方法10.15

0.36

0.44

0.36

0.38

方法20.15

0.45

0.27

0.25

0.32

l 方法2では被験者1は閾値2.0, 被験者2は閾値1.0がREALとの相関値が高くなっているがAVGは方法1より低い値になっている.

18

実験1:考察l方法2の閾値1.0以外は全てフィルターなしの状態(non)より高い相関関係を表しており, フィルターをかけた映像による実験は有効だと考えられる.

l方法１と方法2を比較すると，平均では方法１の方が高い相関を示している．これは，急激な視覚的変化によって，より心的状態を再現できたことを意味する．

19

閾値2.0

実験1:考察lしかし, 閾値を1.0, 2.0, 3.0と固定している影響で方法1で最も相関値が高い閾値3.0は, 他の閾値と比べてVR映像にほとんどフィルターがかかっておらず, フィルターによる心的状態の再現とは言えない結果となった.

閾値3.0

l方法2では閾値1.0ではフィルターが不透明である時間が続きすぎており、主観では閾値3.0が認識しやすいとかんじられた.

図2 方法1の閾値2.0, 3.0によるフィルターの様子
20

実験２ :概要
l実験1ではそれぞれ閾値を変えることでどのような心的状態の変化が行われるか実験を行ったが, 閾値の変化による影響はあまり見られなかった. そこで, 閾値をREALのLF/HFの平均（1.36）を固定値とする．
l方法１の方が一気にフィルターがかかるため相関は高いが，方法２の方が変化の様子が視覚的に理解しやすい．そのため，その両方を考慮した新しいフィルターの実験を行った.

21

実験2：実験方法
REAL

VR型運転再現システム

LF/HF（緊張）を相関にて比較

フィルター：方法1, 2, 3
閾値1.36を3回ずつ
被験者2名

22

実験2:方法3
方法3運転時のLF/HFの1秒間ごとの変化率の平均を閾値とし瞬間的にフィルターをかける方法（方法3）を利用した.

23

実験2:結果
表3 被験者1のLF/HF

表4 被験者2のLF/HF

1回目

2回目

3回目

avg

std

1回目

2回目

3回目

avg

std

Non

0.11

0.43

0.32

0.29

0.16

Non

0.12

0.17

0.51

0.27

0.21

方法1

0.44

0.52

0.30

0.42

0.11

方法1

0.63

0.66

0.39

0.56

0.15

方法2

0.13

0.41

0.56

0.37

0.22

方法2

0.60

0.14

0.12

0.29

0.27

方法3

0.27

0.30

0.29

0.29

0.02

方法3

0.31

0.33

0.45

0.36

0.07

24

実験2:結果
l方法1に着目すると, 両方の被験者におい, 最も高い平均値を示しているが, 標準偏差が小さいとも言えず, ある程度ばらつきがみられた.
l方法2では, 両方の被験者において, 平均値が高いとは言えず, また標準偏差においてほかの方法より値のばらつきが多くみられた.
l方法3では, 両方の被験者において, 平均値が高いとは言えず, また被験者1の平均値がフィルターなしの場合より低い値になっている. 標準偏差に関しては、どの方法よりも小さい値になっており、ばらつきが少ない結果になった.

25

LF/HF

8

グラフによる比較

REAL

64
20

LF/HF

3

方法1

2

l 上からREAL, 方法1, 方法2, 方法3, Nonとなっている.

1l REALと各方法のグラフの部分的な形を比較すると,0

方法1では20, 40, 60, 90秒付近で緊張の形があってLF/HF

方法25いる.

0l 方法2, 3, Nonフィルターは40, 90秒付近で緊張の形

LF/HF4方法33はあっているが他のTIMEでは緊張の形があっている21

とこはみられなかった.

LF/HF086420

l REALと各方法のグラフの全体の形を比較すると方法

Non1はグラフの形があっているように見えるが, 他の方
020406080TIME（s）

100120法はグラフの形があっているようには見えない.

図3 LF/HFの比較
26

実験2:考察
l平均値をみると, より心的状態の再現が可能になったのは方法1であるが, 標準偏差による値のばらつきをみると方法3が心的状態の再現が安定すると考えられる. しかし, 方法3はAVGが低い結果の被験者もいるため, 安定して低い値となる可能性もあり，あまり良いフィルターとは言えない．
lしかし, REALとの相関が高い方法1, 3のグラフの形を比べると方法1はREALとグラフの全体の形があっているが, 方法3ではグラフ全体の形はあっていなかったため, 相関値は方法1, 3どちらも高い値を計測されたが, より心的状態の再現を可能としたのは方法1であった.

27

実験1, 2と実験3, 4の手法の変化
lこれまでの手法では, VR映像にフィルターを掛けるという視覚的なストレスを与えることで心的状態を変化させることが可能であるか実験を行ったが, 心的状態の変化がフィルターを掛けたことに起因するか判断をつけることは難しい.
lまた, VR型再現システムを利用する上で主に視覚, 聴覚からVRによる運転状態を認識し, 心拍によるデータ取得を行っている.
lそこで, 他の外的要因により心的状態の変化するか調べるため心拍（呼吸）, 聴覚（音圧）による実験を行った.

28

実験3:概要
lこれまでフィルターによるストレス（LF/HF）の再現を行ってきたが, 心拍センサより心拍データを取得しているため, 呼吸によりストレスの値を意識的に変化させることが可能ではないかという疑問が浮かび, 呼吸による実験を行った.
l呼吸と心拍の関係についてRSA(respiratory sinus arrhythmia)：呼吸性洞性不整脈とよばれる現象があり, 息を吸うときは心拍数が増加し, 息を吐くときは心拍数が減少する.
l早野順一郎, 山田 眞己, 藤浪 隆夫, 横山清子, 渡辺與作, 高田和之, “心拍変動と自律神経機能” , 生物物理, 1988, Vol28, No.4

29

実験3：概要l成人男性2名（50代男性、20代男性）
lメトロノームアプリ「Metronome Beats」を用いて拍数を管理（60bpm）
lスマートウォッチのアプリより, LF/HFを測定30

実験3:概要
l実験手法
・1秒吐いて、1秒吸う（基本的な呼吸）・３秒吐いて、3秒吸う（基本的な呼吸）・5秒吐いて、5秒吸う（基本的な深呼吸）
・１秒吐いて、５秒吸う（呼吸と深呼吸の混合）・５秒吐いて、１秒吸う（呼吸と深呼吸の混合）31

実験3 （呼吸）図4 被験者1, 2の意識的な呼吸によるLF/HF
32実験3:結果・考察
l図4から, それぞれの呼吸法によるLF/HFの急激な増減は被験者1, 2どちらからもみられず, 再現することはできなかった.
lつまり, 意識的な呼吸によって緊張状態の制御は難しいと考えられる.
lこれまでのフィルターによる視覚的なアプローチの方が有効だと考えられる.

33

実験4
l実験3より, 意識的な呼吸による心的状態の意図的な操作が可能であるか実験を行った.
l過去の研究にて, 騒音レベル（騒音値(dB)）を変化させたときに作業量と心拍数がどのように変化するのか実験が行われ, 騒音レベルが増加するにつれ, 心拍数の増加が認められた.
l梅村 守, 本多 薫, “騒音が精神作業のperformanceおよびworkloadに及ぼす影響”, 日本人間
工学雑誌, 1990, vol.26, pp.340-341.
lVR型運転再現システムを利用する上で, 呼吸のほかに聴覚による既存のVR映像から流れる音に対して, 心的状態の操作が可能であるか検証すべく実験を行った.

34

実験4（音）lそこで実験としてVR型運転再現システムにより, 3種類の音の強さがあるノイズ音源（60, 70,80dB）を加えることで被験者のLF/HFが急激に変化するか調べる.
lノイズを流すタイミングはスタートから35秒後とし, スタートから1分後にノイズを切る.

ノイズ音源の追加

35

実験4:結果

図5 ノイズを流した状態の被験者1のLF/HF
36

実験4:結果

図6 ノイズを流した状態の被験者2のLF/HF
37

実験4:結果・考察
l図5, 6より, 青色の部分にてノイズを流しているが, 被験者1, 2のどちらともノイズ発生時に音によるLF/HFの急激な変化は見られなかった.
l今回の実験ではノイズの高さによる心的状態の変化があるか実験した. 被験者1, 2どちらも特徴的な変化はみられなかった.
l他の音を利用した場合（例, クラクション）, 運転再現として考えるとあまり現実的ではないと考えられ, 変化の割合は視覚によるアプローチが高いためそちらのほうで実験を進めていく.

38

実験1～4結果まとめ
l実験1では, 方法1, 2より閾値を変えて実験を行った結果, 方法1がより相関関係が示された.
l実験2では, 方法1, 2, 3より閾値を固定（REALの平均）し, 実験を行った結果, 方法1がより相関関係があることが示された. また, REALと緊張の山があっているようにみえるため緊張の再現に近づけられた.
l実験3では, 呼吸により心拍による緊張状態（自律神経）をコントロールが可能か実験を行った
結果, 緊張状態と関係があるとは言えない結果になった.
l実験4では, 音（音圧）の高さにより緊張状態をコントロールが可能か実験を行った結果, 緊張状態と関係があるとは言えない結果になった.

39

実験5
lこれまでの実験結果よりREALとの高い相関関係やグラフによる緊張の山があっていたのは方法1であり,緊張状態の再現に最も近づけることができたフィルターであった.

lしかし, 実験を行った実験2の手法では被験者が2名で行われており, 実験結果が正確であるとは断言できないと考えられる.

lそこで, 被験者を2名から9名に増やし実験を行った.

40

実験5：実験方法
REAL

VR型運転再現システム

LF/HF（緊張）を相関にて比較

フィルター：方法1
閾値1.36を3回ずつ
被験者9名
41

実験5:結果（方法1）
表7 方法1の各被験者のLF/HF
1回目

2回目

AVE

3回目

STD

被験者A

0.12

0.07

0.10

0.10

0.03

被験者B

0.20

0.12

0.03

0.11

0.09

被験者C

0.18

0.40

0.20

0.26

0.12

被験者D

0.37

-0.05

0.18

0.17

0.21

被験者E

0.11

0.52

0.52

0.38

0.24

被験者F

0.11

0.27

0.08

0.15

0.10

被験者G

0.21

-0.01

0.39

0.19

0.20

被験者H

0.51

0.32

-0.13

0.23

0.33

被験者I

0.00

-0.08

0.43

0.110.2742

実験5：結果
l最もAVGが高い結果がでた被験者は被験者Eである.

l実験2の方法1の結果と比較して, 実験2の被験者1のAVG（0.30）を超えるAVGを算出された被験者は被験者Eであった. 実験2の被験者2のAVG（0.56）を超えるAVGを算出された被験者はいなかった.

lSTDは6名の被験者おいてある程度ばらつきがみられ, 全体の結果として安定しているとはいえなかった.

43

実験5:考察l各被験者の一番良い相関値をピックアップして考えると実験2の被験者1の平均値である3.0を超える人は6人であり，また，全体の平均では0.36となり，比較的高い相関を示している. フィルターによる効果が必ずしも発揮できるは言えないが, ある程度反応すると考えられる.

lそのため，フィルターによる効果が常に発揮できるは言えないが, 方法１による視覚的フィルターによる影響を与えることは可能であることが示された．

44

おわりに
l本研究ではこのVR型運転再現システムを利用して被験者の心的状態を実際に運転した場合の心的状態を比較し, 評価することで, より現実に近い状態の再現システムを構築することを目的とする実験を行った.
l一気に濃いフィルターをかける方法1により視覚的なアプローチが実際に運転した場合の心的状態の再現が行われ, フィルターによる影響がある程度心的状態に作用すると考えられる.
l今後は被験者の視線による対象物への眼球運動に着目し, 被験者の認知能力の評価が可能となるシステム構築や実験を目標とする.

45