DEIM Forum 2016 H8-1

運転者の疲労度への自動車運転状態の影響を発見するための時系列データの分析
森本 哲郎†

白浜 勝太†

井村龍哉†

石井岳††

上善 恒雄†† 大阪電気通信大学大学院 〒 575–0063 大阪府四條畷市清滝 1130-70†† 大阪電気通信大学 〒 575–0063 大阪府四條畷市清滝 1130-70
E-mail: †{dt15a001,mw14a002,mw15a001,hw14d001,jozen}@oecu.jp
あらまし

高齢化社会の進展に伴い，運転者の身体的・精神的な問題に起因する事故は増加しており，運転者の健康状態の異変を早期発見し未然に事故を防止することは社会的な課題である．本論文では，車両・身体に取り付けた加速度センサ，脈波センサ，GPS センサから得られるデータから運転状況の影響を発見するためのデータの分析について報告する．
キーワード

加速度，脈波，位置情報，時系列データ

1. は じ め に析技術を統合したシステムの研究開発を行うことを目的とする．
運転者が対象となる生体センシングでは，運転操作を妨害し近年の少子高齢化社会の進展に伴い，自動車運転者の身体的・ない衣服型の非侵襲ウェアラブルを開発し，身体の動きやバイ精神的な問題に起因する事故は増加している．また，タクシータル情報をセンシングする．車両には，法令で義務付けられやトラック・バス事業者においては，運転者の深刻な労働力不た自己診断機能があり CAN(Controller Area Network) 上で足が予想されており [1]，過重労働による健康障害をきっかけと通信される ODBII(On Board Diagnosis second generation Iする事故がいっそう増加することが懸念される．

I) データから，車速，エンジン回転数等の駆動系情報をセンシ一方で，IoT・ウェアラブルの目覚ましい発展により日常的ングする．に身体のセンシングが行える環境が実現しつつある．さらに，非侵襲ウェアラブル，車両センサー，車両内センサーノー

機械学習の分野において，特にディープラーニングの技術が発ド，車庫や事務所に設置されたサーバー，クラウド環境は階層展してきており，ビックデータ解析の有効な手段になっている．

的に整理されたオーバーレイネットワークによりシステム全体日々蓄積したバイタル情報を解析することによって，これまでに統合される (表 1)．センサーデバイスは車内に搭載するセン

バス事業者では簡単に発見することができなかった突発的な居サーノードと Bluetooth low energy，Wi-SUN 等で通信し，ク眠り運転や無呼吸症候群，ナルコレプシー等の睡眠障害の予兆

ラウドへのセンサーデータのアップロードには MQTT を用いを早期に発見し，事故防止に応用することが可能となる．

る．クラウド側では P2P エージェントシステムの PIAX [6] [7]

これまで生体信号から覚醒度の低下を予兆する研究は数多くを用いることで，仮想マシンの効率的なメッセージングと並列報告されている．脳波，まばたき，瞳孔の生体信号を指標とす処理を実現する．ネットワークは NICT(国立研究開発法人情るものや [2] [3] [4]，MSLT(睡眠潜時反復検査) による眠気の評

報通信研究機構) が管理する新世代通信網テストベッド JGN-

価 [5] があるが，非束縛的・非侵襲的で実用性の高い覚醒度低X [8] を活用する．クラウド環境には，大規模オープンテスト下の検知と予測は確立されていない．

ベッド JOSE(Japan-wide Orchestrated Smart/Sensor Envi-

我々は，車両に搭載された様々な機器から得られるセンサーデータと，運転者の脈波・脳波・身体の動き等の生体信号をクronment) [9] を活用し，収集したデータの蓄積・学習・予測を行う．

ラウドに蓄積・解析することによって，車両の不備・不調や，運転者の運転誤操作・健康が関与する不調を早期発見すること

表 1 各層における役割
階層レベル

処理内容を目的に研究を行っている．本論文では，車両・身体に取り付車両センサーデータの特徴量抽出，リアルタイム解析

ける加速度センサー，脈波センサー等のデータから運転者の疲車庫・事務所 バッチ処理，統計処理，データベース化

労が運転操作に与える影響の分析について報告する．

中間サーバー バッチ処理，リアルタイム解析，統計処理，DB 化

2. 研 究 概 要
本研究は，バス車両内において様々なセンサーを用いて車両・運転者をセンシングし，車両・運転者の状態変化から危険予測

クラウド

ビックデータ解析，機械学習

3. センサーデバイスを行い事故を防止することが目的であり，また，センサ技術，センサーデバイスには，LAPIS Semiconductor, Rohm 社製

通信ネットワーク技術，コンテンツ解析技術，ビッグデータ解の活動センサーと脈波センサー，Intel 社製の表情センサー，

JINS 社製の視線センサー，みなと観光バス社製の車両センサー•大気圧を用いる．使用したセンサーデバイスは表 2 の通りである．ま•マニホールド絶対圧

た，センサーデバイスのゲートウェイとして，SynapSensor，ス•

スロットル開度

マートフォン，モバイルルーターを用いる．センサーノードに•ECU 電圧は，OpenBlocks A7，Raspberry Pi2，iPad mini3，Nexus9，

•

経過時間

Macbook air，Windows Surface を用いる．

•走行距離3. 1 活動センサー•

乗務開始からオドメーターキロ表示

活動センサーでは，加速度 3 軸成分, ジャイロ 3 軸成分, 地•

乗務開始からのパルスカウント

磁気 3 軸成分, 気圧の 10 個の項目を取得する．主に腕とハンドルの動きを計測するが，解析時の参考値としてダッシュボードに取り付けたセンサーからバス自体の振動を計測する．

4. 計 測 方 法
次に，センサーデバイスの取り付け位置を説明する．脈波セ3. 2 脈波センサー

ンサーは装着ズレによるノイズ・計測ミスが発生することを考

脈拍センサーでは光電式容積脈波を取得する．取り付け位置

慮し非侵襲ウェアラブルに組み込んで襟首から脈波データをは運転操作の邪魔にならず，運動時の装着ズレが最も少ない後取得する．活動センサーは両腕とハンドル中央，ダッシュボー頭部側の首に取り付ける．

ドに取り付ける．視線センサーは通常のメガネと同様に装着

3. 3 表情センサー

する．表情センサーは運転者の顔がカメラに収まるようにダッRealSense は，顔 78 点，手 22 点の特徴点のトラッキングがシュボード周辺に固定する．

可能なセンサーカメラである．Windows 8.1 以上の PC と Intelまた，センサーデバイス自体は時刻機能を持っていないためRealSense SDK を用いて，顔の検出，特徴点，認証，表情，心センサーノードが受信した時刻を付加することになる．このた拍，ポーズ，視線追跡を特定することができる．また，マイク

め各センサーノードで事前に時刻同期を行っておく必要がある．

が内蔵されており音声認識の機能が利用可能である．表情セン

センサーノードに集約されたデータは 3G/LTE 回線でアップ

サーでは顔のトラッキングポイントの座標データと目・口の開ロードを行うが，顔器官の特徴量等のデータ量の大きいデータき度数を蓄積する．

はローカル環境に蓄積する．

3. 4 視線センサー
JINS MEME は 3 点式眼電位センサーにより目の動きやま

5. データ分析

ばたきを検出することができる．JINS MEME DRIVE は，疲

疲労や眠気に関する研究は，自動車運転だけにとどまらず工労・眠気に伴うまばたき・視線の変化から推測して，安全運転学・医学・情報といった様々な分野で活発になされている．一般をサポートするスマートフォンアプリである．JINS SDK と的に，疲労は身体・精神に負荷を与えた際に起きる一時的な身iOS 8.0 以上から，以下の項目を取得する．

体・精神の作業効率が低下する生理現象のことを指し，運転時•

視線の上下左右の判定の場合は運転時間が経過するに従って増加する．注意すべき点•

まばたきのスピードは、非健常者の場合は運転時間に関わらず疲労や倦怠感・眠気•

まばたきの強さと同等な生理状態になることである．運転中の疲労・眠気の推

•

歩行判定

定，睡眠の予防，危険運転の予防を目的として加速度センサー•

姿勢角の 3 軸成分等のセンサーデバイスを用いた事例は既に多く存在するが，疲•加速度の 3 軸成分

労を数量化することは容易ではない．センサーデータを総合的•装着状態エラーに判断しなければ覚醒度推定の信頼性は期待できない．

•電池残量

センサーから得られた車両データと運転手の生体データから

3. 5 車両センサー特徴量を抽出し，総合的にそのデータの関連から以下のような車両センサーでは，以下の項目を取得する．

安全な運転を支援する知見を得ることが最終目的で，広くこれ

•

車両 ID

らのデータを収集してより多くの基礎データを収集するフレー•

運行路線情報ムワークを構築する計画である．

•運転者情報•運転時の異常検知•

タイムスタンプ•

疲れやすい運転パターンの発見•

GPS 緯度経度と誤差•問題のある運転を行いやすい場所の発見•

エンジン回転数

この場合，教師あり学習としての訓練データを作成するために，•車速事故を待つわけにはいかないため，運転手自身が経験した危険

•

吸気温度

運転や疲労に関してそのタイミングを記録することも必要にな•

外気温度る．また，教師なし学習として，運転者の日常的な正常範囲を•

冷却水温度把握し，異常検知の基礎データとする．

•油温度

特徴量としては，活動センサーからはハンドルの角速度の揺表 2 使用したセンサーデバイス
センサー

取得項目

通信方式

製品名

会社

活動センサー 加速度, ジャイロ, 地磁気, 気圧

Bluetooth Low Energy Sensor Medal

LAPIS Semiconductor(Rohm)

脈波センサー 脈波Bluetooth Low Energy 未定Rohm

表情センサー 顔検出, 表情, 感情

USB

Realsense F200 Intel

視線センサー 眼電位, 加速度, ジャイロ

Bluetooth

MEME ESJINS未定みなと観光バス

車両センサー 位置情報, 車速, エンジン回転数など Bluetooth, USB

らぎや運転手の動作，脈波センサーからはピーク間隔の揺らぎ，

また，脈波の極大値間の間隔を指標とする R-R 間隔 (RRI)

加速度脈波，リアプノフ指数を実験対象として計画しており，1は，自律神経系のゆらぎを反映するとされる．脈波の 2 回微分

月末よりみなと観光バスの協力を得て計測データを収集する．

は加速度脈波と呼ばれ，脈波の特徴を捉えることができ，循環これらのデータを解析するためのフレームワークを構築す器の指標に用いられる．脈波，速度脈波，加速度脈波の関係性るために，階層型データ収集・解析のネットワークシステムをを図 2 に示す．また，脈波は自律神経の変化と密接に関係してPIAX ベースで構築し，NICT の JOSE を活用する形で大規

おり，心拍変動解析から低周波成分 LF(Low Frequency) は交模データを収集・解析する準備を進めている．また車両内セン感神経，高周波成分 HF(High Frequency) は副交感神経の変化サーシステムとして，運転手が装着する非侵襲ウェアラブルセを反映することが分かっている [15]．交感神経成分と副交感神ンサーを開発し，車両状態のセンシングデータと合わせて車両経成分の比 (LF/HF) は自律神経系のバランスを評価する指標

内でデータの主な特徴量を抽出し上記大規模データ解析システであり，一般的に交感神経成分が高い場合，LF/HF は大きくムで集約するエッジ計算リソースをまとめている．

なり，疲労や緊張状態であると推定できる．

次に，各センサーの特性について考察する．

5. 3 表情センサー

5. 1 活動センサー

疲労は表情・態度・姿勢の良し悪しに影響を与え，客観的に自動車のエンジンやサスペンション，路面状態が車体に与え人を見るとその人が疲労状態であるかは判断がつく [16]．

る振動や加減速・右左折で発生する加速度は解析上無視するこ

北島らは [17] は，運転中の眠気を主観評価と表情で分析するとはできない．この問題に対し，多田ら [10] は低域通過フィル実験を行った．表情の評価は 5 段階で客観的な手法を取っていターとウェーブレットフィルターを併用する手法を試みた．運る．この実験の分析から，被験者の主観評価と相関平均 0.795

転時の動作に不必要な高周波成分は低域通過フィルターを用いとなり，表情が疲労を表す指標になることが分かる．北島らることで除去し，加減速や右左折による影響はセンサーの位の研究ではビデオ撮影と人による客観評価であったが，松尾置・角度が特定できないことと，身体の動作と周波数帯が重なら [18] は，撮影した顔の画像から特徴点を抽出するシステムをるため帯域通過フィルターでは除去することは困難であるため，試作し，まばたきの持続時間，頭部の動き，手の動きとあくびウェーブレットフィルターを用いて除去した．また，多田らは，の回数等を計測し有用性を検証した．

補正した加速度成分を運転操作の特徴量として 1 クラスサポー
トベクターマシンを用いた機械学習による外れ値検出を行い，その有用性を検証した．
つまり，活動センサーの加速度成分の周波数解析と機械学習による外れ値検知は有効な手段である．

表情センサーは顔・目・鼻・口の輪郭の特徴点を抽出することができ，目や口の開き具合等から表情を数量化する．

5. 4 視線センサー
視線もまた疲労を評価する上で重要な指標となる．疲労が続くと身体運動の動作能力は低下し，動作が雑になったりする．

5. 2 脈波センサー

同時に，眼球運動の能力も低下して不注意な状態に陥る．疲労

脈波センサーは心臓から送り出された血液による血管の時には，まばたきの頻度は低下し，持続時間が長くなる傾向が

容 量 変 化 を 捉 え た も の で あ る ．そ の 波 動 は カ オ ス 性 を 示

分かっている．

すため，眠気・疲労を推定することは容易ではないが既に5. 5 車両センサー

様々な研究がなされている．人間に とって分かりやすい方

車両の駆動系情報が得られるため，整備・点検に活用するこ法のひとつは脈波を可視化することで，カオス時系列解析とができる伴に急発進・急停車・ふらつき運転等の危険運転の手法のひとつに時間遅れ座標系にアトラクターを再構築検知が行える．

する手法が用いられる [11]．例えば，遅れ時間τ = 30 とし

GPS センサーによるバスの位置情報は，他のセンサー情報を，P0 (f (0), f (30), f (60)), P1 (f (1), f (31), f (61)), ...,地理空間と関連付けることができる．これは運転注意場所 (ヒPn (f (n), f (n+t×1), f (n+t×2)) が描く脈波データの図形 (図ヤリ・ハット) の抽出に応用することができる．

1) はストレンジアトラクターと知られている．脈波解析においては埋め込み次元は 4 次元以上必要であるとされる [12]．この再構築されたアトラクター軌道上の近傍 2 点間の距離は，リアプノフ指数と呼ばれカオスのゆらぎを示す指標となる [13] [14]．
脈波データから算出したリアプノフ指数を図 3 に示す．

6. 今後の課題
本論文では，本研究のデータ分析を中心に論述した．本研究の今後の課題を以下に示す．

•運転時の様々なパターンのデータの収集•

センサーデータの時系列データ解析•

機械学習による覚醒度推定と異常検知•

オーバーレイネットワークシステムの構築•

信頼性および実用性に関する検証実験

7. ま と め
我々は，バス車両の機器情報と運転者の生体情報の変化を捉え，危険運転の検出・予測について研究している．未然に事故を防止することが可能な実用的バイオフィードバックシステムの構築を目指し，センサーデバイスの性能評価，非侵襲ウェア
ラブルの開発，センサーノードの実装，通信プロトコルの検討，クラウド環境の活用等について取り組んできた．
図 2 脈波，速度脈波，加速度脈波

バス車両から収集するデータは膨大であるため，オーバーレイネットワーク上でレイヤー毎に解析処理やデータベースを分散させシステム全体の効率化を図り，ネットワーク上に分散するノード間の通信に P2P 方式マルチエージェントシステムを用いることで，全てのノード間で問い合わせが可能となり，システム全体が大規模データベースとなるプラットフォームに設計した．
計測に用いるセンサーデバイスは，覚醒度低下検出における従来手法で有効であると確認されているものを用い，運転操作・脈波・表情・視線の状態をセンシングする．センサーデータの分析においては，車両・運転手に取り付けた加速度センサーから計測された加速度成分に含まれるノイズの除去，脈波のカオス解析，表情と視線について考察を行った．
今後，オーバーレイネットワークを用いた解析システムの構

図3

脈波データから算出したリアプノフ指数

築を進めると同時に，実際にバス車両・運転者を対象にした走行実験を行い，本研究の有用性を検証する予定である．

謝辞

本研究の一部は総務省の「戦略的情報通信研究開発推進事業（SCOPE）」（受付番号：150201013）の支援を受けて実施された。

図 1 脈波データのアトラクター文

献[1] 小田浩幸 “自動車運転者の労働力不足の背景と見通し” 国土交通
政策研究所報第 56 号 春季 pp.78-97, 2015.
[2] 石橋基範, 吉田倫幸 “覚醒低下に伴う反応時間と脳波の変動” 人
間工学 Vol.36, No.5, pp.229-237, 2000.
[3] 西山 潤平, 木下伸一, 平田豊 “前庭動眼反射による眠気予兆検出” 生体医工学 Vol.48 No.1, pp.1-10, 2010.
[4] 中野倫明, 杉山和彦, 水野守倫, 山本新 “居眠り検知のためのまばたき検出と覚醒度推定” 電子情報通信学会技術研究報告. PRU,
パターン認識・理解 Vol.95, No.44, pp.73-80, 1995.
[5] Carskadon MA, Dement WC, Mitler MM, Roth T, Westbrook PR, Keenan S “Guidelines for the multiple sleep latency test (MSLT): A standard measureof sleepiness” Sleep,
Vol.9, No4, pp.519-524, 1986.
[6] 吉田幹, 奥田剛, 寺西裕一, 春本要, 下條真司 “マルチオーバレイと分散エージェントの機構を統合した P2P プラットフォーム
PIAX” 情報処理学会論文誌 Vol.49, No.1, pp.402-413, 2008
[7] 国 立 研 究 開 発 法 人 情 報 通 信 研 究 機 構 “PIAX の 概 要”
http://www.piax.org/?About, 2016.01.01 現在[8] 国 立 研 究 開 発 法 人 情 報 通 信 研 究 機 構 “JGN-X の 紹介” http://www.jgn.nict.go.jp/ja/info/what-is-jgn-x.html,
2016.01.01 現在[9] 国 立 研 究 開 発 法 人 情 報 通 信 研 究 機 構 “JOSE に つ い て”http://www.nict.go.jp/nrh/nwgn/jose.html, 2016.01.01 現在[10] 多田昌裕, 納谷太, 大村廉, 岡田昌也, 野間春生, 鳥山朋二, 小暮潔,
“無線加速度センサを用いた運転者行動の計測・解析手法” 電子
情報通信学会論文誌 D, Vol.J91-D, No.4, pp.1115-1129, 2008.
[11] 今西明, 雄山真弓 “カオス解析における設定値の差異が解析結果に与える影響-指尖容積脈波における検討-” 人間工学, Vol.45,

No.2, pp.141-147, 2009.
[12] 清水健一郎, 広瀬信義 “指尖容積脈波の非線形解析は血管特性を反映する―相関次元，リアプノフ指数を用いた検討” 脈管学,
Vol.43, No.10, pp.609-614, 2003[13] 今西明, 雄山真弓 “指尖容積脈波から得られる脈拍情報とリアプノフ指数との関係-シミュレーションおよび実験による検討-” 人
間工学, Vol. 44, No.Supplement, pp.250-251, 2008.
[14] 藤田 悦則 1), 小倉 由美 1), 落合 直輝 1), 苗 鉄軍 2), 清水 俊行2), 亀井 勉 3) 4), 村田 幸治 3) 4), 上野 義雪 5), 金子 成彦 6)“指尖容積脈波情報を用いた入眠予兆現象計測法の開発” 人間工学, Vol.41, No.4, pp.203-212, 2005.
[15] 高田晴子, 高田幹夫, 金山愛 “心拍変動周波数解析の LF 成分・HF 成分と心拍変動係数の意義 : 加速度脈波測定システムによる自律神経機能評価” 総合健診, Vol.32, No.6, pp.504-512, 2005.
[16] 橋本邦衛 “精神疲労の検査” 人間工学 Vol.17, No.3, p107-113,
1981.
[17] 北島洋樹, 沼田仲穂, 山本恵一, 五井美搏 “自動車運転時の眠気の予測手法についての研究 : 第 1 報, 眠気表情の評定法と眠気変動の予測に有効な指標について” 日本機械学會論文集. C 編
Vol.63, No.613, pp3059-3066, 1997[18] 松尾治夫, キアットアブデラジズ “運転者の行動解析に基づく居眠り運転早期検出方法の開発” 電子情報通信学会論文誌 D,Vol.J98-D, No.4, pp.700-708, 2015.