(57)【要約】【課題】居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる眠気検出方法及び眠気検出装置を提供する。【解決手段】運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するためのＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築する眠気検出方法及び眠気検出装置である。【選択図】図６
2015226696.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の眠気を検出するための眠気検出方法において、
運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築することを特徴とする眠気検出方法。
【請求項２】
前記覚醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化することを特徴とする請求項１記載の眠気検出方法。
【請求項３】
車両走行時の運転者のＲＲＩデータを測定し、その取得されたＲＲＩデータに基づいてＨＲＶ解析のためのデータセットを構築した後、そのデータセットでＨＲＶ指標を求めてＨＲＶ指標ベクトルとし、標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする請求項１又は請求項２記載の眠気検出方法。
【請求項４】
車両の運転者の眠気を検出するための眠気検出装置において、
運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築することを特徴とする眠気検出装置。
【請求項５】
前記覚醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化することを特徴とする請求項４記載の眠気検出装置。
【請求項６】
車両走行時の運転者のＲＲＩデータを測定し、その取得されたＲＲＩデータに基づいてＨＲＶ解析のためのデータセットを構築した後、そのデータセットでＨＲＶ指標を求めてＨＲＶ指標ベクトルとし、標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする請求項４又は請求項５記載の眠気検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の運転者の眠気を検出するための眠気検出方法及び眠気検出装置に関するものである。
【背景技術】
【０００２】
居眠り運転の経験がある運転者は、運転免許証保有者の約３割にも達すると言われており、近時において、安全性の観点から居眠り運転防止技術は社会的にも最も重要な課題の一つであると認識されている。そのため、運転者の眠気検出をリアルタイムに行い、眠気を検出した際に警告を行うことで居眠り運転を防止する技術が開発されており、例えば運転席に取り付けた静脈センサ或いは圧力センサ等を用いて運転中の眠気検出を行う技術や、眠気の予兆とされる前庭動眼反射の劣化を画像処理等で検知することにより眠気を検出する運転中の技術等が提案されている。
【０００３】
しかし、静脈センサ或いは圧力センサ等を用いる技術においては、運転者の姿勢によって計測が中断されてしまう等の不具合や導入コストが嵩んでしまうという問題があった。また、前庭動眼反射の劣化を画像処理等で検知する技術においては、夜間等の検出が困難であるという問題がある。このような不具合を解消すべく、例えば特許文献１等により、心電図における隣接するＲ波の間隔であるＲＲ間隔（ＲＲＩ）を計測し、その計測されたＲＲＩに基づいて眠気の発生を検出して警告を発する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−１９６６３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記従来の眠気検出方法においては、ＲＲＩを計測するためのデバイスが安価となり且つ小型化されていることから、導入コストが嵩んでしまうのを抑制しつつ車両に対して容易に実装可能とされるとともに、眠気を検出するためのリアルタイム性が高いという技術的優位性を有しているものの、その検出精度については未だ十分でないという問題があった。
【０００６】
本発明は、このような事情に鑑みてなされたもので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる眠気検出方法及び眠気検出装置を提供することにある。
【課題を解決するための手段】
【０００７】
請求項１記載の発明は、車両の運転者の眠気を検出するための眠気検出方法において、運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築することを特徴とする。
【０００８】
請求項２記載の発明は、請求項１記載の眠気検出方法において、前記覚醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化することを特徴とする。
【０００９】
請求項３記載の発明は、請求項１又は請求項２記載の眠気検出方法において、車両走行時の運転者のＲＲＩデータを測定し、その取得されたＲＲＩデータに基づいてＨＲＶ解析のためのデータセットを構築した後、そのデータセットでＨＲＶ指標を求めてＨＲＶ指標ベクトルとし、標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする。
【００１０】
請求項４記載の発明は、車両の運転者の眠気を検出するための眠気検出装置において、運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築することを特徴とする。
【００１１】
請求項５記載の発明は、請求項４記載の眠気検出装置において、前記覚醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化することを特徴とする。
【００１２】
請求項６記載の発明は、請求項４又は請求項５記載の眠気検出装置において、車両走行時の運転者のＲＲＩデータを測定し、その取得されたＲＲＩデータに基づいてＨＲＶ解析のためのデータセットを構築した後、そのデータセットでＨＲＶ指標を求めてＨＲＶ指標ベクトルとし、標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の前記眠気検出モデルとに基づいて眠気を検出することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築するので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる。
【００１４】
特に、車両走行時において、運転者のＲＲＩデータから求められる標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するので、より一層の高精度化及びリアルタイム性の向上を図ることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る眠気検出方法におけるＲＲＩ及びＨＲＶ指標を求めるためのデータを示すグラフ
【図２】同眠気検出方法におけるＴ２統計量を利用する前の管理限界を示すグラフ
【図３】同眠気検出方法におけるＴ２統計量を利用した後の管理限界を示すグラフ
【図４】主成分で張られる部分空間とその直交補空間を独立に管理する方法を示すための概念図
【図５】本実施形態に係る制御内容を示すためのフローチャート
【図６】同眠気検出方法における実施例の実験データを取得する方法の流れを示す模式図
【図７】同眠気検出方法における実施例の実験データを取得する装置（赤外線カメラ）を示す模式図
【図８】同眠気検出方法における実施例の実験データを取得する装置（ＲＲＩ測定装置）を示す模式図
【図９】同眠気検出方法における実施例で使用される覚醒度評価判定基準を示す表
【図１０】同眠気検出方法における実施例における実験の顔表情判定の結果を示すグラフ
【図１１】同眠気検出方法における実施例において、覚醒時の被験者２のＬＦに対して誤検出が０％になるように管理限界を設定した際のグラフ
【図１２】同眠気検出方法における実施例において、衝突時の被験者２のＬＦに対して管理限界を設定した際のグラフ
【図１３】同眠気検出方法における実施例において、覚醒時の被験者２に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
【図１４】同眠気検出方法における実施例において、衝突時の被験者２に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
【図１５】同眠気検出方法における実施例において、覚醒時の被験者６のＬＦに対して誤検出が０％になるように設定した際のグラフ
【図１６】同眠気検出方法における実施例において、衝突時の被験者６のＬＦに対して誤検出が０％になるように設定した際のグラフ
【図１７】同眠気検出方法における実施例において、覚醒時の被験者６に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
【図１８】同眠気検出方法における実施例において、衝突時の被験者６に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
【図１９】同眠気検出方法における実施例において、覚醒時の被験者７のＬＦに対して誤検出が０％になるように設定した際のグラフ
【図２０】同眠気検出方法における実施例において、衝突時の被験者７のＬＦに対して誤検出が０％になるように設定した際のグラフ
【図２１】同眠気検出方法における実施例において、覚醒時の被験者７に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
【図２２】同眠気検出方法における実施例において、衝突時の被験者７に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
【図２３】同眠気検出方法における実施例において、覚醒時の被験者１１のＬＦに対して誤検出が０％になるように設定した際のグラフ
【図２４】同眠気検出方法における実施例において、衝突時の被験者１１のＬＦに対して誤検出が０％になるように設定した際のグラフ
【図２５】同眠気検出方法における実施例において、覚醒時の被験者１１に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
【図２６】同眠気検出方法における実施例において、衝突時の被験者１１に対して、眠気検出モデルを用いて眠気を検出した結果を示すグラフ
【発明を実施するための形態】
【００１６】
以下、本発明の実施形態について図面を参照しながら具体的に説明する。
本実施形態に係る眠気検出方法及び眠気検出装置は、車両の運転者の眠気を検出するためのもので、眠気検出モデルを構築し、その予め構築された眠気検出モデルと標準化したＨＲＶ指標ベクトルとに基づいて眠気を検出するよう構成されている。具体的には、本実施形態に係る眠気モデルの構築方法として、運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて（例えば、移動窓を用いて）心拍変動を解析するＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築するよう構成されている。特に、本実施形態に係る標準化された覚醒時ＨＲＶは、例えば移動窓を用いて求められた醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化して得られたものとされている。
【００１７】
一方、本実施形態に係る車両走行時における眠気検出方法及び眠気検出装置は、両走行時の運転者のＲＲＩデータを測定し、その取得されたＲＲＩデータに基づいて（例えば、移動窓を用いて）ＨＲＶ解析のためのデータセットを構築した後、そのデータセットでＨＲＶ指標を求めてＨＲＶ指標ベクトルとし、標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するよう構成されている。
【００１８】
心拍変動（heart rate variability;ＨＲＶ）は、ＲＲＩの変動であり、従来より、自律神経活動と関係があるためＨＲＶ解析は循環器系疾患の診察やストレスの推定等に用いられてきている。なお、一般的に、ＨＲＶ指標として時間領域指標と周波数領域指標とに大別される。典型的な心電図（electrocardiogram;ＥＣＧ）波形を図１（ａ）に示す。心電図波形は、いくつかのピークから構成されているが、もっとも高いピークをＲ波と呼び、隣接するＲ波の間隔（ｍｓ）をＲＲ間隔（RR interval;ＲＲＩ）という。
【００１９】
健常者から取得したＲＲＩデータを図１（ｂ）に示す。ＲＲＩデータは等間隔に取得されていないため、そのまま解析することは困難である。そこで、スプラインなどを用いてＲＲＩデータを補間することにより等間隔（例えば１ｓ間隔）でデータをリサンプリングすると、図１（ｃ）の如き結果となる。以下に医学的なガイドライン等で提案されているＨＲＶ指標の一部について説明する。
【００２０】
時間領域指標は、サンプリングされたＲＲＩデータより計算にて求めることができ、以下の定義とされている。「mean of RRI」は、ＲＲＩの平均値、「ＳＤＮＮ」は、ＲＲＩの標準偏差（ＲＲＩがどれだけ変動しているかを示す指標となり、ＲＲＩの変動が大きいと値は大きくなる）、「Total Power RRI」は、全周波数帯のパワースペクトル（ＲＲＩの分散に等しいため、ＲＲＩの分散を計算することで算出することができる）、「ＲＭＳＳＤ」は、ｎ番目のＲＲＩとｎ＋１番目のＲＲＩの差の２乗の平均値の平方根（５分計測における指標の一つとして推奨されており、ＲＲＩの変動が大きいと値は大きくなる）、「ＮＮ５０」は、ｎ番目とｎ＋１番目のＲＲＩの差が５０（ｍｓ）を超えた数（通常のＲＲＩの変動は５０（ｍｓ）以下であり、激しい変動の指標となる）、「ｐＮＮ５０」は、ＮＮ５０の値を全Ｒ波の数で割って割合としたもの（大きな変動が起こる割合を把握できる）、「ＨＲＶ index」は、ＲＲＩの合計数をＲＲＩのヒストグラムの最大値で割った値（ヒストグラムのビンの長さに依存する）を示すものである。
【００２１】
周波数領域指標は、リサンプリングされたＲＲＩデータのパワースペクトル密度（powerspectrum density;ＰＳＤ）より求めることができる。ここで、ＲＲＩデータのＰＳＤの計算には、Fourier変換又は自己回帰（autto regression;ＡＲ）モデルを用いることができる。以下に、周波数領域指標に関する定義を示す。
「Power of LF」は、ＬＦ帯（０．０４Ｈｚ〜０．１５Ｈｚ）のパワースペクトル（ＬＦは主に交感神経系の活動の指標とされる）、「power of HF」は、ＨＦ帯（０．１５Ｈｚ〜０．４Ｈｚ）のパワースペクトル（ＨＦは主に副交感神経系の活動の指標とされる）、「ＬＦ／ＨＦ」は、ＬＦをＨＦで割った値であり交感神経系と副交感神経系の活動状況の比を示すものである。
【００２２】
このうち、「ＬＦ／ＨＦ」について、交感神経優位では、ＬＦが現れてＨＦは減少するのに対し、副交感神経優位では、ＬＦとＨＦのどちらも現れるので、交感神経優位で値が大きくなり、副交感神経優位で値が小さくなる。このため、「ＬＦ／ＨＦ」は、ストレス指標とも呼ばれるものである。なお、図１（ｃ）のＲＲＩデータのＰＳＤとＬＦ／ＨＦを同図（ｄ）に示す。
【００２３】
次に、本実施形態に係る眠気検出方法について、図５のフローチャートに基づいて説明する。
先ず、ＲＲＩデータＩデータを１拍分受け付け（Ｓ１）、外れ値補正部にて外れ値補正（Ｓ２）を行った後、その補正済みＲＲＩデータをバッファに送信し、特徴抽出部による特徴抽出（Ｓ４）、識別部による眠気の検出（Ｓ５）を順次行い、眠気があるか否かの判定（Ｓ６）を行う。Ｓ６にて眠気があると判定されると、眠気（眠気の警告）アラームを発生（Ｓ７）させて運転者に注意喚起をさせる。また、覚醒時のデータ収集時においては、特徴抽出部による特徴抽出（Ｓ４）の後、得られたデータをバッファにて保持させ（Ｓ８）、眠気検出モデル構築部にて眠気検出モデルを構築（Ｓ９）している。
【００２４】
外れ値補正部（Ｓ２）は、体動などによってＲ波計測デバイスにてＲ波が正しく検出されず、ＲＲＩが外れ値となった場合に、その外れ値を補正するためのプロセスである。具体的には、取得したＲＲＩデータの外れ値検出において、通常の３σ法を参考として平均値の代わりに中央値を、標準偏差の代わりに中央絶対偏差を用いるものとされている。中央絶対偏差（mad_std）は、サンプルデータを列ベクトルｘ、中央値をmedian(x)とすると、以下の式で定義される。
【００２５】
【数１】
2015226696.tif 000003
【００２６】
また、サンプルデータが正規分布に従うときの標準偏差推定値madは、次式で計算される。
【００２７】
【数２】
2015226696.tif 000004
【００２８】
この中央値と中央絶対偏差を用いた外れ値検出法により、正常値と見なされるＲＲＩデータの下限値及び上限値は、以下のように定義される。
【００２９】
【数３】
2015226696.tif 000005
【００３０】
そして、下限値を下回った場合は、中央値で置き換えを行う。ＲＲＩデータが下限値を下回るのは、心拍測定デバイスに筋電などのアーチファクトが混入して誤ってＲ波と見なされ、不正確なＲ波のタイミングがデバイスから送信されている場合である。プログラムは、デバイスからの不正確なＲ波のタイミングのみを受信するため、実際のＲＲＩを求めるのが困難であるので、本実施形態のように、下限値を下回ったＲＲＩを中央値で置き換えることにより、外れ値の影響を小さくすることができる。
【００３１】
一方、ＲＲＩデータが上限値を上回った場合は、数拍分のＲＲＩの合計をＲＲＩデータとして誤ってカウントしていると考えられる。そこで、本実施形態においては、上限値を上回ったＲＲＩデータをサンプルの中央値で除して最も近い整数へ丸め、外れ値が何拍分に相当するのかを計算した後、外れ値をその拍数で除した値で外れ値を置き換えるものとされている。
【００３２】
特徴抽出部（Ｓ４）は、取得されたＲＲＩデータを解析することが容易なデータ形式（即ち、特徴量）に変換するためのプロセスである。本プロセスで用いられる特徴量は、上記した医学的なガイドライン等で提案されている解析法を参考にして、１０種類を用いている。すなわち、mean of RRI、ＳＤＮＮ、ＲＭＳＳＤ、Total power、ＮＮ５０、ｐＮＮ５０、ＨＲＶ index、ＬＦ、ＨＦ、ＬＦ／ＨＦの１０種類（各詳細な説明は上記参照）を用いて特徴量を得ているのである。なお、これらの特徴量を１回計算するには、３分程度の長さのＲＲＩデータが必要であるため、本実施形態においては、先ず２５０拍分のＲＲＩデータをバッファとして保持する必要がある。つまり、本プロセス開始後、２５０拍分のＲＲＩデータがバッファとして保持されるまで特徴量は計算されず、２５０拍目以降は、１拍毎に特徴量が計算されるのである。
【００３３】
眠気検出モデル構築部（Ｓ９）は、プログラム実行直後にＲＲＩデータにより個人適合する（運転者毎の）眠気検出モデルを構築するプロセスである。ＲＲＩデータは、個人差が大きいため、単一の眠気検出モデルでは、多様なユーザに適合させるのが困難である。そこで、個人に適合した運転者毎のプロセスとするため、２５０拍分の特徴量データより、そのユーザに特化した眠気検出モデルを構築しているのである。
【００３４】
したがって、本実施形態に係る眠気検出モデル構築部においては、特徴量計算のための２５０拍分のＲＲＩデータのバッファと、特徴量計算開始後２５０拍分の特徴量データ取得のため、合計５００拍分のデータが必要とされる。５００拍とは、約６分程度のデータ量に相当するが、本実施形態においては、構築した眠気検出モデルをストレージに記憶させて保持しておき、それを本プログラムの起動時にロードするよう構成しているので、一度眠気検出モデルを構築すれば、ＨＲＶ指標計算のための２５０拍のＲＲＩデータを取得すればよく、ＲＲＩデータ取得開始約３分後に眠気検出を開始させることができる。
【００３５】
識別部（Ｓ５）は、眠気検出モデル構築部（Ｓ９）にて構築された眠気検出モデルと、特徴抽出部（Ｓ４）にて求められた特徴量とに基づいて、運転者の眠気を判定するためのプロセスである。そして、Ｓ６にて眠気があるか否か判断され、眠気があると判断されると、Ｓ７にて眠気アラーム（警報）を発生させるとともに、眠気がないと判断されると、Ｓ１に戻って一連のプロセスが繰り返される。なお、図５中の点線は、眠気検出モデルの構築時のみ行われるプロセスを示している。
【００３６】
ここで、本実施形態に係る眠気検出モデル構築において、主成分分析に基づいた異常検出方法である多変量統計的プロセス管理（Multivariate Statistical Process Control;ＭＳＰＣ）を用いている。主成分分析は、データの特徴抽出及び次元圧縮を目的とする多変量解析であり、変数間の相関関係を捉えるために、変数の線形結合によって、主成分と呼ばれる新たな合成変数を作り出すものである。
【００３７】
すなわち、図２で示すように、データを最もよく表現でできる方向に第１主成分（the 1st main component）を設定し、その第１主成分と直交する空間の中で、第１主成分では表現できないデータの変動を最もよく表現できる方向に第２主成分（the 2nd main component）を設定するという手順で、主成分を次々と設定する。ここで、データを最もよく表現する方向とは、主成分得点の分散が最大となる方向という意味であり、主成分得点とは、主成分軸上の座標、すなわち主成分が張る空間にデータを射影した値をいう。
【００３８】
先ず、データ行列を以下のように定義する。なお、Ｐは変数の数、Ｎはサンプル数であり、各変数は標準化されているとする。
【００３９】
【数４】
2015226696.tif 000006
【００４０】
また、データ行列Ｘの特異値分解を以下のように定義する。
【００４１】
【数５】
2015226696.tif 000007
【００４２】
ＵとＶは、直交行列であり、対角行列Ｓの対角要素には、特異値ｓｒが降順に並んでいる。採用する主成分の数をＲとすると、第ｒ主成分は負荷量行列（Loading Matrix）ＶＲの第ｒ列ｖｒで与えられ、第ｒ主成分ｔｒは、
【数６】
2015226696.tif 000008
で計算される。なお、ｖｒはＵＲの第ｒ列である。第Ｒ主成分得点までをまとめて表現すると、
【数７】
2015226696.tif 000009
となる。主成分得点の共分散行列が、
【数８】
2015226696.tif 000010
のように対角行列となることから、主成分得点は互いに無相関であることがわかる。このように、主成分を導入することによって、データを表現するための空間をＰ次元からＲ次元へ圧縮することができる。かかる次元圧縮後のＲ次元空間の基底が主成分であり、主成分得点が座標である。次元圧縮後のデータを元のＰ次元空間上の座標で表現すると、
【数９】
2015226696.tif 000011
となる。Ｘ＾は再構築データであり、
【数１０】
2015226696.tif 000012
が次元圧縮によって失われる情報、すなわち予測誤差とも呼ばれる残差である。
しかるに、主成分分析を利用することによって、図２のように楕円管理限界を設定することができる。しかし、このままでは管理限界を超えたかどうかの判断を簡単に行うことができないので、以下に示す統計量「Hotelling’s T2」を用いる。
【００４３】
【数１１】
2015226696.tif 000013
【００４４】
ここで、σｔｒは第ｒ主成分得点ｔｒの標準偏差であり、Ｔ２統計量はマハラノビス距離に対応している。つまり、Ｔ２統計量が小さいほどサンプルはモデル構築データの平均に近いのである。このＴ２統計量を利用することによって、図３に示すように、管理限界を楕円から真円に変形することができるため、正常と異常を区別するのに適した上限値をＴ２統計量に対して設定すればよく、主成分で張られる部分空間については、Ｔ２統計量による管理が有効である。
【００４５】
一方、主成分分析による次元圧縮で失った情報、すなわち主成分で張られる部分空間の直交補空間における残差を監視することにより、サンプルと構築したモデルとの非類似度を求めることができる。そこで、残差から計算される以下のＱ統計量を用いる。
【００４６】
【数１２】
2015226696.tif 000014
【００４７】
このＱ統計量は、二乗予測誤差とも呼ばれ、データのうち、モデルによっては表現できない部分を表すものとされる。このようなＴ２統計量とＱ統計量を用いて、主成分で張られる部分空間とその直交補空間を独立に管理する方法の概念図を図４に示す。そして、Ｔ２統計量とＱ統計量とを同時に監視し、いずれか一方でも管理限界を超えた場合に異常と判定するのが、主成分分析に基づく「多変量統計的プロセス管理」なのである。
【００４８】
上記した実施形態に係る眠気検出方法及び眠気検出装置によれば、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築するので、居眠り検出のリアルタイム性が高く車両に対して容易に実装可能とされるとともに、より高精度に運転者の居眠りを検出することができる。特に、車両走行時において、運転者のＲＲＩデータから求められる標準化したＨＲＶ指標ベクトルと予め構築された運転者毎の眠気検出モデルとに基づいて眠気を検出するので、より一層の高精度化及びリアルタイム性の向上を図ることができる。
【実施例】
【００４９】
次に、本発明の技術的優位性を示すための実験、及び実施例について説明する。
（実験条件）
本実施例においては、眠気検出モデルの構築するためのデータを取得するため、図６に示すように、ドライビングシミュレータＤを用いた被験者実験を行い、運転時のＲＲＩデータ、顔表情データ及び運転データを取得した。被験者実験では、ドライビングシミュレータＤからデータ収集手段１に対してＨ１（ＬＡＮによる運転データの収集）、Ｈ２（無線によるＲＲＩデータの収集）及びＨ３（動画による顔表示データの収集）により種々データを収集するものとし、実験参加者（被験者）３０名分のドライビングシミュレータＤを運転した時のＲＲＩデータ、顔表情データ（動画）、運転データ（位置、速度、加速度、ハンドル角、ペダル入力など）を取得した。
【００５０】
なお、実験においては、夜間の高速道路を模擬した周回路を最長２時間運転するものされ、単調な走行によって眠気を誘発するために、他の車両が一切出現しないシナリオとした。夜間走行を模擬した実験を行うためには、部屋を暗くする必要があり、普通のカメラでは被験者の顔表情データを種等できないことから、図７に示す如き、赤外線を照射しつつレンズ２ａ部にて被験者の表情を撮像できる赤外線カメラ２を用いるものとした。また、ドライビングシミュレータのホストＰＣでは十分な量の運転データを保存できないため、ＬＡＮ経由でデータ収集手段１にデータを送信して保存するものとした。
【００５１】
被験者のＲＲＩデータは、図８に示すようなＲＲＩを長時間遠隔計測できる心電ＲＲ間隔遠隔計測システムを用い、無線通信によりデータ収集手段１にて保存するものとした。このように、時間を同期して全ての実験データを収集できる環境を構築して実験が行われた。本実験では、実験参加者３０名における運転中のＲＲＩデータ、顔表情データ及び運転データを取得したが、ハードウェアの不調や被験者の体調不良による実験中止等により、実際に解析可能なデータが取得できた被験者は２７名となった。この被験者２７名の属性について、以下の表１に示す。
【００５２】
【表１】
2015226696.tif 000015
【００５３】
（顔表情判定）
眠気の度合いを客観的に評価するため、図９に示す覚醒度評価判定基準に基づき、取得した被験者の顔表情データ（動画）から顔表情判定値を求め、当該顔表情報判定値を用いてＲＲＩデータを異常サンプルと正常サンプルとに分類した。かかる覚醒度評価判定基準は、覚醒水準、覚醒努力、覚醒の回復の三つの視点から評定者による評定を行わせるものである。本実験では、被験者の正常画像を２０秒ごとのセグメントに分割して、ランダムな順序で３名の評定者に提示し、覚醒水準、覚醒努力、覚醒の回復の有無を評定させた。この覚醒度評価判定基準に基づいて被験者（被験者８）に対して顔表情判定を行った結果を図１０に示す。
【００５４】
それぞれの評定者による評定には、ばらつきが見られることから、本実験の如く３名の評定者による評定は信頼性が高いと判断できる。なお、実験データ解析には、評定者３名の２０秒ごとの覚醒水準の評定値を平均し、さらに１分毎の３つの平均値をとることとし、最終的に得た１分毎の顔表情判定値を用いることとした。
【００５５】
（眠気検出モデルの構築）
被験者実験で取得した２７名の運転時のＨＲＶ指標を用いて眠気検出モデルを構築した。この眠気検出モデルは、ＨＲＶ解析によって得られた時間領域指標７個と、周波数領域指数３個との合計１０個のＨＲＶ指標にて構築されるものとされ、ＲＲＩを受信する毎にこれらのＨＲＶ指標が計算され、眠気検出モデルに入力されて構築されるようになっている。なお、出力は、眠気ありと眠気なしの二値である。
【００５６】
（眠気検出モデル構築用データ）
被験者実験で得られた２７名の運転時のＨＲＶ指数と顔表情判定値とから被験者毎に眠気検出モデルを構築した。図９に示す覚醒度評価判定基準に基づく顔表情判定によって覚醒水準が２．０未満と判定されたＨＲＶ指標データのうち、２５０拍（約３分）のデータを眠気検出モデル構築用の覚醒時サンプルとした。
【００５７】
（眠気検出モデルの構築条件）
眠気検出モデルの構築には、多変量統計的プロセス管理（ＭＳＰＣ）を用い、主成分と管理限界の信頼区間は以下のように設定した。
・主成分
主成分数１を作用した。主成分数は試行錯誤で決定した。
・管理限界の信頼区間
眠気検出モデル構築用の覚醒時サンプルの８０％が正常、すなわち覚醒状態であると判定されるように管理限界を設定した。
【００５８】
（眠気検出モデルの検証）
被験者実験で得られた２７名の運転時のＨＲＶ指標と、顔表情判定値とから被験者毎に構築した眠気検出モデルの検証を行った。この検証は、覚醒時と衝突時の識別性能評価と、覚醒時と低覚醒時の識別性能評価の２通りの方法で行った。
【００５９】
（覚醒時と衝突時の識別）
図１０に示すように、評定者による眠気の評定値にはばらつきが大きく、被験者本人も強い眠気を感じた時間を示すのが困難である。そこで、じっさいに運転中に居眠りをして道路外壁と衝突したり、或いは居眠り運転による事故を起こしたケースについて、衝突前に眠気検出を行うことができたか検証した。検証サンプルを以下に示す。
・検証用覚醒時サンプル
顔表情判定によって覚醒水準２．０未満と判定されたＨＲＶ指標データであり、眠気検出モデル構築に用いていないデータのうち、２０分間のデータを検証用覚醒時サンプルとした。
・検証用衝突時サンプル
ドライビングシミュレータを運転中に居眠りをして道路外壁と衝突した時刻の周辺２０分のＨＲＶ指標データを検証用衝突時サンプルとした。なお、衝突時サンプルの選定には顔表情動画の確認を行い、居眠り以外の要因で衝突したサンプルを含まないようにした。よって、検証用衝突時サンプルには、被験者が居眠りに至るほどの強い眠気を感じており、顔表情判定値よりも客観性の高い低覚醒状態のものしか含まれていない。
【００６０】
眠気検出モデルでは、Ｔ２統計量とＱ統計量とが管理限界内にある場合は正常（覚醒状態）と判定され、管理限界を超える場合は異常（低覚醒状態）と判定される。眠気検出装置の性能評価に用いられる指標として、感度と特異度とが挙げられる。これら感度及び特異度は、表２で示す真陽性ａ、偽陽性ｂ、偽陰性ｃ、真陰性ｄを用いて以下の式であらわされる。
【００６１】
【表２】
2015226696.tif 000016
【００６２】
【数１３】
2015226696.tif 000017
【００６３】
【数１４】
2015226696.tif 000018
【００６４】
すなわち、眠気検出モデルが異常サンプルを正しく異常と判定できた割合が感度であり、正常サンプルを正しく正常と判定できた割合が特異度である。衝突した８名の覚醒時サンプルと衝突時サンプルとによりＴ２統計量とＱ統計量との感度と特異度を計算したところ、表３のようになった。
【００６５】
【表３】
2015226696.tif 000019
【００６６】
Ｑ統計量は、Ｔ２統計量より感度が高いが、特異度が極めて低く、覚醒状態を低覚醒状態と誤判定する確率が高くなっているため、感度と特異度がともに高いＴ２統計量の方が識別指数として性能が高く優れている。これは、１つの主成分が張る空間、すなわち直線上の原点からの距離を表すＴ２統計量が管理限界内にあるかどうかで、覚醒状態か低覚醒状態かを識別できていることを表す。主成分数が少ない場合は、このようにＴ２統計量での識別性能が高くなる傾向にある。Ｔ２統計量の感度が７３％であることから、Ｔ２統計量を監視した場合の誤検出は３６％と小さく抑えることができた。
【００６７】
また、本実験においては、被験者全員の管理限界をモデル構築用の覚醒時サンプルの８０％が正常であると判定されるように設定したが、被験者個人に合わせて調整することによって、さらに感度及び特異度を大きくすることができると考えられるとともに、眠気検出技術の使用用途に合わせて管理限界を調整することで、感度と特異度とのバランスを決定することも考えられる。例えば、乗客の人命を預かるバスやタクシー等の運転者に対しては、多少誤検出があっても感度の高い眠気検出装置が必要であり、少しでも低覚醒状態に近いときは警告を発するように管理限界を下げることができる。
【００６８】
次に、Ｔ２統計量及びＱ統計量に対して最適な管理限界の設定を行った場合に、覚醒時と衝突時とが適切に識別できるかを検証した。つまり、Ｔ２統計量及びＱ統計量が覚醒時と衝突時とで明らかに異なっているかを評価したのである。はじめに、ＨＲＶ指標のみで覚醒時と衝突時とを識別可能かを評価した後、Ｔ２統計量及びＱ統計量を用いた眠気検出装置の性能評価を行った。しかるに、衝突した８名の被験者のうち、４名の覚醒状態１２００（ｓ）と、居眠り運転による衝突を含む１２００（ｓ）における１０種類のＨＲＶ指標、Ｔ２統計量、Ｑ統計量を図１１〜２６に示す。なお、衝突時の図においては、９００（ｓ）が衝突タイミングを示している。
【００６９】
まず、それぞれの被験者の１０種類のＨＲＶ指標を覚醒時と衝突周辺時とで比較する。８名全ての被験者において、Total power、ＮＮ５０、ｐＮＮ５０、ＨＲＶ index、ＬＦ、ＬＦ／ＨＦの平均値について、衝突周辺時の方が覚醒時よりも大きくなるという傾向が見られた。また、ＳＤＮＮ、ＲＭＳＳＤ、ＨＦの平均値は、覚醒時と比べて衝突周辺時の方が大きくなる若しくは変化なしという傾向が見られたが、小さくなる傾向は見られなかった。
【００７０】
以上により、覚醒時と低覚醒時とで異なる心拍パターンを示すことが分かった。Total power、ＮＮ５０、ｐＮＮ５０、ＨＲＶ index、ＬＦ、ＬＦ／ＨＦの平均値について、衝突周辺時の方が覚醒時よりも大きくなる傾向が見られたので、試しに、ＬＦに管理限界を設定することにより識別性能の検証についても行った。被験者２、被験者７のＬＦに対して誤検出率が０％となるように管理限界を設定したものについて、図１１、１２、及び図１９、２０にそれぞれ示す。被験者２のデータは、衝突１００（ｓ）前から継続して管理限界を上回っており、眠気を検出できている一方、被験者７のデータは、衝突前に管理限界を上回っている時間帯も存在するが、衝突４０（ｓ）前には一度管理限界を下回っており、正確に眠気を検出できていない。
【００７１】
このように、被験者によっては、それぞれのＨＲＶ指標毎に管理限界を設定する手法では眠気を検出するのが困難であるので、より正確に眠気を検出するには、本実施形態の如く運転者毎の眠気検出モデルを用いる必要がある。眠気検出モデルを用いて、被験者２に対して、眠気検出を行った結果を図１３、１４に示す。Ｔ２の統計量は、覚醒時よりも衝突周辺時の方が有意に大きくなっていることが分かる。
【００７２】
これは、各ＨＲＶ指標の線形結合である第１主成分上において、衝突周辺時のＨＲＶ指標が覚醒時のＨＲＶ指標の平均値から離れていることを意味している。Ｑ統計量に関しては、Ｔ２統計量ほど顕著ではないものの衝突前に大きくなっていることが確認できる。よって、Ｔ２統計量及びＱ統計量に適切な管理限界を設けることにより、覚醒時のＨＲＶデータと衝突周辺時のＨＲＶデータとを正しく識別することができる。但し、誤検出は必ずあるため、どこに管理限界を設けるかは感度と特異度とのトレードオフで決める必要がある。
【００７３】
そこで、被験者２の場合では、点線で示したようにＴ２統計量及びＱ統計量の管理限界を決めたとすると、覚醒時データを示す図１３においては誤検出がほぼ見られないが、衝突を含むデータを示す図１４においては衝突の３０（ｓ）前には、Ｔ２統計量及びＱ統計量の両方で確実に眠気を検出できている。これらの検出時刻は、管理限界の設定によって変化するが、覚醒時と衝突時とではＴ２統計量の大きさに明確な差があることから、このケースでは容易に眠気検出ができることが分かる。
【００７４】
さらに、他の３名の被験者においても、図１５〜２６に示すように、被験者２と同様、覚醒時と衝突時とでＨＲＶ指標に差があること、また衝突直前にＴ２統計量及びＱ統計量が増加することが分かる。特に、被験者７については、ＬＦに対して管理限界を設定する方法では眠気検出が困難であったが、Ｔ２統計量に管理限界を設定する方法では、図２１、２２に示すように、衝突前から継続して眠気を検出できており、ＬＦを用いた眠気検出方法よりもＴ２統計量を用いた眠気検出方法の方が識別性能が高いことが分かる。なお、図示していない他の４名の被験者についても同様の傾向が見られた。すなわち、管理限界の設定によって検出時間は前後するものの、衝突３０（ｓ）前には眠気を検出できるため、居眠り運転による事故を回避できると考えられる。
【００７５】
（覚醒時と低覚醒時の識別）
覚醒時サンプルと低覚醒時サンプルについて、顔表情判定値に基づいて分類した。以下に検出用サンプルについて説明する。
・検証用覚醒時サンプル
顔表情判定によって覚醒水準２．９未満と判定されたＨＲＶ指標データのうち、眠気検出モデルの構築に用いていない残りのデータを検証用覚醒時サンプルとした。
・検証用低覚醒時サンプル
顔表情判定によって覚醒水準２．２以上と判定されたＨＲＶ指標データを全て検証用低覚醒時サンプルとした。
【００７６】
（眠気検出モデル性能検証）
被験者２７名の覚醒時サンプルと低覚醒時サンプルとによりＴ２統計量及びＱ統計量を計算した結果、表４のようになった。覚醒時と衝突時との識別の場合と同様、Ｑ統計量はＴ２統計量よりも感度が高いが特異度が極めて低く、覚醒状態を低覚醒状態と誤判定する確率が高くなっている。このため、感度及び特異度が共に高いＴ２統計量の方が識別指標として性能が高く優れていることが分かる。Ｔ２統計量の感度が７４％であることから、Ｔ２統計量を監視した場合の眠気検出率は７４％となった。
【００７７】
【表４】
2015226696.tif 000020
【００７８】
以上、本実施形態について説明したが、本発明はこれに限定されず、例えば標準化された覚醒時ＨＲＶ指標データについて、覚醒時ＨＲＶ指標データの平均と分散を求めて覚醒時ＨＲＶ指標データを標準化するものに代え、上記実施形態と異なる標準化方法を採用してもよい。また、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築するものであれば足りる。
【産業上の利用可能性】
【００７９】
運転者の覚醒時の心電図波形における隣接するＲ波の間隔であるＲＲＩデータを取得し、その取得されたＲＲＩデータに基づいて心拍変動を解析するためのＨＲＶ解析のためのデータセットを構築した後、それぞれのデータセットでＨＲＶ指標を求めて覚醒時ＨＲＶ指標データを求め、標準化された覚醒時ＨＲＶ指標データに基づいて多変量統計的プロセス管理（ＭＳＰＣ）を用いて運転者毎の眠気検出モデルを構築する眠気検出方法及び眠気検出装置であれば、他の形態のものであってもよい。
【符号の説明】
【００８０】
１  データ収集手段
２  赤外線カメラ
Ｄ  ドライビングシミュレータ
【図４】
2015226696.tif 000021
【図５】
2015226696.tif 000022
【図６】
2015226696.tif 000023
【図７】
2015226696.tif 000024
【図９】
2015226696.tif 000025
【図１０】
2015226696.tif 000026
【図１１】
2015226696.tif 000027
【図１２】
2015226696.tif 000028
【図１３】
2015226696.tif 000029
【図１４】
2015226696.tif 000030
【図１５】
2015226696.tif 000031
【図１６】
2015226696.tif 000032
【図１７】
2015226696.tif 000033
【図１８】
2015226696.tif 000034
【図１９】
2015226696.tif 000035
【図２０】
2015226696.tif 000036
【図２１】
2015226696.tif 000037
【図２２】
2015226696.tif 000038
【図２３】
2015226696.tif 000039
【図２４】
2015226696.tif 000040
【図２５】
2015226696.tif 000041
【図２６】
2015226696.tif 000042
【図１】
2015226696.tif 000043
【図２】
2015226696.tif 000044
【図３】
2015226696.tif 000045
【図８】
2015226696.tif 000046