(57)【要約】【課題】前庭動眼反射運動の取得精度を向上させることができるデータ処理装置を提供すること。【解決手段】人をモニタリングするためのデータ処理を行うデータ処理装置であって、人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、該状態判定部により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部と、該介入制御部により前記介入制御が行われた場合、又は前記状態判定部により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部と、該測定部により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部とを装備する。【選択図】図２
2019136165.tif 000002
【特許請求の範囲】
【請求項１】
人をモニタリングするためのデータ処理を行うデータ処理装置であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、
該状態判定部により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部と、
該介入制御部により前記介入制御が行われた場合、又は前記状態判定部により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部と、
該測定部により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部とを備えていることを特徴とするデータ処理装置。
【請求項２】
前記算出部により算出された前記前庭動眼反射運動を用いて、前記人の眠気度を判定する眠気判定部を備えていることを特徴とする請求項１記載のデータ処理装置。
【請求項３】
前記眠気判定部により判定された前記眠気度に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴とする請求項２記載のデータ処理装置。
【請求項４】
前記介入制御部により前記介入制御が行われた後、前記測定部により測定された前記データが、前記前庭動眼反射運動の算出に適したデータであるか否かを判定するデータ判定部を備え、
前記算出部が、前記測定部により測定された前記データのうち、前記データ判定部により前記適したデータであると判定された前記データを用いて、前記前庭動眼反射運動を算出するものであることを特徴とする請求項１〜３のいずれかの項に記載のデータ処理装置。
【請求項５】
前記データ判定部が、前記適したデータであるか否かを重み付けして判定するものであり、
前記算出部が、前記重み付けを加味して前記前庭動眼反射運動を算出するものであることを特徴とする請求項４記載のデータ処理装置。
【請求項６】
前記物が車両であり、
前記人が前記車両を運転する運転者であることを特徴とする請求項１〜５のいずれかの項に記載のデータ処理装置。
【請求項７】
前記所定の状態が、前記車両を直進させる状態を含んでいることを特徴とする請求項６記載のデータ処理装置。
【請求項８】
前記所定の状態が、前記運転者の頭部を上下、左右、前後、ヨー、又はピッチ方向に変位又は振動させる状態を含んでいることを特徴とする請求項６記載のデータ処理装置。
【請求項９】
前記所定の状態が、前記運転者に特定の箇所を注視させる状態を含んでいることを特徴とする請求項６記載のデータ処理装置。
【請求項１０】
請求項１〜９のいずれかの項に記載のデータ処理装置と、
前記人を含む画像を撮像するカメラとを含み、
前記データ処理装置の前記測定部が、
前記カメラから取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴とするモニタリングシステム。
【請求項１１】
前記測定部が、
前記画像から前記人の顔領域を抽出し、
該抽出された前記顔領域から前記人の目尻及び目頭の位置を抽出し、
該抽出された前記目尻及び目頭の位置の移動状態から前記頭部運動を測定するものであることを特徴とする請求項１０記載のモニタリングシステム。
【請求項１２】
請求項３記載のデータ処理装置と、
該データ処理装置の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴とする覚醒システム。
【請求項１３】
人をモニタリングするためのデータ処理方法であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
該状態判定ステップにより前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップと、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップとを含むステップを実行させることを特徴とするデータ処理方法。
【請求項１４】
人をモニタリングするためのデータ処理を少なくとも１つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも１つのコンピュータに、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
該状態判定ステップにより前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップと、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップとを実行させることを特徴とするデータ処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、頭部運動により誘発される前庭動眼反射を利用して、車両の運転者、設備の操作者などが眠気を自覚する前の予兆を検出することを目的とする眠気予兆検出装置について開示されている。
【０００３】
特許文献１記載の眠気予兆検出装置は、頭部運動を検出する頭部運動検出手段と、眼球運動を検出する眼球運動検出手段と、前記頭部運動検出手段により検出された頭部運動データに基づいて理想眼球運動角速度を算出する理想眼球運動角速度算出手段と、前記眼球運動検出手段により検出された眼球運動データに基づいて眼球回転角速度を算出する眼球回転角速度算出手段と、理想眼球運動角速度と眼球回転角速度とから前庭動眼反射（Ｖｅｓｔｉｂｕｌｏ−Ｏｃｕｌａｒ  Ｒｅｆｌｅｘ：ＶＯＲ）を検出し、この前庭動眼反射に基づいて眠気の予兆を判定する眠気予兆判定手段と、を備えている。
【０００４】
［発明が解決しようとする課題］
特許文献１には、自動車運転時を模擬した実験システム、すなわちドライビングシミュレータシステムを用い、スクリーンに投影される前方車両のナンバープレート上部を注視点として固視させるなどの実験タスクを被験者に課した状態での試験結果が開示されている。
【０００５】
しかしながら、前記ドライビングシミュレータシステムを用いた疑似的な実験環境は、実際の車両の走行環境とは大きく異なっている。本発明者は、実際の車両の走行環境（実車環境）で検証を行った結果、実車環境では、前庭動眼反射運動を精度良くモニタリングすることが極めて難しいことを見出した。また、実車環境に限らず、設備等の操作環境や作業環境などの様々な現実環境においても、実際に前庭動眼反射運動を精度良くモニタリングすることが難しいという課題があった。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５２５５０６３号公報
【発明の概要】
【課題を解決するための手段及びその効果】
【０００７】
本発明は上記課題に鑑みなされたものであって、現実環境下における前庭動眼反射運動のモニタリング精度を高めることができるデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムを提供することを目的としている。
【０００８】
上記目的を達成するために本開示に係るデータ処理装置（１）は、人をモニタリングするためのデータ処理を行うデータ処理装置であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部と、
該状態判定部により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部と、
該介入制御部により前記介入制御が行われた場合、又は前記状態判定部により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部と、
該測定部により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部とを備えていることを特徴としている。
【０００９】
上記データ処理装置（１）によれば、前記所定の状態にないと判定された場合、前記介入制御によって、前記人又は前記物を、前記人の前庭動眼反射運動の算出に適した状態、換言すれば、前記前庭動眼反射運動を算出するために用いる前記データのシグナルノイズ（ＳＮ）比が高くなる状態に促すことが可能になる。そして、前記介入制御によって前記ＳＮ比が高くなるように促された状態、又は前記ＳＮ比が高くなる前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定し、前記前庭動眼反射運動を算出するので、現実環境下における前記前庭動眼反射運動のモニタリング精度を高めることができる。また前記所定の状態にあると判定された場合、換言すれば、前記シグナルノイズ比が高いと想定される状態では、前記介入制御を行うことなく、前記前庭動眼反射運動を算出するため、不要な前記介入制御を行う必要がなくなり、省電力化を実現することができる。なお、前記シグナルノイズのシグナルは、前記前庭動眼反射運動による眼球運動を示し、ノイズは、前記前庭動眼反射運動以外の眼球運動（例えば、サッカード運動、輻輳性運動など）を示す。
【００１０】
また本開示に係るデータ処理装置（２）は、上記データ処理装置（１）において、前記算出部により算出された前記前庭動眼反射運動を用いて、前記人の眠気度を判定する眠気判定部を備えていることを特徴としている。
【００１１】
上記データ処理装置（２）によれば、前記眠気判定部により、現実環境下における前記眠気度も精度良く判定することができる。
【００１２】
また本開示に係るデータ処理装置（３）は、上記データ処理装置（２）において、前記眠気判定部により判定された前記眠気度に基づいて、前記人を覚醒させるための制御を行う覚醒制御部を備えていることを特徴としている。
【００１３】
上記データ処理装置（３）によれば、前記覚醒制御部により、前記眠気度に応じて前記人を適切に覚醒させる制御を行うことができる。
【００１４】
また本開示に係るデータ処理装置（４）は、上記データ処理装置（１）〜（３）のいずれかにおいて、
前記介入制御部により前記介入制御が行われた後、前記測定部により測定された前記データが、前記前庭動眼反射運動の算出に適したデータであるか否かを判定するデータ判定部を備え、
前記算出部が、前記測定部により測定された前記データのうち、前記データ判定部により前記適したデータであると判定された前記データを用いて、前記前庭動眼反射運動を算出するものであることを特徴としている。
【００１５】
上記データ処理装置（４）によれば、前記介入制御が行われた後に測定された前記データのうち、前記適したデータであると判定された前記データを用いて前記前庭動眼反射運動が算出されるので、前記介入制御が行われた後における前記前庭動眼反射運動のモニタリング精度をより高めることができる。
【００１６】
また本開示に係るデータ処理装置（５）は、上記データ処理装置（４）において、前記データ判定部が、前記適したデータであるか否かを重み付けして判定するものであり、前記算出部が、前記重み付けを加味して前記前庭動眼反射運動を算出するものであることを特徴としている。
【００１７】
上記データ処理装置（５）によれば、前記データが前記適したデータであるかを前記重み付けによって細かく判定することができる。また、前記重み付けを加味して前記前庭動眼反射運動を算出するので、前記データの一部だけではなく全てを用いて、現実環境に対応した前記前庭動眼反射運動をモニタリングすることができる。
【００１８】
また本開示に係るデータ処理装置（６）は、上記データ処理装置（１）〜（５）のいずれかにおいて、前記物が車両であり、前記人が前記車両を運転する運転者であることを特徴としている。
【００１９】
上記データ処理装置（６）によれば、前記物が車両であり、前記人が前記車両を運転する運転者であるので、実車環境において、前記運転者の前庭動眼反射運動を精度良くモニタリングすることができる。
【００２０】
また本開示に係るデータ処理装置（７）は、上記データ処理装置（６）において、前記所定の状態が、前記車両を直進させる状態を含んでいることを特徴としている。
【００２１】
上記データ処理装置（７）によれば、前記所定の状態が、前記車両を直進させる状態を含んでいる。したがって、前記介入制御部により、前記車両を直進させる状態となるように介入制御を行うことができる。そして、前記前庭動眼反射運動以外の眼球運動、例えば、サッカード運動や輻輳性運動などが生じにくい状態、換言すれば、前記前庭動眼反射運動のノイズ成分が少なくなる状態で測定された前記データを用いて、前記前庭動眼反射運動を精度良くモニタリングすることができる。
【００２２】
また本開示に係るデータ処理装置（８）は、上記データ処理装置（６）において、前記所定の状態が、前記運転者の頭部を上下、左右、前後、ヨー、又はピッチに変位又は振動させる状態を含んでいることを特徴としている。
【００２３】
上記データ処理装置（８）によれば、前記所定の状態が、前記運転者の頭部を上下、左右、前後、ヨー、又はピッチ方向に変位又は振動させる状態を含んでいる。したがって、前記介入制御部により、前記運転者の頭部を上下、左右、前後、ヨー、又はピッチ方向に変位又は振動させる状態になるように介入制御を行うことができる。そして、前記運転者の頭部が振動しやすい状態、換言すれば、前記前庭動眼反射運動のシグナル成分、特に変位が大きくなる状態で測定された前記データを用いて、前庭動眼反射運動を精度良くモニタリングすることができる。
【００２４】
また本開示に係るデータ処理装置（９）は、上記データ処理装置（６）において、前記所定の状態が、前記運転者に特定の箇所を注視させる状態を含んでいることを特徴としている。
【００２５】
上記データ処理装置（９）によれば、前記所定の状態が、前記運転者に特定の箇所を注視させる状態を含んでいる。したがって、前記介入制御部により、前記運転者に特定の箇所を注視させる状態となるように介入制御を行うことができる。そして、前記前庭動眼反射運動以外の眼球運動が生じにくい状態、換言すれば、前記前庭動眼反射運動のノイズ成分が小さくなる状態で測定された前記データを用いて、前庭動眼反射運動を精度良くモニタリングすることができる。
【００２６】
また本開示に係るモニタリングシステム（１）は、上記データ処理装置（１）〜（９）のいずれかと、前記人を含む画像を撮像するカメラとを含み、
前記データ処理装置の前記測定部が、前記カメラから取得した前記画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴としている。
【００２７】
上記モニタリングシステム（１）によれば、上記データ処理装置（１）〜（９）のいずれかと、前記カメラとを含んで構成されているので、上記データ処理装置（１）〜（９）のいずれかの効果が得られる、様々な現実環境下において導入しやすいシステムを提供することができる。
【００２８】
また本開示に係るモニタリングシステム（２）は、上記モニタリングシステム（１）において、前記測定部が、前記画像から前記人の顔領域を抽出し、
該抽出された前記顔領域から前記人の目尻及び目頭の位置を抽出し、
該抽出された前記目尻及び目頭の位置の移動状態から前記頭部運動を測定するものであることを特徴としている。
【００２９】
上記モニタリングシステム（２）によれば、前記測定部が、前記顔領域から抽出された前記目尻及び目頭の位置の移動状態から前記頭部運動を測定するので、該頭部運動を測定する処理に係る負荷を減らすことができるとともに、前記測定する処理の高速化を図ることができる。
【００３０】
また本開示に係る覚醒システムは、上記データ処理装置（３）と、該データ処理装置（３）の前記覚醒制御部により制御される覚醒装置とを含んで構成されていることを特徴としている。
上記覚醒システムによれば、前記覚醒制御部により前記覚醒装置が制御されるので、該覚醒装置により前記人を覚醒させることができる。
【００３１】
また本開示に係るデータ処理方法は、人をモニタリングするためのデータ処理方法であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
該状態判定ステップにより前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップと、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップとを含むステップを実行させることを特徴としている。
【００３２】
上記データ処理方法によれば、前記所定の状態にないと判定された場合、前記介入制御ステップによって、前記人又は前記物を、前記人の前庭動眼反射運動の算出に適した状態、換言すれば、前記前庭動眼反射運動を算出するために用いる前記データのシグナルノイズ（ＳＮ）比が高くなる状態に誘導することが可能になる。そして、前記ＳＮ比が高くなるように誘導された状態、又は前記ＳＮ比が高くなる前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定し、前記前庭動眼反射運動を算出するので、現実環境下における前記前庭動眼反射運動のモニタリング精度を高めることができる。
【００３３】
また本開示に係るデータ処理プログラムは、人をモニタリングするためのデータ処理を少なくとも１つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも１つのコンピュータに、
人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップと、
該状態判定ステップにより前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップと、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップと、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップとを実行させることを特徴としている。
【００３４】
上記データ処理プログラムによれば、前記所定の状態にないと判定された場合、前記介入制御ステップによって、前記人又は前記物を、前記人の前庭動眼反射運動の算出に適した状態、換言すれば、前記前庭動眼反射運動を算出するために用いる前記データのシグナルノイズ（ＳＮ）比が高くなる状態に誘導することが可能になる。そして、前記ＳＮ比が高くなるように誘導された状態、又は前記ＳＮ比が高くなる前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定し、前記前庭動眼反射運動を算出するので、現実環境下における前記前庭動眼反射運動のモニタリング精度を高めることができるデータ処理を実現できる。
【図面の簡単な説明】
【００３５】
【図１】実施の形態に係るデータ処理装置をモニタリングシステムへ適用させた例を示す概略図である。
【図２】実施の形態に係るモニタリングシステムのハードウェア構成の一例を示すブロック図である。
【図３】実施の形態に係るデータ処理装置が行う処理動作を示すフローチャートである。
【発明を実施するための形態】
【００３６】
以下、本発明に係るデータ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラムの実施の形態を図面に基づいて説明する。
【００３７】
［適用例］
図１は、実施の形態に係るデータ処理装置をモニタリングシステムへ適用させた例を示す概略図である。
モニタリングシステム１は、車両２に搭載され、車両２の運転者３をモニタリングするためのデータ処理を行うデータ処理装置１０と、運転者３の顔を含む画像を撮像するカメラ２０とを含んで構成されている。
【００３８】
車両２は、自動車であるが、二輪車等の車両であってもよく、車両２の種類は特に限定されない。また、車両２は、自動運転車両であってもよい。自動運転車両は、米国自動車技術会（ＳＡＥ）が提示している自動運転レベルにおけるレベル１（ドライバ支援）、レベル２（部分的自動運転）、レベル３（条件付自動運転）、レベル４（高度自動運転）、及びレベル５（完全自動運転）のうちのいずれのレベルの車両であってもよい。
【００３９】
データ処理装置１０は、少なくとも１つの制御ユニット、及び記憶ユニットを含んで構成されている。前記制御ユニットは、Central Processing Unit（ＣＰＵ）、Graphics processing unit（ＧＰＵ）などの１つ以上のハードウェアプロセッサを含んで構成されている。前記記憶ユニットは、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、その他の不揮発性メモリや揮発性メモリなど、半導体素子などによってデータを記憶可能な１つ以上の記憶装置で構成されている。
【００４０】
また、データ処理装置１０は、車両２に搭載されている各種機器、例えば、車載センサ３０、始動スイッチ４０、ナビゲーション装置５０、電子制御ユニット（Electronic Control Unit：ＥＣＵ）６０又は振動装置７０などに接続可能に構成されている。データ処理装置１０は、車載センサ３０で検出された各種の検出データ、始動スイッチ４０のオン、オフ信号などを取得でき、また、ナビゲーション装置５０、電子制御ユニット６０又は振動装置７０などに対して、所定の制御信号などを出力できるようになっている。
また、ナビゲーション装置５０、電子制御ユニット６０又は振動装置７０では、データ処理装置１０から取得した所定の制御信号に基づいて、所定の制御動作が実行されるようになっている。
【００４１】
電子制御ユニット６０には、車両２の駆動部、制動部、操舵部、又はサスペンション部などの各部を制御する１つ以上の電子制御ユニットが含まれている。データ処理装置１０は、ナビゲーション装置５０、電子制御ユニット６０又は振動装置７０と、例えば、ＣＡＮ(Controller Area Network)などの車載ネットワークで相互に通信可能な構成としてもよい。
【００４２】
振動装置７０は、例えば、運転者３の座席シートの下部、背部、又はヘッドレストなどに１つ以上配設され、運転者３の上体、又は頭部を上下、前後、又は左右の方向、或いはヨー又はピッチ方向などに所定の周期で連続的又は断続的に振動させることが可能な装置である。
【００４３】
背景技術の欄に記載したように、実車環境では、路面状況、車両の挙動、及び運転者の頭部や眼の動きなどは一定ではない。そのため、運転者の瞳孔運動及び頭部運動を示すデータに、前庭動眼反射運動（シグナル成分）とは異なる運動成分、例えば、サッカード運動（衝動性眼球運動ともいう）や輻輳性運動などの成分（ノイズ成分）が多く含まれる。その結果、前庭動眼反射運動の算出に用いるデータのシグナルノイズ（ＳＮ）比が悪くなりやすく、運転者の前庭動眼反射運動を精度良く検出することが難しかった。なお、前庭動眼反射運動とは、人の頭部運動により誘発される眼球運動であり、頭部の動きの反対方向へ眼球を動かすことで、網膜像のブレを抑制する不随意的眼球運動である。
【００４４】
係る課題を解決すべく、本実施の形態に係るデータ処理装置１０は、前記ＳＮ比を改善するために、運転者３又は車両２の状態が前庭動眼反射運動の算出に適した所定の状態にない場合、該所定の状態になるように運転者３又は車両２に対する所定の介入制御を行う。
【００４５】
例えば、前庭動眼反射運動以外の眼球運動を抑制するために、車両２を直進させる状態になるように、又は運転者３に特定の箇所を注視させる状態になるように、運転者３又は車両２に対して介入制御を行う。
または、運転者３が前庭動眼反射運動を起こしやすくするために、運転者３の頭部を上下、左右、前後、ヨー、又はピッチ方向に変位又は振動させる状態になるように、運転者３又は車両２に対して介入制御を行ってもよい。
【００４６】
そして、データ処理装置１０は、前記介入制御の後にカメラ２０で撮像された画像を解析して、運転者３の瞳孔運動及び頭部運動のデータを測定し、これら測定したデータを用いて前庭動眼反射運動を算出する。これら処理により、実車環境における前庭動眼反射運動の検出精度が高められるようになっている。
【００４７】
［構成例］
図２は、実施の形態に係るモニタリングシステム１のハードウェア構成の一例を示すブロック図である。
データ処理装置１０は、データ取得部１１、及び制御ユニット１２、記憶ユニット１３を含んで構成されている。
【００４８】
データ取得部１１は、カメラ２０の他、車載センサ３０、始動スイッチ４０、ナビゲーション装置５０、電子制御ユニット６０、及び振動装置７０などに接続され、これら装置との間で各種の信号やデータなどの授受を行うためのインターフェース回路や接続コネクタなどを含んで構成されている。
【００４９】
制御ユニット１２は、状態判定部１２ａ、介入制御部１２ｂ、測定部１２ｃ、データ判定部１２ｄ、算出部１２ｅ、眠気判定部１２ｆ、及び覚醒制御部１２ｇを含んで構成されている。記憶ユニット１３は、画像記憶部１３ａ、取得データ記憶部１３ｂ、測定データ記憶部１３ｃ、及びプログラム記憶部１３ｄを含んで構成されている。
【００５０】
画像記憶部１３ａには、カメラ２０から取得した運転者の画像データが記憶される。取得データ記憶部１３ｂには、車載センサ３０、ナビゲーション装置５０、又は電子制御ユニット６０などから取得したデータが記憶される。測定データ記憶部１３ｃには、測定部１２ｃで測定された、運転者の瞳孔運動及び頭部運動などのデータが、画像記憶部１３ａに記憶される各画像と紐付けて記憶される。プログラム記憶部１３ｄには、制御ユニット１２の各部で実行されるデータ処理のプログラム、及び該プログラムの実行や判定処理に必要なデータなどが記憶されている。
【００５１】
制御ユニット１２は、記憶ユニット１３に画像データ、測定データなどを記憶する処理を行い、また、記憶ユニット１３に記憶されたプログラムやデータなどを読み出し、これらプログラムを実行する。制御ユニット１２が、記憶ユニット１３と協働して、これらプログラムを実行することにより、状態判定部１２ａ、介入制御部１２ｂ、測定部１２ｃ、データ判定部１２ｄ、算出部１２ｅ、眠気判定部１２ｆ、及び覚醒制御部１２ｇの各部の動作が実現される。
【００５２】
カメラ２０は、運転者３の顔を含む画像を撮像する装置であり、例えば、図示しないレンズ部、撮像素子部、光照射部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。
【００５３】
前記撮像素子部は、可視領域の光を受けて撮像画像を形成できるものを含む他、紫外線又は赤外線を受けて撮像画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の赤外線センサを含んで構成されてもよい。
【００５４】
前記光照射部は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮像できるように赤外線ＬＥＤなどを用いてもよい。前記制御部は、例えば、ＣＰＵ、メモリ、画像処理回路などを含んで構成されている。
【００５５】
前記制御部が、前記撮像素子部や前記光照射部を制御して、該光照射部から光（例えば、近赤外線など）を照射し、前記撮像素子部でその反射光を撮像する制御などを行う。カメラ２０は所定のフレームレート（例えば、毎秒３０〜６０フレーム）で画像を撮像し、カメラ２０で撮像された画像データがデータ処理装置１０に出力される。
【００５６】
カメラ２０は、１台で構成されているが、２台以上で構成してもよい。また、カメラ２０は、データ処理装置１０と別体（別筐体）で構成してもよいし、データ処理装置１０と一体（同一筐体）で構成してもよい。また、カメラ２０は、単眼カメラでもよいし、ステレオカメラであってもよい。
【００５７】
カメラ２０の車室内での設置位置は、少なくとも運転者３の顔を含む視野を撮像できる位置であれば、特に限定されない。例えば車両２のダッシュボード中央付近の他、ステアリング部分、ステアリングコラム部分、メーターパネル部分、ルームミラー近傍位置、Ａピラー部分、又はナビゲーション装置５０などに設置してもよい。また、カメラ２０の仕様（画角や画素数（縦×横）など）及び位置姿勢（取付角度や所定の原点（ハンドル中央位置など）からの距離など）を含む情報がカメラ２０又はデータ処理装置１０に記憶されてもよい。
【００５８】
車載センサ３０には、車外センサ３１、加速度センサ３２、ジャイロセンサ３３、及び操舵センサ３４などが含まれているが、これら以外のセンサを含んでもよい。
【００５９】
車外センサ３１は、車両２の周辺に存在する対象物を検出するセンサである。前記対象物には、他車両、自転車、人などの移動物体の他、白線など路面標示、ガードレール、中央分離帯、その他、車両２の走行に影響を与える構造物などが含まれてもよい。車外センサ３１は、前方監視カメラ、後方監視カメラ、レーダ（Ｒａｄａｒ）、ライダー、即ちLight Detection and Ranging、又は、Laser Imaging Detection and Ranging（ＬＩＤＡＲ）、及び超音波センサのうち少なくとも１つを含んで構成されている。車外センサ３１で検出された対象物の検出データがデータ処理装置１０に出力される他、電子制御ユニット６０に出力されてもよい。
前記前方監視カメラや後方監視カメラには、ステレオカメラや単眼カメラなどが採用され得る。前記レーダは、ミリ波等の電波を車両周囲に送信し、車両周囲に存在する対象物で反射された電波を受信することで対象物の位置、方向、距離などを検出する。前記ライダーは、レーザー光を車両周囲に送信し、車両周囲に存在する対象物で反射された光を受信することで対象物の位置、方向、及び距離などを検出する。
【００６０】
加速度センサ３２は、車両２の加速度を検出するセンサであり、ＸＹＺ軸の３方向の加速度を検出する３軸加速度センサを用いてもよいし、２軸、１軸の加速度センサを用いてもよい。３軸加速度センサには、静電容量型の他、ピエゾ抵抗型などの半導体方式の加速度センサを用いてもよい。加速度センサ３２で検出された加速度データが、データ処理装置１０に出力される他、ナビゲーション装置５０又は電子制御ユニット６０に出力されてもよい。
【００６１】
ジャイロセンサ３３は、車両２の回転角速度（例えば、ヨーレート）を検出する角速度センサである。ジャイロセンサ３３で検出された回転角速度の信号がデータ処理装置１０に出力される他、ナビゲーション装置５０又は電子制御ユニット６０に出力されてもよい。
【００６２】
操舵センサ３４は、車両２のステアリングに対する操舵量を検出するセンサであり、例えば、車両２のステアリングシャフトに設けられ、運転者３によりステアリングに与えられる操舵トルク又はステアリングの操舵角を検出する。操舵センサ４３で検出された、運転者３のステアリング操作に応じた信号が、データ処理装置１０に出力される他、電子制御ユニット６０に出力されてもよい。
【００６３】
ナビゲーション装置５０は、図示しない制御部、表示部、音声出力部、操作部、地図データ記憶部、ＧＰＳ受信部などを含んで構成されている。ナビゲーション装置５０は、ＧＰＳ受信部などで計測された車両２の位置情報と地図データ記憶部の地図情報とに基づいて、車両２が走行する道路や車線を割り出し、車両２の現在位置から目的地までの経路などを演算し、該経路を表示部（図示せず）へ表示し、音声出力部（図示せず）から経路案内などの音声出力を行う。ナビゲーション装置５０で求められた、車両２の位置情報、走行道路の情報、又は走行予定経路の情報などがデータ処理装置１０へ出力される構成としてもよい。
【００６４】
覚醒装置８０は、データ処理装置１０の覚醒制御部１２ｇにより制御される装置であり、覚醒制御部１２ｇからの制御信号に基づいて、運転者３を覚醒させるための動作を実行する。覚醒装置８０は、例えば、音又は光などで運転者３に警告を発する警報装置、冷風、温風、又は香気成分や臭気成分を含む気体などを運転者３に吹き付ける空調装置、ステアリングやシートベルトなどを振動させる振動装置などで構成することができる。
【００６５】
次にデータ処理装置１０の各部の構成について説明する。
データ取得部１１で取得したカメラ２０の画像データが、画像記憶部１３ａに記憶される。また、データ取得部１１で取得した車載センサ３０、ナビゲーション装置５０、又は電子制御ユニット６０のデータが、取得データ記憶部１３ｂに記憶される。
【００６６】
状態判定部１２ａは、画像記憶部１３ａ又は取得データ記憶部１３ｂから状態判定に用いるデータを読み出し、読み出したデータを用いて、運転者３又は車両２の状態が、前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する処理を行う。
前記所定の状態には、運転者３の頭部が振動しやすい状態（換言すれば、前庭動眼反射運動のシグナル成分、特に変位量が大きくなる状態）、例えば、運転者３の頭部が上下、左右又は前後方向、或いはヨー又はピッチ方向に、変位又は振動しやすい状態などが含まれる。
【００６７】
また、前記所定の状態には、前庭動眼反射運動以外の眼球運動（例えば、サッカード運動や輻輳性運動など）が生じにくい状態（換言すれば、前庭動眼反射運動のノイズ成分が小さくなる状態）、例えば、車両２が直線道路を走行している状態、又は運転者３が特定の箇所を注視している状態などが含まれる。
【００６８】
状態判定部１２ａで、前記所定の状態にあると判定された場合、前記所定の状態にあることを示す第１の判定信号が測定部１２ｃに出力される。一方、状態判定部１２ａで、前記所定の状態にないと判定された場合、前記所定の状態にないことを示す第２の判定信号が介入制御部１２ｂに出力される。
【００６９】
介入制御部１２ｂは、状態判定部１２ａから前記第２の判定信号を取得した場合に、運転者３又は車両２の状態が、運転者３の前庭動眼反射運動の算出に適した前記所定の状態になるように介入制御を行うとともに、該介入制御を実行したことを示す介入実行信号を測定部１２ｃに出力する。
【００７０】
介入制御部１２ｂが行う介入制御の一例を説明する。
（１）介入制御部１２ｂが、ナビゲーション装置５０に対し、直線道路を走行するようにルート変更を指示するルート変更信号を出力する介入制御を行う。直線道路を走行している時は、通常、運転者３は前を向いているので、視線が一方向に定まりやすい状態にある。したがって、データ処理装置１０では、前記介入制御により前庭動眼反射運動以外の眼球運動が生じにくい状態で、頭部運動及び瞳孔運動を測定することが可能となる。
【００７１】
前記ルート変更信号は、例えば、車両２の現在地点と該現在地点から所定距離（例えば、５００ｍ）先の走行予定地点とが直線道路上にあるルートに変更させる制御信号でもよい。また、前記ルート変更信号は、例えば、車両２の現在地点から所定距離（例えば、５００ｍ）先の第１の走行予定地点までの直線の延長線と、前記第１の走行予定地点から所定距離（例えば、５００ｍ）先の第２の走行予定地点までの直線とのなす角度が所定の角度より小さくなる道路にルート変更させる制御信号でもよい。
【００７２】
また、ナビゲーション装置５０は、データ処理装置１０から上記ルート変更信号を取得した場合、車両２の走行道路がルート変更信号で指示された条件を満たす直線道路であるか否かを判断する。
【００７３】
ナビゲーション装置５０の設定ルートが前記ルート変更信号で指示された条件を満たしていない場合、ナビゲーション装置５０は、例えば、交差点ごとにルート探索を実行し、前記ルート変更信号で指示された条件に合致するルートに変更する処理を繰り返す。前記介入制御により、車両２の状態を前庭動眼反射運動の算出に適した状態にすることが可能となる。
【００７４】
（２）車外センサ３１により周囲の安全が確認された場合、介入制御部１２ｂが、ナビゲーション装置５０に対し、運転者３に所定の箇所を注視するように促す報知信号を出力する制御を行ってもよい。周囲の安全の確認とは、例えば車両２の前方及び後方１００ｍに先行車または後続車が検出されず、車両の周囲５ｍ以内にその他の障害物が検出されないことを指す。ただし周囲の安全の確認方法はこれに限定されない。
ナビゲーション装置５０は、データ処理装置１０から上記報知信号を受信した場合、例えば、「前方を注視してください。」といった音声を出力したり、画面に表示したりする制御を実行する。前記介入制御により、運転者３の眼の状態を前庭動眼反射運動の算出に適した状態、すなわち、前方を注視させる状態に誘導することが可能となる。
【００７５】
（３）介入制御部１２ｂが、ナビゲーション装置５０に対し、運転者３に頭部を動かすように促す報知信号を出力する制御を行ってもよい。
ナビゲーション装置５０は、データ処理装置１０から上記報知信号を受信した場合、例えば、「前方を見たまま頭部を上下又は左右に動かしてください。」といった音声を出力したり、画面に表示したりする制御を実行する。前記介入制御により、運転者３の頭部の状態を前庭動眼反射運動の算出に適した状態、すなわち、頭部を振動させる状態に誘導することが可能となる。
【００７６】
（４）介入制御部１２ｂが、振動装置７０に対し、運転者３の座席を上下、左右、前後又はピッチ方向などに所定の周期で振動させるための制御信号を出力する制御を行ってもよい。
振動装置７０は、データ処理装置１０から上記制御信号を受信した場合、例えば、所定期間、運転者３の座席を上下、左右、前後又はピッチ方向に所定の振動周期で振動させる制御を実行する。前記介入制御により、運転者３の頭部を前庭動眼反射運動の算出に適した状態、すなわち、頭部を振動させる状態にすることが可能となる。
【００７７】
（５）介入制御部１２ｂが、サスペンション制御ユニット６１に対し、車両２を振動させやすい状態に制御するための制御信号を出力する制御を行ってもよい。
サスペンション制御ユニット６１は、データ処理装置１０から上記制御信号を受信した場合、例えば、一定期間、アクティブサスペンション機構の減衰力を調整して、車体を上下又は左右などに揺動させやすい状態にする制御を実行する。前記介入制御により、運転者３の頭部を前庭動眼反射運動の算出に適した状態、すなわち、頭部を振動させる状態にすることが可能となる。
【００７８】
なお、介入制御部１２ｂでは、上記（１）〜（５）のいずれかの介入制御を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）〜（５）のうちの２以上の介入制御を適宜組み合わせて実行するように構成してもよい。
【００７９】
測定部１２ｃは、状態判定部１２ａから前記第１の判定信号を取得した場合に、カメラ２０で撮像された画像から運転者３の瞳孔運動及び頭部運動を測定する処理を行う。当該測定処理は、例えば、画像のフレーム毎に実行されるが、所定のフレーム間隔毎に実行されるようにしてもよい。その後、測定部１２ｃは、測定した瞳孔運動及び頭部運動に係るデータを測定データ記憶部１３ｃに記憶する処理を行うとともに、算出部１２ｅに前庭動眼反射運動の算出を指示する信号（算出指示信号）を出力する。
【００８０】
また、測定部１２ｃは、介入制御部１２ｂから前記介入実行信号を取得した場合においても運転者３の瞳孔運動及び頭部運動を測定する処理を行う。この場合、測定部１２ｃは、測定した瞳孔運動及び頭部運動に係るデータを測定データ記憶部１３ｃに記憶する処理を行うとともに、データ判定部１２ｄに対し、測定データが、前庭動眼反射運動の算出に適したデータであるか否かの判定を指示する信号（判定指示信号）を出力する。
【００８１】
測定部１２ｃが行う瞳孔運動の測定処理の一例を説明する。
測定部１２ｃは、まず、テンプレートマッチングによりカメラ２０で撮像された画像から運転者３の顔（顔領域）を検出する。顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。次に、測定部１２ｃは、前記画像から検出された運転者３の顔領域に対して、テンプレートマッチングにより前記顔領域から瞳孔の位置を検出する。前記瞳孔の位置の検出は、予め用意された瞳孔のテンプレート画像を用いてよい。そして、測定部１２ｃは、前記画像のフレーム毎に瞳孔の位置を検出し、これらフレーム毎の瞳孔の位置変化（移動量）から瞳孔運動を測定する。
【００８２】
次に測定部１２ｃが行う頭部運動の測定処理の一例を説明する。
測定部１２ｃは、まず、テンプレートマッチングによりカメラ２０で撮像された画像から運転者３の顔（顔領域）を抽出する。前記顔領域の検出は、予め用意された顔のテンプレート画像を用いてよい。また、前記瞳孔運動を測定する処理で検出された運転者３の顔領域のデータを用いてもよい。
【００８３】
次に、測定部１２ｃは、前記画像から検出された運転者３の顔領域に対して、テンプレートマッチングにより前記顔領域から眼の位置を検出する。前記眼の位置の検出は、予め用意された眼のテンプレート画像を用いてよい。眼のテンプレート画像には、目尻と目頭の位置を示す座標が予め紐付けられている。前記目尻と目頭の座標から画像中における運転者３の目尻と目頭の位置を検出することが可能となっている。目尻と目頭の位置は、瞬きなどの眼の開閉動作によっては移動しないため、目尻と目頭の位置変化は頭部運動により動いたものと推定できる。
そして、測定部１２ｃは、前記画像のフレーム毎に運転者３の目尻と目頭の位置を検出し、これらフレーム毎の目尻と目頭の位置変化（移動量）から頭部運動を測定する。
【００８４】
なお、画像から運転者３の目尻と目頭の位置を検出する場合に、二次元の画像データを用いる他、三次元の位置情報を含む距離画像データと組み合わせて検出してもよい。
前記距離画像データを取得するために、例えば、モニタリングシステム１に三次元画像計測部を装備してもよい。該三次元画像計測部は、撮像された画像の各画素に対象物までの距離の値（奥行きに関する情報）を持たせた三次元画像（距離画像）を取得するものである。前記三次元画像計測部は、例えば、ステレオ法などの受動型計測部であってもよいし、光レーダやパターン光などの光を投影する方式の能動型計測部であってもよい。
【００８５】
二次元画像と距離画像とを組み合わせることによって、運転者３の目尻と目頭の位置の変化が、頭部の平行運動（上下、又は左右方向の運動）によるものであるのか、又は回転運動（ヨー又はピッチ方向の運動）によるものであるのかを精度よく検出することが可能になる。この構成により、瞳孔運動及び頭部運動をより正確に測定することが可能となり、前庭動眼反射運動のモニタリング精度をより高めることができる。
【００８６】
また、運転者３の瞳孔運動及び頭部運動の測定処理は、上記した方法に限定されるものではなく、公知の各種手法を採用することもできる。例えば、国際公開第２００６／０５１６０７号パンフレット、特開２００７−２４９２８０号公報に開示されているように、画像のフレーム毎に顔の各器官の特徴点を検出し、顔の各器官の特徴点の位置から顔の向きを求め、これらフレーム毎の顔の向きの変化（移動量）から頭部運動を測定するようにしてもよい。
【００８７】
データ判定部１２ｄは、測定部１２ｃから前記判定指示信号を取得した場合、介入制御部１２ｂにより前記介入制御が行われた後に測定部１２ｃで測定されたデータが、前庭動眼反射運動の算出に適したデータであるかを判定する。
データ判定部１２ｄが前庭動眼反射運動の算出に適したデータであると判定した場合、データ判定部１２ｄは、算出部１２ｅに前庭動眼反射運動の算出を指示する信号（算出指示信号）を出力する。
一方、データ判定部１２ｄが前庭動眼反射運動の算出に適したデータではないと判定した場合、データ判定部１２ｄは、介入制御部１２ｂに前記介入制御を指示する信号（介入指示信号）を出力する。
【００８８】
データ判定部１２ｄが行う判定処理の一例を説明する。
（１）データ判定部１２ｄは、瞳孔運動及び頭部運動のデータが測定部１２ｃで取得できたか否かを判定する。そもそも、瞳孔運動及び頭部運動のデータが取得できていなければ、前庭動眼反射運動の算出を行うことができない。
【００８９】
そこで、測定部１２ｃでテンプレートマッチングにより瞳孔運動及び頭部運動を測定した場合において、画像から抽出された顔領域と顔のテンプレート画像との類似度、又は画像から抽出された眼領域と眼のテンプレート画像との類似度を判定する。それぞれの類似度が所定の閾値より低い場合は、画像から頭部（眼、すなわち目尻と目頭）の位置、又は瞳孔の位置を適切に取得できていない、すなわち、前庭動眼反射運動の算出に適したデータを取得できていないと判定してもよい。
【００９０】
（２）データ判定部１２ｄは、瞳孔運動のデータが前庭動眼反射運動以外の眼球運動、すなわちサッカード運動などのノイズ成分を多く含むデータであるか否かを判定してもよい。
例えば、瞳孔の運動量が頭部の運動量よりも大きい場合、又は頭部の移動又は回転方向に追従して瞳孔が移動又は回転している場合など、眼球の回転速度や回転角などの眼球運動が所定の閾値より大きい場合、瞳孔運動のデータには、サッカード運動などのノイズ成分が多く含まれ、前庭動眼反射運動の算出に適した瞳孔運動データではないと判定してもよい。
【００９１】
また、顔の向きが大きく動いたときは、運転者３が一定の方向を集中して見ようとしている状態ではないため、顔の回転速度や回転角などの頭部の運動が所定の閾値より大きい場合、頭部運動のデータにはノイズ成分が多く含まれ、前庭動眼反射運動の算出に適した頭部運動のデータではないと判定してもよい。
【００９２】
（３）データ判定部１２ｄは、測定部１２ｃで瞳孔運動及び頭部運動を測定しているときの車速データを取得し、該車速データが所定の速度より小さいか否か、又は前記車速データが所定の速度より大きいか否かを判定することにより、測定部１２ｃで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
【００９３】
一般的に車速が大きい場合、運転者３は前方の狭い範囲を集中して見ている傾向がある。一方で車速が小さい場合、運転者３は周辺の安全を確保するため、広い範囲を随意的に見渡す傾向にある。前庭動眼反射運動を算出する場合、運転者３が狭い範囲を集中して見ている状態での眼球運動及び頭部運動のデータを使用することが好ましい。
そこで、データ判定部１２ｄは、車速データが所定の速度（例えば、徐行速度）より小さい場合、前庭動眼反射運動の算出に適したデータではないと判定する。又は前記車速データが所定の速度より大きい場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。
【００９４】
さらに、データ判定部１２ｄは、所定の速度を閾値にして２値判断するのではなく、眼球運動及び頭部運動のデータに対して車速に応じた重み付けを行ってもよい。例えば、車速が時速０〜２０ｋｍであれば重み係数０．２、時速２０〜４０ｋｍであれば重み係数０．５、時速４０〜６０ｋｍであれば重み係数０．８、時速６０ｋｍ以上であれば重み係数１．０を、眼球運動及び頭部運動のデータに対応付けて記憶し、前記重み係数を加味して前庭動眼反射運動を算出するようにしてもよい。
【００９５】
（４）データ判定部１２ｄは、測定部１２ｃで瞳孔運動及び頭部運動を測定しているときの操舵データを取得し、該操舵データが所定の操舵角より大きいか否かを判定することにより、測定部１２ｃで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
【００９６】
前庭動眼反射運動を算出する場合、運転者３が前方の狭い範囲を集中して見ている状態での眼球運動及び頭部運動のデータを使用することが好ましい。運転者３が前方の狭い範囲を集中して見ている傾向が高いのは、カーブが連続する道路を走行している場合よりも直線道路を走行している場合である。そこで、データ判定部１２ｄは、操舵データが所定の操舵角より大きい場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。
【００９７】
（５）データ判定部１２ｄは、測定部１２ｃで瞳孔運動及び頭部運動を測定しているときの車両２の位置データ又は走行道路データなどを取得し、車両２が直線道路を走行中であるか否かを判定することにより、測定部１２ｃで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
【００９８】
運転者３が前方の狭い範囲を集中して見ている傾向が高いのは、カーブが連続する道路を走行している場合よりも直線道路を走行している場合である。そこで、データ判定部１２ｄは、車両２が直線道路を走行していない場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。
【００９９】
（６）データ判定部１２ｄは、測定部１２ｃで瞳孔運動及び頭部運動を測定しているときに、車外センサ３１で取得された周辺監視データを取得し、車両２の周辺に障害物や先行車両などが存在するか否かを判定することにより、測定部１２ｃで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
【０１００】
車両２に対して相対的に移動、例えば、接近している先行車両や障害物などが存在する場合、運転者３は、相対移動している先行車両や障害物を目で追跡する傾向があり、運転者３の眼が能動的に動いている状態にある。眼を能動的に動かしている状態は、前庭動眼反射運動の算出に適した状態にはない。そこで、データ判定部１２ｄは、車両２に対して相対移動している先行車両や障害物などが検出されている場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。
【０１０１】
（７）データ判定部１２ｄは、測定部１２ｃで瞳孔運動及び頭部運動を測定しているときの運転者３の視線の向きを取得し、運転者３の視線の向きに基づいて、測定部１２ｃで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。運転者３の顔が撮像された画像から運転者３の視線の向きを検出する方法には、公知の視線検出方法が採用される。
【０１０２】
例えば、運転者３が、地平線の方向など、前方の遠い場所を見ている場合、前方を集中して見ている可能性が高いので、例えば、視線の向きが、車両の前方（基準方向）に対して所定角度（例えば、上下±５度、又は左右±５度）以内である場合、前方を集中して見ていると判定してもよい。
【０１０３】
また、運転者３が、ナビゲーション装置５０などの車内の操作部や表示部を見ている場合も、狭い範囲を注視している可能性が高い。したがって、例えば、運転者３の視線の向きが、ナビゲーション装置５０などの設置方向である場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。ただし、車内の装備を注視しているときの測定データから前庭動眼反射運動を算出する場合は、安全性の観点から、自動運転レベルが前記ＳＡＥのレベル３以上の自動運転車両などにおいて適用することが好ましい。
【０１０４】
（８）データ判定部１２ｄは、測定部１２ｃで測定した頭部運動の運動量（平行移動又は回転移動）に基づいて、前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
前庭動眼反射運動は、運転者３の頭部が運動しなければ発生しない眼球運動である。したがって、データ判定部１２ｄは、測定部１２ｃで測定した頭部運動の運動量（平行移動又は回転移動）が、所定の運動量より小さい場合、前庭動眼反射運動の算出に適したデータではないと判定してもよい。
【０１０５】
（９）データ判定部１２ｄは、測定部１２ｃで瞳孔運動及び頭部運動を測定しているときの車両の加速度データを取得し、車両２の加速度データに基づいて、測定部１２ｃで測定されたデータが前庭動眼反射運動の算出に適したデータであるか否かを判定してもよい。
車両２の上下、左右又は前後方向などに所定の加速度が発生している場合、運転者３の頭部が上下、左右又はピッチ方向に運動しやすい状態になる。
【０１０６】
したがって、データ判定部１２ｄは、車両２の加速度データが、運転者３の頭部運動が発生しやすい閾値より大きい場合、前庭動眼反射運動の算出に適したデータであると判定してもよい。
また、データ判定部１２ｄは、車両２の加速度データから求められた車両２の振動と、運転者３の頭部運動とが、同じ方向、かつ同等の周波数で振動しているなどの一定の関係にある場合、前庭動眼反射運動の算出に適したデータであると判定する。
車両２の加速度データは、車両２に装備した加速度センサ３２からのデータを用いることができる他、車外センサ３１で認識された物体との距離の時系列変化から車両２の速度を求め、該速度から求めた加速度データを用いてもよい。
【０１０７】
なお、データ判定部１２ｄでは、上記（１）〜（９）のいずれかの判定を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）〜（９）のうちの２以上の判定を適宜組み合わせて実行するように構成してもよい。
【０１０８】
算出部１２ｅは、測定部１２ｃから前記算出指示信号を取得した場合、測定データ記憶部１３ｃから運転者３の瞳孔運動及び頭部運動のデータを読み出し、これらデータを用いて、前庭動眼反射運動を算出する処理を行う。
また、算出部１２ｅは、データ判定部１２ｄから前記算出指示信号を取得した場合、測定データ記憶部１３ｃから運転者３の瞳孔運動及び頭部運動のデータを読み出し、これらデータを用いて、前庭動眼反射運動を算出する処理を行う。算出処理を行った後、算出部１２ｅは、前庭動眼反射運動に関する算出データ（パラメータ）を眠気判定部１２ｆに出力する。
【０１０９】
算出部１２ｅで算出される前庭動眼反射運動に関するパラメータには、例えば、ＶＯＲゲイン、残差標準偏差、位相差の少なくともいずれかのデータが含まれている。
ＶＯＲゲインは、原理的には頭部の運動（回転角速度）に対する瞳孔の運動（回転角速度）の応答度合を意味し、瞳孔の運動（回転角速度）／頭部の運動（回転角速度）で表すことができる。
【０１１０】
例えば、ＶＯＲゲインは、目的変数を眼球回転角速度ｅ（ｔ）、説明変数を理想眼球角速度ｈ（ｔ）と定数項ｄｃとする式［数１］の回帰モデルの係数Ｇとして式［数２］により最小二乗推定して求めることができる。ここで、ε（ｔ）は回帰モデルの残差である。また、τは理想眼球運動に対する眼球運動の遅れ時間である。
眼球回転角速度ｅ（ｔ）は、測定部１２ｃで測定された瞳孔運動データに基づいて眼球運動角を求め、該眼球運動角を微分処理して求めることができる。理想眼球角速度ｈ（ｔ）は、測定部１２ｃで測定された頭部運動データに基づいて頭部運動角を求め、該頭部運動角を微分処理して求めることができる。なお、ＶＯＲゲインは、運転者３の前後、上下、左右、ヨー、及びピッチ方向の少なくとも１つの方向について算出すればよい。
【０１１１】
【数１】
2019136165.tif 000003
【０１１２】
【数２】
2019136165.tif 000004
【０１１３】
また、残差標準偏差（ＳＤｒｅｓ）は、式［数３］により算出することができる。
【数３】
2019136165.tif 000005
【０１１４】
なお、ＶＯＲゲインと残差標準偏差は、充分な推定精度が得られるように第１の時間（例えば、数十秒）のデータを１セグメントとし、第１の時間より短い第２の時間のオーバーラップを持たせながら、第２の時間より短い第３の時間毎に各セグメントにおける値を算出してもよい。また、一般的に運転者３が眠気を催すと、ＶＯＲゲインが減少するとともに、残差標準偏差が増加する傾向が見られる。したがって、眠気の予兆を精度よく判定するため、ＶＯＲゲインの減少率などの変化率、又は残差標準偏差の増加率などの変化率を求めてもよい。
【０１１５】
眠気判定部１２ｆは、算出部１２ｅから前庭動眼反射運動に関する算出データを取得した場合、取得した前庭動眼反射運動に関する算出データを用いて、運転者３の眠気を判定する。例えば、ＶＯＲゲイン、残差標準偏差、位相差の少なくともいずれかのパラメータを用いて、所定の閾値との比較等を行い、運転者３の眠気度を判定してもよいし、前庭動眼反射運動以外のパラメータも加味して判定してもよい。眠気判定部１２ｆは、運転者３の眠気を判定した後、運転者３の眠気の判定結果（例えば、眠気度）を覚醒制御部１２ｇに出力する。
【０１１６】
覚醒制御部１２ｇは、眠気判定部１２ｆから取得した眠気度に基づいて、覚醒装置８０に対し、運転者３を覚醒させるための制御信号を出力する処理を行う。
覚醒装置８０が、例えば、音又は光などで運転者３に警告を発する警報装置で構成されている場合、覚醒制御部１２ｇは、前記警報装置を所定期間作動させる制御信号を前記警報装置に出力する。
また、覚醒装置８０が、冷風、温風、又は香気成分や臭気成分を含む気体などを運転者３に吹き付ける空調装置で構成されている場合、覚醒制御部１２ｇは、前記空調装置を所定期間作動させる制御信号を前記警報装置に出力する。
また、覚醒装置８０が、ステアリングやシートベルトなどを振動させる振動装置で構成されている場合、覚醒制御部１２ｇは、前記振動装置を所定期間作動させる制御信号を前記振動装置に出力する。
【０１１７】
また、ナビゲーション装置５０、又は振動装置７０に対し、運転者３を覚醒させるための制御信号を出力する処理を行ってもよい。この場合、前記制御信号には、ナビゲーション装置５０に対して、運転者３を覚醒させるための警告音や警告表示を出力させる制御信号、振動装置７０により座席を所定期間振動させる制御信号などが含まれる。
【０１１８】
［動作例］
図３は、実施の形態に係るデータ処理装置１０における制御ユニット１２が行う処理動作を示したフローチャートである。本処理動作は、例えば、車両２の始動スイッチ４０がオンされた後に実行されるようになっている。
【０１１９】
ステップＳ１では、制御ユニット１２がカメラ２０を起動させる処理を行う。カメラ２０では、毎秒所定フレーム数の画像が撮像される。制御ユニット１２は、これら撮像された画像を時系列で取り込み、毎フレーム、又は所定間隔のフレーム毎に本処理を実行する。
【０１２０】
ステップＳ２では、データ取得部１１が、カメラ２０、車載センサ３０、又はナビゲーション装置５０からデータを取得する処理を行う。例えば、運転者３を撮像した画像データをカメラ２０から取得する他、車載センサ３０から周辺監視データなどを取得してもよいし、走行道路の形状（直線、カーブなど）などを含む道路データをナビゲーション装置５０から取得してもよい。
【０１２１】
ステップＳ３では、状態判定部１２ａが、ステップＳ２で取得したデータを用いて、運転者３又は車両２の状態が、前庭動眼反射運動（ＶＯＲ）の算出に適した所定の状態にあるか否かを判定する。前記所定の状態については、上記説明のとおりである。
【０１２２】
ステップＳ３において、状態判定部１２ａが、運転者３又は車両２の状態が前記所定の状態にはないと判断すれば、制御ユニット１２はステップＳ４を実行する。
ステップＳ４では、介入制御部１２ｂが、運転者３又は車両２が前記所定の状態になるように介入制御を行い、次に制御ユニット１２はステップＳ５を実行する。なお、ステップＳ４では、上記説明した（１）〜（５）のいずれかの介入制御を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）〜（５）のうちの２以上の介入制御を適宜組み合わせて実行するように構成してもよい。
【０１２３】
ステップＳ５では、測定部１２ｃが、運転者３の瞳孔運動を測定する処理を行い、次のステップＳ６では、測定部１２ｃが、運転者３の頭部運動を測定する処理を行い、次に制御ユニット１２はステップＳ７を実行する。なお、ステップＳ５、Ｓ６の順序を入れ替えてもよい。
【０１２４】
ステップＳ７では、データ判定部１２ｄが、ステップＳ５、Ｓ６で測定された運転者３の瞳孔運動及び頭部運動のデータが前庭動眼反射運動の算出に適用可能であるか否かを判定する。なお、ステップＳ７では、上記説明した（１）〜（９）のいずれかの判定を行うように構成してもよいし、車両２又は運転者３の状態に応じて、上記（１）〜（９）のうちの２以上の判定を適宜組み合わせて実行するように構成してもよい。
【０１２５】
ステップＳ７において、データ判定部１２ｄが、前記データが前庭動眼反射運動の算出に適用可能ではないと判断すれば、制御ユニット１２はステップＳ４の処理に戻り、処理を繰り返す。一方、ステップＳ７において、データ判定部１２ｄが、前記データが前庭動眼反射運動の算出に適用可能であると判断すれば、制御ユニット１２はステップＳ１０を実行する。
【０１２６】
また、一方ステップＳ３において、状態判定部１２ａが、運転者３又は車両２の状態が前記所定の状態にあると判断すれば、制御ユニット１２はステップＳ８を実行する。
ステップＳ８では、測定部１２ｃが、運転者３の瞳孔運動を測定する処理を行い、次に制御ユニット１２はステップＳ９を実行する。瞳孔運動の測定処理は、ステップＳ５と同様の測定処理を行うようになっている。
【０１２７】
ステップＳ９では、測定部１２ｃが、運転者３の頭部運動を測定する処理を行い、次に制御ユニット１２はステップＳ１０を実行する。頭部運動の測定処理は、ステップＳ６と同様の測定処理を行うようになっている。なお、ステップＳ８、Ｓ９の順序を入れ替えてもよい。
【０１２８】
ステップＳ１０では、算出部１２ｅが、前庭動眼反射運動を算出し、次に制御ユニット１２はステップＳ１１を実行する。前庭動眼反射運動の算出データには、ＶＯＲゲイン、残差標準偏差、位相差のうちの少なくともいずれかが含まれる。
【０１２９】
ステップＳ１１では、眠気判定部１２ｆが運転者３の眠気度を算出し、次のステップＳ１２では、眠気判定部１２ｆが、眠気度が所定の閾値より小さいか否かを判断する。ステップＳ１２において、眠気度が所定の閾値以上であると判断すれば、制御ユニット１２はステップＳ１３を実行する。
ステップＳ１３では、覚醒制御部１２ｇが、ナビゲーション装置５０又は振動装置７０に、運転者３を覚醒させるための所定の制御信号を出力する処理を行い、次に制御ユニット１２はステップＳ１４を実行する。
【０１３０】
ステップＳ１４では、始動スイッチ４０がオフされたか否かを判断し、始動スイッチ４０がオフされていないと判断すれば、制御ユニット１２はステップＳ２の処理に戻る。一方、ステップＳ１４において、始動スイッチ４０がオフされたと判断すれば、制御ユニット１２はステップＳ１５を実行する。ステップＳ１５では、制御ユニット１２がカメラ２０の駆動を停止し、処理を終える。
【０１３１】
［作用・効果］
上記実施の形態に係るデータ処理装置１０によれば、前庭動眼反射運動の算出に適した所定の状態でない場合、介入制御部１２ｂによる介入制御によって、運転者３の前庭動眼反射運動の算出に適した状態、換言すれば、運転者３又は車両２を前庭動眼反射運動の算出のためのシグナルノイズ（ＳＮ）比を高めることができる状態に促すことができる。
そして、前記ＳＮ比が高くなるように促された状態で、運転者３の瞳孔運動及び頭部運動を測定し、前記前庭動眼反射運動を算出するので、実車環境であっても前庭動眼反射運動のモニタリング精度を高めることができる。
【０１３２】
また、データ処理装置１０によれば、介入制御部１２ｂによる介入制御が行われた後に測定された前記データのうち、データ判定部１２ｄにより判定された前記適したデータを用いて前庭動眼反射運動が算出されるので、前記介入制御が行われた後における前庭動眼反射運動のモニタリング精度をより高めることができる。
【０１３３】
また、データ処理装置１０によれば、前記所定の状態にあると判定された場合、換言すれば、前記ＳＮ比が高いと想定される状態では、介入制御部１２ｂによる介入制御を行うことなく、測定部１２ｃで測定された運転者３の瞳孔運動及び頭部運動のデータを用いて、前庭動眼反射運動を算出することができ、前記介入制御による運転者３への負担を少なくすることができる。
【０１３４】
また、データ処理装置１０によれば、眠気判定部１２ｆを備えているので、実車環境下における運転者３の眠気度を精度良く判定することができ、また、覚醒制御部１２ｇを備えているので、眠気度に応じて運転者３を適切に覚醒させる制御を行うことができる。
【０１３５】
また、データ処理装置１０とカメラ２０とを備えたモニタリングシステム１によれば、実車環境下において導入しやすいモニタリングシステムを提供することができる。
また、データ処理装置１０と覚醒装置８０とを備えた覚醒システムにより、実車環境下において、運転者３を適切に覚醒させることができるシステムを提供することができる。
【０１３６】
［変形例］
以上、本発明の実施の形態を詳細に説明したが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
【０１３７】
（変形例１）
データ処理装置１０の制御ユニット１２は、図２に示した各部を全て備えている必要はなく、別の実施の形態では、制御ユニット１２が、少なくとも介入制御部１２ｂ、測定部１２ｃ、算出部１２ｅを備えた第１の構成、該第１の構成に状態判定部１２ａをさらに備えた第２の構成、前記第１の構成又は前記第２の構成にデータ判定部１２ｄをさらに備えた第３の構成、前記第１〜第３の構成のいずれかに眠気判定部１２ｆをさらに備えた第４の構成、又は前記第４の構成に覚醒制御部１２ｇをさらに備えた第５の構成によって構成されてもよい。
【０１３８】
（変形例２）
図３で説明した制御ユニット１２が行う処理動作において、ステップＳ２とステップＳ３との間に、ステップＳ８の瞳孔運動の測定処理と、ステップＳ９の頭部運動の測定処理とを実行する。そして、頭部運動の測定処理の後、ステップＳ３の判定処理を行い、ステップＳ３において、前記所定の状態にあると判断した場合に、ステップＳ１０に進み、前庭動眼反射運動の算出を行うようにしてもよい。また、この場合、ステップＳ３の状態判定処理に代えて、ステップＳ７のデータ判定処理を実行するようにしてもよい。
【０１３９】
（変形例３）
また、ステップＳ７のデータ判定処理では、運転者３の瞳孔運動及び頭部運動のデータが前庭動眼反射運動の算出に適用可能であるか否かの２値判定を行っているが、別の実施の形態では、２値判定ではなく、適用可能な状態に応じた重み付け判定を行うようにしてもよい。そして、重み付け判定後にステップＳ１０に進み、ステップＳ７において重み付けされた瞳孔運動及び頭部運動のデータを用いて、前庭動眼反射運動を算出するようにしてもよい。
【０１４０】
係る構成を採用した場合、測定部１２ｃで測定された前記データが、前庭動眼反射運動の算出に適したデータであるかを前記重み付けによって細かく判定することができる。また、前記重み付けを加味して前庭動眼反射運動を算出することにより、前記データの一部だけではなく全てを用いて、実車環境に対応した前庭動眼反射運動をモニタリングすることができる。
【０１４１】
（変形例４）
また、上記実施の形態では、モニタリングシステム１及びデータ処理装置１０が車両２に搭載されている場合について説明したが、モニタリングシステム１及びデータ処理装置１０は、車載用に限定されるものではない。
別の実施の形態では、例えば、モニタリングシステム１及びデータ処理装置１０を工場内や事務所内に設置して、工場内に装備された設備を操作する人、机で所定の作業を行う人などの眠気をモニタリングするシステムなどにも広く適用することができる。この場合、工場内で人が操作する物には、例えば、生産装置などが挙げられる。また、事務所内で人が操作する物には、例えば、パーソナルコンピュータなどの事務機器などが挙げられる。
【０１４２】
［付記］
本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
（付記１）
人をモニタリングするためのデータ処理を行うデータ処理装置（１０）であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定部（１２ａ）と、
該状態判定部（１２ａ）により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御部（１２ｂ）と、
該介入制御部（１２ｂ）により前記介入制御が行われた場合、又は前記状態判定部（１２ａ）により前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定部（１２ｃ）と、
該測定部（１２ｃ）により測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出部（１２ｅ）と、を備えていることを特徴とするデータ処理装置。
【０１４３】
（付記２）
データ処理装置（１０）と、
人を含む画像を撮像するカメラ（２０）とを含み、
データ処理装置（１０）の測定部（１２ｃ）が、
カメラ（２０）から取得した画像を用いて、前記人の瞳孔運動及び頭部運動を測定するものであることを特徴とするモニタリングシステム（１）。
【０１４４】
（付記３）
人をモニタリングするためのデータ処理方法であって、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップ（Ｓ３）と、
該状態判定ステップ（Ｓ３）により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップ（Ｓ４）と、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップ（Ｓ５、Ｓ６又はＳ８、Ｓ９）と、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップ（Ｓ１０）とを含むステップを実行させることを特徴とするデータ処理方法。
【０１４５】
（付記４）
人をモニタリングするためのデータ処理を少なくとも１つのコンピュータに実行させるためのデータ処理プログラムであって、
前記少なくとも１つのコンピュータに、
前記人又は該人が操作する物が前記人の前庭動眼反射運動の算出に適した所定の状態にあるか否かを判定する状態判定ステップ（Ｓ３）と、
該状態判定ステップ（Ｓ３）により前記所定の状態にないと判定された場合に、前記人又は前記物が前記所定の状態になるように介入制御を行う介入制御ステップ（Ｓ４）と、
前記介入制御が行われた場合、又は前記状態判定ステップで前記所定の状態にあると判定された場合に、前記人の瞳孔運動及び頭部運動を測定する測定ステップ（Ｓ５、Ｓ６又はＳ８、Ｓ９）と、
該測定ステップにより測定された前記人の瞳孔運動及び頭部運動のデータを用いて、前記前庭動眼反射運動を算出する算出ステップ（Ｓ１０）とを実行させることを特徴とするデータ処理プログラム。
【符号の説明】
【０１４６】
１モニタリングシステム
２  車両
３  運転者
１０  データ処理装置
１１  データ取得部
１２  制御ユニット
１２ａ  状態判定部
１２ｂ  介入制御部
１２ｃ  測定部
１２ｄ  データ判定部
１２ｅ  算出部
１２ｆ  眠気判定部
１２ｇ  覚醒制御部
１３  記憶ユニット
１３ａ  画像記憶部
１３ｂ  取得データ記憶部
１３ｃ  測定データ記憶部
１３ｄ  プログラム記憶部
２０  カメラ
３０  車載センサ
３１  車外センサ
３２  加速度センサ
３３  ジャイロセンサ
３４  操舵センサ
４０  始動スイッチ
５０  ナビゲーション装置
６０  電子制御ユニット（ＥＣＵ）
６１  サスペンション制御ユニット
７０  振動装置
８０  覚醒装置
【図１】
2019136165.tif 000006
【図２】
2019136165.tif 000007
【図３】
2019136165.tif 000008