(57)【要約】【課題】運転者の無意識状態を高い精度で判定可能な運転者状態判定装置、運転者状態判定方法及び運転者状態判定プログラムを提供する。【解決手段】運転者状態判定装置（１）は、車両の挙動情報を取得する車両挙動情報取得部（１２）と、運転者の顔を含む画像情報を取得する画像情報取得部（１１）と、車両挙動情報取得部（１２）により取得された車両の挙動情報に基づいて、基準値を設定する基準値設定部（１４）と、画像情報取得部（１１）により取得された画像情報の変化量が基準値以下である状態の継続時間を用いることにより、運転者の運転状態に関する指標値を算出する指標値算出部（１５）と、指標値算出部（１５）により算出された指標値が閾値以上の場合に、運転者が無意識状態であると判定する判定部（１６）と、を備えている。【選択図】図１
2020194229.tif 000002
【特許請求の範囲】
【請求項１】
車両の挙動情報を取得する車両挙動情報取得部と、
運転者の顔を含む画像情報を取得する画像情報取得部と、
前記車両挙動情報取得部により取得された前記車両の挙動情報に基づいて、基準値を設定する基準値設定部と、
前記画像情報取得部により取得された前記画像情報の変化量が前記基準値以下である状態の継続時間を用いて、前記運転者の運転状態に関する指標値を算出する指標値算出部と、
前記指標値算出部により算出された前記指標値が閾値以上の場合に、前記運転者が無意識状態であると判定する判定部と、
を備えた運転者状態判定装置。
【請求項２】
前記指標値算出部は、前記画像情報の変化量として、前記運転者の顔の横方向、上下方向、及び回転方向の各々の偏差又は分散を求める請求項１に記載の運転者状態判定装置。
【請求項３】
前記車両挙動情報取得部は、前記車両の前後方向、横方向、及び上下方向の各々の加速度を取得し、
前記基準値設定部は、前記車両挙動情報取得部により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度が各々に対して定められた所定値未満の場合に、前記基準値を第１基準値に設定し、前記車両挙動情報取得部により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度のうちいずれかの加速度が前記所定値以上の場合に、所定の時間継続して前記基準値を前記第１基準値よりも大きい第２基準値に設定する請求項１または２に記載の運転者状態判定装置。
【請求項４】
前記車両挙動情報取得部は、前記車両の前後方向、横方向、及び上下方向の各々の加速度を取得し、
前記基準値設定部は、前記車両挙動情報取得部により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度に応じて、前記基準値を異なる値に設定する請求項１または２に記載の運転者状態判定装置。
【請求項５】
前記判定部により前記運転者が無意識状態であると判定された場合、警報信号を出力する警報出力部を備えた請求項１から４のいずれか１項に記載の運転者状態判定装置。
【請求項６】
車両の挙動情報を取得する車両挙動情報取得工程と、
運転者の顔を含む画像情報を取得する画像情報取得工程と、
前記車両挙動情報取得工程により取得された前記車両の挙動情報に基づいて、基準値を設定する基準値設定工程と、
前記画像情報取得工程により取得された前記画像情報の変化量が前記基準値以下である状態の継続時間を用いて、前記運転者の運転状態に関する指標値を算出する指標値算出工程と、
前記指標値算出工程により算出された前記指標値が閾値以上の場合に、前記運転者が無意識状態であると判定する判定工程と、
を含む運転者状態判定方法。
【請求項７】
前記指標値算出工程において、前記画像情報の変化量として、前記運転者の顔の横方向、上下方向、及び回転方向の各々の偏差又は分散を求める請求項６に記載の運転者状態判定方法。
【請求項８】
前記車両挙動情報取得工程において、前記車両の前後方向、横方向、及び上下方向の各々の加速度を取得し、
前記基準値設定工程において、前記車両挙動情報取得工程により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度が各々に対して定められた所定値未満の場合に、前記基準値を第１基準値に設定し、前記車両挙動情報取得工程により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度のうちいずれかの加速度が前記所定値以上の場合に、所定の時間継続して前記基準値を前記第１基準値よりも大きい第２基準値に設定する請求項６または７に記載の運転者状態判定方法。
【請求項９】
前記車両挙動情報取得工程において、前記車両の前後方向、横方向、及び上下方向の各々の加速度を取得し、
前記基準値設定工程は、前記車両挙動情報取得工程により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度に応じて、前記基準値を異なる値に設定する請求項６または７に記載の運転者状態判定方法。
【請求項１０】
前記判定工程により前記運転者が無意識状態であると判定された場合、警報信号を出力する警報出力工程を含む請求項６から９のいずれか１項に記載の運転者状態判定方法。
【請求項１１】
請求項１から５のうちのいずれか１項に記載の運転者状態判定装置が備える前記各部としてコンピュータを機能させるための運転者状態判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者状態判定装置、運転者状態判定方法及び運転者状態判定プログラムに関する。
【背景技術】
【０００２】
近年、車両の衝突事故を未然に防止するために、運転者を支援するための各種の装置が車両に搭載されるようになってきている。例えば、特許文献１には、自車両が先行車と過度に接近した場合、運転者のブレーキペダル操作による車両の制動力を制御する危険接近防止装置について記載されている。
【０００３】
特許文献１の危険接近防止装置では、運転者が無意識であるか否かを判定し、運転者が無意識である時のみ車両の制動力を制御するようにしている。具体的には、運転者が居眠り等の無意識状態となった場合、車両の軌道を急に修正しようとする特性があることに着目して、所定の時間内におけるハンドル角の変化量が所定値以上であれば、運転者が無意識状態であると判定する。これにより、運転者の操作感を害することなく、車両の衝突事故を回避することを可能としている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３２６７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の危険接近防止装置では、運転者が急ハンドル操作を行わない場合に、運転者の無意識状態が検出されないので、運転者の無意識状態判定の精度に改善の余地がある。
【０００６】
上記課題を解決するためになされた本発明の一態様は、運転者の無意識状態を高い精度で判定可能な運転者状態判定装置、運転者状態判定方法及び運転者状態判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の態様１に係る運転者状態判定装置は、車両の挙動情報を取得する車両挙動情報取得部と、運転者の顔を含む画像情報を取得する画像情報取得部と、前記車両挙動情報取得部により取得された前記車両の挙動情報に基づいて、基準値を設定する基準値設定部と、前記画像情報取得部により取得された前記画像情報の変化量が前記基準値以下である状態の継続時間を用いて、前記運転者の運転状態に関する指標値を算出する指標値算出部と、前記指標値算出部により算出された前記指標値が閾値以上の場合に、前記運転者が無意識状態であると判定する判定部と、を備えている。
【０００８】
上記した構成によれば、車両挙動情報取得部により取得された車両の挙動情報に基づいて基準値設定部が基準値を設定した後、指標値算出部によって、画像情報取得部により取得された画像情報の変化量が前記基準値以下である状態の継続時間を用いて、運転者の運転状態に関する指標値を算出する。そして、判定部は、指標値算出部により算出された指標値が閾値以上の場合に、運転者が無意識状態であると判定する。このように、運転者の顔等の動きが基準値以下の状態の継続時間に基づいて運転者の無意識状態を判定することで、例えば運転者が急ハンドル操作を行わない場合であっても運転転者の無意識状態を検出できる。更に、車両の挙動情報を考慮して運転者が無意識状態であるか否かの判定を行うので、運転者の無意識状態を高い精度で判定することができる。
【０００９】
また、本発明の態様２に係る運転者状態判定装置では、前記指標値算出部は、前記画像情報の変化量として、前記運転者の顔の横方向、上下方向、及び回転方向の偏差又は分散を求める。
【００１０】
上記した構成によれば、指標値算出部により運転者の顔の横方向、上下方向、及び回転方向の各々の偏差又は分散を求めることで、運転者の運転状態に関する指標値を正確に算出することができる。
【００１１】
また、本発明の態様３に係る運転者状態判定装置では、前記車両挙動情報取得部は、前記車両の前後方向、横方向、及び上下方向の各々の加速度を取得する。前記基準値設定部は、前記車両挙動情報取得部により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度が各々に対して定められた所定値未満の場合に、前記基準値を第１基準値に設定し、前記車両挙動情報取得部により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度のうちいずれかの加速度が前記所定値以上の場合に、所定の時間継続して前記基準値を前記第１基準値よりも大きい第２基準値に設定する。
【００１２】
上記した構成によれば、基準値設定部は、車両の前後方向、横方向、及び上下方向の各方向の加速度が各々に対して定められた所定値未満か否かに応じて、基準値を第１基準値か第２基準値に設定する。これにより、運転者が無意識状態であっても車両振動により顔の向き等が変化する場合を考慮して、画像情報の変化量が基準値以下である状態の継続時間をカウントできるので、運転者の運転状態に関する指標値を正確に算出することができる。
【００１３】
また、本発明の態様４に係る運転者状態判定装置では、前記車両挙動情報取得部は、前記車両の前後方向、横方向、及び上下方向の各々の加速度を取得する。前記基準値設定部は、前記車両挙動情報取得部により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度に応じて、前記基準値を異なる値に設定する。
【００１４】
上記した構成によれば、基準値設定部により、前記車両挙動情報取得部により取得された車両の前後方向、横方向、及び上下方向の各方向の加速度に応じて、前記基準値を異なる値に設定することで、車両振動の向きを考慮して上記継続時間をカウントできるので、運転者の運転状態に関する指標値をより正確に算出できる。
【００１５】
また、本発明の態様５に係る運転者状態判定装置では、前記判定部により前記運転者が無意識状態であると判定された場合、警報信号を出力する警報出力部を備えている。
【００１６】
上記した構成によれば、判定部により運転者が無意識状態であると判定された場合、警報出力部によって警報信号を出力することで、運転者への警告や外部の緊急センター等への緊急通報を行うことができる。
【００１７】
本発明の態様に係る運転者状態判定方法は、車両の挙動情報を取得する車両挙動情報取得工程と、運転者の顔を含む画像情報を取得する画像情報取得工程と、前記車両挙動情報取得工程により取得された前記車両の挙動情報に基づいて、基準値を設定する基準値設定工程と、前記画像情報取得工程により取得された前記画像情報の変化量が前記基準値以下である状態の継続時間を用いて、前記運転者の運転状態に関する指標値を算出する指標値算出工程と、前記指標値算出工程により算出された前記指標値が閾値以上の場合に、前記運転者が無意識状態であると判定する判定工程と、を含む。
【００１８】
上記した方法によれば、車両挙動情報取得工程により取得された車両の挙動情報に基づいて基準値設定工程が基準値を設定した後、指標値算出工程によって、画像情報取得工程により取得された画像情報の変化量が前記基準値以下である状態の継続時間を用いて、運転者の運転状態に関する指標値を算出する。そして、判定工程は、指標値算出工程により算出された指標値が閾値以上の場合に、運転者が無意識状態であると判定する。このように、運転者の顔等の動きが基準値以下の状態の継続時間に基づいて運転者の無意識状態を判定することで、例えば運転者が急ハンドル操作を行わない場合であっても運転転者の無意識状態を検出できる。更に、車両の挙動情報を考慮して運転者が無意識状態であるか否かの判定を行うので、運転者の無意識状態を高い精度で判定することができる。
【００１９】
また、本発明の一態様に係る運転者状態判定方法は、前記指標値算出工程において、前記画像情報の変化量として、前記運転者の顔の横方向、上下方向、及び回転方向の各々の偏差又は分散を求める。
【００２０】
上記した方法によれば、指標値算出工程により運転者の顔の横方向、上下方向、及び回転方向の各々の偏差又は分散を求めることで、運転者の運転状態に関する指標値を正確に算出することができる。
【００２１】
また、本発明の一態様に係る運転者状態判定方法は、前記車両挙動情報取得工程において、前記車両の前後方向、横方向、及び上下方向の各々の加速度を取得する。前記基準値設定工程において、前記車両挙動情報取得工程により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度が各々に対して定められた所定値未満の場合に、前記基準値を第１基準値に設定し、前記車両挙動情報取得工程により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度のうちいずれかの加速度が前記所定値以上の場合に、所定の時間継続して前記基準値を前記第１基準値よりも大きい第２基準値に設定する。
【００２２】
上記した方法によれば、基準値設定工程は、車両の前後方向、横方向、及び上下方向の各方向の加速度が各々に対して定められた所定値未満か否かに応じて、基準値を第１基準値か第２基準値に設定する。これにより、運転者が無意識状態であっても車両振動により顔の向き等が変化する場合を考慮して上記継続時間をカウントできるので、運転者の運転状態に関する指標値を正確に算出できる。
【００２３】
また、本発明の一態様に係る運転者状態判定方法は、前記車両挙動情報取得工程において、前記車両の前後方向、横方向、及び上下方向の各々の加速度を取得する。前記基準値設定工程は、前記車両挙動情報取得工程により取得された前記車両の前後方向、横方向、及び上下方向の各方向の加速度に応じて、前記基準値を異なる値に設定する。
【００２４】
上記した方法によれば、基準値設定工程により、前記車両挙動情報取得工程により取得された車両の前後方向、横方向、及び上下方向の各方向の加速度に応じて、それぞれ前記基準値を設定することで、車両振動の向きを考慮して上記継続時間をカウントできるので、運転者の運転状態に関する指標値をより正確に算出できる。
【００２５】
また、本発明の一態様に係る運転者状態判定方法は、前記判定工程により前記運転者が無意識状態であると判定された場合、警報信号を出力する警報出力工程を含む。
【００２６】
上記した方法によれば、判定工程により運転者が無意識状態であると判定された場合、警報出力工程によって警報信号を出力することで、運転者への警告や外部の緊急センター等への緊急通報を行うことができる。
【００２７】
本発明の一態様に係る運転者状態判定プログラムは、態様１から態様６のうちのいずれか１つの運転者状態判定装置が備える前記各部としてコンピュータを機能させる。
【００２８】
上記した運転者状態判定プログラムによれば、運転者の無意識状態を高い精度で判定することができる。
【発明の効果】
【００２９】
本発明の一態様によれば、運転者の無意識状態を高い精度で把握することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態１に係る運転者状態判定装置の構成を示すブロック図である。
【図２】図１の記憶部に記憶されたカウントアップ条件に関するテーブルの一例である。
【図３】図１の記憶部に記憶されたカウントアップの基準値に関するテーブルの一例である。
【図４】図１の記憶部に記憶されたカウントリセット条件に関するテーブルの一例である。
【図５】実施形態１に係る運転者状態判定方法の流れを示すフローチャートである。
【図６】図５の運転者の無意識状態判定の流れを示すフローチャートである。
【図７】本発明の実施形態２に係る運転者状態判定装置の記憶部に記憶されたカウントアップの基準値に関するテーブルの一例である。
【図８】実施形態２に係る運転者状態判定装置の記憶部に記憶された警報条件に関するテーブルの一例である。
【図９】実施形態２に係る運転者状態判定方法における運転者の無意識状態判定の流れを示すフローチャートである（その１）。
【図１０】実施形態２に係る運転者状態判定方法における運転者の無意識状態判定の流れを示すフローチャートである（その２）。
【発明を実施するための形態】
【００３１】
〔実施形態１〕
［運転者状態判定装置］
以下、本発明の実施形態１における運転者状態判定装置１について、図１〜図６を参照して説明する。図１は、実施形態１における運転者状態判定装置の構成を示すブロック図である。運転者状態判定装置１は、乗用車等の車両に搭載され、車両の運転者の無意識状態を判定するための装置である。本実施形態では、無意識状態として、運転者が急病、居眠り等により意識を失って硬直した状態を想定している。
【００３２】
図１に示すように、運転者状態判定装置１は、制御部１０と、記憶部１３と、通信インタフェース２０とが電気的に接続されて構成されている。なお、図１では、通信インタフェースを、通信Ｉ／Ｆと記載している。通信インタフェース２０としては、例えば、ＣＡＮ（Controller Area Network）通信を用いる。運転者状態判定装置１は、通信インタフェース２０を介して、車両に装備された運転者監視装置２１、加速度センサ２２、速度センサ２３、警報装置２４等に電気的に接続されている。なお、通信インタフェース２０は、有線通信のためのインタフェースを含んでいても、無線通信のためのインタフェースを含んでいてもよい。
【００３３】
運転者監視装置２１は、運転者の顔を含む所定の範囲を連続的に撮影する。運転者監視装置２１は、例えば、ダッシュボード上のような運転者の正面となる位置に設置されている。運転者監視装置２１は、運転者を監視するセンサの一例である。運転者監視装置２１は、撮影した画像情報を運転者状態判定装置１へ出力する。
【００３４】
加速度センサ２２は、車両内部の前部や後部に複数個設置され、車両の前後方向、横方向、及び上下方向の加速度を検出する装置である。加速度センサ２２は、車両の前後方向、横方向、及び上下方向の加速度の大きさに関する加速度情報を、運転者状態判定装置１へ出力する。
【００３５】
速度センサ２３は、車両の速度を検出する。速度センサ２３は、車両の速度の大きさに関する速度情報を、運転者状態判定装置１へ出力する。
【００３６】
警報装置２４は、警報出力部１７からの警報信号を受信することに基づいて、運転者に対する支援を行うための装置である。警報装置２４としては、例えば、運転者に警告や注意喚起を行うスピーカ、ナビゲーション装置、外部の緊急センターへ緊急信号を送信する緊急通報装置等を用いる。なお、警報装置２４は、運転者に対する支援を行うことが可能な装置であればよく、他にも、例えば運転者に振動等の外部刺激を与える装置であってもよい。
【００３７】
制御部１０は、画像情報取得部１１と、車両挙動情報取得部１２と、基準値設定部１４と、指標値算出部１５と、判定部１６と、警報出力部１７とを備えている。また、制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を有している。制御部１０は、運転者監視装置２１からの画像情報、加速度センサ２２からの加速度情報、速度センサ２３からの速度情報等を受信することに基づいて、運転者状態判定装置１の各部の動作を制御する。
【００３８】
画像情報取得部１１は、通信インタフェース２０を介して、運転者監視装置２１からの画像情報を取得する。画像情報としては、運転者の顔の向き、目の開閉動作、視線の動き、顔の各器官の位置等を含む。画像情報取得部１１により取得された画像情報は、記憶部１３へ送信される。
【００３９】
車両挙動情報取得部１２は、通信インタフェース２０を介して、車両の挙動情報として、加速度センサ２２からの加速度情報、速度センサ２３からの速度情報等を取得する。車両挙動情報取得部１２により取得された車両の挙動情報は、記憶部１３へ送信される。
【００４０】
記憶部１３は、例えばＨＤＤ（Hard Disk Drive）である。記憶部１３には、車両挙動情報取得部１２により取得された車両の挙動情報、運転者監視装置２１により取得された画像情報等が記憶される。
【００４１】
また、記憶部１３には、後述する運転者の無意識状態判定に用いる各種の条件テーブル等が記憶されている。各種の条件テーブルには、図２に示すカウントアップ条件テーブル１３１、図３に示すカウントアップの基準値テーブル１３２、図４に示すカウントリセット条件テーブル１３３等が含まれる。
【００４２】
ここで、「カウントアップ条件」、「カウントアップの基準値」、及び「カウントリセット条件」について説明する。実施形態１における運転者の無意識状態判定では、運転者の顔の向きの変化量が基準値以下となっている状態の継続時間をカウントすることにより、運転者の運転状態に関する指標値を算出する。これは、運転者が急病、居眠り等により意識を失って硬直した状態では、運転者の顔の向きの変化量が極めて少ない状態が継続することを考慮している。
【００４３】
この「カウントアップの条件」は、図２のカウントアップ条件テーブル１３１に示すように、次の３つの条件のすべてが満たされていることである。
条件１．顔の横方向の偏差（または分散）σｙ≦基準値
条件２．顔の上下方向の偏差（または分散）σｐ≦基準値
条件３．顔の回転方向の偏差（または分散）σｒ≦基準値
実施形態１では、上記カウントアップの基準値が、「第１基準値」及び「第２基準値」の２つが設定されている。具体的には、図３のカウントアップの基準値テーブル１３２に示すように、例えば、顔の横方向、顔の上下方向、及び顔の回転方向の「第１基準値」が２．０°であり、顔の横方向、顔の上下方向、及び顔の回転方向の「第２基準値」が１０．０°である。なお、第２基準値が第１基準値よりも大きい値であればよく、顔の方向に応じてそれぞれ異なる基準値を用いてもよい。
【００４４】
また、実施形態１における運転者の無意識状態判定では、「カウントリセット条件」が満たされた場合、上記継続時間のカウントをリセットする。「カウントリセット条件」は、図４のカウントリセット条件テーブル１３３に示すように、次のいずれか１つの条件を満たすことである。
条件１．カウントアップ条件を満たさなくなったこと
条件２．運転者の両目の瞬きを直近１５秒間で３回観測したこと
条件３．運転者の目の挙動が有ったこと
条件４．車両の速度＝０［ｋｍ／ｈ］、又はレンジが「Ｐ」（パーキング）、「Ｎ」（ニュートラル）、Ｒ（リバース）であること
基準値設定部１４は、記憶部１３から車両の挙動情報を取得し、当該車両の挙動情報に基づいて、カウントアップの基準値を、上記した第１基準値または第２基準値に設定する（図３参照）。具体的には、基準値設定部１４は、車両の前後方向、横方向、及び上下方向の各方向の加速度が所定値（例えば０．１Ｇ）未満の場合には、カウントアップの基準値を第１基準値に設定する。なお、所定値は、各方向の加速度の各々に対して異なる値であってもよい。
【００４５】
一方、基準値設定部１４は、車両の前後方向、横方向、及び上下方向のうちいずれかの加速度が所定値（例えば０．１Ｇ）以上の場合、規定時間（例えば８秒）の間、カウントアップの基準値を、第１基準値よりも大きい第２基準値に設定する。これは、運転者が無意識状態であっても、車両の振動が発生していれば運転者の顔の向き等が変化することを考慮している。
【００４６】
指標値算出部１５は、記憶部１３から画像情報取得部１１により取得された画像情報を取得し、当該画像情報を解析することにより、運転者の運転状態に関する指標値を算出する。具体的には、指標値算出部１５は、運転者の顔の横方向、上下方向、及び回転方向の変化、目の開閉動作、視線方向等の運転者の画像情報の変化量を解析する。
【００４７】
そして、指標値算出部１５は、画像情報の変化量が基準値以下である状態の継続時間を用いることにより、運転者の運転状態に関する指標値を算出する。具体的には、指標値算出部１５は、カウントアップ条件を満たし、且つカウントリセット条件が発生していない状態の継続時間に応じて指標値を大きくさせる。このとき、指標値算出部１５は、基準値設定部１４が設定した基準値に関する情報を用いる。
【００４８】
判定部１６は、指標値算出部１５により算出された指標値と、記憶部１３に予め記憶された閾値とを用いることにより、運転者が無意識状態であるか否かの判定を行う。すなわち、判定部１６は、指標値が閾値以上の場合に、運転者が無意識状態であると判定する。なお、運転者状態判定装置１に運転者を特定する個人特定装置を設け、運転者毎に異なる閾値を設けてもよい。
【００４９】
警報出力部１７は、判定部１６により運転者が無意識状態であると判定された場合、通信インタフェース２０を介して、警報信号を警報装置２４へ出力する。警報装置２４は、警報出力部１７からの警報信号を受信することに基づいて、上述の通り運転者に対する支援を行う。
【００５０】
［運転者状態判定方法］
次に、実施形態１における運転者状態判定装置１による運転者状態判定方法について、図５及び図６のフローチャートを参照して説明する。なお、図５及び図６のフローチャートは一例であり、これに限定されない。
【００５１】
図５は、実施形態１における運転者状態判定方法の流れを示すフローチャートである。まず、制御部１０の車両挙動情報取得部１２は、車両の挙動情報を取得する（Ｓ１）（車両挙動情報取得工程）。具体的には、車両挙動情報取得部１２は、車両の挙動情報として、加速度センサ２２からの車両の前後方向、横方向、及び上下方向の加速度情報、速度センサ２３からの車両の速度情報等を取得する。
【００５２】
続いて、制御部１０の画像情報取得部１１は、運転者の顔を含む画像情報を取得する（Ｓ２）（画像情報取得工程）。具体的には、画像情報取得部１１は、運転者の顔の向き、目の開閉動作、視線方向等の運転者の画像情報を運転者監視装置２１から取得する。
【００５３】
制御部１０の指標値算出部１５は、取得した運転者の画像情報を解析する（Ｓ３）。具体的には、指標値算出部１５は、運転者の顔の横方向、上下方向、及び回転方向の変化、目の開閉動作、視線方向等の運転者の画像情報の変化を解析する。そして、制御部１０は、図６に示す運転者の無意識状態判定を行う（Ｓ４）。実施形態１の運転者状態判定装置１による運転者状態判定方法では、Ｓ１〜Ｓ４の処理を規定時間（例えば０．１秒間）毎に繰り返して行う。
【００５４】
図６は、運転者の無意識状態判定の流れを示すフローチャートである。図６に示す運転者の無意識状態判定において、まず、制御部１０の指標値算出部１５は、運転者の画像情報の解析結果に基づいて、規定時間（例えば８秒間）内の運転者の顔の各向きの偏差（または分散）を求める（Ｓ１１）。
【００５５】
続いて、基準値設定部１４は、Ｓ１において取得した車両の挙動情報を用いて、車両の前後方向、横方向、及び上下方向の各方向の加速度の大きさが所定値（例えば０．１Ｇ）未満か否かの判定を行う（Ｓ１２）。基準値設定部１４は、車両の各方向の加速度の大きさが所定値未満でない場合（Ｓ１２：ＮＯ）、すなわち、車両の前後方向、横方向、及び上下方向のうちいずれかの加速度が所定値以上の場合、車両の振動発生後の時間をカウントする（Ｓ１３）。
【００５６】
車両の各方向の加速度の大きさが所定値未満である場合（Ｓ１２：ＹＥＳ）、又はＳ１３の後、基準値設定部１４は、規定時間（例えば８秒間）内にカウントリセット条件が発生したか否かの判定を行う（Ｓ１４）。
【００５７】
規定時間内にカウントリセット条件が発生していない場合（Ｓ１４：ＮＯ）、基準値設定部１４は、車両の振動発生後の時間が規定時間（例えば８秒）を超えるか否かの判定を行う（Ｓ１５）。基準値設定部１４は、車両の振動発生後の時間が規定時間を超える場合（Ｓ１５：ＹＥＳ）、カウントアップの基準値を第１基準値に設定し（Ｓ１６）、車両の振動発生後の時間が規定時間以下の場合（Ｓ１５：ＮＯ）、カウントアップの基準値を第２基準値に設定する（Ｓ１７）。
【００５８】
続いて、制御部１０の指標値算出部１５は、カウントアップ条件を満たすか否かの判定を行う（Ｓ１８）。指標値算出部１５は、カウントアップ条件を満たす場合（Ｓ１８：ＹＥＳ）、指標値を算出する指標値算出工程を行う（Ｓ１９）。
【００５９】
一方、指標値算出部１５は、規定時間内にカウントリセット条件が発生した場合（Ｓ１４：ＹＥＳ）、又はカウントアップ条件を満たさない場合（Ｓ１８：ＮＯ）、指標値をリセットする（Ｓ２０）。例えば、運転者の目の挙動が有った場合、顔の各方向の偏差（または分散）のうちいずれかが基準値よりも大きくなった場合、車両が駐車している場合等に指標値をリセットする。これにより、運転者の無意識状態の誤検知を防止している。
【００６０】
そして、判定部１６は、指標値算出部１５により算出された指標値が閾値以上か否かの判定を行う（Ｓ２１）（判定工程）。判定部１６は、指標値が閾値以上の場合に（Ｓ２１：ＹＥＳ）、運転者が無意識状態であると判定して警報装置２４へ警報信号を出力する（Ｓ２２）。判定部１６は、指標値が閾値未満の場合（Ｓ２１：ＮＯ）、又はＳ２２の後、運転者の無意識状態判定（Ｓ４）を終了し、Ｓ１に戻る。
【００６１】
以上説明した実施形態１の運転者状態判定装置１による運転者状態判定方法によれば、車両挙動情報取得部１２により取得された車両の挙動情報に基づいて、基準値設定部１４が基準値を設定した後、指標値算出部１５によって、画像情報取得部１１により取得された画像情報の変化量が前記基準値以下である状態の継続時間を用いて、運転者の運転状態に関する指標値を算出する。そして、判定部１６は、指標値算出部により算出された指標値が閾値以上の場合に、運転者が無意識状態であると判定する。このように、運転者の顔等の動きが基準値以下の状態の継続時間に基づいて運転者の無意識状態を判定することで、例えば運転者が急ハンドル操作を行わない場合であっても運転転者の無意識状態を検出できる。更に、上記継続時間に加えて車両の挙動情報を考慮して、運転者が無意識状態であるか否かの判定を行うことにより、運転者の無意識状態を高い精度で判定することができる。
【００６２】
また、基準値設定部１４によって、車両の前後方向、横方向、及び上下方向の各方向の加速度が所定値未満か否かに応じて、基準値を第１基準値か第２基準値に設定するので、運転者が無意識状態であっても車両振動により顔の向き等が変化する場合を考慮して上記継続時間をカウントできる。これにより、運転者の運転状態に関する指標値を正確に算出することができる。
【００６３】
また、判定部１６により運転者が無意識状態であると判定された場合、警報出力部１７によって警報信号を出力することで、運転者への警告や外部の緊急センター等への緊急通報を行うことができる。
【００６４】
〔実施形態２〕
本発明の実施形態２における運転者状態判定装置１について、図７〜図１０を参照して説明する。なお、説明の便宜上、上記実施形態１にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【００６５】
実施形態２では、カウントアップの基準値が、「第１基準値」、「第２基準値」、及び「第３基準値」の３つ設定されている。具体的には、図７のカウントアップの基準値テーブル１３４に示すように、例えば、顔の横方向、顔の上下方向、及び顔の回転方向の「第１基準値」が２．０°であり、顔の各方向の「第２基準値」が５．０°であり、顔の各方向の「第３基準値」が１０．０°である。なお、第２基準値及び第３閾値が、第１基準値よりも大きい値であればよく、顔の方向に応じてそれぞれ異なる基準値を用いてもよい。
【００６６】
また、実施形態２では、指標値算出部１５は、「有効データ率」及び「警報条件」を考慮して指標値を算出する。ここで、「有効データ率」とは、所定時間内（例えば６０秒間内）において、有効データ条件として、以下に示す２つの条件の両方が満たされた時間の割合をいう。
条件１．顔の各向きの偏差（または分散）がすべて算出済みであること
条件２．規定時間（例えば８秒）内に車両の各方向の加速度が所定値（例えば０．１Ｇ）未満であること
なお、上記有効データ条件は一例であり、これに限定されず、例えば車両の上下方向の加速度は、有効データ条件に含めなくてもよい。また、車両の上下方向の加速度の代わりに、車輪のスピン状態の有無を有効データ条件に含めてもよい。
【００６７】
図８は、実施形態２に係る運転者状態判定装置１の記憶部１３に記憶された警報条件に関するテーブル１３５の一例である。「警報条件」は、図８の警報条件に関するテーブル１３５に示すように、以下の３つの条件がすべて満たされることである。
条件１．車両の速度≧１０［ｋｍ／ｈ］、且つレンジが「Ｐ」（パーキング）、「Ｎ」（ニュートラル）、Ｒ（リバース）以外であること
条件２．カウントアップの継続時間が６０秒以上であること
条件３．有効データ率≧５０％であること
図９は、実施形態２に係る運転者状態判定方法における運転者の無意識状態判定の流れを示すフローチャートである。実施形態２では、図６に示す運転者の無意識状態判定を行う（Ｓ４Ａ）。
【００６８】
制御部１０の指標値算出部１５は、運転者の画像情報の解析結果に基づいて、規定時間（例えば８秒間）内の運転者の顔の各向きの偏差（または分散）を求める（Ｓ３１）。続いて、基準値設定部１４は、Ｓ３１において取得した車両の挙動情報を用いて、車両の前後方向の加速度の大きさが所定値（例えば０．１Ｇ）以上か否かの判定を行う（Ｓ３２）。
【００６９】
車両の前後方向の加速度の大きさが所定値以上である場合（Ｓ３２：ＹＥＳ）、基準値設定部１４は、カウントアップの基準値を第２基準値に設定する（Ｓ３３）。
【００７０】
車両の前後方向の加速度の大きさが所定値未満の場合（Ｓ３２：ＮＯ）、基準値設定部１４は、車両の横方向又は上下方向の加速度の大きさが所定値以上（例えば０．１Ｇ）か否かの判定を行う（Ｓ３４）。
【００７１】
車両の横方向又は上下方向の加速度の大きさが所定値以上である場合（Ｓ３４：ＹＥＳ）、基準値設定部１４は、カウントアップの基準値を第３基準値に設定する（Ｓ３５）。Ｓ３３又はＳ３５の後、基準値設定部１４は、車両の振動発生後に所定時間（例えば８秒間）経過したか否かの判定を行う（Ｓ３６）。
【００７２】
車両の横方向又は上下方向の加速度の大きさが所定値未満の場合（Ｓ３４：ＮＯ）、又は車両の振動発生後に所定時間（例えば８秒間）経過した場合（Ｓ３６：ＹＥＳ）、カウントアップの基準値を第１基準値に設定する（Ｓ３７）。なお、Ｓ３３，Ｓ３５，Ｓ３７が閾値設定工程に相当する。
【００７３】
車両の振動発生後の経過時間が所定時間未満の場合（Ｓ３６：ＮＯ）、又はＳ３７の後、図１０のフローチャートのＳ３８へ進む。Ｓ３８において、指標値算出部１５は、規定時間（例えば８秒間）内にカウントリセット条件が発生したか否かの判定を行う（Ｓ３８）。
【００７４】
指標値算出部１５は、規定時間内にカウントリセット条件が発生していない場合（Ｓ３８：ＮＯ）、カウントアップ条件を満たすか否かの判定を行う（Ｓ３９）。指標値算出部１５は、カウントアップ条件を満たす場合（Ｓ３９：ＹＥＳ）、指標値を算出する指標値算出工程を行う（Ｓ４０）。
【００７５】
具体的には、指標値算出部１５は、図８の警報条件に関するテーブル１３５に示す条件１、条件２、条件３の３つの条件が満たされている程度に応じて指標値を算出する。
【００７６】
一方、指標値算出部１５は、カウントアップ条件を満たさない場合（Ｓ３９：ＮＯ）、指標値をリセットする（Ｓ４１）。
【００７７】
そして、判定部１６は、指標値が閾値以上か否かの判定工程を行う（Ｓ４２）。指標値が閾値以上の場合（Ｓ４２：：ＹＥＳ）、警報装置２４へ警報信号を出力する警報出力工程を行う（Ｓ４３）。指標値が閾値未満の場合（Ｓ４２：ＮＯ）、又はＳ４３の後、運転者の無意識状態判定（Ｓ４Ａ）を終了し、図１のＳ１に戻る。
【００７８】
以上説明した実施形態２の運転者状態判定装置１による運転者状態判定方法によっても、実施形態１と同様の効果を得ることができる。特に、車両の前後方向、横方向、及び上下方向の各方向の加速度に応じて、基準値設定部１４により異なる３つの基準値を設定することで、車両振動の向きを考慮して上記継続時間をカウントできるので、運転者の運転状態に関する指標値をより正確に算出できる。
【００７９】
また、指標値算出部１５は、有効データ率及び警報条件を考慮して指標値を算出するので、運転者の無意識状態が誤って検出される可能性を低くさせることができる。すなわち、例えば、指標値算出部１５により顔の各向きの偏差（または分散）がすべて算出済みでない場合には、有効データ率が低くなり、指標値が低い値になる。これにより、顔の各向きの状態が十分に解析できていないにも関わらず、運転者の無意識状態が誤検出されることを防ぐことができる。また、例えば車両振動が０．１以上である状態が規定時間以上にわたって継続している場合に、指標値を低い値とすることで、運転者の無意識状態の誤検出を防止できる。
【００８０】
〔その他の実施形態〕
上記した実施形態では、制御部１０の指標値算出部１５は、運転者の画像情報の解析結果のみに基づいて、規定時間内の運転者の顔の各向きの偏差（または分散）を求めるものとしたが、これに限らない。例えば、運転者状態判定装置１に運転者を特定する個人特定装置を設け、個人特定装置により運転者が特定された場合に、指標値算出部１５は、予め記憶部１３に記憶された個人特性等を考慮して補正した運転者の顔の各向きの偏差（または分散）を求めるようにしてもよい。
【００８１】
〔ソフトウェアによる実現例〕
制御部１０の各機能ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００８２】
後者の場合、制御部１０の各部（画像情報取得部１１、車両挙動情報取得部１２、基準値設定部１４、指標値算出部１５、判定部１６、警報出力部１７）の機能を実現するソフトウェアである運転者状態判定プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサを備えていると共に、上記運転者状態判定プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記運転者状態判定プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記運転者状態判定プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記運転者状態判定プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８３】
本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００８４】
１  運転者状態判定装置
１０  制御部
１１  画像情報取得部
１２  車両挙動情報取得部
１３  記憶部
１４  基準値設定部
１５  指標値算出部
１６  判定部
１７  警報出力部
２１  運転者監視装置
Ｓ１  車両挙動情報取得工程
Ｓ２  画像情報取得工程
Ｓ４，Ｓ４Ａ  運転者の無意識状態判定
Ｓ１９，Ｓ４０  指標値算出工程
Ｓ２１，Ｓ４２  判定工程
Ｓ１６，Ｓ１７，Ｓ３３，Ｓ３５，Ｓ３７  基準値設定工程
Ｓ２２，Ｓ４３  警報出力工程
【図１】
2020194229.tif 000003
【図２】
2020194229.tif 000004
【図３】
2020194229.tif 000005
【図４】
2020194229.tif 000006
【図５】
2020194229.tif 000007
【図６】
2020194229.tif 000008
【図７】
2020194229.tif 000009
【図８】
2020194229.tif 000010
【図９】
2020194229.tif 000011
【図１０】
2020194229.tif 000012