(57)【要約】【課題】  同一運転者において運転機会毎に体調が変化した場合、あるいは運転者が変わっても適確に運転者の疲労を検出できる疲労検出装置を提供する。【解決手段】運転者の運転状態を検出する運転状態検出手段と、検出された運転状態から所定の視認行動を検出する視認行動検出手段と、所定の視認行動の頻度の基準値を設定する基準値設定手段と、検出された所定の視認行動の頻度が基準値と異なる場合に運転者が疲労していると判定する疲労判定手段と、を備えることを特徴とする疲労検出装置として提供可能である。【選択図】        図１
2007082594.tif 000002
【特許請求の範囲】
【請求項１】
運転者の運転状態を検出する運転状態検出手段と、
前記検出された運転状態から所定の視認行動を検出する視認行動検出手段と、
前記所定の視認行動の頻度の基準値を設定する基準値設定手段と、
前記検出された所定の視認行動の頻度が前記基準値と異なる場合に前記運転者が疲労していると判定する疲労判定手段と、
を備えることを特徴とする疲労検出装置。
【請求項２】
前記運転状態検出手段は前記運転者の運転状態を撮影する撮影手段を含み、
前記視認行動検出手段は前記撮影された画像データから前記所定の視認行動を検出する請求項１に記載の疲労検出装置。
【請求項３】
前記基準値設定手段は所定の時間における前記所定の視認行動の頻度を前記基準値として設定する請求項１または２に記載の疲労検出装置。
【請求項４】
車両のエンジンの始動を検出するエンジン始動検出手段と、
前記エンジンの始動が検出されてからの経過時間を測定する経過時間測定手段とを備え、
前記基準値設定手段は前記経過時間の所定値における前記所定の視認行動の頻度を前記基準値とする請求項３に記載の疲労検出装置。
【請求項５】
前記所定の視認行動は前記運転者の頭部の動作を伴う請求項１ないし４のいずれか１項に記載の疲労検出装置。
【請求項６】
前記所定の視認行動は前記運転者によるサイドミラーの確認動作である請求項５に記載の疲労検出装置。
【請求項７】
前記疲労判定手段は、前記検出された所定の視認行動の頻度が前記基準値を下回る場合に前記運転者が疲労していると判定する請求項１ないし６のいずれか１項に記載の疲労検出装置。
【請求項８】
前記運転者が疲労していると判定された場合に、その旨を報知する報知手段を備える請求項１ないし７のいずれか１項に記載の疲労検出装置。
【請求項９】
前記報知手段は音声メッセージを送出する請求項８に記載の疲労検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両を運転中の運転者の疲労等を検出する疲労検出装置に関するものである。
【背景技術】
【０００２】
従来より、運転者の疲労を検出して休息を促す装置が考案されている。
【０００３】
例えば、自動車専用道路を走行中には、所定速度以上での走行が所定時間以上継続したならば、休憩をするように運転者に指示する休憩指示手段を有する車載用ナビゲーション装置が考案されている（特許文献１参照）。また、頭や顔の動き,瞳孔の動きから運転者の運転技量を測定し、その運転技量に見合った内容で車両走行状態を強制補正したり、注意を喚起する移動体の制御装置が考案されている（特許文献２参照）。
【０００４】
【特許文献１】特開平０５−０７１９７６号公報
【特許文献２】特開２００１−１６３０８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記の従来技術では、運転時間や運転者の運転技量によって休憩指示や走行状態の補正を行なうもので、同一運転者において運転機会が異なる場合や運転者が変わった場合を考慮していないので、この場合は適切なタイミングで休憩指示や走行状態の補正を行なうことができないという問題がある。さらに、特許文献２の例では、運転者の運転技量を検出する必要があるので、装置の構成が複雑になり製造コストも上昇する。
【０００６】
上記問題を背景として、本発明の課題は、同一運転者において運転機会毎に体調が変化した場合、あるいは運転者が変わっても適確に運転者の疲労を検出できる疲労検出装置を提供することにある。
【課題を解決するための手段および発明の効果】
【０００７】
本発明は、上記課題を解決するための疲労検出装置を提供するものである。即ち、請求項１によれば、運転者の運転状態を検出する運転状態検出手段と、検出された運転状態から所定の視認行動を検出する視認行動検出手段と、所定の視認行動の頻度の基準値を設定する基準値設定手段と、検出された所定の視認行動の頻度が基準値と異なる場合に運転者が疲労していると判定する疲労判定手段と、を備えることを特徴とする疲労検出装置として構成される。
【０００８】
本発明は、運転者の疲労の度合いを運転者の視認行動の頻度を検出することで上記問題点を解決するものである。上記構成によって、単に走行時間のみで疲労を判定する構成とは異なり、同一運転者において運転機会毎に体調が変化した場合、あるいは運転者が変わっても適確に運転者の疲労を検出することが可能となる。また、運転者の運転技量を検出する必要もないので、簡易かつ低コストな構成で本発明の疲労検出装置を実現することが可能となる。
【０００９】
請求項２によれば、本発明の疲労検出装置における運転状態検出手段は運転者の運転状態を撮影する撮影手段を含み、視認行動検出手段は撮影された画像データから所定の視認行動を検出する構成をとることができる。
【００１０】
カメラは広く普及していて、人間の状態を検知する生体センサのような他のセンサに比べて価格も安く、低コストで本発明の構成を実現できる。また、近年、車両盗難防止装置が普及し、車両盗難防止装置の一つとして、車両に接近あるいは侵入する不審者を撮影するための侵入検知カメラが搭載された車両がある。車両が走行中は侵入検知カメラは使われないので、侵入検知カメラと共用すれば１台のカメラを効率よく使用できる。
【００１１】
請求項３によれば、本発明の疲労検出装置における基準値設定手段は所定の時間における所定の視認行動の頻度を基準値として設定する構成をとることができる。
【００１２】
疲労判定の基準値は個人差があり、また同じ運転者でも運転機会によって体調が異なるので相応の基準値を用いる必要がある。上記構成によって、異なる運転者に対しても，同一の運転者の異なる運転機会に対しても適正な基準値を求めることができ、適確な疲労判定を行なうことが可能となる。
【００１３】
請求項４によれば、本発明の疲労検出装置は、車両のエンジンの始動を検出するエンジン始動検出手段と、エンジンの始動が検出されてからの経過時間を測定する経過時間測定手段とを備え、基準値設定手段は経過時間の所定値における所定の視認行動の頻度を基準値とする構成をとることができる。
【００１４】
エンジン始動から発進までの間は、車両の状態および車両の周囲の安全を確かめて発進しなければならないため特に注意を要する時間帯である。つまり、安全確認のための視認行動が適正な頻度でなされていると考えられる。上記構成によって、外部から設定操作を行なうことなく、異なる運転者，同一の運転者の異なる運転機会に対しても適正な基準値を求めることができる。
【００１５】
請求項５によれば、本発明の疲労検出装置における所定の視認行動は運転者の頭部の動作を伴う構成をとることができる。
【００１６】
疲労が増すと視線移動は行なうが頭部の動作である首振り動作は行なわなくなる傾向が大きくなる。上記構成によって、運転者の疲労の度合いを運転者の頭部の動作によって検出することが可能となる。
【００１７】
請求項６によれば、本発明の疲労検出装置における所定の視認行動は運転者によるサイドミラーの確認動作である構成をとることができる。
【００１８】
サイドミラーを確認するには視線移動だけでなく運転者が頭部を動かす、つまり首振り動作を行なう必要がある。上記構成によって、運転者の疲労の度合いを運転者のサイドミラーの確認動作によって検出することが可能となる。
【００１９】
請求項７によれば、本発明の疲労検出装置における疲労判定手段は、検出された所定の視認行動の頻度が前記基準値を下回る場合に前記運転者が疲労していると判定する構成をとることができる。
【００２０】
疲労が増すと視認行動の頻度は少なくなることが多い。上記構成によって、運転者の疲労を適確に検出することが可能となる。
【００２１】
請求項８によれば、本発明の疲労検出装置は、運転者が疲労していると判定された場合に、その旨を報知する報知手段を備える構成をとることができる。
【００２２】
上記構成によって、運転者は自らが疲労状態にあることを認識することができ、車両の周囲への注意がおろそかにならないように気を付けたり、休憩のためにしかるべき場所に停車するなどの疲労回復のための処置をとることができる。また、運転者は報知の間隔・頻度等の報知タイミングからその時点での疲労状態を把握することができ、疲労しやすさの度合いに応じて運転スケジュールを立てることが可能となる。
【００２３】
請求項９によれば、本発明の疲労検出装置における報知手段は音声メッセージを送出する構成をとることができる。
【００２４】
疲労状態では、表示器による報知（視覚）よりも音声による報知（聴覚）が効果的である。音声メッセージを送出するスピーカ（音響機器）は殆どの車両に備えられている。上記構成によって、低コストで報知手段を構成することが可能となる。
【発明を実施するための最良の形態】
【００２５】
同一運転者において運転機会毎に体調が変化した場合、あるいは運転者が変わっても適確に運転者の疲労を検出できる疲労検出装置を提供するという目的を、運転者のサイドミラー確認回数を運転開始時と運転中とで比較することにより運転者の疲れを検出する構成により実現した。
【実施例】
【００２６】
以下、本発明の実施の形態を、図面に示す実施例を参照しながら説明する。図１に本発明の疲労検出装置１の全体構成を示す。疲労検出装置１は、制御部１２と、その制御部１２に入出力回路１４を介して接続される、画像処理部１１，音声合成部１３，メモリ１６を含む制御ユニット１０と、制御ユニット１０に接続されるカメラ１５，スピーカ１７，イグニッションスイッチ１８，スタータスイッチ１９を含んで構成される。
【００２７】
本発明の視認行動検出手段である画像処理部１１は、公知のパターン認識などの技術によって、カメラ１５によって撮影された画像の解析を行なうための画像処理回路を含んで構成される。
【００２８】
本発明の基準値設定手段，疲労判定手段，経過時間測定手段である制御部１２は周知のＣＰＵ１２ａ，ＲＯＭ１２ｂ，ＲＡＭ１２ｃ，および図示しないＡ／Ｄ変換回路等の周辺回路を含んで構成される。ＲＯＭ１２ｂには疲労検出装置１で行なわれる各種処理を実行するための制御プログラム１２ｐおよびデータが記憶されている。
【００２９】
本発明の報知手段である音声合成部１３は、図示しない周知の音声合成回路を含んで構成され、ＲＯＭ１２ｂに記憶される制御プログラムの指令によってメモリ１６あるいはＲＯＭ１２ｂに記憶されるデジタル音声データを音声合成回路においてアナログ音声に変換したものがスピーカ１７から送出される。なお、音声合成の方法には、音声波形をそのままあるいは符号化して蓄積しておき、必要に応じて繋ぎあわせる録音編集方式などがある。
【００３０】
本発明の運転状態検出手段，撮影手段であるカメラ１５は、例えば赤外投光領域撮像カメラ１５ａと赤外投光ランプ１５ｂを含んで構成される（図４参照）。赤外投光ランプ１５ｂにより運転者の頭顔部に赤外光が投光され、その反射光を赤外投光領域撮像カメラ１５ａにより撮影する。カメラ１５は、図２のように例えばステアリングホイールのコラムカバーに設けられる。カメラ１５の設置場所は、ルームミラー内，天井部，計器パネル上部のような運転者の頭顔部が撮影可能であれば特に制約はない。また、赤外光を用いずに自然光によって撮影する方法を用いてもよい。
【００３１】
メモリ１６は、ＥＥＰＲＯＭ（Electrically  Erasable  ＆  Programmable  Read  Only  Memory：電気的消去・プログラム可能・読出し専用メモリ）やフラッシュメモリ等の書き換え可能な半導体メモリ、あるいはハードディスク装置等によって構成され、疲労検出装置１の動作に必要な情報およびデータが記録されている。また、疲労検出装置１の電源がオフ状態になっても、記録内容は保持される。
【００３２】
本発明のエンジン始動検出手段であるイグニッションスイッチ１８は車両のイグニッションキーがオン状態になったかどうかを検出するもので、例えば、イグニッションキーがオン状態になるとＨレベルが、オン状態以外の場合にはＬレベルが制御ユニット１０に入力される。
【００３３】
本発明のエンジン始動検出手段であるスタータスイッチ１９は車両のエンジンを始動させるスタータモータが動作状態になるとＨレベルが、動作状態以外の場合にはＬレベルが制御ユニット１０に入力される。
【００３４】
本発明のエンジン始動検出手段としてイグニッションスイッチ１８，スタータスイッチ１９のいずれか一方を用いてもよいし、両方を用いてもよい。
【００３５】
図３を用いて、疲労検知処理について説明する。なお、本処理は制御プログラム１２ｐに含まれ、制御プログラム１２ｐの他の処理とともに繰り返し実行される。まず、イグニッションスイッチ１８によりイグニッションキーがオン状態になったこと、あるいはスタータスイッチ１９によりスタータモータが動作状態になったことを検出して、車両のエンジンが始動されたと判断したら（Ｓ１）、ＣＰＵ１２ａに含まれるタイマを起動させて運転者のサイドミラー（例えば図２の２０）確認動作回数の計数を開始する（Ｓ２）。計数された内容はＲＡＭ１２ｃあるいはメモリ１６の所定の領域に記憶される。
【００３６】
サイドミラー確認動作の情報は画像処理部１１から取得する（詳細については後述する）。
【００３７】
例えば、１５分のようなタイマの設定時間すなわち学習期間が終了したら（Ｓ３：Ｙｅｓ）、計数したサイドミラー確認動作回数をタイマの設定時間で除算して、サイドミラー確認動作平均回数を算出する（Ｓ４）。そして、頻度の基準値である疲れ判定回数を算出する（Ｓ５）。
【００３８】
疲れ判定回数の算出方法は、先に算出されたサイドミラー確認動作平均回数をそのまま用いてもよいし、サイドミラー確認動作平均回数に所定の係数を乗じたものを用いてもよい。一般的に車両のエンジンを始動させて発進してから数分の間は、車両あるいは車両の走行に慣れるために、車両の周囲により多くの注意を払う傾向にある。このため、サイドミラー確認動作回数もより多くなるので、所定の係数に１より小さい値を用いてもよい。算出された疲れ判定回数はＲＡＭ１２ｃあるいはメモリ１６の所定の領域に記憶される。
【００３９】
学習期間終了後は、サイドミラー確認動作回数の計数を継続し（Ｓ６）、例えば１５分毎のような所定の時間間隔毎にサイドミラー確認動作平均回数を算出し（Ｓ７）、そのサイドミラー確認動作平均回数が疲れ判定回数を下回る場合（Ｓ８：Ｙｅｓ）、音声合成部１３，スピーカ１７により、例えば「お疲れのようです、車を停めて休憩して下さい」のような音声メッセージを送出する（Ｓ９）。
【００４０】
サイドミラー確認動作平均回数を算出する時間間隔は、車両の速度によって変化させてもよい。車両の速度は図示しない車速センサにより検出される。車速センサは周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御部１２に送るものである。制御部１２では、その車輪の回転数を車両の速度に換算する。例えば、サイドミラー確認動作平均回数を算出する時間間隔を、車速が比較的小さい場合は長くし、車速が比較的大きい場合は短くする。
【００４１】
車両の走行場所によってサイドミラー確認動作平均回数を算出する時間間隔を変化させてもよい。例えば、サイドミラー確認動作平均回数を算出する時間間隔を、市街地を走行中の場合は車両の周囲の状況の変化が比較的大きいため短くし、高速道路や自動車専用道路を走行中の場合は車両の周囲の状況の変化が比較的小さいため長くする。
【００４２】
車両の走行場所は周知の車載用ナビゲーション装置等で用いられる位置検出器および地図データを用いることで検出できる。位置検出器は衛星からの電波に基づいて車両の位置を検出するＧＰＳ受信機が用いられる。また、ＧＰＳ受信機の他に、周知の地磁気センサ，ジャイロスコープ，距離センサを用いてもよい。これらのセンサは各々が性質の異なる誤差を持っているため、複数のセンサにより各々補完しながら使用するように構成されている。なお、精度によっては前述したうちの一部のセンサで構成してもよく、さらに、ステアリングの回転センサや各転動輪の車輪センサを用いてもよい。
【００４３】
地図データは、位置検出の精度向上のためのいわゆるマップマッチング用データ、道路の接続を表した道路データを含んで構成される。地図データは、表示用となる所定の地図画像情報を記憶すると共に、リンク情報やノード情報等を含む道路網情報を記憶する。リンク情報は、各道路を構成する所定の区間情報であって、位置座標、距離、所要時間、道幅、車線数、制限速度等から構成される。また、ノード情報は、交差点（分岐路）等を規定する情報であって、位置座標、右左折車線数、接続先道路リンク等から構成される。また、リンク間接続情報には、通行の可不可を示すデータなどが設定されている。
【００４４】
例えば、一般道路から高速道路への流入、高速道路から一般道路への流出のように、走行する道路の環境が変化した場合は、その変化を検出した時点から学習期間を開始させて疲れ判定回数の算出を行なってもよい。車両が一般道路から高速道路へ流入したことの検出は、位置検出器および地図データによって行なうことができる。郊外から市街地への流入／流出を、走行する道路の環境が変化したと判定してもよい。
【００４５】
また、ＧＰＳ信号に含まれる時刻情報、あるいは、ＣＰＵ１２ａの内部カウンタを用いて生成される時刻情報により、サイドミラー確認動作平均回数を算出する時間間隔を走行時間帯によって変化させてもよい。例えば、サイドミラー確認動作平均回数を算出する時間間隔を、昼間は長くし、夜間は短くする。
【００４６】
図４，図５を用いて、運転者の視認行動検出処理の一例について説明する。図４は、視認行動検出の機能構成を示すブロック図である。図４に示すように、赤外投光ランプ１５ｂの投光部分と、赤外投光領域撮像カメラ１５ａの受光部には、赤外透過フィルタ１５ｃが設けられており、画像処理部１１は、赤外投光領域撮像カメラ１５ａから出力される映像信号に基づいて、画像処理モジュール１１ａにおいて一般的な２値化処理や特徴点の抽出処理を行なうことによって運転者の頭顔部の画像を抽出し、その抽出した頭顔部の画像に基づいて、注視点検出モジュール１１ｂにおいて、運転者の注視点Ｐを算出するために、頭顔方向Ｄｈ，注視方向Ｄｓを検出する。
【００４７】
次に、画像処理部１１の具体的な機能について、図５を参照して説明する。図５は、本実施形態における注視点検出処理のフロー図であり、画像処理モジュール１１ａおよび注視点検出モジュール１１ｂにより実現される機能を表わす。なお、これらモジュールは画像処理部１１に含まれる図示しない周知のマイクロコンピュータが実行する画像処理プログラムに含まれる。
【００４８】
まず、赤外投光ランプ１５ｂによって運転者の頭顔部に投光を行なうと共に、赤外投光領域撮像カメラ１５ａによって撮影した当該頭顔部のアナログ映像信号を画像処理モジュール１１ａに取り込み、その映像信号に一般的な２値化処理を施すことにより、ピクセル毎のデジタル多値画像データに変換する（Ｓ２１）。
【００４９】
得られた多値画像データから、一般的な画像処理手法を用いて運転者の顔画像部分を抽出し、その抽出した顔画像部分に含まれる複数の特徴点（例えば目頭、目尻、鼻孔等）の位置を検出する（Ｓ２２）。
【００５０】
抽出された顔画像部分の画像データから、赤外投光ランプ１５ｂの投光によって運転者の眼球の角膜に発生している反射点の位置と瞳孔の位置とを、一般的な画像処理手法を用いて検出する（Ｓ２３）。
【００５１】
検出された特徴点の位置に基づいて、所定の３次元座標空間における運転者の頭顔面の傾きを算出することにより、運転者の頭顔が向けられている方向である頭顔方向Ｄｈを計測する（Ｓ２４）。
【００５２】
検出された角膜反射点，瞳孔位置，頭顔方向Ｄｈとに基づいて、運転者の視線の方向である注視方向Ｄｓを検出する（Ｓ２５）。
【００５３】
検出された注視方向Ｄｓが、当該所定の３次元座標空間における座標として予めメモリ１６等に記憶された車両内外の所定位置（前方の遠方位置、前方の車両近傍位置、ルームミラー取り付け位置、左右のサイドミラー取り付け位置等）に対応するかを判断することにより、ドライバの注視点Ｐを検出し、その検出された注視点Ｐが左あるいは右のサイドミラー取り付け位置である場合、当該サイドミラーを注視していると判断して、その情報を制御部１２に出力する（Ｓ２６）。
【００５４】
検出する運転者の視認行動として、注視方向Ｄｓを左あるいは右のサイドミラー取り付け位置とする他に、運転者の首振り動作を伴う注視箇所であれば、前方の遠方位置、前方の車両近傍位置、ルームミラー取り付け位置としてもよい。また、注視方向Ｄｓとして少なくとも２つ以上の位置を用い、これらの位置のそれぞれの確認動作における確認動作平均回数を用いて疲労検知を行なってもよい。
【００５５】
また、頭顔方向Ｄｈの延長線上に左あるいは右のサイドミラー取り付け位置がある場合に、当該サイドミラーを注視していると判断してもよい。
【００５６】
なお、本発明の構成によって、運転者の疲労による視認行動の頻度の変化だけではなく、運転中の体調変化による視認行動の頻度の変化も検出可能である。
【００５７】
以上、本発明の実施の形態を説明したが、これらはあくまで例示にすぎず、本発明はこれらに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。
【図面の簡単な説明】
【００５８】
【図１】疲労検出装置の構成を示すブロック図。
【図２】カメラの取り付け例を示す図。
【図３】疲労検知処理を説明するためのフロー図。
【図４】画像処理部の具体的な機能について説明するためのブロック図。
【図５】画像処理部の具体的な処理について説明するためのフロー図。
【符号の説明】
【００５９】
１  疲労検出装置
１０  制御ユニット（基準値設定手段，疲労判定手段，経過時間測定手段）
１１  画像処理部（視認行動検出手段）
１３  音声合成部（報知手段）
１５  カメラ（運転状態検出手段，撮影手段）
１６  メモリ
１７  スピーカ（報知手段）
１８  イグニッションスイッチ（エンジン始動検出手段）
１９  スタータスイッチ（エンジン始動検出手段）
２０  サイドミラー（右）
【図１】
2007082594.tif 000003
【図２】
2007082594.tif 000004
【図３】
2007082594.tif 000005
【図４】
2007082594.tif 000006
【図５】
2007082594.tif 000007