(57)【要約】【課題】危険な操縦状態に繋がる前段階など、操縦者に違和感を与える生理的症状を推定することができる症状推定装置を提供する。【解決手段】症状推定装置は、撮像手段と顔情報生成手段と推定手段とを備える。撮像手段は、操縦席前方から操縦席方向を撮像する。顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の顔の状態を検出し、顔の状態を示す顔情報を生成する。推定手段は、顔情報に基づいて、危険な操縦状態に繋がる前段階など、操縦者に違和感を与える生理的症状を推定する。【選択図】図２
2009166783.tif 000002
【特許請求の範囲】
【請求項１】
移動体の操縦席に着席した操縦者の症状を推定する症状推定装置であって、
前記操縦席前方から当該操縦席方向を撮像する撮像手段と、
前記撮像手段が撮像した画像を用いて前記操縦者の顔の状態を検出し、当該顔の状態を示す顔情報を生成する顔情報生成手段と、
前記顔情報に基づいて、前記操縦者に違和感を与える生理的症状が当該操縦者に生じているか否かを推定する推定手段とを備える、症状推定装置。
【請求項２】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目の状態を検出し、当該目の状態を前記顔情報として生成する、請求項１に記載の症状推定装置。
【請求項３】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目が開眼状態にあるか閉眼状態であるかを予め定められた時間間隔で検出し、前記操縦者の目が単位時間あたりに開閉する回数を前記顔情報として生成する、請求項２に記載の症状推定装置。
【請求項４】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目の充血状態を検出し、前記操縦者の目の充血状態を前記顔情報として生成する、請求項２に記載の症状推定装置。
【請求項５】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の白目部分を抽出し、当該白目部分内において輝度が変化するエッジ長さに基づいて、前記操縦者の目の充血状態を検出する、請求項４に記載の症状推定装置。
【請求項６】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目から涙がこぼれた状態にあるか否かを検出し、前記操縦者の涙の状態を前記顔情報として生成する、請求項２に記載の症状推定装置。
【請求項７】
前記顔情報生成手段は、前記撮像手段が撮像した画像から前記操縦者の目頭または目尻の画像を抽出し、当該目頭または目尻の画像およびその周辺画像に予め定められた値以上の輝度差がある領域が存在した場合に、前記操縦者の目から涙がこぼれた状態にあると検出する、請求項６に記載の症状推定装置。
【請求項８】
前記推定手段は、前記顔情報生成手段が生成した顔情報に基づいて、前記操縦者にアレルギー反応を起こしている症状が生じているか否かを推定する、請求項１または２に記載の症状推定装置。
【請求項９】
前記顔画像生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目が開眼状態にあるか閉眼状態にあるかを予め定められた時間間隔で検出し、前記操縦者の目が単位時間あたりに開閉する瞬きの回数を前記顔情報として生成し、
前記推定手段は、前記瞬きの回数が予め定められた回数より多い場合に、アレルギー反応を起こしている症状および疲労状態を示す症状の何れか一方が前記操縦者に生じていると推定する、請求項１または２に記載の症状推定装置。
【請求項１０】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目の充血状態を検出し、前記操縦者の目の充血状態を前記顔情報としてさらに生成し、
前記推定手段は、前記瞬きの回数が前記予め定められた回数より多く、かつ、前記操縦者の目が充血状態にある場合に、前記操縦者にアレルギー反応を起こしている症状が生じていると推定する、請求項９に記載の症状推定装置。
【請求項１１】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目から涙がこぼれた状態にあるか否かを検出し、前記操縦者の涙の状態を前記顔情報としてさらに生成し、
前記推定手段は、前記瞬きの回数が所定の回数より多く、かつ、前記操縦者の目から涙がこぼれた状態にある場合に、前記操縦者にアレルギー反応を起こしている症状が生じていると推定する、請求項９に記載の症状推定装置。
【請求項１２】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目の充血状態を検出し、前記操縦者の目の充血状態を前記顔情報としてさらに生成し、
前記推定手段は、前記瞬きの回数が前記予め定められた回数より多く、かつ、前記操縦者の目が充血状態にない場合に、疲労状態を示す症状が前記操縦者に生じていると推定する、請求項９に記載の症状推定装置。
【請求項１３】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目から涙がこぼれた状態にあるか否かを検出し、前記操縦者の涙の状態を前記顔情報としてさらに生成し、
前記推定手段は、前記瞬きの回数が所定の回数より多く、かつ、前記操縦者の目から涙がこぼれていない状態にある場合に、疲労状態を示す症状が前記操縦者に生じていると推定する、請求項９に記載の症状推定装置。
【請求項１４】
前記推定手段は、前記顔情報生成手段が生成した顔情報に基づいて、前記操縦者に疲労状態を示す症状が生じているか否かを推定する、請求項１または２に記載の症状推定装置。
【請求項１５】
前記顔画像生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目が閉眼状態にあるか否かを検出することによって、当該操縦者の目が閉眼状態にある閉眼時間を算出して、当該閉眼時間を前記顔情報として生成し、
前記推定手段は、前記閉眼時間が予め定められた時間以上となる閉眼状態が予め定められた周期以下の間隔で生じている場合に、前記操縦者に疲労状態を示す症状が生じていると推定する、請求項１４に記載の症状推定装置。
【請求項１６】
前記顔情報生成手段は、前記撮像手段が撮像した画像を用いて前記操縦者の目が開眼状態にあるか閉眼状態にあるかを予め定められた時間間隔で検出し、前記操縦者の目が単位時間あたりに開閉する瞬きの回数を前記顔情報として生成し、
前記推定手段は、前記瞬きの回数が予め定められた値より少ない場合に、前記操縦者に疲労状態を示す症状が生じていると推定する、請求項１４に記載の症状推定装置。
【請求項１７】
前記操縦者は、車両の運転席に着座した運転者であり、
前記症状推定装置は、前記車両に設置され、
前記推定手段が推定した前記運転者の症状に応じて、前記車両の車内環境を制御する装備品または前記運転者に情報を通知する装備品を制御する制御手段を、さらに備える、請求項１または２に記載の症状推定装置。
【請求項１８】
前記推定手段は、前記顔情報生成手段が生成した顔情報に基づいて、前記運転者にアレルギー反応を起こしている症状が生じているか否かを推定し、
前記制御手段は、前記運転者に前記アレルギー反応を起こしている症状が生じていると前記推定手段が推定した場合、前記車両に設けられた空気清浄機を起動させる、請求項１７に記載の症状推定装置。
【請求項１９】
前記推定手段は、前記顔情報生成手段が生成した顔情報に基づいて、前記運転者にアレルギー反応を起こしている症状が生じているか否かを推定し、
前記制御手段は、前記運転者に前記アレルギー反応を起こしている症状が生じていると前記推定手段が推定した場合、前記車両に設けられたパワーウィンドウ機構を制御して当該車両の窓を閉める、請求項１７に記載の症状推定装置。
【請求項２０】
前記推定手段は、前記顔情報生成手段が生成した顔情報に基づいて、前記運転者に疲労状態を示す症状が生じているか否かを推定し、
前記制御手段は、前記運転者に疲労状態を示す症状が生じていると前記推定手段が推定した場合、前記車両に設けられたエアコンディショナーの設定温度を調整する、請求項１７に記載の症状推定装置。
【請求項２１】
前記推定手段は、前記顔情報生成手段が生成した顔情報に基づいて、前記運転者に疲労状態を示す症状が生じている否かを推定し、
前記制御手段は、前記運転者に疲労状態を示す症状が生じていると前記推定手段が推定した場合、前記車両に設けられたカーナビゲーションシステムを制御して、最寄りの休息施設まで前記運転者をルート案内する、請求項１７に記載の症状推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、症状推定装置に関し、より特定的には、操縦者の顔の状態を検出し、操縦者の症状を推定することができる症状推定装置に関する。
【背景技術】
【０００２】
従来、カメラなどでドライバーの顔を撮像し、撮像された画像からドライバーの症状を判定する運転者状態判定装置がある（例えば、特許文献１参照）。上記特許文献１に開示されている運転者状態判定装置は、カメラによりドライバーの顔を撮像し、撮像された顔画像を解析することにより、居眠り、よそ見、わき見などの当該ドライバーが運転する際の認知判断が欠如するような症状を検知する。そして、上記運転者状態判定装置は、上記状態を検知した場合、ドライバーへ警告を行ったり、危険を未然に回避するためにドライバーが運転する車両を制御したりする。
【特許文献１】特開２００５−１０８０３３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、運転操作する際の認知判断が欠如するようなドライバーの症状とは、例えば、運転する車両と他の物体との衝突が不可避、または衝突の可能性が高い症状であり、直ちに事故に繋がるような危険な運転状態である。一方、ドライバーが疲労や眠気を感じていたり不快に感じていたりするなど、そのまま放置すれば上記危険な運転状態となることが予想されるような一歩手前の危険な運転状態もある。しかしながら、上記特許文献１に開示された運転者状態判定装置は、直ちに事故に繋がるような危険な運転状態のドライバー症状を検知するものであり、上記危険な運転状態に繋がる前段階のドライバーの症状など、ドライバーに違和感を与える生理的症状を検知するものではなかった。
【０００４】
本発明は、上記事情に鑑みてなされたものであり、その目的とするところは、危険な操縦状態に繋がる前段階となり得る操縦者の症状など、操縦者に違和感を与える生理的症状を推定する症状推定装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記のような目的を達成するために、本発明は、以下に示すような特徴を有している。  第１の発明は、移動体の操縦席に着席した操縦者の症状を推定する症状推定装置である。症状推定装置は、撮像手段と顔情報生成手段と推定手段とを備える。撮像手段は、操縦席前方から操縦席方向を撮像する。顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の顔の状態を検出し、顔の状態を示す顔情報を生成する。推定手段は、顔情報に基づいて、操縦者が危険な操縦状態に繋がる前段階となり得る症状など、操縦者に違和感を与える生理的症状が操縦者に生じているか否かを推定する。なお、上記症状推定装置は、自動車、飛行機、船舶等の移動体に設けられる。そして、上記操縦者は、自動車の運転者、飛行機の操縦者、船舶の操舵者等を含む概念である。また、上記操縦席は、自動車の運転席、飛行機の操縦席、船舶の操舵席等を含む概念である。
【０００６】
第２の発明は、上記第１の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目の状態を検出し、目の状態を顔情報として生成する。
【０００７】
第３の発明は、上記第２の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目が開眼状態にあるか閉眼状態であるかを予め定められた時間間隔で検出し、操縦者の目が単位時間あたりに開閉する回数を顔情報として生成する。
【０００８】
第４の発明は、上記第２の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目の充血状態を検出し、操縦者の目の充血状態を顔情報として生成する。
【０００９】
第５の発明は、上記第４の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の白目部分を抽出し、白目部分内において輝度が変化するエッジ長さに基づいて、操縦者の目の充血状態を検出する。
【００１０】
第６の発明は、上記第２の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目から涙がこぼれた状態にあるにあるか否かを検出し、操縦者の涙の状態を顔情報として生成する。
【００１１】
第７の発明は、上記第６の発明において、撮像手段が撮像した画像から操縦者の目頭または目尻の画像を抽出し、目頭または目尻の画像およびその周辺画像に予め定められた値以上の輝度差がある領域が存在した場合に、操縦者の目から涙がこぼれた状態にあると検出する。
【００１２】
第８の発明は、上記第１または第２の発明において、顔情報生成手段が生成した顔情報に基づいて、操縦者にアレルギー反応を起こしている症状が生じているか否かを推定する。
【００１３】
第９の発明は、上記第１または第２の発明において、顔画像生成手段は、撮像手段が撮像した画像を用いて操縦者の目が開眼状態にあるか閉眼状態にあるかを予め定められた時間間隔で検出し、操縦者の目が単位時間あたりに開閉する瞬きの回数を前記顔情報として生成する。そして、推定手段は、瞬きの回数が予め定められた回数より多い場合に、アレルギー反応を起こしている症状および疲労状態を示す症状の何れか一方が操縦者に生じていると推定する。
【００１４】
第１０の発明は、上記第９の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目の充血状態を検出し、操縦者の目の充血状態を顔情報としてさらに生成する。そして、推定手段は、瞬きの回数が予め定められた回数より多く、かつ、操縦者の目が充血状態にある場合に、操縦者にアレルギー反応を起こしている症状が生じていると推定する。
【００１５】
第１１の発明は、上記第９の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目から涙がこぼれた状態にあるか否かを検出し、操縦者の涙の状態を顔情報としてさらに生成する。そして、推定手段は、瞬きの回数が所定の回数より多く、かつ、操縦者の目から涙がこぼれた状態にある場合に、操縦者にアレルギー反応を起こしている症状が生じていると推定する。
【００１６】
第１２の発明は、上記第９の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目の充血状態を検出し、操縦者の目の充血状態を顔情報としてさらに生成する。そして、推定手段は、瞬きの回数が予め定められた回数より多く、かつ、操縦者の目が充血状態にない場合に、疲労状態を示す症状が操縦者に生じていると推定する。
【００１７】
第１３の発明は、上記第９の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目から涙がこぼれた状態にあるか否かを検出し、操縦者の涙の状態を顔情報としてさらに生成する。そして、推定手段は、瞬きの回数が所定の回数より多く、かつ、操縦者の目から涙がこぼれていない状態にある場合に、疲労状態を示す症状が操縦者に生じていると推定する。
【００１８】
第１４の発明は、上記第１または第２の発明において、推定手段は、顔情報生成手段が生成した顔情報に基づいて、操縦者に疲労状態を示す症状が生じているか否かを推定する。
【００１９】
第１５の発明は、上記第１４の発明において、顔画像生成手段は、撮像手段が撮像した画像を用いて操縦者の目が閉眼状態にあるか否かを検出することによって、操縦者の目が閉眼状態にある閉眼時間を算出して、閉眼時間を顔情報として生成する。そして、推定手段は、閉眼時間が予め定められた時間以上となる閉眼状態が予め定められた周期以下の間隔で生じている場合に、操縦者に疲労状態を示す症状が生じていると推定する。
【００２０】
第１６の発明は、上記第１４の発明において、顔情報生成手段は、撮像手段が撮像した画像を用いて操縦者の目が開眼状態にあるか閉眼状態にあるかを予め定められた時間間隔で検出し、操縦者の目が単位時間あたりに開閉する瞬きの回数を顔情報として生成する。そして、推定手段は、瞬きの回数が予め定められた値より少ない場合に、操縦者に疲労状態を示す症状が生じていると推定する。
【００２１】
第１７の発明は、上記第１または第２の発明において、操縦者は、車両の運転席に着座した運転者であり、症状推定装置は、車両に設置される。そして、推定手段が推定した運転者の症状に応じて、車両の車内環境を制御する装備品または運転者に情報を通知する装備品を制御する制御手段を、さらに備える。
【００２２】
第１８の発明は、上記第１７の発明において、推定手段は、顔情報生成手段が生成した顔情報に基づいて、運転者にアレルギー反応を起こしている症状が生じているか否かを推定する。そして、制御手段は、運転者にアレルギー反応を起こしている症状が生じていると推定手段が推定した場合、車両に設けられた空気清浄機を起動させる。
【００２３】
第１９の発明は、上記第１７の発明において、推定手段は、顔情報生成手段が生成した顔情報に基づいて、運転者にアレルギー反応を起こしている症状が生じているか否かを推定する。そして、制御手段は、運転者にアレルギー反応を起こしている症状が生じていると推定手段が推定した場合、車両に設けられたパワーウィンドウ機構を制御して車両の窓を閉める。
【００２４】
第２０の発明は、上記第１７の発明において、顔情報生成手段が生成した顔情報に基づいて、運転者に疲労状態を示す症状が生じているか否かを推定する。そして、制御手段は、運転者に疲労状態を示す症状が生じていると推定手段が推定した場合、車両に設けられたエアコンディショナーの設定温度を調整する。
【００２５】
第２１の発明は、上記第１７の発明において、推定手段は、顔情報生成手段が生成した顔情報に基づいて、運転者に疲労状態を示す症状が生じている否かを推定する。そして、制御手段は、運転者に疲労状態を示す症状が生じていると推定手段が推定した場合、車両に設けられたカーナビゲーションシステムを制御して、最寄りの休息施設まで運転者をルート案内する。
【発明の効果】
【００２６】
上記第１の発明によれば、操縦者の顔の状態から推定可能な症状が当該操縦者に生じているか、操縦中に判断することができ、当該判断結果を用いた事故予防が可能となる。例えば、操縦者が疲労や眠気を感じていたり不快に感じていたりするなど、そのまま放置すれば危険な操縦状態となることが予想されるような一歩手前の危険な操縦状態に陥るなど、操縦者に違和感を与える生理的症状を操縦中に推定することができ、操縦者に違和感を与える生理的症状が生じる前の対策が可能となる。
【００２７】
上記第２の発明によれば、操縦者の目の状態を用いて操縦者の状態を検出し、当該目の状態を用いて上記症状が操縦者に生じているか推定する。したがって、限定された顔部品に絞って症状推定されるため、画像処理や症状推定処理が簡素化される。
【００２８】
上記第３の発明によれば、操縦者の瞬きの回数に応じた症状推定処理が可能となる。
【００２９】
上記第４の発明によれば、操縦者の目の充血状態に応じた症状推定処理が可能となる。
【００３０】
上記第５の発明によれば、撮像された画像の白目部分の輝度変化を用いて、容易に操縦者の目の充血状態を判別することができる。
【００３１】
上記第６の発明によれば、操縦者の涙の状態に応じた症状推定処理が可能となる。
【００３２】
上記第７の発明によれば、操縦者の目頭または目尻およびその周辺の輝度差を用いて、容易に操縦者の目の涙状態を判別することができる。
【００３３】
上記第８の発明によれば、操縦者の目の状態、汗の状態、顔色の状態などを示す顔情報から推定可能なアレルギー症状が当該操縦者に生じているか、操縦中に判断することができ、当該判断結果を用いた事故予防が可能となる。
【００３４】
上記第９の発明によれば、操縦者の瞬き回数によって、容易に操縦者のアレルギー症状や疲労状態を判別することができる。例えば、車内のホコリや植物の花粉等に操縦者の目の粘膜が過剰に反応して瞬きの回数が多くなるような場合や、目の疲労によって瞬きの回数が多くなるような場合等、一般的に操縦者の症状が瞬き回数に現れるような症状に対する症状推定処理を容易に行うことができる。
【００３５】
上記第１０および第１２の発明によれば、操縦者の充血の有無によって、容易にアレルギー症状と疲労状態とを区別することができる。
【００３６】
上記第１１および第１３の発明によれば、操縦者の涙の状態によって、容易にアレルギー症状と疲労状態とを区別することができる。
【００３７】
上記第１４の発明によれば、操縦者の目の状態、汗の状態、顔色の状態などを示す顔情報から推定可能な疲労状態に当該操縦者があるのか、操縦中に判断することができ、当該判断結果を用いた事故予防が可能となる。
【００３８】
上記第１５の発明によれば、操縦者の閉眼時間とその周期によって、容易に操縦者の疲労状態を判別することができる。例えば、上まぶたが下がり薄目状態のもうろうとした状態が継続した場合、操縦者に疲労状態を示す症状が生じていると推定することができる。
【００３９】
第１６の発明によれば、操縦者の瞬き回数によって、容易に操縦者の疲労状態を判別することができる。例えば、操縦者の目の上まぶたが下がり薄目状態のもうろうとした状態になり、瞬きの回数が少なくなるような場合に、操縦者は疲労状態を示す症状を生じていると推定することができる。
【００４０】
第１７の発明によれば、運転者の顔の状態から推定可能な症状が当該運転者に生じているか、車両の運転中に判断することができ、当該判断結果を用いた車両事故予防が可能となる。例えば、運転者が疲労や眠気を感じていたり不快に感じていたりするなど、そのまま放置すれば危険な運転状態となることが予想されるような一歩手前の危険な運転状態に陥るなど、運転者に違和感を与える生理的症状を車両運転中に推定することができ、運転者に違和感を与える生理的症状が生じる前の対策などを実施することが可能となる。
【００４１】
第１８の発明によれば、運転者がアレルギー反応を起こしている症状を生じていると推定された場合、空気清浄機を作動させるので、車内の花粉やホコリを除去することができ、アレルギー症状を軽減することができる。
【００４２】
第１９の発明によれば、運転者がアレルギー反応を起こしている症状を生じていると推定された場合、車両の窓が閉まるので、花粉やホコリが車内に進入してくるのを防ぐことができ、アレルギー症状を軽減することができる。
【００４３】
第２０の発明によれば、運転者が疲労状態を示す症状を生じていると推定された場合、車両に設けられたエアコンディショナーの設定温度を調整するので、運転者はエアコンディショナーの送風口からでる風によって爽快感を得ることができ、疲労を軽減することができる。
【００４４】
第２１の発明によれば、運転者が疲労状態を示す症状を生じていると推定された場合、最寄りの休息施設まで運転者をルート案内するので、運転者は最寄りの休息施設により休息を取ることができ、疲労を軽減することができる。
【発明を実施するための最良の形態】
【００４５】
以下、図面を参照して、本発明の一実施形態に係る症状推定装置の構成および動作について説明する。なお、本実施形態では当該症状推定装置が車両に設置された場合を想定し、当該車両を運転するドライバーが危険な運転状態に繋がる前段階となり得る症状を生じているか否かを推定するものとする。
【００４６】
図１は、本発明の一実施形態に係る症状推定装置の構成の一例を示すブロック図である。図１において、当該症状推定装置は、カメラ１００と、ドライバモニタＥＣＵ（Electronic Control Unit）１１０と、予防安全ＥＣＵ（Electronic Control Unit）１２０とを有している。
【００４７】
カメラ１００は、ドライバーの顔を撮像する、例えばＣＣＤカメラ、赤外線カメラ等である。なお、カメラ１００は、ズーム機能を有していてもかまわない。例えば、カメラ１００は、液体レンズを内蔵することによってズーム機能を実現する。一般的に、液体レンズは、流す電流の電圧で光の屈折率を変化させることができ、機械的なオートフォーカスが有するモータ、ガラスなどを必要としないために省スペース化に有効であり、振動、耐用年数など車両の使用環境を考慮すると好適である。なお、カメラ１００は、本発明の撮像手段の一例に相当する。
【００４８】
カメラ１００は、運転席に着座したドライバーの顔を撮像できる位置に設置される。カメラ１００の設置場所の一例として、運転席のメーターフード内、メーターパネル内、およびステアリングコラム上などが挙げられる。また、カメラ１００は、例えば、所定時間間隔でドライバーの顔を撮像する。そして、カメラ１００が撮像した画像は、ドライバモニタＥＣＵ１１０に出力される。
【００４９】
ドライバモニタＥＣＵ１１０は、メインマイクロコンピュータ（以下メインマイコンと称す）１１１、サブマイクロコンピュータ（以下サブマイコンと称す）１１２、および顔画像パターン格納部１１３等を備えている。ドライバモニタＥＣＵ１１０には、上述したドライバーの顔画像を撮像するカメラ１００と、後述する予防安全ＥＣＵ１２０とが接続されている。なお、ドライバモニタＥＣＵ１１０は、本発明の顔情報生成手段の一例に相当する。
【００５０】
メインマイコン１１１は、ＣＰＵ（中央演算装置）およびメモリ等で構成される。また、詳細は後述するが、メインマイコン１１１は、カメラ１００が撮像した画像から、ドライバーの顔向きの検出を主に行う。
【００５１】
サブマイコン１１２は、ＣＰＵおよびメモリ等で構成される。また、詳細は後述するが、サブマイコン１１２は、カメラ１００が撮像した画像から、ドライバーの目の瞬きの回数、閉眼時間、閉眼時刻、目の充血の有無、目の涙の有無といったドライバーの目に関する状態を検出して、それら状態を示す顔情報を生成し、予防安全ＥＣＵ１２０に出力する。
【００５２】
顔画像パターン格納部１１３は、読み書き可能な記憶媒体で構成され、人物の顔画像パターンを示す情報が記憶されている。具体的には、顔画像パターンは、顔の大きさ、目の位置や大きさ、口の位置や大きさ、鼻の位置や大きさ等の様々なパターンを含んでいる。また、顔画像パターンは、様々な人物の顔部品のテンプレート画像（例えば、口のテンプレート画像）を含んでいる。なお、顔画像パターン格納部１１３に記憶されている顔の情報は、例えば上記車両のユーザーの書き換え作業によって、適宜情報が更新されてもよい。
【００５３】
予防安全ＥＣＵ１２０は、サブマイコン１１２が生成したドライバーの目に関する顔情報を用いて、ドライバーに危険な運転状態に繋がる前段階となり得る症状が生じているか否かを推定する。すなわち、予防安全ＥＣＵ１２０は、「眠気を感じている」、「わき見をしている」、「居眠りをしている」などといった、直ちに事故に繋がるようなドライバーの状態だけでなく、「疲労を感じている」、「（花粉などで）アレルギー反応を起こしている」などといった、そのまま放置すればやがて事故に繋がると予想される症状がドライバーに生じているか否かまで推定する。なお、予防安全ＥＣＵ１２０は、上記車両の車両情報（例えば、車両のシフトレバー位置情報など）を当該車両に備わった各装置より取得する。
【００５４】
さらに、予防安全ＥＣＵ１２０は、推定したドライバーの症状に基づいて、上記車両に設置されている各種装置の動作を制御して予防安全を行う。なお、詳細は後述するが、予防安全ＥＣＵ１２０が上記各装置に対して行う制御とは、危険回避制御と危険運転予防制御とがある。
【００５５】
上記危険回避制御とは、「ドライバーがわき見運転をしている」など、直ちに事故に繋がるような危険な運転状態であると予防安全ＥＣＵ１２０が推定した場合に、上記各装置に対して行う制御である。具体的には、予防安全ＥＣＵ１２０は、上記車両に備わった警告灯を点灯させたり警報ブザーを鳴動させたりしてドライバーに注意喚起を促す。典型的には、予防安全ＥＣＵ１２０は、ドライバモニタＥＣＵ１１０（メインマイコン１１１）から出力される顔向き検出結果に基づいてドライバーの運転状態を推定し、上記危険回避制御を行う。
【００５６】
一方、上記危険運転予防制御とは、「ドライバーが疲労を感じている」、「ドライバーに（花粉などで）アレルギー反応を起こしている症状が生じている」など、そのまま放置すればやがて事故に繋がるような危険な運転状態となることが予想されるような症状がドライバーに生じていると予防安全ＥＣＵ１２０が推定した場合に、上記各装置に対して行う制御である。第１の危険運転予防制御例として、予防安全ＥＣＵ１２０は、エアコンディショナー（以下エアコンと称す）１３１を制御して、ドライバーの症状に応じた車内の温度調節をする。第２の危険運転予防制御例として、予防安全ＥＣＵ１２０は、空気清浄機１３２を制御して車内の空気清浄を行う。第３の危険運転予防制御例として、予防安全ＥＣＵ１２０は、車両のパワーウィンドウ機構１３３を制御して窓を閉め、車外から外気が侵入することを防止する。第４の危険運転予防制御例として、予防安全ＥＣＵ１２０は、カーナビゲーションシステム１３４を制御してドライバーに最寄りの休息施設までの休息案内を行ったり、スピーカー１３５を制御して警報の報知を行ったりする。なお、危険運転予防制御を行うために上記車両に設置されている各種装置は、上述した装置に限られるものではない。なお、予防安全ＥＣＵ１２０は、本発明の推定手段の一例および制御手段の一例に相当する。
【００５７】
このように、ドライバモニタＥＣＵ１１０は、カメラ１００が撮像した画像からドライバーの顔に関する情報を生成する。そして、予防安全ＥＣＵ１２０は、ドライバモニタＥＣＵ１１０が生成したドライバーの顔に関する情報を用いて、危険な運転状態に繋がる前段階となり得る症状がドライバーに生じているか否かを推定する。さらに、予防安全ＥＣＵ１２０は、推定結果に基づいて、上記車両に設置されている各種装置に対して危険運転予防制御を行う。以下、図２〜図９を参照して、本実施形態に係る症状推定装置の各部が行う処理の一例を説明する。
【００５８】
図２は、本実施形態に係る症状推定装置において行われる処理の流れの一例を示したフローチャートである。なお、図２に示したフローチャートに示される処理は、ドライバモニタＥＣＵ１１０内に備わったメインマイコン１１１、サブマイコン１１２、および予防安全ＥＣＵ１２０がそれぞれ所定のプログラムを実行することにより行われる。また、図２に示すフローチャートに示す処理は、上記症状推定装置の電源がＯＮ（例えば、上記症状推定装置が搭載された車両のイグニッションスイッチがＯＮ）されることによって開始される。また、当該処理は、上記症状推定装置の電源がＯＦＦ（例えば、イグニッションスイッチがＯＦＦ）されることによって終了する。なお、イグニッションスイッチは、以下ＩＧと略す。
【００５９】
図２のステップＳ２０１において、メインマイコン１１１は、カメラ１００が撮像した画像を取得する。
【００６０】
次に、ステップＳ２０２において、メインマイコン１１１は、ドライバーの顔向きを算出する。以下、図３を用いて、ドライバーの顔向きを算出する動作について説明する。なお、図３は、図２のステップＳ２０２におけるドライバーの顔向きを算出する動作の一例を示すフローチャートである。
【００６１】
図３のステップＳ３０１において、メインマイコン１１１は、上記ステップＳ２０１で取得した撮像画像の所定方向（例えば、縦方向）にソーベルフィルタ処理を施す。そして、メインマイコン１１１は、処理後のソーベル画像内における輝度の差を用いて、当該ソーベル画像内から縦方向のエッジ点を抽出する処理を行い、次のステップＳ３０２へ処理を進める。
【００６２】
ステップＳ３０２において、メインマイコン１１１は、上記ステップＳ３０１でソーベル画像から抽出した縦方向のエッジ点を用いて、当該ソーベル画像におけるドライバーの顔の幅を算出する処理を行う。具体的には、メインマイコン１１１は、抽出された縦方向のエッジ点に対するヒストグラム（縦エッジヒストグラム）を生成し、顔の左右両端の長い輪郭を検出することによってドライバーの顔右端および顔左端を抽出する。そして、メインマイコン１１１は、抽出された顔右端の位置から顔左端の位置を減算した長さを、ドライバーの顔幅として算出する。また、メインマイコン１１１は、算出されたドライバーの顔の幅の情報をサブマイコン１１２に出力する。そして、メインマイコン１１１は、次のステップＳ３０３へ処理を進める。
【００６３】
ステップＳ３０３において、メインマイコン１１１は、上記ステップＳ３０２で顔の幅が算出できたか否かを判断する。そして、メインマイコン１１１は、顔幅が算出できた場合、次のステップＳ３０４に処理を進める。一方、撮像画像から縦方向のエッジ点が抽出できなかったり、ドライバーの顔右端および顔左端が抽出できなかったりした場合、メインマイコン１１１は、上記ステップＳ２０１に戻って処理を繰り返す。なお、カメラ１００の撮像エリア内にドライバーの顔がない場合、すなわち撮像画像内にドライバーの顔全体が撮像されていない場合、メインマイコン１１１は、カメラ１００の撮像倍率を制御し、ズームインまたはズームアウトしてドライバーを撮像するようにしてもよい。また、ドライバーが横を向いている場合、すなわちわき見運転をしている場合、ドライバーの顔幅が算出できないことがある。この場合、メインマイコン１１１は、予防安全ＥＣＵ１２０に対して上記危険回避制御を指示してもかまわない。
【００６４】
ステップＳ３０４において、メインマイコン１１１は、上記ステップＳ３０３で算出された顔の幅を用いて、撮像画像におけるドライバーの目、鼻、および口の位置（顔部品位置）を推定する。具体的な方法の一例として、メインマイコン１１１は、撮像画像の所定方向（例えば、横方向）にソーベルフィルタ処理を施す。そして、メインマイコン１１１は、横方向のソーベル画像を用いて顔部品を抽出した画像（白黒白エッジ画像）を作成して、顔部品（目、鼻、口）の位置を推定し、顔画像に対する左右対称性を検証する。そして、メインマイコン１１１は、ステップＳ３０５へ処理を進める。
【００６５】
ステップＳ３０５において、メインマイコン１１１は、推定された目、鼻、口の位置に基づいて顔画像に対する顔の中心線を求める。そして、ステップＳ３０６において、メインマイコン１１１は、顔の中心線が求まったか否かを判断する。そして、メインマイコン１１１は、顔の中心線が求まった場合、次のステップＳ３０７へ処理を進める。一方、メインマイコン１１１は、顔の中心線が求まらなかった場合、上記ステップＳ２０１に戻って処理を繰り返す。
【００６６】
ステップＳ３０７において、メインマイコン１１１は、上記ステップで検出された顔左端、顔右端、および顔の中心線を用いて、顔の左右比率を算出し、当該左右比率を角度に換算してドライバーの顔向き角度を算出する。そして、メインマイコン１１１は、当該フローチャートによる処理を終了する。
【００６７】
図２に戻り、上記ステップＳ２０２における顔向き算出処理の後、ステップＳ２０３において、メインマイコン１１１は、ドライバーの顔の向きが正面か否を判断する。そして、ドライバーの顔向きが正面である場合、ステップＳ２０５へ処理を進める。一方、ドライバーの顔向きが正面でない場合、ステップＳ２０４へ処理を進める。なお、ドライバーの顔向きが正面でない場合の一例として、ドライバーがわき見やよそ見をしている場合がある。
【００６８】
このように、上記ステップＳ２０１〜ステップＳ２０３の処理によって、メインマイコン１１１は、カメラ１００が撮像した画像から、ドライバーのわき見やよそ見を判断することができる。なお、上記ステップＳ３０３でドライバーの顔の幅が算出された場合、メインマイコン１１１は、現時点のカメラ１００のズーム率等の撮像条件情報をメモリに保存してもよい。この撮像条件情報に応じてカメラ１００が撮像すれば、処理が再開された状況において、処理に適した撮像画像を即時に取得することができる。
【００６９】
ステップＳ２０４において、メインマイコン１１１は、予防安全ＥＣＵ１２０に対して上記危険回避制御を実行するように指示する。そして、メインマイコン１１１は、次のステップＳ２０５に処理を進める。
【００７０】
ステップＳ２０５において、サブマイコン１１２は、ドライバーの目の瞬きの回数を算出する。以下、図４および図５を用いて、サブマイコン１１２が行う、目の瞬きの回数を算出する方法について説明する。なお、図４は、図２のステップＳ２０５における瞬き回数を算出する動作の一例を示す前半部分のフローチャートである。図５は、図２のステップＳ２０５における瞬き回数を算出する動作の一例を示す後半部分のフローチャートである。
【００７１】
図４のステップＳ４０１において、サブマイコン１１２は、上記ステップＳ２０１で取得した撮像画像からドライバーの鼻孔を探す。例えば、サブマイコン１１２は、メインマイコン１１１から取得した顔幅を示すデータと、顔画像パターン格納部１１３に格納されている顔画像パターンとを用いて、上記撮像画像において鼻孔が存在していると予想される範囲、すなわち鼻孔検索範囲を設定する。そして、サブマイコン１１２は、設定した鼻孔検索範囲内の撮像画像から輝度が相対的に低い画素を検出し、それら低輝度画素群の円らしさを算出する。そして、サブマイコン１１２は、円らしさが最も高い（円に近い）点群をドライバーの鼻孔とし、ステップＳ４０２へ処理を進める。
【００７２】
ステップＳ４０２において、サブマイコン１１２は、鼻孔を探すことができたか否かを判断する。サブマイコン１１２は、鼻孔を探すことができた場合、次のステップＳ４０５に処理を進める。一方、サブマイコン１１２は、鼻孔を探すことができなかった場合、ステップＳ４０３へ処理を進める。
【００７３】
ステップＳ４０３において、サブマイコン１１２は、上記ステップＳ２０１で取得した撮像画像からドライバーの口を探し、次のステップＳ４０４へ処理を進める。例えば、サブマイコン１１２は、メインマイコン１１１から取得した顔幅を示すデータと、顔画像パターン格納部１１３に格納されている顔画像パターンとを用いて、上記撮像画像において口が存在していると予想される範囲、すなわち口検索範囲を設定する。次に、サブマイコン１１２は、設定した口検索範囲内の撮像画像に対してエッジラインを抽出する画像処理を実施する。そして、サブマイコン１１２は、顔画像パターン格納部１１３に記憶されている口のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出する。なお、上記ステップＳ４０３では、ニューラルネットワークやＳＶＭ（サポートベクターマシン）等の識別器を用いてパターン認識すればよく、後述するパターンマッチング処理も同様である。
【００７４】
ステップＳ４０４において、サブマイコン１１２は、口を探すことができたか否かを判断する。サブマイコン１１２は、口を探すことができた（例えば、口のテンプレート画像との一致度が予め定められた閾値以上）場合、ステップＳ４０５へ処理を進める。一方、サブマイコン１１２は、口を探すことができなかった場合、上記ステップＳ２０１に戻って処理を繰り返す。なお、上記ステップＳ２０１に戻って処理を実行する際、メインマイコン１１１は、カメラ１００をズームインまたはズームアウトしてドライバーを撮像してもよい。
【００７５】
ステップＳ４０５において、サブマイコン１１２は、上記ステップＳ２０１で取得した撮像画像からドライバーの目を特定して、ステップＳ４０６へ処理を進める。例えば、上記ステップＳ４０１またはステップＳ４０３で検出したドライバーの鼻孔または口の位置を基準として、上記撮像画像における目の位置を推定する。そして、サブマイコン１１２は、推定された目の位置における撮像画像に対して、エッジラインを抽出する画像処理を実施する。さらに、サブマイコン１１２は、顔画像パターン格納部１１３に記憶されている目のテンプレート画像を用いて、エッジラインが抽出された画像に対するパターンマッチング処理を行って一致度を算出する。
【００７６】
ステップＳ４０６において、サブマイコン１１２は、目を特定できたか否かを判断する。そして、サブマイコン１１２は、目を特定ができた（例えば、目のテンプレート画像との一致度が予め定められた閾値以上）場合、次のステップＳ４０７に処理を進める。一方、サブマイコン１１２は、目が特定できなかった場合、上記ステップＳ２０１に戻って処理を繰り返す。なお、上記ステップＳ２０１に戻って処理を実行する際、メインマイコン１１１は、カメラ１００をズームインまたはズームアウトしてドライバーを撮像してもよい。例えば、ドライバーがサングラス等を装着している場合、撮像画像に対して目のエッジラインを抽出することができないため、目を特定することができない。このような場合、サブマイコン１１２は、車両に設けられたスピーカー等を介して、「サングラスを外してください」や「処理ができません」等、症状推定処理が不可能である旨を示す音声を発音させて、ドライバーに注意を促してもかまわない。
【００７７】
ステップＳ４０７において、サブマイコン１１２は、ドライバーの目における黒目部分を検出し、処理をステップＳ４０８に進める。一般的に、黒目部分（虹彩と瞳孔）の形状は、撮像画像上においては、顔向きや瞼で遮られたりして円形にはならず、むしろ楕円形状になることが多い。ここで、サブマイコン１１２は、ステップＳ４０５において、撮像画像における目を特定しており、目の位置を特定している。上記ステップＳ４０７においては、特定された目の位置に対してサイズが異なる複数の楕円フィルタを用いる。そして、特定された目の領域に対して楕円フィルタを適用し、当該楕円フィルタの外側領域および内側領域に対する輝度をそれぞれ求める。このとき、外側領域の輝度と内側領域の輝度との間に輝度の差が生じれば、楕円フィルタの内側範囲を黒目とする。なお、黒目を検出する方法は、上述した例に限られるものではなく、目の黒目部分と白目部分とを認識できるような画像処理であれば、他の処理を用いてもかまわない。
【００７８】
図５に進み、ステップＳ４０８において、サブマイコン１１２は、黒目が検出できたか否かを判断する。そして、サブマイコン１１２は、黒目が検出できた場合、ステップＳ４１６に処理を進める。一方、サブマイコン１１２は、黒目が検出できなかった場合、ステップＳ４０９へ処理を進める。
【００７９】
ステップＳ４０９において、サブマイコン１１２は開眼フラグがＯＮになっているのか否かを判断する。ここで、後述により明らかとなるが、開眼フラグは、ドライバーの目が開眼している状態でＯＮに設定され、ドライバーの目が閉眼している状態でＯＦＦに設定されて、メモリに記憶される。サブマイコン１１２は、開眼フラグがＯＮの場合、ステップＳ４１０に処理を進める。一方、サブマイコン１１２は、開眼フラグがＯＦＦの場合、ステップＳ４１２に処理を進める。
【００８０】
ステップＳ４１０において、サブマイコン１１２は、瞬きを検出して、瞬きの回数を算出し、ステップＳ４１１に処理を進める。ここで、瞬きの回数とは、ドライバーの目が閉眼から開眼になり再び閉眼するまでを１サイクルとし、単位時間（例えば、１秒間）に当該サイクルが何回行われるかを示すものである。
【００８１】
ステップＳ４１１において、サブマイコン１１２は、開眼フラグをＯＦＦに設定してメモリの開眼フラグを更新し、ステップＳ４１２へ処理を進める。
【００８２】
ステップＳ４１２において、サブマイコン１１２は、閉眼時間を加算する処理を行い、ステップＳ４１３に処理を進める。ここで、閉眼時間は、ドライバーが閉眼してから開眼するまでの時間であり、メモリに現時点までの閉眼時間が記憶される。上記ステップＳ４１２においては、現時点に記憶されている閉眼時間に処理周期を加算して新たな閉眼時間を算出し、新たな閉眼時間を用いて記憶されている閉眼時間を更新する。なお、後述により明らかとなるが、メモリに記憶されている閉眼時間は、ドライバーが開眼した状態で０に初期化される。
【００８３】
ステップＳ４１３において、サブマイコン１１２は、記憶されている閉眼時間が時間Ｔ１以上であるか否かを判断する。つまり、上記ステップＳ４１３では、ドライバーが目を閉じた状態にある時間が、時間Ｔ１以上の長さまで継続しているか否か、すなわち、時間Ｔ１以上の長さの閉眼時間となった瞬きか否かを判断する。そして、サブマイコン１１２は、閉眼時間が時間Ｔ１以上である場合、ステップＳ４１４に処理を進める。一方、サブマイコン１１２は、閉眼時間が時間Ｔ１未満である場合、当該フローチャートによる処理を終了する。
【００８４】
ステップＳ４１４において、サブマイコン１１２は、現時点の閉眼状態に対する閉眼時刻が記録済みか否かを判断する。サブマイコン１１２は、現時点の閉眼状態に対する閉眼時刻が記録されていない場合、現在時刻を用いて現時点の閉眼状態に対する閉眼時刻を時系列順にメモリに記述し（ステップＳ４１５）、当該フローチャートによる処理を終了する。一方、サブマイコン１１２は、現時点の閉眼状態に対する閉眼時刻が既に記録されている場合、当該フローチャートによる処理を終了する。
【００８５】
また、上記ステップＳ４０８において黒目を検出できた場合、サブマイコン１１２は、ステップＳ４１６において開眼フラグをＯＮに設定してメモリの開眼フラグを更新する。次に、ステップＳ４１７において、サブマイコン１１２は、メモリに記録されている閉眼時間を０に初期化し、当該フローチャートによる処理を終了する。
【００８６】
このように、ステップＳ４０１〜ステップＳ４１７の処理により、サブマイコン１１２は、ドライバーの目の瞬きの回数を算出することができるだけでなく、ドライバーの目の閉眼状態が時間Ｔ１以上の長さまで継続した場合の閉眼時刻を記録することができる。
【００８７】
図２に戻り、上記ステップＳ２０５の瞬きの回数を算出する処理の後、ステップＳ２０６において、サブマイコン１１２は、ドライバーの目が充血しているか否かを判断する。以下、図６を参照して、目の充血の有無を判断する動作の一例について説明する。なお、図６は、図２に示すステップＳ２０６における目の充血の有無を判断する処理の一例を示すフローチャートである。
【００８８】
図６のステップＳ５０１において、サブマイコン１１２は、上記ステップＳ２０１で取得した撮像画像上における白目部分を検出し、次のステップＳ５０２に処理を進める。例えば、サブマイコン１１２は、上記ステップＳ４０７で検出した黒目部分周辺の一定領域における撮像画像に対して、輝度を検出する。そして、サブマイコン１１２は、白目部分の輝度に対応する輝度が黒目周辺の上記一定領域で得られたとき、当該一定領域を白目部分として特定する。なお、上記ステップＳ５０１において、白目部分を特定する処理は、上述した例に限られるものではなく、白目部分を特定できるような画像処理であれば他の画像処理を用いてもかまわない。
【００８９】
ステップＳ５０２において、サブマイコン１１２は、上記ステップＳ５０１で特定した白目部分について、所定方向（例えば、縦方向）にソーベルフィルタ処理等を行って当該白目部分からエッジ点を抽出する。そして、サブマイコン１１２は、次のステップＳ５０３に処理を進める。
【００９０】
ステップＳ５０３において、サブマイコン１１２は、上記ステップＳ５０２で抽出したエッジ点について線分検出を行う。一例として、サブマイコン１１２は、上記ステップＳ５０２で抽出したエッジ点のうち、高輝度から低輝度に変化するエッジ点に対して曲線のハフ変換による処理を行う。これにより、当該エッジ点を通る線分を検出することができる。
【００９１】
ステップＳ５０４において、サブマイコン１１２は、上記ステップＳ５０３で検出した線分の長さの合計が閾値Ｌ以上であるか否かを判断する。そして、サブマイコン１１２は、線分の長さの合計が閾値Ｌ以上である場合、ステップＳ５０５に処理を進める。一方、サブマイコン１１２は、線分の長さの合計が閾値Ｌ未満である場合、ステップＳ５０６に処理を進める。
【００９２】
ステップＳ５０５において、サブマイコン１１２は、ドライバーの目が充血していると判断し、判断結果を予防安全ＥＣＵ１２０に出力して、当該フローチャートによる処理を終了する。一方、ステップＳ５０６において、サブマイコン１１２は、ドライバーの目が充血していないと判断し、判断結果を予防安全ＥＣＵ１２０に出力して、当該フローチャートによる処理を終了する。なお、サブマイコン１１２は、上記ステップＳ５０５またはステップＳ５０６で行われた判断結果をメモリに記憶してもよい。
【００９３】
このように、ステップＳ５０１〜ステップＳ５０６の処理により、サブマイコン１１２は、ドライバーの目が充血しているか否かを判断することができる。
【００９４】
図２に戻り、上記ステップＳ２０６における充血有無の判断の後、ステップＳ２０７において、サブマイコン１１２は、ドライバーの目における涙の有無を判断する。以下、図７を参照して、目における涙の有無を判断する処理の一例について説明する。なお、図７は、図２に示すステップＳ２０７における目の涙の有無を判断する処理の一例を示すフローチャートである。ここで、図７で示す処理で判断する涙とは、ドライバーの目の角膜、結膜、鼻粘膜などに対する刺激などによって、ドライバーの目から多量に分泌される分泌液のことである。
【００９５】
図７のステップＳ６０１において、サブマイコン１１２は、上記ステップＳ５０１で検出された白目部分に対して、当該白目部分の左右の端が目頭または目尻の位置であると推定し、次のステップＳ６０２へ処理を進める。このとき、顔画像パターン格納部１１３から目のテンプレート画像を取得し、当該テンプレート画像を用いて白目部分の領域から目頭または目尻の位置を推定してもよい。
【００９６】
ステップＳ６０２において、サブマイコン１１２は、上記ステップＳ６０１で推定した目頭または目尻の位置周辺に閾値Ｔ以上の輝度差がある領域が存在するか否かを判断する。そして、サブマイコン１１２は、閾値Ｔ以上の輝度差がある領域が存在する場合、次のステップＳ６０３へ処理を進める。一方、サブマイコン１１２は、閾値Ｔ以上の輝度差がある領域が存在しない場合、次のステップＳ６０４へ処理を進める。例えば、上記ステップＳ６０２においては、上記ステップＳ６０２で推定された目尻または目頭の位置を基準とした周辺領域内（例えば、目尻または目頭の位置からの距離がＡ画素以内の領域）の輝度を検出する。そして、上記周辺領域内において、周辺に比べて閾値Ｔ以上輝度が高く、かつ、面積がＢ画素以上の領域が存在するか否かを判断する。これは、ドライバーの目の角膜、結膜、鼻粘膜などに対する刺激などによって、ドライバーの目から多量に分泌された涙が目頭および目尻周辺の皮膚に付着し、周辺の皮膚と比べて付着領域の輝度が高くなることを利用して、涙の有無を判定している。
【００９７】
ステップＳ６０３において、サブマイコン１１２は、ドライバーの涙が検出されたと判断し、判断結果を予防安全ＥＣＵ１２０に出力して、当該フローチャートによる処理を終了する。一方、ステップＳ６０４において、サブマイコン１１２は、ドライバーの涙が検出されなかったと判断し、判断結果を予防安全ＥＣＵ１２０に出力して、当該フローチャートによる処理を終了する。なお、上記ステップＳ６０３またはステップＳ６０４でおこなわれた判断結果をメモリに保存してもよい。
【００９８】
このように、ステップＳ６０１〜ステップＳ６０４の処理により、サブマイコン１１２は、ドライバーの涙の有無を判断することができる。
【００９９】
図２に戻り、上記ステップＳ２０７における涙の有無を判断する処理の後、ステップＳ２０８において、予防安全ＥＣＵ１２０は、危険な運転状態に繋がる前段階となり得る症状がドライバーに生じているか否かを推定する。具体的には、上述したように、サブマイコン１１２は、ドライバーの目に関する状態（ドライバーの目の瞬きの回数や閉眼時刻、目の充血の有無、涙の有無等）を取得した。これらの状態を示す情報を用いて、予防安全ＥＣＵ１２０は、ドライバーに上記症状が生じているかを推定する。以下、図８を用いて、上記症状が生じていることを推定するための処理の一例を説明する。なお、図８は、ドライバーに上記症状が生じているか否かを推定する処理の一例を示すフローチャートである。
【０１００】
図８のステップＳ７０１において、予防安全ＥＣＵ１２０は、サブマイコン１１２からドライバーの目の瞬きの回数を示すデータを取得し、次のステップＳ７０２に処理を進める。なお、予防安全ＥＣＵ１２０は、サブマイコン１１２内に備わったメモリに目の瞬きの回数を示すデータが記憶されている場合、当該メモリから目の瞬きの回数を示すデータを取得する。
【０１０１】
ステップＳ７０２において、予防安全ＥＣＵ１２０は、取得した目の瞬きの回数が閾値Ｍ１以上であるか否かを判断する。そして、予防安全ＥＣＵ１２０は、瞬きの回数が閾値Ｍ１以上である場合、ステップＳ７０６に処理を進める。一方、予防安全ＥＣＵ１２０は、瞬きの回数が閾値Ｍ１未満である場合、ステップＳ７０３に処理を進める。ここで、閾値Ｍ１は、普段人間が無意識に行っている、いわゆる周期性瞬きの回数の一般的な値の上限以上に設定される。一般的に、車内のホコリや植物の花粉等に目の粘膜が過剰に反応（アレルギー反応）した場合、それに伴い瞬きの回数は多くなる。また、ドライバーの目に疲労が生じた場合も瞬きの回数が多くなる。つまり、瞬きの回数が閾値Ｍ１を超える場合は、アレルギー疾患や目の疲労などがドライバーに生じていることが推定される。なお、閾値Ｍ１は、評価実験（一例として様々なタイプのアレルギー疾患者や目の疲労有無による瞬きの回数の層別）によって、具体的な数値を決定すればよい。
【０１０２】
ステップＳ７０３において、予防安全ＥＣＵ１２０は、時間Ｔ１以上の長さの閉眼時間となった瞬きが時間Ｔ２以内に１回以上あるか否かを判断する。そして、予防安全ＥＣＵ１２０は、上記瞬きが１回以上ある場合、ステップＳ７０４に処理を進める。一方、予防安全ＥＣＵ１２０は、上記瞬きがない場合、ステップＳ７０５に処理を進める。
【０１０３】
ここで、ステップＳ７０３の具体的な処理方法の第１の例を説明する。予防安全ＥＣＵ１２０は、サブマイコン１１２が上記ステップＳ４１５で記録された閉眼時刻を参照する。そして、予防安全ＥＣＵ１２０は、ステップＳ４１５で記録された最新の閉眼時刻から上記ステップＳ７０３の処理を実行する現在時刻までの時間を算出し、当該算出された時間が時間Ｔ２以下であるか否かを判断する（判定条件Ａ）。また、予防安全ＥＣＵ１２０は、上記ステップＳ４１５で記録された最新の閉眼時刻と当該最新の閉眼時刻の直前に記録された閉眼時刻との時間差が、時間Ｔ２以下である否かを判断する（判定条件Ｂ）。そして、予防安全ＥＣＵ１２０は、記録されている閉眼時刻が判定条件Ａおよび判定条件Ｂを共に満たしている場合、上記瞬きが１回以上あると判断する。例えば、上記瞬きが生じる原因の一例として、上まぶたが下がり薄目状態のもうろうとした状態、すなわち疲労状態などがある。なお、時間Ｔ２は、評価実験（一例として、被験者の脳波や心拍数から覚醒レベルを評価し、その時点において、瞬きの回数と覚醒レベルとを関連づける）によって、具体的な数値を決定すればよい。
【０１０４】
また、ステップＳ７０３の具体的な処理方法の第２の例を説明する。ステップＳ７０３において、予防安全ＥＣＵ１２０は、上記ステップＳ７０１で取得した瞬きの回数が閾値Ｍ２以下であるか否かを判断する。そして、予防安全ＥＣＵ１２０は、瞬きの回数が閾値Ｍ２以下である場合、ステップＳ７０４に処理を進める。一方、予防安全ＥＣＵ１２０は、瞬きの回数が閾値Ｍ２より多い場合、ステップＳ７０５へ処理を進める。ここで、閾値Ｍ２は、普段人間が無意識に行っている、いわゆる周期性瞬きの回数の一般的な値の下限以下に設定される。また、閾値Ｍ２は、上述した評価実験によって、上記疲労状態の有無が区別可能な具体的な数値に設定してもかまわない。例えば、ドライバーが上述した上まぶたが下がり薄目状態のもうろうとした疲労状態にある場合、ドライバーの瞬き回数が少なくなることがある。つまり、第２の例による判定によっても、上述したドライバーの疲労状態を判定することができる。なお、上記ステップＳ７０３を当該第２の例で行う場合、上記ステップＳ４１２〜ステップＳ４１５の処理を行わなくてもかまわない。
【０１０５】
ステップＳ７０４において、予防安全ＥＣＵ１２０は、全身または目の疲労状態を示す症状がドライバーに生じていると推定して、当該フローチャートによる処理を終了する。なお、ドライバーが疲労によって眠気を感じることもあるので、予防安全ＥＣＵ１２０は、広義においては、ドライバーが眠気を感じていると推定してもよい。そして、上記ステップＳ７０４における推定結果は、予防安全ＥＣＵ１２０内に備わったメモリに保存される。詳細は後述するが、予防安全ＥＣＵ１２０は、この推定結果に基づいて上記危険運転予防制御を行う。一方、ステップＳ７０５において、予防安全ＥＣＵ１２０は、ドライバーの状態は異常なしと推定して、当該フローチャートによる処理を終了する。
【０１０６】
なお、ステップＳ７０４の処理において、予防安全ＥＣＵ１２０は、疲労状態を示す症状がドライバーに生じている、若しくはドライバーは眠気を感じていると推定したが、以下のようにすれば、疲労状態と眠気とを区別することも可能である。例えば、ドライバーが眠気を感じたら、覚醒しようとして意図的に瞬きをすることがあり、これによりドライバーの目の瞬きの回数が時折多くなることがある。ステップＳ７０４の処理において、意図的な瞬きがあるか否かをさらに判断すれば、ドライバーの疲労状態と眠気とを区別して推定することができる。
【０１０７】
ステップＳ７０２で瞬きの回数が閾値Ｍ１以上であると判断された場合、ステップＳ７０６において、予防安全ＥＣＵ１２０は、サブマイコン１１２から目の充血の有無に関する情報を取得し、次のステップＳ７０７に処理を進める。なお、予防安全ＥＣＵ１２０は、サブマイコン１１２のメモリに目の充血の有無に関する情報を示すデータが記憶されている場合、当該メモリから充血の有無に関する情報を示すデータを取得する。
【０１０８】
ステップＳ７０７において、予防安全ＥＣＵ１２０は、ドライバーの目が充血しているか否かを判断する。目が充血していない場合、次のステップＳ７０８において、予防安全ＥＣＵ１２０は、ドライバーの目の疲労と推定し、当該フローチャートによる処理を終了する。なお、上記ステップＳ７０８における推定結果は、予防安全ＥＣＵ１２０内に備わったメモリに保存される。詳細は後述するが、予防安全ＥＣＵ１２０は、この推定結果に基づいて上記危険運転予防制御を行う。一方、目が充血している場合、予防安全ＥＣＵ１２０は、次のステップＳ７０９に処理を進める。なお、ステップＳ７０８において、予防安全ＥＣＵ１２０は、ドライバーの目の疲労と推定したが、全身が疲労状態であると推定してもよい。
【０１０９】
ステップＳ７０９において、予防安全ＥＣＵ１２０は、サブマイコン１１２から目の涙に関する情報を取得し、次のステップＳ７１０に処理を進める。なお、予防安全ＥＣＵ１２０は、サブマイコン１１２のメモリに目の涙に関する情報を示すデータが記憶されている場合、当該メモリから涙に関する情報を示すデータを取得する。
【０１１０】
ステップＳ７１０において、予防安全ＥＣＵ１２０は、ドライバーの目の涙の有無、すなわちドライバーの目から涙がこぼれた状態にあるか否かを判断する。そして、予防安全ＥＣＵ１２０は、ドライバーの目から涙がこぼれた状態にある場合、次のステップＳ７１１において、ドライバーにアレルギー反応を起こしている症状が生じていると推定し、当該フローチャートによる処理を終了する。なお、上記ステップＳ７１１における推定結果は、予防安全ＥＣＵ１２０内に備わったメモリに保存される。詳細は後述するが、予防安全ＥＣＵ１２０は、この推定結果に基づいて上記危険運転予防制御を行う。一方、予防安全ＥＣＵ１２０は、ドライバーの目から涙がこぼれた状態にない場合、上記ステップＳ７０８に処理を進める。
【０１１１】
図２に戻り、上記ステップＳ２０８における上記症状がドライバーに生じているか推定する処理の後、ステップＳ２０９において、予防安全ＥＣＵ１２０は、上述した推定結果に基づいて危険運転予防制御が必要か否かを判断する。そして、予防安全ＥＣＵ１２０は、危険運転予防制御が必要である場合（すなわち、ドライバーに何らかの症状が生じている場合）、ステップＳ２１０へ処理を進める。一方、予防安全ＥＣＵ１２０は、危険運転予防制御が不要である場合（すなわち、ドライバーが異常なしの場合）、ステップＳ２１１へ処理を進める。
【０１１２】
ステップＳ２１０において、予防安全ＥＣＵ１２０は、上記車両に設置されている各種装置に対して危険運転予防制御を行う。以下、図９を用いて、予防安全ＥＣＵ１２０が行う危険運転予防制御処理の一例を説明する。なお、図９は、危険運転予防制御処理の一例を示したフローチャートである。
【０１１３】
図９のステップＳ８０１において、予防安全ＥＣＵ１２０は、上記ステップＳ２０８で行った推定結果を参照して、アレルギー反応を起こしている症状がドライバーに生じているか否かを判断する。そして、予防安全ＥＣＵ１２０は、ドライバーにアレルギー反応を起こしている症状が生じている場合、ステップＳ８０２へ処理を進める。一方、予防安全ＥＣＵ１２０は、アレルギー反応を起こしている症状がドライバーに生じていない場合、ステップＳ８０３へ処理を進める。
【０１１４】
ステップＳ８０２において、予防安全ＥＣＵ１２０は、パワーウィンドウ機構１３３や空気清浄機１３２の動作を制御し、ステップＳ８０３に処理を進める。例えば、アレルギー反応を起こしている症状がドライバーに生じている場合、車内のホコリや植物の花粉等がドライバーの目の粘膜に過剰に反応している場合がある。そこで、上記ステップＳ８０２では、予防安全ＥＣＵ１２０がパワーウィンドウ機構１３３を動作制御して上記車両の窓を閉め、窓からホコリや花粉が車内に侵入することを防ぐ。また、上記ステップＳ８０２では、予防安全ＥＣＵ１２０が空気清浄機１３２を作動させ、車内のホコリや植物の花粉等を除去する。
【０１１５】
ステップＳ８０３において、予防安全ＥＣＵ１２０は、上記ステップＳ２０８で行った推定結果を参照して、ドライバーに疲労状態を示す症状が生じはじめたか否か、およびドライバーに疲労状態を示す症状が継続している時間が所定時間（例えば、１０分間隔毎）に到達したか否かを判断する。そして、予防安全ＥＣＵ１２０は、疲労状態を示す症状が生じはじめた場合、または疲労状態を示す症状が継続している時間が所定時間に到達した場合、ステップＳ８０４へ処理を進める。一方、予防安全ＥＣＵ１２０は、ドライバーに疲労状態を示す症状が生じていない場合、またはドライバーに疲労状態を示す症状が継続している時間が上記所定時間に到達していない場合、当該フローチャートによる処理を終了する。
【０１１６】
ステップＳ８０４において、予防安全ＥＣＵ１２０は、上記車両に設置されたエアコン１３１の動作を制御し、ステップＳ８０５に処理を進める。例えば、疲労状態を示す症状がドライバーに生じている場合、車内の環境をより快適にすればドライバーに爽快感が与えられて疲労回復につながることがある。そこで、上記ステップＳ８０４では、予防安全ＥＣＵ１２０がエアコン１３１の設定温度を調整（例えば、設定温度を所定温度分下げる）したり、運転席側の送風口からの風量を調整（例えば、風量を１段階強くする）したり、エアコン１３１がＯＦＦであればＯＮに制御したりする。このようにすれば、エアコン１３１の送風口から出る冷風により、ドライバーは爽快感を得ることができ、ドライバーの疲労状態を軽減することができる。
【０１１７】
ステップＳ８０５において、予防安全ＥＣＵ１２０は、上記車両から車両情報を取得して、車両が走行中か否かを判断する。ここで、予防安全ＥＣＵ１２０が取得する車両情報には、車両のシフトレバー位置情報があり、当該車両のシフトレバー位置がニュートラルやパーキングの位置にない場合、当該車両が走行中であると判断される。そして、予防安全ＥＣＵ１２０は、車両が走行中である場合、ステップＳ８０６に処理を進める。一方、予防安全ＥＣＵ１２０は、車両が走行中でない場合、当該フローチャートによる処理を終了する。
【０１１８】
ステップＳ８０６において、予防安全ＥＣＵ１２０は、カーナビゲーションシステム１３４の動作を制御して休息案内を開始し、当該フローチャートによる処理を終了する。例えば、上記ステップＳ８０６の予防安全ＥＣＵ１２０の動作制御によって、カーナビゲーションシステム１３４は、最寄りの休息施設までのルート検索を行い、当該休息施設までのルートの音声案内を開始して、ドライバーに休息を促す。
【０１１９】
図２に戻り、ステップＳ２１１において、ドライバモニタＥＣＵ１１０および予防安全ＥＣＵ１２０は、上記車両のイグニッションスイッチがＯＦＦされたか否かを判断する。そして、ドライバモニタＥＣＵ１１０および予防安全ＥＣＵ１２０は、イグニッションスイッチがＯＦＦされた場合、当該フローチャートによる処理を終了する。一方、ドライバモニタＥＣＵ１１０および予防安全ＥＣＵ１２０は、イグニッションスイッチがＯＦＦされていない場合、上記ステップＳ２０１に戻って処理を繰り返す。
【０１２０】
以上、説明したように、本実施形態の症状推定装置によれば、危険な操縦状態に繋がる前段階となり得る症状がドライバーに生じているか推定することができる。さらに、本実施形態の症状推定装置は、ドライバーに生じている上記症状に応じて、車両の備わった各装置を制御して、ドライバーに生じている上記症状に応じた適切な処置を実施することもできる。
【０１２１】
また、上述した実施形態では、メインマイコン１１１、サブマイコン１１２、および予防安全ＥＣＵ１２０の処理が、順次直列に行われる一連の処理として繰り返される例を説明したが、他の処理順序で本発明の症状推定処理を行ってもかまわない。例えば、メインマイコン１１１、サブマイコン１１２、および予防安全ＥＣＵ１２０が、上述した処理をそれぞれ並列に行ってもかまわない。この場合、上述した処理周期が短縮されて、一連の処理周期が短くなる効果が期待できる。
【０１２２】
また、上述した実施形態では、サブマイコン１１２は、カメラ１００よって撮像された画像から、目の瞬きの頻度、閉眼時刻、目の充血の有無、涙の有無といったドライバーの顔に関する情報を取得したが、他の顔情報を症状推定処理に加えてもかまわない。例えば、ドライバーの顔に汗が浮き出ているか否かやドライバー顔色を示す顔情報を用いて、症状推定処理を行ってもかまわない。例えば、ドライバーの顔に汗が浮き出していることを検出することに応じて、エアコン１３１の設定温度を下げたり、車両の窓を開けたりすることによって、ドライバーの不快感を和らげることができる。また、ドライバーの顔色が悪いことを検出することに応じて、上記疲労状態を生じているときと同様の動作制御を行うことによって、体調が悪い状態でドライバーが運転を続けることを防止することも可能となる。
【０１２３】
なお、上述した実施形態に係る症状推定装置は、危険な運転状態に繋がる前段階となり得る症状がドライバーに生じているか否かを推定したが、危険な運転状態に繋がらないような症状がドライバーに生じているか否かを推定してもよい。例えば、ドライバーに疲労を示す症状やアレルギー反応を起こしている症状が非常に軽微であり、そのまま放置しても危険な運転状態には繋がらないが、ドライバーが違和感を覚える可能性があるようなことがある。具体的には、ドライバーに疲労を示す症状が生じドライバーが倦怠感を覚えたり、ドライバーにアレルギー反応を起こしている症状が生じ目の痒みを感じたりなど、ドライバーの体調が良好な状態とは違った状態であるとドライバーが違和感を覚えるようなことである。このように、上記症状推定装置は、危険な運転状態に繋がる前段階となり得る症状や危険な運転状態に繋がらないような症状など、ドライバーに違和感を与える生理的症状がドライバーに生じているか否かを推定してもよい。
【０１２４】
本実施形態では、カメラ１００とドライバモニタＥＣＵ１１０とを個別にしたが、例えば、カメラ１００の筐体内にドライバモニタＥＣＵ１１０を組み込んでもよい。このようにすれば、車両内の設置スペースが縮小されるため、省スペース化がはかれる。また、カメラ１００とドライバモニタＥＣＵ１１０とを別個に設置する必要がなくなり、車両にカメラ１００とドライバモニタＥＣＵ１１０とを取り付ける作業が容易となる。
【０１２５】
また、図９のステップＳ８０５において、予防安全ＥＣＵ１２０は、上記車両のパーキングブレーキなどの情報を参照して、上記車両の走行状態を判断してもよい。
【０１２６】
上述した実施形態では、車両を例に説明したが、特に車両に限られるものではない。例えば、航空機や船舶や鉄道車両などの移動体に対して上記症状推定装置を適用し、上記移動体の操縦席前方にカメラを設置し、上記カメラにより撮像された画像から、上記移動体の操縦者の症状を推定することもできる。また、このとき、上記移動体に備わった各装置に応じて、上記操縦者の症状に対応した処置を実施すればよい。
【０１２７】
上記の実施形態で説明した態様は、単に具体例を示すものであり、本願発明の技術的範囲を何ら限定するものではない。よって本願の効果を奏する範囲内において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【０１２８】
本発明に係る症状推定装置は、危険な操縦状態に繋がる前段階となり得る症状が車両等の移動体の操縦者に生じているか否かを推定することができ、操縦者の事故を未然に防止する装置等の用途に適用できる。
【図面の簡単な説明】
【０１２９】
【図１】本発明の一実施形態に係る症状推定装置の構成を示すブロック図
【図２】一実施形態に係る症状推定装置において行われる処理の流れを示したフローチャート
【図３】図２のステップＳ２０２のドライバーの顔向きの検出方法の詳細を示すフローチャート
【図４】図２のステップＳ２０５における瞬きの回数を算出する動作の一例を示す前半部分のフローチャート
【図５】図２のステップＳ２０５における瞬きの回数を算出する動作の一例を示す後半部分のフローチャート
【図６】図２に示すステップＳ２０６における目の充血の有無を判断する処理の一例を示すフローチャート
【図７】図２に示すステップＳ２０７における目の涙の有無を判断する処理の一例を示すフローチャート
【図８】図２に示すステップＳ２０８のトライバーの症状を推定する処理の一例を示すフローチャート
【図９】図２のステップＳ２１０における危険運転予防制御処理の一例を示したフローチャート
【符号の説明】
【０１３０】
１００    カメラ
１１０    ドライバモニタＥＣＵ
１１１    メインマイコン
１１２    サブマイコン
１１３    顔画像パターン格納部
１２０    予防安全ＥＣＵ
１３１    エアコン
１３２    空気清浄機
１３３    パワーウィンドウ機構
１３４    カーナビゲーションシステム
１３５    スピーカー
【図１】
2009166783.tif 000003
【図２】
2009166783.tif 000004
【図３】
2009166783.tif 000005
【図４】
2009166783.tif 000006
【図５】
2009166783.tif 000007
【図６】
2009166783.tif 000008
【図７】
2009166783.tif 000009
【図８】
2009166783.tif 000010
【図９】
2009166783.tif 000011