(57)【要約】  動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置を提供すること。  本発明は、ユーザの車両の走行状態を測定する全地球測位システム（ＧＰＳ）装置を有する走行判断部と、ユーザの顔を観察する個所に設けられる赤外線深度センサー及び赤外線カメラを有する撮影部において撮影された映像及び３次元の深さ情報を受け取って居眠り判断部において第１段階の判断過程においてユーザのあくびの周期と、うなずきの速度及び周期、及びまばたきの速度及び周期を判断して居眠りの前兆行動があると判断される場合に「予備警告」を出力した後、第２段階の判断過程において瞳の閉鎖状態、視線の正面注視の有無、頭の角度を検査して居眠りの実行行動がある場合に警告部を介して「本警告」を出力することにより、動作、顔面、瞳、口形状など様々な判断基準を用いて２段階に亘っての段階的な判断過程を経て、居眠りではない瞳の閉鎖状態や視線が正面を向いていないか、或いは、うつむいている場合を除いて、単に居眠り運転行為のみを正確に判断して居眠り運転に起因する交通事故及び人命被害と経済的な損失を未然に防ぐことができる。
2016539446.tif 000002
【特許請求の範囲】
【請求項１】
車両の前進走行の有無を判断する走行判断部と、運転者の状態を撮影する撮影部と、ユーザの居眠り運転の有無を判断する居眠り判断部と、ユーザに警告を送る警報部と、上記の走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラと、を備える居眠り運転の防止装置において、
前記走行判断部は、全地球測位システム（ＧＰＳ）端末から車両の現在の位置座標情報を受け取って以前の数秒間の位置座標情報と比較して車両の状態が前進走行中であるか、後進走行中であるか、或いは、停車中であるかを判断して、車両が前進走行中である場合に限って運転者の動作と、顔面と、瞳及び口形状の認知を通じて居眠りの前兆行動の有無を判断する第１段階の判断過程と、完成された居眠りの実行行動の有無を判断する第２段階の判断過程と、を含み、第１段階の判断過程において居眠りの前兆行動があると判断された後に、第２段階の判断過程において居眠りの実行行動があると判断される場合にのみユーザが居眠り運転をしていると最終的に判断して警告音を出す動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項２】
前記運転者の状態を撮影する撮影部は、
前記運転者の顔面状態の映像情報を入力される赤外線カメラと、３次元の深さ情報を入力される赤外線深度センサーと、を備えることを特徴とする請求項１に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項３】
赤外線カメラは、
明所はもとより暗所でも前記運転者の顔輪郭及び目の外郭線、瞳の白目及び黒目の認識のために顔面状態の映像情報を入力されて居眠り判断部に転送する機能をする請求項２に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項４】
赤外線深度センサーは、
明所はもとより暗所でも前記運転者の上体と、頭と、顔面と、目及び口の位置及び動きを正確に判断するために３次元の深さ情報を入力されて居眠り判断部に転送する機能をする請求項２に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項５】
前記ユーザの居眠り有無を判断する居眠り判断部は、
前記走行判断部における居眠り運転の有無の判断が、前進走行状態であるときにのみ、赤外線カメラ及び赤外線深度センサーから映像情報及びセンサーの３次元の深さ情報が送られてきて行われ、第１段階の判断過程において前記運転者の居眠りの前兆行動の有無を認知し、第２段階の判断過程において居眠りの実行行動の有無を判断するが、第１段階を経て第２段階に移行した場合に限って最終的に居眠り運転であると確定する段階的な判断を行うことを特徴とする請求項１に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項６】
居眠りの前兆行動を判断する第１段階においては、まず、撮影部から送られてきた映像及びセンサー情報から運転者の顔輪郭を検出した後、再び口、頭、鼻、首の位置を検出して運転者のあくびの周期を計算するか、うなずきの速度及び周期を計算するか、或いは、目の位置を検出した後に瞳の外郭線と、瞳の白目及び黒目を認識してまばたきの速度及び周期を計算するなどして、居眠りの前兆行動の有無を判断することを特徴とする請求項５に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項７】
居眠りの前兆行動の判断基準のうちの一つである「あくびの周期」は、撮影部から送られてきた映像及びセンサー情報を用いて運転者の口の位置を把握した後、運転者の口形状又は下顎の拡大度をもってあくびをするか否かを把握して、運転者のあくびが所定の時間内に基準回数以上見付かる場合に居眠りの前兆行動があると判断することを特徴とする請求項６に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項８】
居眠りの前兆行動の判断基準のうちの一つである「うなずきの速度及び周期」は、撮影部から送られてきた映像及びセンサー情報を用いて運転者の頭が所定の角度以上下がってから元の位置に戻ることを１回のうなずきと見なし、前記１回のうなずきが行われる時間が基準時間以上かかるほど遅くなる場合のみを「居眠りの前兆のうなずき」と計算して、上記の「居眠りの前兆のうなずき」が所定の時間内に基準回数以上行われる場合に居眠りの前兆行動があると判断することを特徴とする請求項６に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項９】
居眠りの前兆行動の判断基準のうちの一つである「まばたきの速度及び周期」は、撮影部から送られてきた映像及びセンサー情報を用いて運転者の瞳が所定の部分以上隠れてから再び見えることを１回のまばたきと見なし、前記１回のまばたきが行われる時間が基準時間以上かかるほど遅くなる場合のみを「居眠りの前兆のまばたき」と計算して、上記の「居眠りの前兆のまばたき」が所定の時間内に基準回数以上行われる場合に居眠りの前兆行動があると判断することを特徴とする請求項６に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項１０】
居眠りの実行行動の有無を判断する第２段階においては、前記第１段階の居眠りの前兆行動の判断基準のうちの一つを満たすと判断された運転者に限って、当該運転者の瞳の閉鎖状態が所定の時間以上持続的に行われるか、視線が所定の時間以上正面を注視していないか、或いは、所定の角度以上うつむいている時間が所定の時間以上続く場合に居眠りの実行行動があると判断することを特徴とする請求項５に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項１１】
居眠りの実行行動の判断基準のうちの一つである運転者の「瞳の閉鎖状態」は、撮影部から送られてきた映像情報を用いて運転者の瞳を分析して、瞼が所定の角度以上塞がった状態で運転者の瞳が所定の時間以上持続的に閉鎖されているか否かを判断することを特徴とする請求項１０に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項１２】
居眠りの実行行動の判断基準のうちの一つである「視線の正面注視の有無」は、撮影部から送られてきた映像情報を用いて運転者の瞳を分析して、運転者が正面を注視していないと判断される時間が所定の時間以上続く場合に居眠りの実行段階と判断することを特徴とする請求項１０に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項１３】
居眠りの実行行動の判断基準のうちの一つである「頭の角度」は、撮影部から送られてきた映像を用いて運転者の頭の基準点及び鼻の基準点の角度を計算してユーザの頭の角度を測定した後、頭が基準時間以上持続的に所定の角度以上傾いている場合に居眠りの実行段階と判断することを特徴とする請求項１０に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項１４】
ユーザに警告をする警報部は、
第１段階である居眠りの前兆行動があると判断された場合には予備警告音を、第１段階を経て第２段階の居眠りの実行行動があると判断された場合には本警告音を運転者に送って居眠り運転状態であることを報知することを特徴とする請求項１に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【請求項１５】
前記走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラは、
走行判断部から前進走行の有無が送られてきて停車中であるか、或いは、後進走行中である場合には撮影部に撮影中止指令を転送し、前進走行中である場合に限って撮影部に感知指令を、且つ、居眠り判断部には第１段階の居眠り判断指令をそれぞれ転送し、居眠り判断部から第１段階の居眠り前兆の行動がある旨が送られてきた後には、居眠り判断部に第２段階の居眠り判断指令を転送し、警報部に予備警告音を送ることを指示し、居眠り判断部から第１段階を経て第２段階の居眠りの実行行動がある旨が送られてきた場合には警報部に本警告音を運転者に送ることを指示することを特徴とする請求項１に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作、顔面目、口形状の認知を通じた２段階に亘っての居眠り運転の防止装置に係り、ＧＰＳ装置を用いてユーザの前進走行の有無を判断した後、前進走行中であるときにのみユーザの居眠り状態を感知し始め、赤外線深度センサー及び赤外線カメラを併用して運転者の動作と、顔面と、目及びあくびをする口形状を認知してより正確に居眠り運転の有無を判断し、居眠り運転ではない理由から目を閉じたり視線が違うところを向いていたりする場合を除外させて正確に居眠り運転を感知するために、まず居眠りの前兆段階を判断する第１段階及び居眠りの実行段階を判断する第２段階を段階的に経て第１段階条件のうちのいずれか一つ以上を満たし、次いで、第２段階の条件のうちのいずれか一つ以上を満たす場合に限って最終的に居眠り運転と確定する２段階の段階的な方法を用いた居眠り運転の防止装置に関する。
【背景技術】
【０００２】
従来の居眠り運転の防止装置としては、瞳（瞳孔）領域のみを対象として、特に、瞳の大きさ及び円形度に基づいて居眠り運転の有無を判断して警報信号を出力する「運転者の瞳の検出を用いた居眠り運転の防止方法及び装置」（例えば、下記の特許文献１参照）と、顔映像の読取部において生成された運転者の顔のベクトルテンプレート及び保存された運転者のベクトルテンプレートを比較し且つ分析して居眠り状態を確認する「顔認識技術を用いた居眠り運転の防止装置及びこれを用いた居眠り運転の防止システム」（例えば、下記の特許文献２参照）と、車両の走行速度が平均速度から大幅に外れると、運転者の居眠り運転を疑って運転者に居眠り防止のための電話をして居眠り運転を防ぐ「車両走行案内装置の居眠り運転の防止方法」（例えば、下記の特許文献３参照）と、が挙げられる。
【０００３】
しかしながら、これらの従来の技術は、車両が止まっているときにも作動して運転者が停車中の車両内において目を閉じたり、違うところを凝視したりする場合にも居眠り運転中であると判断して運転者に不便さを与える虞があり、しかも、後進する車両において運転者が車両の後ろを注視したり、バックミラーを見たりする場合にも瞳が違うところを凝視するという理由から居眠り運転であると誤って判断してしまうという欠点がある。
【０００４】
また、顔映像の読取部において生成された運転者のベクトルテンプレート及び予め保存された運転者のベクトルテンプレートを比較し且つ分析する方法においては、予め保存された運転者のベクトルテンプレートと異なりさえすれば居眠り運転と判断して、それが正確に居眠りによるものであるか、或いは、他の理由によるものであるかの区別が付き難く、予め保存されたベクトルテンプレートと相違するという理由だけで居眠り運転と速断することは不正確な結果を招いてしまうという欠点がある。
【０００５】
更に、従来の技術は、運転者の瞳領域のみを判断するか、或いは、瞳の開閉有無だけで居眠り運転の有無を判断するが故に、サングラスや眼鏡などの障害物があるため目が認識できない状況下では居眠り有無の判断が全く行えないだけではなく、ユーザが居眠りではない理由から違うところを凝視したり、目を閉じたり、瞳が閉鎖されたりする全ての状況を居眠りと判断してしまうという欠点があるため、正確度が非常に低い。なお、車両の速度が平均速度以上である場合を居眠り運転があると判断してしまう従来の居眠り運転の防止方法は、運転者が居眠りではない理由から走行速度が平均速度から大幅に外れる場合や周りの環境が障害物として作用して車両の動きや速度が認識できない状況下では、居眠り有無の判断が行えないか、或いは、正確度が低下してしまうという致命的な欠点がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】大韓民国登録特許出願第１０−１１３９９６３号
【特許文献２】大韓民国登録特許出願第１０−０７７８０５９号
【特許文献３】大韓民国公開特許出願第１０−２０１２−００８６５７２号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記の事情に鑑みてなされたものであり、その目的は、ＧＰＳ装置を用いてユーザの前進走行の有無を判断した後、前進走行中であるときにのみユーザの居眠り状態を感知し始め、赤外線深度センサー及び赤外線カメラを併用して運転者の動作と、顔面と、目及びあくびをする口形状を認知してより正確に居眠り運転の有無を判断し、居眠り運転ではない理由から目を閉じたり視線が違うところを向いていたりする場合を除外させて正確に居眠り運転を感知するために、まず居眠りの前兆段階を判断する第１段階及び居眠りの実行段階を判断する第２段階を段階的に経て第１段階条件のうちのいずれか一つ以上を満たし、次いで、第２段階の条件のうちのいずれか一つ以上を満たす場合に限って最終的に居眠り運転と確定する２段階に亘っての居眠り運転の防止装置を提供することにある。
【課題を解決するための手段】
【０００８】
上述した目的を達成するために案出された本発明による動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置は、車両の前進走行の有無を判断する走行判断部と、運転者の状態を撮影する撮影部と、ユーザの居眠り運転の有無を判断する居眠り判断部と、ユーザに警告を送る警報部と、上記の走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラと、を備える居眠り運転の防止装置において、前記走行判断部は、全地球測位システム（ＧＰＳ）端末から車両の現在の位置座標情報を受け取って以前の数秒間の位置座標情報と比較して車両の状態が前進走行中であるか、後進走行中であるか、或いは、停車中であるかを判断して、車両が前進走行中である場合に限って運転者の動作と、顔面と、瞳及び口形状の認知を通じて居眠りの前兆行動の有無を判断する第１段階の判断過程と、完成された居眠りの実行行動の有無を判断する第２段階の判断過程と、を含み、第１段階の判断過程において居眠りの前兆行動があると判断された後に、第２段階の判断過程において居眠りの実行行動があると判断される場合にのみユーザが居眠り運転をしていると最終的に判断して警告音を出すことを特徴とする。
【０００９】
好ましくは、前記居眠り判断部は、前記走行判断部における居眠り運転の有無の判断が、前進走行状態であるときにのみ、赤外線カメラ及び赤外線深度センサーから映像情報及びセンサーの３次元の深さ情報が送られてきて行われ、第１段階の判断過程において前記運転者の居眠りの前兆行動の有無を認知し、第２段階の判断過程において居眠りの実行行動の有無を判断するが、第１段階を経て第２段階に移行した場合に限って最終的に居眠り運転であると確定する段階的な判断を行う。
【００１０】
また、好ましくは、居眠りの前兆行動を判断する第１段階においては、まず、撮影部から送られてきた映像及びセンサー情報から運転者の顔輪郭を検出した後、再び口、頭、鼻、首の位置を検出して運転者のあくびの周期を計算するか、うなずきの速度及び周期を計算するか、或いは、目の位置を検出した後に瞳の外郭線と、瞳の白目及び黒目を認識してまばたきの速度及び周期を計算するなどして、居眠りの前兆行動の有無を判断する。
【００１１】
更に、好ましくは、居眠りの実行行動の有無を判断する第２段階においては、前記第１段階の居眠りの前兆行動の判断基準のうちの一つを満たすと判断された運転者に限って、当該運転者の瞳の閉鎖状態が所定の時間以上持続的に行われるか、視線が所定の時間以上正面を注視していないか、或いは、所定の角度以上うつむいている時間が所定の時間以上続く場合に居眠りの実行行動があると判断する。
【発明の効果】
【００１２】
本発明は、全地球測位システム（ＧＰＳ）端末を用いた車両の走行有無の判断方法と、赤外線カメラ及び赤外線深度センサーを用いて２段階に亘って居眠りを判断する装置に関するものであり、運転者の居眠りの有無を最終的に判断して警告音を出すことにより、下記の効果を有する。
【００１３】
まず、第一に、全地球測位システム（ＧＰＳ）端末の座標値の変化を活用して運転者の車両が前進走行中である状態でのみ居眠り運転の有無を判断して正確に居眠り運転有無の判断を行うことができる。
【００１４】
第二に、単に瞳のみを認識するか、或いは、瞳の単なる開閉有無のみを居眠り有無の判断の要素とするわけではなく、運転者のあくびの周期と、まばたきの速度及び周期と、頭の角度と、うなずきの速度及び周期を組み合わせて居眠り有無をなお一層正確に判断して既存のシステムの認識率の低下という欠点を効率よく改善することができる。
【００１５】
第三に、第１段階の居眠りの前兆段階を経て第２段階の居眠りの実行段階に移行した場合にのみ居眠り運転であると最終的に判断する２段階に亘っての段階的な居眠りの判断方法を採用することにより、居眠り運転ではない不要な状況下で警告信号が出てしまうという誤りや不便さを無くすことができる。
【００１６】
最後に、赤外線カメラ及び赤外線深度センサーを用いて夜間にも居眠り運転の測定を行うことができ、警告音の報知装置を用いて居眠り運転の前兆行為があると判断されるときに予備警告音のみを発生し、最終的な居眠り運転の実行行動があると判断されて始めて本警告音を発生して居眠り運転者の目を覚まして居眠り運転を防ぐことにより、生命を保護することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態による居眠り運転の防止装置の構成図である。
【図２】本発明の実施形態による走行判断部の前進走行の有無の判断の流れを示すフローチャートである。
【図３】本発明の実施形態による居眠り判断部の第１段階の居眠り前兆行動の判断の流れを示すフローチャートである。
【図４】本発明の実施形態による居眠り判断部の第２段階の居眠り実行行動の判断の流れを示すフローチャートである。
【図５】本発明の実施形態によるあくびの周期を用いた居眠り前兆行動の判断の流れを示すフローチャートである。
【図６】本発明の実施形態によるうなずきの速度及び周期を用いた居眠り前兆行動の判断の流れを示すフローチャートである。
【図７】本発明の実施形態によるまばたきの速度及び周期を用いた居眠り前兆行動の判断の流れを示すフローチャートである。
【図８】本発明の実施形態による瞳の閉鎖状態の持続時間を用いた居眠り実行行動の判断の流れを示すフローチャートである。
【図９】本発明の実施形態による視線が正面を向いていない状態の持続時間を用いた居眠り実行行動の判断の流れを示すフローチャートである。
【図１０】本発明の実施形態によるうつむきの持続時間を用いた居眠り実行行動の判断の流れを示すフローチャートである。
【図１１】本発明の実施形態による撮影部（赤外線カメラ及び赤外線深度センサー）を用いた居眠り判断部の居眠り判断過程に関する総合的な構成図である。
【発明を実施するための形態】
【００１８】
以下、添付図面に基づき、本発明の実施形態による動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置について詳細に説明する。
【００１９】
本発明は、図１に示すように、居眠り運転の防止装置において、前進走行中の車両における運転者の動作と、顔面と、瞳及び口形状の認知を通じて、居眠りの前兆行動の有無を判断する第１段階の判断過程と、完成された居眠りの実行行動の有無を判断する第２段階の判断過程と、に分けて、第１段階の判断過程において居眠りの前兆行動があると判断された後に、第２段階の判断過程において居眠りの実行行動があると判断される場合にのみ、ユーザが居眠り運転をしていると最終的に判断して警告音を出す動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置に関するものである。
【００２０】
具体的に、本発明は、図１に示すように、車両の前進走行の有無を判断する走行判断部と、運転者の状態を撮影する撮影部と、ユーザの居眠り運転の有無を判断する居眠り判断部と、ユーザに警告を送る警報部と、上記の走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラと、を備える。
【００２１】
ここで、車両の前進走行の有無を判断する走行判断部は、全地球測位システム（ＧＰＳ）端末から車両の現在の位置の座標情報を受け取って以前の数秒間の位置の座標情報と比較して、車両の状態が前進走行中であるか、後進走行中であるか、或いは、停車中であるかを判断することを特徴とする。図２は、上記の走行判断部の前進走行の有無の判断の流れを示すフローチャートであるが、時間帯別に衛星から送信した位置情報を全地球測位システム（ＧＰＳ）端末から受け取って車両の時間帯別の座標値を保存して時間帯別の位置座標値を比較することにより、前進、停止、後進の有無を判断する。正常の車両走行の場合、長時間（例えば、５分以上）に亘って後進走行を行い続ける場合はほとんどなく、たとえ長時間に亘って後進走行を行うとしても、運転者の視線や頭は車両の背面の障害物を見るために意識的に後ろを振り向いたり、正面ではない車両のバックミラーを長時間に亘って見続けたりする筈であるため、この場合まで居眠り運転の判断を行う場合、意識的な頭の振り向きや瞳の視線の回しが無意識的な居眠り運転の行動と誤認される誤りが生じる確率も高く、ほとんどの場合に集中して短い時間内に後進をする筈である運転者が後進走行中のしばらくの間に居眠り運転をする可能性も低くて実際に後進走行中のときに居眠り運転の有無を判断する必要もあまりないため、単に車両が前進走行中のときにのみ居眠り運転の有無を判断するために、例えば、時間帯別の前後の座標値に変化がなければ、停車中であると判断し、時間帯別の前後の座標値を比較するとき、座標値が急に（或いは、しばらくの間座標値に変化がなく）従前の進行方向とは逆方向に変わると、後進走行であると判断し、時間帯別の前後の座標値が所定の時間以上同じ方向に（或いは、逆方向ではなく、車両が回転可能な角度内の方向に）一貫的に変わり続けると、前進走行中であると判断する。
【００２２】
また、前記運転者の状態を撮影する撮影部は、図１１に示すように、前記運転者の顔面状態の映像情報を入力される赤外線カメラと、３次元の深さ情報を入力される赤外線深度センサーと、を備えるが、赤外線カメラは、明所はもとより暗所でも前記運転者の顔輪郭及び目の外郭線、瞳の白目及び黒目の認識のために顔面状態の映像情報を入力されて居眠り判断部に転送する機能をし、赤外線深度センサーは、明所はもとより暗所でも前記運転者の上体と、頭と、顔面と、目及び口の位置及び具体的な動きを正確に判断するために３次元の深さ情報を入力されて居眠り判断部に転送する機能をする。
【００２３】
更に、前記ユーザの居眠り有無を判断する居眠り判断部は、図１に示すように、第１段階の居眠り前兆判断部と、第２段階の居眠り実行判断部と、を備えるが、居眠り判断部は、前記走行判断部における居眠り運転の有無の判断が、前進走行状態であるときにのみ、赤外線カメラ及び赤外線深度センサーから映像情報及びセンサーの３次元の深さ情報が送られてきて行われ、まず、前記運転者の動作情報と、顔面情報と、目及び口形状情報とを用いて、第１段階の判断過程において前記運転者の居眠りの前兆行動の有無を認知し、次いで、第２段階の判断過程において居眠りの実行行動の有無を判断するが、第１段階を経て第２段階に移行した場合に限って最終的に居眠り運転であると確定する段階的な判断を行うことを特徴とする。
【００２４】
ここで、居眠りの前兆行動を判断する第１段階は、図３に示すように、まず、撮影部から送られてきた映像情報及びセンサーの３次元の深さ情報から運転者の顔輪郭を検出した後、再び口、頭、鼻、首の位置を検出して運転者のあくびの周期を計算するか、うなずきの速度及び周期を計算するか、或いは、目の位置を検出した後に瞳の外郭線と、瞳の白目及び黒目を認識してまばたきの速度及び周期を計算するなどして、居眠りの前兆行動の有無を判断する。
【００２５】
居眠りの前兆行動の判断基準のうちの一つである「あくびの周期」は、図５に示すように、撮影部から送られてきた映像及びセンサー情報を用いて運転者の口の位置を把握した後、運転者の口形状又はあくびをするか否かを把握して、運転者のあくびが所定の時間内に基準回数以上見付かる場合に居眠りの前兆行動があると判断する。より具体的に、居眠り判断部は、撮影部から送られてきた情報を用いて運転者の顔面を認識した後に運転者の口の位置を判断する。また、次いで、口形状を検査するが、例えば、真円に比べて５０％以上口が開けられたり、下顎が平常時よりも所定のレベル以上下がっている状態が所定の時間（例えば、１秒）以上続く場合に１回のあくびと判断し、所定の時間（例えば、２分）内に運転者があくびを所定の回数（例えば、２回）以上行うことを居眠り運転の前兆段階と判断する。
【００２６】
居眠りの前兆行動の判断基準のうちの一つである「うなずきの速度及び周期」は、図６に示すように、撮影部から送られてきた映像及びセンサー情報を用いて運転者の頭が所定の角度以上下がってから元の位置に戻ることを１回のうなずきと見なし、前記１回のうなずきが行われる時間が基準時間以上かかるほど遅くなる場合のみを「居眠りの前兆のうなずき」と計算して、上記の「居眠りの前兆のうなずき」が所定の時間内に基準回数以上行われる場合に居眠りの前兆行動があると判断する。より具体的に、居眠り判断部は、撮影部から送られてきた情報を用いて運転者の顔面を認識した後、頭、鼻、首の各ポイントを取る。次いで、頭及び首間の接続線（直線）と、頭及び鼻間の接続線（直線）を用いて角度を測定する。例えば、もし、３０°以上うつむいてから元の位置に戻ると、これを１回のうなずきと見なし、その１回のうなずきが行われるのにかかる時間を保存する。上記の１回のうなずきが行われた時間が所定の基準時間以上（例えば、３秒以上）かかる場合には、これを「居眠りの前兆のうなずき」と捕らえて保存し、このような居眠りの前兆のうなずきが所定の時間内に（例えば、３分内に）所定の回数以上（例えば、２回以上）行われる場合に居眠りの前兆行動があると判断する。
【００２７】
また、居眠りの前兆行動の判断基準のうちの一つである「まばたきの速度及び周期」は、図７に示すように、撮影部から送られてきた映像及びセンサー情報を用いて運転者の瞳が所定の部分以上隠れてから再び見えることを１回のまばたきと見なし、前記１回のまばたきが行われる時間が基準時間以上かかるほど遅くなる場合のみを「居眠りの前兆のまばたき」と計算して、上記の「居眠りの前兆のまばたき」が所定の時間内に基準回数以上行われる場合に居眠りの前兆行動があると判断することを特徴とする。より具体的に、居眠り判断部は、撮影部から送られてきた情報を用いて運転者の目の外郭線と、瞳の白目及び黒目を認識した後、例えば、もし、瞳が５０％以上隠れてから再び５０％以上開かれる状態に戻ると、これを１回のまばたきと見なし、その１回のまばたきが行われるのにかかる時間を保存する。上記の１回のまばたきが行われた時間が所定の基準時間以上（例えば、１秒以上）かかる場合にはこれを「居眠りの前兆のまばたき」と捕らえて計算し、このような居眠りの前兆のまばたきが所定の時間内に（例えば、１分内に）所定の回数以上（例えば、２回以上）行われる場合に居眠りの前兆行動があると判断する。
【００２８】
一方、居眠りの実行行動の有無を判断する第２段階は、図４に示すように、居眠りの前兆段階である前記第１段階を経た運転者に限って当該運転者の瞳の閉鎖状態が所定の時間以上続く場合、視線が所定の時間以上正面を注視していない場合、或いは、所定の角度以上うつむいている時間が所定の時間以上続く場合に居眠りの実行行動があると判断することを特徴とする。本発明は、もし、第１段階の居眠りの前兆行動なしに直ちに第２段階の行動と同じ行動が感知される場合には、これを居眠り運転と判断しないというところに重要な特徴がある。これは、第１段階の居眠りの前兆行動なしに直ちに第２段階の行動を示す例としては、居眠りではない他の理由からバックミラーや窓の外を見たり、ルームミラーを見たり、音楽を聴きながらうつむいたりするなど数多く挙げられるため、このような行動を居眠り運転による熟成された居眠り状態を示す第２段階の行動と区別するためである。
【００２９】
居眠りの実行行動の判断基準のうちの一つである運転者の瞳の閉鎖状態は、図８に示すように、撮影部から送られてきた映像情報を用いて運転者の瞳を分析して、瞼が所定の角度以上塞がった状態で運転者の瞳が所定の時間以上持続的に閉鎖されているか否かを判断し、居眠りの実行行動の判断基準のうちの一つである視線の正面注視の有無は、図９に示すように、撮影部から送られてきた映像情報を用いて運転者の瞳を分析して、運転者が正面を注視していないと判断される時間が所定の時間以上続く場合に居眠りの実行段階と判断し、居眠りの実行行動の判断基準のうちの一つである頭の角度は、図１０に示すように、撮影部から送られてきた映像を用いて運転者の頭の基準点及び鼻の基準点の角度を計算してユーザの頭の角度を測定した後、頭が基準時間以上持続的に所定の角度以上傾いている場合に居眠りの実行段階と判断する
また、ユーザに警告をする警報部は、図１に示すように、第１段階である居眠りの前兆行動があると判断された場合には予備警告音を、第１段階を経て第２段階の居眠りの実行行動があると判断された場合には本警告音を運転者に送って居眠り運転状態であることを報知することを特徴とする。
【００３０】
更に、前記走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラは、図１に示すように、走行判断部から前進走行の有無が送られてきて停車中であるか、或いは、後進走行中である場合には撮影部に撮影中止指令を転送し、前進走行中である場合に限って撮影部に感知指令を、且つ、居眠り判断部には第１段階の居眠り判断指令をそれぞれ転送し、居眠り判断部から第１段階の居眠り前兆の行動がある旨が送られてきた後には、警報部に予備警告音を送ることを指示すると共に、居眠り判断部に第２段階の居眠り実行行動の有無の判断指令を転送し、居眠り判断部から第１段階を経て第２段階の居眠りの実行行動がある旨が送られてきた場合には警報部に本警告音を運転者に送ることを指示することを特徴とする
【図１】
2016539446.tif 000003
【図２】
2016539446.tif 000004
【図３】
2016539446.tif 000005
【図４】
2016539446.tif 000006
【図５】
2016539446.tif 000007
【図６】
2016539446.tif 000008
【図７】
2016539446.tif 000009
【図８】
2016539446.tif 000010
【図９】
2016539446.tif 000011
【図１０】
2016539446.tif 000012
【図１１】
2016539446.tif 000013
【国際調査報告】
2016539446.tif 000014
2016539446.tif 000015
2016539446.tif 000016
2016539446.tif 000017