(57)【要約】【課題】車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態を正確に検出することができる閉眼検出装置を提供する。【解決手段】車両を運転するドライバが閉眼状態であることを検出する閉眼検出装置であって、ドライバの顔を撮像する顔撮像部と、顔撮像部で撮像した顔画像から瞼画像を認識する瞼画像認識部と、瞼画像認識部が認識した瞼画像の傾きに対して垂直方向の上瞼画像と下瞼画像との間の距離を算出する瞼間距離算出部と、瞼間距離算出部が算出した距離が所定距離以下であるときに、閉眼状態であることを検出する閉眼状態検出部とを備える。【選択図】図１
2009169745.tif 000002
【特許請求の範囲】
【請求項１】
車両を運転するドライバが閉眼状態であることを検出する閉眼検出装置であって、
ドライバの顔を撮像する顔撮像部と、
前記顔撮像部で撮像した顔画像から瞼画像を認識する瞼画像認識部と、
前記瞼画像認識部が認識した瞼画像の傾きに対して垂直方向の上瞼画像と下瞼画像との間の距離を算出する瞼間距離算出部と、
前記瞼間距離算出部が算出した距離が所定距離以下であるときに、閉眼状態であることを検出する閉眼状態検出部とを備える、閉眼検出装置。
【請求項２】
複数の人の上瞼の画像パターンを格納する上瞼画像パターン格納部と、
前記瞼画像認識部が認識した上瞼画像と一致する上瞼の画像パターンを前記上瞼画像パターン格納部から特定する上瞼画像パターン特定部とを更に備え、
前記瞼間距離算出部は、前記上瞼画像パターン特定部が特定した上瞼の画像パターンの頭頂部への接線の傾きを有する、前記上瞼画像の頭頂部への接線と前記下瞼画像の頭頂部への接線との間の距離を算出することによって、当該上瞼画像パターン特定部が特定した上瞼の画像パターンの傾きに対して垂直方向の前記上瞼画像と前記下瞼画像との間の最大距離を算出することを特徴とする、請求項１に記載の閉眼検出装置。
【請求項３】
複数の人の下瞼の画像パターンを格納する下瞼画像パターン格納部と、
前記瞼画像認識部が認識した下瞼画像と一致する下瞼の画像パターンを前記下瞼画像パターン格納部から特定する下瞼画像パターン特定部とを更に備え、
前記瞼間距離算出部は、前記下瞼画像パターン特定部が特定した下瞼の画像パターンの傾きに対して垂直方向の前記上瞼画像と前記下瞼画像との間の最大距離を算出することを特徴とする、請求項１又は２に記載の閉眼検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、閉眼検出装置に関し、より特定的には、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態であることを正確に検出することができる閉眼検出装置に関する。
【背景技術】
【０００２】
従来、車両を運転するドライバの閉眼状態を検出する装置として、上瞼と下瞼との間の水平面に対して垂直な方向の距離を算出し、その距離が所定距離以下である場合に、閉眼状態であることを検出する装置が提案されている（例えば、特許文献１参照）。
【特許文献１】特許第３７４６９１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の技術では、水平面に対して垂直な方向の距離を算出して閉眼を検出するため、例えばドライバが垂れ目やつり目である場合、眼を閉じていても目尻と目頭の高さの差を算出してしまい、開眼状態であると誤検出してしまう。
【０００４】
そこで、本発明は、上記問題に鑑みてなされた。すなわち、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態であることを正確に検出することができる閉眼検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の局面は、車両を運転するドライバが閉眼状態であることを検出する閉眼検出装置に向けられている。本発明は、ドライバの顔を撮像する顔撮像部と、顔撮像部で撮像した顔画像から瞼画像を認識する瞼画像認識部と、瞼画像認識部が認識した瞼画像の傾きに対して垂直方向の上瞼画像と下瞼画像との間の距離を算出する瞼間距離算出部と、瞼間距離算出部が算出した距離が所定距離以下であるときに、閉眼状態であることを検出する閉眼状態検出部とを備える。
【０００６】
これにより、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態であることを正確に検出することができる閉眼検出装置を提供することができる。
【０００７】
また、複数の人の上瞼の画像パターンを格納する上瞼画像パターン格納部と、瞼画像認識部が認識した上瞼画像と一致する上瞼の画像パターンを上瞼画像パターン格納部から特定する上瞼画像パターン特定部とを更に備え、瞼間距離算出部は、上瞼画像パターン特定部が特定した上瞼の画像パターンの頭頂部への接線の傾きを有する、前記上瞼画像の頭頂部への接線と前記下瞼画像の頭頂部への接線との間の距離を算出することによって、当該上瞼画像パターン特定部が特定した上瞼の画像パターンの傾きに対して垂直方向の前記上瞼画像と前記下瞼画像との間の最大距離を算出することが好ましい。
【０００８】
これにより、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することができ、閉眼状態を正確に検出することができる閉眼検出装置を提供することができる。
【０００９】
また、複数の人の下瞼の画像パターンを格納する下瞼画像パターン格納部と、瞼画像認識部が認識した下瞼画像と一致する下瞼の画像パターンを前記下瞼画像パターン格納部から特定する下瞼画像パターン特定部とを更に備え、瞼間距離算出部は、前記下瞼画像パターン特定部が特定した下瞼の画像パターンの傾きに対して垂直方向の前記上瞼画像と前記下瞼画像との間の最大距離を算出することが好ましい。
【００１０】
これにより、車両を運転するドライバの上瞼と下瞼との間のより正確な距離を算出することができ、閉眼状態を正確に検出することができる閉眼検出装置を提供することができる。
【発明の効果】
【００１１】
以上説明したように、本発明によれば、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態を正確に検出することができる閉眼検出装置を提供することができる。
【発明を実施するための最良の形態】
【００１２】
（第１の実施形態）
以下、本発明の第１の実施の形態に係る閉眼検出装置について図面に従って詳細に説明する。
【００１３】
図１は、本発明の実施の形態に係る閉眼検出装置１００の全体構成を示すブロック図である。図１において、閉眼検出装置１００は、上瞼画像パターン格納部１１０、顔撮像部１２０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、及び閉眼状態検出部１７０を備える。ＥＣＵ１８０は、上瞼画像パターン格納部１１０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、及び閉眼状態検出部１７０を含む。
【００１４】
上瞼画像パターン格納部１１０は、様々な人種、様々な形状の人の目の上瞼の画像パターンを格納する、例えばＲＡＭ、ＲＯＭ、又はＨＤＤ（ハードディスク）等のメモリである。
【００１５】
顔撮像部１２０は、ドライバの顔を撮像できる位置に配置されたドライバの顔を撮像する、例えばカメラである。カメラＡＳＳＹの中に、赤外線カメラとＬＥＤが搭載されている。
【００１６】
上瞼画像認識部１３０は、顔撮像部で撮像された顔画像からエッジラインを抽出する画像処理を施して、鼻の位置を推定し、推定した鼻の位置から目の位置を推定し、推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から上瞼画像を認識する。
【００１７】
下瞼画像認識部１４０は、顔撮像部で撮像された顔画像からエッジラインを抽出する画像処理を施して、鼻の位置を推定し、推定した鼻の位置から目の位置を推定し、推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から下瞼画像を認識する。
【００１８】
上瞼画像パターン特定部１５０は、上瞼画像パターン格納部１１０に格納された上瞼画像パターンの中から、上瞼画像認識部１３０が認識した上瞼画像とパターンが一致する上瞼画像パターンを特定する。
【００１９】
瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘを算出する。このとき、図４に示すように、瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターンの頭頂部への接線の傾きを有する、上瞼画像の頭頂部への接線と下瞼画像の頭頂部への接線との間の距離Ｄｍａｘを算出する。これにより、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することができる。
【００２０】
閉眼状態検出部１７０は、瞼間最大距離算出部１６０が算出した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘが所定距離以下である場合に、ドライバが閉眼状態であることを検出する。
【００２１】
ＥＣＵ１８０は、図２に示すような構成からなり、顔撮像部１２０が撮像した撮像データを受け取り、搭載している顔向き検知のアルゴリズムと閉眼検知のアルゴリズムのプログラムによってそれぞれの処理を実行する。
【００２２】
顔向き検知の処理は、顔向き検知マイコン１８１によって実行され、閉眼検知の処理は、特徴点検出装置１８２を構成する上瞼画像パターン格納部１１０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、及び閉眼状態検出部１７０によって実行される。
【００２３】
ＥＣＵ１８０は、顔向き検知マイコン１８１、及び特徴点検出装置１８２等の情報処理装置、およびインターフェース回路等を備える処理装置である。ＥＣＵ１８０は、カメラ画像を顔向き検知マイコン１８１、及び特徴点検出装置１８２等の情報処理装置で処理する。ＥＣＵ１８０は、上記の処理の結果として得られる運転者の状態を示すデータを車両制御システムへ出力する。
【００２４】
顔向き検知マイコン１８１は、典型的にはマイクロコンピュータ等の情報処理装置である。顔向き検知マイコン１８１は、カメラ画像中における運転者の顔の向きの角度を検出する。なお、本実施形態では、説明を簡単にするため、顔向き検知マイコン１８１が、運転者の顔の左右方向の角度（以下、顔向き角度αと呼称する）を検出する例について説明する。
【００２５】
特徴点検出装置１８２は、典型的にはマイクロコンピュータ等の情報処理装置である。特徴点検出装置１８２は、後述する処理に用いるデータを記憶するメモリ等の記憶装置を備える。特徴点検出装置１８２は、上記の画像中で左眼を探索する範囲（以下、左眼探索範囲と呼称する）、および右眼を探索する範囲（以下、右眼探索範囲と呼称する）を設定する。なお、左眼探索範囲および右眼探索範囲は、カメラ画像のＸＹ座標軸と平行な４辺から成る長方形で設定される。特徴点検出装置１３２は、左眼探索範囲内でカメラ画像中の左眼の位置（Ｌｘ，Ｌｙ）を検出し、右眼探索範囲内でカメラ画像中の右眼の位置（Ｒｘ，Ｒｙ）を検出する。特徴点検出装置１３２は、左右の眼の位置を検出すると、左眼の瞼開度ＭＬおよび右眼の瞼開度ＭＲを各々算出する。そして、特徴点検出装置１３２は、左眼の位置（Ｌｘ，Ｌｙ）、右眼の位置（Ｒｘ，Ｒｙ）、左眼の瞼開度ＭＬ、および右眼の瞼開度ＭＲを示すデータを車両制御システムへ出力する。
【００２６】
車両制御システムには、プリクラッシュ制御システムなどの車両を制御するシステムが含まれる。例えば、プリクラッシュ制御システムは、運転者の疲れ具合などを顔向き検知マイコン１８１から出力される顔向き角度α、特徴点検出装置１８２から出力される運転者の左眼の位置（Ｌｘ，Ｌｙ）および右眼の位置（Ｒｘ，Ｒｙ）、並びに左右の眼の各々の瞼開度等の運転者の状態を示すデータに基づいて判断することができる。この判断により、プリクラッシュ制御システムは、車両と障害物との衝突の危険を報ずる警告や、衝突回避走行の制御などを実行するタイミングを、上記の運転者の疲れ具合に応じて決定する。
【００２７】
以下、本発明の第１の実施の形態に係る閉眼検出装置１００の動作について、図３のフロー図に従って説明する。
【００２８】
まず、顔撮像部１２０は、ドライバの顔を撮像する（ステップＳ２０１）。
【００２９】
次に、上瞼画像認識部１３０は、顔撮像部で撮像された顔画像からエッジラインを抽出する画像処理を施して、鼻の位置を推定する（ステップＳ２０２）。
【００３０】
更に、上瞼画像認識部１３０は、推定した鼻の位置から目の位置を推定する（ステップＳ２０３）。
【００３１】
そして、上瞼画像認識部１３０は、推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から上瞼画像を認識する（ステップＳ２０４）。
【００３２】
次に、下瞼画像認識部１４０は、上瞼画像認識部１３０が推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から下瞼画像を認識する（ステップＳ２０５）。
【００３３】
次に、上瞼画像パターン特定部１５０は、上瞼画像パターン格納部１１０に格納された上瞼画像パターンの中から、上瞼画像認識部１３０が認識した上瞼画像とパターンが一致する上瞼画像パターンを特定する（ステップＳ２０６）。
【００３４】
次に、瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘを算出する（ステップＳ２０７）。
【００３５】
次に、閉眼状態検出部１７０は、瞼間最大距離算出部１６０が算出した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘが所定距離以下であるか否かを判定する（ステップＳ２０８）。
【００３６】
ステップＳ２０８において、所定距離より大きいと判定された場合、閉眼状態検出部１７０はステップＳ２０１に処理を戻す。
【００３７】
一方、ステップＳ２０８において、所定距離以下であると判定された場合、閉眼状態検出部１７０は、ドライバが閉眼状態であることを検出する（ステップＳ２０９）。
【００３８】
このように、本発明によれば、車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態であることを正確に検出することができる閉眼検出装置を提供することができる。
【００３９】
（第２の実施形態）
以下、本発明の第２の実施の形態に係る閉眼検出装置について図面に従って詳細に説明する。なお、第１の実施の形態と同一の構成に付いては説明を省略する。
【００４０】
図４は、本発明の実施の形態に係る閉眼検出装置１００の全体構成を示すブロック図である。図５において、閉眼検出装置１００は、上瞼画像パターン格納部１１０、顔撮像部１２０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、閉眼状態検出部１７０、下瞼画像パターン格納部１９０、及び下瞼画像パターン特定部２００を備える。ＥＣＵ１８０は、上瞼画像パターン格納部１１０、上瞼画像認識部１３０、下瞼画像認識部１４０、上瞼画像パターン特定部１５０、瞼間最大距離算出部１６０、閉眼状態検出部１７０、下瞼画像パターン格納部１９０、及び下瞼画像パターン特定部２００を含む。
【００４１】
下瞼画像パターン格納部１９０は、様々な人種、様々な形状の人の目の下瞼の画像パターンを格納する、例えばＲＡＭ、ＲＯＭ、又はＨＤＤ（ハードディスク）等のメモリである。
【００４２】
下瞼画像パターン特定部２００は、下瞼画像パターン格納部１９０に格納された下瞼画像パターンの中から、下瞼画像認識部１４０が認識した下瞼画像とパターンが一致する下瞼画像パターンを特定する。
【００４３】
瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターン、及び下瞼画像パターン特定部１９０が特定した下瞼の画像パターンの双方の傾きが一致する傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘを算出する。このとき、瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターン、及び下瞼画像パターン特定部１９０が特定した下瞼の画像パターンの頭頂部への接線の傾きの双方が一致する傾きを有する、上瞼画像の頭頂部への接線と下瞼画像の頭頂部への接線との間の距離Ｄｍａｘを算出する。
【００４４】
以下、本発明の第２の実施の形態に係る閉眼検出装置１００の動作について、図６のフロー図に従って説明する。
【００４５】
まず、顔撮像部１２０は、ドライバの顔を撮像する（ステップＳ５０１）。
【００４６】
次に、上瞼画像認識部１３０は、顔撮像部で撮像された顔画像からエッジラインを抽出する画像処理を施して、鼻の位置を推定する（ステップＳ５０２）。
【００４７】
更に、上瞼画像認識部１３０は、推定した鼻の位置から目の位置を推定する（ステップＳ５０３）。
【００４８】
そして、上瞼画像認識部１３０は、推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から上瞼画像を認識する（ステップＳ５０４）。
【００４９】
次に、下瞼画像認識部１４０は、上瞼画像認識部１３０が推定した目の位置のエッジラインを抽出する画像処理を施して、眼画像を抽出し、抽出した眼画像から下瞼画像を認識する（ステップＳ５０５）。
【００５０】
次に、上瞼画像パターン特定部１５０は、上瞼画像パターン格納部１１０に格納された上瞼画像パターンの中から、上瞼画像認識部１３０が認識した上瞼画像とパターンが一致する上瞼画像パターンを特定する（ステップＳ５０６）。
【００５１】
次に、下瞼画像パターン特定部２００は、下瞼画像パターン格納部１９０に格納された下瞼画像パターンの中から、下瞼画像認識部１４０が認識した下瞼画像とパターンが一致する下瞼画像パターンを特定する（ステップＳ５０７）。
【００５２】
次に、瞼間最大距離算出部１６０は、上瞼画像パターン特定部１５０が特定した上瞼の画像パターン、及び下瞼画像パターン特定部２００が特定した下瞼の画像パターンの双方の傾きが一致する傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘを算出する（ステップＳ５０８）。
【００５３】
次に、閉眼状態検出部１７０は、瞼間最大距離算出部１６０が算出した上瞼の画像パターンの傾きに対して垂直方向の上瞼画像と下瞼画像との間の最大距離Ｄｍａｘが所定距離以下であるか否かを判定する（ステップＳ５０９）。
【００５４】
ステップＳ５０９において、所定距離より大きいと判定された場合、閉眼状態検出部１７０はステップＳ５０１に処理を戻す。
【００５５】
一方、ステップＳ５０９において、所定距離以下であると判定された場合、閉眼状態検出部１７０は、ドライバが閉眼状態であることを検出する（ステップＳ５１０）。
【００５６】
このように、本発明によれば、車両を運転するドライバの上瞼と下瞼との間のより正確な距離を算出することができ、閉眼状態を正確に検出することができる閉眼検出装置を提供することができる。
【００５７】
なお、眼の傾きの特定は、パターンマッチングによって得られる下瞼の傾きとして特定してもよいし、目尻と目頭の位置を結ぶ線の傾きとして特定してもよい。
【００５８】
また、瞼間の距離の算出は、目尻と目頭を結ぶ線と上瞼の頭頂部までの距離を算出してもよく、この距離に基づいて閉眼状態が検出される構成としてもよい。
【００５９】
上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【００６０】
車両を運転するドライバの上瞼と下瞼との間の正確な距離を算出することにより、閉眼状態の誤検出を低減する閉眼検出装置等として有用である。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１の実施の形態に係る閉眼検出装置の全体構成を示すブロック図
【図２】ＥＣＵの全体構成を示すブロック図
【図３】本発明の第１の実施の形態に係る閉眼検出装置の動作を示すフロー図
【図４】瞼間の最大距離を算出する様子を示す模式図
【図５】本発明の第２の実施の形態に係る閉眼検出装置の全体構成を示すブロック図
【図６】本発明の第２の実施の形態に係る閉眼検出装置の動作を示すフロー図
【符号の説明】
【００６２】
１００    閉眼検出装置
１１０    上瞼画像パターン格納部
１２０    顔撮像部
１３０    上瞼画像認識部
１４０    下瞼画像認識部
１５０    上瞼画像パターン特定部
１６０    瞼間最大距離算出部
１７０    閉眼状態検出部
１８０    下瞼画像パターン格納部
１９０    下瞼画像パターン特定部
【図１】
2009169745.tif 000003
【図２】
2009169745.tif 000004
【図３】
2009169745.tif 000005
【図４】
2009169745.tif 000006
【図５】
2009169745.tif 000007
【図６】
2009169745.tif 000008