(57)【要約】  開眼度判定部（１１）は、自動露光調整機能（２）を有する撮像装置（１）により撮像された画像を用いて乗員の眼の開眼度を判定する。開閉眼判定部（１２）は、眼の開眼度が開眼度閾値未満である場合に当該眼が閉じていると判定する。露光切替部（１３）は、自動露光調整機能（２）の有効時に眼が閉じていると判定された場合、自動露光調整機能（２）を無効にする。輝度検出部（１４）は、自動露光調整機能（２）が無効時に撮像された画像を用いて、眼の周辺の輝度を検出する。眠気判定部（１５）は、眼が閉じていると判定された場合、当該眼の周辺の輝度が輝度閾値未満であれば乗員が居眠り状態であると判定し、輝度閾値以上であれば乗員が覚醒状態であると判定する。
2019215879.tif 000002
【特許請求の範囲】
【請求項１】
露光時間を調整する自動露光調整機能を有する撮像装置により撮像された画像を用いて、車両に搭乗している乗員の眼を検出して前記眼の開眼度を判定する開眼度判定部と、
前記開眼度判定部により判定された前記眼の開眼度が予め定められた開眼度閾値未満である場合に前記眼が閉じていると判定する開閉眼判定部と、
前記自動露光調整機能が有効であって前記開閉眼判定部により前記眼が閉じていると判定された場合、前記自動露光調整機能を無効にする露光切替部と、
前記露光切替部により前記自動露光調整機能が無効にされた後に前記撮像装置により撮像された画像を用いて、前記眼の周辺の輝度を検出する輝度検出部と、
前記開閉眼判定部により前記眼が閉じていると判定された場合、前記輝度検出部により検出された前記眼の周辺の輝度が予め定められた輝度閾値未満であれば前記乗員が居眠り状態であると判定し、前記輝度閾値以上であれば前記乗員が覚醒状態であると判定する眠気判定部とを備える乗員監視装置。
【請求項２】
前記輝度検出部は、前記眼の周辺の輝度の時系列データから輝度の度数分布を作成し、
前記眠気判定部は、前記輝度検出部により作成された前記輝度の度数分布の最頻値が前記輝度閾値未満である場合に前記乗員が居眠り状態であり、前記輝度閾値以上である場合に前記乗員が覚醒状態であると判定することを特徴とする請求項１記載の乗員監視装置。
【請求項３】
前記開閉眼判定部は、前記眼の開眼度が前記開眼度閾値未満である状態が、予め定められた時間継続した場合、前記眼が閉じていると判定することを特徴とする請求項１記載の乗員監視装置。
【請求項４】
前記開眼度判定部は、前記眼の開眼度の時系列データから開眼度の度数分布を作成し、
前記開閉眼判定部は、前記開眼度判定部により作成された前記開眼度の度数分布の最頻値が前記開眼度閾値未満である場合に前記眼が閉じていると判定することを特徴とする請求項１記載の乗員監視装置。
【請求項５】
前記眠気判定部は、前記開眼度判定部において前記乗員の前記眼が検出できなかった場合、前記乗員が居眠り状態であるか覚醒状態であるかの判定を行わないことを特徴とする請求項１記載の乗員監視装置。
【請求項６】
開眼度判定部が、露光時間を調整する自動露光調整機能を有する撮像装置により撮像された、前記自動露光調整機能が有効時の画像を用いて、車両に搭乗している乗員の眼を検出して前記眼の開眼度を判定するステップと、
開閉眼判定部が、前記自動露光調整機能の有効時に前記開眼度判定部により判定された前記眼の開眼度が予め定められた開眼度閾値未満である場合に前記眼が閉じていると判定するステップと、
露光切替部が、前記開閉眼判定部により前記眼が閉じていると判定された場合、前記自動露光調整機能を無効にするステップと、
前記開眼度判定部が、前記自動露光調整機能が無効にされた後に前記撮像装置により撮像された画像を用いて、前記乗員の眼を検出して前記眼の開眼度を判定するステップと、
前記開閉眼判定部が、前記自動露光調整機能の無効時に前記開眼度判定部により判定された前記眼の開眼度が予め定められた開眼度閾値未満である場合に前記眼が閉じていると判定するステップと、
輝度検出部が、前記自動露光調整機能の無効時に前記開閉眼判定部により前記眼が閉じていると判定された場合、前記自動露光調整機能の無効時に前記撮像装置により撮像された画像を用いて、前記眼の周辺の輝度を検出するステップと、
眠気判定部が、前記輝度検出部により検出された前記眼の周辺の輝度が予め定められた輝度閾値未満であれば前記乗員が居眠り状態であると判定し、前記輝度閾値以上であれば前記乗員が覚醒状態であると判定するステップとを備える乗員監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両に搭乗している乗員の状態を監視する乗員監視装置及び乗員監視方法に関するものである。
【背景技術】
【０００２】
従来、車両の運転者が居眠りしているか否かを判定する運転者監視装置がある。上記運転者監視装置は、運転者監視カメラにより撮像された顔画像に基づいて、運転者の眼が閉じているか否かを判定する。そして、上記運転者監視装置は、運転者の眼が閉じていると判定した場合、運転者が居眠りしていると判定する。【０００３】
上記運転者監視装置は、運転者が車両前方に存在する発光体を眩しく感じて眼を細めた場合に、居眠りしていると誤判定することがあった。そこで、特許文献１に係る運転者監視装置は、車外監視カメラ又は照度計を用いて、運転者に向けて発せられる光波の光強度を検出し、運転者の眼が閉じているか否かを判定するための閾値を光強度に応じて補正していた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−４３９６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に係る運転者監視装置は、車外監視カメラ又は照度計により光強度を検出する必要があり、運転者監視カメラのみで眩しさを考慮した居眠り判定を行うことができないという課題があった。【０００６】
この発明は、上記のような課題を解決するためになされたもので、撮像装置により撮像された画像のみを用いて眩しさを考慮した居眠り判定を行うことを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る乗員監視装置は、露光時間を調整する自動露光調整機能を有する撮像装置により撮像された画像を用いて、車両に搭乗している乗員の眼を検出して眼の開眼度を判定する開眼度判定部と、開眼度判定部により判定された眼の開眼度が予め定められた開眼度閾値未満である場合に眼が閉じていると判定する開閉眼判定部と、自動露光調整機能が有効であって開閉眼判定部により眼が閉じていると判定された場合、自動露光調整機能を無効にする露光切替部と、露光切替部により自動露光調整機能が無効にされた後に撮像装置により撮像された画像を用いて、眼の周辺の輝度を検出する輝度検出部と、開閉眼判定部により眼が閉じていると判定された場合、輝度検出部により検出された眼の周辺の輝度が予め定められた輝度閾値未満であれば乗員が居眠り状態であると判定し、輝度閾値以上であれば乗員が覚醒状態であると判定する眠気判定部とを備えるものである。
【発明の効果】
【０００８】
この発明によれば、撮像画像を用いて乗員の眼が閉じていると判定した場合、撮像装置の自動露光調整機能を無効にし、自動露光調整機能が無効にされた撮像画像における眼の周辺の輝度に基づいて乗員が居眠り状態であるか覚醒状態であるかを判定するようにしたので、撮像装置により撮像された画像のみを用いて眩しさを考慮した居眠り判定を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１に係る乗員監視装置の構成例を示すブロック図である。
【図２】実施の形態１に係る乗員監視装置の動作例を示すフローチャートである。
【図３】実施の形態２に係る乗員監視装置の動作例を示すフローチャートである。
【図４】実施の形態３に係る乗員監視装置の動作例を示すフローチャートである。
【図５】実施の形態４に係る乗員監視装置の動作例を示すフローチャートである。
【図６】実施の形態５に係る乗員監視装置の動作例を示すフローチャートである。
【図７】図７Ａ及び図７Ｂは、各実施の形態に係る乗員監視装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る乗員監視装置１０の構成例を示すブロック図である。車両には、撮像装置１及び乗員監視装置１０が搭載され、撮像装置１及び乗員監視装置１０は電気的に接続される。
【００１１】
撮像装置１は、車両内を撮像する可視光カメラ又は赤外線カメラ等である。なお、撮像装置１が赤外線カメラである場合、この赤外線カメラは、車両内に赤外線を照射する赤外線光源（例えば、Ｉｎｆｒａｒｅｄ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）を有することが好ましい。
【００１２】
また、撮像装置１は、自動露光調整機能２を有する。自動露光調整機能２の有効化及び無効化は、乗員監視装置１０の露光切替部１３により切り替えられる。自動露光調整機能２が有効化された場合、自動露光調整機能２は、撮像画像の輝度平均値が予め定められた輝度になるよう、撮像素子の露光時間を調整する。自動露光調整機能２が無効化された場合、露光時間は予め定められた時間に固定される。
【００１３】
乗員監視装置１０は、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５を備える。
【００１４】
開眼度判定部１１は、自動露光調整機能２の有効時及び無効時に撮像された画像を取得する。開眼度判定部１１は、取得した画像を用いてエッジ検出処理等を行い、乗員の眼の位置、特に瞼の位置を検出する。そして、開眼度判定部１１は、検出した乗員の眼の位置、特に瞼の位置に基づいて、開眼度を判定する。開眼度の値が大きいほど眼が開いていることを示し、開眼度の値が小さいほど眼が閉じていることを示す。開眼度判定部１１は、画像、眼の位置及び開眼度の情報を開閉眼判定部１２へ出力する。
【００１５】
開閉眼判定部１２は、自動露光調整機能２の有効時及び無効時に開眼度判定部１１により判定された乗員の眼の開眼度と、予め定められた開眼度閾値とを比較する。開閉眼判定部１２は、開眼度が開眼度閾値未満である場合に眼が閉じていると判定し、開眼度が開眼度閾値以上である場合に眼が開いていると判定する。なお、開眼度閾値は、瞼が完全に閉じている状態のみを閉眼と判定する値であってもよいし、瞼が完全に閉じている状態に加えて瞼がわずかに開いている状態も閉眼と判定する値であってもよい。また、開眼度閾値は、自動露光調整機能２の有効時と無効時とで同じ値であってもよいし、異なる値であってもよい。開閉眼判定部１２は、画像、眼の位置及び開閉眼の判定結果の情報を、露光切替部１３、輝度検出部１４、及び眠気判定部１５へ出力する。
【００１６】
露光切替部１３は、撮像装置１の自動露光調整機能２の有効化及び無効化を切り替える。露光切替部１３は、後述の眠気判定部１５により乗員が覚醒状態であることが判定された場合、自動露光調整機能２を有効化する。一方、露光切替部１３は、自動露光調整機能２が有効である場合に、開閉眼判定部１２により乗員の眼が閉じていると判定された場合、自動露光調整機能２を無効化する。自動露光調整機能２が無効になることにより、撮像装置１が撮像する画像に基づいて乗員の顔にどれだけの光波が届いているのかを判定可能となり、乗員が太陽光等を眩しく感じているか否かを判定可能となる。露光切替部１３は、自動露光調整機能２の有効化及び無効化の切り替え情報を、輝度検出部１４へ出力する。
【００１７】
輝度検出部１４は、露光切替部１３により自動露光調整機能２が無効化された場合、自動露光調整機能２が無効の状態で撮像装置１により撮像された画像を用いて、乗員の眼の周辺の輝度を検出する。例えば、輝度検出部１４は、眼の位置を基準にした予め定められた範囲に含まれる画素の輝度平均値を検出する。輝度検出部１４は、検出した輝度の情報を眠気判定部１５へ出力する。
【００１８】
眠気判定部１５は、開閉眼判定部１２により乗員の眼が閉じていると判定された場合、輝度検出部１４により検出された眼の周辺の輝度と、予め定められた輝度閾値とを比較する。眠気判定部１５は、眼が閉じている場合、かつ、眼の周辺の輝度が輝度閾値未満である場合、乗員が居眠り状態であると判定する。一方、眠気判定部１５は、眼が閉じている場合、かつ、眼の周辺の輝度が輝度閾値以上である場合、乗員が太陽光等を眩しく感じて眼を閉じている可能性が高いため、乗員は覚醒状態であると判定する。眠気判定部１５は、眠気判定結果を露光切替部１３へ出力する。
【００１９】
以下では、車両に搭乗している乗員が運転者である場合を例に用いて、乗員監視装置１０の動作を説明する。
【００２０】
図２は、実施の形態１に係る乗員監視装置１０の動作例を示すフローチャートである。乗員監視装置１０は、例えば車両のエンジンがオンされている期間、図２のフローチャートに示される動作を繰り返す。
【００２１】
ステップＳＴ１１において、露光切替部１３は、撮像装置１の自動露光調整機能２を有効にする。これにより、撮像装置１は、運転者の顔の輝度に応じて露光時間を調整して撮像し、撮像した画像を乗員監視装置１０へ出力することになる。
【００２２】
ステップＳＴ１２において、開眼度判定部１１は、自動露光調整機能２の有効時に撮像された画像を用いて、この画像における運転者の眼の位置を検出する。そして、開眼度判定部１１は、検出結果に基づいて、運転者の眼の開眼度を判定する。
【００２３】
ステップＳＴ１３において、開閉眼判定部１２は、自動露光調整機能２の有効時における運転者の眼の開眼度が開眼度閾値未満である場合、即ち閉眼時（ステップＳＴ１３“ＹＥＳ”）、ステップＳＴ１４へ進む。一方、開閉眼判定部１２は、自動露光調整機能２の有効時における運転者の眼の開眼度が開眼度閾値以上である場合、即ち開眼時（ステップＳＴ１３“ＮＯ”）、ステップＳＴ２０へ進む。
【００２４】
ステップＳＴ１４において、露光切替部１３は、自動露光調整機能２の有効時において運転者の眼が閉じているため、自動露光調整機能２を無効化する。これにより、撮像装置１は、運転者の顔の輝度によらず一定の露光時間で撮像し、撮像した画像を乗員監視装置１０へ出力する。
【００２５】
ステップＳＴ１５において、開眼度判定部１１は、自動露光調整機能２の無効時に撮像された画像を用いて、この画像における運転者の眼の位置を検出する。そして、開眼度判定部１１は、検出結果に基づいて、運転者の眼の開眼度を判定する。
【００２６】
ステップＳＴ１６において、開閉眼判定部１２は、自動露光調整機能２の無効時における運転者の眼の開眼度が開眼度閾値未満である場合、即ち閉眼時（ステップＳＴ１６“ＹＥＳ”）、ステップＳＴ１７へ進む。一方、開閉眼判定部１２は、自動露光調整機能２の無効時における運転者の眼の開眼度が開眼度閾値以上である場合、即ち開眼時（ステップＳＴ１６“ＮＯ”）、ステップＳＴ１１へ戻る。
【００２７】
ステップＳＴ１７において、輝度検出部１４は、自動露光調整機能２の無効時に撮像された画像を用いて、運転者の眼の周辺の輝度を検出する。
【００２８】
ステップＳＴ１８において、眠気判定部１５は、自動露光調整機能２の無効時に撮像された画像における運転者の眼の周辺の輝度が輝度閾値未満である場合（ステップＳＴ１８“ＹＥＳ”）、ステップＳＴ１９へ進み、輝度閾値以上である場合（ステップＳＴ１８“ＮＯ”）、ステップＳＴ２０へ進む。
【００２９】
ステップＳＴ１９において、眠気判定部１５は、運転者が居眠り状態であると判定する。一方、ステップＳＴ２０において、眠気判定部１５は、運転者が覚醒状態であると判定する。
【００３０】
以上のように、実施の形態１に係る乗員監視装置１０は、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５を備える。開眼度判定部１１は、自動露光調整機能２を有する撮像装置１により撮像された画像を用いて、車両に搭乗している乗員の眼を検出して当該眼の開眼度を判定する。開閉眼判定部１２は、開眼度判定部１１により判定された眼の開眼度が開眼度閾値未満である場合に当該眼が閉じていると判定する。露光切替部１３は、自動露光調整機能２が有効であって開閉眼判定部１２により眼が閉じていると判定された場合、自動露光調整機能２を無効にする。輝度検出部１４は、露光切替部１３により自動露光調整機能２が無効にされた後に撮像装置１により撮像された画像を用いて、眼の周辺の輝度を検出する。眠気判定部１５は、開閉眼判定部１２により眼が閉じていると判定された場合、輝度検出部１４により検出された当該眼の周辺の輝度が輝度閾値未満であれば乗員が居眠り状態であると判定し、輝度閾値以上であれば乗員が覚醒状態であると判定する。上述したように、従来は、車外監視カメラ又は照度計により運転者へ向けて発せられる光波の光強度を検出しており、運転者監視カメラからの情報に加えて車外監視カメラ又は照度計からの情報が必要であった。これに対し、実施の形態１の乗員監視装置１０は、車両内を撮像する撮像装置１の画像から眩しさを考慮した居眠り判定を行うことができるため、車外監視カメラ又は照度計からの情報は必要ない。また、車外監視カメラでは乗員の眼に対してどれだけの光波が届いているかを精度よく検出することは困難と思われる。これに対し実施の形態１の乗員監視装置１０は、車両内を撮像する撮像装置１の画像を使用するため、乗員の眼の位置及び眼に届く光波の光強度を精度よく検出することができ、居眠り状態と覚醒状態とを精度よく判別することができる。
【００３１】
実施の形態２．
実施の形態２に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
【００３２】
図３は、実施の形態２に係る乗員監視装置１０の動作例を示すフローチャートである。図３のステップＳＴ１１〜ＳＴ１６，ＳＴ１９，ＳＴ２０は、図２のステップＳＴ１１〜ＳＴ１６，ＳＴ１９，ＳＴ２０と同じ動作である。
【００３３】
ステップＳＴ２７において、輝度検出部１４は、自動露光調整機能２の無効時に撮像装置１により撮像された時系列の複数の画像（例えば、数秒分の画像）を用いて、各画像における眼の周辺の輝度を検出する。そして、輝度検出部１４は、検出した輝度の時系列データから輝度の度数分布を作成する。
【００３４】
ステップＳＴ２８において、眠気判定部１５は、ステップＳＴ２７で輝度検出部１４により作成された輝度の度数分布の最頻値と、輝度閾値とを比較する。眠気判定部１５は、輝度の度数分布の最頻値が輝度閾値未満である場合（ステップＳＴ２８“ＹＥＳ”）、ステップＳＴ１９へ進み、輝度閾値以上である場合（ステップＳＴ２８“ＮＯ”）、ステップＳＴ２０へ進む。
【００３５】
以上のように、実施の形態２の輝度検出部１４は、眼の周辺の輝度の時系列データから輝度の度数分布を作成する。眠気判定部１５は、輝度検出部１４により作成された輝度の度数分布の最頻値が輝度閾値未満である場合に乗員が居眠り状態であり、輝度閾値以上である場合に乗員が覚醒状態であると判定する。これにより、眠気判定部１５は、眼周辺輝度の時間的なばらつきを考慮して、居眠り状態と覚醒状態とを精度よく判別することができる。
【００３６】
実施の形態３．
実施の形態３に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
【００３７】
図４は、実施の形態３に係る乗員監視装置１０の動作例を示すフローチャートである。図４のステップＳＴ１１，ＳＴ１２，ＳＴ１４，ＳＴ１５，ＳＴ１９，ＳＴ２０，ＳＴ２７，ＳＴ２８は、図３のステップＳＴ１１，ＳＴ１２，ＳＴ１４，ＳＴ１５，ＳＴ１９，ＳＴ２０，ＳＴ２７，ＳＴ２８と同じ動作である。
【００３８】
ステップＳＴ３３において、開閉眼判定部１２は、自動露光調整機能２の有効時にステップＳＴ１２で開眼度判定部１１により判定された開眼度と、開眼度閾値とを比較する。そして、開閉眼判定部１２は、開眼度が開眼度閾値未満である状態が、予め定められた時間（以下、「所定時間」と称する。）以上継続した場合（ステップＳＴ３３“ＹＥＳ”）、閉眼状態が維持されたと判定して、ステップＳＴ１４へ進む。一方、開閉眼判定部１２は、開眼度が開眼度閾値未満である状態が所定時間以上継続しなかった場合（ステップＳＴ３３“ＮＯ”）、開眼状態になったと判定して、ステップＳＴ２０へ進む。所定時間は、例えば、数秒である。
【００３９】
ステップＳＴ３６において、開閉眼判定部１２は、自動露光調整機能２の無効時にステップＳＴ１５で開眼度判定部１１により判定された開眼度と、開眼度閾値とを比較する。そして、開閉眼判定部１２は、開眼度が開眼度閾値未満である状態が、所定時間以上継続した場合（ステップＳＴ３６“ＹＥＳ”）、閉眼状態が維持されたと判定して、ステップＳＴ２７へ進む。一方、開閉眼判定部１２は、開眼度が開眼度閾値未満である状態が所定時間以上継続しなかった場合（ステップＳＴ３６“ＮＯ”）、開眼状態になったと判定して、ステップＳＴ１１へ戻る。
【００４０】
以上のように、実施の形態３の開閉眼判定部１２は、眼の開眼度が開眼度閾値未満である状態が所定時間継続した場合、眼が閉じていると判定する。これにより、露光切替部１３は、開眼度の時間的なばらつきを考慮して、自動露光調整機能２の有効化及び無効化を切り替えることができる。
【００４１】
なお、図４の例では、実施の形態２と実施の形態３とを組み合わせたが、実施の形態１と実施の形態３とを組み合わせてもよい。
【００４２】
実施の形態４．
実施の形態４に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
【００４３】
図５は、実施の形態４に係る乗員監視装置１０の動作例を示すフローチャートである。図５のステップＳＴ１１，ＳＴ１４，ＳＴ１５，ＳＴ１９，ＳＴ２０，ＳＴ２７，ＳＴ２８，ＳＴ３６は、図４のステップステップＳＴ１１，ＳＴ１４，ＳＴ１５，ＳＴ１９，ＳＴ２０，ＳＴ２７，ＳＴ２８，ＳＴ３６と同じ動作である。
【００４４】
ステップＳＴ４２において、開眼度判定部１１は、自動露光調整機能２の有効時に撮像装置１により撮像された時系列の複数の画像（例えば、数秒分の画像）を用いて、各画像における運転者の眼の位置を検出する。そして、開眼度判定部１１は、検出した開眼度の時系列データから開眼度の度数分布を作成する。
【００４５】
ステップＳＴ４３において、開閉眼判定部１２は、ステップＳＴ４２で開眼度判定部１１により作成された開眼度の度数分布の最頻値と、開眼度閾値とを比較する。開閉眼判定部１２は、開眼度の度数分布の最頻値が開眼度閾値未満である場合（ステップＳＴ４３“ＹＥＳ”）、ステップＳＴ１４へ進み、開眼度閾値以上である場合（ステップＳＴ４３“ＮＯ”）、ステップＳＴ２０へ進む。
【００４６】
以上のように、実施の形態４に係る開眼度判定部１１は、眼の開眼度の時系列データから開眼度の度数分布を作成する。開閉眼判定部１２は、開眼度判定部１１により作成された開眼度の度数分布の最頻値が開眼度閾値未満である場合に眼が閉じていると判定する。これにより、露光切替部１３は、開眼度の時間的なばらつきを考慮して、自動露光調整機能２を無効化することができる。
【００４７】
なお、図５の例において、乗員監視装置１０は、自動露光調整機能２を無効化する判定（ステップＳＴ４３）に開眼度の度数分布を使用し、自動露光調整機能２を有効化する判定（ステップＳＴ３６）に閉眼状態の継続時間を使用したが、この構成に限定されるものではない。例えば、乗員監視装置１０は、自動露光調整機能２を無効化する判定に閉眼状態の継続時間を使用し、自動露光調整機能２を有効化する判定に開眼度の度数分布を使用してもよい。また、例えば、乗員監視装置１０は、自動露光調整機能２を無効化する判定及び有効化する判定に、開眼度の度数分布を使用してもよい。また、例えば、乗員監視装置１０は、自動露光調整機能２を無効化する判定及び有効化する判定に、閉眼状態の継続時間を使用してもよい。
【００４８】
また、図５の例では、実施の形態３と実施の形態４とを組み合わせたが、実施の形態１又は実施の形態２の少なくとも一方と実施の形態４とを組み合わせてもよい。
【００４９】
実施の形態５．
実施の形態５に係る乗員監視装置１０の構成は、実施の形態１の図１に示された構成と図面上は同一であるため、以下では図１を援用する。
【００５０】
図６は、実施の形態５に係る乗員監視装置１０の動作例を示すフローチャートである。図６のステップＳＴ５１以外のステップは、図５のフローチャートに示される動作と同じである。
【００５１】
ステップＳＴ５１において、開眼度判定部１１は、自動露光調整機能２の無効時に撮像装置１により撮像された画像を用いて、この画像における運転者の眼の位置を検出する。このとき、開眼度判定部１１は、眼の位置が検出できた場合（ステップＳＴ５１“ＹＥＳ”）、ステップＳＴ１５へ進み、眼の位置が検出できなかった場合（ステップＳＴ５１“ＮＯ”）、ステップＳＴ１１へ戻る。即ち、開眼度判定部１１において眼が検出できなかった場合、眠気判定部１５は、運転者が居眠り状態であるか覚醒状態であるかの判定を行わないことになる。
【００５２】
開眼度判定部１１において眼の位置が検出できない場合とは、太陽光等の影響で眼周辺輝度が高く白飛びした状態となったために眼の位置を検出できない場合、車両内の光強度又は赤外線光源の光量が足りず眼周辺輝度が低く黒潰れした状態となったために眼の位置を検出できない場合、及び乗員の眼が手等で隠されているために眼の位置を検出できない場合等である。
【００５３】
以上のように、実施の形態５の眠気判定部１５は、開眼度判定部１１において乗員の眼が検出できなかった場合、乗員が居眠り状態であるか覚醒状態であるかの判定を行わない。これにより、眠気判定部１５は、誤判定を防止することができる。
【００５４】
なお、図６の例では、実施の形態４と実施の形態５とを組み合わせたが、実施の形態１、実施の形態２又は実施の形態３のうちの少なくとも１つと実施の形態５とを組み合わせてもよい。
【００５５】
最後に、各実施の形態に係る乗員監視装置１０のハードウェア構成を説明する。
図７Ａ及び図７Ｂは、各実施の形態に係る乗員監視装置１０のハードウェア構成例を示す図である。乗員監視装置１０における開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能は、処理回路により実現される。即ち、乗員監視装置１０は、上記機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１００であってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。
【００５６】
図７Ａに示されるように、処理回路が専用のハードウェアである場合、処理回路１００は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能を複数の処理回路１００で実現してもよいし、各部の機能をまとめて１つの処理回路１００で実現してもよい。
【００５７】
図７Ｂに示されるように、処理回路がプロセッサ１０１である場合、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、乗員監視装置１０は、プロセッサ１０１により実行されるときに、図２等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ１０２を備える。また、このプログラムは、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の手順又は方法をコンピュータに実行させるものであるとも言える。
【００５８】
ここで、プロセッサ１０１とは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
メモリ１０２は、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等の光ディスクであってもよい。
【００５９】
なお、開眼度判定部１１、開閉眼判定部１２、露光切替部１３、輝度検出部１４、及び眠気判定部１５の機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、乗員監視装置１０における処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の機能を実現することができる。
【００６０】
なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
【産業上の利用可能性】
【００６１】
この発明に係る乗員監視装置は、車両内を撮像する撮像装置からの画像を用いて乗員の居眠り状態を判定するようにしたので、運転者の状態を監視する運転者監視装置等に用いるのに適している。
【符号の説明】
【００６２】
１  撮像装置、２  自動露光調整機能、１０  乗員監視装置、１１  開眼度判定部、１２  開閉眼判定部、１３  露光切替部、１４  輝度検出部、１５  眠気判定部、１００  処理回路、１０１  プロセッサ、１０２  メモリ。
【図１】
2019215879.tif 000003
【図２】
2019215879.tif 000004
【図３】
2019215879.tif 000005
【図４】
2019215879.tif 000006
【図５】
2019215879.tif 000007
【図６】
2019215879.tif 000008
【図７】
2019215879.tif 000009
【国際調査報告】
2019215879.tif 000010
2019215879.tif 000011