(57)【要約】【課題】ＣＰＵの処理負荷を抑えつつ、運転者の顔色の情報および車両走行中の運転者の状態を精度よく検出することができる運転者状態判定装置を提供する。【解決手段】運転者の顔を撮像する可視光カメラの撮像した可視光画像を取得する可視光画像取得部と、可視光画像に基づいて運転者の状態を判定する第１の状態判定部と、運転者の顔を撮像する近赤外線カメラの撮像した近赤外線画像を取得する近赤外線画像取得部と、近赤外線画像に基づいて運転者の状態を判定する第２の状態判定部と、車両が走行状態か停車状態かを判定する車両走行状態判定部と、車両が停車状態の場合は、可視光カメラの電源をＯＮ、近赤外線カメラの電源をＯＦＦの状態にし、車両が走行状態の場合は、可視光カメラをＯＦＦ、近赤外線カメラの電源をＯＮの状態にする電源制御部と、を備えた。【選択図】図１
2020152133.tif 000002
【特許請求の範囲】
【請求項１】
運転者の顔を撮像する可視光カメラの撮像した可視光画像を取得する可視光画像取得部と、
前記可視光画像に基づいて前記運転者の状態を判定する第１の状態判定部と、
前記運転者の顔を撮像する近赤外線カメラの撮像した近赤外線画像を取得する近赤外線画像取得部と、
前記近赤外線画像に基づいて前記運転者の状態を判定する第２の状態判定部と、
車両が走行状態か停車状態かを判定する車両走行状態判定部と、
前記車両が停車状態の場合は、前記可視光カメラの電源をＯＮ、前記近赤外線カメラの電源をＯＦＦの状態にし、前記車両が走行状態の場合は、前記可視光カメラの電源をＯＦＦ、前記近赤外線カメラの電源をＯＮの状態にする電源制御部と、
を備える運転者状態判定装置。
【請求項２】
前記可視光画像取得部は前記可視光画像の平均輝度を取得し、
前記電制御部は、前記平均輝度が予め定められた輝度以下の場合、前記車両のルームランプを点灯させる請求項１記載の運転者状態判定装置。
【請求項３】
前記電源制御部は、前記車両が走行状態となった場合、前記ルームランプを消灯させる請求項２記載の運転者状態判定装置。
【請求項４】
前記第１の状態判定部は、前記運転者の飲酒状態を判定し、前記第２の状態判定部は、前記運転者の居眠り状態、脇見状態および運転不能状態の内少なくとも１つを判定する請求項１記載の運転者状態判定装置。
【請求項５】
前記車両走行状態判定部は、シフトポジションがパーキングの時に停車状態、シフトポジションがパーキング以外の時に走行状態と判定する請求項１記載の運転者状態判定装置。
【請求項６】
運転者の顔を撮像する可視光カメラの撮像した可視光画像を取得するステップと、
前記可視光画像に基づいて前記運転者の状態を判定するステップと、
前記運転者の顔を撮像する近赤外線カメラの撮像した近赤外線画像を取得するステップと、
前記近赤外線画像に基づいて前記運転者の状態を判定するステップと、
車両が走行状態か停車状態かを判定するステップと、
前記車両が停車状態の場合は、前記可視光カメラの電源をＯＮ、前記近赤外線カメラの電源をＯＦＦの状態にし、前記車両が走行状態の場合は、前記可視光カメラをＯＦＦ、前記近赤外線カメラの電源をＯＮの状態にするステップと、
を備える運転者状態判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は撮像装置の撮像した画像から運転者の状態を判定する運転者状態判定装置及び運転者状態判定方法に関するものである。
【背景技術】
【０００２】
運転者の顔色の情報を取得し、取得した顔色の情報から運転者が飲酒状態であるかを判定する飲酒運転防止装置が提案されている。 (下記特許文献1)。
【先行技術文献】
【特許文献】
【０００３】
特開２０１０−５２６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来例のように、運転者の顔色の情報を取得するためには可視光カメラを用いる必要がある。しかし、走行中の車両では、外光による車両内部の輝度の変化は非常に大きいため、可視光カメラでは、撮像した画像に頻繁に白飛び、黒飛びが発生してしまう。従って、居眠り状態や脇見状態など車両が走行中に取得したい運転者の状態を精度よく検出し続けることは困難である。
【０００５】
一方、近赤外線カメラなど、非可視光の光を検出する非可視光カメラを用いる場合、外光の影響は受けにくいため、車両走行中に運転者の状態を精度よく検出できるものの、運転者の顔色の情報は取得することができない。
【０００６】
運転者の顔色の情報を取得しつつ、走行中の車両で運転者の状態を精度よく判定するためには、可視光カメラと非可視光カメラの両方を用い、可視光カメラと非可視光カメラの両方で撮像することが考えられる。しかし、可視光カメラと非可視光カメラの撮像した両方の画像を常に画像処理する場合、ＣＰＵの処理負荷は非常に高いものになる。
【０００７】
この発明は上記した問題点を解決するためになされたものであり、可視光カメラと非可視光カメラのＯＮ／ＯＦＦを適切に切り替えることで、ＣＰＵの処理負荷を抑えつつ、運転者の顔色の情報および車両走行中の運転者の状態を精度よく検出することができる運転者状態判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係わる運転者状態判定装置は、運転者の顔を撮像する可視光カメラの撮像した可視光画像を取得する可視光画像取得部と、可視光画像に基づいて運転者の状態を判定する第１の状態判定部と、運転者の顔を撮像する近赤外線カメラの撮像した近赤外線画像を取得する近赤外線画像取得部と、近赤外線画像に基づいて運転者の状態を判定する第２の状態判定部と、車両が走行状態か停車状態かを判定する車両走行状態判定部と、車両が停車状態の場合は、可視光カメラの電源をＯＮ、近赤外線カメラの電源をＯＦＦの状態にし、車両が走行状態の場合は、可視光カメラをＯＦＦ、近赤外線カメラの電源をＯＮの状態にする電源制御部と、を備える。
【発明の効果】
【０００９】
この発明の運転者状態判定装置は、可視光カメラと近赤外線カメラのＯＮ／ＯＦＦを適切に切り替えることで、ＣＰＵの処理負荷を抑えつつ、運転者の顔色の情報および車両走行中の運転者の状態を精度よく検出することができる。
【図面の簡単な説明】
【００１０】
【図１】この発明の実施の形態1に係わる運転者状態判定装置１００の構成を示すブロック図である。
【図２】図２Ａ及び図２Ｂは、この発明の実施の形態に係わる運転者状態判定装置１００のハードウェア構成例を示す図である。
【図３】この発明の実施の形態１に係わる運転者状態判定装置１００の動作を表すフローチャートである。
【図４】この発明の実施の形態１に係わる運転者状態判定装置１００のルームランプ点灯処理の動作を表すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、この発明を実施するための形態について、図を参照して説明する。なお、各図中の同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。
【００１２】
実施の形態1
図１は本実施の形態1に係わる運転者状態判定装置１００の構成を示すブロック図である。
運転者状態判定装置１００は、可視光画像取得部１、第１の状態判定部２、近赤外画像取得部３、第２の状態判定部４、車両走行状態判定部５および電源制御部６を備える。
図１に示すように、可視光画像取得部１は可視光カメラ１０、近赤外画像取得部３は近赤外線カメラ２０に接続されており、近赤外線カメラ２０には近赤外線ＬＥＤ２１が接続されている。また、電源制御部６は、可視光カメラ１０、近赤外線カメラ２０およびルームランプ３０に接続されている。
【００１３】
可視光カメラ１０は、可視光を撮像可能なＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ   Ｄｅｖｉｃｅ）カメラによって構成され、可視光を撮像する。
近赤外線カメラ２０は、近赤外線を撮像可能なＣＣＤカメラによって構成され、近赤外線ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｓｓｉｏｎ  Ｄｉｏｄｅ）２１から発光された近赤外線を撮像する。近赤外線カメラ２０および近赤外線ＬＥＤ２１は一つのモジュールとなっていてもよいし、分離されていてもよい。また、近赤外線ＬＥＤ２１は、近赤外線カメラ２０の撮像タイミングに同期して発光するものとする。
可視光カメラ１０および近赤外線カメラ２０は、ハンドルコラムやセンターコンソール、ダッシュボード、ルームミラー等に設けられており、少なくとも運転者の顔が撮像範囲に含まれる角度で設置されている。その際、助手席の乗員や後部座席の乗員も同時に撮像できるように、設置位置および画角等が調整されてもよい。
【００１４】
可視光画像取得部１は、可視光カメラ１０が撮像した可視光画像を可視光カメラ１０から取得し、第１の状態判定部２に可視光画像を出力する。
また、可視光画像取得部１は、取得した可視光画像の平均輝度を算出し、当該平均輝度が閾値以下の場合、電源制御部６に、可視光画像の平均輝度が低い旨の通知を行う。
第１の状態判定部２は、可視光画像取得部１から可視光画像が出力された場合、当該可視光画像から運転者の顔色の情報を取得し、当該運転者の顔色の情報に基づいて運転者の飲酒状態を判定する。なお、第１の状態判定部２は、運転者が飲酒状態と判定した場合、不図示の車両制御部に運転者が飲酒状態である旨を出力し、車両が走行できないようにロックをかけさせる。このようにすることで、運転者が飲酒状態の場合に、運転者が車両を運転することが不可能となるので。運転者が飲酒状態のまま車両を運転してしまうことを防ぐことが可能となる。
【００１５】
具体的には、第１の状態判定部２は、不図示の記憶部に記憶されている運転者の通常の顔色の情報と可視光画像から取得した運転者の顔色の情報を比較し、可視光画像から取得した運転者の顔色が通常の運転者の顔色よりも閾値以上赤みがかっていると判定された場合、運転者が飲酒状態であると判定する。
第１の状態判定部２が判定する運転者の状態は、運転者の顔色を取得できることで、より高精度に判定できる状態であり、飲酒状態判定以外にも、例えば、化粧状態判定、個人判定（個人認証）等を行ってもよい。
【００１６】
近赤外線画像取得部３は、近赤外線カメラ２０が撮像した近赤外線画像を近赤外線カメラ２０から取得し、当該近赤外線画像を第２の状態判定部４に出力する。
第２の状態判定部４は、近赤外線画像取得部３から近赤外線画像を受信した場合、当該近赤外線画像から運転者の目の開眼度、顔向き等、色の情報が不要な情報を取得し、取得した目の開眼度、顔向き等に基づいて運転者の覚醒度の低下状態（居眠り状態、運転不能状態等）や脇見状態を判定する。なお、第２の状態判定部４は、運転者が覚醒度の低下状態または脇見状態にあると判定した場合、不図示の警報装置に警報を出力させるように制御する。このようにすることで、運転者が覚醒度の低下状態または脇見状態にある場合に、運転者を正常な状態に戻るように促すことが可能となる。
【００１７】
車両走行状態判定部５は、不図示のＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）等から、シフトポジションの情報を取得し、車両が停車状態か走行状態かを判定する。車両走行状態判定部５は、車両走行状態の判定結果を電源制御部６に出力する。
なお、車両走行状態判定部５は、シフトポジションがパーキングの時には車両が停車状態、シフトポジションがドライブ、リバースまたはニュートラルの時には車両が走行状態と判定する。
【００１８】
電源制御部６は、車両走行状態判定部５が停車状態であると判定した場合、可視光カメラ１０の電源をＯＮ、近赤外線カメラ２０の電源をＯＦＦの状態にする。一方、車両走行状態判定部５が走行状態であると判定した場合、可視光カメラ１０の電源をＯＦＦ、近赤外線カメラ２０の電源をＯＮの状態にする。
【００１９】
つまり、車両が停車時には、可視光カメラ１０で運転者を撮像し、撮像した可視光画像から運転者の顔色の情報を取得する。そして、取得した顔色情報から飲酒状態を判定する。
一方、車両が走行中には、近赤外線カメラ２０で運転者を撮像し、撮像した近赤外線画像から運転者の目の開眼度や顔向き等、色の情報が不要な情報を取得する。そして、取得した運転者の目の開眼度や顔向き等に基づいて運転者の覚醒度の低下状態や脇見状態を判定する。
このように、車両が停車中か走行中かに応じて、撮像するカメラを切り替えることによって、ＣＰＵの処理負荷を抑えつつ、運転者の顔色の情報および車両走行中の運転者の状態を精度よく検出することができる。
【００２０】
また、電源制御部６は、可視光画像取得部１から可視光画像の平均輝度が低い旨の通知が行われた場合、車両のルームランプ３０を点灯させる。このようにすることで、夜間での撮像時など、車内が暗く、運転者の顔色の情報をうまく取得できない場合に、ルームランプで車内を照らすことで、車内を明るくすることが可能となり、精度よく運転者の顔色の情報を取得することが可能となる。
また、予め車内に備えられているルームランプ３０を可視光カメラ１０の光源として用いることで、別途可視光カメラ用の光源を備えることが不要となり、コストを削減することが可能となる。
なお、電源制御部６は、車両が走行状態となった場合に、ルームランプ３０が点灯しているか否かを判定し、ルームランプ３０が点灯していると判定した場合は、ルームランプ３０を消灯させる。このようにすることで、近赤外線カメラ２０での撮像時に、ルームランプ３０の光がノイズとして乗ってしまうのを抑制することができる。
【００２１】
次に、運転者状態判定装置１００のハードウェア構成例を説明する。
図２Ａ及び図２Ｂは、運転者状態判定装置１００のハードウェア構成例を示す図である。
運転者状態判定装置１００における可視光画像取得部１、第１の状態判定部２、近赤外画像取得部３、第２の状態判定部４、車両走行状態判定部５及び電源制御部６の各機能は、処理回路によって実現される。即ち、運転者状態判定装置１００は上記各機能を実現するための処理回路を備える。当該処理回路は、図２Ａに示すように専用のハードウェアである処理回路２００ａであってもよいし、図２Ｂに示すようにメモリ２００ｃに格納されているプログラムを実行するプロセッサ２００ｂであってもよい。
【００２２】
図２Ａに示すように、可視光画像取得部１、第１の状態判定部２、近赤外画像取得部３、第２の状態判定部４、車両走行状態判定部５及び電源制御部６が専用のハードウェアである場合、処理回路２００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。可視光画像取得部１、第１の状態判定部２、近赤外画像取得部３、第２の状態判定部４、車両走行状態判定部５及び電源制御部６の各部の機能をそれぞれ処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２３】
図２Ｂに示すように、可視光画像取得部１、第１の状態判定部２、近赤外画像取得部３、第２の状態判定部４、車両走行状態判定部５及び電源制御部６がプロセッサ２００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ２００ｃに格納される。プロセッサ２００ｂは、メモリ２００ｃに記憶されたプログラムを読み出して実行することにより、可視光画像取得部１、第１の状態判定部２、近赤外画像取得部３、第２の状態判定部４、車両走行状態判定部５及び電源制御部６の各機能を実現する。即ち、可視光画像取得部１、第１の状態判定部２、近赤外画像取得部３、第２の状態判定部４、車両走行状態判定部５及び電源制御部６は、プロセッサ２００ｂにより実行されるときに、後述する図３および図４に示す各ステップが結果的に実行されることになる。また、これらのプログラムは、可視光画像取得部１、第１の状態判定部２、近赤外画像取得部３、第２の状態判定部４、車両走行状態判定部５及び電源制御部６の手順または方法をコンピュータに実行させるものであるともいえる。
【００２４】
ここで、プロセッサ２００ｂとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのことである。メモリ２００ｃは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等の光ディスクであってもよい。
【００２５】
次に、運転者状態判定装置１００の動作について図３を用いて説明する。なお、図３のフローチヤートでは、可視光画像からは飲酒状態の判定を行い、近赤外線画像からは居眠り判定を行う動作を例にとって説明している。
図３は実施の形態１に係る運転者状態判定装置１００の動作を表すフローチャートである。
運転者状態判定装置１００の電源がＯＮになった場合、車両走行状態５は、車両が停車状態か否かを判定する（ステップＳ００１）。車両が停車状態の場合（ステップＳ００２：ＹＥＳ）、電源制御部５は、可視光カメラ１０の電源をＯＮ、近赤外線カメラ２０の電源をＯＦＦの状態にする（ステップＳ００２）。そして、可視光画像取得部１は、可視光カメラ１０の撮像した可視光画像を取得し（ステップＳ００３）、取得した画像に基づいて後述するルームランプ点灯処理（ステップＳ００４）を実施する。次に、第１の状態判定部２は、可視光画像から運転者の顔色を検出し、顔色に基づいて運転者が飲酒状態を判定する（Ｓ００５）。そして、運転者の飲酒状態の判定が終了した場合、ステップ００１の判定に戻る。
【００２６】
一方、車両が走行状態の場合（ステップＳ００１：ＮＯ）、電源制御部５は、ルームランプ３０が点灯しているか否かを判定し（ステップＳ００６）、ルームランプ３０が点灯している場合（ステップＳ００６：ＹＥＳ）、ルームランプ３０を消灯し（ステップＳ００７）、可視光カメラ１０の電源をＯＦＦ、近赤外線カメラ２０の電源をＯＮの状態にする（ステップＳ００８）。一方、ルームランプ３０が消灯している場合（ステップＳ００６：ＮＯ）、ステップＳ００７をスキップしステップ００８の処理を実行する、
次に、近赤外線画像取得部３は、近赤外線カメラ２０の撮像した近赤外線画像を取得し（Ｓ００９）、第２の状態判定部４は、近赤外線画像から運転者の居眠り状態を判定する（ステップＳ０１０）。そして、居眠り判定が終了した場合、ステップＳ００１の判定に戻る。
【００２７】
次に、ルームランプ点灯処理の動作について、図４を用いて説明する。
図４は、実施の形態１に係わる運転者状態判定装置１００のルームランプ点灯処理の動作を表すフローチャートである。
可視光画像取得部１がステップＳ００２で可視光画像を取得した場合、可視光画像取得部１は、可視光画像の平均輝度を算出する（ステップＳ１０１）。可視光画像取得部１は、ステップＳ１０１で算出した平均輝度が閾値以下か否かを判定し（ステップＳ１０２）、平均輝度が閾値以下の場合、電源制御部６は車両に備えられているルームランプの電源をＯＮにし（Ｓ１０３）、再度可視光画像を取得する（ステップＳ１０４）。そして処理を終了する。一方、平均輝度が閾値より高い場合（ステップＳ１０２：ＮＯ）、ステップＳ１０３およびステップＳ１０４をスキップして、処理を終了する。
【００２８】
以上のように、実施の形態１によれば、運転者の顔を撮像する可視光カメラ１０の撮像した可視光画像を取得する可視光画像取得部１と、可視光画像に基づいて運転者の状態を判定する第１の状態判定部２と、運転者の顔を撮像する近赤外線カメラ２０の撮像した近赤外線画像を取得する近赤外線画像取得部３と、近赤外線画像に基づいて運転者の状態を判定する第２の状態判定部４と、車両が走行状態か停車状態かを判定する車両走行状態判定部５と、車両が停車状態の場合は、可視光カメラ１０の電源をＯＮ、近赤外線カメラ２０の電源をＯＦＦの状態にし、車両が走行状態の場合は、可視光カメラ１０をＯＦＦ、近赤外線カメラ２０の電源をＯＮの状態にする電源制御部６と、を備える構成としたので、ＣＰＵの処理負荷を抑えつつ、運転者の顔色の情報および車両走行中の運転者の状態を精度よく検出することができる。
【符号の説明】
【００２９】
１００  運転者状態判定装置、１  可視光画像取得部、２  第１の状態判定部  、３  近赤外線画像取得部、４  第２の状態判定部、５ 車両走行状態判定部、６  電源制御部、１０  可視光カメラ、２０  近赤外線カメラ、２１  近赤外線ＬＥＤ、３０  ルームランプ、２００ａ  処理回路、２００ｂ  プロセッサ、２００ｃ  メモリ  
【図１】
2020152133.tif 000003
【図２】
2020152133.tif 000004
【図３】
2020152133.tif 000005
【図４】
2020152133.tif 000006