(57)【要約】【課題】運転者を認識する精度の低下を抑制する。【解決手段】システム制御部６は、車両の運転席に座っている運転者の顔ＤＦを連続して撮影するカメラ２から、カメラ２が撮影した撮影画像を示す画像データを取得する。システム制御部６は、取得された画像データにより示される撮影画像において、運転者の顔が写っている顔領域を含むようにして、認識範囲を設定する。システム制御部６は、車両で発生する振動の大きさを検出する振動センサ４から、振動の大きさを示す振動電圧信号を取得する。システム制御部６は、取得した振動電圧信号により示される振動の大きさに応じて、設定された認識範囲を、振動センサ４が振動を検出する前よりも拡張する。【選択図】図１
2018136848.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転席に座っている運転者の顔を連続して撮影する撮影部（２）から、前記撮影部が撮影した撮影画像を示す画像データを取得するように構成された画像取得部（Ｓ２１０）と、
前記画像取得部により取得された前記画像データにより示される前記撮影画像において、前記運転者の顔が写っている顔領域を含むようにして、前記運転者を監視するための監視領域を設定するように構成された領域設定部（Ｓ３３０）と、
前記車両で発生する振動の大きさを検出する振動検出部（４）から、前記振動の大きさを示す振動量情報を取得するように構成された振動取得部（Ｓ１０）と、
前記振動取得部が取得した前記振動量情報により示される前記振動の大きさに応じて、前記領域設定部により設定された前記監視領域を、前記振動検出部が前記振動を検出する前よりも拡張するように構成された拡張部（Ｓ２６０〜Ｓ２８０）と、
前記監視領域に含まれる前記運転者の顔を監視する監視処理を実行するように構成された監視部（Ｓ３１０，Ｓ３２０，Ｓ３４０，Ｓ３５０）と
を備える運転者監視装置（６）。
【請求項２】
請求項１に記載の運転者監視装置であって、
前記拡張部は、
予め設定された拡張方向に沿って、前記振動における前記拡張方向の成分の大きさに応じて、前記監視領域を拡張する運転者監視装置。
【請求項３】
請求項１または請求項２に記載の運転者監視装置であって、
予め設定されたサンプル期間内における前記振動の大きさの最大値と最小値との差分を振動変動量として算出し、前記振動変動量の時系列データについて、前記サンプル期間より長くなるように設定された平均算出期間内における前記振動変動量の移動平均を振動平均値として算出するように構成された平均算出部（Ｓ２０〜Ｓ６０）を備え、
前記拡張部は、
前記平均算出部により算出された前記振動平均値の大きさに応じて、前記監視領域を拡張する運転者監視装置。
【請求項４】
請求項１〜請求項３の何れか１項に記載の運転者監視装置であって、
前記拡張部は、
前記撮影部が前記運転者の顔に対して右側または左側に偏って設置されている場合に、前記監視領域の右側へ向かって拡張する右側拡張量と、前記監視領域の左側へ向かって拡張する左側拡張量とが異なるように、前記監視領域を拡張する運転者監視装置。
【請求項５】
請求項１〜請求項３の何れか１項に記載の運転者監視装置であって、
前記拡張部は、
前記撮影部が前記運転者の顔に対して上側または下側に偏って設置されている場合に、前記監視領域の上側へ向かって拡張する上側拡張量と、前記監視領域の下側へ向かって拡張する下側拡張量とが異なるように、前記監視領域を拡張する運転者監視装置。
【請求項６】
請求項１〜請求項５の何れか１項に記載の運転者監視装置であって、
前記監視部は、
前記監視処理の処理負荷が高いことを示す予め設定された高負荷条件が成立しているか否かを判断するように構成された高負荷判断部（Ｓ２９０）と、
前記高負荷条件が成立していると前記高負荷判断部が判断した場合に、前記監視領域において前記監視処理に利用する画素の数を低減するように構成された画素低減部（Ｓ３００）と
を備える運転者監視装置。
【請求項７】
請求項１〜請求項６の何れか１項に記載の運転者監視装置であって、
前記振動検出部は、前記運転席に設置される運転者監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両の運転者を監視する運転者監視装置に関する。
【背景技術】
【０００２】
特許文献１には、車両の運転者の顔をカメラで撮影し、車両の運転者の居眠りや脇見等を検出する運転者監視装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−６０７９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラにより撮影された撮影画像の全領域のうち、直近で撮影された撮影画像において運転者の顔が写っている領域の周囲のみを、運転者を監視する監視領域として限定することにより、処理負荷を低減する技術が知られている。
【０００５】
しかし、このように監視領域を限定すると、車両の走行中に振動が発生した場合に、監視領域から運転者の顔が外れてしまうことがある。このため、運転者を認識する精度が低下してしまう恐れがあった。
【０００６】
本開示は、運転者を認識する精度の低下を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の一態様は、画像取得部（Ｓ２１０）と、領域設定部（Ｓ３３０）と、振動取得部（Ｓ１０）と、拡張部（Ｓ２６０〜Ｓ２８０）と、監視部（Ｓ３１０，Ｓ３２０，Ｓ３４０，Ｓ３５０）とを備える運転者監視装置（６）である。
【０００８】
画像取得部は、車両の運転席に座っている運転者の顔を連続して撮影する撮影部（２）から、撮影部が撮影した撮影画像を示す画像データを取得するように構成される。
領域設定部は、画像取得部により取得された画像データにより示される撮影画像において、運転者の顔が写っている顔領域を含むようにして、運転者を監視するための監視領域を設定するように構成される。
【０００９】
振動取得部は、車両で発生する振動の大きさを検出する振動検出部（４）から、振動の大きさを示す振動量情報を取得するように構成される。
拡張部は、振動取得部が取得した振動量情報により示される振動の大きさに応じて、領域設定部により設定された監視領域を、振動検出部が振動を検出する前よりも拡張するように構成される。
【００１０】
監視部は、監視領域に含まれる運転者の顔を監視する監視処理を実行するように構成される。
このように構成された本開示の運転者監視装置は、車両で発生する振動の大きさに応じて監視領域を拡張する。このため、本開示の運転者監視装置は、振動により運転者の顔が揺れることに起因して運転者の顔が監視領域から外れてしまい、運転者の顔を認識できなくなるという事態の発生を抑制することができる。これにより、本開示の運転者監視装置は、運転者を認識する精度の低下を抑制することができる。
【００１１】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１２】
【図１】運転者監視システム１の構成を示すブロック図である。
【図２】カメラ２の撮影範囲ＳＲを示す図である。
【図３】調整量算出処理を示すフローチャートである。
【図４】撮影タイミングと、Ｘ軸方向振動量の時間変化とを示す図である。
【図５】運転者監視処理を示すフローチャートである。
【図６】Ｘ軸認識範囲およびＹ軸認識範囲の設定方法を示す図である。
【図７】Ｚ軸方向振動量に基づいて認識範囲を設定する方法を示す図である。
【図８】運転者を正面から撮影するようにカメラ２が設置されていることを示す図である。
【図９】運転者を斜めから撮影するようにカメラ２が設置されていることを示す図である。
【発明を実施するための形態】
【００１３】
以下に本開示の実施形態を図面とともに説明する。
本実施形態の運転者監視システム１は、車両に搭載され、図１に示すように、カメラ２と、フレームメモリ３と、振動センサ４と、スピーカ５と、システム制御部６とを備える。
【００１４】
カメラ２は、撮像部１１と、照射部１２と、画像生成部１３と、露出制御部１４と、コントローラ１５とを備える。カメラ２は、例えば、ステアリングコラムの上部に設置され、運転席に座っている乗員（すなわち、運転者）の顔ＤＦを撮影する。
【００１５】
カメラ２では、図２に示すように、矩形状の撮影範囲ＳＲが設定されている。撮影範囲ＳＲの長手方向をＸ軸方向とし、撮影範囲ＳＲの短手方向をＹ軸方向とする。カメラ２は、車両の車幅方向が撮影範囲ＳＲのＸ軸方向と平行となり、車両の車高方向が撮影範囲ＳＲのＹ軸方向と平行となるように設置される。
【００１６】
撮像部１１は、図１に示すように、光学素子部２１とイメージセンサ２２とを備える。光学素子部２１は、光を集める集光レンズと、予め定められた光の成分（例えば、近赤外領域の波長を有する光）が透過する光学フィルタとを少なくとも備える。イメージセンサ２２は、ＣＣＤまたはＣＭＯＳ素子を二次元的に配列することで構成された周知のものであり、光学素子部２１を介して入射した光の強度に応じた信号を出力する。
【００１７】
照射部１２は、上記光学フィルタを透過する成分を含んだ光を照射する一つ以上の光源を備え、運転者の顔に向けて光を照射する。なお、光源として、例えば発光ダイオードを用いることができる。
【００１８】
画像生成部１３は、イメージセンサ２２から出力された信号をアナログからデジタルへ変換することにより、カメラ２が撮影した二次元画像を示す画像データを生成する。
露出制御部１４は、撮像部１１および照射部１２の特性を表す各種パラメータに従い、画像生成部１３にて取得される信号（以下、画像信号）の平均的な信号強度が、予め設定されたダイナミックレンジの真ん中付近となるように、照射部１２による照射光の輝度（以下、光源輝度）と、イメージセンサ２２のシャッター時間（すなわち、露出時間）を設定する。
【００１９】
コントローラ１５は、露出制御部１４での設定に従った光源輝度およびシャッター時間となるように、撮像部１１および照射部１２を制御する。なお、コントローラ１５による撮像部１１および照射部１２の制御は、システム制御部６からコントローラ１５への指示に従って実行される。
【００２０】
フレームメモリ３は、システム制御部６が画像生成部１３から取得した画像データを一時的に記憶するメモリであり、複数画面分の画像データを記憶することが可能な記憶容量を有する。
【００２１】
振動センサ４は、例えば加速度センサであり、三次元直交座標系を構成するＸ軸、Ｙ軸およびＺ軸のそれぞれの方向に沿った振動の大きさを検出し、検出した振動の大きさに応じた電圧を示す電圧信号（以下、振動電圧信号）をシステム制御部６へ出力する。振動センサ４は、例えば、運転席の座部の内部において、運転者が運転席に座ったときに運転者の直下となるように設置される。また振動センサ４は、振動センサ４のＸ軸方向が車両の車幅方向と平行となり、振動センサ４のＺ軸方向が車両の進行方向と平行となるように設置される。これにより、振動センサ４のＹ軸方向は車両の車高方向と平行となる。
【００２２】
スピーカ５は、車室内に設置され、システム制御部６から入力された音声電気信号を音声に変換して出力する。
システム制御部６は、ＣＰＵ３１、ＲＯＭ３２およびＲＡＭ３３等を備えた周知のマイクロコンピュータを中心に構成された電子制御装置である。マイクロコンピュータの各種機能は、ＣＰＵ３１が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、ＲＯＭ３２が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、ＣＰＵが実行する機能の一部または全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。また、システム制御部６を構成するマイクロコンピュータの数は１つでも複数でもよい。
【００２３】
このように構成された運転者監視システム１において、システム制御部６は、運転者監視処理と、調整量算出処理を実行する。
まず、調整量算出処理の手順を説明する。調整量算出処理は、システム制御部６の動作中において、予め設定された算出実行時間が経過する毎に実行される処理である。この算出実行時間は、車両で発生する振動の周期より十分短い時間に設定される。
【００２４】
この調整量算出処理が実行されると、システム制御部６は、図３に示すように、まずＳ１０にて、振動センサ４から振動電圧信号を取得し、取得した振動電圧信号に基づいて、Ｘ軸、Ｙ軸およびＺ軸のそれぞれの方向に沿った振動量を算出する。以下、Ｘ軸、Ｙ軸およびＺ軸方向の振動量をそれぞれ、Ｘ軸方向振動量、Ｙ軸方向振動量およびＺ軸方向振動量という。さらにＳ１０では、システム制御部６は、算出したＸ軸方向振動量、Ｙ軸方向振動量およびＺ軸方向振動量をＲＡＭ３３に記憶する。
【００２５】
次にＳ２０にて、システム制御部６は、カメラ２に撮影を実行させる撮影タイミングが到来したか否かを判断する。撮影タイミングは、予め設定された撮影実行時間が経過する毎に到来する。
【００２６】
ここで、撮影タイミングが到来していない場合には、システム制御部６は、調整量算出処理を一旦終了する。
一方、撮影タイミングが到来した場合には、Ｓ３０にて、システム制御部６は、Ｘ軸方向振動量、Ｙ軸方向振動量およびＺ軸方向振動量のそれぞれについて、前回の撮影タイミングと今回の撮影タイミングとの間における最大値と最小値とを算出し、算出した最大値と最小値とをＲＡＭ３３に記憶する。なお、Ｓ２０で判断された撮影タイミングを今回の撮影タイミングとし、今回の撮影タイミングより１回前の撮影タイミングを前回の撮影タイミングとする。
【００２７】
そしてＳ４０にて、システム制御部６は、下式（１）により、Ｘ軸振動平均値Ｂｘａｖｅを算出する。
前回の撮影タイミングと今回の撮影タイミングとの間の時間範囲を第ｎ撮影時間範囲という。ｎは２以上の整数である。そして、今回の撮影タイミングを（ｎ＋１）回目の撮影タイミングとし、今回の撮影タイミングよりもｎ回前の撮影タイミングを１回目の撮影タイミングとする。
【００２８】
従って、第ｋ撮影時間範囲は、ｋ回前の撮影タイミングと（ｋ＋１）回前の撮影タイミングと間の時間範囲である。ｋは、１以上であり且つｎ以下である整数である。
下式（１）におけるＢｘ（ｋ）ｍａｘは、第ｋ撮影時間範囲におけるＸ軸方向振動量の最大値である。下式（１）におけるＢｘ（ｋ）ｍｉｎは、第ｋ撮影時間範囲におけるＸ軸方向振動量の最小値である。
【００２９】
図４は、１回目の撮影タイミングｔ１と２回目の撮影タイミングｔ２との間の時間範囲である第１撮影時間範囲における最大値Ｂｘ（１）ｍａｘと最小値Ｂｘ（１）ｍｉｎとを示している。同様に、図４は、２回目の撮影タイミングｔ２と３回目の撮影タイミングｔ３との間の時間範囲である第２撮影時間範囲における最大値Ｂｘ（２）ｍａｘと最小値Ｂｘ（２）ｍｉｎとを示している。また、図４は、３回目の撮影タイミングｔ３と４回目の撮影タイミングｔ４との間の時間範囲である第３撮影時間範囲における最大値Ｂｘ（３）ｍａｘと最小値Ｂｘ（３）ｍｉｎとを示している。
【００３０】
【数１】
2018136848.tif 000003
【００３１】
式（１）により算出されるＸ軸振動平均値Ｂｘａｖｅは、第１撮影時間範囲から第ｎ撮影時間範囲におけるＸ軸方向振動量の最大値と最小値との差の平均値である。但し、Ｘ軸方向振動量の最小値の符号は負である。このため、Ｘ軸振動平均値Ｂｘａｖｅは、第１撮影時間範囲から第ｎ撮影時間範囲におけるＸ軸方向振動量の最大値の絶対値と最小値の絶対値とを加算した加算値の平均値である。すなわち、Ｘ軸振動平均値Ｂｘａｖｅは、Ｘ軸方向振動量の最大値と最小値との差の時系列データについて、今回の撮影タイミングとｎ回前の撮影タイミングとの間における単純移動平均を算出することにより得られる値である。
【００３２】
Ｓ４０の処理が終了すると、図３に示すように、Ｓ５０にて、システム制御部６は、下式（２）により、Ｙ軸振動平均値Ｂｙａｖｅを算出する。
下式（２）におけるＢｙ（ｋ）ｍａｘは、第ｋ撮影時間範囲におけるＹ軸方向振動量の最大値である。下式（２）におけるＢｙ（ｋ）ｍｉｎは、第ｋ撮影時間範囲におけるＹ軸方向振動量の最小値である。式（２）により算出されるＹ軸振動平均値Ｂｙａｖｅは、第１撮影時間範囲から第ｎ撮影時間範囲におけるＹ軸方向振動量の最大値と最小値との差の平均値である。
【００３３】
【数２】
2018136848.tif 000004
【００３４】
さらにＳ６０にて、システム制御部６は、下式（３）により、Ｚ軸振動平均値Ｂｚａｖｅを算出し、調整量算出処理を一旦終了する。
下式（３）におけるＢｚ（ｋ）ｍａｘは、第ｋ撮影時間範囲におけるＺ軸方向振動量の最大値である。下式（３）におけるＢｚ（ｋ）ｍｉｎは、第ｋ撮影時間範囲におけるＺ軸方向振動量の最小値である。式（３）により算出されるＺ軸振動平均値Ｂｙａｖｅは、第１撮影時間範囲から第ｎ撮影時間範囲におけるＺ軸方向振動量の最大値と最小値との差の平均値である。
【００３５】
【数３】
2018136848.tif 000005
【００３６】
次に、運転者監視処理の手順を説明する。運転者監視処理は、システム制御部６の動作中において、上記の撮影実行時間が経過する毎に実行される処理である。
この運転者監視処理が実行されると、システム制御部６は、図５に示すように、まずＳ２１０にて、カメラ２に撮影を実行させ、撮影により生成された画像データをカメラ２から取得する。
【００３７】
そしてＳ２２０にて、システム制御部６は、後述するＳ３１０における直近の処理で、運転者の顔が写っている領域（以下、顔領域）を抽出することができたか否かを判断する。ここで、運転者の顔領域を抽出することができなかった場合には、システム制御部６は、Ｓ２３０にて、Ｓ２１０で取得した画像データが示す画像の全領域を認識範囲として設定し、Ｓ２９０に移行する。
【００３８】
一方、運転者の顔領域を抽出することができた場合には、システム制御部６は、Ｓ２４０にて、後述するＳ３３０における直近の処理で設定された認識範囲を認識範囲として設定する。
【００３９】
そしてＳ２５０にて、システム制御部６は、Ｓ１０の処理でＲＡＭ３３に直近で記憶されたＸ軸方向振動量、Ｙ軸方向振動量およびＺ軸方向振動量の少なくとも１つが、予め設定された設定判定値以上であるか否かを判断する。ここで、Ｘ軸方向振動量、Ｙ軸方向振動量およびＺ軸方向振動量の全てが設定判定値未満である場合には、システム制御部６は、Ｓ２９０に移行する。
【００４０】
一方、Ｘ軸方向振動量、Ｙ軸方向振動量およびＺ軸方向振動量の少なくとも１つが設定判定値以上である場合には、システム制御部６は、Ｓ２６０にて、Ｘ軸方向振動量に基づいて認識範囲を設定する。
【００４１】
具体的には、システム制御部６は、まず、下式（４）により、Ｘ軸画素調整量ＡＰｘを算出する。下式（４）のαは、Ｘ軸振動平均値Ｂｘａｖｅを、認識範囲を調整する画素数に変換するための調整係数である。
【００４２】
ＡＰｘ  ＝  α  ×  Ｂｘａｖｅ        ・・・（４）
そして図６に示すように、Ｓ２４０で設定された認識範囲におけるＸ軸認識範囲の下限値および上限値をそれぞれＸ軸下限値Ｐｘ１およびＸ軸上限値Ｐｘ２とする。また、調整後のＸ軸認識範囲の下限値および上限値をそれぞれＸ軸下限値Ｐｘ１’およびＸ軸上限値Ｐｘ２’とする。Ｘ軸認識範囲は、認識範囲におけるＸ軸方向の範囲である。
【００４３】
Ｓ２６０では、システム制御部６は、下式（５），（６）によりＸ軸下限値Ｐｘ１’およびＸ軸上限値Ｐｘ２’を設定することにより、Ｘ軸認識範囲を設定する。
Ｐｘ１’  ＝  Ｐｘ１  −  ＡＰｘ        ・・・（５）
Ｐｘ２’  ＝  Ｐｘ２  ＋  ＡＰｘ        ・・・（６）
Ｓ２６０の処理が終了すると、図５に示すように、システム制御部６は、Ｓ２７０にて、Ｙ軸方向振動量に基づいて認識範囲を設定する。
【００４４】
具体的には、システム制御部６は、まず、下式（７）により、Ｙ軸画素調整量ＡＰｙを算出する。下式（７）のβは、Ｙ軸振動平均値Ｂｙａｖｅを、認識範囲を調整する画素数に変換するための調整係数である。
【００４５】
ＡＰｙ  ＝  β  ×  Ｂｙａｖｅ        ・・・（７）
そして図６に示すように、Ｓ２４０で設定された認識範囲におけるＹ軸認識範囲の下限値および上限値をそれぞれＹ軸下限値Ｐｙ１およびＹ軸上限値Ｐｙ２とする。また、調整後のＹ軸認識範囲の下限値および上限値をそれぞれＸ軸下限値Ｐｙ１’およびＸ軸上限値Ｐｙ２’とする。Ｙ軸認識範囲は、認識範囲におけるＹ軸方向の範囲である。
【００４６】
Ｓ２７０では、システム制御部６は、下式（８），（９）によりＹ軸下限値Ｐｙ１’およびＹ軸上限値Ｐｙ２’を設定することにより、Ｙ軸認識範囲を設定する。
Ｐｙ１’  ＝  Ｐｙ１  −  ＡＰｙ        ・・・（８）
Ｐｙ２’  ＝  Ｐｙ２  ＋  ＡＰｙ        ・・・（９）
Ｓ２７０の処理が終了すると、図５に示すように、システム制御部６は、Ｓ２８０にて、Ｚ軸方向振動量に基づいて認識範囲を設定する。
【００４７】
具体的には、システム制御部６は、まず、下式（１０）により、Ｚ軸画素調整量ＡＰｚを算出する。下式（１０）のγは、Ｚ軸振動平均値Ｂｚａｖｅを、認識範囲を調整する画素数に変換するための調整係数である。
【００４８】
ＡＰｚ  ＝  γ  ×  Ｂｚａｖｅ        ・・・（１０）
そして図７に示すように、Ｓ２６０およびＳ２７０で調整された認識範囲における４つの頂点をそれぞれ、頂点ＶＸ１，ＶＸ２，ＶＸ３，ＶＸ４とする。なお、頂点ＶＸ１と頂点ＶＸ２とを結ぶ辺を下辺、頂点ＶＸ２と頂点ＶＸ３とを結ぶ辺を右辺、頂点ＶＸ３と頂点ＶＸ４とを結ぶ辺を上辺、頂点ＶＸ４と頂点ＶＸ１とを結ぶ辺を左辺とする。また、頂点ＶＸ１と頂点ＶＸ３とを結ぶ線分を対角線ＤＬ１、頂点ＶＸ２と頂点ＶＸ４とを結ぶ線分を対角線ＤＬ２とする。
【００４９】
そして、頂点ＶＸ１から対角線ＤＬ１と平行になるように認識範囲の外側へ向かって延び、且つ、長さがＡＰｚである線分を延長線ＥＬ１とする。頂点ＶＸ２から対角線ＤＬ２と平行になるように認識範囲の外側へ向かって延び、且つ、長さがＡＰｚである線分を延長線ＥＬ２とする。頂点ＶＸ３から対角線ＤＬ１と平行になるように認識範囲の外側へ向かって延び、且つ、長さがＡＰｚである線分を延長線ＥＬ３とする。頂点ＶＸ４から対角線ＤＬ２と平行になるように認識範囲の外側へ向かって延び、且つ、長さがＡＰｚである線分を延長線ＥＬ４とする。
【００５０】
また、延長線ＥＬ１の両端のうち、頂点ＶＸ１と異なる点を頂点ＶＸ１’とする。延長線ＥＬ２の両端のうち、頂点ＶＸ２と異なる点を頂点ＶＸ２’とする。延長線ＥＬ３の両端のうち、頂点ＶＸ３と異なる点を頂点ＶＸ３’とする。延長線ＥＬ４の両端のうち、頂点ＶＸ４と異なる点を頂点ＶＸ４’とする。
【００５１】
そしてＳ２８０では、システム制御部６は、頂点ＶＸ１’，ＶＸ２’ ＶＸ３’ ＶＸ４’を頂点とする矩形を認識範囲として設定する。
Ｓ２８０の処理が終了すると、図５に示すように、システム制御部６は、Ｓ２９０に移行する。そしてＳ２９０に移行すると、システム制御部６は、Ｓ２３０〜Ｓ２８０の処理で設定された認識範囲に含まれる画素の数が予め設定された低減判定値以上であるか否かを判断する。ここで、認識範囲に含まれる画素の数が低減判定値未満である場合には、システム制御部６は、Ｓ３１０に移行する。
【００５２】
一方、認識範囲に含まれる画素の数が低減判定値以上である場合には、システム制御部６は、Ｓ３００にて、認識範囲に含まれる画素のうち、後述するＳ３１０およびＳ３４０の処理で用いる画素（以下、認識対象画素）の数を低減し、Ｓ３１０に移行する。例えば、認識範囲は、Ｘ軸方向に沿って６４０個の画素を含み、Ｙ軸方向に沿って４８０個の画素を含んでいるとする。この場合に、システム制御部６は、認識範囲に含まれる画素を間引くことにより、例えば、Ｘ軸方向に沿って１２０個の認識対象画素を含み、Ｙ軸方向に沿って１２０個の認識対象画素を含むようにする。
【００５３】
そしてＳ３１０に移行すると、システム制御部６は、Ｓ２１０で取得した画像データが示す画像の全領域のうち、Ｓ２３０〜Ｓ２８０の処理で設定された認識範囲に含まれる領域に対して、周知の画像認識処理を行うことにより、運転者の顔領域を抽出する。
【００５４】
さらにＳ３２０にて、システム制御部６は、Ｓ３１０において運転者の顔領域を抽出することができたか否かを判断する。ここで、運転者の顔領域を抽出することができなかった場合には、システム制御部６は、運転者監視処理を一旦終了する。
【００５５】
一方、運転者の顔領域を抽出することができた場合には、システム制御部６は、Ｓ３３０にて、認識範囲を再設定する。具体的には、システム制御部６は、まず、Ｓ３１０で抽出した顔領域に外接する矩形領域を算出する。図２に示す矩形領域Ｒｒ１は、運転者の顔ＤＦの顔領域に外接する矩形領域である。次に、システム制御部６は、顔領域に外接する矩形領域を含む矩形領域を認識範囲として設定する。図２に示す矩形領域Ｒｒ２は、顔領域に外接する矩形領域Ｒｒ１を含む矩形領域である。
【００５６】
Ｓ３３０の処理が終了すると、図５に示すように、システム制御部６は、Ｓ３４０にて、抽出した顔領域の画像に対して画像解析を行うことで、運転者の顔の特徴量（例えば、眉、瞼および口の動き）を抽出する。
【００５７】
次にＳ３５０にて、システム制御部６は、Ｓ３４０で抽出した特徴量に基づいて、運転者の眠気の度合い（以下、眠気レベル）を判定する。具体的には、Ｓ３５０では、システム制御部６は、まず、ＲＯＭ３２に記憶されている表情設定テーブルを参照することにより、Ｓ３４０で抽出した特徴量の組み合わせに対応する表情パターンを決定する。表情設定テーブルには、運転者の顔の特徴量の組み合わせと、表情パターンとの対応関係が設定されている。Ｓ３５０では、システム制御部６は、さらに、ＲＯＭ３２に記憶されている眠気レベル設定テーブルを参照することにより、決定した表情パターンに対応する眠気レベルを決定する。眠気レベル設定テーブルには、表情パターンと、眠気レベルとの対応関係が設定されている。本実施形態では、眠気レベルは、０以上の整数で設定されている。そして、眠気レベルの数値が大きいほど、眠気が強いことを示している。
【００５８】
その後にＳ３６０にて、システム制御部６は、Ｓ３５０で判定された眠気レベルが予め設定された警告判定値以上であるか否かを判断する。ここで、眠気レベルが警告判定値未満であると判断した場合には、システム制御部６は、運転者監視処理を一旦終了する。一方、眠気レベルが警告判定値以上であると判断した場合には、システム制御部６は、Ｓ３７０にて、スピーカ５から警告音を出力させて、運転者監視処理を一旦終了する。
【００５９】
このように構成されたシステム制御部６は、まず、車両の運転席に座っている運転者の顔ＤＦを連続して撮影するカメラ２から、カメラ２が撮影した撮影画像を示す画像データを取得する。そしてシステム制御部６は、取得された画像データにより示される撮影画像において、運転者の顔が写っている顔領域を含むようにして、認識範囲を設定する。
【００６０】
またシステム制御部６は、車両で発生する振動の大きさを検出する振動センサ４から、振動の大きさを示す振動電圧信号を取得する。さらにシステム制御部６は、取得した振動電圧信号により示される振動の大きさに応じて、設定された認識範囲を、振動センサ４が振動を検出する前よりも拡張する。
【００６１】
そしてシステム制御部６は、認識範囲に含まれる運転者の顔に基づいて眠気レベルを判定する処理を実行する。
このようにシステム制御部６は、車両で発生する振動の大きさに応じて認識範囲を拡張する。このため、システム制御部６は、振動により運転者の顔が揺れることに起因して運転者の顔が認識範囲から外れてしまい、運転者の顔を認識できなくなるという事態の発生を抑制することができる。これにより、システム制御部６は、運転者を認識する精度の低下を抑制することができる。
【００６２】
またシステム制御部６は、認識範囲のＸ軸方向に沿って、振動におけるＸ軸方向の成分の大きさに応じて、認識範囲を拡張する。同様に、システム制御部６は、認識範囲のＹ軸方向に沿って、振動におけるＹ軸方向の成分の大きさに応じて、認識範囲を拡張する。これにより、システム制御部６は、振動に起因して運転者の顔が揺れて移動する方向に限定して認識範囲を拡張することができる。このため、システム制御部６は、振動に起因して運転者の顔が移動しない方向にまで無駄に認識範囲を拡張してしまうことを回避し、認識範囲内で運転者の顔領域を抽出する処理の処理負荷の増加を必要最低限に抑制することができる。
【００６３】
またシステム制御部６は、第ｋ撮影時間範囲におけるＸ軸方向振動量の最大値Ｂｘ（ｋ）ｍａｘと最小値Ｂｘ（ｋ）ｍｉｎとの差分の時系列データについて、ｎ回前の撮影タイミングと今回の撮影タイミングとの間の期間内における移動平均をＸ軸振動平均値Ｂｘａｖｅとして算出する。ｋは、１以上であり且つｎ以下である整数である。
【００６４】
またシステム制御部６は、第ｋ撮影時間範囲におけるＹ軸方向振動量の最大値Ｂｙ（ｋ）ｍａｘと最小値Ｂｙ（ｋ）ｍｉｎとの差分の時系列データについて、ｎ回前の撮影タイミングと今回の撮影タイミングとの間の期間内における移動平均をＹ軸振動平均値Ｂｙａｖｅとして算出する。
【００６５】
またシステム制御部６は、第ｋ撮影時間範囲におけるＺ軸方向振動量の最大値Ｂｚ（ｋ）ｍａｘと最小値Ｂｚ（ｋ）ｍｉｎとの差分の時系列データについて、ｎ回前の撮影タイミングと今回の撮影タイミングとの間の期間内における移動平均をＺ軸振動平均値Ｂｚａｖｅとして算出する。
【００６６】
そしてシステム制御部６は、算出されたＸ軸振動平均値Ｂｘａｖｅ、Ｙ軸振動平均値ＢｙａｖｅおよびＺ軸振動平均値Ｂｚａｖｅの大きさに応じて、認識範囲を拡張する。
このようにシステム制御部６は、複数の撮影タイミングに亘って振動の大きさを平均した値を用いて認識範囲を拡張する。このため、システム制御部６は、認識範囲の拡張量を決定するためのパラメータの時間変動を平滑化して、認識範囲が急激に変化しないようにすることができる。
【００６７】
またシステム制御部６は、認識範囲に含まれる画素の数が予め設定された低減判定値以上であるか否かを判断する。そしてシステム制御部６は、認識範囲に含まれる画素の数が低減判定値以上であると判断した場合に、認識範囲において認識対象画素の数を低減する。これにより、システム制御部６は、認識範囲を拡張することに起因して、認識範囲内で運転者の顔領域を抽出する処理の処理負荷が増加することを抑制することができる。
【００６８】
また、振動センサ４は運転席に設置される。これにより、振動センサ４が運転者の付近に設置される。このため、システム制御部６は、振動センサ４の検出結果に基づいて、運転者の顔の揺れを精度よく推定することが可能となり、振動センサ４の検出結果に基づいて適切に認識範囲を拡張することができる。
【００６９】
以上説明した実施形態において、システム制御部６は運転者監視装置に相当し、カメラ２は撮影部に相当し、振動センサ４は振動検出部に相当する。
また、Ｓ２１０は画像取得部としての処理に相当し、Ｓ３３０は領域設定部としての処理に相当し、Ｓ１０は振動取得部としての処理に相当する。
【００７０】
また、Ｓ２６０〜Ｓ２８０は拡張部としての処理に相当し、Ｓ３１０，Ｓ３２０，Ｓ３４０，Ｓ３５０は監視部としての処理に相当する。
また、認識範囲は監視領域に相当し、振動電圧信号は振動量情報に相当し、Ｓ３１０，Ｓ３２０，Ｓ３４０，Ｓ３５０は監視処理に相当する。
【００７１】
また、認識範囲におけるＸ軸方向とＹ軸方向は拡張方向に相当し、Ｓ２０〜Ｓ６０は平均算出部としての処理に相当し、互いに隣接する２つの撮影タイミングの間の期間はサンプル期間に相当し、ｎ回前の撮影タイミングと今回の撮影タイミングとの間の期間は平均算出期間に相当し、Ｘ軸振動平均値ＢｘａｖｅとＹ軸振動平均値ＢｙａｖｅとＺ軸振動平均値Ｂｚａｖｅは振動平均値に相当する。
【００７２】
また、Ｓ２９０は高負荷判断部としての処理に相当し、Ｓ３００は画素低減部としての処理に相当し、Ｓ２９０の判断条件は高負荷条件に相当し、認識対象画素は監視処理に利用する画素に相当する。
【００７３】
以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、種々変形して実施することができる。
［変形例１］
例えば上記実施形態では、図８に示すように、認識範囲の右側と左側とでＸ軸画素調整量ＡＰｘが同一である形態を示した。すなわち、認識範囲の右側と左側とで調整係数αが同一である。これは、図８に示すように、カメラ２が運転者の顔ＤＦを正面から撮影するように設置されているために、認識範囲の左側の振動範囲に対応するカメラの撮影角度θ１と、認識範囲の右側の振動範囲に対応するカメラの撮影角度θ２とが等しくなるためである。
【００７４】
一方、カメラ２が運転者の顔ＤＦに対して右側または左側に偏って設置されている場合には、認識範囲の左側と右側とでＸ軸画素調整量ＡＰｘが異なるようにするとよい。図９は、カメラ２が運転者の顔ＤＦに対して左側に偏って設置されていることを示している。図９に示すように、運転者の顔ＤＦの左側にカメラ２が設置されている場合には、認識範囲の左側の振動範囲に対応するカメラ２の撮影角度θ１が、認識範囲の右側の振動範囲に対応するカメラ２の撮影角度θ２よりも大きくなる。したがって、認識範囲の左側に対応する調整係数をα１とし、認識範囲の右側に対応する調整係数をα２とすると、α１＞α２となるように調整係数を設定するとよい。これにより、認識範囲の左側におけるＸ軸画素調整量ＡＰｘが、認識範囲の右側におけるＸ軸画素調整量ＡＰｘよりも大きくなる。このようにすることで、システム制御部６は、Ｘ軸方向の振動に起因して認識範囲内において運転者の顔ＤＦが左側および右側に移動する移動量に応じた適切な画素調整量で認識範囲を拡張することができる。
【００７５】
同様に、認識範囲の上側と下側についても、カメラ２の設置位置に応じて、認識範囲の上側と下側とで調整係数βを異ならせるようにしてもよい。すなわち、カメラ２が運転者の顔ＤＦに対して上側または下側に偏って設置されている場合には、認識範囲の上側と下側とでＹ軸画素調整量ＡＰｙが異なるようにするとよい。例えば、運転者の顔ＤＦの下側にカメラ２が設置されている場合には、認識範囲の下側の振動範囲に対応するカメラ２の撮影角度が、認識範囲の上側の振動範囲に対応するカメラ２の撮影角度よりも大きくなる。したがって、認識範囲の下側に対応する調整係数をβ１とし、認識範囲の上側に対応する調整係数をβ２とすると、β１＞β２となるように調整係数を設定するとよい。これにより、認識範囲の下側におけるＹ軸画素調整量ＡＰｙが、認識範囲の上側におけるＹ軸画素調整量ＡＰｙよりも大きくなる。このようにすることで、システム制御部６は、Ｙ軸方向の振動に起因して認識範囲内において運転者の顔ＤＦが下側および上側に移動する移動量に応じた適切な画素調整量で認識範囲を拡張することができる。
【００７６】
［変形例２］
上記実施形態では、運転席の座部に振動センサ４が設置される形態を示した。しかし、振動センサ４の設置位置は座部に限定されるものではない。但し、運転者の付近に設置されることが望ましい。
【００７７】
［変形例３］
上記実施形態では、認識範囲に含まれる画素の数が予め設定された低減判定値以上であるか否かを判断する形態を示したが、これに限定されるものではなく、処理負荷が高いことを示す条件であればよい。例えば、認識範囲内で運転者の顔領域を抽出するために要する時間を推測し、この推測時間が予め設定された低減判定時間より長い場合に、認識対象画素の数を低減するようにしてもよい。
【００７８】
［変形例４］
上記実施形態では、カメラ２の内部にコントローラ１５が含まれている形態を示したが、カメラ２の外部にコントローラ１５を設置するようにしてもよい。
【００７９】
［変形例５］
上記実施形態では、互いに隣接する２つの撮影タイミングの間の期間がサンプル期間である形態を示したが、これに限定されるものではなく、例えば、サンプル期間は予め設定された一定の時間間隔であってもよい。
【００８０】
［変形例６］
上記実施形態では、スピーカ５から警告音を出力させる形態を示したが、これに限定されるものではなく、例えば、運転者に何らかの刺激を与えて覚醒を促すようなアクチュエータを作動させるようにしてもよい。
【００８１】
また、上記実施形態における１つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を１つの構成要素に発揮させたりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００８２】
上述したシステム制御部６の他、当該システム制御部６を構成要素とするシステム、当該システム制御部６としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、運転者監視方法など、種々の形態で本開示を実現することもできる。
【符号の説明】
【００８３】
２…カメラ、４…振動センサ、６…システム制御部
【図１】
2018136848.tif 000006
【図２】
2018136848.tif 000007
【図３】
2018136848.tif 000008
【図４】
2018136848.tif 000009
【図５】
2018136848.tif 000010
【図６】
2018136848.tif 000011
【図７】
2018136848.tif 000012
【図８】
2018136848.tif 000013
【図９】
2018136848.tif 000014