(57)【要約】      （修正有）【課題】ドライバの顔向きの算出における誤差を低減できるドライバステータスモニタを提供する。【解決手段】角度可変部材１０３に取り付けられ、ドライバの顔１０５Ａを含む顔画像を取得する顔画像取得手段５と、顔向きを算出する第１の顔向き算出手段と、所定の基準方向に対する顔画像取得手段の角度を検出する第１の加速度センサ７と、基準方向に対する車両本体の角度を検出する第２の加速度センサ９と、第１及び第２の加速度センサの検出信号に基き、車両本体に対する顔画像取得手段の角度Ａを算出する角度算出手段と、角度Ａを用いて補正を行い、車両本体に対する顔向きを算出する第２の顔向き算出手段と、を備える。【選択図】図２
2014229009.tif 000002
【特許請求の範囲】
【請求項１】
車両（１０１）本体に対する角度が可変である角度可変部材（１０３）に取り付けられ、ドライバ（１０５）の顔（１０５Ａ）を含む顔画像を取得する顔画像取得手段（５）と、
前記顔画像取得手段で取得した前記顔画像に基き顔向きを算出する第１の顔向き算出手段（１１）と、
前記顔画像取得手段に対する角度が既知となるように設置され、所定の基準方向に対する前記顔画像取得手段の角度を検出する第１の加速度センサ（７）と、
前記車両本体に対する角度が既知となるように設置され、前記基準方向に対する前記車両本体の角度を検出する第２の加速度センサ（９）と、
前記第１の加速度センサ及び前記第２の加速度センサの検出信号に基き、前記車両本体に対する前記顔画像取得手段の角度Ａを算出する角度算出手段（１１）と、
前記第１の顔向き算出手段で算出した前記顔向きに対し、前記角度算出手段で算出した前記角度Ａを用いて補正を行い、前記車両本体に対する前記顔向きを算出する第２の顔向き算出手段（１１）と、
を備えることを特徴とするドライバステータスモニタ（１）。
【請求項２】
前記第１の加速度センサは、（ａ）水平方向に対する前記顔画像取得手段のピッチ角、（ｂ）水平方向に対する前記顔画像取得手段のロール角、及び（ｃ）前記車両の進行方向に対する前記顔画像取得手段のヨー角を検出するものであり、
前記第２の加速度センサは、（ｄ）水平方向に対する前記車両本体のピッチ角、（ｅ）水平方向に対する前記車両本体のロール角、及び（ｆ）前記車両の進行方向に対する前記車両本体のヨー角を検出するものであることを特徴とする請求項１に記載のドライバステータスモニタ。
【請求項３】
前記角度可変部材がステアリングコラムであることを特徴とする請求項１又は２に記載のドライバステータスモニタ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はドライバステータスモニタに関する。
【背景技術】
【０００２】
従来、ドライバの顔をカメラで撮像し、撮像した顔画像を解析してドライバの顔向きを算出し、算出した顔画像に基いてドライバの居眠りや脇見を検出するドライバステータスモニタが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７２５２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ドライバステータスモニタを構成するカメラを、ステアリングコラム上に設置することが考えられる。この場合、ステアリングのチルト角を変更すると、それに連動してカメラの向きも変化する。また、カメラをステアリング上に設置することが考えられる。この場合、ステアリングの回転に連動して、カメラの向きが変化する。
【０００５】
上記のようにカメラの向きが変化する場合、顔画像から算出されたドライバの顔向きに誤差が生じてしまう。本発明は以上の点に鑑みなされたものであり、ドライバの顔向きの算出における誤差を低減できるドライバステータスモニタを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のドライバステータスモニタは、車両本体に対する角度が可変である角度可変部材に取り付けられ、ドライバの顔を含む顔画像を取得する顔画像取得手段と、顔画像取得手段で取得した顔画像に基き顔向きを算出する第１の顔向き算出手段とを備える。
【０００７】
さらに、本発明のドライバステータスモニタは、顔画像取得手段に対する角度が既知となるように設置され、所定の基準方向に対する顔画像取得手段の角度を検出する第１の加速度センサと、車両本体に対する角度が既知となるように設置され、基準方向に対する車両本体の角度を検出する第２の加速度センサと、第１の加速度センサ及び第２の加速度センサの検出信号に基き、車両本体に対する顔画像取得手段の角度Ａを算出する角度算出手段と、第１の顔向き算出手段で算出した顔向きに対し、角度算出手段で算出した角度Ａを用いて補正を行い、車両本体に対する顔向きを算出する第２の顔向き算出手段とを備える。
【０００８】
本発明のドライバステータスモニタは、角度可変部材の角度が変化する場合でも、顔向きの算出における誤差を低減できる。また、本発明のドライバステータスモニタは、道路の傾斜等により車両の傾きが変動する場合でも、顔向きの算出における誤差を低減できる。
【図面の簡単な説明】
【０００９】
【図１】ドライバステータスモニタ１の構成を表すブロック図である。
【図２】ドライバステータスモニタ１の構成を表す説明図である。
【図３】ドライバステータスモニタ１の構成を表す説明図である。
【図４】ドライバステータスモニタ１の構成を表す説明図である。
【図５】ドライバステータスモニタ１が実行する処理を表すフローチャートである。
【発明を実施するための形態】
【００１０】
本発明の実施形態を図面に基き説明する。
＜第１の実施形態＞
１．ドライバステータスモニタ１の構成
ドライバステータスモニタ１の構成を図１〜図４に基き説明する。ドライバステータスモニタ１は、車両に搭載される車載装置である。ドライバステータスモニタ１は、図１に示すように、ＬＥＤ３、カメラ５、第１のＧ（加速度）センサ７、第２のＧセンサ９、及び演算部１１を備える。
【００１１】
ＬＥＤ３は車室内に設置され、ドライバの顔に光を照射する。カメラ５は、図２に示すように、車両１０１のステアリングコラム１０３に取り付けられている。ステアリングコラム１０３に対するカメラ５の位置及び角度は常に一定である。
【００１２】
カメラ５の光軸方向Ｋは、凡そ、ドライバ１０５の顔１０５Ａを向いている。よって、カメラ５は、顔１０５Ａを含む画像（以下、顔画像とする）を取得することができる。カメラ５で取得した顔画像は演算部１１に出力される。
【００１３】
ステアリングコラム１０３はチルト角を変更することができる。すなわち、ステアリングコラム１０３は、図２において、所定の軸を中心として回動し、車両１０１の本体（シャシー、車体等）に対する角度を変えることができる。ステアリングコラム１０３のチルト角を変更すると、それに連動して、カメラ５の光軸方向Ｋも変化する。
【００１４】
第１のＧセンサ７は、３軸の加速度センサである。第１のＧセンサ７は、図２に示すように、ステアリングコラム１０３に取り付けられている。ステアリングコラム１０３に対する第１のＧセンサ７の位置及び角度は常に一定である。よって、第１のＧセンサ７は、カメラ５に対しても、位置及び角度は常に一定であり、換言すれば、カメラ５に対する第１のＧセンサ７の角度は既知である。
【００１５】
第１のＧセンサ７は、図２に示すように、水平方向Ｌ（基準方向の一実施形態）に対するカメラ５の光軸方向Ｋのピッチ角αpを検出する。また、第１のＧセンサ７は、図３に示すように、水平方向Ｌ（基準方向の一実施形態）に対する第１のＧセンサ７の取り付け方向Ｒ1のロール角αrを検出する。また、第１のＧセンサ７は、図４に示すように、車両１０１の進行方向Ｐ（基準方向の一実施形態）に対する第１のＧセンサ７の取り付け方向Ｙ1のヨー角αyを検出する。
【００１６】
ここで、取り付け方向Ｒ1、及び取り付け方向Ｙ1は、第１のＧセンサ７における固有の方向であって、第１のＧセンサ７の方向を決めると、一義的に決まる方向である。上述したとおり、第１のＧセンサ７は、カメラ５に対して位置及び角度が常に一定であるから、取り付け方向Ｒ1、及び取り付け方向Ｙ1は、カメラ５に対して常に一定の方向となる。
【００１７】
第２のＧセンサ９は、３軸の加速度センサである。第２のＧセンサ９は、図２に示すように、車両１０１のうち、ステアリングコラム１０３以外の部分に取り付けられている。車両１０１の本体に対する第２のＧセンサ９の位置及び角度は常に一定（既知）である。
【００１８】
第２のＧセンサ９は、図２に示すように、水平方向Ｌに対する第２のＧセンサ９の取り付け方向Ｐ2のピッチ角βpを検出する。また、第２のＧセンサ９は、図３に示すように、水平方向Ｌに対する第２のＧセンサ９の取り付け方向Ｒ2のロール角βrを検出する。また、第２のＧセンサ９は、図４に示すように、車両１０１の進行方向Ｐに対する第２のＧセンサ９の取り付け方向Ｙ2のヨー角βyを検出する。
【００１９】
ここで、取り付け方向Ｐ2、取り付け方向Ｒ2、及び取り付け方向Ｙ2は、第２のＧセンサ９における固有の方向であって、第２のＧセンサ９の方向を決めると、一義的に決まる方向である。上述したとおり、車両１０１の本体に対する第２のＧセンサ９の位置及び角度は常に一定（既知）であるから、取り付け方向Ｐ2、取り付け方向Ｒ2、及び取り付け方向Ｙ2は、車両１０１の本体に対し常に一定の方向となる。
【００２０】
演算部１１は周知のコンピュータにより構成され、後述する処理を実行する。また、演算部１１が備えるメモリ（図示略）は、後述する処理を実行するプログラムを記憶している。
【００２１】
なお、カメラ５は顔画像取得手段の一実施形態であり、ステアリングコラム１０３は角度可変部材の一実施形態であり、演算部１１は、第１の顔向き算出手段、角度算出手段、及び第２の顔向き算出手段の一実施形態である。
【００２２】
２．ドライバステータスモニタ１が実行する処理
ドライバステータスモニタ１（特に演算部１１）が実行する処理を図２〜図５に基いて説明する。図５のステップ１では、カメラ５を用いて、顔１０５Ａを撮影し、顔画像を取り込む。
【００２３】
ステップ２では、前記ステップ１で取り込んだ顔画像に対し、周知の画像認識（例えばパターンマッチング）の処理を実行し、顔向きを算出する。この顔向きは、顔のピッチ角、ロール角、及びヨー角により特定されるものである。
【００２４】
なお、本ステップ２で算出する顔向きは、カメラ５で取得した顔画像に基き算出されるものであるから、カメラ５の方向を基準とする顔向きである。よって、ステアリングコラム１０３のチルト角を変更し、カメラ５の方向が変われば、ドライバ１０５の顔向きが実際には一定であっても、本ステップ２で算出する顔向きは変化する。
【００２５】
ステップ３では、第１のＧセンサ７の出力値と、第２のＧセンサ９の出力値とを、Ｘ秒間、継続的に取得する。第１のＧセンサ７の出力値は、上述したピッチ角αp、ロール角αr、及びヨー角αyである。また、第２のＧセンサ９の出力値は、上述したピッチ角βp、ロール角βr、及びヨー角βyである。
【００２６】
ステップ４では、前記ステップ３でＸ秒間、継続的に取得した第１のＧセンサ７の出力値及び第２のＧセンサ９の出力値の移動平均、及び分散を算出する。すなわち、ピッチ角αp、ロール角αr、ヨー角αy、ピッチ角βp、ロール角βr、及びヨー角βyのそれぞれについて、移動平均、及び分散を算出する。
【００２７】
ステップ５では、前記ステップ４で算出した分散が閾値以下であるか否かを判断する。ピッチ角αp、ロール角αr、ヨー角αy、ピッチ角βp、ロール角βr、及びヨー角βyの分散が全て閾値以下である場合はステップ６に進み、それ以外の場合はステップ８に進む。
【００２８】
ステップ６では、以下の（式１）〜（式３）により、ピッチ角の補正値ΔＰ、ロール角の補正値ΔＲ、及びヨー角の補正値ΔＹ（いずれも角度Ａの一実施形態）を算出する。
（式１）  ΔＰ＝ave（αp）−ave（βp）
（式２）  ΔＲ＝ave（αr）−ave（βr）
（式３）  ΔＹ＝ave（αy）−ave（βy）
ここで、ave（αp）はピッチ角αpの移動平均値であり、ave（βp）はピッチ角βpの移動平均値であり、ave（αr）はロール角αrの移動平均値であり、ave（βr）はロール角βrの移動平均値であり、ave（αy）はヨー角αyの移動平均値であり、ave（βy）はヨー角βyの移動平均値である。
【００２９】
また、ΔＰは、取り付け方向Ｐ2に対する光軸方向Ｋのピッチ角である。上述したとおり、取り付け方向Ｐ2は、車両１０１の本体に対し常に一定の方向であるから、ΔＰは、車両１０１の本体に対する光軸方向Ｋ（カメラ５）のピッチ角に該当する。
【００３０】
また、ΔＲは、取り付け方向Ｒ2に対する取り付け方向Ｒ1のロール角である。上述したとおり、取り付け方向Ｒ1はカメラ５に対して常に一定の方向であり、取り付け方向Ｒ2は車両１０１の本体に対し常に一定の方向であるから、ΔＲは、車両１０１の本体に対するカメラ５のロール角に該当する。
【００３１】
また、ΔＹは、取り付け方向Ｙ2に対する取り付け方向Ｙ1のヨー角である。上述したとおり、取り付け方向Ｙ1はカメラ５に対して常に一定の方向であり、取り付け方向Ｙ2は車両１０１の本体に対し常に一定の方向であるから、ΔＹは、車両１０１の本体に対するカメラ５のヨー角に該当する。
【００３２】
ステップ７では、前記ステップ２で算出した顔向き（以下、補正前の顔向きとする）に対し、前記ステップ６で算出した補正値、又は後述するステップ８で取得する補正値を用いて補正を行い、補正後の顔向きを算出する。
【００３３】
すなわち、補正前の顔向きにおけるピッチ角に対し、ΔＰを用いて補正を行い、補正後のピッチ角を算出する。補正後の顔向きにおけるピッチ角ＰＡ‘は、補正前の顔向きにおけるピッチ角ＰＡと、ΔＰとを用いて、以下の（式４）で表せる。
【００３４】
（式４）  ＰＡ‘＝ＰＡ−ΔＰ
補正後の顔向きにおけるピッチ角ＰＡ‘は、ステアリングコラム１０３のチルト角の変更等に起因してカメラ５の方向が変動しても、変化しないピッチ角であり、車両１０１の本体に対する（車両１０１の本体における固有の軸方向を基準とする）ピッチ角である。
【００３５】
また、補正前の顔向きにおけるロール角に対し、ΔＲを用いて補正を行い、補正後のロール角を算出する。補正後の顔向きにおけるロール角ＲＡ‘は、補正前の顔向きにおけるロール角ＲＡと、ΔＲとを用いて、以下の（式５）で表せる。
【００３６】
（式５）  ＲＡ‘＝ＲＡ―ΔＲ
補正後の顔向きにおけるロール角ＲＡ‘は、ステアリングコラム１０３のチルト角の変更等に起因してカメラ５の方向が変動しても、変化しないロール角であり、車両１０１の本体に対する（車両１０１の本体における固有の軸方向を基準とする）ロール角である。
【００３７】
また、補正前の顔向きにおけるヨー角に対し、ΔＹを用いて補正を行い、補正後のヨー角を算出する。補正後の顔向きにおけるヨー角ＹＡ‘は、補正前の顔向きにおけるヨー角ＹＡと、ΔＹとを用いて、以下の（式６）で表せる。
【００３８】
（式６）  ＹＡ‘＝ＹＡ―ΔＹ
補正後の顔向きにおけるヨー角ＹＡ‘は、ステアリングコラム１０３のチルト角の変更等に起因してカメラ５の方向が変動しても、変化しないヨー角であり、車両１０１の本体に対する（車両１０１の本体における固有の軸方向を基準とする）ヨー角である。
【００３９】
補正後の顔向きは、上記の補正の結果得られた、ピッチ角、ロール角、及びヨー角により特定されるものである。
一方、前記ステップ５で否定判断した場合はステップ８に進み、前記ステップ６の処理を前回実行したときのΔＰ、ΔＲ、及びΔＹを取得する。このΔＰ、ΔＲ、及びΔＹをステップ７で使用する。
【００４０】
なお、ドライバステータスモニタ１が算出した顔向きは、例えば、ドライバの脇見や居眠り等の検出に利用することができる。例えば、所定時間以上、ドライバの顔向きが車両１０１の正面以外を向いている場合、脇見であると判断することができる。また、例えば、所定時間以上、ドライバの顔向きが下向きである場合、居眠りであると判断することができる。
【００４１】
３．ドライバステータスモニタ１が奏する効果
（１）ドライバステータスモニタ１は、ステアリングコラム１０３のチルト角に影響されない顔向きを算出することができる。よって、ドライバステータスモニタ１によれば、ステアリングコラム１０３のチルト角を変更した場合でも、ドライバの顔向きの算出における誤差を低減できる。
【００４２】
（２）ドライバステータスモニタ１は、第１のＧセンサ７及び第２のＧセンサ９の出力値を使用することにより、道路の傾斜等により車両１０１の傾きが変動した場合でも、車両１０１の本体を基準とした顔向きを正しく算出することができる。
【００４３】
なお、第１のＧセンサ７は備えるが、第２のＧセンサ９は備えない構成では、道路の傾斜等により車両１０１の傾きが変動した場合、車両１０１の本体を基準とした顔向きを正しく算出することができない。
【００４４】
それは、第１のＧセンサ７の出力値の少なくとも一部（ピッチ角αp、ロール角αr、ピッチ角βp、ロール角βr）は、図２、図３に示すように、車両１０１の傾きに影響される値であるため、この値を用いて補正を行っても、補正後の顔向きは車両１０１の傾きに影響されてしまうためである。
【００４５】
（３）ドライバステータスモニタ１は、第１のＧセンサ７及び第２のＧセンサ９の出力値を用いて顔向きの補正を行うことができるため、チルト角自体の検出及び入力が必須ではなく、システム構成を簡略化できる。
【００４６】
４．変形例
（１）前記ステップ４の実行後、前記ステップ５の判断を行わずに、前記ステップ６に進んでもよい。
【００４７】
（２）カメラ５と第１のＧセンサ７とは、ステアリングの回転に連動して回転する位置（例えばステアリングの上）に取り付けてもよい。この場合、ドライバステータスモニタ１は、ステアリングの位相に影響されない顔向きを算出することができる。よって、ドライバステータスモニタ１によれば、ステアリングを回転させた場合でも、ドライバの顔向きの算出における誤差を低減できる。
＜第２の実施形態＞
ドライバステータスモニタ１の構成及び作用は、基本的には前記第１の実施形態と同様であるが一部において相違する。以下では、その相違点を中心に説明する。
【００４８】
本実施形態では、前記ステップ２で算出する顔向きは、ピッチ角のみで特定されるものである。また、前記ステップ３では、ピッチ角αp、及びピッチ角βpを取得すれば足りる。また、前記ステップ４では、ピッチ角αp、及びピッチ角βpについて、移動平均、及び分散を算出すれば足りる。
【００４９】
また、前記ステップ５では、ピッチ角αp及びピッチ角βpの分散が閾値以下である場合はステップ６に進み、それ以外の場合はステップ８に進む。
また、前記ステップ６では、（式１）を用いてΔＰを算出すれば足りる。また、前記ステップ７では、補正前の顔向きにおけるピッチ角に対し、ΔＰを用いて補正を行い、車両１０１の本体を基準としたピッチ角を算出すれば足りる。補正後のピッチ角が、補正後の顔向きに該当する。
【００５０】
本実施形態においては、第１のＧセンサ７及び第２のＧセンサ９を１軸の加速度センサとすることができるので、ドライバステータスモニタ１の構成及び実行する処理を簡略化できる。
＜第３の実施形態＞
ドライバステータスモニタ１の構成及び作用は、基本的には前記第１の実施形態と同様であるが一部において相違する。以下では、その相違点を中心に説明する。
【００５１】
本実施形態では、前記ステップ２で算出する顔向きは、ピッチ角とロール角とで特定されるものである。また、前記ステップ３では、ピッチ角αp、ロール角αr、ピッチ角βp、及びロール角βrを取得すれば足りる。また、前記ステップ４では、ピッチ角αp、ロール角αr、ピッチ角βp、及びロール角βrについて、移動平均、及び分散を算出すれば足りる。
【００５２】
また、前記ステップ５では、ピッチ角αp、ロール角αr、ピッチ角βp、及びロール角βrの分散が閾値以下である場合はステップ６に進み、それ以外の場合はステップ８に進む。
【００５３】
また、前記ステップ６では、（式１）を用いてΔＰを算出し、（式２）を用いてΔＲを算出すれば足りる。また、前記ステップ７では、補正前の顔向きにおけるピッチ角及びロール角に対し、ΔＰとΔＲとを用いて補正を行い、車両１０１の本体を基準としたピッチ角及びロール角を算出すれば足りる。補正後のピッチ角及びロール角が、補正後の顔向きに該当する。
【００５４】
本実施形態においては、第１のＧセンサ７及び第２のＧセンサ９を２軸の加速度センサとすることができるので、ドライバステータスモニタ１の構成及び実行する処理を簡略化できる。
＜第４の実施形態＞
ドライバステータスモニタ１の構成及び作用は、基本的には前記第１の実施形態と同様であるが一部において相違する。以下では、その相違点を中心に説明する。
【００５５】
本実施形態では、前記ステップ２で算出する顔向きは、ピッチ角とヨー角とで特定されるものである。また、前記ステップ３では、ピッチ角αp、ヨー角αy、ピッチ角βp、及びヨー角βyを取得すれば足りる。また、前記ステップ４では、ピッチ角αp、ヨー角αy、ピッチ角βp、及びヨー角βyについて、移動平均、及び分散を算出すれば足りる。
【００５６】
また、前記ステップ５では、ピッチ角αp、ヨー角αy、ピッチ角βp、及びヨー角βyの分散が閾値以下である場合はステップ６に進み、それ以外の場合はステップ８に進む。
また、前記ステップ６では、（式１）を用いてΔＰを算出し、（式３）を用いてΔＹを算出すれば足りる。また、前記ステップ７では、補正前の顔向きにおけるピッチ角及びヨー角に対し、ΔＰとΔＹとを用いて補正を行い、車両１０１の本体を基準としたピッチ角及びヨー角を算出すれば足りる。補正後のピッチ角及びヨー角が、補正後の顔向きに該当する。
【００５７】
本実施形態においては、第１のＧセンサ７及び第２のＧセンサ９を２軸の加速度センサとすることができるので、ドライバステータスモニタ１の構成及び実行する処理を簡略化できる。
【００５８】
尚、本発明は前記実施の形態になんら限定されるものではなく、本発明を逸脱しない範囲において種々の態様で実施しうることはいうまでもない。
例えば、前記ステップ２では、顔向きの代わりに、あるいは顔向きに加えて、ドライバの視線を算出してもよい。そして、前記ステップ６では、視線を補正してもよい。
【符号の説明】
【００５９】
１…ドライバステータスモニタ、３…ＬＥＤ、５…カメラ、７…第１のＧセンサ、９…第２のＧセンサ、１１…演算部、１０１…車両、１０３…ステアリングコラム、１０５…ドライバ、１０５Ａ…顔
【図１】
2014229009.tif 000003
【図２】
2014229009.tif 000004
【図３】
2014229009.tif 000005
【図４】
2014229009.tif 000006
【図５】
2014229009.tif 000007