(57)【要約】【課題】ドライバが正面を向いているときの顔の向きを正確に捉えることができるドライバモニタシステムを提供する。【解決手段】ドライバモニタシステム１は、ドライバの顔画像を撮像する撮像装置１１と、撮像装置によって撮像された顔画像が送信される制御装置５０とを備える。制御装置は、撮像装置によって撮像された顔画像に基づいてドライバの顔向き角度を認識する顔向き認識部と、車両の速度が所定速度以上であることを含むゼロ点設定条件が成立しているときに顔向き認識部によって認識されたドライバの顔向き角度に基づいて、ドライバの顔のピッチ角、ヨー角及びロール角のゼロ点を設定するゼロ点設定部と、ゼロ点設定部によって設定されたゼロ点に対する現在の顔向き角度に基づいてドライバの状態を診断する状態診断部とを備える。【選択図】図５
2019087150.tif 000002
【特許請求の範囲】
【請求項１】
ドライバの顔画像を撮像する撮像装置と、該撮像装置によって撮像された顔画像が送信される制御装置と、を備えるドライバモニタシステムであって、
前記制御装置は、
前記撮像装置によって撮像された顔画像に基づいてドライバの顔向き角度を認識する顔向き認識部と、
車両の速度が０よりも速い所定速度以上であることを含むゼロ点設定条件が成立しているときに前記顔向き認識部によって認識されたドライバの顔向き角度に基づいて、ドライバの顔のピッチ角、ヨー角及びロール角の少なくともいずれか一つを含む顔向き角度のゼロ点を設定するゼロ点設定部と、
前記ゼロ点設定部によって設定されたゼロ点に対する現在の顔向き角度に基づいてドライバの状態を診断する状態診断部とを備える、ドライバモニタシステム。
【請求項２】
前記ゼロ点設定条件は、車両のイグニッションがオンになってから前記ゼロ点設定部による顔向き角度のゼロ点の設定が未だ行われていないことを含む、請求項１に記載のドライバモニタシステム。
【請求項３】
前記ゼロ点設定条件は、ゼロ点設定部によって顔向き角度ゼロ度の設定が前回行われてから、所定の時間が経過したこと又は車両が所定の距離を走行したことを含む、請求項１又は２に記載のドライバモニタシステム。
【請求項４】
ドライバの姿勢又はドライバの交代を検出するドライバ検出部を更に備え、
前記ゼロ点設定条件は、前記ドライバ検出部によってドライバの姿勢が変化したこと又はドライバが交代したことが検出されたことを含む、請求項１〜３のいずれか１項に記載のドライバモニタシステム。
【請求項５】
車両が走行している道路の状況を検出する道路状況検出部を更に備え、
前記ゼロ点設定部は、前記ドライバの顔のピッチ角のゼロ点を設定し、
前記ゼロ点設定条件は、前記道路状況検出部によって前記車両が傾斜のない道路を走行中であることが検出されていることを含む、請求項１〜４のいずれか１項に記載のドライバモニタシステム。
【請求項６】
車両が走行している道路の状況を検出する道路状況検出部を更に備え、
前記ゼロ点設定部は、前記ドライバの顔のヨー角のゼロ点を設定し、
前記ゼロ点設定条件は、前記道路状況検出部によって前記車両が直線道路を走行中であることが検出されていることを含む、請求項１〜４のいずれか１項に記載のドライバモニタシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバモニタシステムに関する。
【背景技術】
【０００２】
従来から、ドライバの顔画像を撮像するカメラを備えたドライバモニタシステムが知られている。斯かるドライバモニタシステムでは、例えば、カメラによって撮像された顔画像に基づいてドライバの顔の向きを検出すると共に、検出されたドライバの顔の向きに基づいてドライバが脇見運転中であるか否かが判定される（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３２６７５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、ドライバの顔の向きに基づいてドライバが脇見運転中であるか否かを判定するためには、正面を向いているときのドライバの顔の向きが基準とされる。そして、その基準とされた向きに対する現在の顔の向きの角度が大きいときに、ドライバが脇見運転中であると判定される。
【０００５】
ところが、ドライバが正面を向いているときのドライバモニタカメラに対する顔の向きは、ドライバモニタカメラの設置位置、ドライバの体格、着座姿勢等に応じて変化する。このため、ドライバモニタカメラに対する或る決まった顔の向きを、正面を向いているとき顔の向きと判断してしまうと、ドライバが正面を向いているときを正確に認識することができない可能性がある。この場合、ドライバは脇見運転等をしていないにもかかわらず脇見運転等をしていると判定されたり、逆にドライバは脇見運転等をしているにもかかわらず脇見運転等をしていないと判定されたりしてしまう。
【０００６】
本発明は、上記課題に鑑みてなされたものであって、その目的は、ドライバが正面を向いているときの顔の向きを正確に捉えることができるドライバモニタシステムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するためになされたものであり、その要旨は以下のとおりである。
【０００８】
（１）ドライバの顔画像を撮像する撮像装置と、該撮像装置によって撮像された顔画像が送信される制御装置と、を備えるドライバモニタシステムであって、前記制御装置は、前記撮像装置によって撮像された顔画像に基づいてドライバの顔向き角度を認識する顔向き認識部と、車両の速度が０よりも速い所定速度以上であることを含むゼロ点設定条件が成立しているときに前記顔向き認識部によって認識されたドライバの顔向き角度に基づいて、ドライバの顔のピッチ角、ヨー角及びロール角の少なくともいずれか一つを含む顔向き角度のゼロ点を設定するゼロ点設定部と、前記ゼロ点設定部によって設定されたゼロ点に対する現在の顔向き角度に基づいてドライバの状態を診断する状態診断部とを備える、ドライバモニタシステム。
【０００９】
（２）前記ゼロ点設定条件は、車両のイグニッションがオンになってから前記ゼロ点設定部による顔向き角度のゼロ点の設定が未だ行われていないことを含む、上記（１）に記載のドライバモニタシステム。
【００１０】
（３）前記ゼロ点設定条件は、ゼロ点設定部によって顔向き角度ゼロ度の設定が前回行われてから、所定の時間が経過したこと又は車両が所定の距離を走行したことを含む、上記（１）又は（２）に記載のドライバモニタシステム。
【００１１】
（４）ドライバの姿勢又はドライバの交代を検出するドライバ検出部を更に備え、前記ゼロ点設定条件は、前記ドライバ検出部によってドライバの姿勢が変化したこと又はドライバが交代したことが検出されたことを含む、上記（１）〜（３）のいずれか１つに記載のドライバモニタシステム。
【００１２】
（５）車両が走行している道路の状況を検出する道路状況検出部を更に備え、前記ゼロ点設定部は、前記ドライバの顔のピッチ角のゼロ点を設定し、前記ゼロ点設定条件は、前記道路状況検出部によって前記車両が傾斜のない道路を走行中であることが検出されていることを含む、上記（１）〜（４）のいずれか１つに記載のドライバモニタシステム。
【００１３】
（６）車両が走行している道路の状況を検出する道路状況検出部を更に備え、
前記ゼロ点設定部は、前記ドライバの顔のヨー角のゼロ点を設定し、
前記ゼロ点設定条件は、前記道路状況検出部によって前記車両が直線道路を走行中であることが検出されていることを含む、上記（１）〜（４）のいずれか１つに記載のドライバモニタシステム。
【発明の効果】
【００１４】
本発明によれば、ドライバが正面を向いているときの顔の向きを正確に捉えることができるドライバモニタシステムが提供される。
【図面の簡単な説明】
【００１５】
【図１】図１は、ドライバモニタシステムの構成を示す概略的なブロック図である。
【図２】図２は、ドライバモニタシステムを搭載した車両の内部を部分的に示す概略側面図である。
【図３】図３は、ドライバの頭を模式的に表した図である。
【図４】図４は、ドライバの顔向き角度を認識するのに用いられる特徴点を示す図である。
【図５】図５は、ゼロ点設定の実行タイミングを判定する制御の制御ルーチンを示すフローチャートである。
【図６】図６は、ドライバの顔向き角度のゼロ点を設定する制御の制御ルーチンを示すフローチャートである。
【図７】図７は、第二実施形態におけるドライバの顔向き角度のゼロ点を設定する制御の制御ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
【００１７】
＜第一実施形態＞
≪装置の構成≫
図１及び図２を参照して、一つの実施形態に係るドライバモニタシステム１の構成について説明する。図１は、本実施形態に係るドライバモニタシステム１の構成を示す概略的なブロック図である。図２は、本実施形態に係るドライバモニタシステム１を搭載した車両６０の内部を部分的に示す概略側面図である。
【００１８】
ドライバモニタシステム１は、車両６０に搭載され、車両６０のドライバの状態を監視する。図１に示したように、ドライバモニタシステム１は、ドライバの顔画像を撮像するドライバモニタカメラ（撮像装置）１１と、車両６０の速度を検出する車速センサ１２と、ドライバ用シートの座面に加わる圧力を検出する座面圧センサ１３とを備える。
【００１９】
まず、図２を参照して、ドライバモニタカメラ１１について説明する。図２に示したように、車両６０は、ステアリングコラム６１を介して取り付けられたステアリング６２、ドライバの前方上方に配置されたルームミラー６３、及びドライバが座るドライバ用シート６４を備える。
【００２０】
本実施形態では、ドライバモニタカメラ１１は、ステアリングコラム６１の上部に設けられ、ドライバを、具体的にはドライバの顔及び上半身の一部を撮像することができるようにドライバに向けて配置される。特に、ステアリングコラム６１は基本的にドライバの顔の位置よりも低く位置するように配置されることから、ドライバモニタカメラ１１の撮像方向は所定の角度α（例えば、１０〜２０°）だけ水平よりも上向きに向けられる。
【００２１】
なお、ドライバモニタカメラ１１は、車両６０のドライバを撮像することができれば、ステアリングコラム６１の上部とは異なる位置に設けられてもよい。例えば、ドライバモニタカメラ１１は、車両６０のステアリング６２、ルームミラー６３、メータパネル、メータフード等に設けられてもよい。
【００２２】
ドライバモニタカメラ１１はカメラ及び投光器を備える。例えば、カメラはＣＭＯＳ（相補型金属酸化膜半導体）カメラ又はＣＣＤ（電荷結合素子）カメラであり、投光器はＬＥＤ（発光ダイオード）である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影することができるように、投光器は近赤外ＬＥＤであることが好ましく、またカメラも近赤外線を検知することができることが好ましい。例えば、投光器は、カメラの両側に配置された二個の近赤外ＬＥＤである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。
【００２３】
ドライバモニタカメラ１１は、有線で又は無線で後述するＥＣＵ５０に接続される。したがって、ドライバモニタカメラ１１によって撮像された画像は、画像データとして、ＥＣＵ５０に送信される。
【００２４】
車速センサ１２は、車両６０の速度を検出するセンサである。車速センサ１２は、例えば、車両の駆動シャフトのハウジング（図示せず）に取り付けられて車両の駆動シャフトの回転速度を検出し、検出された駆動シャフトの回転速度に基づいて車両６０の速度を検出する。車速センサ１２は、ＥＣＵ５０に接続され、よって車速センサ１２の出力信号はＥＣＵ５０に送信される。なお、車速センサ１２は、車両６０の速度を検出することができれば、車両の他の箇所に取り付けられる他の形式のセンサであってもよい。
【００２５】
座面圧センサ１３は、ドライバ用シート６４の座面下に配置される。座面圧センサ１３は、ドライバからドライバ用シート６４の座面に加わる圧力を検出する圧力センサである。特に、本実施形態では、座面圧センサ１３は、ドライバ用シート６４の座面を複数に分割したときに、分割された各部位に加わる圧力を検出することができる。すなわち、座面圧センサ１３は、ドライバ用シート６４の座面に加わる圧力の分布を検出することができる。座面圧センサ１３は、ＥＣＵ５０に接続され、よって座面圧センサ１３の出力信号はＥＣＵ５０に送信される。
【００２６】
なお、座面圧センサ１３は、少なくともドライバ用シート６４の座面全体に加わる圧力を検出することができれば、ドライバ用シート６４の座面に加わる圧力の分布を検出することができなくてもよい。
【００２７】
また、ドライバモニタシステム１は、周辺環境検出装置２０と、ＧＰＳ衛星からの信号を受信するＧＰＳ受信機３１と、地図情報に関する地図データベース３２とを更に備える。これらはいずれもＥＣＵ５０に接続される。
【００２８】
周辺環境検出装置２０は、車両６０の周辺の環境状況（以下、車両周辺状況）を検出する。車両周辺状況には、車両６０周りの道路の状況の他、車両６０周りの障害物や天候等が含まれる。本実施形態では、周辺環境検出装置２０は、図１に示したように、ライダ（LIDAR：Laser Imaging Detection and Ranging）２１と、ミリ波レーダーセンサ２２と、外部カメラ２３とを備える。
【００２９】
ライダ２１は、レーザ光を利用して自車両周辺の道路や障害物を検出する装置である。ライダ２１は、車両６０の全周囲における道路及び障害物の状況、すなわち車両周辺状況を三次元画像として検出し、この三次元画像をＥＣＵ５０へ送信する。ミリ波レーダーセンサ２２は、電波を利用してライダ２１よりも遠距離における自車両周辺の障害物を検出する装置である。ミリ波レーダーセンサ２２は、その計測結果を車両周辺状況としてＥＣＵ５０へ送信する。外部カメラ２３は、車両６０の前方を撮影する装置である。外部カメラ２３は、撮影した車両６０前方の映像の画像処理を行うことで車両６０前方の道路情報等を検出する。外部カメラ２３は、検出したこれらの撮影情報をＥＣＵ５０へ送信する。
【００３０】
ＧＰＳ受信機３１は、３個以上のＧＰＳ衛星から信号を受信して、車両６０の現在位置（例えば、車両６０の緯度及び経度）を検出するための装置である。ＧＰＳ受信機３１は、検出された車両６０の現在位置情報をＥＣＵ５０へ送信する。
【００３１】
地図データベース３２は、地図情報に関するデータベースである。地図データベース３２は、例えば、車両６０に搭載されたＨＤＤ（Hard Disk Drive）内に記憶されている。地図情報には、例えば、道路の位置情報、道路形状の情報（例えば、カーブと直線の種別、カーブの曲率等）、交差点及び分岐点の位置情報、道路種別等の情報が含まれる。
【００３２】
ドライバモニタシステム１は、ヒューマン・マシン・インターフェイス（Human Machine Interface（ＨＭＩ））４０と、電子制御ユニット（ＥＣＵ）５０とを更に備える。
【００３３】
ＨＭＩ４０は、ドライバ又は車両乗員とドライバモニタシステム１との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ４０は、ドライバに各種情報を提供するための情報提供装置、具体的には、文字情報や画像情報を表示するためのディスプレイ、音声出力のためのスピーカを備える。加えて、ＨＭＩ４０は、ドライバの音声を認識するためのマイク、及びドライバが入力操作を行うための操作ボタン或いはタッチパネル等を備える。
【００３４】
ＨＭＩ４０は、有線で又は無線でＥＣＵ５０に接続される。したがって、ドライバ等によって入力された情報はＨＭＩ４０からＥＣＵ５０に送信され、また、ＨＭＩ４０の情報提供装置によってドライバに提供すべき情報がＥＣＵ５０からＨＭＩ４０に送信される。例えば、後述するＥＣＵ５０の状態診断部５３によってドライバが脇見運転をしていると判定された場合には、状態診断部５３からＨＭＩ４０に脇見警報指令が送信される。このように脇見警報指令が送信されると、ＨＭＩ４０は、例えば、スピーカによって警報音を発生させると共に、ディスプレイに脇見に注意すべき旨の警報を表示させる。このように、ＨＭＩ４０は、ドライバに脇見等の異常が生じている場合にドライバに異常を警報する警報部として機能する。
【００３５】
ＥＣＵ５０は、各種制御を行う制御装置として機能し、双方向性バスによって相互に接続された中央演算装置（ＣＰＵ）、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、入力ポート及び出力ポートを備えたマイクロコンピュータである。本実施形態では、一つのＥＣＵ５０が設けられているが、ＣＡＮ等に準拠したバス等を介して互いに接続された複数のＥＣＵが機能毎に設けられていてもよい。図１に示したように、本実施形態では、ＥＣＵ５０は、顔向き認識部５１と、ゼロ点設定部５２と、状態診断部５３と、道路状況検出部５４と、ドライバ変化検出部５５とを備える。
【００３６】
顔向き認識部５１は、ドライバモニタカメラ１１によって撮像されたドライバの顔画像に基づいて、ドライバの顔向き角度を認識する。本実施形態では、ドライバの顔の向きは、ピッチ角θｘ、ヨー角θｙ及びロール角θｚ（これらをまとめて「顔向き角度」という）によって表される。以下では、これらピッチ角θｘ、ヨー角θｙ及びロール角θｚについて簡単に説明する。
【００３７】
図３は、ドライバの頭を模式的に表した図である。図３に示すように、ドライバの顔の向きは、互いに直交する三つの軸線Ｘ、Ｙ、Ｚ回りの角度によって表すことができる。図中の軸線Ｘは、ドライバの頭を左右方向に延びる軸線であり、車両６０の進行方向と垂直に且つ水平方向に延びる軸線である。この軸線Ｘ回りのドライバの顔の角度θｘはピッチ角として表される。したがって、ドライバが上や下を向くとドライバのピッチ角θｘが変化する。
【００３８】
図中の軸線Ｙは、ドライバの頭を上下方向に延びる軸線であり、鉛直方向に延びる軸線である。この軸線Ｙ回りのドライバの顔の角度θｙはヨー角として表される。したがって、ドライバが左や右を向くとドライバのヨー角θｙが変化する。
【００３９】
図中の軸線Ｚは、ドライバの頭を前後方向に延びる軸線であり、車両６０の進行方向に延びる軸線である。この軸線Ｚ回りのドライバの顔の角度θｚはロール角として表される。したがって、ドライバが首をかしげたりするとドライバのロール角θｚが変化する。
【００４０】
次に、図４を参照して、顔向き認識部５１によるドライバの顔向き角度の具体的な認識方法について説明する。図４は、ドライバの顔向き角度を認識するのに用いられる特徴点を示す図である。
【００４１】
顔向き認識部５１は、ドライバの顔向きを認識するにあたり、まず、顔画像から顔の特徴点を抽出する。本実施形態では、顔向き認識部５１は、ドライバモニタカメラ１１によって撮像されたドライバの顔画像のうち目の外端及び鼻の先端を特徴点として抽出する。具体的には、顔向き認識部５１は、図４に示したように、左目の外端（左側の端）Ｌ、右目の外端（右側の端）Ｒ、及び鼻の頭Ｎを抽出する。そして、図４に示したように、点Ｎ（鼻の頭）から、線分ＬＲ（左右両目の外端同士を結んだ線分）に降ろした垂線と線分ＬＲとの交点を特徴点Ｃとして抽出する。
【００４２】
そして、顔向き認識部５１は、このようにして抽出した特徴点に基づいてドライバの顔向き角度の認識を行う。まず、ピッチ角θｘに関しては、ドライバの顔の向きがドライバモニタカメラ１１の方を向いた状態から上下方向に変化するほど、線分ＬＲの長さに対する線分ＣＮの長さの比（以下、「ＣＮ／ＬＲ比」ともいう）が小さくなる。したがって、本実施形態のようにドライバモニタカメラ１１が水平よりも或る程度上向きに向けられている場合には、ドライバの顔の向きが上向きになるほどＣＮ／ＬＲ比が小さくなる。よって、本実施形態では、顔向き認識部５１は、ＣＮ／ＬＲ比に基づいてドライバの顔のピッチ角θｘを算出する。
【００４３】
また、このときピッチ角θｘは、例えば、ドライバの顔が上下方向（ピッチ角方向）においてドライバモニタカメラ１１の方を向いている向き（すなわち、ＣＮ／ＬＲ比が最大となる向き）を暫定基準として暫定的に算出される。したがって、ドライバの顔がピッチ角方向においてドライバモニタカメラ１１の方向を向いているときに、ドライバの顔のピッチ角が０°であるとしてピッチ角が暫定的に算出される。以下では、このようにして暫定基準に基づいて算出された暫定的なピッチ角を暫定ピッチ角θｘ’という。なお、暫定ピッチ角を算出するための暫定基準は必ずしもドライバの顔がドライバモニタカメラ１１の方を向いている向きとされる必要はなく、任意の向きに設定することができる。
【００４４】
また、ヨー角θｙに関しては、ドライバの顔の向きがドライバモニタカメラ１１の方を向いた状態では、線分ＬＣに対する線分ＲＣの比（以下、「ＲＣ／ＬＣ比」ともいう）は約１となる。この状態からドライバが右方向を向くと、線分ＲＣが短くなるため、ＲＣ／ＬＣ比が１よりも小さくなる。逆に、この状態からドライバが左方向を向くと、線分ＬＣが短くなるため、ＲＣ／ＬＣ比が１よりも大きくなる。よって、本実施形態では、顔向き認識部５１は、ＲＣ／ＬＣ比に基づいてドライバのヨー角θｙを算出する。
【００４５】
また、このときヨー角θｙは、例えば、ＲＣ／ＬＣ比が１となる向きを暫定基準として暫定的に算出される。したがって、ＲＣ／ＬＣ比が１となるときに、ドライバの顔のヨー角が０°であるとしてヨー角が暫定的に算出される。以下では、このようにして暫定基準に基づいて算出された暫定的なヨー角を暫定ヨー角θｙ’という。なお、暫定ヨー角を算出するための暫定基準は必ずしもＲＣ／ＬＣ比が１となる向きとされる必要はなく、任意の向きに設定することができる。
【００４６】
さらに、ロール角θｚに関しては、ドライバの顔の向きが傾くと、ドライバモニタカメラ１１の水平線に対する線分ＲＬの角度（以下、単に「線分ＲＬの角度」ともいう）が変化する。よって、本実施形態では、顔向き認識部５１は、ドライバモニタカメラ１１の水平線に対する線分ＲＬの角度に基づいてドライバのロール角θｚを算出する。
【００４７】
また、このときロール角θｚは、例えば、線分ＲＬの角度が０°となる向きを暫定基準として暫定的に算出される。したがって、線分ＲＬの角度が０°となるときに、ドライバの顔のロール角が０°であるとしてロール角が暫定的に算出される。以下では、このようにして暫定基準に基づいて算出された暫定的なロール角を暫定ロール角θｚ’という。なお、暫定ロール角を算出するための暫定基準は必ずしも線分ＲＬの角度が０°となる向きとされる必要はなく、任意の向きに設定することができる。
【００４８】
なお、図４に示した例では、顔向き認識部５１は、ドライバモニタカメラ１１によって撮像された顔画像に基づいて三つの特徴点を抽出し、これら特徴点に基づいてドライバの顔向き角度を認識している。しかしながら、顔向き認識部５１は、他の方法によってドライバの顔向き角度を認識するように構成されてもよい。したがって、顔向き認識部５１は、例えば、より多くの特徴点に基づいてドライバの顔向き角度を認識するように構成されてもよいし、顔画像を３Ｄモデルにフィッティング（マッチング）させ、この３Ｄモデルを用いて顔向き角度を認識するように構成されてもよい。いずれにせよ、顔向き認識部５１では、暫定基準に基づいて、暫定ピッチ角θｘ’、暫定ヨー角θｙ’及び暫定ロール角θｚ’ （これらをまとめて「暫定顔向き角度θ’」という）が算出される。
【００４９】
ゼロ点設定部５２は、顔向き角度のゼロ点を設定する。このゼロ点は、ドライバが正面を向いているときに、ピッチ角θｘ、ヨー角θｙ及びロール角θｚが共に０°となるように設定される。
【００５０】
例えば、ピッチ角方向について考えた場合、暫定ピッチ角θｘ’は、必ずしもドライバが正面を向いているときに０°にならない。そこで、ゼロ点設定部５２は、ドライバが正面を向いているときのピッチ角θｘが０°となるようにピッチ角のゼロ点を設定する。したがって、暫定ピッチ角θｘ’が或る角度であるときがピッチ角θｘが０°であるとしてピッチ角のゼロ点の設定が行われることになる。例えば、ドライバが正面を向いているときに暫定ピッチ角θｘ’が１５°となっている場合には、暫定ピッチ角θｘ’が１５°となっている状態がドライバの顔のピッチ角θｘのゼロ点として設定される。
【００５１】
ヨー角方向やロール角方向についても同様なことがいえる。したがって、ゼロ点設定部５２は、ドライバが正面を向いているときのヨー角θｙが０°となるようにヨー角のゼロ点を設定し、ドライバが正面を向いているときのロール角θｚが０°となるようにロール角のゼロ点を設定する。
【００５２】
状態診断部５３は、ゼロ点設定部５２によって設定されたゼロ点に対する現在の顔向き角度に基づいてドライバの状態を診断する。上述したように、ゼロ点は、ドライバが正面を向いているときに、ピッチ角θｘ、ヨー角θｙ及びロール角θｚが共に０°となるように設定される。したがって、例えば、車両６０の運転中に、ゼロ点に対するピッチ角θｘ、ヨー角θｙの絶対値が一定時間以上に亘って予め定められた判定基準値よりも大きいときには、状態診断部５３は、ドライバは脇見運転をしていると判定する。また、車両６０の運転中にゼロ点に対するロール角θｚが一定時間以上に亘って予め定められた判定基準値よりも大きいときには、状態診断部５３は、ドライバに異常が生じていると判定する。
【００５３】
道路状況検出部５４は、車両６０が走行している道路の状況を検出する。道路状況検出部５４は、周辺環境検出装置２０によって検出された車両周辺状況に基づいて道路状況を検出してもよいし、ＧＰＳ受信機３１によって検出された現在位置及び地図データベース３２の地図情報に基づいて道路状況を検出してもよい。道路状況検出部５４によって検出される道路状況としては、車両６０が走行している道路が直線道路であるか否か及びカーブである場合にはその曲率半径がどの程度であるか、並びに車両６０が走行している道路の傾斜角度等が挙げられる。
【００５４】
ドライバ変化検出部５５は、ドライバの姿勢の変化やドライバの交代等、ドライバの変化を検出する。ドライバ変化検出部５５は、例えば、座面圧センサ１３の出力に基づいてドライバの変化を検出する。具体的には、例えば、座面圧センサ１３によって検出される圧力が一旦ゼロになった後、再び或る程度の値になった場合には、ドライバ変化検出部５５は、ドライバが交代したか又はドライバの姿勢が変化したと判定する。また、座面圧センサ１３によって検出された圧力が一旦ゼロになることなくその分布が変化した場合には、ドライバ変化検出部５５は、ドライバの姿勢が変化したと判定する。
【００５５】
なお、ドライバ変化検出部５５は、座面圧センサ１３ではなく、別の検出装置の出力に基づいてドライバの変化を検出してもよい。したがって、例えば、ドライバ変化検出部５５は、ドライバモニタカメラ１１によって撮像された画像に基づいてドライバの変化を検出してもよい。
【００５６】
≪ゼロ点の設定における問題≫
ところで、上述した顔向き角度がゼロであるゼロ点は、予め定められた固定値に設定することができる。例えば、暫定ピッチ角θｘ’を算出する際の暫定基準（固定値）をピッチ角θｘのゼロ点として予め設定し、暫定ヨー角θｙ’を算出する際の暫定基準（固定値）をヨー角θｙのゼロ点として予め設定することができる。
【００５７】
しかしながら、ピッチ角θｘのゼロ点やヨー角θｙのゼロ点を予め定められた固定値として設定すると、ドライバが正面を向いているときを正確に認識することができない可能性がある。
【００５８】
例えば、ドライバが前に乗り出して運転しているときと、ドライバがドライバ用シート６５に深く座っているときとでは、ドライバモニタカメラ１１に対するドライバの顔の位置が異なる。この結果、両者の間では、ドライバが正面を向いているときの、ドライバモニタカメラ１１に対するドライバの顔の向きが異なる。また、座高の高いドライバと座高の低いドライバとでも、ドライバモニタカメラ１１に対するドライバの顔の位置が異なる。この結果、両者の間では、ドライバが正面を向いているときの、ドライバモニタカメラ１１に対するドライバの顔の向きが異なる。このように、ドライバモニタカメラに対する顔の向きは、ドライバモニタカメラの設置位置、ドライバの体格、着座姿勢等に応じて変化する。また、ドライバの顔の造りによって、ドライバが正面を向いているときのＣＮ／ＬＲ比、ＲＣ／ＬＣ比や線分ＲＬの角度が異なり、これに伴ってドライバが正面を向いているときの暫定ピッチ角θｘ’、暫定ヨー角θｙ’や暫定ロール角θｚ’が異なった値となる。
【００５９】
このようにしてドライバが正面を向いているときを正確に認識できなくなると、状態診断部５３は、ドライバが正面を向いていないときを基準にドライバの顔のピッチ角やヨー角等を判断してしまう可能性がある。この結果、状態診断部５３は、脇見運転等をしていないにもかかわらずドライバは脇見運転等をしていると判定したり、逆に脇見運転等をしているにもかかわらずドライバは脇見運転等をしていないと判定したりしてしまうことになる。
【００６０】
≪ゼロ点の設定≫
そこで、本実施形態では、ゼロ点設定部５２は、ゼロ点設定条件が成立しているときに顔向き認識部５１によって認識されたドライバの顔向き角度に基づいて、ドライバの顔のピッチ角、ヨー角及びロール角（すなわち、顔向き角度）のゼロ点を設定する。
【００６１】
そして、本実施形態では、ゼロ点設定条件は、車両の速度が０よりも速い所定の基準速度以上であることを含む。したがって、ゼロ点設定部５２は、車両の速度が０よりも速い所定の基準速度以上であるときに顔向き認識部５１によって認識されたドライバの顔向きに基づいてゼロ点の設定を行う。ここで、基準速度は、ドライバが脇見をする頻度が少なくなるような速度であることが好ましく、例えば、時速２０ｋｍ以上、好ましくは時速４０ｋｍ以上、より好ましくは時速６０ｋｍ以上である。
【００６２】
また、本実施形態では、ゼロ点設定条件は、道路状況検出部５４によって車両６０が傾斜のない直線道路を走行中であることが検出されていることを含む。したがって、ゼロ点設定部５２は、車両６０が傾斜のない直線道路を走行中であるときに顔向き認識部５１によって認識されたドライバの顔向きに基づいてゼロ点の設定を行う。
【００６３】
ここで、傾斜のない道路は、ドライバが視認できる範囲において水平に対して全く傾斜していない道路に加えて、ドライバが視認できる範囲においてほとんど傾斜していない道路、例えば、水平に対する傾斜角度が０．５°以下の道路も含む。また、直線道路は、ドライバが視認できる範囲において直線状に延びる道路を意味する。
【００６４】
具体的には、本実施形態では、ゼロ点設定条件が成立しているときに顔向き認識部５１によって認識された暫定ピッチ角θｘ’、暫定ヨー角θｙ’及び暫定ロール角θｚ’に基づいて、それぞれドライバの顔のピッチ角、ヨー角及びロール角のゼロ点が設定される。
【００６５】
特に、本実施形態では、ゼロ点設定部５２は、顔向き認識部５１によって認識されたドライバの顔向き、すなわち暫定ピッチ角θｘ’、暫定ヨー角θｙ’及び暫定ロール角θｚ’を一定期間に亘って連続的に取得する。そしてこの一定期間に取得された暫定ピッチ角θｘ’の平均値、暫定ヨー角θｙ’の平均値及び暫定ロール角θｚ’の平均値が、それぞれピッチ角、ヨー角及びロール角のゼロ点として設定される。ここで、一定期間は、ゼロ点の設定に誤差が生じないような十分な時間、例えば、１０秒以上５分未満、好ましくは３０秒以上３分未満、より好ましくは１分以上２分未満とされる。
【００６６】
また、本実施形態では、ゼロ点の設定は、以下のようなタイミングで行われる。したがって、以下のようなタイミングであることもゼロ点設定条件の一つであるといえる。
【００６７】
一つ目のタイミングとしては、車両６０のイグニッションスイッチがオフからオンに変わってからゼロ点設定部５２による顔向き角度のゼロ点の設定が未だに行われていないときが挙げられる。イグニッションスイッチがオンに変わったときには、前回の車両運転時からドライバやその姿勢が変わっている可能性が高く、ドライバやその姿勢が変わったときにはそれに伴ってゼロ点も変化している可能性が高い。このため、このようなタイミングでゼロ点の設定を行うことにより、新たなドライバや新たな姿勢にゼロ点を合わせることができる。
【００６８】
二つ目のタイミングとしては、ゼロ点の設定を前回行ってからの経過時間が一定時間以上であるとき、又はゼロ点の設定を前回行ってからの走行距離が一定距離以上であるときが挙げられる。一般に、長時間や長距離の運転を行うとドライバの姿勢が変わる可能性が高い。このため、このようなタイミングでゼロ点の設定を行うことにより、ドライバの変更後の姿勢にゼロ点を合わせることができる。
【００６９】
三つ目のタイミングとしては、ドライバ変化検出部５５によってドライバの変化（すなわち、ドライバの姿勢の変化やドライバの交代等）が検出されたときが挙げられる。上述したように、ドライバやその姿勢が変わったときにはそれに伴ってゼロ点も変化している可能性が高い。このため、このようなタイミングでゼロ点の設定を行うことにより、新たなドライバや新たな姿勢にゼロ点を合わせることができる。
【００７０】
≪作用及び効果≫
次に、本実施形態に係るドライバモニタシステム１の作用及び効果について説明する。
【００７１】
車両６０が停車しているときには、ドライバは正面を向かずに脇見をしていることも多い。このため、車両６０が停車しているときにドライバの顔向き角度のゼロ点設定を行うと、ドライバが正面を向いていないときのドライバの顔向き角度がゼロ点として設定されてしまう可能性がある。これに対して、本実施形態のドライバモニタシステム１では、車両の速度が基準速度以上であるときに顔向き認識部５１によって認識されたドライバの顔向き角度に基づいてゼロ点の設定が行われる。この結果、本実施形態のドライバモニタシステム１によれば、ドライバが正面を向いているときのドライバの顔向き角度をゼロ点として設定することができる。
【００７２】
また、車両６０の前方に上り坂又は下り坂があると、ドライバはその上り坂や下り坂の傾斜方向を向くことが多い。このため、車両６０が傾斜のある道路を走行していると、ドライバの顔が正面を向いていないことがある（特に、ピッチ角方向）。これに対して、本実施形態のドライバモニタシステム１では、車両６０が傾斜のない道路を走行しているときに顔向き認識部５１によって認識されたドライバの顔向き角度に基づいてゼロ点の設定が行われる。この結果、本実施形態のドライバモニタシステム１によれば、より正確にドライバの顔向き角度（特に、ピッチ角）のゼロ点を設定することができる。
【００７３】
加えて、車両６０の前方にカーブした道路があると、ドライバはそのカーブによって曲がる方向を向くことが多い。このため、車両６０がカーブした道路を走行していると、ドライバの顔が正面を向いていないことがある（特に、ヨー角方向）。これに対して、本実施形態のドライバモニタシステム１では、車両６０が直線道路を走行しているときに顔向き認識部５１によって認識されたドライバの顔向き角度に基づいてゼロ点の設定が行われる。この結果、本実施形態のドライバモニタシステム１によれば、より正確にドライバの顔向き角度（特に、ヨー角）のゼロ点を設定することができる。
【００７４】
さらに、本実施形態では、或る瞬間的なタイミングで取得された暫定ピッチ角θｘ’等ではなく、一定期間に取得された暫定ピッチ角θｘ’等の平均値が、ピッチ角等のゼロ点として設定される。したがって、ドライバが路上の障害物等を発見して一時的に正面を向いていないことがあったような状況下でも、比較的正確にゼロ点を設定することができる。
【００７５】
≪第一実施形態の変形例≫
なお、本実施形態では、ゼロ点設定部５２は、ゼロ点設定条件が成立したときのドライバの顔向き角度に基づいて、ドライバの顔のピッチ角、ヨー角及びロール角の全てについてゼロ点を設定している。しかしながら、ゼロ点設定部５２は、必ずしもドライバの顔のピッチ角、ヨー角及びロール角の全てについてゼロ点を設定しなくてもよく、ドライバの顔のピッチ角、ヨー角及びロール角の少なくともいずれか一つを含む顔向き角度のゼロ点を設定すればよい。
【００７６】
また、上記実施形態では、ゼロ点設定条件として、車両６０が傾斜のない直線道路を走行中であることが含まれている。しかしながら、ゼロ点設定条件として必ずしもこのような条件が含まれていなくてもよい。或いは、ゼロ点設定条件には、車両６０が傾斜のない道路を走行中であること及び車両６０が直線道路を走行中であることうちいずれか一方のみが含まれていてもよい。
【００７７】
さらに、上記実施形態では、一定期間に取得された暫定ピッチ角θｘ’等の平均値に基づいてゼロ点の設定を行っている。しかしながら、必ずしもゼロ点の設定に一定期間に取得された暫定ピッチ角θｘ’等の平均値を用いなくてもよく、例えば、或る一時点における暫定ピッチ角θｘ’等に基づいてゼロ点の設定を行ってもよいし、一定期間に取得された暫定ピッチ角θｘ’等の度数分布におけるピークに基づいてゼロ点の設定を行ってもよい。
【００７８】
また、ピッチ角のゼロ点設定を行う際には、ゼロ点設定条件として、現在のヨー角の絶対値が予め定められた所定の角度（例えば、１５°）以内であることが含まれていてもよい。すなわち、ドライバが横を向いた状態であると、顔向き認識部５１は暫定ピッチ角θｘ’を正確に算出するこができない可能性がある。従って、ドライバが横を向いた状態でピッチ角のゼロ点の設定を行うと、ピッチ角のゼロ点も正確に設定できなくなる可能性がある。このため、現在のヨー角の絶対値が予め定められた所定の角度以内であるときにピッチ角のゼロ点設定を行うことにより、ピッチ角のゼロ点を正確に設定することができる。
【００７９】
≪フローチャート≫
図５は、ゼロ点設定の実行タイミングを判定する制御の制御ルーチンを示すフローチャートである。図示した制御ルーチンは一定時間間隔で繰り返し実行される。
【００８０】
図５に示したように、まず、ステップＳ１１では、車両６０のイグニッションスイッチがオフからオンに切り替えられたか否かが判定される。イグニッションスイッチがオンに切り替えられたと判定された場合にはステップＳ１４へと進み、オンに切り替えられていないと判定された場合にはステップＳ１２へと進む。
【００８１】
ステップＳ１２では、前回ゼロ点の設定が行われてからの経過時間Ｔが予め定められた基準時間Ｔｒｅｆ以上であるか否かが判定される。経過時間Ｔが基準時間Ｔｒｅｆ以上であると判定された場合には、ステップＳ１４へと進み、経過時間Ｔが基準時間Ｔｒｅｆ未満であると判定された場合にはステップＳ１３へと進む。
【００８２】
ステップＳ１３では、ドライバ変化検出部５５によってドライバの変化、すなわちドライバの姿勢の変化やドライバの交代が検出されたか否かが判定される。ステップＳ１３においてドライバの変化が検出されたと判定された場合には、ステップＳ１４へと進む。一方、ドライバの変化が検出されていないと判定された場合には、制御ルーチンが終了せしめられる。
【００８３】
ステップＳ１４では、ゼロ点設定の実行フラグＦｒがオンにされ、制御ルーチンが終了せしめられる。実行フラグＦｒは、ゼロ点の設定を実行すべきときにオンにされ、それ以外のときにオフとされるフラグである。
【００８４】
図６は、ドライバの顔向き角度のゼロ点を設定する制御の制御ルーチンを示すフローチャートである。図示した制御ルーチンは、一定時間間隔で繰り返し実行される。
【００８５】
図６に示したように、まず、ステップＳ２１では、ゼロ点設定の実行フラグＦｒがオンになっているか否かが判定される。図５のステップＳ１４において実行フラグＦｒがオンにされていると、実行フラグＦｒがオンに設定されているとステップＳ２１において判定され、ステップＳ２２へと進む。
【００８６】
ステップＳ２２では、車速センサ１２によって検出された車両６０の速度Ｖが所定の基準速度Ｖｒｅｆ以上であるか否かが判定される。ステップＳ２２において車両６０の速度Ｖが基準速度Ｖｒｅｆ未満であると判定された場合には制御ルーチンが終了せしめられる。ステップＳ２２において、車両６０の速度Ｖが基準速度Ｖｒｅｆ以上であると判定された場合にはステップＳ２３へと進む。
【００８７】
ステップＳ２３では、道路状況検出部５４によって車両６０が傾斜のない直線道路を走行中であることが検出されているか否かが判定される。車両６０が傾斜のない直線道路を走行中ではないと判定された場合には制御ルーチンが終了せしめられる。一方、ステップＳ２３において、車両６０が傾斜のない直線道路を走行中であると判定された場合にはステップＳ２４へと進む。ステップＳ２４では、顔向き認識部５１から暫定顔向き角度θ’（すなわち、暫定ピッチ角θｘ’、暫定ヨー角θｙ’及び暫定ロール角θｚ’）が取得される。
【００８８】
次いで、ステップＳ２５では、現在のカウンタＣＴの値に１を加算した値がカウンタＣＴの新たな値とされる。カウンタＣＴは、暫定顔向き角度θ’の取得が開始されてからの経過時間を示すカウンタである。次いで、ステップＳ２６では、カウンタＣＴが基準値ＣＴｒｅｆ以上であるか否かが判定される。ステップＳ２６において、カウンタＣＴが基準値ＣＴｒｅｆ未満であると判定された場合には制御ルーチンが終了せしめられる。一方、ステップＳ２６において、カウンタＣＴが基準値ＣＴｒｅｆ以上であると判定された場合にはステップＳ２７へと進む。
【００８９】
ステップＳ２７では、ステップＳ２４において複数回取得された暫定顔向き角度θ’に基づいて、ドライバの顔向き角度のゼロ点が設定（更新）される。具体的には、暫定顔向き角度θ’の平均値が顔向き角度θのゼロ点として設定される。次いで、ステップＳ２８では、実行フラグＦｒがオフにリセットされ、制御ルーチンが終了せしめられる。
【００９０】
一方、ステップＳ２１において、実行フラグＦｒがオフになっていると判定された場合には、ステップＳ２９へと進む。ステップＳ２９では、カウンタＣＴがゼロにリセットされ、制御ルーチンが終了せしめられる。
【００９１】
＜第二実施形態＞
次に、図７を参照して、第二実施形態に係るドライバモニタシステム１について説明する。第二実施形態に係るドライバモニタシステムの構成及び制御は基本的に第一実施形態に係るドライバモニタシステムの構成及び制御と同様である。以下では、第一実施形態のドライバモニタシステムとは異なる点を中心に説明する。
【００９２】
ところで、ドライバが車両６０のスイッチ類を操作しているときには、ドライバはそのスイッチ類の方を見ていることが多い。したがって、上述したゼロ点設定条件を満たしている場合であっても、例えばドライバが車両６０のスイッチ類を操作しているときには、ドライバは正面を向いていない可能性が高い。
【００９３】
そこで、本実施形態では、ドライバ周りのスイッチ類の操作が検知されている等の禁止条件が成立しているときには、上述したゼロ点設定条件が成立しているときであっても、ゼロ点の設定が禁止される。特に、本実施形態では、このようなときには、ゼロ点設定部５２による顔向き認識部５１からの暫定顔向き角度θ’の取得が停止せしめられる。
【００９４】
また、ドライバが正面を向いているときの暫定顔向き角度θ’は基本的に或る程度の範囲（基準角度範囲）内に収まる。例えば、ドライバが正面を向いているときの暫定ヨー角θｙ’は、基本的に−１０°程度から１０°程度の間に収まる。したがって、ゼロ点設定のために算出された暫定ヨー角θｙ’の平均値（すなわち、上述した一定期間中における暫定ヨー角θｙ’の平均値）は、この範囲内に収まるはずである。
【００９５】
そこで、本実施形態では、ゼロ点設定のために算出された暫定ヨー角θｙ’の平均値が基準角度範囲内に収まっていない場合には、ゼロ点の設定を禁止することとしている。同様に、ゼロ点設定のために算出された暫定ピッチ角θｘ’の平均値がその基準角度範囲内に収まっていない場合、及びゼロ点設定のために算出された暫定ロール角θｚ’の平均値がその基準角度範囲内に収まっていない場合には、ゼロ点の設定を禁止することとしている。すなわち、本実施形態では、ゼロ点設定のために算出された暫定顔向き角度θ’が予め設定した基準角度範囲内に収まっていない場合には、顔向き角度のゼロ点の設定を禁止することとしている。ここで、基準角度範囲は、ドライバが正面を向いているときに顔向き角度が通常取り得る範囲に設定される。
【００９６】
図７は、第二実施形態におけるドライバの顔向き角度のゼロ点を設定する制御の制御ルーチンを示すフローチャートである。図示した制御ルーチンは、一定時間間隔で繰り返し実行される。なお、図７におけるステップＳ３１〜Ｓ３３、Ｓ３５〜Ｓ３７、Ｓ３９〜Ｓ４１は、それぞれ図６におけるステップＳ２１〜Ｓ２９と同様であり、よって以下ではこれらについての説明を省略する。
【００９７】
ステップＳ３４では、禁止条件が成立しているか否かが判定される。禁止条件は、例えば、ドライバが車両６０のスイッチ類を操作しているときに成立する。ステップＳ３４において禁止条件が成立していないと判定された場合にはステップＳ３５へと進むと共に、禁止条件が成立していると判定された場合には制御ルーチンが終了せしめられる。
【００９８】
また、ステップＳ３８では、ステップＳ３５において複数回取得された暫定顔向き角度の（すなわち、暫定ピッチ角θｘ’、暫定ヨー角θｙ’及び暫定ロール角θｚ’）の平均値θ’ａｖｅが、それぞれ予め設定された基準角度範囲（θ’1〜θ’2）内に収まっているか否かが判定される。具体的には、例えば、暫定ピッチ角θｘ’の平均値が、第１暫定ピッチ角θｘ’1から第２暫定ピッチ角θｘ’2の基準角度範囲内に収まっているか否かが判定される。ステップＳ３８において、暫定顔向き角度の平均値θ’ａｖｅが、予め設定された基準角度範囲内に収まっていないと判定された場合には制御ルーチンが終了せしめられる。一方、暫定顔向き角度の平均値θ’ａｖｅが、予め設定された基準角度範囲内に収まっていると判定された場合にはステップＳ３９へと進み、ゼロ点の設定が行われる。
【符号の説明】
【００９９】
１    ドライバモニタシステム
１１  ドライバモニタカメラ
１２  車速センサ
１３  座面圧センサ
２０  周辺環境検出装置
３１  ＧＰＳ受信機
３２  地図データベース
４０  ＨＭＩ
５０  ＥＣＵ
５１  顔向き認識部
５２  ゼロ点設定部
５３  状態診断部
５４  道路状況検出部
５５  ドライバ変化検出部
６０  車両
【図１】
2019087150.tif 000003
【図２】
2019087150.tif 000004
【図３】
2019087150.tif 000005
【図４】
2019087150.tif 000006
【図５】
2019087150.tif 000007
【図６】
2019087150.tif 000008
【図７】
2019087150.tif 000009