(57)【要約】【課題】  体が平行移動した場合も顔が一方向に移動したとみなさないようにし、脇見運転の検出性能を向上させることができる脇見運転検出装置を提供すること。【解決手段】  ドライバを撮像した画像から脇見運転を検出する脇見運転検出装置１において、ドライバの頭部を上方から撮像するカメラ３と、撮像画像に対してオプティカルフローを用いドライバの頭部の回転角度を算出し、ドライバの脇見を判断するマイコンユニット２を備えた。【選択図】        図１
2009271838.tif 000002
【特許請求の範囲】
【請求項１】
ドライバを撮像した画像から脇見運転を検出する脇見運転検出装置において、
ドライバの頭部を上方から撮像する撮像手段と、
前記撮像画像に対してオプティカルフローを用いドライバの頭部の回転角度を算出し、ドライバの脇見を判断する処理判断手段を備えた、
ことを特徴とする脇見運転検出装置。
【請求項２】
請求項１に記載の脇見運転検出装置において、
前記処理判断手段は、
前記撮像画像及び判定データを記憶するデータ記憶手段と、
前記データ記憶手段に記憶させた前回撮像画像と今回撮像画像からオプティカルフローを用い、ドライバの頭部の回転角度を算出し、ドライバの脇見を判断する脇見運転判定手段と、
を備えることを特徴とする脇見運転検出装置。
【請求項３】
請求項２に記載の脇見運転検出装置において、
前記脇見運転判定手段は、
前記データ記憶手段に記憶させた前回撮像画像と今回撮像画像からオプティカルフローで移動量ベクトルを得て、前記移動量ベクトルの複数に直交する垂線を設定し、複数の垂線が交わる点に基づいて、ドライバの頭部の回転中心を設定する処理と、
前記回転中心に対して、前記移動量ベクトルからドライバの頭部の回転角度を算出する処理と、
を備えることを特徴とする脇見運転検出装置。
【請求項４】
請求項２又は請求項３に記載の脇見運転検出装置において、
車両の操舵角を検出する舵角センサと、
ドライバが操作したアクセル開度を検出するアクセル開度センサと、
を備え、
前記脇見運転判定手段は、舵角が直進状態で、アクセル開度が増加状態の場合の撮像画像をドライバの頭部の回転角度がゼロの状態として、
前記データ記憶手段に保存し、更新し、且つドライバの頭部の回転角度算出に用いるようにした、
ことを特徴とする脇見運転検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバの脇見運転を検出する脇見運転検出装置の技術分野に属する。
【背景技術】
【０００２】
従来では、カメラをステアリング部上部に設置し、ハンドルの間を通して顔の画像を前面からカメラで撮影することにより、２枚以上の画像からオプティカルフローにより、顔の移動量と方向を検出し、顔向きを決め、その値が閾値以上の状態が、一定時間継続すると脇見運転と判定している（例えば、特許文献１参照。）。
【特許文献１】特開２００５−１８６５４号公報（第２−１９頁、全図）
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来にあっては、顔を前面から撮影しているため、体が平行移動した場合も顔が一方向に移動したとみなされる問題があった。
【０００４】
本発明は、上記問題点に着目してなされたもので、その目的とするところは、体が平行移動した場合も顔が一方向に移動したとみなさないようにし、脇見運転の検出性能を向上させることができる脇見運転検出装置を提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明では、ドライバを撮像した画像から脇見運転を検出する脇見運転検出装置において、ドライバの頭部を上方から撮像する撮像手段と、前記撮像画像に対してオプティカルフローを用いドライバの頭部の回転角度を算出し、ドライバの脇見を判断する処理判断手段を備えた、ことを特徴とする。
【発明の効果】
【０００６】
よって、本発明にあっては、体が平行移動した場合も顔が一方向に移動したとみなさないようにし、脇見運転の検出性能を向上させることができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の脇見運転検出装置を実現する実施の形態を、請求項１，２，３，４に係る発明に対応する実施例１に基づいて説明する。
【実施例１】
【０００８】
まず、構成を説明する。
図１は実施例１の脇見運転検出装置の概略説明図である。
脇見運転検出装置１は、マイコンユニット２、カメラ３、舵角センサ４、アクセル開度センサ５、表示器６を備えている。
マイコンユニット２は、各センサからの入力と、カメラ３で撮像する画像の処理結果から脇見運転の判定を行う。
カメラ３は、赤外線カメラであり、車室内のルーフ部分に設置され、ドライバの頭部を上方から撮像する。具体的には、近赤外線LEDをマイコンユニット２で制御するようにし、撮像と同期させて発光させるようにする。
【０００９】
舵角センサ４は、操舵による舵角を検出する。
アクセル開度センサ５は、アクセル開度、もしくはアクセル踏力を検出する（実施例１ではアクセル開度とする）。
なお、舵角センサ４及びアクセル開度センサ５は、他の制御系統として設置されたものを用いることが好ましく、その場合は、信号を直接入力してもよいし、他の制御系のコントローラから車内通信網を介して得るようにしてもよい。
表示器６は、脇見運転が検出された場合に警告表示や注意を喚起する表示等を行う。なお、表示器６は、既存の表示部の一部として設けられたものであってもよいし、他の表示器で一時的に表示されるものであってもよい。
【００１０】
図２は実施例１の脇見運転検出装置の制御ブロック構成を示す図である。
マイコンユニット２は、脇見運転判定部２１とデータ記憶部２２を備えている。
脇見運転判定部２１は、カメラ３からの画像をオプティカルフロー処理し、頭部の回転角度を算出し、舵角センサ４の検出値、アクセル開度センサ５からのアクセル開度、と合わせて、脇見運転の判定をおこなう。
データ記憶部２２は、全画像の保存、頭部の回転角、脇見時間等のデータの蓄積を行う。
【００１１】
作用を説明する。
[脇見運転判断処理]
【００１２】
図３に示すのは、脇見運転判定部２１で実行される脇見運転判断処理のフローチャートで、以下各ステップについて説明する。
【００１３】
ステップＳ１では、ドライバの正面状態の検出を行う。
【００１４】
ステップＳ２では、正面向き状態を検出したかどうかを判断し、検出したならばステップＳ３へ進み、検出しないならばステップＳ５へ進む。
【００１５】
ステップＳ３では、Σθをゼロ、Ｔをゼロとし、ステップＳ４へ進む。
【００１６】
ステップＳ４では、移動量ベクトルに垂線(L1,L2)をたて、その交点を回転中心(X)とする。
【００１７】
ステップＳ５では、オプティカルフロー処理を行う。
【００１８】
ステップＳ６では、回転角θを符号つきで計算する。
【００１９】
ステップＳ７では、画像間の回転角度θ１、θ２、θ３・・・の合計Σθを求める。
【００２０】
ステップＳ８では、Σθ≧閾値が成立する時間Ｔのカウントを開始する。
【００２１】
ステップＳ９では、時間Ｔが脇見基準時間より長いかどうかを判断し、脇見基準時間より長いならばステップＳ１１へ進み、脇見基準時間より短いならばステップＳ１０へ進む。
【００２２】
ステップＳ１０では、Σθ<閾値となったかどうかを判断し、条件成立ならばステップＳ１２に進み、条件不成立ならばステップＳ２へ戻る。
【００２３】
ステップＳ１１では、脇見と判定する。
【００２４】
ステップＳ１２では、時間Ｔのカウントを停止し、時間Ｔをゼロにする。
【００２５】
[脇見運転判断作用]
図４は実施例１の脇見運転検出装置において頭部の回転中心を求める状態を示す説明図である。図５は実施例１の脇見運転検出装置において頭部の回転角θ１を求める状態を示す説明図である。図６は実施例１の脇見運転検出装置において頭部の回転角θ２を求める状態を示す説明図である。図７は実施例１の脇見運転検出装置において頭部の回転角の補正を行っている状態を示す説明図である。  実施例１の脇見運転検出装置１の脇見運転判定部２１は、まず、舵角センサ４及びアクセル開度センサ５からの入力から、ステアリング角度がゼロで、アクセル開度が増える状態を検知して、その時の画像を頭部回転ゼロ度、つまり顔が前向き状態の画像として取り込み、一時的に記憶させておく。
そして、データ記憶部２２に記憶させたカメラ３の前回の撮像画像に対して、オプティカルフローから生じた回転ベクトルの２つ以上に垂線L1、垂線L2を設定する。そして、この垂線L1、L2の交点を頭部回転中心Ｘとする（ステップＳ２〜Ｓ４、図４参照）。
【００２６】
ここで、オプティカルフロー処理とは、前後の画像において、同一輝度の画素点が前後の画像で移動することを移動量ベクトルｖで捉えるようにして、撮像対象の動きを画像から捉えるものである。
オプティカルフロー処理を用いることにより、鼻などの特徴点が見えることがなくても回転角度が求められ、確実性が増すことになる。
次に、回転角度θnを求める。
正面（車両前方）を向いた画像g0のオプティカルフローの参照ブロックＡと頭部回転中心Ｘとを結んだ直線と、次の画像g1の対応するブロックを、回転中心から結んだ直線の成す角を回転角θ１とする（図５参照）。同様に、次の画像g2と画像g1の成す角度をθ２とする（図６参照）。
そして、その積算値、つまりΣθ＝θ１＋θ２＋θ３・・・を現在の回転角とする（ステップＳ６、ステップＳ７）。なお、頭部ｈの形状は円形に近似される（図５、図６参照）。
【００２７】
さらに、運転中に、ステアリング角度がゼロ度に近く、アクセル開度が大きくなっているときの画像を正面方向画像として、顔向き方向Σθをゼロとして補正を行うようにする（ステップＳ１０→Ｓ２→Ｓ３の流れ、図７参照）。
このように実施例１の脇見運転検出装置１では、ドライバの頭部が正面から角度的にどれくらい回転しているかを正確に検出して脇見を判断することが可能となる。
【００２８】
さらに説明する。
上方からの画像には、図４〜図７に示すように、頭部の回転中心が画像中に位置するように撮像範囲を設定しているので、オプティカルフロー処理により頭部の回転角度を求めやすくなっている。
例えば、ドライバの頭部が回転せずに平行移動した際、あるいは、やや回転しつつ平行移動した際には、頭部の回転中心の移動分を差し引くようにすれば、頭部の回転中心に対しての頭部の回転角度が正確に算出されることになる。
そのため、頭部の平行移動を脇見と判断するような誤判断は、非常に抑制されることになる。これにより、従来のようにドライバの顔を前面から撮像しているため、体が平行移動した場合に顔が一方向に移動したとみなされることがない。
【００２９】
また、前方からドライバの顔を撮像する場合は、手や腕によって顔が隠されて撮像できない場合が生じる。実施例１の脇見運転検出装置１では、上方からの頭部の撮像を行うため、手や腕で撮像が遮られることが非常に少なくなる。
また、前方からドライバの顔を撮像する場合は、カメラの斜め後ろから太陽光が当たると、撮像画像にフレアが生じ、撮像不可能な場合が生じることがある。
【００３０】
実施例１の脇見運転検出装置１で撮像する頭部は、太陽光に対し車の屋根に隠れるか、太陽光が当たるとしても光が斜め方向からしか当たらないため、輝度変化が少なく、安定した画像を得やすく、撮像が不可能な場合が生じにくい。
また、カメラ３は車室内のルーフに設置され、ドライバの頭部を上方から撮像するため、直射日光がレンズにあたることはない。そのため、安定して撮像画像が得られる。
【００３１】
次に、効果を説明する。
実施例１の脇見運転検出装置１にあっては、下記に列挙する効果を得ることができる。
【００３２】
(1)ドライバを撮像した画像から脇見運転を検出する脇見運転検出装置１において、ドライバの頭部を上方から撮像するカメラ３と、撮像画像に対してオプティカルフローを用いドライバの頭部の回転角度を算出し、ドライバの脇見を判断するマイコンユニット２を備えたため、体が平行移動した場合も顔が一方向に移動したとみなさないようにし、脇見運転の検出性能を向上させることができる。
【００３３】
また、上方から頭部を撮像するため、カメラから頭部までを手や腕が遮ることが少なく安定して撮像を行い判定を行うことができ、太陽光などの外光に影響を受け難いカメラ位置にすることができるため、安定して撮像を行い安定して判定を行うことができ、脇見運転の検出の確実性を向上させることができる。
【００３４】
(2)上記(1)において、マイコンユニット２は、撮像画像及び判定データを記憶するデータ記憶部２２と、データ記憶部２２に記憶させた前回撮像画像と今回撮像画像からオプティカルフローを用い、ドライバの頭部の回転角度を算出し、ドライバの脇見を判断する脇見運転判定部２１を備えるため、前回撮像画像と今回撮像画像における同じ輝度値の移動をベクトルで捉えるオプティカルフローにより頭部の動きを捉え、回転角度を正確に検出して、脇見運転判定の確実性を向上させることができる。
【００３５】
(3)上記(2)において、脇見運転判定部２１は、データ記憶部２２に記憶させた前回撮像画像と今回撮像画像からオプティカルフローで移動量ベクトルを得て、移動量ベクトルの複数に直交する垂線を設定し、複数の垂線が交わる点に基づいて、ドライバの頭部の回転中心を設定するステップＳ４の処理と、回転中心に対して、移動量ベクトルからドライバの頭部の回転角度を算出するステップＳ５、ステップＳ６の処理を備えるため、ドライバの頭部の回転中心を求めて、この回転中心に対しての回転角度を求めるようにして、容易な処理により装置等への負荷を抑制しつつ、ドライバの頭部の回転角度を精度よく求めることができる。
【００３６】
(4)上記(2)又は(3)において、車両の操舵角を検出する舵角センサ４と、ドライバが操作したアクセル開度を検出するアクセル開度センサ５を備え、脇見運転判定部２１は、舵角が直進状態で、アクセル開度が増加状態の場合の撮像画像をドライバの頭部の回転角度がゼロの状態として、データ記憶部２２に保存し、更新し、且つドライバの頭部の回転角度算出に用いるようにしたため、舵角とアクセル開度でドライバの運転状態を判断し、ドライバの頭部が車両前方を向いている状態の撮像画像を回転角度がゼロの状態として、記憶することで、その後の回転角度の演算に用いて回転角度の精度を向上させることができる。また、この基準となる画像を更新することにより、さらに精度を向上させることができる。
【００３７】
以上、本発明の脇見運転検出装置を実施例１に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００３８】
ドライバの頭部の回転角度ゼロの画像は、データを蓄積させて数を多くして基準を決める。あるいは、わずかな所定値づつ補正する学習制御で基準を決めるなどを行うようにしてもよく、さらに精度を向上させることに寄与できる。
【図面の簡単な説明】
【００３９】
【図１】実施例１の脇見運転検出装置の概略説明図である。
【図２】実施例１の脇見運転検出装置の制御ブロック構成を示す図である。
【図３】脇見運転判定部２１で実行される脇見運転判断処理のフローチャートである。
【図４】実施例１の脇見運転検出装置において頭部の回転中心を求める状態を示す説明図である。
【図５】実施例１の脇見運転検出装置において頭部の回転角θ１を求める状態を示す説明図である。
【図６】実施例１の脇見運転検出装置において頭部の回転角θ２を求める状態を示す説明図である。
【図７】実施例１の脇見運転検出装置において頭部の回転角の補正を行っている状態を示す説明図である。
【符号の説明】
【００４０】
１    脇見運転検出装置
２    マイコンユニット
２１    脇見運転判定部
２２    データ記憶部
３    カメラ
４    舵角センサ
５    アクセル開度センサ
６    表示器
Ａ    （オプティカルフローの）参照ブロック
ｈ    （ドライバの）頭部
ｖ    移動量ベクトル
Ｘ    回転中心
θ１    回転角
θ２    回転角
【図１】
2009271838.tif 000003
【図２】
2009271838.tif 000004
【図３】
2009271838.tif 000005
【図４】
2009271838.tif 000006
【図５】
2009271838.tif 000007
【図６】
2009271838.tif 000008
【図７】
2009271838.tif 000009