(57)【要約】 【課題】  運転者の脇見状態の有無を適切に検出する。【解決手段】  対象物検知部６１は、視線検知部５１から出力される運転者の視線の視線ベクトルおよび対象位置に応じて視線の対象物を検知し、検知した対象物を検知対象物記憶部６２に格納する。検知対象物記憶部６２は、所定時間以内の過去に検知された視線の対象物を時系列データとして記憶する。脇見判定部６３は、対象物検知部６１にて検知された対象物と、検知対象物記憶部６２から取得した対象物とに基づき、運転者が脇見状態であるか否かを判定する。脇見判定部６３は、予め、対象物の種類に応じて運転者が継続して注視することを許容する閾時間のマップ等を備え、運転者の視線の対象物が変化しない継続時間が閾時間を超えた場合に脇見状態であると判定する。【選択図】      図１
2005284975.tif 000002
【特許請求の範囲】
【請求項１】
自車両の運転者の眼球あるいは顔を撮影する視線用撮影手段と、該視線用撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段と、前記視線検出手段により検出された視線に基づき運転者の脇見状態の有無を判定する脇見判定手段とを備える走行安全装置であって、
前記視線検出手段により検出された視線に基づき運転者の視線の対象物を検知する対象物検知手段と、
前記対象物検知手段により同一の前記対象物が継続して検出される継続時間を測定する時間測定手段と、
前記対象物検知手段により検知された前記対象物に応じて前記継続時間に対する判定閾時間を設定する判定閾時間設定手段とを備え、
前記脇見判定手段は、前記時間測定手段により測定された前記継続時間が前記判定閾時間設定手段により設定された前記判定閾時間を超えた場合に運転者が脇見状態であると判定することを特徴とする走行安全装置。
【請求項２】
自車両の運転者の眼球あるいは顔を撮影する視線用撮影手段と、該視線用撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段と、前記視線検出手段により検出された視線に基づき運転者の脇見状態の有無を判定する脇見判定手段とを備える走行安全装置であって、
前記視線検出手段により検出された視線に基づき運転者の視線の対象物を検知する対象物検知手段と、
前記対象物検知手段により同一の前記対象物が所定単位時間内に検出される頻度を測定する頻度測定手段と、
前記対象物検知手段により検知された前記対象物に応じて前記頻度に対する判定閾頻度を設定する判定閾頻度設定手段とを備え、
前記脇見判定手段は、前記頻度測定手段により測定された前記頻度が前記判定閾頻度設定手段により設定された前記判定閾頻度を超えた場合に運転者が脇見状態であると判定することを特徴とする走行安全装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行安全装置に関する。
【背景技術】
【０００２】
従来、例えば運転者の注視点と、この注視点が継続して保持される継続時間とに基づき、つまり運転者の注視点が何で、それをどのくらい見ているかという情報に基づき、運転者が脇見状態であるか否かを判定する装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開平６−２４３３６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術においては、例えば、フロントガラス内、サイドミラー、ルームミラーが視線の対象物であると運転者は車外を見ており、インスツルメントパネル、カーラジオ、エアコン、各種スイッチなどが視線の対象であると運転者は車内を見ていると判定されるようになっている。そして、この判定結果に応じて、例えば横の窓から車外を数秒以上見ていた場合に脇見と判定する等のように、注視点が車内か車外かに応じて脇見の有無が判定されている。
しかしながら、例えば運転者がインスツルメントパネルを見ている状態であっても、運転動作に必要とされる各種計器類を確認している場合であったり、逆に、ルームミラーやサイドミラーを注視している状態であっても、安全確認以外の目的である場合が含まれることから、単に、視線の対象が車内か車外かに応じて脇見を判定するだけでは適切な判定を行うことは困難である。
本発明は上記事情に鑑みてなされたもので、運転者の脇見状態の有無を適切に検出することが可能な走行安全装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の走行安全装置は、自車両の運転者の眼球あるいは顔を撮影する視線用撮影手段（例えば、実施の形態での視線用カメラ２１）と、該視線用撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段（例えば、実施の形態での視線検知部５１）と、前記視線検出手段により検出された視線に基づき運転者の脇見状態の有無を判定する脇見判定手段（例えば、実施の形態での脇見判定部６３）とを備える走行安全装置であって、前記視線検出手段により検出された視線に基づき運転者の視線の対象物を検知する対象物検知手段（例えば、実施の形態での対象物検知部６１）と、前記対象物検知手段により同一の前記対象物が継続して検出される継続時間を測定する時間測定手段（例えば、実施の形態でのステップＳ１５）と、前記対象物検知手段により検知された前記対象物に応じて前記継続時間に対する判定閾時間を設定する判定閾時間設定手段（例えば、実施の形態でのステップＳ１７）とを備え、前記脇見判定手段は、前記時間測定手段により測定された前記継続時間が前記判定閾時間設定手段により設定された前記判定閾時間を超えた場合に運転者が脇見状態であると判定することを特徴としている。
【０００５】
上記構成の走行安全装置によれば、判定閾時間設定手段は、対象物検知手段により検知された対象物に応じて、対象物検知手段により同一の対象物が継続して検出される継続時間に対する判定閾時間を設定する。そして、脇見判定手段は、時間測定手段により測定された継続時間が判定閾時間設定手段により設定された判定閾時間を超えた場合に運転者が脇見状態であると判定する。
これにより、予め、運転者の視線の対象物となる物体に対して、運転者が継続して注視することを許容する継続時間（つまり判定閾時間）を設定しておくことで、例えば所定の運転動作や安全確認動作の実行に対しては脇見状態ではないと判定することができ、脇見状態の判定を適切に行うことができる。
【０００６】
さらに、請求項２に記載の本発明の走行安全装置は、自車両の運転者の眼球あるいは顔を撮影する視線用撮影手段（例えば、実施の形態での視線用カメラ２１）と、該視線用撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段（例えば、実施の形態での視線検知部５１）と、前記視線検出手段により検出された視線に基づき運転者の脇見状態の有無を判定する脇見判定手段とを備える走行安全装置であって、前記視線検出手段により検出された視線に基づき運転者の視線の対象物を検知する対象物検知手段（例えば、実施の形態での対象物検知部６１）と、前記対象物検知手段により同一の前記対象物が所定単位時間内に検出される頻度を測定する頻度測定手段（例えば、実施の形態での視線判定部５２）と、前記対象物検知手段により検知された前記対象物に応じて前記頻度に対する判定閾頻度を設定する判定閾頻度設定手段（例えば、実施の形態での視線判定部５２）とを備え、前記脇見判定手段は、前記頻度測定手段により測定された前記頻度が前記判定閾頻度設定手段により設定された前記判定閾頻度を超えた場合に運転者が脇見状態であると判定することを特徴としている。
【０００７】
上記構成の走行安全装置によれば、判定閾頻度設定手段は、対象物検知手段により検知された対象物に応じて、対象物検知手段により同一の対象物が所定単位時間内に繰り返し検出される頻度に対する判定閾頻度を設定する。そして、脇見判定手段は、頻度測定手段により測定された頻度が判定閾頻度設定手段により設定された判定閾頻度を超えた場合に運転者が脇見状態であると判定する。
これにより、予め、運転者の視線の対象物となる物体に対して、運転者が所定単位時間内に繰り返し注視することを許容する頻度（つまり判定閾頻度）を設定しておくことで、例えば所定の運転動作や安全確認動作の実行に対しては脇見状態ではないと判定することができ、脇見状態の判定を適切に行うことができる。
【発明の効果】
【０００８】
本発明の走行安全装置によれば、例えば所定の運転動作や安全確認動作の実行に対しては脇見状態ではないと判定することができ、運転者の脇見状態の判定を適切に行うことができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施形態に係る走行安全装置について添付図面を参照しながら説明する。
本実施の形態による走行安全装置１０は、例えば車両に搭載され、例えば図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された制御装置１１と、視線センサ１２と、外界センサ１３と、警報装置１４と、外部警報装置１５とを備えて構成されている。
【００１０】
視線センサ１２は、例えば図２および図３に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等の視線用カメラ２１と、視線用画像処理部２２とを備えて構成されている。
視線用カメラ２１は、制御装置１１の制御により、例えば視線用カメラ２１に具備される赤外線照射装置から運転者の顔や眼球に向けて照射された赤外線の反射や、運転者の顔や眼球から反射される可視光を撮影する。
視線用画像処理部２２は、視線用カメラ２１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御装置１１へ出力する。
【００１１】
外界センサ１３は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等からなるカメラ３１および画像処理部３２と、例えばレーザ光やミリ波等のレーダ３３およびレーダ制御部３４とを備えて構成されている。
カメラ３１は、例えば図２に示すようにフロントウィンドウの車室内側でルームミラー近傍の位置に配置され、フロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界を撮影する。
画像処理部３２は、カメラ３１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御装置１１へ出力する。
【００１２】
レーダ３３は、例えば図２に示すように自車両のボディのノーズ部や車室内のフロントウィンド近傍等に配置され、制御装置１１からレーダ制御部３４へ入力される制御指令に応じたレーダ制御部３４の制御により、レーザ光やミリ波等の発信信号を適宜の検知方向（例えば、自車両の進行方向前方等）に向けて発信すると共に、この発信信号が自車両の外部の物体（検知対象物）によって反射されることで生じた反射信号を受信し、反射信号と発信信号とを混合してビート信号を生成して制御装置１１へ出力する。
【００１３】
警報装置１４は、例えば、触覚的伝達装置４１と、視覚的伝達装置４２と、聴覚的伝達装置４３とを備えて構成されている。
触覚的伝達装置４１は、例えばシートベルト装置や操舵制御装置等であって、制御装置１１から入力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させる。
視覚的伝達装置４２は、例えば表示装置等であって、制御装置１１から入力される制御信号に応じて、例えば表示装置に所定の警報情報を表示したり、所定の警報灯を点滅させる。
聴覚的伝達装置４３は、例えばスピーカ等であって、制御装置１１から入力される制御信号に応じて所定の警報音や音声等を出力する。
【００１４】
制御装置１１は、視線センサ１２から画像データが入力される視線検知部５１と、視線判定部５２と、外界センサ１３から画像データおよびビート信号が入力される物体検知部５３と、判定部５５とを備えて構成されている。
そして、視線検知部５１は、視線センサ１２から入力される画像データに対して、例えば運転者の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。そして、算出した視線ベクトルおよび対象位置を視線判定部５２および判定部５５へ出力する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。
【００１５】
視線判定部５２は、例えば対象物検知部６１と、検知対象物記憶部６２と、脇見判定部６３と、タイマー６４とを備えて構成されている。
対象物検知部６１は、視線検知部５１から出力される運転者の視線の視線ベクトルおよび対象位置に応じて視線の対象物、例えば車室内のルームミラーや、自車両のサイドミラーや、車室内の各種機器、例えばナビゲーション装置やオーディオ装置や空調装置等や、車両外部の外界等を検知し、検知した対象物を検知対象物記憶部６２に格納する。
検知対象物記憶部６２は、所定時間以内の過去に検知された視線の対象物を時系列データとして記憶する。
脇見判定部６３は、対象物検知部６１にて検知された対象物と、検知対象物記憶部６２から取得した対象物とに基づき、運転者が脇見状態であるか否かを判定する。例えば、脇見判定部６３は、予め、対象物の種類に応じて運転者が継続して注視することを許容する閾時間のマップ等を備え、運転者の視線の対象物が変化しない継続時間が閾時間を超えた場合に脇見状態であると判定する。
そして、視線判定部５２は、脇見判定部６３での判定結果に応じて警報装置１４を作動させる。
【００１６】
物体検知部５３は、例えば相対位置・相対距離算出部７１と、移動状態判定部７２とを備えて構成されている。
相対位置・相対距離算出部７１は、外界センサ１３から入力される画像データに対して、例えば他の車両や歩行者等の移動体や障害物や標識等の物体を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物と自車両との相対位置および相対距離を算出する。例えば、外界センサ１３のカメラ１３がステレオカメラである場合や、カメラ１３が複数のカメラを備えて構成される場合には、複数の画像データに基づく三角測量法等により、他の車両や歩行者等の移動体や障害物や標識等の物体の相対位置および相対距離を算出する。さらに、検知対象物の時刻間追跡、すなわちサンプリング周期毎に抽出した検知対象物の同一性判定を行い、相対位置を時系列位置データとしてメモリ等に格納することによって、検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
また、相対位置・相対距離算出部７１は、例えば外界センサ１３から入力されるビート信号の周波数ｆ（ビート周波数）に基づき、所定の検知エリア内の検知対象物までの相対距離や検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
移動状態判定部７２は、検知対象物の移動状態に応じて、検知対象物が、例えば他の車両や歩行者等の移動体であるか、あるいは、障害物や標識等の静止物であるかを判定する。
【００１７】
判定部５５は、例えば見落とし判定部８１と、危険判定部８２とを備えて構成されている。
見落とし判定部８１は、視線検知部５１から出力される運転者の視線の対象位置と、物体検知部５３から出力される物体の相対位置とに基づき、運転者が物体を視認しているか否かを判定する。
危険判定部８２は、見落とし判定部８１にて運転者が視認していない、つまり運転者が見落としていると判定された物体の危険度（例えば、自車両の走行の支障となる可能性等）を算出する。この物体の危険度は、例えば物体の相対位置および相対距離および移動状態に加えて、自車両の移動状態（例えば、移動速度や移動方向等）に基づき算出される。そして、自車両の移動状態は、例えば車両状態量センサ（図示略）を構成する車速センサや舵角センサやヨーレートセンサや傾斜センサや方向指示器の作動状態を検知するセンサ等の各センサから出力される検出信号に基づき算出される。例えば、車速センサは車輪の回転速度等に基づいて所定の単位処理時間毎における車両移動距離つまり自車両の速度を検出し、舵角センサはステアリングシャフト（図示略）に設けられたロータリエンコーダ等からなり、運転者が入力した操舵角度の方向と大きさを検出する。ヨーレートセンサは車両重心の上下方向軸回りの回転角であるヨー角およびヨー角の変化量（ヨーレート）等を検出し、傾斜センサは車両重心の水平軸周りの回転角であるピッチ角およびピッチ角の変化量等を検出する。
そして、判定部５５は、危険判定部８２にて算出した危険度に応じて警報装置１４を作動させる。
【００１８】
本実施の形態による走行安全装置１０は上記構成を備えており、次に、この走行安全装置１０の動作について説明する。
【００１９】
例えば図４に示すステップＳ０１においては、外界センサ１３から出力される画像データおよびビート信号に基づく物体の検知結果、例えば相対位置、相対距離、移動状態の各情報を取得する。
次に、ステップＳ０２においては、視線検知部５１の検知結果、例えば運転者の現在の視線の視線ベクトルおよび対象位置の各情報を取得する。
次に、ステップＳ０３においては、後述する視線判定処理を実行する。
次に、ステップＳ０４においては、視線判定処理の判定結果に応じて、運転者が脇見状態であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０９に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０６に進む。
【００２０】
次に、ステップＳ０６においては、取得した物体の検知結果および視線の対象位置に基づき、例えば物体の相対位置と視線の対象位置とが一致するか否か、あるいは、視線ベクトルが物体の相対位置を含むか否か等を判定することによって、運転者が検知対象を見落としているか否かを判定する。
そして、ステップＳ０７においては、ステップＳ０６において見落としが有ると判定されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、運転者は検知された物体を視認していると判断して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、運転者は検知された物体を見落としていると判断して、ステップＳ０７に進む。
【００２１】
ステップＳ０７においては、運転者が見落としていると判定された物体の危険度を算出する。
そして、ステップＳ０８においては、算出した危険度が所定値よりも大きいか否かを判定する。
ステップＳ０８の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ０８の判定結果が「ＹＥＳ」の場合には、ステップＳ０９に進む。
そして、ステップＳ０９においては、警報装置１４を作動させ、一連の処理を終了する。
【００２２】
以下に、上述したステップＳ０３における視線判定処理について図５を参照して説明する。
例えば図５に示すステップＳ１１においては、視線検知部５１から出力される運転者の視線の視線ベクトルおよび対象位置に応じて視線の対象物、例えば図６（ａ）に示す車両外部の外界の歩行者Ｒや、例えば図６（ｂ）に示す車室内のルームミラーＲＭや、例えば図６（ｃ）に示す自車両のサイドミラーＳＭや、例えば図６（ｄ）に示す車室内の表示装置Ｄ等を検知し、検知した対象物を検知対象物記憶部６２に格納する。
次に、ステップＳ１２においては、検知対象物記憶部６２から前回の処理にて検知された対象物を取得する。
次に、ステップＳ１３においては、今回の処理にて検知した対象物と、前回の処理にて検知された対象物とが同一であるか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ１８に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ１４に進む。
【００２３】
ステップＳ１４においては、タイマー６４が作動中であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ１５に進み、タイマー６４の作動を開始して、後述するステップＳ１７に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ１６に進み、タイマー６４のタイマー値をリセットして、ステップＳ１７に進む。
そして、ステップＳ１７においては、今回の処理にて検知した対象物に応じて、所定の判定閾時間を設定し、ステップＳ１８に進む。
例えば図６（ａ）に示すように対象物が歩行者Ｒである場合には判定閾時間を無限大（あるいは極めて長い時間）に設定し、例えば図６（ｂ）に示すように対象物がルームミラーＲＭである場合や例えば図６（ｃ）に示すように対象物がサイドミラーＳＭである場合には判定閾時間を３秒等に設定し、例えば図６（ｄ）に示すように対象物が表示装置Ｄである場合には判定閾時間を２秒等に設定する。
そして、ステップＳ１８においては、タイマー６４のタイマー値が判定閾時間よりも長いか否かを判定する。
ステップＳ１８の判定結果が「ＮＯ」の場合には、運転者が対象物を注視している継続時間が判定閾時間以下であって、脇見状態ではないと判断して、一連の処理を終了する。
一方、ステップＳ１８の判定結果が「ＹＥＳ」の場合には、ステップＳ１９に進み、運転者が脇見状態であると判定して、一連の処理を終了する。
【００２４】
上述したように、本実施の形態による走行安全装置１０によれば、運転者の視線の対象物に応じて設定した判定閾時間に基づき、運転者の脇見状態を適切に検知し、運転者に違和感を感じさせること無しに警報を出力して脇見状態の解消を促すことができる。
【００２５】
なお、上述した実施の形態において、視線判定部５２は、ステップＳ１８に示すように、運転者が対象物を注視している継続時間が判定閾時間よりも長い場合に脇見状態であると判定したが、これに限定されず、例えば運転者が対象物を注視している継続時間が判定閾時間以内であっても、所定時間（例えば図６（ｄ）に示すように対象物が表示装置Ｄである場合には、５分等）以内において所定回数（例えば図６（ｄ）に示すように対象物が表示装置Ｄである場合には、２０回等）以上の頻度で同一の対象物を注視している場合等においては、脇見状態であると判定してもよい。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態に係る走行安全装置の構成図である。
【図２】図１に示す視線センサおよび外界センサを搭載した車両を示す斜視図である。
【図３】図１に示す視線センサを搭載した車両を示す斜視図である。
【図４】図１に示す走行安全装置の動作を示すフローチャートである。
【図５】図４に示す視線判定処理を示すフローチャートである。
【図６】図６（ａ）〜（ｄ）は視線の対象位置に応じた対象物の一例を示す図である。
【符号の説明】
【００２７】
１０  走行安全装置
２１  視線用カメラ（視線用撮影手段）
５１  視線検知部（視線検出手段）
５２  視線判定部（頻度測定手段、判定閾頻度設定手段）
６１  対象物検知部（対象物検知手段）
６３  脇見判定部（脇見判定手段）
ステップＳ１５  時間測定手段
ステップＳ１７  判定閾時間設定手段
【図１】
2005284975.tif 000003
【図２】
2005284975.tif 000004
【図３】
2005284975.tif 000005
【図４】
2005284975.tif 000006
【図５】
2005284975.tif 000007
【図６】
2005284975.tif 000008