(57)【要約】【課題】運転者の脇見行為の検出につき、精度向上を図ることが可能な脇見検出装置を提供する。【解決手段】追跡部２２は、撮影部１０により撮像された運転者の顔を含む撮像画像に基づいて、運転者の眼の位置を追跡する。学習部２３は、追跡部２２から時系列的に出力される眼の位置の移動量と滞留時間とを判定して、運転者がルームミラー等を見たときの撮像画像上の眼の位置を学習する。そして、画像領域設定部２４は、学習された撮像画像上の眼の位置を基準として脇見許容時間が異なる所定個数の画像領域を設定する。脇見検出部２５は、画像領域毎に割り振られた脇見許容時間に基づいて、脇見検出を行う。【選択図】      図２
2004347464.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の顔を撮影する撮影手段と、
前記撮像手段により得られた運転者の顔を含む撮像画像に基づいて、運転者の眼の位置を追跡する追跡手段と、
前記追跡手段から時系列的に出力される眼の位置の移動量と滞留時間とを判定して、運転者が所定位置を見たときの撮像画像上の眼の位置を学習する学習手段と、
前記学習手段によって学習された撮像画像上の眼の位置を基準として脇見許容時間が異なる所定個数の画像領域を設定する画像領域設定手段と、
前記画像領域設定手段により設定された画像領域に割り振られた脇見許容時間に基づいて、脇見検出を行う脇見検出手段と、
を備えることを特徴とする脇見検出装置。
【請求項２】
操作されることにより、前記学習手段に眼の位置の学習を行わせる指示手段をさらに備えることを特徴とする請求項１に記載の脇見検出装置。
【請求項３】
車両の走行状態を検出する走行状態検出手段と、
前記走行状態検出手段からの出力信号に応じて、脇見許容時間を変更する許容時間変更手段と、
をさらに備えることを特徴とする請求項１又は請求項２のいずれかに記載の脇見検出装置。
【請求項４】
前記走行状態検出手段は、車両の車速を検出する車速センサを含み、
前記許容時間変更手段は、車速センサからの車速信号に基づき、車両の速度が速くなるに従って脇見許容時間を短くする
ことを特徴とする請求項３に記載の脇見検出装置。
【請求項５】
前記走行状態検出手段は、先行車両と自車両との距離を検出する距離センサを含み、
前記許容時間変更手段は、距離センサからの距離信号に基づき、自車両が先行車両に近くなるに従って脇見許容時間を短くする
ことを特徴とする請求項３又は請求項４のいずれかに記載の脇見検出装置。
【請求項６】
前記走行状態検出手段は、地図上の道路の種別に関する情報を運転者に提示するナビゲーション装置を含み、
前記許容時間変更手段は、ナビゲーション装置からの道路の種別に関する情報に基づき、自車両が自動車専用道路を走行しているときの脇見許容時間よりも、一般道路を走行しているときの脇見許容時間を短くする
ことを特徴とする請求項３〜請求項５のいずれか１項に記載の脇見検出装置。
【請求項７】
前記学習手段は、前記所定位置として、左右のドアミラー及びルームミラーのうち少なくとも１つの位置を見たときの撮像画像上の眼の位置を学習することを特徴とする請求項１〜請求項６のいずれか１項に記載の脇見検出装置。
【請求項８】
前記学習手段は、運転者が前記所定位置を見たときとして、運転者の眼が追跡限界位置に達したときの撮像画像上の眼の位置を学習することを特徴とする請求項１〜請求項７のいずれか１項に記載の脇見検出装置。
【請求項９】
前記学習手段は、運転者が前記所定位置を見たときとして、運転者の眼が左右いずれか一方の追跡限界位置に達したときの撮像画像上の眼の位置を学習し、学習した眼の位置に基づいて、運転者の眼が他方の追跡限界位置に達したときの撮像画像上の眼の位置を推定することを特徴とする請求項１〜請求項８のいずれか１項に記載の脇見検出装置。
【請求項１０】
前記画像領域設定手段は、撮像画像上の眼の位置が学習される毎に、順次画像領域を設定していくことを特徴とする請求項１〜請求項９のいずれか１項に記載の脇見検出装置。
【請求項１１】
車両運転者の顔を撮影して得られた運転者の顔を含む撮像画像に基づいて、運転者の眼の位置を追跡し、追跡により特定される運転者の眼の位置の移動量と滞留時間とを判定して、運転者が所定位置を見たときの撮像画像上の眼の位置を学習し、この学習した撮像画像上の眼の位置を基準として脇見許容時間が異なる所定個数の画像領域を設定し、この画像領域の脇見許容時間に基づいて、脇見検出を行うことを特徴とする脇見検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、脇見検出装置に関する。
【０００２】
【従来の技術】
従来、運転者の顔向き角度に応じた脇見許容時間と、その顔向き角度を維持した時間とに基づいて、運転者の脇見行為を検出する脇見検出装置が知られている（例えば特許文献１，２）。
【０００３】
この装置では、運転者の顔の向きに応じて脇見許容時間を変更し、脇見行為を判断している。例えば、運転者の顔向き角度が大きい場合には、運転者の視界に前方方向の景色等が入り難くなることから、脇見時間を短く設定して脇見行為を判断する。また、運転者の顔向き角度が小さい場合には、運転者の視界に前方方向の景色等が比較的入りやすいことから、脇見時間を長く設定して脇見行為を判断する。
【０００４】
このように、脇見許容時間を変更することで好適に運転者の脇見行為を検出するようにしている。
【０００５】
【特許文献１】
特開平３−１６７６９８号公報
【０００６】
【特許文献２】
特開平７−５７１７２号公報
【０００７】
【発明が解決しようとする課題】
しかし、上記脇見検出装置では、運転者の視界を遮る左右のピラー部分等を考慮に入れていないため、脇見行為を適切に判断するには不充分である。例えば、顔向き角度が小さいような場合であっても、運転者の視認位置がピラー部等の近傍である場合には、運転者の視界が遮られることから、脇見許容時間を比較的短くするなどの必要がある。
【０００８】
このように、従来の脇見検出装置では、未だ、運転者の脇見行為を適切に検出しているとはいえない。
【０００９】
【課題を解決するための手段】
本発明によれば、撮影手段が車両の運転者の顔を撮影し、追跡手段が撮像手段により得られた運転者の顔を含む撮像画像に基づいて、運転者の眼の位置を追跡し、学習手段が追跡手段から時系列的に出力される眼の位置の移動量と滞留時間とを判定して、運転者が所定位置を見たときの撮像画像上の眼の位置を学習し、画像領域設定手段が学習手段によって学習された撮像画像上の眼の位置を基準として脇見許容時間が異なる所定個数の画像領域を設定し、脇見検出手段が画像領域設定手段により設定された画像領域に割り振られた脇見許容時間に基づいて、脇見検出を行う。
【００１０】
【発明の効果】
本発明によれば、撮像画像上の眼の位置を基準として脇見許容時間が異なる所定個数の画像領域を設定している。通常、運転者は車両内部の構造物等のうち比較的多く視認するものがある。このため、撮像画像上の眼の位置を基準とすることで、車両内部の構造物等の位置に基づく、画像領域が設定できる。また、車両内部の構造物等の位置に基づくため、運転者の視界を遮る部分等を考慮に入れた脇見許容時間を所定個数の画像領域それぞれに割り振ることもできる。
【００１１】
そして、各画像領域に割り振られた脇見許容時間と追跡される眼の位置とに基づいて脇見検出を行う。このため、各画像領域に割り振られた脇見許容時間に基づいて、車両内環境に適合した脇見検出が行うことができる。
【００１２】
従って、運転者の脇見行為の検出につき、精度向上を図ることができる。
【００１３】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００１４】
図１は、本発明の第１実施形態に係る脇見検出装置の構成図である。同図に示すように、本実施形態の脇見検出装置１は、車両の運転者の顔を撮影する撮像部（撮像手段）１０を備えている。この撮像部１０は、例えば可視光を撮像するためのＣＣＤカメラなどであり、運転者の正面下方に設置される。
【００１５】
また、上記脇見検出装置１は、撮像部１０により撮像された撮像画像に基づき、運転者の脇見行為を検出する処理装置２０と、処理装置２０が運転者の脇見行為を検出した場合に、その旨を運転者に報知する報知器３０とを備えている。
【００１６】
次に、処理装置２０の詳細構成を図２を参照して説明する。図２は、本発明の第１実施形態に係る脇見検出装置１の機能ブロック図である。
【００１７】
上記処理装置２０は、撮像部１０からの撮像画像のデータに基づいて、運転者の眼の位置を検出する位置検出部２１と、運転者の眼の位置を追跡する追跡部（追跡手段）２２とを備えている。
【００１８】
この位置検出部２１は、撮像部１０から入力した撮像画像の全体から眼の位置を検出するものである。また、追跡部２２は、位置検出部２１により検出された運転者の眼の位置を基準にして、眼の位置を含む追跡領域を画像上に定め、後の撮像された画像から眼の位置を検出する場合、追跡領域内から運転者の眼を検出するものである。
【００１９】
また、上記処理装置２０は、追跡部２２から時系列的に出力される眼の位置の移動量と滞留時間とを判定する学習部（学習手段）２３を有している。この学習部２３は、判定した移動量及び滞留時間に基づいて、運転者が左右のドアミラーやルームミラー等を見たときにおける撮像画像上の眼の位置を学習するものである。
【００２０】
また、上記処理装置２０は、学習部２３にて学習された撮像画像上の眼の位置を基準として画像領域を設定する画像領域設定部（画像領域設定手段）２４を備えている。画像領域設定部２４は、画像領域を所定個数だけ設定する。ここで、画像領域とは、脇見を検出するための脇見許容時間が割り振られた領域である。画像領域設定部２４は、この所定個数の画像領域それぞれに異なる脇見許容時間を割り振る。
【００２１】
上記処理装置２０は、脇見検出を行う脇見検出部（脇見検出手段）２５を具備している。この脇見検出部２５は、上記脇見許容時間に基づいて脇見検出を行うものである。詳しくは、脇見検出部２５は、追跡部２２により追跡される眼の位置がどの画像領域に属するかを判断する。そして、追跡部２２により追跡される眼の位置の滞留時間と、眼の位置が属する画像領域の脇見許容時間とに基づいて脇見検出を行う。
【００２２】
次に、上記脇見検出装置１の動作の概略を説明する。まず、撮像部１０は、運転者の顔を含む領域を撮像し、得られた撮像画像のデータを処理装置２０に送出する。
【００２３】
処理装置２０の位置検出部２１は、撮像画像データの入力し、運転者の眼の位置を検出する。眼の位置の検出は、例えば以下のように行う。図３は、位置検出部２１が眼の位置の検出に際して行う初期処理の説明図である。なお、図３においては、縦４８０画素、横５１２画素の撮像画像を例に説明する。
【００２４】
まず、位置検出部２１は、画像縦方向にすべての画素について、濃度値のデータを取得する。すなわち、図３に示す座標（０，０）から（０、４７９）に向かって濃度値データを取得し、次に座標（１，０）から（１、４７９）に向かって濃度値データを取得する。そして、図３に示すＸａ及びＸｂを経て、最終的に座標（５１１，０）から（５１１、４７９）のラインについて濃度値データを取得する。その後、位置検出部２１は、濃度値の変化が所定の条件を満たす画素を抽出して、図４に示すような画素群を得る。図４は、位置検出部２１が所定の画素を抽出したとき様子を示す説明図である。同図に示すように、抽出された画素は、運転者の眉、眼、鼻及び口の位置に対応するものとなっている。詳細に説明すると、Ｘｃラインについては、２つの画素Ａ１，Ａ２が抽出されている。また、ｘｄラインについては、４つの画素Ａ１〜Ａ４が抽出されている。これらの画素Ａ１〜Ａ４は、例えば、それぞれ濃度値の変化量によって区別されている。そして、画素の抽出後、位置検出部２１は、画像横方向に近接する画素をグループ化する。
【００２５】
図５は、画像横方向に近接する画素をグループ化したときの様子を示す説明図である。同図に示すように、グループ化することにより、位置検出部２１は、運転者の右眉、左眉、右眼、左眼、鼻及び口それぞれに対応した連続データＧ１〜Ｇ６を形成する。
【００２６】
その後、位置検出部２１は、ゾーン化の処理を行う。図６は、位置検出部２１によるゾーン化後の様子を示す説明図である。位置検出部２１は、連続データＧ１〜Ｇ６の存在位置について画像縦方向にゾーン化する。この際、位置検出部２１は、３つのゾーン（ＺＯＮＥ：Ｌ、ＺＯＮＥ：Ｃ、ＺＯＮＥ：Ｒ）を形成する。そして、位置検出部２１は、相対位置関係を判断して眼の位置を検出する。
【００２７】
眼の位置の検出後、追跡部２２は、検出された眼の位置の座標値を記憶し、この記憶した位置を基準にして、全体画像よりも小さい追跡領域を設定する。その後、追跡部２２は、撮像画像が入力される毎に、追跡領域内において眼の位置を検出する。
【００２８】
図７は、追跡部２２による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。なお、図７において、破線で示す眼は前回検出されたものとし、実線で示す眼は今回検出されたものとする。
【００２９】
位置検出部２１により眼の位置が検出された場合、追跡部２２は、検出された眼の位置を中心として追跡領域を設定する（図７（ａ））。このときの眼の座標位置を（ｘｋ１，ｙｋ１）とする。その後、撮像画像が入力された場合、追跡部２２は、（ｘｋ１，ｙｋ１）を中心とする追跡領域内から眼の位置を検出する（図７（ｂ））。このとき検出された眼の座標位置を（ｘｋ２，ｙｋ２）とする。
【００３０】
そして、追跡部２２は、新たに検出された眼の座標位置（ｘｋ２，ｙｋ２）を中心とする追跡領域を設定する（図７（ｃ））。その後、再度撮像画像が入力された場合、追跡部２２は、（ｘｋ２，ｙｋ２）を中心とする追跡領域内から眼の位置を検出する。このときに検出された眼の座標位置を（ｘｋ３，ｙｋ３）とする。
【００３１】
そして、追跡部２２は、再度、新たな眼の座標位置（ｘｋ３，ｙｋ３）を中心とする追跡領域を設定する（図７（ｄ））。その後、同様に、追跡部２２は、追跡領域内から眼の位置を検出していく。
【００３２】
追跡部２２は、図７に示すように検出した眼の位置のデータを学習部２３及び脇見検出部２５に送出する。学習部２３は、時系列的に入力される眼の位置のデータを学習する。通常、車両運転中の運転者は、確認動作を行うため、ルームミラーや左右のドアミラー等を視認する。このため、学習部２３は、撮像画像上の眼の移動量等を判定することで、ルームミラーや左右のドアミラーの位置等を見たときの目の位置を知ることができる。
【００３３】
図８は、運転者が前方、ルームミラー、左右のドアミラーを視認したときに様子を示す説明図であり、（ａ）は運転者が前方を視認しているときの運転者の眼の位置を示している。また、（ｂ）はルームミラーを視認しているときの運転者の眼の位置を示しており、（ｃ）は右ドアミラーを、（ｄ）は左ドアミラーを視認しているときの運転者の眼の位置を示している。さらに、（ｅ）は運転者の視認箇所に応じた眼の座標位置を示している。なお、図８においては、Ｘ方向に６４０画素、Ｙ方向に４８０画素の画像を例に説明する。
【００３４】
図８（ａ）〜（ｄ）に示すように、運転者が前方、ルームミラー、左右のドアミラーを視認する場合、図８（ｅ）に示すように、画像上から得られる眼の座標位置は、前方を注視している場合を除き、ほぼ一定である。具体的には、運転者が前方を視認している場合、眼の座標位置（ｘ，ｙ）は、（２６０，２２０）〜（２８５，２４０）において分散している。なお、ここでは両眼の中心位置を眼の座標位置としている。
【００３５】
一方、運転者が右ドアミラーを視認している場合、（１７５，２４５）付近に集中し、左ドアミラーを視認している場合、（３９５，２４５）付近に集中する。また、運転者がルームミラーを視認している場合、（３８０，２２０）付近に集中する。
【００３６】
このように、ミラー視認時の運転者の眼の位置が或る程度同じ箇所に集中することから、前方視認時とミラー視認時との眼の移動量は、予めデータを採取しておくことにより個人差を含んだ状態で取得しておくことができる。すなわち、所定方向に所定の移動量分だけ眼が移動した場合には、３つのミラーのうちいずれかを視認しようとしていると推測することに役立てることができる。
【００３７】
ここで、ミラー視認時の運転者の眼の滞留時間は平均０．７秒とわかっている。図９は、ミラー視認時の運転者の眼の滞留時間と車速との関係を示す説明図である。
【００３８】
同図に示すように、運転者の眼の滞留時間は、約０．７秒の箇所に集中していることがわかる。また、この時間は車速に影響を受けることがないこともわかる。従って、上記移動方向及び移動量と、眼の滞留時間に基づいて、どのミラーを視認したかを特定できることとなる。
【００３９】
学習部２３は、上記ように、眼の移動方向及び移動量と、眼の滞留時間に基づいて、運転者がミラーを見たときの撮像画像上の眼の位置を学習する。そして、学習部２３は、学習した眼の位置のデータを画像領域設定部２４に送出する。
【００４０】
画像領域設定部２４は、上記学習部２３にて学習された眼の位置のデータに基づいて、脇見許容時間が異なる所定個数の画像領域を設定する。すなわち、左右ドアミラー、ルームミラーを視認しているときの眼の位置に基づいて、撮像画像上に画像領域を設定する。
【００４１】
図１０は、脇見許容時間が異なる所定個数の画像領域の例を示す説明図であり、（ａ）は所定個数の画像領域の例を示しており、（ｂ）は画像領域毎の脇見許容時間の例を示している。なお、図１０（ａ）に示す縦方向及び横方向の数値は、運転者の顔向き角度を示している。また、画像領域は、本来撮像画像上に設定されるものであるが、図１０においては説明の便宜上、運転者の視界に基づいた画像領域を説明することとする。さらに、以下の説明において、運転者が運転中に最も多く視認する前方の領域を前方注視領域とする。
【００４２】
画像領域設定部２４は、図１０（ａ）に示すように、例えば５つの画像領域Ａ〜Ｅを設定する。まず、画像領域設定部２４は、ルームミラー視認時の眼の位置に基づいて、画像領域Ａの右端を決定する。また、画像領域設定部２４は、右ドアミラー視認時の眼の位置に基づいて、画像領域Ｂの左端及び下端を決定し、左ドアミラー視認時の眼の位置に基づいて、画像領域Ｃの右端及び下端を決定する。また、画像領域Ｅについて、左右ドアミラー視認時の眼の位置に基づいて、上端を決定する。
【００４３】
また、画像領域設定部２４は、画像領域Ｄの左端を右方向の追跡限界位置に基づいて決定する。図１１は、画像領域設定部２４による画像領域Ｄの設定方法の説明図であり、（ａ）は運転者が左ドアミラーを見たときの顔の向きの様子を示しており、（ｂ）は運転者が右ドアミラーを見たときの顔の向きの様子を示している。
【００４４】
図１１（ａ）に示すように、運転者が左ドアミラーを見た運転者の左眼の位置は、ほぼ追跡限界に達している。つまり、運転者が左ドアミラーを見ている状態から、これ以上顔を左に向けると、左眼が撮像されないようになってしまう。このように、左ドアミラー視認時においては、運転者の左眼を撮像できる限界に達している。
【００４５】
また、図１１（ｂ）に示すように、運転者が右方を視認している場合に、右目が追跡限界に達することがある。例えば、運転者が交差点の確認等で右ドアミラーよりもさらに右方を視認している場合などである。この場合、運転者がこれ以上顔を右に向けると、右眼が撮像されないようになってしまう。この位置が右方向の追跡限界位置である。画像領域設定部２４は、撮像画像内から右方向の限界位置を特定し、この追跡限界位置に基づいて画像領域Ｄの左端を決定し、画像領域Ｄを設定する。
【００４６】
なお、右方向の追跡限界位置は、上記のように、撮像画像から求めるようにしてもよいが、他の方法によっても求めてもよい。すなわち、左ドアミラー視認時の追跡限界位置に基づいて、演算により右方向の追跡限界位置を求めるようにしてもよい。この場合、左方向の追跡限界位置と対象となる位置を求めるようにすれば、右方向の追跡限界の位置が求められることとなる。
【００４７】
図１２は、撮像画像上に設定された画像領域Ａ〜Ｅの具体例の説明図である。図１０（ａ）に示す画像領域を撮像画像上に置き換えると、図１２に示すようになる。これら領域Ａ〜Ｅは、上記したように、ルームミラーの視認時における眼の座標位置、及び左右ドアミラー視認時における眼の座標位置を基準として設定されている。また、左右の追跡限界位置も基準となっている。
【００４８】
再度、図１０を参照する。画像領域設定部２４は、上記のようにして割り付けた画像領域Ａ〜Ｅのそれぞれに異なる脇見許容時間を設定する。例えば、図１０（ｂ）に示すように、画像領域Ｄの脇見許容時間は、画像領域Ｂの脇見許容時間よりも小さい。これは、画像領域Ｄの方が画像領域Ｂよりも顔向き角度が大きくなるからである。また、同様に、画像領域Ｃの脇見許容時間は、画像領域Ａの脇見許容時間よりも小さくなる。
【００４９】
さらに、画像領域Ｂの脇見許容時間は、画像領域Ａの脇見許容時間よりも小さくなる。両領域Ａ，Ｂを視認した場合、運転者の顔向き角度はほぼ同じである。ところが、画像領域Ｂと前方注視領域の間にはピラーが設けられている。そして、このピラーにより運転者が画像領域Ｂを視認している場合には、前方注視領域が見えにくくなってしまう。このため、両領域Ａ，Ｂの顔向き角度はほぼ同じであっても、画像領域Ｂの脇見許容時間は、画像領域Ａの脇見許容時間よりも小さくなる。
【００５０】
また、画像領域Ｄの脇見許容時間は、画像領域Ｃの脇見許容時間よりも小さくなる。これら両領域Ｃ，Ｄについても顔向き角度はほぼ同じである。そして、画像領域Ｂと前方注視領域の間には、画像領域Ｂを介してピラーが設置されている。同様に、画像領域Ｃと前方注視領域の間にもピラーが設置されている。ところが、左側のピラーは運転者に対して右側のピラーよりも遠い位置に設置されている。このため、運転者からの見かけ上のピラーの太さは、異なることとなる。そして、運転者にとっては、見かけ上のピラーの太さが太い方が、前方注視領域の視認の障害となる。故に、画像領域Ｄの脇見許容時間は、画像領域Ｃの脇見許容時間よりも小さくなる。
【００５１】
さらに、画像領域Ｅの脇見許容時間は、画像領域Ｄの脇見許容時間とほぼ同じである。例えば運転者がオーディオ装置等の設置位置を視認する場合、瞼が下がるために前方注視領域が殆ど見えなくなってしまう。このため、画像領域Ｅは、脇見許容時間が短くなり、前述までに最も脇見許容時間が最も短かった画像領域Ｄとほぼ同等となってしまう。
【００５２】
そして、脇見検出部２５は、このように設定された画像領域Ａ〜Ｅ及び脇見許容時間に基づいて、運転者の脇見行為を検出することとなる。すなわち、画像領域Ａ〜Ｅ内のいずれかに眼の位置が納まったまま、脇見許容時間が経過した場合に、脇見検出部２５は、運転者の脇見行為を検出することとなる。
【００５３】
次に、本実施形態に係る脇見検出装置１の動作を詳細に説明する。まず、脇見検出装置１の撮像部１０は、運転者の顔を含む領域を撮像し、得られた撮像画像のデータを処理装置２０に送出する。
【００５４】
そして、処理装置２０は、図１３に従う処理を実行する。図１３は、図１に示した処理装置２０の詳細動作を示すフローチャートである。
【００５５】
同図に示すように、まず、位置検出部２１は、撮像画像のデータを入力する（ＳＴ１０）。その後、位置検出部２１は、眼の追跡領域が設定されているか否かを判断する（ＳＴ１１）。眼の追跡領域が設定されていると判断した場合（ＳＴ１１：ＹＥＳ）、処理はステップＳＴ１４に移行する。
【００５６】
一方、眼の追跡領域が設定されていないと判断した場合（ＳＴ１１：ＮＯ）、位置検出部２１は、画像全体から眼の位置を検出する（ＳＴ１２）。ここでは、図３〜図６を参照して説明したように、眼の位置を検出する。そして、位置検出部２１は、眼の位置のデータを追跡部２２に送出する。
【００５７】
その後、追跡部２２は、位置検出部２１からの眼の位置のデータに基づいて、追跡領域を設定する（ＳＴ１３）。そして、追跡部２２は、新たに入力される撮像画像のデータに基づいて、追跡領域内から眼を検出する（ＳＴ１４）。その後、追跡部２２は、眼の追跡が正しく行われているか否かを判断する（ＳＴ１５）。
【００５８】
眼の追跡が正しく行われていないと判断した場合（ＳＴ１５：ＮＯ）、追跡部２２は、眼の追跡領域をクリアし（ＳＴ１６）、処理はステップＳＴ１０に戻る。この場合、再度追跡領域の設定が行われることとなる。
【００５９】
一方、眼の追跡が正しく行われていると判断した場合（ＳＴ１５：ＹＥＳ）、追跡部２２は、目の追跡領域を更新する（ＳＴ１７）。すなわち、図７を参照して説明したように、眼の位置に基づき追跡領域を更新することとなる。
【００６０】
その後、学習部２３は、所定位置視認時の眼の位置の学習は終了したか否かを判断する（ＳＴ１８）。すなわち、ルームミラー、左右のドアミラー及び右方向の追跡限界位置のすべての学習が終了したか否かを判断している。所定位置視認時の眼の位置の学習は終了していないと判断した場合（ＳＴ１８：ＮＯ）、学習部２３は、眼の位置の学習処理を行う（ＳＴ１９）。そして、処理はステップＳＴ１０に戻ることとなる。
【００６１】
そして、上記処理を繰り返し、眼の位置の学習が終了した場合、ステップＳＴ１８にて「ＹＥＳ」と判断される。その後、画像領域設定部２４は、画像領域が設定されているか否かを判断する（ＳＴ２０）。画像領域が設定されていると判断した場合（ＳＴ２０：ＹＥＳ）、処理はステップＳＴ２２に移行する。
【００６２】
一方、画像領域が設定されていないと判断した場合（ＳＴ２０：ＮＯ）、画像領域設定部２４は、所定個数の画像領域を設定すると共に、それら画像領域に異なる脇見許容時間を設定する（ＳＴ２１）。
【００６３】
その後、脇見検出部２５は、追跡部２２からの眼の位置のデータと、画像領域設定部２４からの画像領域に関するデータに基づいて、脇見検出処理を行う（ＳＴ２２）。
【００６４】
この処理により脇見が検出されなかった場合、処理は、ステップＳＴ１０に戻ることとなる。一方、脇見は検出された場合、脇見検出部２５は、報知器３０に脇見があった旨を示すデータを送出する。そして、報知器３０は報知動作を行う（ＳＴ２３）。その後、処理は終了する。
【００６５】
このようにして、運転者の脇見行為の検出が行われる。上記したように、ステップＳＴ２１において、脇見許容時間が異なる所定個数の画像領域が設定され、ステップＳＴ２２において、脇見検出が行われる。この脇見許容時間は、図１０を参照して説明したように、車両内の構造物等、例えばピラーの設置位置を考慮して定められたものであり、従来に比してより適切なものとなっている。そして、この適切な脇見許容時間に基づいて脇見検出を行うため、検出精度の高い装置が得られることとなる。
【００６６】
次に、図１３に示した学習処理（ＳＴ１９）の詳細を図１４〜図１７を参照して説明する。図１４は、図１３に示した眼の位置の学習処理（ＳＴ１９）の詳細を示すフローチャートであり、ルームミラーの視認時の学習処理を示している。
【００６７】
同図に示すように、まず、学習部２３は、眼の位置が右方向に所定量Ｍ１だけ移動したか否かを判断する（ＳＴ３０）。眼の位置が右方向に所定量Ｍ１だけ移動していないと判断した場合（ＳＴ３０：ＮＯ）、処理はステップＳＴ３２に移行する。
【００６８】
一方、眼の位置が右方向に所定量Ｍ１だけ移動したと判断した場合（ＳＴ３０：ＹＥＳ）、学習部２３は、眼の移動フラグＦＬ１をオンし、図１５〜図１７にて説明する他の移動フラグＦＬ２〜ＦＬ４をオフにする（ＳＴ３１）。
【００６９】
その後、学習部２３は、眼の移動フラグＦＬ１がオンで、且つ所定量Ｍ１だけ移動した位置に所定時間だけ眼の位置が滞留したか否かを判断する（ＳＴ３２）。眼の移動フラグＦＬ１がオンでなく、又は所定量Ｍ１だけ移動した位置に所定時間眼の位置が滞留しなかったと判断した場合（ＳＴ３２：ＮＯ）、図１４に示す処理は終了する。
【００７０】
ここで、そもそも眼の位置が右方向に所定量Ｍ１だけ移動していなかった場合（ステップＳＴ３０にて「ＮＯ」となった場合）、移動フラグＦＬ１がオンとならないことから、図１４に示す処理は終了することとなる。また、右方向に所定量Ｍ１だけ移動した場合であっても、滞留時間が短かった場合には、図１４に示す処理は終了することとなる。なお、ステップＳＴ３２における所定時間は、例えば「０．７秒」に設定される。
【００７１】
このように、学習処理において、眼の位置のデータを学習すべきでないものを排除する処理を行い、後の処理にて不的確に画像領域を設定しないようにしている。
【００７２】
ところで、眼の移動フラグＦＬ１がオンで、且つ所定量Ｍ１だけ移動した位置に所定時間だけ眼の位置が滞留したと判断した場合（ＳＴ３２：ＹＥＳ）、学習部２３は、眼の移動フラグＦＬ１をオフする（ＳＴ３３）。そして、学習部２３は、眼が滞留している位置に、矩形の小領域ａが設定されているか否かを判断する。
【００７３】
眼が滞留している位置に、矩形の小領域ａが設定されていないと判断した場合（ＳＴ３４：ＮＯ）、その滞留位置に矩形小領域ａを設定し（ＳＴ３５）、図１４に示す処理は終了する。
【００７４】
一方、矩形小領域ａが設定されていると判断した場合（ＳＴ３４：ＹＥＳ）、カウンタαの数値をカウントアップする（ＳＴ３６）。ここで、矩形小領域ａが設定されているものの、眼の滞留位置が矩形小領域ａ内でなかった場合、再度ステップＳＴ３５にて小領域ａを設定するか、図１４に示す処理を終了させるなど行う（図示せず）。
【００７５】
その後、学習部２３は、カウンタαの数値が所定値に達したか否かを判断する（ＳＴ３７）。カウンタαの数値が所定値に達していないと判断した場合（ＳＴ３７：ＮＯ）、図１４に示す処理は終了する。
【００７６】
一方、カウンタαの数値が所定値に達したと判断した場合（ＳＴ３７：ＹＥＳ）、学習部２３は、例えば小領域ａの位置をルームミラー視認時の眼の位置とする（ＳＴ３８）。これにより、学習部２３は、眼の位置の学習を完了する。その後、図１４に示す処理は終了する。
【００７７】
ところで、図１４に示す処理が行われるのと並行して、図１５〜図１７に示す処理も実行される。図１５〜図１７は、図１３に示した眼の位置の学習処理（ＳＴ１９）の詳細を示すフローチャートである。なお、図１５は左ドアミラーの視認時の、図１６は右ドアミラー視認時の、図１７は右後方視認時の学習処理を示している。
【００７８】
図１５に示すステップＳＴ４０〜ステップＳＴ４８は、図１４に示したステップＳＴ３０〜ステップＳＴ３８と同様であるため、説明を省略する。また、図１６に示すステップＳＴ５０〜ステップＳＴ５８、及び図１７に示すステップＳＴ６０〜ステップＳＴ６８についても同様に省略する。なお、図１５〜図１７の処理では、それぞれステップＳＴ４０，５０，６０において移動方向、及び移動量Ｍ２〜Ｍ４が異なり、また、図１７については右後方確認時の所定時間が異なる。
【００７９】
また、当然に小領域ｂ〜ｄ及びカウントアップを行うカウンタβ〜θ等も異なっている。
【００８０】
次に、図１３に示した脇見判定（ＳＴ２２）について詳細に説明する。図１８は、図１３に示した脇見判定（ＳＴ２２）の詳細なフローチャートである。なお、図１８においては、画像領域Ａ内に眼が存在する否かを判断する処理について説明する。また、図１８では、画像領域Ａに眼の位置が納まっている場合を示しているが、他の画像領域Ｂ〜Ｅについても同様である。
【００８１】
まず、脇見検出部２５は、画像領域Ａ内に眼が存在するか否かを判断する（ＳＴ７０）。眼が画像領域Ａ内に存在すると判断した場合（ＳＴ７０：ＹＥＳ）、脇見検出部２５は、タイマーが作動中か否かを判断する（ＳＴ７１）。
【００８２】
タイマーが作動中であると判断した場合（ＳＴ７１：ＹＥＳ）、処理はステップＳＴ７３に移行する。一方、タイマーが作動中でないと判断した場合（ＳＴ７１：ＮＯ）、脇見検出部２５は、タイマーをスタートさせる（ＳＴ７２）。
【００８３】
その後、脇見検出部２５は、タイマーにて計時される時間（即ち滞留時間）が、画像領域Ａに設定される脇見許容時間を超えたか否かを判断する（ＳＴ７３）。脇見許容時間を超えていないと判断した場合（ＳＴ７３：ＮＯ）、図１８に示す処理は終了する。
【００８４】
一方、脇見許容時間を超えたと判断した場合（ＳＴ７３：ＹＥＳ）、脇見検出部２５は、警報出力を行うと共に、タイマーをリセットする（ＳＴ７４）。そして、図１８に示す処理は終了する。
【００８５】
また、ステップＳＴ７０において、眼が画像領域Ａ内に存在しないと判断した場合（ＳＴ７０：ＮＯ）、脇見検出部２５は、警報出力をすることなく、タイマーをリセットし（ＳＴ７５）、その後処理は終了する。
【００８６】
ところで、本実施形態では、画像領域Ａ〜Ｅの設定処理（ＳＴ２１）は、ルームミラー、左右のドアミラー及び右方向の追跡限界位置（演算による算出を含む）のすべてについての学習が行われることで、実行されるようになっている。しかし、上記視認位置の学習が１つでも完了すれば、その位置を基準に画像領域のいずれかを設定し、脇見判定を開始するようにしてもよい。この場合、画像領域設定部２４は、撮像画像上の眼の位置の学習が完了する毎に、順次画像領域を設定していくこととなる。
【００８７】
図１９は、段階的に画像領域を設定する場合の処理を示す説明図である。同図に示すように、まず、学習部２３は、画像領域Ａが未設定であり、且つルームミラー視認時の眼の位置の学習が終了したか否かを判断する（ＳＴ８０）。画像領域Ａが未設定、且つルームミラー視認時の眼の位置の学習が終了したと判断した場合（ＳＴ８０：ＹＥＳ）、画像領域設定部２４は、画像領域Ｆを設定し、さらにその領域Ｆの脇見許容時間を設定する（ＳＴ８１）。そして、図１９に示す処理は終了する。
【００８８】
この画像領域Ｆは、例えば図２０に示すようなものである。図２０は、段階的に設定する画像領域の例を示す説明図である。画像領域Ｆは、画像領域Ａ，Ｃと画像領域Ｅの一部を含む領域である。ステップＳＴ８１にて画像領域Ｆを設定することとしたのは、ルームミラー視認時の眼の位置により、前方注視領域と画像領域Ａとの境界を設定することができるからである。また、ルームミラー視認時の眼の位置だけでは、画像領域Ａと画像領域Ｃとの境界が設定できないため、画像領域Ａによりも顔向き角度が大きい側の領域を含むようにしている。さらに、ルームミラー視認時の眼の位置だけでは、領域の下端が設定できないため、画像領域Ｅの一部を含むようにしている。
【００８９】
再度、図１９を参照して説明する。画像領域Ａが未設定であるか、又はルームミラー視認時の眼の位置の学習が終了しているかのいずれか一方でも満たさないと判断した場合（ＳＴ８０：ＮＯ）、処理は、ステップＳＴ８２に移行する。そして、学習部２３は、画像領域Ｃが未設定であり、且つ左ドアミラー視認時の眼の位置の学習が終了したか否かを判断する（ＳＴ８２）。
【００９０】
そして、画像領域Ｃが未設定、且つ左ドアミラー視認時の眼の位置の学習が終了したと判断した場合（ＳＴ８２：ＹＥＳ）、画像領域設定部２４は、画像領域Ｃを設定し、さらにその領域Ｃの脇見許容時間を設定する（ＳＴ８３）。
【００９１】
ここでの画像領域Ｃは、図２０に示すようなものであり、図１２を参照して説明したものと同じである。左ドアミラー視認時の眼の位置が確定すると、前述のように画像領域Ｃの右端及び下端が決定するので、画像領域設定部２４は、画像領域Ｃを決定し、さらに脇見許容時間を設定する。
【００９２】
その後、画像領域設定部２４は、画像領域Ｅが設定済みか否かを判断する（ＳＴ８４）。画像領域Ｅが設定済みであると判断した場合（ＳＴ８４：ＹＥＳ）、図１９に示す処理は終了する。
【００９３】
一方、画像領域Ｅが設定済みでないと判断した場合（ＳＴ８４：ＮＯ）、画像領域設定部２４は、画像領域Ｅ及び領域Ｅの脇見許容時間を設定する（ＳＴ８５）。そして、図１９に示す処理は終了する。
【００９４】
ここでの画像領域Ｅは、図２０に示すようなものであり、図１２を参照して説明した者と同様である。左ドアミラー視認時の眼の位置が確定すると、前述のように画像領域Ｅの上端を決定することができる。このため、画像領域設定部２４は、左ドアミラー視認時の眼の位置に基づいて、画像領域Ｇの上端を決定し、さらに領域Ｇの脇見許容時間を設定する。
【００９５】
再度、図１９を参照して説明する。画像領域Ｃが未設定であるか、又は左ドアミラー視認時の眼の位置の学習が終了しているかのいずれか一方でも満たさないと判断した場合（ＳＴ８２：ＮＯ）、処理は、ステップＳＴ８６に移行する。そして、学習部２３は、画像領域Ｂが未設定であり、且つ右ドアミラー視認時の眼の位置の学習が終了したか否かを判断する（ＳＴ８６）。
【００９６】
そして、画像領域Ｂが未設定、且つ右ドアミラー視認時の眼の位置の学習が終了したと判断した場合（ＳＴ８６：ＹＥＳ）、画像領域設定部２４は、画像領域Ｇを設定し、さらにその領域Ｇの脇見許容時間を設定する（ＳＴ８７）。
【００９７】
ここでの画像領域Ｇは、図２０に示すようなものであり、画像領域Ｂと画像領域Ｄとを加えた広さの領域である。ステップＳＴ８７にて画像領域Ｇを設定することとしたのは、右ドアミラー視認時の眼の位置により、前方注視領域と画像領域Ｂとの境界を設定することができるからである。また、右ドアミラー視認時の眼の位置だけでは、画像領域Ｂと画像領域Ｄとの境界が設定できないためである。
【００９８】
再度、図１９を参照する。画像領域Ｇ及びその領域Ｇの脇見許容時間の設定後、処理はステップＳＴ８４に移行する。そして、上記のように同様の処理を経て、図１９に示す処理は終了する。
【００９９】
また、画像領域Ｂが未設定であるか、又は右ドアミラー視認時の眼の位置の学習が終了しているかのいずれか一方でも満たさないと判断した場合（ＳＴ８６：ＮＯ）、処理は、ステップＳＴ８８に移行する。そして、学習部２３は、画像領域Ｄが未設定であり、且つ右後方視認時の眼の位置の学習が終了したか否かを判断する（ＳＴ８８）。
【０１００】
そして、画像領域Ｄが未設定、且つ右後方視認時の眼の位置の学習が終了したと判断した場合（ＳＴ８８：ＹＥＳ）、画像領域設定部２４は、画像領域Ｄを設定し、さらにその領域Ｄの脇見許容時間を設定する（ＳＴ８９）。
【０１０１】
ここでの画像領域Ｄは、図２０に示すようなものであり、図１２を参照して説明したものと同じである。右後方視認時の眼の位置が確定すると、前述のように画像領域Ｄと画像領域Ｂとの境界が決定するので、画像領域設定部２４は、画像領域Ｄを決定し、さらに領域Ｄの脇見許容時間を設定する。そして、図１９に示す処理は終了する。
【０１０２】
また、画像領域Ｄが未設定であるか、又は右後方視認時の眼の位置の学習が終了しているかのいずれか一方でも満たさないと判断した場合（ＳＴ８８：ＮＯ）、図１９に示す処理は終了する。
【０１０３】
このようにして、本実施形態に係る脇見検出装置１によれば、撮像画像上の眼の位置を基準として脇見許容時間が異なる所定個数の画像領域を設定している。通常、運転者はルームミラー等の比較的多く視認する。このため、撮像画像上の眼の位置を基準とすることで、ルームミラー等の位置に基づく、画像領域が設定できる。また、ルームミラー等の位置に基づくため、運転者の視界を遮るピラー等を考慮に入れた脇見許容時間を所定個数の画像領域それぞれに割り振ることもできる。
【０１０４】
そして、各画像領域に割り振られた脇見許容時間と追跡される眼の位置とに基づいて脇見検出を行う。このため、車両内環境に適合して各画像領域に割り振られた脇見許容時間に基づいて、脇見検出が行うことができる。
【０１０５】
従って、運転者の脇見行為の検出につき、精度向上を図ることができる。
【０１０６】
また、学習部２３は、左右のドアミラー及びルームミラーの位置を見たときの撮像画像上の眼の位置を学習している。通常、運転中において運転者は、左右のドアミラー及びルームミラーの位置を多く視認する。このため、検出される眼の位置は、左右のドアミラー及びルームミラーを見たときの位置が多くなり、検出により得られるデータ量は他の車両内部の構造物を見ている場合に比して多くなる。故に、画像領域を決定するまでの時間が、他の車両内部の構造物を見ている場合に比して短くなる。従って、画像領域の設定までの時間を短縮することができる。
【０１０７】
また、学習部２３は、運転者の眼が追跡限界位置に達したときの撮像画像上の眼の位置を学習している。通常、運転中において運転者は、比較的頻繁に右後方確認などを行う。このため、検出により得られるデータ量は他の車両内部の構造物を見ている場合に比して多くなる。故に、画像領域を決定するまでの時間が、他の車両内部の構造物を見ている場合に比して短くなる。従って、画像領域の設定までの時間を短縮することができる。
【０１０８】
また、学習部２３は、運転者の眼が左右いずれか一方の追跡限界位置に達したときの撮像画像上の眼の位置を学習する。そして、学習した眼の位置に基づいて、運転者の眼が他方の追跡限界位置に達したときの撮像画像上の眼の位置を推定している。このため、他方の追跡限界位置に達したときの撮像画像上の眼の位置を検出していなくとも、推定により得られる位置に基づいて画像領域を設定することが可能となる。従って、画像領域の設定までの時間を短縮することができる。
【０１０９】
また、画像領域設定部２４は、撮像画像上の眼の位置が学習される毎に、順次画像領域を設定していく。このため、すべての眼の位置の学習を待つことなく、画像領域は設定されていくので、脇見検出を行うまでの時間を短縮することができる。
【０１１０】
なお、上記実施形態において、図１９に示した処理は、図１２に示すステップＳＴ１９，ＳＴ２０，ＳＴ２１に代えて、実行するようにすればよい。
【０１１１】
次に、本発明の第２実施形態を説明する。第２実施形態に係る脇見検出装置２は、第１実施形態のものと同様であるが、指示部（指示手段）４０を備える点で、第１実施形態のものと異なっている。
【０１１２】
以下、第２実施形態に係る脇見検出装置２について説明する。図２１は、本発明の第２実施形態に係る脇見検出装置２の構成図である。指示部４０は、操作されることにより、学習部２３に眼の位置の学習を行わせるものである。具体的に、指示部４０は、車両の正面下方に設置されるスイッチ等から構成される。
【０１１３】
図２２は、本発明の第２実施形態に係る脇見検出装置２の機能ブロック図である。同時に示すように、指示部４０は、処理装置２０内の学習部２３に接続されている。この指示部４０は、操作されることにより、所定の信号を学習部２３に送出する。そして、これを受けた学習部２３は、眼の位置の学習を開始する。
【０１１４】
図２３は、図２１に示した処理装置２０の詳細動作を示すフローチャートである。なお、同図におけるステップＳＴ９０〜ＳＴ９６、及びステップＳＴ１００〜Ｔ１０３は、図１３に示したステップＳＴ１０〜ＳＴ１９、及びステップＳＴ２０〜Ｔ２３とそれぞれ同様であるため、説明を省略する。
【０１１５】
ステップＳＴ９６において、学習部２３は、眼の位置の学習処理を行う。このとき、運転者が指示部４０を操作すると、所定の信号が送出される。
【０１１６】
学習部２３は、ステップＳＴ９７において、所定の信号が送出されたか否かを判断することで、指示部４０が操作されたか否かを判断する。指示部４０が操作されていないと判断した場合（ＳＴ９７：ＮＯ）、処理はステップＳＴ９０に戻る。
【０１１７】
一方、指示部４０が操作されたと判断した場合（ＳＴ９７：ＹＥＳ）、学習部２３は、その指示に従って学習処理を開始する（ＳＴ９８）。このとき行われる学習処理は、図１４〜図１７に示したものと同様であるが、ステップＳＴ９６の処理と異なり、現在運転者が視認している位置を強制的に学習するものである。すなわち、運転者がルームミラーを視認している状態で、指示部４０が操作されると、その位置を強制的に学習することとなる。
【０１１８】
そして、学習部２３は、指示部４０の操作を契機として行われた学習処理について、学習が完了したか否かを判断する（ＳＴ９９）。学習が完了していないと判断した場合（ＳＴ９９：ＮＯ）、処理はステップＳＴ９０に戻る。一方、学習は完了したと判断した場合（ＳＴ９９：ＹＥＳ）、画像領域設定部２４は、画像領域が設定されているか否かを判断する（ＳＴ１００）。そして、以後図１３のステップＳＴ２０〜Ｔ２３と同様の処理が行われていく。
【０１１９】
このようにして、本実施形態に係る脇見検出装置２によれば、第１実施形態と同様に、運転者の脇見行為の検出につき、精度向上を図ることができ、画像領域の設定までの時間を短縮することができる。また、脇見検出を行うまでの時間を短縮することができる。
【０１２０】
また、操作されることにより、学習部２３に眼の位置の学習を行わせる指示部４０を備えている。このため、運転者が指示部４０を操作するだけで、容易に眼の位置が学習され、画像領域の設定までの時間が短縮されることとなる。従って、運転開始時等から早期に脇見検出を行うことができる。
【０１２１】
次に、本発明の第３実施形態を説明する。第３実施形態に係る脇見検出装置３は、第１実施形態のものと同様であるが、走行状態検出部（走行状態検出手段）５０及び許容時間変更部（許容時間変更手段）２６を備える点で、第１実施形態のものと異なっている。
【０１２２】
以下、第３実施形態に係る脇見検出装置３について説明する。図２４は、本発明の第３実施形態に係る脇見検出装置３の構成図である。走行状態検出部５０は、車両の走行状態を検出するものであり、車速センサ５１、車間距離センサ５２（距離センサ）、及びナビゲーション装置５３を含むものである。
【０１２３】
車速センサ５１は、車両の車速を検出するものであり、例えば、自動変速機の出力側に設けられたセンサや、車輪の回転を検出するために設けられた車輪速センサ等から構成される。また、車間距離センサ５２は、先行車両と自車両との距離を検出するものであり、例えばＣＣＤカメラによる画像処理、赤外線カメラ、超音波センサ、ミリ波レーダ、レーザーレーダ等から構成される。
【０１２４】
また、ナビゲーション装置５３は、自車位置、目的地、及び目的地までの経路等を運転者に提示することにより、車両を目的地まで案内するものである。また、ナビゲーション装置５３は、地図上の道路の種別に関する情報を運転者に提示する機能を有している。
【０１２５】
図２５は、本発明の第３実施形態に係る脇見検出装置３の機能ブロック図である。同時に示すように、第３実施形態に係る脇見検出装置３は、処理装置２０内に許容時間変更部２６を有している。
【０１２６】
許容時間変更部２６は、走行状態検出部５０からの出力信号に応じて、脇見許容時間を変更するものである。具体的に、許容時間変更部２６は、車速センサ５１からの車速信号に基づき、車両の速度が速くなるに従って脇見許容時間を短くする。また、許容時間変更部２６は、車間距離センサ５２からの距離信号に基づき、自車両が先行車両に近くなるに従って脇見許容時間を短くする。さらに、許容時間変更部２６は、ナビゲーション装置５３からの道路の種別に関する情報に基づき、自車両が自動車専用道路を走行しているときの脇見許容時間よりも、一般道路を走行しているときの脇見許容時間を短くする。
【０１２７】
次に、車速に基づいて脇見許容時間を変更する場合の動作を説明する。図２６は、図２４に示した処理装置２０の詳細動作を示すフローチャートであり、車速に応じて脇見許容時間を変更する場合の例を示している。また、図２６は、画像領域Ａの脇見許容時間を変更する場合を説明する。
【０１２８】
まず、許容時間変更部２６は、車速センサ５１からの車速信号を入力し、車速を検出する（ＳＴ１１０）。そして、許容時間変更部２６は、車速に応じた数値等を求める。また、許容時間変更部２６は、画像領域設定部２４にて設定された画像領域Ａの脇見許容時間の情報を脇見検出部２５から読み取る。そして、数値等の情報と、読み取った脇見許容時間の情報に基づいて、脇見許容時間の変更を行い、これを設定する（ＳＴ１１１）。
【０１２９】
この変更に際し、許容時間変更部２６は、所定の演算式やマップデータ等を用いて、脇見許容時間の変更を行う。図２７は、車速に応じた脇見許容時間の例を示す説明図である。具体的に、許容時間変更部２６は、図２７に示すように車速が速くなるに従って脇見許容時間を短くしている。なお、図２７の領域Ａ〜Ｅは、図１２を参照して説明した画像領域Ａ〜Ｅを指している。
【０１３０】
再度図２６を参照する。脇見許容時間の変更後、処理は、ステップＳＴ１１２に移行し、ステップＳＴ１１２以降の処理を経て終了する。ステップＳＴ１１２〜ステップＳＴ１１７の処理は、図１８に示したステップＳＴ７０〜ステップＳＴ７５の処理と同様であるため、説明を省略する。
【０１３１】
次に、車間距離に基づいて脇見許容時間を変更する場合の動作を説明する。図２８は、図２４に示した処理装置２０の詳細動作を示すフローチャートであり、車間距離に応じて脇見許容時間を変更する場合の例を示している。また、図２６は、画像領域Ａの脇見許容時間を変更する場合を説明する。
【０１３２】
まず、許容時間変更部２６は、車間距離センサ５２からの距離信号を入力し、先行車までの距離を検出する（ＳＴ１２０）。そして、許容時間変更部２６は、車間距離に応じた数値等を求める。また、許容時間変更部２６は、画像領域設定部２４にて設定された画像領域Ａの脇見許容時間の情報を脇見検出部２５から読み取る。そして、数値等の情報と、読み取った脇見許容時間の情報に基づいて、脇見許容時間の変更を行い、これを設定する（ＳＴ１２１）。
【０１３３】
この変更に際し、許容時間変更部２６は、所定の演算式やマップデータ等を用いて、脇見許容時間の変更を行う。図２９は、車速に応じた脇見許容時間の例を示す説明図である。具体的に、許容時間変更部２６は、図２９に示すように自車両が先行車両に近くなるに従って脇見許容時間を短くしている。なお、図２７の領域Ａ〜Ｅは、図１２を参照して説明した画像領域Ａ〜Ｅを指している。
【０１３４】
再度図２８を参照する。脇見許容時間の変更後、処理は、ステップＳＴ１２２に移行し、ステップＳＴ１２２以降の処理を経て終了する。ステップＳＴ１２２〜ステップＳＴ１２７の処理は、図１８に示したステップＳＴ７０〜ステップＳＴ７５の処理と同様であるため、説明を省略する。
【０１３５】
次に、道路の種別に関する情報に基づいて脇見許容時間を変更する場合の動作を説明する。図３０は、図２４に示した処理装置２０の詳細動作を示すフローチャートであり、道路種別情報に基づいて脇見許容時間を変更する場合の例を示している。また、図３０は、画像領域Ａの脇見許容時間を変更する場合を説明する。
【０１３６】
まず、許容時間変更部２６は、ナビゲーション装置５３からの道路種別情報を入力し、自車両が一般道から自動車専用道路に入ったか否かを判断する（ＳＴ１３０）。
【０１３７】
自車両が一般道から自動車専用道路に入っていないと判断した場合（ＳＴ１３０：ＮＯ）、処理はステップＳＴ１３２に移行する。一方、自車両が一般道から自動車専用道路に入ったと判断した場合（ＳＴ１３０：ＹＥＳ）、許容時間変更部２６は、画像領域設定部２４にて設定された画像領域Ａの脇見許容時間の情報を脇見検出部２５から読み取る。そして、読み取った脇見許容時間を長く設定する。詳しくは、許容時間変更部２６は、「脇見許容時間＝脇見許容時間×１．２」とし、求められた新たな脇見許容時間を設定する（ＳＴ１３１）。
【０１３８】
その後、許容時間変更部２６は、ナビゲーション装置５３からの道路種別情報を入力し、自車両が自動車専用道路から一般道に入ったか否かを判断する（ＳＴ１３２）。
【０１３９】
自車両が自動車専用道路から一般道に入っていないと判断した場合（ＳＴ１３２：ＮＯ）、処理はステップＳＴ１３４に移行する。一方、自車両が自動車専用道路から一般道に入ったと判断した場合（ＳＴ１３２：ＹＥＳ）、許容時間変更部２６は、画像領域設定部２４にて設定された画像領域Ａの脇見許容時間の情報を脇見検出部２５から読み取る。そして、読み取った脇見許容時間を短く設定する。詳しくは、許容時間変更部２６は、「脇見許容時間＝脇見許容時間×０．８３」とし、求められた新たな脇見許容時間を設定する（ＳＴ１３３）。
【０１４０】
脇見許容時間の変更後、処理は、ステップＳＴ１３４に移行し、ステップＳＴ１３４以降の処理を経て終了する。ステップＳＴ１３４〜ステップＳＴ１３９の処理は、図１８に示したステップＳＴ７０〜ステップＳＴ７５の処理と同様であるため、説明を省略する。
【０１４１】
このようにして、本実施形態に係る脇見検出装置３によれば、第１実施形態と同様に、運転者の脇見行為の検出につき、精度向上を図ることができ、画像領域の設定までの時間を短縮することができる。また、脇見検出を行うまでの時間を短縮することができる。
【０１４２】
また、車両の走行状態を検出し、検出結果に応じて脇見許容時間を変更している。このため、車室内環境だけでなく、車両周囲の環境等をも考慮して脇見許容時間を変更できることなる。従って、運転者の脇見行為の検出につき、一層の精度向上を図ることができる。
【０１４３】
また、車速センサ５１からの車速信号に基づき、車両の速度が速くなるに従って脇見許容時間を短くしている。このため、例えば、車両速度が速い場合には、運転者が前方注視領域近くを視認していたとしても脇見許容時間を短くすることができ、より適切に、脇見検出を行うことができる。
【０１４４】
また、車間距離センサ５２からの距離信号に基づき、自車両が先行車両に近くなるに従って脇見許容時間を短くしている。このため、例えば、先行車両までの距離が短い場合には、運転者が前方注視領域近くを視認していたとしても脇見許容時間を短くすることができ、より適切に、脇見検出を行うことができる。
【０１４５】
また、通常、一般道は歩行者や信号等があり、自動車専用道路は歩行者や信号等がない。このように、一般道は自動車道路よりも車両の停止機会が多いのが実情である。また、自動車専用道路は路側帯も広めであることが多い。このため、自動車専用道路を走行時よりも一般道路を走行時の脇見許容時間を短くすることで、より適切に、脇見検出を行うことができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る脇見検出装置の構成図である。
【図２】本発明の第１実施形態に係る脇見検出装置の機能ブロック図である。
【図３】位置検出部が眼の位置の検出に際して行う初期処理の説明図である。
【図４】位置検出部が所定の画素を抽出したとき様子を示す説明図である。
【図５】画像横方向に近接する画素をグループ化したときの様子を示す説明図である。
【図６】位置検出部によるゾーン化後の様子を示す説明図である。
【図７】追跡部による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。
【図８】運転者が前方、ルームミラー、左右のドアミラーを視認したときに様子を示す説明図であり、（ａ）は運転者が前方を視認しているときの運転者の眼の位置を示し、（ｂ）はルームミラーを視認しているときの運転者の眼の位置を示し、（ｃ）は右ドアミラーを視認しているときの運転者の眼の位置を示し、（ｄ）は左ドアミラーを視認しているときの運転者の眼の位置を示し、（ｅ）は運転者の視認箇所に応じた眼の座標位置を示している。
【図９】ミラー視認時の運転者の眼の滞留時間と車速との関係を示す説明図である。
【図１０】脇見許容時間が異なる所定個数の画像領域の例を示す説明図であり、（ａ）は所定個数の画像領域の例を示しており、（ｂ）は画像領域毎の脇見許容時間の例を示している。
【図１１】画像領域設定部による画像領域の設定方法の説明図であり、（ａ）は運転者が左ドアミラーを見たときの顔の向きの様子を示しており、（ｂ）は運転者が右ドアミラーを見たときの顔の向きの様子を示している。
【図１２】撮像画像上に設定された画像領域の具体例の説明図である。
【図１３】図１に示した処理装置の詳細動作を示すフローチャートである。
【図１４】図１３に示した眼の位置の学習処理（ＳＴ１９）の詳細を示すフローチャートであり、ルームミラーの視認時の学習処理を示している。
【図１５】図１３に示した眼の位置の学習処理（ＳＴ１９）の詳細を示すフローチャートであり、左ドアミラーの視認時の学習処理を示している。
【図１６】図１３に示した眼の位置の学習処理（ＳＴ１９）の詳細を示すフローチャートであり、右ドアミラー視認時の学習処理を示している。
【図１７】図１３に示した眼の位置の学習処理（ＳＴ１９）の詳細を示すフローチャートであり、右後方視認時の学習処理を示している。
【図１８】図１３に示した脇見判定（ＳＴ２２）の詳細なフローチャートである。
【図１９】段階的に画像領域を設定する場合の処理を示す説明図である。
【図２０】段階的に設定する画像領域の例を示す説明図である。
【図２１】本発明の第２実施形態に係る脇見検出装置の構成図である。
【図２２】本発明の第２実施形態に係る脇見検出装置の機能ブロック図である。
【図２３】図２１に示した処理装置の詳細動作を示すフローチャートである。
【図２４】本発明の第３実施形態に係る脇見検出装置の構成図である。
【図２５】本発明の第３実施形態に係る脇見検出装置の機能ブロック図である。
【図２６】図２４に示した処理装置の詳細動作を示すフローチャートであり、車速に応じて脇見許容時間を変更する場合の例を示している。
【図２７】車速に応じた脇見許容時間の例を示す説明図である。
【図２８】図２４に示した処理装置の詳細動作を示すフローチャートであり、車間距離に応じて脇見許容時間を変更する場合の例を示している。
【図２９】車速に応じた脇見許容時間の例を示す説明図である。
【図３０】図２４に示した処理装置の詳細動作を示すフローチャートであり、道路種別情報に基づいて脇見許容時間を変更する場合の例を示している。
【符号の説明】
１〜３…脇見検出装置
１０…撮像部（撮像手段）
２０…処理装置
２１…位置検出部
２２…追跡部（追跡手段）
２３…学習部（学習手段）
２４…画像領域設定部（画像領域設定手段）
２５…脇見検出部（脇見検出手段）
２６…許容時間変更部（許容時間変更手段）
３０…報知器
４０…指示部（指示手段）
５０…走行状態検出部（走行状態検出手段）
５１…車速センサ
５２…車間距離センサ
５３…ナビゲーション装置
Ａ〜Ｇ…画像領域
【図１】
2004347464.tif 000003
【図２】
2004347464.tif 000004
【図３】
2004347464.tif 000005
【図４】
2004347464.tif 000006
【図５】
2004347464.tif 000007
【図６】
2004347464.tif 000008
【図７】
2004347464.tif 000009
【図８】
2004347464.tif 000010
【図９】
2004347464.tif 000011
【図１０】
2004347464.tif 000012
【図１１】
2004347464.tif 000013
【図１２】
2004347464.tif 000014
【図１３】
2004347464.tif 000015
【図１４】
2004347464.tif 000016
【図１５】
2004347464.tif 000017
【図１６】
2004347464.tif 000018
【図１７】
2004347464.tif 000019
【図１８】
2004347464.tif 000020
【図１９】
2004347464.tif 000021
【図２０】
2004347464.tif 000022
【図２１】
2004347464.tif 000023
【図２２】
2004347464.tif 000024
【図２３】
2004347464.tif 000025
【図２４】
2004347464.tif 000026
【図２５】
2004347464.tif 000027
【図２６】
2004347464.tif 000028
【図２７】
2004347464.tif 000029
【図２８】
2004347464.tif 000030
【図２９】
2004347464.tif 000031
【図３０】
2004347464.tif 000032