(57)【要約】【課題】監視領域内を走行する車両の車幅方向に関する挙動を評価することにより、例えば、居眠り状態といった正常ではない運転状態を判断する。【解決手段】道路形状認識部１１ａは、車両が走行する道路形状を認識する。車両認識部１１ｂは、監視領域内における車両の位置を認識する。位置特定部１２は、認識された道路形状と、認識された車両の位置とに基づき、車両が走行する道路を基準とした車幅方向に関する車両の相対位置を特定する。判断部１３は、特定された相対位置の時系列的な変化に基づき、車両の車幅方向に関する挙動が正常であるか否かを判断する。【選択図】　図１
2004118330.tif 000002
【特許請求の範囲】
【請求項１】
監視領域内を走行する車両の挙動を監視する車両監視装置において、
前記車両が走行する道路形状を認識する道路形状認識部と、
前記監視領域内における前記車両の位置を認識する車両認識部と、
前記認識された道路形状と、前記認識された車両の位置とに基づき、前記車両が走行する道路を基準とした車幅方向に関する前記車両の相対位置を特定する位置特定部と、
前記特定された相対位置の時系列的な変化に基づき、前記車両の車幅方向に関する挙動が正常であるか否かを判断する判断部と
を有することを特徴とする車両監視装置。
【請求項２】
前記判断部において、前記車両の車幅方向に関する挙動が正常であると判断された場合は、第１の監視モードで前記車両を監視し、前記車両の車幅方向に関する挙動が正常でないと判断された場合には、第２の監視モードで前記車両を監視する監視部をさらに有し、
当該監視部は、
前記第１の監視モードでは、前記車両までの安全な車間距離として、第１の距離を設定し、
前記第２の監視モードでは、前記車両までの安全な車間距離として、前記第１の距離よりも長い第２の距離を設定することを特徴とする請求項１に記載された車両監視装置。
【請求項３】
前記判断部は、前記特定された相対位置の時系列的な変化から変位量を特定し、当該特定された変位量を周波数変換することにより、各周波数成分パワーを求め、基準周波数を基準に周波数領域を低周波領域と高周波領域とに分けて、前記低周波領域における前記周波数成分パワーの第１の積分値を求め、かつ、前記高周波領域における前記周波数成分パワーの第２の積分値を求めるとともに、前記第１の積分値および前記第２の積分値を用いて、前記車両の車幅方向に関する挙動を評価する評価値を算出することを特徴とする請求項１または２に記載された車両監視装置。
【請求項４】
前記監視領域を含む景色を撮像することにより、撮像画像を出力する第１のカメラと、
前記監視領域内における距離の二次元的な分布を距離データとして出力するセンサと
をさらに有し、
前記道路形状認識部は、前記撮像画像および前記距離データに基づき、前記道路形状を認識し、
前記車両認識部は、前記距離データに基づき、前記車両の位置を認識することを特徴とする請求項１から３のいずれかに記載された車両監視装置。
【請求項５】
前記監視領域を含む景色を撮像することにより、撮像画像を出力し、かつ、前記第１のカメラと協働することによってステレオカメラとして機能する第２のカメラをさらに有し、
前記センサは、前記第１のカメラと前記第２のカメラとを含み、前記第１のカメラから出力された撮像画像と、前記第２のカメラから出力される撮像画像とに基づき、ステレオマッチングによって、前記距離データを算出することを特徴とする請求項４に記載された車両監視装置。
【請求項６】
前記道路形状認識部は、監視領域内に存在するガードレールの形状、または、白線の形状に基づいて前記道路形状を認識することを特徴とする請求項１から５のいずれかに記載された車両監視装置。
【請求項７】
監視領域内を走行する車両の挙動を監視する車両監視方法において、
前記車両が走行する道路形状を認識するステップと、
前記監視領域内における前記車両の位置を認識するステップと、
前記認識された道路形状と、前記認識された車両の位置とに基づき、前記車両が走行する道路を基準とした車幅方向に関する前記車両の相対位置を特定するステップと、
前記特定された相対位置の時系列的な変化に基づき、前記車両の車幅方向に関する挙動が正常であるか否かを判断するステップと
を有することを特徴とする車両監視方法。
【請求項８】
前記車両の挙動が正常であると判断された場合は、第１の監視モードで前記車両を監視し、前記車両の挙動が正常でないと判断された場合には、第２の監視モードで前記車両を監視するステップをさらに有し、
当該ステップは、
前記第１の監視モードでは、前記車両までの安全な車間距離として、第１の距離を設定し、
前記第２の監視モードでは、前記車両までの安全な車間距離として、前記第１の距離よりも長い第２の距離を設定することを特徴とする請求項７に記載された車両監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、監視領域内を走行する車両の挙動を監視する車両監視装置およびその方法に係り、特に、走行する車両が正常な運転状態であるか否かを判断する手法に関する。
【０００２】
【従来の技術】
近年、車両の事故の発生を低減するための技術の開発は、安全性の観点から、重要な研究課題の一つである。例えば、ドライバの覚醒度が低下し居眠り状態になると、重大な事故を引き起こしかねない。また、居眠り状態までは至らないぼんやりした状態であっても、走行状況の急激な変化に素早く対応できないため、事故を引き起こす可能性がある。
【０００３】
この点に関し、自車両の動作量を検出し、ドライバの覚醒の程度を推定する手法がある（例えば、特許文献１参照）。かかる手法では、ドライバの覚醒度を推定し、この覚醒度が低下している場合には、警報処理を実行し、ドライバに注意を促している。
【０００４】
【特許文献１】
特開２０００−１８５５７５号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、自己の不注意に起因した事故の発生を低減できるものの、他車両に起因した事故の発生までも低減することは難しい。交通量の増加にともない、他車両に起因した事故も多発している現状では、覚醒度を判定し、ドライバに異常を警報したとしても、或いは、ドライバがどんなに安全運転に心がけたとしても、事故に巻き込まれる可能性は否定できない。
【０００６】
そこで、自車両の周囲を走行する他車両や、障害物を監視すべく、種々の車両監視装置が提案されている。この類の車両監視装置では、単眼カメラ、ステレオカメラまたはレーダ（ミリ波レーダ、レーザレーダなど）を用いて所定の監視領域を撮像またはスキャンし、これにより得られた情報に基づき、自車両の車線逸脱、或いは、自車両周囲の状況を監視している。そして、例えば、自車両と他車両との車間距離が規定値より小さくなった場合には、他車両までの安全な車間距離が確保されていないと判断して、ドライバに対して警報を促す、或いは、車速を減速すべく、シフトダウンを行うといった車両制御が行わる。
【０００７】
ただし、より安全な運転状況を求めるのならば、さらに積極的に他車両を監視することが必要となる。例えば、監視領域内の車両が、事故を引き起す可能性がある運転状態（例えば、酔っぱらい状態または居眠り状態など）であるか否かを判断できれば、安全性の観点から、より有益である。
【０００８】
本発明は、このような事情に鑑みてなされたものであり、その目的は、例えば、居眠り運転といった車両の異常な挙動を監視することである。
【０００９】
また、本発明の別の目的は、監視領域内を走行する他車両の走行状態に応じて、ドライバに対して警報を行う、または、自車両の車両制御を行う車両監視装置における安全性・信頼性を一層向上させることである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、監視領域内を走行する車両の挙動を監視する車両監視装置において、道路形状認識部と、車両認識部と、位置特定部とを有する車両監視装置を提供する。かかる車両監視装置において、道路形状認識部は、車両が走行する道路形状を認識する。車両認識部は、監視領域内における車両の位置を認識する。位置特定部は、認識された道路形状と、認識された車両の位置とに基づき、車両が走行する道路を基準とした車幅方向に関する車両の相対位置を特定する。判断部は、特定された相対位置の時系列的な変化に基づき、車両の車幅方向に関する挙動が正常であるか否かを判断する。
【００１１】
ここで、第１の発明は、判断部において、車両の挙動が正常であると判断された場合は、第１の監視モードで車両を監視し、車両の挙動が正常でないと判断された場合には、第２の監視モードで車両を監視する監視部をさらに有することが好ましい。この監視部は、第１の監視モードでは、車両までの安全な車間距離として、第１の距離を設定し、第２の監視モードでは、車両までの安全な車間距離として、第１の距離よりも長い第２の距離を設定する。
【００１２】
また、第１の発明において、判断部は、特定された相対位置の時系列的な変化から変位量を特定し、特定された変位量を周波数変換することにより、各周波数成分パワーを求め、基準周波数を基準に周波数領域を低周波領域と高周波領域とに分けて、低周波領域における周波数成分パワーの第１の積分値を求め、かつ、高周波領域における周波数成分パワーの第２の積分値を求めるとともに、第１の積分値および第２の積分値を用いて、車両の車幅方向に関する挙動を評価する評価値を算出することが好ましい。
【００１３】
また、第１の発明において、監視領域を含む景色を撮像することにより、撮像画像を出力する第１のカメラと、監視領域内における距離の二次元的な分布を距離データとして出力するセンサとをさらに有することが好ましい。この場合、上述した道路形状認識部は、撮像画像および距離データに基づき、道路形状を認識し、また、車両認識部は、距離データに基づき、車両の位置を認識することが望ましい。
【００１４】
また、第１の発明において、監視領域を含む景色を撮像することにより、撮像画像を出力し、かつ、第１のカメラと協働することによってステレオカメラとして機能する第２のカメラをさらに有することが好ましい。この場合、センサは、第１のカメラと第２のカメラとを含み、第１のカメラから出力された撮像画像と、第２のカメラから出力される撮像画像とに基づき、ステレオマッチングによって、距離データを算出することが望ましい。
【００１５】
さらに、第１の発明において、道路形状認識部は、監視領域内に存在するガードレールの形状、または、白線の形状に基づいて道路形状を認識することが好ましい。
【００１６】
第２の発明は、監視領域内を走行する車両の挙動を監視する車両監視方法を提供する。かかる車両監視方法は、第１のステップとして、車両が走行する道路形状を認識する。第２のステップとして、監視領域内における車両の位置を認識する。第３のステップとして、認識された道路形状と、認識された車両の位置とに基づき、車両が走行する道路を基準とした車幅方向に関する車両の相対位置を特定する。第４のステップとして、特定された相対位置の時系列的な変化に基づき、車両の車幅方向に関する挙動が正常であるか否かを判断する。
【００１７】
ここで、第２の発明において、車両の挙動が正常であると判断された場合は、第１の監視モードで車両を監視し、車両の挙動が正常でないと判断された場合には、第２の監視モードで車両を監視するステップをさらに有することが好ましい。このステップは、第１の監視モードでは、車両までの安全な車間距離として、第１の距離を設定し、第２の監視モードでは、車両までの安全な車間距離として、第１の距離よりも長い第２の距離を設定することが望ましい。
【００１８】
【発明の実施の形態】
図１は、本実施形態にかかる車両監視装置を示すブロック図である。この車両監視装置１は、例えば、自車両に搭載されて、監視領域内の走行状況（他車両や道路形状など）を監視する。本実施形態では、この監視領域は自車両の前方に設定されており、車両監視装置１は自車両の進行方向の走行状況を監視している。ただし、監視領域は、必ずしも自車両の前方に設定される必要はなく、例えば、自車両の後方に設定されてもよい。
【００１９】
車外の景色を撮像するカメラは、ルームミラーの近傍に取り付けられており、一対のカメラ２，３で構成されている。これら一対のカメラ２，３のそれぞれには、イメージセンサ（ＣＣＤセンサまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。換言すれば、これらのカメラ２，３は、互いに協同することにより、ステレオカメラとして機能している。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００２０】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２１】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データは、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８に格納される。
【００２２】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。換言すれば、距離データは、監視領域内における距離の二次元的な分布である。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００２３】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２４】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００２６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ９に格納される。
【００２７】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１１、位置特定部１２、判断部１３および監視部１４を有する。
【００２８】
認識部１１は、画像データメモリ８および距離データメモリ９より読み出した一フレームの基準画像データ（以下、単に「画像データ」と称する）および距離データを処理対象として、監視領域内の状況を認識する。具体的には、認識部１１は、道路形状認識部１１ａと、車両認識部１１ｂとから構成されており、道路形状認識部１１ａは、車両が走行する道路形状を認識し、車両認識部１１ｂは、監視領域内における他車両（以下、単に「車両」と称する）の位置を認識する。これらの認識部１１ａ，１１ｂによって認識された道路形状および車両の位置（詳しくは、これらを規定するパラメータ）は、位置特定部１２と、監視部１４とにそれぞれ出力される。そして、この位置特定部１２は、道路形状と、車両の位置とに基づき、車両が走行する道路を基準とした車幅方向に関する車両の相対位置を特定する。判断部１３は、位置特定部１２によって特定された相対位置の時系列的な変化に基づき、車両の車幅方向に関する挙動が正常であるか否かを判断する。また、監視部１４は、認識部１１によって認識された状況に基づき、監視領域内を監視する。この監視部１４は、切換可能な監視モードとして第１の監視モードと、第２の監視モードとを有しており、判断部１３における判断結果に応じて、こられのモードを切替えることができる。なお、監視部１４は、初期設定として、例えば、第１の監視モードで監視を行う。
【００２９】
図３は、本実施形態にかかる車両監視手順を示したフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１０によって実行される。まず、ステップ１において、認識部１１は、画像データメモリ８より一フレームの画像データを読み込むとともに、この画像データに対応する距離データを距離データメモリ９より読み込む。
【００３０】
ステップ２において、道路形状認識部１１ａは、読み込まれた画像データおよび距離データに基づき、道路形状を認識する。具体的には、道路形状認識部１１ａは、道路面および道路形状を規定する道路モデルを算出することにより、道路形状を認識する。この道路モデルは、実空間の座標系において、水平方向および垂直方向における直線式で表現される。すなわち、「道路形状の認識」とは、この直線式のパラメータを、実際の道路形状に合致するような値に設定することである。
【００３１】
例えば、道路上に描かれた車線を規定する白線は、道路の形状を特定するうえで有効である。白線は道路面と比較して高輝度であるという知得に基づき、道路形状認識部１１ａは、道路の幅方向の輝度変化を評価して、画像平面における左右の白線の位置を画像平面上で特定する。この白線の実空間上の位置（ｘ，ｙ，ｚ）は、画像平面上の位置（ｉ，ｊ）とこの位置に関して算出された視差ｄとに基づいて、すなわち、距離データに基づいて、周知の座標変換式より算出される。自車両の位置を基準に設定された実空間の座標系は、ステレオカメラの中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。このとき、ｘ−ｚ平面（ｙ＝０）は、道路が平坦な場合、道路面と一致する。道路モデルは、道路上の自車線を距離方向に複数区間に分割し、各区間における左右の白線を三次元の直線で近似し、これらを折れ線状に連結することによって表現される。
【００３２】
ステップ３において、車両認識部１１ｂは、距離データに基づき、監視領域内に存在する監視すべき対象物を認識する。具体的には、車両認識部１１ｂは、読み込まれた距離データを、例えば、図４に示すように、ｉｊ平面において、所定の間隔で（例えば、水平方向に４画素間隔）で分割することにより、格子状（縦短冊状）の複数の区分に分割する。そして、分割された区分のそれぞれを処理対象として、以下に示す処理が行われる。
【００３３】
まず、処理対象とする区分内に存在する全データの中から、任意のデータ（例えば、（ｉ，ｊ）位置が最も原点に近いデータ）が選択される。ここで、「データ」とは、位置（ｉ，ｊ）に対応付けられた視差ｄをいう。そして、選択されたデータについて、三次元位置（ｘ，ｙ，ｚ）が算出される。そして、上述した道路モデルの直線式を使って、距離ｚにおける道路面の高さが算出される。この道路面の高さと、座標変換されたデータの高さｙを比較して、このデータが道路面より上にある場合には、そのデータが立体物データとして抽出される。そして、この区分内のすべてのデータについて、同様の処理が繰り返し実行され、その区分内に存在する立体物データが、順次抽出される。
【００３４】
立体物データの抽出処理が完了すると、次に、抽出された立体物データを算出対象として、ヒストグラムが算出される。このヒストグラムは、予め設定された距離（例えば、１５ｍ）の区間に含まれる立体物データの個数を数えることで、例えば、距離ｚを横軸とした立体物データの出現頻度として表される。このヒストグラムが作成されたら、出現頻度が所定のしきい値以上で、かつ、最頻距離となる区間を検出する。このとき、車両認識部１１ｂは、この条件に該当する区間があれば、その区分には立体物が存在すると判断する。そして、その区間内に存在するデータ数相当の距離の平均値または代表値、或いは、該当区間の中間値が、その立体物までの距離として算出される。そして、距離データに関するすべての区分について、上述した処理が繰り返し実行され、分割された区分相当の距離が算出される。
【００３５】
つぎに、区分のそれぞれについて算出された距離を、距離データの左から右へ順次比較してゆき、値が近似しているものがグループとしてまとめられ、監視すべき対象物として認識される。そして、各グループについてデータの並び方向、すなわち、グループ内の距離が奥行き方向（ｚ方向）に並ぶのか、それとも、車幅方向（ｘ方向）に並ぶのかがチェックされる。そして、グループ内の距離が車幅方向に並ぶものが、立体物（本実施形態では、車両）として分類される。そして、車両と分類されたグループについて、距離データに基づき、このグループと自車両との間の距離と、グループの中心位置、或いは、（左右）端部の位置等が、パラメータとして算出される。これにより、監視領域内における車両の位置が認識される。
【００３６】
なお、上述した「監視すべき対象物」とは、本実施形態では、特に車両をいうが、車両認識部１１ｂは、監視部１４にとって監視するうえで必要なその他の対象物、例えば、ガードレールなどの側壁をさらに認識してもよい。ガードレール認識の手法としては、例えば、まとめられたグループのうち、グループ内の距離が奥行き方向に並ぶものをガードレールと認識するといった如くである。
【００３７】
ステップ２およびステップ３の処理で認識された道路モデルおよび対象物に関する情報は、監視部１４に出力されるとともに、認識された道路モデルおよび監視領域内における車両の位置は、判断部１２に出力される。これにともない、監視部１４は、道路の形状、および、認識された対象物（例えば、車両やガードレール）に基づき、後述する監視モードに応じて車両前方の走行状況を監視することができる。
【００３８】
ステップ４において、判断部１２は、道路モデルに基づき、車両の位置における左右の白線に関する実空間上の位置を算出するとともに、算出された左右の白線位置より道路の中央位置を特定する。そして、特定された中央位置を基準として、車幅方向、すなわち、ｘ方向に関する車両の相対位置（例えば、車両の中央における相対位置）が特定される。このことから理解されるように、車両の相対位置は、道路を基準として特定されている。したがって、この相対位置には車両の挙動に起因した変位が正確に反映されることとなる。そして、この特定された相対位置は、後段の処理において利用されるサンプルデータとして、例えば、マイクロコンピュータ１０のＲＡＭ内に格納される。
【００３９】
ただし、本実施形態では、車幅方向に関する車両の相対位置を特定するにあたり、車線の中央位置を基準とすることに限定されない。例えば、片側の車線に関する道路モデルに着目し、認識された車両の位置近傍での白線位置を算出する。そして、この白線位置（或いは、白線位置からｘ方向に所定のマージンを加えた位置）を基準として、車幅方向に関する車両の相対位置を特定してもよい。すなわち、判断部１２は、監視すべき車両の挙動のみを把握するべく、道路を基準として、車幅方向に関する車両の相対位置を特定すればよい。
【００４０】
そして、ステップ５において、評価対象となり得る相当数のサンプルデータの抽出が終了したか否かが判断される。後述するように、判断部１２は、所定のサンプル時間の車両の挙動を評価するため、複数のサンプルデータを必要とする。例えば、必要とするサンプル時間を５０〜８０秒とした場合、本ルーチンの実行間隔を０．１秒としたならば、処理対象とするフレーム数は、５００〜８００フレームとなる。すなわち、この判断で肯定判定された場合には、所定のサンプル時間相当のサンプルデータの抽出が終了したとして、後段のステップ７に進む。一方、この判断で否定判定された場合、所定のサンプル時間相当のサンプルデータの抽出が行われていないとして、次の処理対象のフレームに移る（ステップ６）。そして、今回処理したフレームよりも、時系列的に後に並ぶフレームを処理対象として、ステップ１〜ステップ５の処理が繰り返される。
【００４１】
監視領域内を走行している車両の挙動は、その車両を運転するドライバの運転状態に起因する。例えば、ドライバの覚醒度が低下した酔っぱらい状態や居眠り状態、すなわち、異常な運転状態の場合、監視領域内の車両の挙動には、車幅方向に通常より大きくふらつくなどといった異常が現れる。したがって、監視領域内の車両の時系列的な変位量に基づき、その挙動を評価することで、ドライバの運転状態を推定し、その車両が自車両にとって危険な存在であるか否かを判断することができる。
【００４２】
そこで、ステップ５に続くステップ７において、判断部１３は、特定された相対位置（サンプルデータ）の時系列的な変化から変位量を特定し、この特定された変位量に基づいて車両の車幅方向の挙動を評価する評価値を算出する。図５は、ステップ７に示す評価値算出を示す詳細なフローチャートである。まず、ステップ７０において、マイクロコンピュータ１０中のＲＡＭに格納された過去Ｘ秒間（所定のサンプル時間）のサンプルデータが読み出される。サンプル時間Ｘは、車両の車幅方向の挙動（すなわち、運転状態）を精度よく推定するため、ある程度長い時間（例えば５０秒から８０秒程度）が設定されている。すなわち、読み出されたサンプルデータの集合は、過去Ｘ秒間における車両の車幅方向の変化（すなわち、挙動）を示してる。後段のステップにおいて演算対象となる変位量は、この時系列的な変化から一義的に特定される。
【００４３】
ステップ７１において、判断部１３は、この変位量を高速フーリエ変換（ＦＦＴ）等を用いて周波数変換して、周波数スペクトルにおける各周波数成分パワー（振幅）ｐを計算する。そして、ステップ７２において、例えば、周波数成分パワーｐを下式にしたがって平準化して、補正された周波数成分パワーｐ’が算出される。
【数２】
ｐ’＝ｐ・ｆｎ
（べき数ｎ：２．０≦ｎ≦３．０）
【００４４】
車線内における車両のふらつきは、自然界に多く存在する揺らぎの一つであると考えた場合、その振幅は１／ｆであり、パワーは１／ｆ２となる。したがって、数式２におけるべき数ｎは理論的には２．０でよいが、２．０から３．０の範囲内の任意のべき数を用いても、ドライバの覚醒度を判定することが可能である。図６は、周波数成分および補正された周波数成分パワーｐ’の関係を示した図である。同図は、全体的な特性を視覚的に容易に把握することができるように、周波数成分パワーの分布が平準化されている。
【００４５】
ステップ７３において、基準周波数を基準に、周波数領域が、低周波領域と高周波領域とに分けられる。そして、この低周波領域における周波数成分パワーの第１の積分値、すなわち、図６で示した面積Ａ１が算出される。そして、ステップ７４において、高周波領域における周波数成分パワーの第２の積分値、すなわち、面積Ａ２が求算出される。この基準周波数ｆｔｈは、覚醒度推定のための評価値を算出する基礎となる値であるから、適切に設定しておくことが重要である。
【００４６】
そして、ステップ７５において、このようにして求められた第１の積分値（面積Ａ１）、第２の積分値（面積Ａ２）を用いて、下式にしたがって、評価値Ｈが算出される。
【数３】
Ｈ＝Ａ２／Ａ１
【００４７】
なお、評価値Ｈを算出する詳細な手法については、特開２０００−１８５５７５号公報に開示されているので、必要ならば参照されたい。
【００４８】
再び図３に戻り、ステップ８において、判断部５は、評価値Ｈをしきい値Ｈｔｈと比較する。面積Ａ１，Ａ２の比である評価値Ｈは、正常な車両の挙動（すなわち、正常な運転状態）では高周波領域の面積Ａ２が大きくなるため大きな値を示す。ところが、異常な車両の挙動（すなわち、ドライバの覚醒度が低下して、正常でない運転状態）では、低周波領域のパワーｐ’が増大し、評価値Ｈが小さくなる。すなわち、評価値Ｈは、ドライバの運転状態に起因する車両の挙動と大きな相関を有している。そこで、しきい値Ｈｔｈを適切に設定しておけば、評価値Ｈからその車両の挙動が正常であるか否かを検出することができる。したがって、評価値Ｈがしきい値Ｈｔｈ以下の場合は、車両の挙動が異常であると判断する（ステップ９）。このとき、判断部１４は、例えば、警報装置（図示せず）を作動させることにより、自車両のドライバに対して監視領域内の車両が異常な挙動（すなわち、異常な運転状態）にあることを知らせることができる。一方、この評価値Ｈがしきい値Ｈｔｈより大きい場合は、車両の挙動が正常であると判断する（ステップ１０）。このとき、判断部１４は、自車両のドライバに対して監視領域内の車両が正常な挙動（すなわち、正常な運転状態）にあることを知らせてもよい。ただし、監視領域内の車両が正常な運転状態であることは、通常、一般的な運転状況であるので、このような処理が特段行われなくてもよい。
【００４９】
ステップ９に続くステップ１１において、監視部１４は、判断部１３における判断結果に基づき、監視モードを、第２の監視モードに設定する。すなわち、監視部１４は、現在の監視モードが第１の監視モードである場合には、監視モードを第２のモードに切替え、現在の監視モードが第２の監視モードである場合には、そのままの監視モードを維持する。この第２の監視モードでは、車両までの安全な車間距離として、第２の距離が設定されている。ここで、第２の距離は、第１の監視モードにおいて設定される安全な車間距離（第１の距離）よりも大きな値に決定されている。なぜならば、車両の挙動が異常であると判断された場合、すなわち、認識された車両が異常な運転状態にある場合には、通常必要とされる車間距離よりもさらに大きな車間距離を取る方が自車両の走行にとって安全だからである。
【００５０】
一方、ステップ１０に続くステップ１２において、監視部１４は、判断部１３における判断結果に基づき、現在の監視モードを、第１の監視モードに切替える（或いは、現在の監視モードが第１の監視モードであるならば、そのまま維持する）。この第１の監視モードでは、車両までの安全な車間距離として、第１の距離を設定する。ここで、第１の距離は、例えば、安全の観点より必要とされる基準的な車間距離と対応している。なぜならば、車両の挙動が正常であると判断された場合、すなわち、認識された車両が正常な運転状態にある場合では、第２の監視モードよりも車両に対して車間距離を確保する必要はないからである。
【００５１】
そして、このとき監視部１４は、監視モードのそれぞれに応じた距離（第１の距離または第２の距離）を基準として、走行状況の監視を行う。例えば、監視部１４は、これらの距離よりも自車両に接近する車両が存在する場合には、警報装置を作動させて、自車両のドライバに注意を促すといった如くである。なお、警報装置の一例としては、警報を鳴らしてもよいし、表示画面上に「車間距離注意」と表示してもよい。ただし、これらの警報処理は一例であり、監視部１４はどのような警報を行ってもよい。さらに監視部１４は、道路形状モデルに基づいて車線の逸脱警報を行ったり、ガードレールとの距離が近接する場合に警報を促すといった制御を行うこともできる。
【００５２】
さらに、監視部１４は、第１の距離（または第２の距離）より接近する車両が存在する場合には、必要に応じて制御装置（図示せず）を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車両制御を実行する。また、監視部１４は、先行車と自車両との間の距離に感応してオートクルーズするクルーズコントロール機能において、この距離を、第１の距離または第２の距離に対応させて切替えるなどの制御を行ってもよい。
【００５３】
以上説明したように、本実施形態に示す監視手法では、まず、道路形状と、車両の位置を認識し、この認識された結果に基づき、道路を基準とした車両の相対位置（正確には、車幅方向に関する相対位置）を特定している。そして、この相対位置の時系列的な変化に基づき、車両の車幅方向に関する挙動が正常であるか否かを判断している。このように、本実施形態によれば、道路を基準として、他車両の相対位置を特定しているので、その車両の挙動を有効に特定することができる。例えば、自車両に多少のふらつきがある状況で、自車両に起因するふらつきを他車の挙動して検出することがない。これにより、監視領域内の車両の挙動が正常であるか否かを有効に判断することができる。このように、車両の異常な挙動（すなわち、異常な運転状態）を判断することができるので、自車両走行の安全性を確保することができる。例えば、監視領域内の車両が異常な挙動を示していることをドライバに対して警報することで、ドライバはこのような車両を避けるべく何らかの対処の術を講ずることができる。
【００５４】
また、本実施形態では、車両の挙動に異常があると判断された場合には、車両の挙動が正常であると判断された場合よりも、監視モードで設定されている安全な車間距離を通常よりも長くしている。そのため、異常な運転状態にある車両に対して、十分な車間距離を設けることができるので、車両監視装置における安全性・信頼性を一層向上させることができる。
【００５５】
なお、本実施形態では、白線を用いて道路形状を特定したが、本発明はこれに限定されない。例えば、道路形状認識部１１ａは、車両認識部１１によって認識されるガードレールの形状を用いて道路モデルを算出したり、また、相対位置算出にあたりガードレールの位置を基準としてもよい。このように、ガードレールといった道路形状に起因した不動の対象物を利用しても、車両の挙動を有効に特定することができる。
【００５６】
また、本実施形態では、監視領域内の認識を、ステレオカメラを用いて行ったが、車両監視装置１は、この構成に限定されるものではない。例えば、監視領域内を所定の間隔でスキャンし、距離の二次元的な分布を距離データとして出力するレーダ（レーザレーダまたはミリ波レーダなど）と、単眼カメラを併用してもよい。かかる構成では、単眼カメラを用いて白線を検出するとともに、スキャン結果である距離データを用いて、道路形状モデル、立体物の認識を行うことができる。
【００５７】
【発明の効果】
このように本発明によれば、道路を基準として、他車両の相対位置を特定しているので、その車両の挙動を有効に特定することができる。したがって、監視領域内の車両の挙動が正常であるか否かを有効に判断することができる。これにより、居眠り運転といった車両の異常な挙動を有効に監視することができる。
【図面の簡単な説明】
【図１】本実施形態にかかる車両監視装置を示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】本実施形態にかかる車両監視手順を示したフローチャート
【図４】分割された距離データを示す説明図
【図５】ステップ７に示す評価値算出を示す詳細なフローチャート
【図６】周波数成分および補正された周波数成分パワーの関係を示した図
【符号の説明】
１　　　　車両監視装置
２　　　　メインカメラ
３　　　　サブカメラ
４　　　　Ａ／Ｄコンバータ
５　　　　Ａ／Ｄコンバータ
６　　　　画像補正部
７　　　　ステレオ画像処理部
８　　　　画像データメモリ
９　　　　距離データメモリ
１０　　　　マイクロコンピュータ
１１　　　　認識部
１１ａ　　　道路形状認識部
１１ｂ　　　車両認識部
１２　　　　位置特定部
１３　　　　判断部
１４　　　　監視部
【図１】
2004118330.tif 000003
【図２】
2004118330.tif 000004
【図３】
2004118330.tif 000005
【図４】
2004118330.tif 000006
【図５】
2004118330.tif 000007
【図６】
2004118330.tif 000008