(57)【特許請求の範囲】
【請求項２】
自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が該自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、前記自車両周辺の前記所定範囲を撮像する撮像手段と、前記発受信手段により検知された前記物体が移動物標であるか否かを判別する移動物標判別手段と、前記撮像手段により撮像された画像から歩行者または他車両を抽出する物体抽出手段と、前記移動物標判別手段により前記移動物標であると判別された前記物体が前記物体抽出手段によって前記歩行者または前記他車両であると判別することができない場合に、前記撮像手段が異常状態であると判定する故障判定手段と、を備え、前記移動物標判別手段により前記移動物標であると判別された前記物体の移動速度が小さいほど、前記撮像手段が前記異常状態であると判定され難くすることを特徴とする故障判定装置。
【請求項３】
自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が該自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、前記自車両周辺の前記所定範囲を撮像する撮像手段と、前記発受信手段により検知された前記物体が移動物標であるか否かを判別する移動物標判別手段と、前記撮像手段により撮像された画像から歩行者または他車両を抽出する物体抽出手段と、前記移動物標判別手段により前記移動物標であると判別された前記物体が前記物体抽出手段によって前記歩行者または前記他車両であると判別することができない場合に、前記撮像手段が異常状態であると判定する故障判定手段と、を備え、前記移動物標判別手段により前記移動物標であると判別された前記物体から反射された前記反射波の反射レベルが低いほど、前記撮像手段が前記異常状態であると判定され難くすることを特徴とする故障判定装置。
【請求項４】
自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が該自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、前記自車両周辺の前記所定範囲を撮像する撮像手段と、前記発受信手段により検知された前記物体が移動物標であるか否かを判別する移動物標判別手段と、前記撮像手段により撮像された画像から歩行者または他車両を抽出する物体抽出手段と、前記移動物標判別手段により前記移動物標であると判別された前記物体が前記物体抽出手段によって前記歩行者または前記他車両であると判別することができない場合に、前記撮像手段が異常状態であると判定する故障判定手段と、を備え、前記移動物標判別手段により前記移動物標であると判別された前記物体が前記物体抽出手段によって前記歩行者または前記他車両であると判別することができない場合に、前記撮像手段が前記異常状態であると判定する前に前記自車両周辺の前記所定範囲を照明装置により照明し、該照明装置で照明しても前記物体が前記物体抽出手段によって前記歩行者または前記他車両であると判別することができない場合に、前記故障判定手段は前記撮像手段が前記異常状態であると判定することを特徴とする故障判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発受信手段と撮像手段とを備える物体認識装置における前記撮像手段の異常の有無を判定する故障判定装置に関するものである。
本願は、２０１２年７月１０日に出願された日本国特願２０１２−１５４９６３号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
自車両の周辺、例えば自車両の進行方向前方に存在する歩行者や車両等の物体を認識する物体認識装置として、レーダ装置（発受信手段）とカメラ（撮像手段）の両方を用いて両者の検出結果を利用して物体の存在および物体の種類を判別するものがある。【０００３】
例えば、特許文献１には、レーダ装置の送信出力を大小に切り替え、大きい送信出力のときに受信された反射波に基づく検出結果から、小さい送信出力のときに受信された反射波に基づく検出結果を取り除くことにより、車両以外の物体を抽出し、抽出された物体に対してカメラで撮像された画像に基づいてパターンマッチング処理を行い、歩行者であるか否かを判別する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国特開２００５−１５７７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１には、レーダ装置やカメラの故障に関しての開示はない。
前記物体認識装置のようにレーダ装置とカメラの二つの検出結果に基づいて物体を認識する場合には、レーダ装置とカメラのいずれか一方でも異常があるときには、物体認識の精度に影響を及ぼす。さらに、物体認識装置により認識した物体に対して自車両が取り得る各種の制御（例えば、注意喚起制御や接触回避制御等）に影響を及ぼす。
そのため、カメラに異常があるときには、早急に異常であることをユーザーに報知する必要がある。【０００６】
そこで、本発明に係る態様は、撮像手段の異常を早期に判断することができる故障判定装置を提供するものである。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するために以下の手段を採用した。
（１）本発明に係る一態様の故障判定装置は、自車両周辺の所定範囲に向けて電磁波を発信するとともに、該電磁波が該自車両周辺に存在する物体により反射されて生じる反射波を受信する発受信手段と、前記自車両周辺の前記所定範囲を撮像する撮像手段と、前記発受信手段により検知された前記物体が移動物標であるか否かを判別する移動物標判別手段と、前記撮像手段により撮像された画像から特定の物体を抽出する物体抽出手段と、前記移動物標判別手段により前記移動物標であると判別された前記物体が前記物体抽出手段によって前記特定の物体であると判別することができない場合に、前記撮像手段が異常状態であると判定する故障判定手段と、を備える。【０００８】
（２）上記（１）の態様において、前記移動物標判別手段により前記移動物標であると判別された前記物体の移動速度が小さいほど、前記撮像手段が前記異常状態であると判定され難くしてもよい。【０００９】
（３）上記（１）または（２）の態様において、前記移動物標判別手段により前記移動物標であると判別された前記物体から反射された前記反射波の反射レベルが低いほど、前記撮像手段が前記異常状態であると判定され難くしてもよい。【００１０】
（４）上記（１）から（３）のいずれか１つの態様において、前記移動物標判別手段により前記移動物標であると判別された前記物体が前記物体抽出手段によって前記特定の物体であると判別することができない場合に、前記撮像手段が前記異常状態であると判定する前に前記自車両周辺の前記所定範囲を照明装置により照明し、該照明装置で照明しても前記物体が前記物体抽出手段によって前記特定の物体であると判別することができない場合に、前記故障判定手段は前記撮像手段が前記異常状態であると判定してもよい。
【発明の効果】
【００１１】
上記（１）の態様によれば、発受信手段により検知された物体が移動物標である場合は該物体は特定の物体である可能性が高く、このように発受信手段により予め特定の物体（例えば、歩行者や車両）である可能性の高い物体を検知した上で、撮像手段によって前記特定の物体であるか判別することができるかを判定しているので、撮像手段の異常状態（すなわち、故障）を早期に判定することができる。【００１２】
上記（２）の場合、移動物標判別手段により移動物標と検知されたときであっても移動速度が遅い場合は、ノイズや静止物との切り分けが困難であり、発受信手段により検知された物体が確実に移動物標であると判定することが困難であるので、移動速度が遅いほど、撮像手段が異常状態であるとの判定をし難くすることで、誤判定を防止することができる。【００１３】
上記（３）の場合、移動物標判別手段により移動物標と検知されたときであっても該物体からの反射波の反射レベルが低い場合は、ノイズや静止物との切り分けが困難であり、発受信手段により検知された物体が確実に移動物標であると判定することが困難であるので、反射レベルが低いほど、撮像手段が異常状態であるとの判定をし難くすることで、誤判定を防止することができる。【００１４】
上記（４）の場合、照明装置で照明した上で撮像手段の画像から特定の物体を抽出し、故障判定手段により撮像手段の異常状態を判定するので、夜間走行やトンネル内走行など周囲環境の暗さに起因して特定の物体であるか否かの判別ができないときに撮像手段が異常状態であると誤判定されるのを防止することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る第１実施形態の故障判定装置を備える物体認識装置のブロック図である。
【図２】前記第１実施形態の故障判定装置における故障判定処理を示すフローチャートである。
【図３】レーダ装置による物体検知の一例を示す図である。
【図４Ａ】カメラユニットによる物体検知の一例（カメラユニットが正常である場合）を示す図である。
【図４Ｂ】カメラユニットによる物体検知の一例（カメラユニットが異常である場合）を示す図である。
【図５】物体の移動速度に応じてカメラ故障確定回数を算出するための確定回数算出テーブルの一例を示す図である。
【図６】物体の反射レベルに応じてカメラ故障確定回数を算出するための確定回数算出テーブルの一例を示す図である。
【図７】本発明に係る第２実施形態の故障判定装置における故障判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明に係る故障判定装置の実施形態を図１から図７の図面を参照して説明する。
図１に示すように、本発明に係る第１実施形態の故障判定装置は物体認識装置１に組み込まれており、物体認識装置１は、例えば駆動源としての内燃機関２１の駆動力を、オートマチックトランスミッション（ＡＴ）あるいは無段自動変速機（ＣＶＴ）等のトランスミッション（Ｔ／Ｍ）２２を介して車両の駆動輪に伝達して走行する車両に搭載されている。この車両は、物体認識装置１のほかに、ブレーキアクチュエータ２３、ステアリングアクチュエータ２４、報知装置２５、ヘッドライト２６、とを備えている。
【００１７】
物体認識装置１は、レーダ装置（発受信手段）２と、カメラユニット（撮像手段）３と、自車両状態センサ４と、電子制御装置１０と、を備えている。
レーダ装置２は、例えばレーザ光やミリ波等の電磁波を自車両の進行方向前方に向けて発信すると共に、この発信した電磁波が自車両の外部の物体（例えば、構造物、歩行者、他車両等）によって反射されたときに生じた反射波を受信し、発信した電磁波と受信した電磁波（反射波）とを混合してビート信号を生成し、電子制御装置１０へ出力する。
【００１８】
カメラユニット３は、ＣＣＤカメラやＣＭＯＳカメラ等からなるカメラ３ａと、画像処理部３ｂとを備えて構成されている。画像処理部３ｂは、カメラ３ａにより撮像して得た自車両の進行方向前方の外界の画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して電子制御装置１０へ出力する。
【００１９】
自車両状態センサ４は、自車両の車両情報として、例えば自車両の速度（車速）を検出する車速センサや、ヨーレート（車両重心の上下方向軸回りの回転角速度）を検出するヨーレートセンサや、操舵角（運転者が入力した操舵角度の方向と大きさ）や操舵角に応じた実舵角（転舵角）を検出する舵角センサや、操舵トルクを検出する操舵トルクセンサや、例えば人工衛星を利用して車両の位置を測定するためのＧＰＳ（Global Positioning System）信号等の測位信号や自車両の外部の情報発信装置から発信される位置信号等、さらには、適宜のジャイロセンサや加速度センサ等の検出結果に基づいて自車両の現在位置および進行方向を検出する位置センサや、アクセルペダルの踏み込み量を検出するセンサや、ブレーキペダルの踏み込み状態を検知するセンサ等を備えて構成されている。自車両状態センサ４は、検出した情報に応じた車両情報信号を電子制御装置１０へ出力する。
【００２０】
電子制御装置１０は、物体検出部１１、移動物標判別部（移動物標判別手段）１２と、物体抽出部（物体抽出手段）１３と、故障判定部（故障判定手段）１４と、車両制御部１５と、を備えている。
【００２１】
物体検出部１１は、レーダ装置２から入力されるビート信号に基づいて、電磁波を反射した物体の位置、速度、反射レベル等を算出し、算出したこれらの情報を移動物標判別部１２へ出力する。なお、物体の速度は、時間差を持ってレーダ装置２により検出され物体の位置情報に基づいて算出される自車両との相対速度と、自車両の速度とから算出することができる。
【００２２】
移動物標判別部１２は、物体検出部１１から入力された物体の速度に基づいて、該物体が移動している物体（移動物標）であるか、移動していない物体すなわち静止物（移動物標でない物体）であるかを判別し、その判別結果を故障判定部１４および車両制御部１５へ出力する。
また、物体検出部１１は、算出された物体の速度（または相対速度）に基づいて該物体の所定時間後の予測位置を算出し、この予測位置情報を物体抽出部１３へ出力する。
【００２３】
物体抽出部１３には、カメラユニット３から画像データが入力されるとともに、物体検出部１１から物体の予測位置情報が入力される。物体抽出部１３は、カメラユニット３から入力される画像データ上に、入力した予測位置情報に基づき例えば予測位置を中心にして所定の大きさの領域（以下、統合範囲と称す）を設定する。
【００２４】
さらに、物体抽出部１３は、設定された統合範囲に含まれる画素の輝度値に基づいてエッジ抽出により画像データ上の物体を抽出し、抽出した物体に対して、予め記憶しておいた人体および車両のモデル画像とパターンマッチング処理を行い、抽出した物体が人体または車両のモデル画像とマッチングするか否かを判別する。そして、物体抽出部１３は、その判別結果を故障判定部１４および車両制御部１５へ出力する。
【００２５】
故障判定部１４は、移動物標判別部１２から入力した判別結果、すなわち移動物標か静止物かの判別結果と、物体抽出部１３から入力した判別結果、すなわち画像データ上で抽出した物体が人体または車両のモデル画像とマッチングしたか否かの判別結果とに基づいて、カメラユニット３が異常状態であるか否かを判定する。この第１実施形態において「特定の物体」とは、歩行者または車両である。
また、故障判定部１４は、カメラユニット３が異常状態であると判定した場合に、カメラ故障信号を報知装置２５へ出力し、報知装置２５を介してユーザーに物体認識装置１の異常またはカメラユニット３の異常を報知する。
【００２６】
車両制御部１５は、移動物標判別部１２から入力した判別結果、すなわち移動物標か静止物かの判別結果と、物体抽出部１３から入力した判別結果、すなわち画像データ上で抽出した物体が人体または車両のモデル画像とマッチングしたか否かの判別結果とに基づいて、検出された物体が歩行者または車両であるか否かを判別し、その判別結果に応じて、自車両の走行を制御する。
例えば、検出された物体が歩行者または車両であると判別され、該物体が自車両と接触する可能性がある場合には、接触を回避するように自車両の走行を制御する。より具体的には、車両制御部１５は、内燃機関２１の駆動力を制御する制御信号およびトランスミッション２２の変速動作を制御する制御信号およびブレーキアクチュエータ２３による減速動作を制御する制御信号およびステアリングアクチュエータ２４による自車両の操舵機構（図示略）の操向動作を制御する制御信号のうちの少なくとも何れかの制御信号を出力し、接触回避動作として自車両の減速制御または操向制御を実行する。
また、車両制御部１５は、歩行者または車両との接触可能性の大きさに応じて、報知装置２５による警報の出力タイミングおよび出力内容の少なくとも何れかを制御する。
【００２７】
次に、故障判定部１４において実行されるカメラユニット３の故障判定処理を説明する。
この物体認識装置１では、レーダ装置２によって物体の存在を検知した場合に、カメラユニット３で得た画像データ上に該物体の予測位置に基づいて統合範囲を設定し、該統合範囲において抽出した物体に対してパターンマッチング処理を行い、マッチングした場合に該物体を歩行者候補あるいは車両候補とするとともに、該物体に対しレーダ装置２で取得した情報（例えば、位置情報や前後移動移動速度等）とカメラユニット３で取得した情報（例えば、物体の種別情報や横移動速度等）とを統合する。
【００２８】
このように物体認識装置１は、レーダ装置２で取得した情報とカメラユニット３で取得した情報とに基づいて、検知した物体が歩行者または車両であるか否かを認識するシステムであるので、カメラユニット３に異常がある場合には物体認識装置１の認識結果に影響を及ぼす。そのため、カメラユニット３に異常がある場合には、早期に異常状態であることを検知し、ユーザーに報知する必要がある。
【００２９】
そこで、この物体認識装置１の故障判定装置では、レーダ装置２によって移動物標が検知されたにもかかわらず、カメラユニット３の画像データ上の統合範囲において特定の物体（すなわち、歩行者または車両）を判別することができなかった場合には、カメラユニット３に異常があると判定することとした。カメラユニット３の異常状態には、例えば、カメラ３ａのレンズ等の汚れや、カメラ３ａの撮像範囲がずれてしまった場合や、カメラユニット３から電子制御装置１０への信号線の断線等が含まれる。
【００３０】
ここで、レーダ装置２により検出される物体を移動物標に限定した理由について説明する。レーダ装置２によって物体が検知された場合であっても、移動物標でないもの（すなわち静止物）は、例えば該物体が電柱等の静止物であった場合には、カメラユニット３による物体認識においても前記特定の物体（すなわち、歩行者または車両）であると判別されないため、結局、該物体が何であるか判別することができない。したがって、カメラユニット３の異常判定の判断材料となるレーダ装置２により検出される物体に静止物を含ませると、前記のような場合にカメラユニットに異常ありと誤判断してしまう。このようなご判断を防止するために、カメラユニット３の異常を判定する際には、レーダ装置２により検出される物体から静止物を排除した。
【００３１】
次に、この第１実施形態におけるカメラユニット３の故障判定処理について、図２のフローチャートに従って説明する。
図２のフローチャートに示す故障判定処理ルーチンは、電子制御装置１０によって一定時間毎に繰り返し実行される。
まず、ステップＳ１０１において、レーダ装置２により自車両の進行方向前方に存在する物体を検出し、反射波の反射レベルを検出するとともに、該物体の位置、速度を算出する。
次に、ステップＳ１０２に進み、ステップＳ１０１において算出された物体の速度に基づいて、検出された物体が移動物標か否かを判別する。
【００３２】
図３は、レーダ装置２による物体検知の一例を示した図であり、図中符号Ｖは自車両を示し、図中符号Ｘａ，Ｘｂ，Ｘｃ，Ｘｄ，Ｘｅはレーダ装置２により検出された物体を示している。図３において、物体Ｘａ，Ｘｂ，Ｘｃは静止物と判別された物体を示し、物体Ｘｄ，Ｘｅは移動物標と判別された物体を示している。ただし、レーダ装置２では検出された物体が何であるかまで判別することはできない。
【００３３】
ステップＳ１０２における判定結果が「ＹＥＳ」である場合には、レーダ装置２により検出された物体は移動物標であるので、ステップＳ１０３に進み、カメラユニット３の画像データに基づいて、該画像データ上に設定した統合範囲内で物体の抽出を行う。
次に、ステップＳ１０４に進み、ステップＳ１０３で抽出された物体に対してパターンマッチング処理を行い、予め記憶されていた人または車両のモデル画像とマッチングするか否かを判定する。
【００３４】
ステップＳ１０４における判定結果が「ＹＥＳ」である場合には、ステップＳ１０５に進み、カメラ故障確定カウントの前回値Ｃｎ−１に「０」を加算した値を、カメラ故障確定カウントの今回値Ｃｎとして更新する（Ｃｎ＝Ｃｎ−１＋０）。つまり、ステップＳ１０４における判定結果が「ＹＥＳ」ということは、レーダ装置２により移動物標が検出され、且つ、カメラユニット３の画像データ上の統合範囲において該移動物標が特定の物体（すなわち、歩行者または車両）であると判別することができたので、カメラユニット３は正常に機能していると判断することができる。したがって、この場合には、カメラ故障確定カウントＣｎの値を増加させない。なお、カメラ故障確定カウントＣｎの初期値は０とする。
【００３５】
図４Ａはカメラユニット３が正常に機能しているときのカメラユニット３による物体検知の一例を示した図であり、画像データ上の各物体毎の統合範囲に物体が抽出された場合を示している。この例は、レーダ装置２により検出された物体Ｘａ〜Ｘｅが、カメラユニット３の画像データ上でも検出された場合を示しており、図４Ａ及び４Ｂにおいて、物体Ｘｃ，Ｘｄはパターンマッチング処理により歩行者と判別された物体であり、物体Ｘｅはパターンマッチング処理により車両と判別された物体であり、物体Ｘａ，Ｘｂはパターンマッチング処理により歩行者または車両ではないと判別された物体である。
つまり、図４Ａは、レーダ装置２により検知された移動物標Ｘｄがカメラユニット３の物体検知により歩行者であると判別され、レーダ装置２により検知された移動物標Ｘｅがカメラユニット３の物体検知により車両であると判別された場合を示している。この場合、カメラ故障確定カウントＣｎの値は増加しない。なお、図４Ａ及び４Ｂにおいて符号Ｖは自車両を示す。
【００３６】
一方、ステップＳ１０４における判定結果が「ＮＯ」である場合には、ステップＳ１０６に進み、カメラ故障確定カウントの前回値Ｃｎ−１に「１」を加算した値を、カメラ故障確定カウントの今回値Ｃｎとして更新する（Ｃｎ＝Ｃｎ−１＋１）。つまり、ステップＳ１０４における判定結果が「ＮＯ」ということは、レーダ装置２により移動物標が検出されているにもかかわらず、カメラユニット３の画像データ上の統合範囲において該移動物標が前記特定の物体であると判別することができないので、カメラユニット３が異常状態である可能性が高い。そこで、この場合には、カメラ故障確定カウントＣｎの値を「１」だけ増加させる。
【００３７】
図４Ｂはカメラユニット３が異常状態のときのカメラユニット３による物体検知の一例を示した図であり、この例は、画像データ上の各物体毎の統合範囲のそれぞれに物体は抽出されたが、いずれの物体もパターンマッチング処理の結果、人体または車両であると判別することができなかった場合を示している。
つまり、図４Ｂは、レーダ装置２により検知された移動物標Ｘｄ，Ｘｅが、カメラユニット３の物体検知により歩行者または車両であると判別することができなかった場合を示している。この場合には、カメラ故障確定カウントが１つ増加する。
なお、レーダ装置２により検知された移動物標Ｘｄ，Ｘｅが、画像データ上の統合範囲において物体として抽出されない場合も、カメラユニット３の物体検知により歩行者または車両であると判別することができない場合に含まれるので、この場合にもカメラ故障確定カウントが１つ増加する。
【００３８】
次に、ステップＳ１０５，１０６からステップＳ１０７に進み、カメラ故障確定回数Ｎを算出する。カメラ故障確定回数Ｎは、１以上の固定値（例えば、「１」あるいは「５」や「１０」等の任意の整数）としてもよいが、移動物標の移動速度や、レーダ装置２による物体検知において物体で反射された反射波の強さ（すなわち反射レベル）に応じて変えることも可能である。
【００３９】
レーダ装置２により検知された移動物標の移動速度が遅い場合は、ノイズや静止物との切り分けが難しく、レーダ装置２により検知されたものが確実に移動物標であると判定することが困難であるので、移動速度が遅いものほど、カメラ故障確定回数Ｎを大きく設定することにより、カメラユニット３が異常であるとの判定をし難くする。これによりカメラ異常の誤判定を防止する。
【００４０】
図５は、移動物標の移動速度に応じてカメラ故障確定回数Ｎを算出するための確定回数算出テーブルの一例である。この例では、移動速度が所定値以上においてカメラ故障確定回数Ｎは「１」に設定され、移動速度が前記所定値よりも遅くなればなるほどカメラ故障確定回数Ｎは大きな値に設定される。
【００４１】
反射レベルについても同様であり、レーダ装置２による物体検知における反射レベルが低い場合は、ノイズや静止物との切り分けが難しく、レーダ装置２により検知されたものが確実に移動物標であると判定することが困難であるので、反射レベルが低いものほど、カメラ故障確定回数Ｎを大きく設定することにより、カメラユニット３が異常であるとの判定をし難くする。これによりカメラ異常の誤判定を防止する。
【００４２】
図６は、反射レベルの大きさに応じてカメラ故障確定回数Ｎを算出するための確定回数算出テーブルの一例である。この例では、反射レベルが所定値以上においてカメラ故障確定回数Ｎは「１」に設定され、反射レベルが前記所定値よりも低くなればなるほどカメラ故障確定回数Ｎは大きな値に設定される。
【００４３】
また、移動速度と反射レベルの両方に応じてカメラ故障確定回数Ｎを算出する場合には、移動速度および反射レベルが予め設定した基準値のときのカメラ故障確定回数を基準回数Ｎ０として設定しておき、図５および図６に示される各テーブルの縦軸を係数ｋ１，ｋ２（１以上）とし、前記各テーブルを参照して移動速度に応じた係数ｋ１と反射レベルに応じた係数ｋ２を求め、これら係数を基準回数Ｎ０に乗じてカメラ故障確定回数Ｎを算出することができる（Ｎ＝Ｎ０・ｋ１・ｋ２）。
【００４４】
次に、ステップＳ１０７からステップＳ１０８に進み、カメラ故障確定カウントの今回値Ｃｎがカメラ故障確定回数Ｎを越えているか否かを判定する。
ステップＳ１０８における判定結果が「ＮＯ」（Ｃｎ≦Ｎ）である場合には、ステップＳ１０９に進み、カメラ故障確定フラグを「０」とする。
一方、ステップＳ１０８における判定結果が「ＹＥＳ」（Ｃｎ＞Ｎ）である場合には、ステップＳ１１０に進み、カメラ故障確定フラグを「１」として、本ルーチンの実行を一旦終了する。これにより、カメラユニット３が異常状態であると確定する。
【００４５】
この故障判定処理は、前記ステップＳ１０１〜Ｓ１１０の一連の処理を１サイクルとして、レーダ装置２により検出された各物体毎に繰り返し実行され、各物体に対して同時並行に実行される。そして、レーダ装置２により複数の移動物標が検出されている場合には、少なくともいずれか１つの移動物標に対する故障判定処理においてカメラ故障確定カウントＣｎがカメラ故障確定回数Ｎを越えた場合に、カメラユニット３が異常状態であると確定する。
【００４６】
あるいは、レーダ装置２により複数の移動物標が検出されている場合に、各移動物標毎に算出したカメラ故障確定カウントＣｎを合算して、合算されたカメラ故障確定カウントＣｎの総数がカメラ故障確定回数Ｎを越えた場合に、カメラユニット３が異常状態であると確定してもよい。
【００４７】
この第１実施形態の故障判定装置によれば、レーダ装置２により検知された物体が移動物標である場合は、該物体が歩行者または車両である可能性が高いことを利用して、レーダ装置２により予め歩行者または車両である可能性の高い移動物標を検知した上で、カメラユニット３によって歩行者または車両であるかを判別しているので、カメラユニット３により歩行者または車両であると判別することができたときはカメラユニット３が正常であると判定することができ、カメラユニット３により歩行者または車両であると判別することができないときはカメラユニット３が異常状態であると判定することができる。したがって、カメラユニット３の異常状態を早期に判定することができる。
【００４８】
また、レーダ装置２により検知された移動物標の移動速度が遅いほど、あるいは、反射レベルが低いほど、カメラ故障確定回数Ｎを大きい値に設定しているので、移動速度が遅いほど、あるいは、反射レベルが低いほど、カメラユニット３が異常状態であると判定され難くすることができ、これにより誤判定を防止することができる。
【００４９】
次に、本発明に係る第２実施形態の故障判定装置におけるカメラユニット３の故障判定について説明する。
自車両が夜間走行している場合やトンネル内を走行している場合など、自車両の周囲の環境が暗いときには、カメラユニット３の画像データから物体を抽出するのが困難で、パターンマッチング処理が困難な場合がある。このようなときに、レーダ装置２によって移動物標が検知されたにもかかわらず、カメラユニット３の画像データ上の統合範囲において該移動物標が歩行者または車両であると判別することができなかったからといって、カメラユニット３に異常があると判定すると誤判定となる虞がある。
【００５０】
第２実施形態の故障判定装置における故障判定処理では、このような誤判定を防止するために、レーダ装置２によって移動物標が検知されたにもかかわらず、カメラユニット３の画像データ上の統合範囲において該移動物標が歩行者または車両であると判別することができなかった場合には、直ぐにカメラ故障確定カウントを増加させるのではなく、自車両のヘッドライト２６を点灯させて自車両の進行方向前方を照明した上で、再度カメラ３ａにより撮像された画像に基づいて画像データを生成し、この画像データ上の統合範囲において移動物標が歩行者または車両であるかを判別し、それでも歩行者または車両であると判別することができない場合に、カメラ故障確定カウントを増加させるようにした。
【００５１】
以下、第２実施形態の故障判定処理を、図７のフローチャートに従って説明する。
ステップＳ１０１〜Ｓ１０５、およびステップＳ１０７〜Ｓ１１０の処理は、第１実施形態における同一ステップ番号の処理と同じであり、これらの処理の流れも第１実施形態と同じであるので説明を省略する。
ステップＳ１０４における判定結果が「ＮＯ」である場合には、ステップＳ１１１に進み、ヘッドライト２６を点灯する。
次に、ステップＳ１１２に進み、ヘッドライト２６の点灯後にカメラ３ａにより撮像された画像に基づいて生成された画像データに対して、該画像データ上に設定した統合範囲内で物体の抽出を行う。
次に、ステップＳ１１３に進み、ステップＳ１１２で抽出された物体に対してパターンマッチング処理を行い、予め記憶されていた人または車両のモデル画像とマッチングするか否かを判定する。
【００５２】
ステップＳ１１３における判定結果が「ＹＥＳ」である場合、すなわち移動物標が歩行者または車両であると判別することができた場合には、ステップＳ１０５に進み、カメラ故障確定カウントの前回値Ｃｎ−１に「０」を加算した値を、カメラ故障確定カウントの今回値Ｃｎとして更新する（Ｃｎ＝Ｃｎ−１＋０）。
一方、ステップＳ１１３における判定結果が「ＮＯ」である場合、すなわち移動物標が歩行者または車両であると判別することができない場合には、ステップＳ１０６に進み、カメラ故障確定カウントの前回値Ｃｎ−１に「１」を加算した値を、カメラ故障確定カウントの今回値Ｃｎとして更新する（Ｃｎ＝Ｃｎ−１＋１）。
そして、ステップＳ１０５，１０６からステップＳ１０７に進む。その後は第１実施形態と同様の処理を実行する。
【００５３】
この第２実施形態の故障判定装置によれば、前述した第１実施形態の故障判定装置の作用・効果に加えて、ヘッドライト２６を点灯した上で再度カメラ３ａで撮像し、その画像データに基づいて移動物標が歩行者または車両であるかの判別を行うので、夜間走行やトンネル内走行など周囲環境の暗さに起因して歩行者または車両の判別ができないときにカメラユニット３が異常状態であると誤判定されるのを防止することができる。
【００５４】
〔他の実施形態〕
なお、本発明は前述した実施形態に限られるものではない。
例えば、前述した実施形態では、レーダ装置２により複数の移動物標が検出されている場合に、レーダ装置２により検出された各物体毎にカメラ故障確定カウントを算出したが、１つの画像データ上において少なくとも１つの移動物標に対して歩行者または車両と判別することができなかった場合に、カメラ故障確定カウントを「１」増加するようにし、このカメラ故障確定カウントの積算値がカメラ故障確定回数Ｎを越えた場合に、カメラユニット３が異常であると判定することも可能である。
【００５５】
また、前述した実施形態では、特定の物体を歩行者または車両としているが、特定の物体に、犬や猫等の動物などを加えることも可能である。
物体の検知方向は自車両の進行方向前方に限るものではなく、自車両の前後方向の後方や、自車両の側方であってもよい。
【００５６】
故障判定装置が組み込まれた物体認識装置１により特定の物体と判別された物体を用いる制御は、自車両と物体との接触回避のための走行制御に限定されるものではなく、特定の物体を先行車両とし、自車両を先行車両に追従して走行させる追従走行制御等、特定の物体に対して自車両が取り得る各種の制御が可能である。
【００５７】
各実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能である。
【符号の説明】
【００５８】
２  レーダ装置（発受信手段）
３  カメラユニット（撮像手段）
１２  移動物標判別部（移動物標判別手段）
１３  物体抽出部（物体抽出手段）
１４  故障判定部（故障判定手段）
２６  ヘッドライト（照明装置）
【要約】
故障判定装置は、レーダ装置（２）と、カメラユニット（３）と、レーダ装置（２）により検知された物体が移動物標であるか否かを判別する移動物標判別部（１２）と、カメラユニット（３）により撮像された画像から特定の物体を抽出する物体抽出部（１３）と、移動物標判別部（１２）により移動物標であると判別された物体が物体抽出部（１３）によって前記特定の物体であると判別することができない場合に、カメラユニット（３）が異常状態であると判定する故障判定部（１４）と、を備える。【図１】
0005497248.tif 000002
【図２】
0005497248.tif 000003
【図３】
0005497248.tif 000004
【図４Ａ】
0005497248.tif 000005
【図４Ｂ】
0005497248.tif 000006
【図５】
0005497248.tif 000007
【図６】
0005497248.tif 000008
【図７】
0005497248.tif 000009