(57)【要約】【課題】移動体に搭載されるカメラの異常を誤検出することを抑制できる技術を提供する。【解決手段】移動体に搭載されるカメラの異常を検出する異常検出装置は、前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定部と、前記判定処理を行う際に前記カメラのＡＧＣ（Automatic Gain Control）回路におけるゲインの変化幅を抑制する制御を行うＡＧＣ制御部と、を備える。【選択図】図１
2020060531.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載されるカメラの異常を検出する異常検出装置であって、
前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定部と、
前記判定処理を行う際に前記カメラのＡＧＣ（Automatic Gain Control）回路におけるゲインの変化幅を抑制する制御を行うＡＧＣ制御部と、
を備える、異常検出装置。
【請求項２】
前記ＡＧＣ制御部はゲインの更新周期を制御し、
前記判定部は、前記ＡＧＣ回路のゲインが一定である期間に取得した前記フレーム画像を用いて、前記カメラの異常の有無を判定する、請求項１に記載の異常検出装置。
【請求項３】
前記ＡＧＣ制御部は、
前記判定処理を行わない場合に前記更新周期として使用される通常更新周期と、
前記判定処理を行う場合に前記更新周期として使用され、前記通常更新周期より期間が長い判定処理用更新周期と、
を選択可能に設けられる、請求項２に記載の異常検出装置。
【請求項４】
前記判定処理用更新周期の長さは、前記カメラで前記判定処理用の前記フレーム画像を少なくとも２つ取得するのに要する時間以上である、請求項３に記載の異常検出装置。
【請求項５】
前記ＡＧＣ制御部は、前記判定処理用更新周期を選択中に、前記ＡＧＣ回路におけるゲインの制御量であるフィードバック制御量が所定量以上になった場合に、前記更新周期の設定を強制的に前記通常更新周期に切り替える、請求項３又は４に記載の異常検出装置。
【請求項６】
前記判定部は、前記更新周期の設定を強制的に前記通常更新周期に切り替えた場合に、当該切替えの少なくとも直前に得られた前記フレーム画像に対する処理結果の信頼度を下げる、請求項５に記載の異常検出装置。
【請求項７】
前記判定部は、信頼度を下げた前記処理結果を破棄する、請求項６に記載の異常検出装置。
【請求項８】
前記判定処理を行う際に、前記移動体のサスペンションの設定を制御するサスペンション制御部を更に備える、請求項１から７のいずれか１項に記載の異常検出装置。
【請求項９】
前記判定処理を行う際に、前記移動体の点滅表示灯を制御する点滅表示灯制御部を更に備える、請求項１から８のいずれか１項に記載の異常検出装置。
【請求項１０】
前記移動体に搭載された光照射装置から照射された光の前記フレーム画像における照射位置が所定範囲内に位置するか否かを判断する照射位置判断部を更に備える、請求項１から９のいずれか１項に記載の異常検出装置。
【請求項１１】
請求項１から７のいずれか１項に記載の異常検出装置と、
前記ＡＧＣ回路を有する前記カメラと、
を備える、異常検出システム。
【請求項１２】
請求項８から１０のいずれか１項に記載の異常検出装置と、
前記ＡＧＣ回路を有する前記カメラと、
前記移動体が移動する路面と前記カメラとの距離を制御可能に前記移動体に設けられるサスペンション装置、オンオフ制御可能に前記移動体に設けられる点滅表示灯装置、および、前記移動体に前記カメラと対になって設けられるとともに所定位置を照射する光照射装置のうちの少なくともいずれか１つの装置と、
を備える、異常検出システム。
【請求項１３】
装置によって、移動体に搭載されるカメラの異常を検出する異常検出方法であって、
前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定工程と、
前記判定処理を行う際に、前記カメラのＡＧＣ（Automatic Gain Control）回路におけるゲインの変化幅を抑制する制御を行うＡＧＣ制御工程と、
を備える、異常検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常検出装置、異常検出システム、および、異常検出方法に関する。
【背景技術】
【０００２】
従来、自動車等の車両には、駐車支援等に利用されるカメラが搭載されている。例えば車両に搭載される車載カメラは、車両を工場から出荷する前に、車両に固定した状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすことがある。車載カメラの取付け位置や角度がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。
【０００３】
特許文献１には、車両に取り付けられた映像出力装置から投影されるパターンを使い、車載カメラのキャリブレーションを行うことが開示される。また、パターン投影に必要なスペースを確保するため、車両制御部が、前方障害との距離が一定以上空くようにブレーキ等の車両装置を制御することが開示される。その他、特許文献１には、横断歩道や自車ボディから取得する特徴点を使って車載カメラのキャリブレーションが行われることが開示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１７１５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば車両の走行状態等によって、車載カメラが置かれる環境は変動し易い。特徴点を利用して車載カメラの取付けのずれを検出する場合、車載カメラが置かれる環境の変動が大きいと、車載カメラの取付けのずれを誤検出することがある。
【０００６】
本発明は、移動体に搭載されるカメラの異常を誤検出することを抑制できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の異常検出装置は、移動体に搭載されるカメラの異常を検出する異常検出装置であって、前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定部と、前記判定処理を行う際に前記カメラのＡＧＣ（Automatic Gain Control）回路におけるゲインの変化幅を抑制する制御を行うＡＧＣ制御部と、を備える構成（第１の構成）になっている。
【０００８】
上記第１の構成の異常検出装置において、前記ＡＧＣ制御部はゲインの更新周期を制御し、前記判定部は、前記ＡＧＣ回路のゲインが一定である期間に取得した前記フレーム画像を用いて、前記カメラの異常の有無を判定する構成（第２の構成）であることが好ましい。
【０００９】
上記第２の構成の異常検出装置において、前記ＡＧＣ制御部は、前記判定処理を行わない場合に前記更新周期として使用される通常更新周期と、前記判定処理を行う場合に前記更新周期として使用され、前記通常更新周期より期間が長い判定処理用更新周期と、を選択可能に設けられる構成（第３の構成）であることが好ましい。
【００１０】
上記第３の構成の異常検出装置において、前記判定処理用更新周期の長さは、前記カメラで前記判定処理用の前記フレーム画像を少なくとも２つ取得するのに要する時間以上である構成（第４の構成）が好ましい。
【００１１】
上記第３又は第４の構成の異常検出装置において、前記ＡＧＣ制御部は、前記判定処理用更新周期を選択中に、前記ＡＧＣ回路におけるゲインのフィードバック制御量が所定量以上になった場合に、前記更新周期の設定を強制的に前記通常更新周期に切り替える構成（第５の構成）であることが好ましい。
【００１２】
上記第５の構成の異常検出装置において、前記判定部は、前記更新周期の設定を強制的に前記通常更新周期に切り替えた場合に、当該切替えの少なくとも直前に得られた前記フレーム画像に対する処理結果の信頼度を下げる構成（第６の構成）であることが好ましい。
【００１３】
上記第６の構成の異常検出装置において、前記判定部は、信頼度を下げた前記処理結果を破棄する構成（第７の構成）であってよい。
【００１４】
上記第１から第７のいずれかの構成の異常検出装置は、前記判定処理を行う際に、前記移動体のサスペンションの設定を制御するサスペンション制御部を更に備える構成（第８の構成）であってよい。
【００１５】
上記第１から第８のいずれかの構成の異常検出装置は、前記判定処理を行う際に、前記移動体の点滅表示灯を制御する点滅表示灯制御部を更に備える構成（第９の構成）であってよい。
【００１６】
上記第１から第９のいずれかの構成の異常検出装置は、前記移動体に搭載された光照射装置から照射された光の前記フレーム画像における照射位置が所定範囲内に位置するか否かを判断する照射位置判断部を更に備える構成（第１０の構成）であってよい。
【００１７】
上記目的を達成するために本発明の異常検出システムは、上記異常検出装置と、前記ＡＧＣ回路を有する前記カメラと、を備える構成（第１１の構成）になっている。
【００１８】
上記目的を達成するために本発明の異常検出システムは、上記異常検出装置と、前記ＡＧＣ回路を有する前記カメラと、前記移動体が移動する路面と前記カメラとの距離を制御可能に前記移動体に設けられるサスペンション装置、オンオフ制御可能に前記移動体に設けられる点滅表示灯装置、および、前記移動体に前記カメラと対になって設けられるとともに所定位置を照射する光照射装置のうちの少なくともいずれか１つの装置と、を備える構成（第１２の構成）になっている。
【００１９】
上記目的を達成するために本発明の異常検出方法は、装置によって、移動体に搭載されるカメラの異常を検出する異常検出方法であって、前記カメラの異常の有無を、前記カメラで撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う判定工程と、前記判定処理を行う際に、前記カメラのＡＧＣ（Automatic Gain Control）回路におけるゲインの変化幅を抑制する制御を行うＡＧＣ制御工程と、を備える構成（第１３の構成）になっている。
【発明の効果】
【００２０】
本発明によると、移動体に搭載されるカメラの異常を誤検出することを抑制できる。
【図面の簡単な説明】
【００２１】
【図１】異常検出システムの構成を示すブロック図
【図２】ＡＧＣ回路の概略構成を示す図
【図３】ＡＧＣ制御部とフィードバック回路との関係を示す概略図
【図４】カメラずれの検出処理の一例を示すフローチャート
【図５】ＡＧＣ制御部による制御処理の一例を示すフローチャート
【図６】判定処理の一例を示すフローチャート
【図７】特徴点を抽出する手法を説明するための図
【図８】オプティカルフローを求める手法を説明するための図
【図９】座標変換処理を説明するための図
【図１０】第１ヒストグラムの一例を示す図
【図１１】第２ヒストグラムの一例を示す図
【図１２】ずれ判定の一例を示すフローチャート
【図１３】変形例に係る異常検出システムの構成を示すブロック図
【図１４】照射位置判断部の機能を説明するための模式図
【図１５】カメラずれの検出処理の変形例を示すフローチャート
【発明を実施するための形態】
【００２２】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、本発明が適用される移動体が車両である場合を例にとり説明するが、本発明が適用される移動体は車両に限定される趣旨ではない。本発明は、例えばロボット等に適用されてもよい。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。
【００２３】
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。なお、前後左右の方向は、単に説明のために用いられる名称であって、実際の位置関係及び方向を限定する趣旨ではない。
【００２４】
＜１．異常検出システム＞
図１は、本発明の実施形態に係る異常検出システムＳＹＳ１の構成を示すブロック図である。図１に示すように、異常検出システムＳＹＳ１は、異常検出装置１と、撮影部２と、センサ部３とを備える。なお、本実施形態において、異常は、車両に搭載するカメラの取付けのずれ（以下、「カメラずれ」と表現する）が生じた状態を指す。すなわち、異常検出システムＳＹＳ１は、車両に搭載されるカメラのカメラずれを検出するシステムである。詳細には、異常検出システムＳＹＳ１は、例えば、工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。異常検出システムＳＹＳ１は、カメラずれの有無の判定を行い易い環境を作り出してから、カメラずれの有無の判定を行う構成であるために、カメラずれを誤検出する可能性を低減することができる。当該、効果は、以下の説明により明らかになる。
【００２５】
撮影部２は、車両周辺の状況を認識する目的で車両に設けられる。撮影部２はカメラ２１を備える。すなわち、異常検出システムＳＹＳ１はカメラを備える。カメラ２１は車載カメラである。カメラ２１は例えば魚眼レンズを用いて構成される。カメラ２１は、異常検出装置１に有線又は無線により接続され、撮影した映像を異常検出装置１に出力する。
【００２６】
なお、本実施形態では、撮影部２は複数のカメラ２１を備える。複数のカメラ２１は、フロントカメラ、バックカメラ、左サイドカメラ、右サイドカメラの４つのカメラである。フロントカメラは車両の前方を撮影するカメラである。バックカメラは車両の後方を撮影するカメラである。左サイドカメラは車両の左方を撮影するカメラである。右サイドカメラは車両の右方を撮影するカメラである。４つのカメラ２１により、車両の水平方向における全周囲を撮影することができる。これにより、例えば、車両の駐車支援を安全に行うことができる。ただし、撮影部２が備えるカメラ２１の数は単数でもよいし、４つ以外の複数であってもよい。
【００２７】
カメラ２１は、ＡＧＣ（Automatic Gain Control）回路２２を有する。４つのカメラ２１のそれぞれにＡＧＣ回路２２が設けられる。ＡＧＣ回路２２は、入力された映像信号のレベルにかかわらず、出力される映像信号のレベルが一定に保たれるように制御を行う。本実施形態では、ＡＧＣ回路２２は、出力される映像の明るさ（輝度）が一定に保たれるように制御を行う。なお、ＡＧＣ回路２２は、出力される映像の色味が一定に保たれるように制御を行うものであってもよい。
【００２８】
図２は、ＡＧＣ回路２２の概略構成を示す図である。ＡＧＣ回路２２は、ゲインコントローラ２２１と、フィードバック回路２２２とを備える。ゲインコントローラ２２１は、映像入力信号のゲインを、フィードバック回路２２２から入力されるゲイン制御信号Ｓ１に応じて増減し、映像出力信号として出力する。フィードバック回路２２２には、ゲインコントローラ２２１から出力される映像出力信号に従うフィードバック信号Ｓ２が入力される。フィードバック回路２２２には、レベル比較器等が含まれる。フィードバック回路２２２は、フィードバック信号に所定の処理を施して得られた信号のレベルを基準目標値と比較し、比較結果に応じたゲイン制御信号Ｓ１を算出する。ゲイン制御信号Ｓ１は、ゲインコントローラ２２１に送出される。
【００２９】
異常検出装置１は、移動体に搭載されるカメラ２１の異常を検出する装置である。詳細には、異常検出装置１は、車両に搭載されたカメラ２１からの情報に基づき、当該カメラ２１自身のカメラずれを検出する。すなわち、異常検出装置１はカメラずれ検出装置である。異常検出装置１を用いることによって、車両を走行させながらカメラずれを迅速に検出することができる。異常検出装置１により、例えば、カメラずれが生じた状態で駐車支援等の運転支援が行われることを防止できる。本実施形態では、撮影部２が複数のカメラ２１を有するために、異常検出装置１は、カメラ２１毎にカメラずれの検出を行う。
【００３０】
本実施形態では、異常検出装置１は、カメラずれの検出対象となるカメラを搭載する車両に搭載される。以下、異常検出装置１を搭載する車両のことを自車両と呼ぶことがある。ただし、異常検出装置１は、カメラずれの検出対象となるカメラを搭載する車両以外の場所に配置されてもよい。例えば、異常検出装置１は、カメラ２１を有する車両と通信可能なデータセンタ等に配置されてもよい。
【００３１】
センサ部３は、カメラ２１が搭載される車両に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部３は、車速センサ３１と舵角センサ３２とを含む。車速センサ３１は、車両の速度を検出し、その検出値に応じた電気信号を出力する。舵角センサ３２は、車両のステアリングホイール（ハンドル）の回転角を検出し、その検出値に応じた電気信号を出力する。車速センサ３１および舵角センサ３２は、通信バス４を介して異常検出装置１に接続される。すなわち、車速センサ３１で取得された車両の速度情報は、通信バス４を介して異常検出装置１に入力される。舵角センサ３２で取得された車両のステアリングホイールの回転角情報は、通信バス４を介して異常検出装置１に入力される。なお、通信バス４は、例えばＣＡＮ（Controller Area Network）バスであってよい。
【００３２】
＜２．異常検出装置＞
図１に示すように、異常検出装置１は、画像取得部１１と、制御部１２と、記憶部１３とを備える。
【００３３】
画像取得部１１は、自車両のカメラ２１からアナログ又はデジタルの撮影画像（フレーム画像）を所定周期（例えば１／３０秒周期）で周期的に取得する。本実施形態では、撮影部２が複数のカメラ２１を有するために、画像取得部１１は各カメラ２１からフレーム画像を取得する。取得したフレーム画像がアナログの場合には、そのアナログのフレーム画像をデジタルのフレーム画像に変換（Ａ／Ｄ変換）する。画像取得部１１は、取得したフレーム画像に対して所定の画像処理を行い、処理後のフレーム画像を制御部１２に出力する。
【００３４】
制御部１２は、例えばマイクロコンピュータであり、異常検出装置１の全体を統括的に制御する。制御部１２は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、各種のコンピュータプログラムや各種のデータを記憶する。
【００３５】
詳細には、制御部１２は、判定部１２１と、ＡＧＣ制御部１２２とを備える。制御部１２が備えるこれら各部１２１、１２２の機能は、例えば記憶部１３に記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される。換言すると、異常検出装置１は、判定部１２１と、ＡＧＣ制御部１２２とを備える。
【００３６】
なお、制御部１２が備える各部１２１、１２２の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、制御部１２が備える各部１２１、１２２は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。また、画像取得部１１は、制御部１２のＣＰＵがコンピュータプログラムに従って演算処理を行うことによって実現される構成でもよい。
【００３７】
判定部１２１は、カメラ２１の異常の有無を、カメラ２１で撮影されたフレーム画像から抽出される特徴点の位置の時間変化に基づき判定する判定処理を行う。特徴点は、例えばフレーム画像中のエッジの交点など、フレーム画像において際立って検出できる点である。特徴点は、例えば白線等で描かれる路面標示のコーナー、路面上のひび、路面上のしみ、路面上の砂利等から抽出される。特徴点は、例えば、ハリスオペレータ等の公知の手法を用いて抽出することができる。
【００３８】
本実施形態では、判定部１２１は、カメラ２１より入力されたフレーム画像ごとに特徴点の抽出処理を行う。判定部１２１は、所定の時間間隔をあけて入力される２つのフレーム画像間における特徴点の動きであるオプティカルフローを求め、当該オプティカルフローに基づき車両の移動量を推定する。車速センサ３１から得られる車両の速度に基づき求められる移動量を正解値として、当該正解値に対する推定値のずれの大きさが判断される。当該ずれの大きさが所定の閾値を超える場合に、カメラずれが発生していると判断される。なお、判定部１２１による判定処理の詳細例については後述する。
【００３９】
ＡＧＣ制御部１２２は、判定部１２１による判定処理を行う際に、カメラ２１のＡＧＣ回路２２におけるゲインの変化幅を抑制する制御を行う。詳細には、ＡＧＣ制御部１２２は、判定処理用のフレーム画像の取得のために、ＡＧＣ回路２２におけるゲインの更新周期を切り替える。
【００４０】
特徴点の位置を追跡する２つのフレーム画像の一方を第１フレーム画像、他方を第２フレーム画像とする。カメラ２１が第１フレーム画像を出力した後、第２フレーム画像を出力するまでの間にＡＧＣ回路２２によってゲインの更新が行われた場合、第１フレーム画像と第２フレーム画像との間で輝度差が大きくなり、第１フレーム画像と第２フレーム画像との間で正確に特徴点の追跡を行えなくなる場合がある。この点、本実施形態では、ＡＧＣ制御部１２２によってゲインの更新周期を制御することができる。このために、カメラ２１で判定処理用のフレーム画像を取得する間にゲインの更新が行われない構成とすることができ、ＡＧＣ回路２２によるゲイン調整が原因となって特徴点の追跡が不適切となることを抑制することができる。上記では、判定処理の際にゲインの変化幅を抑制する制御形態の一例として更新周期を制御する構成としたが、判定処理を行っている間のゲインの変化が、通常処理時の幅よりも小さな所定の幅に収まるような制御としてもよい。例えばフィードバック制御量に対するゲインの変化量を通常処理時よりも小さくする制御とするとよい。また、ゲインの変化量を所定の値にクリップさせる制御としてもよい。また更新周期と変化幅との両方を変化させる制御としてもよい。
【００４１】
図３は、ＡＧＣ制御部１２２とフィードバック回路２２２との関係を示す概略図である。なお、フィードバック回路２２２は、ＡＧＣ回路２２に含まれる。図３に示すように、フィードバック回路２２２は、フィードバック制御量算出部２２２１と、通常更新周期回路２２２２と、判定処理用更新周期回路２２２３と、スイッチ２２２４とを備える。
【００４２】
フィードバック制御量算出部２２２１は、入力されたフィードバック信号Ｓ２に基づきフィードバック制御量を求める。フィードバック制御量算出部２２２１は、レベル比較器を含む。本実施形態において、フィードバック制御量は、ゲインコントローラ２２１のゲインを制御する量であり、上述のゲイン制御信号Ｓ１である。フィードバック制御量算出部２２２１は、算出したフィードバック制御量をＡＧＣ制御部１２２へ出力する。
【００４３】
通常更新周期回路２２２２は、フィードバック制御量算出部２２２１で求められたゲイン制御信号Ｓ１を通常更新周期でゲインコントローラ２２１に出力する。通常更新周期は、判定処理を行わない場合に、ＡＧＣ回路２２におけるゲインの更新周期として使用される。詳細には、通常更新周期は、判定処理用のフレーム画像の取得を行わない通常時に使用される。
【００４４】
判定処理用更新周期回路２２２３は、フィードバック制御量算出部２２２１で求められたゲイン制御信号Ｓ１を判定処理用更新周期でゲインコントローラ２２１に出力する。判定処理用更新周期は、判定処理を行う場合にＡＧＣ回路２２におけるゲインの更新周期として使用される。判定処理用更新周期は、通常更新周期より期間が長い。詳細には、判定処理用更新周期は、判定処理用のフレーム画像の取得を行う際に使用される。
【００４５】
スイッチ２２２４は、通常更新周期回路２２２２と判定処理用更新周期回路２２２３とを切り替える。スイッチ２２２４により、通常更新周期回路２２２２が選択された場合、ゲイン制御信号Ｓ１が通常更新周期でゲインコントローラ２２１に入力される。すなわち、ＡＧＣ回路２２は、通常更新周期でゲインの更新を行う。一方、スイッチ２２２４により、判定処理用更新周期回路２２２３が選択された場合、ゲイン制御信号Ｓ１が判定処理用更新周期でゲインコントローラ２２１に入力される。すなわち、ＡＧＣ回路２２は、判定処理用更新周期でゲインの更新を行う。
【００４６】
なお、判定処理用更新周期の長さは、カメラ２１で判定処理用のフレーム画像を少なくとも２つ取得するのに要する時間以上である。これによれば、特徴点の追跡を行うための２つのフレーム画像をカメラ２１で得る間にＡＧＣ回路２２によるゲインの更新が行われることを避けられる。すなわち、ＡＧＣ回路２２の動作が原因となって特徴点の追跡が不正確になることを避けられる。判定処理用更新周期の長さを長くすると、ＡＧＣ回路２２のゲインが一定である間に、判定処理用のフレーム画像を多く得ることができる。ただし、判定処理用更新周期の長さをあまり長くすると、ＡＧＣ回路２２を停止した状態と同様の状態となり好ましくない。判定処理用更新周期の長さは、カメラ２１で判定処理用のフレーム画像を１６個程度取得するのに要する時間以下であることが好ましい。
【００４７】
スイッチ２２２４は、ＡＧＣ制御部１２２からの指令によって切替可能に設けられる。換言すると、ＡＧＣ制御部１２２は、通常更新周期と判定処理用更新周期とを選択可能に設けられる。これによれば、異常検出装置１は、カメラずれの有無の判定処理を行いたい場合に、ＡＧＣ回路２２のゲインの更新周期を切り替えて、カメラずれの有無の判定を行い易い環境を作り出すことができる。ＡＧＣ制御部１２２は、判定処理用のフレーム画像の取得が行われない場合には、スイッチ２２２４により通常更新周期を選択して、ＡＧＣ回路２２を適切に動作させることができる。
【００４８】
また、ＡＧＣ制御部１２２は、判定処理用更新周期を選択中に、ＡＧＣ回路２２におけるゲインの制御量であるフィードバック制御量が所定量以上になった場合に、ＡＧＣ回路２２におけるゲインの更新周期の設定を強制的に通常更新周期に切り替える。フィードバック制御量は、現在のゲインを増やす量あるともあるし、現在のゲインを減らす量であることもある。ＡＧＣ制御部１２２は、当該増やす量又は減らす量が所定量以上になった場合に強制的に通常更新周期に切り替える。
【００４９】
本実施形態において、フィードバック制御量が所定量以上になった状態は、カメラ２１が置かれる明るさ環境が大きく変化した状態と推定される。このような状態で判定処理用のフレーム画像を取得しても、特徴点の追跡を正しく行えない可能性が高い。このために、ＡＧＣ制御部１２２はＡＧＣ回路２２におけるゲインの更新周期を通常更新周期に戻し、判定処理用のフレーム画像の取得を一旦中止する。すなわち、特徴点の追跡が不適切になる可能性がある状態で判定処理が行われることを避けられ、カメラずれの誤検出の発生を抑制することができる。
【００５０】
図４は、異常検出装置１によるカメラずれの検出処理の一例を示すフローチャートである。異常検出装置１によるカメラずれの検出処理は、例えば、所定期間毎（１週間毎等）、所定走行距離毎（１００ｋｍ毎等）、エンジン起動毎（イグニッション（ＩＧ）オン毎）、エンジン起動が所定回数に達した時点毎等に実行されてよい。なお、本実施形態では、撮影部２が４つのカメラ２１を備えるために、各カメラ２１について、図４に示すカメラずれの検出処理が実施される。重複説明を避けるために、カメラ２１がフロントカメラである場合を代表例として、以下、カメラずれの検出処理について説明する。
【００５１】
図４に示すように、まず、カメラ２１を搭載する車両が直進しているか否かが監視される（ステップＳ１）。車両が直進しているか否かは、例えば、舵角センサ３２から得られるステアリングホイールの回転角情報に基づいて判断することができる。なお、直進には、前進方向の直進と、後退方向の直進との両方が含まれる。
【００５２】
ステップＳ１の監視は、車両の直進が検出するまで繰り返される。すなわち、車両が直進走行を行っていることを条件としてカメラずれに関する処理が進められる。これによれば、車両の進行方向が曲がっている場合の情報を用いることなく処理を行うことができるために、情報処理が複雑になることを避けられる。
【００５３】
車両が直進していると判断される場合（ステップＳ１でＹｅｓ）、車両の速度が所定速度範囲内であるか否かが確認される（ステップＳ２）。所定速度範囲は、例えば時速３ｋｍ以上５ｋｍ以下とされる。車両の速度範囲が速すぎると、特徴点の追跡が難しくなる。このために、特に限定する趣旨ではないが、車両の速度は時速３０ｋｍ以下であることが好ましい。また、車両の速度が遅すぎると、車速センサ３１による車両の速度の測定が難しくなる。このために、特に限定する趣旨ではないが、車両の速度は時速３ｋｍ以上であることが好ましい。
【００５４】
車両の速度が所定速度範囲外である場合（ステップＳ２でＮｏ）、ステップＳ１に戻ってステップＳ１以降の処理が行われる。すなわち、車両が直進走行を行っていること、および、車両の速度が所定速度範囲内であることを条件として、カメラずれに関する処理が進められる。
【００５５】
車両が所定速度範囲内で走行していると判断される場合（ステップＳ２でＹｅｓ）、ＡＧＣ制御部１２２がＡＧＣ回路２２のゲインの更新周期の制御を開始する（ステップＳ３）。図５は、ＡＧＣ制御部１２２による制御処理の一例を示すフローチャートである。図５は、図４に示すステップＳ３の詳細例を示すフローチャートである。
【００５６】
ＡＧＣ制御部１２２は、まず、スイッチ２２２４を利用して、ゲインの更新周期として判定処理用更新処理周期を選択する（ステップＳ３１）。これにより、ＡＧＣ回路２２においては、ゲインの更新周期が通常更新周期から判定処理用更新周期に変更される。
【００５７】
次に、ＡＧＣ制御部１２２は、フィードバック回路２２２から取得されるフィードバック制御量が所定量以上であるか否かを確認する（ステップＳ３２）。フィードバック制御量が、所定量以上である場合（ステップＳ３２でＹｅｓ）、スイッチ２２２４を利用して、ゲインの更新周期として通常更新周期を選択する（ステップＳ３３）。これにより、ＡＧＣ回路２２においては、ゲインの更新周期が判定処理用更新周期から通常更新周期に変更される。フィードバック制御量が所定量以上である場合には、カメラ２１の置かれる明るさ環境が大きく変動していることが推定される。このために、ゲインの更新周期を通常更新周期に戻して、一旦、判定処理用のフレーム画像の取得処理を中止する趣旨である。判定処理用のフレーム画像の取得処理は、ＡＧＣ回路２２におけるゲインが安定した時点で再開されればよい。
【００５８】
一方、フィードバック制御量が所定量より小さい場合（ステップＳ３２でＮｏ）、ＡＧＣ制御部１２２は、判定処理用のフレーム画像の取得期間が終了したか否かを確認する（ステップＳ３４）。判定処理用のフレーム画像の取得期間は、判定処理用のフレーム画像を少なくとも２つ以上取得することができる期間である。判定処理用のフレーム画像の取得期間が終了していない場合（ステップＳ３４でＮｏ）には、ＡＧＣ制御部１２２は、判定処理用更新周期の選択を維持し、ステップＳ３２の処理に戻る。判定処理用のフレーム画像の取得期間が終了している場合（ステップＳ３４でＮｏ）には、通常更新周期を選択する（ステップＳ３３）。この場合には、判定処理用のフレーム画像の取得が正常に行われたことになる。判定処理用のフレーム画像が正常に取得されると、ＡＧＣ制御部１２２は、ゲインの更新周期の制御処理を終了する。ＡＧＣ制御部１２２は、判定処理用のフレーム画像の取得が必要となった時点で、ゲインの更新周期の制御処理を再開する。
【００５９】
図４に戻って、ＡＧＣ制御部１２２によるゲインの更新周期の制御が開始されると、判定部１２１は判定処理を開始する。図６は、判定部１２１による判定処理の一例を示すフローチャートである。図６に示すように、まず、判定処理に用いるフレーム画像が取得される（ステップＳ４１）。詳細には、判定処理用のフレーム画像は、ＡＧＣ回路２２のゲインが更新されることなく一定である期間に得られる。すなわち、判定部１２１は、ＡＧＣ回路２２のゲインが一定である期間に取得したフレーム画像を用いて、カメラの異常の有無を判定する。ゲインの更新周期が判定処理用更新周期に変更されて長くなっているために、複数のフレーム画像をゲインが一定である期間に取得することができる。これにより、特徴点の追跡を行うフレーム画像間で、ＡＧＣ回路２２におけるゲインの更新処理が原因となって明るさ（輝度）に大きな差が生じることを防止できる。この結果、特徴点の追跡を精度良く行うことが可能になる。
【００６０】
なお、上述のように、判定処理用更新周期は強制的に通常更新周期に戻されることがある。強制的に通常更新周期に戻された場合には、通常更新周期に戻された以降のフレーム画像は判定処理に用いられない。通常更新周期に切り替える前に取得できたフレーム画像が判定処理に用いられる。
【００６１】
判定処理用のフレーム画像が取得されると、判定部１２１は、当該フレーム画像から特徴点を抽出する処理を行う（ステップＳ４２）。図７は、特徴点ＦＰを抽出する手法を説明するための図である。図７は、カメラ２１（フロントカメラ）で撮影されたフレーム画像Ｐを模式的に示す。図７に示すように、判定部１２１は、フレーム画像Ｐに所定の抽出領域ＥＲを設定する。判定部１２１は、所定の抽出領域ＥＲから特徴点ＦＰを抽出する。所定の抽出領域ＥＲは、路面ＲＳ部分が映る位置に設定される。所定の抽出領域ＥＲは、フレーム画像Ｐの中心部Ｃを含む広範囲に設定されることが好ましい。これにより、特徴点ＦＰの発生箇所が均一でなく偏った範囲に偏在する場合でも、特徴点ＦＰを抽出することができる。
【００６２】
なお、図７においては、特徴点ＦＰの数は２つとされているが、この数は便宜的なものであり、実際の数を示すものではない。例えばアスファルト路面のように表面に凹凸が多い路面からは多くの特徴点ＦＰが抽出される。
【００６３】
図６に戻って、特徴点ＦＰが抽出されると、判定部１２１は、所定の時間間隔をあけて撮影された２つのフレーム画像間における特徴点ＦＰの動きを示すオプティカルフローを算出する（ステップＳ４３）。所定の時間間隔は、画像取得部１１の撮影画像の取得周期（例えば１／３０秒）と同じであってよい。
【００６４】
図８は、オプティカルフローＯＦを求める手法を説明するための図である。図８は、図７と同様に便宜的に示された模式図である。図８は、図７に示すフレーム画像（前回フレーム画像）Ｐの撮影後、所定の時間間隔が経過した後にカメラ２１で撮影されたフレーム画像（今回フレーム画像）Ｐ´である。前回フレーム画像Ｐと今回フレーム画像Ｐ´とは時間的に連続して得られる画像である。図７に示すフレーム画像Ｐの撮影後、所定時間間隔が経過するまでの間に、自車両は後退している。図８に示す破線の丸印は、図７に示す前回フレーム画像Ｐにおいて抽出された特徴点ＦＰの位置を示す。
【００６５】
図８に示すように、自車両が後退すると、自車両の前方に存在する特徴点ＦＰは自車両から離れる。すなわち、特徴点ＦＰは、今回フレーム画像Ｐ´と前回フレーム画像Ｐとで異なる位置に現れる。判定部１２１は、今回フレーム画像Ｐ´の特徴点ＦＰと前回フレーム画像Ｐの特徴点ＦＰとを、その近傍の画素値も考慮に入れて対応付け、対応付けた特徴点ＦＰのそれぞれの位置に基づいてオプティカルフローＯＦを求める。なお、判定部１２１は、前回フレーム画像がない場合にはオプティカルフローＯＦの算出処理を行わない。この場合、カメラずれの有無は判定されない。また、フレーム画像Ｐから複数の特徴点ＦＰが抽出された場合には、各特徴点ＦＰに対してオプティカルフローＯＦの算出処理が行われる。
【００６６】
図６に戻って、特徴点ＦＰのオプティカルフローＯＦが算出されると、判定部１２１は、カメラ座標系で与えられるオプティカルフローＯＦの座標変換を行って移動ベクトルＶを算出する（ステップＳ４４）。座標変換は、カメラ座標系を路面上の座標系に変換する処理である。なお、判定部１２１は、フレーム画像Ｐから抽出された特徴点ＦＰの座標について先に路面上の座標に変換し、オプティカルフローＯＦを求めることなく移動ベクトルＶを求めてもよい。
【００６７】
図９は、座標変換処理を説明するための図である。図９に示すように、判定部１２１は、カメラ２１の位置（視点ＶＰ１）から見たオプティカルフローＯＦを、自車両が存在する路面ＲＳの上方の視点ＶＰ２から見た移動ベクトルＶに変換する。判定部１２１は、フレーム画像上のオプティカルフローＯＦを、路面に相当する仮想平面ＲＳ_Ｖに投影することで移動ベクトルＶに変換する。移動ベクトルＶの大きさは、自車両の路面ＲＳ上の移動量（移動距離）を示す。なお、本実施形態では、カメラ２１が魚眼レンズであるために座標変換処理には歪補正が含まれることが好ましい。また、複数のオプティカルフローＯＦが求められた場合には、各オプティカルフローＯＦに対して移動ベクトルＶの算出処理が行われる。
【００６８】
図６に戻って、路面ＲＳ上の動きを示す移動ベクトルＶが算出されると、判定部１２１は、移動ベクトルＶに基づき移動量（移動距離）の推定を行う（ステップＳ４５）。本実施形態では、判定部１２１は、移動ベクトルＶを統計処理して移動量の推定値を求める。詳細には、判定部１２１は、移動ベクトルＶに基づいてヒストグラムを生成する。判定部１２１は、各移動ベクトルＶを前後方向と左右方向との２成分に分けて、第１ヒストグラムと第２ヒストグラムとを生成する。
【００６９】
図１０は、判定部１２１によって生成された第１ヒストグラムＨＧ１の一例を示す図である。図１１は、判定部１２１によって生成された第２ヒストグラムＨＧ２の一例を示す図である。なお、判定部１２１は、ヒストグラムＨＧ１、ＨＧ２の生成の前後において、先に求められた全ての移動ベクトルＶの中から所定の条件に該当する移動ベクトルＶを処理対象から除外する処理を行ってもよい。例えば、自車両の速度、舵角、シフトレバー位置等から予想される大きさや方向と大きくずれる移動ベクトルＶは除外されてよい。また、例えば、ヒストグラムＨＧ１、ＨＧ２において、度数が極端に低い階級に属する移動ベクトルＶは除外されてよい。
【００７０】
図１０に示す第１ヒストグラムＨＧ１は、移動ベクトルＶの前後方向成分に基づいて得られたヒストグラムである。第１ヒストグラムＨＧ１は、移動ベクトルＶの数を度数とし、前後方向への移動量（移動ベクトルの前後方向成分の長さ）を階級とするヒストグラムである。図１１に示す第２ヒストグラムＨＧ２は、移動ベクトルＶの左右方向成分に基づいて得られたヒストグラムである。第２ヒストグラムＨＧ２は、移動ベクトルＶの数を度数とし、左右方向への移動量（移動ベクトルの左右方向成分の長さ）を階級とするヒストグラムである。
【００７１】
図１０および図１１は、自車両が後方に直進した場合に得られたヒストグラムである。図１０および図１１は、カメラずれが生じていない場合のヒストグラムの一例である。第１ヒストグラムＨＧ１は、後方側の特定の移動量（階級）に偏って度数が多くなる正規分布形状になっている。一方、第２ヒストグラムＨＧ２は、移動量ゼロの近傍の階級に偏って度数が多くなる正規分布形状になっている。カメラずれが生じると、ヒストグラムの形状に変化が見られる。
【００７２】
本実施形態では、判定部１２１は、第１ヒストグラムＨＧ１の中央値（メジアン）を前後方向の移動量の推定値とする。判定部１２１は、第２ヒストグラムＨＧ２の中央値を左右方向の移動量の推定値とする。ただし、判定部１２１による推定値の決定方法は、これに限定されない。判定部１２１は、例えば、各ヒストグラムＨＧ１、ＨＧ２の度数が最大となる階級の移動量（最頻値）を推定値としてもよい。
【００７３】
図６に戻って、移動量の推定値が得られると、判定部１２１は、当該推定値と、センサ部３からの情報によって得られる比較値とを比較してカメラずれの有無を判定する（ステップＳ４６）。本実施形態では、前後方向の移動量について推定値と比較値との比較が行われる。また、左右方向の移動量について推定値と比較値との比較が行われる。比較値を正解値として、当該正解値に対する推定値のずれの大きさを判断する。当該ずれの大きさが所定の閾値を超える場合に、カメラずれが発生していると判断される。
【００７４】
前後方向の比較値（移動量）は、オプティカルフローＯＦを導出するための２つのフレーム画像の撮影時間間隔と、当該時間間隔における車速センサ３１から得られる自車両の速度とによって算出することができる。また、本実施形態では、自車両が前後方向に直進している場合に得られるフレーム画像に基づいてカメラずれの有無が判定される。このために、左右方向の比較値（移動量）はゼロになる。
【００７５】
なお、比較値は、センサ部３以外からの情報に基づいて求められてもよい。例えば、ＧＰＳセンサや、カメラずれの判定対象以外のカメラから得られる情報に基づいて比較値が求められてもよい。また、推定値および比較値は、移動量でなくてもよく、例えば速度であってもよい。
【００７６】
図１２は、判定部１２１によって行われるずれ判定の一例を示すフローチャートである。なお、図１２に示す処理は、図６のステップＳ４６の詳細処理例である。
【００７７】
まず、判定部１２１は、自車両の前後方向の移動量について、推定値と比較値との差の大きさ（前後方向のずれ量）が、第１ずれ閾値より小さいか否かを確認する（ステップＳ４６１）。前後方向のずれ量が第１ずれ閾値以上である場合（ステップＳ４６１でＮｏ）、判定部１２１は、カメラずれ有りと判定する（ステップＳ４６４）。
【００７８】
一方、前後方向のずれ量が第１ずれ閾値より小さい場合（ステップＳ４６１でＹｅｓ）、判定部１２１は、自車両の左右方向の移動量について、推定値と比較値との差の大きさ（左右方向のずれ量）が、第２ずれ閾値より小さいか否かを確認する（ステップＳ４６２）。左右方向のずれ量が第２ずれ閾値以上である場合（ステップＳ４６２でＮｏ）、判定部１２１は、カメラずれ有りと判定する（ステップＳ４６４）。
【００７９】
一方、左右方向のずれ量が第２ずれ閾値より小さい場合（ステップＳ４６２でＹｅｓ）、判定部１２１はカメラずれ無しと判定する（ステップＳ４６３）。
【００８０】
本実施形態では、前後方向の移動量および左右方向の移動量のうち、いずれか１つでも、ずれ量が大きくなると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、前後方向の移動量および左右方向の移動量の両方においてずれ量が大きくなった場合に限って、カメラずれが発生していると判定する構成としてもよい。また、カメラずれの判定は、前後方向および左右方向の移動量だけでなく、例えばこれらを組み合わせた指標（例えば、前後方向の移動量の二乗値と、左右方向の移動量の二乗値との和）に基づいて判定されてもよい。カメラずれの判定は、前後方向の移動量と、左右方向の移動量とのいずれか一方のみを用いて判定されてもよい。
【００８１】
また、本実施形態では、前後方向の移動量および左右方向の移動量について、順番に比較を行う構成としたが、これらの比較は同じタイミングで行われてもよい。また、前後方向の移動量および左右方向の移動量について順番に比較を行う構成の場合、その順番は特に限定されず、図１２に示す順番とは異なる順番で比較が行われてもよい。
【００８２】
図６に戻って、ずれ判定が終了すると、判定部１２１は、ずれ判定の結果に対して信頼度確認を行う（ステップＳ４７）。詳細には、判定部１２１は、ずれ判定の結果を得たフレーム画像の取得後に、ゲインの更新周期の設定を通常更新周期に強制的に切り替える処理（強制切替処理）があったか否かを確認する。判定部１２１は、強制切替処理があった場合には、通常更新周期への切替えの少なくとも直前に得られたフレーム画像に対する処理結果の信頼度を下げる。これによれば、判定処理用のフレーム画像の取得期間中にカメラ２１が置かれる照明環境の変化が起こり、特徴点の追跡が正しく行われていない可能性がある処理結果を、他の処理結果と区別することができる。
【００８３】
本実施形態では、判定部１２１は、通常更新周期への切替えの直前に取得したフレーム画像から得られたずれ判定の結果の信頼度を下げる。ただし、通常更新周期への切替えの直前に得られたフレーム画像だけでなく、当該直前に得られたフレーム画像より前に得られたフレーム画像についても信頼度を下げてよい。
【００８４】
なお、判定部１２１は、信頼度を下げた処理結果を破棄してよい。これによれば、信頼性の低い処理結果を、その後取り扱う必要がなく、処理負担を軽減することができる。また、判定部１２１は、ずれ判定より前の段階で処理結果の信頼度の確認処理を行ってもよい。例えば、特徴点ＦＰの抽出処理や移動量推定の後などに信頼度の確認処理が行われてよく、信頼度が低い特徴点ＦＰの抽出処理結果や移動量推定結果等が破棄されてもよい。また、判定部１２１は、特徴点ＦＰの抽出処理を行う前に信頼度の確認を行ってもよく、信頼度の低いフレーム画像そのものを破棄してもよい。
【００８５】
異常検出装置１は、判定処理の結果が得られると、カメラずれの有無を確定させる。異常検出装置１は、１つのフレーム画像を処理して得られたずれ判定の結果に基づきカメラずれの有無を確定してもよい。ただし、異常検出装置１は、複数のフレーム画像を処理して得られた結果に基づきカメラずれの有無を確定させることが好ましい。これにより、カメラずれを誤検出する可能性を低減することができる。
【００８６】
例えば、複数のフレーム画像について、フレーム画像ごとにずれ判定結果を求めて、ずれの有無の判定回数等に応じてカメラずれの有無を確定してもよい。また、別の例として、各フレーム画像において得られる移動ベクトルＶを車両の速度に依存しないように正規化し、当該正規化した移動ベクトルを複数のフレーム画像にわたって蓄積し、当該蓄積結果に応じてカメラずれの有無を確定してもよい。
【００８７】
異常検出装置１は、カメラずれを検出した場合は、車室内に配置される表示装置（不図示）を利用してカメラずれの発生を運転者等に知らせることが好ましい。また、異常検出装置１は、カメラ２１からの情報を用いて運転支援を行う機能（例えば自動駐車機能等）を停止（オフ）するための処理を行うことが好ましい。この際、運転支援機能を停止したことを表示装置に表示させることが好ましい。車両に複数のカメラ２１が搭載される場合、複数のカメラ２１のうちの１つでもカメラずれが発生した場合には、上述した運転者等への報知処理、および、運転支援装機能の停止処理を行うことが好ましい。
【００８８】
異常検出装置１は、カメラずれを検出しなかった場合には、一旦カメラずれの検出処理を終了する。そして、その後、所定のタイミングでカメラずれの検出処理を再度開始する。
【００８９】
本実施形態では、ＡＧＣ回路２２のゲインの更新周期を制御して、カメラずれの有無の判定処理を行い易い環境を作り出してカメラずれの有無の判定処理を行うことができる。このために、カメラずれの誤検出を低減することができる。
【００９０】
＜３．変形例＞
図１３は、本実施形態の変形例に係る異常検出システムＳＹＳ１Ａの構成を示すブロック図である。図１３に示すように、異常検出システムＳＹＳ１Ａは、上述した異常検出システムＳＹＳ１の構成に加えて、サスペンション装置５、点滅表示灯装置６、および、光照射装置７を備える。すなわち、異常検出システムＳＹＳ１Ａは、異常検出装置１Ａと、ＡＧＣ回路２２を有するカメラ２１と、サスペンション装置５と、点滅表示灯装置６と、光照射装置７とを備える。
【００９１】
なお、異常検出システムＳＹＳ１Ａは、サスペンション装置５、点滅表示灯装置６、および、光照射装置７のうちの全ての装置を備える必要はない。すなわち、異常検出システムＳＹＳ１Ａは、異常検出装置１Ａと、ＡＧＣ回路２２を有するカメラ２１と、サスペンション装置５、点滅表示灯装置６、および、光照射装置７のうちの少なくともいずれか１つの装置と、を備えればよい。
【００９２】
サスペンション装置５は車両に設けられる。サスペンション装置５は、車両が移動する路面ＲＳとカメラ２１との距離を制御可能に設けられる。サスペンション装置５は、車両の各車輪に対応して設けられるサスペンションと、サスペンションの減衰力を調整する減衰力調整部とを含む。減衰力調整部は、例えば段階的に減衰力を調整できる構成であってよい。
【００９３】
減衰力調整部によって、減衰力が高く（硬く）設定されると、カメラ２１が取り付けられる車体の路面ＲＳに対する上下動を低減することができる。すなわち、路面ＲＳと、カメラ２１との位置関係を一定に保ち易くすることができる。一方、減衰力調整部によって、減衰力が低く設定されると、車体の路面ＲＳに対する上下動が起り易くなり、路面ＲＳとカメラ２１との位置関係が変動し易くなる。
【００９４】
なお、サスペンション装置５は、エアサスペンションと、エアの出し入れによりサスペンションの高さ位置を調整する高さ調整部とを含む構成としてもよい。この構成では、高さ調整部によって適宜エアの出し入れを行うことにより、路面と車体との距離を一定に制御することができる。
【００９５】
点滅表示灯装置６は、オンオフ制御可能に車両に設けられる。点滅表示灯装置６は、点滅表示灯と、点滅表示灯のオンオフを切り替えるオンオフ部とを含む。点滅表示灯は、本変形例では、車両のハザードランプである。
【００９６】
光照射装置７は、車両にカメラ２１と対になって設けられる。本実施形態では、前後左右にカメラ２１が１つずつ配置されている。このために、光照射装置７も前後左右に１つずつ設けられる。すなわち、本実施形態において、光照射装置７の数は４つである。光照射装置７は所定位置を照射する。詳細には、光照射装置７は、当該装置から照射された光のパターンが、対になって設けられるカメラ２１の所定範囲に映るように車両に固定配置されている。光のパターンは、例えば円形等のスポット形状でもよいし、スポット形状以外のパターンであってもよい。光照射装置７は、例えばレーザ装置やプロジェクタ装置等であってよい。
【００９７】
異常検出装置１Ａは、上述した異常検出装置１と同様に、画像取得部１１と、制御部１２Ａと、記憶部１３とを備える。制御部１２Ａは、判定部１２１およびＡＧＣ制御部１２２の他に、サスペンション制御部１２３、点滅表示灯制御部１２４、および、照射位置判断部１２５を備える。サスペンション制御部１２３、点滅表示灯制御部１２４、および、照射位置判断部１２５は、例えば記憶部１３に記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される機能部である。換言すると、異常検出装置１Ａは、サスペンション制御部１２３と、点滅表示灯制御部１２４と、照射位置判断部１２５とを更に備える。
【００９８】
なお、サスペンション制御部１２３、点滅表示灯制御部１２４、および、照射位置判断部１２５の少なくともいずれか１つは、上述した判定部１２１およびＡＧＣ制御部１２２と同様に、ＡＳＩＣやＦＰＧＡ等のハードウェアで構成されてもよい。また、異常検出装置１Ａは、サスペンション制御部１２３、点滅表示灯制御部１２４、および、照射位置判断部１２５のうち、いずれか１つ、或いは、いずれか２つを備えなくてもよい。
【００９９】
サスペンション制御部１２３は、判定処理を行う際に、車両のサスペンションの設定を制御する。サスペンション制御部１２３は、判定処理用のフレーム画像を取得するために、車両のサスペンションの設定を制御する。サスペンション制御部１２３は、カメラ２１と路面ＲＳとの距離が一定となるように、サスペンション装置５の減衰力調整部を制御する。
【０１００】
例えば、自車両が減速する場合や下り坂を下る場合等には、自車両は、通常、前方が沈み込む。例えば、自車両が加速する場合や上り坂を上る場合等には、自車両は、通常、後方が沈み込む。このような沈み込みが起こると、カメラ２１と路面ＲＳとの距離が変動し、特徴点ＦＰの追跡の精度が悪くなる可能性がある。そこで、本変形例では、サスペンション制御部１２３は、判定処理を行う際に、サスペンションの減衰力が高く（硬く）なるように、減衰力調整部を制御する。これにより、加減速や路面ＲＳの傾き等が原因となって車体の沈み込みが発生することを低減して、カメラ２１と路面ＲＳとの位置関係を一定とすることができる。この結果、特徴点ＦＰの追跡精度の低下を抑制することができる。
【０１０１】
なお、サスペンション制御部１２３は、サスペンション装置５がエアサスペンションを含む場合には、エアサスペンションの高さ調整部を制御して、カメラ２１と路面ＲＳとの位置関係が一定となるように制御してもよい。
【０１０２】
点滅表示灯制御部１２４は、判定処理を行う際に、車両の点滅表示灯を制御する。点滅表示灯制御部１２４は、判定処理用のフレーム画像を取得するために、車両の点滅表示灯を制御する。車両の点滅表示灯が作動状態である場合、車両周辺の照明環境が変動するために、特徴点ＦＰの追跡精度が低下する可能性がある。そこで、本変形例では、点滅表示灯制御部１２４は、判定処理を行う際に、点滅表示灯のオンオフ部を制御して、点滅表示灯をオフさせる。これによれば、判定処理用のフレーム画像を取得する際に、照明環境の変動を抑制することができ、特徴点ＦＰの追跡精度の低下を抑制することができる。
【０１０３】
照射位置判断部１２５は、車両に搭載された光照射装置７から照射された光のフレーム画像における照射位置が所定範囲内に位置するか否かを判断する。図１４は、照射位置判断部１２５の機能を説明するための模式図である。照射位置判断部１２５は、判定処理を行う際に、光照射装置７に路面ＲＳに向けて光を照射させる。これにより、路面ＲＳに例えばスポット形状の光パターンが形成される。照射位置判断部１２５は、光照射装置７によって路面ＲＳに形成された光パターンＬＳが、カメラ２１で撮影されたフレーム画像Ｐの所定範囲ＰＲ内に位置するか否かを判断する。
【０１０４】
例えば、車両に上述した沈み込みが発生した場合等に、光パターンＬＳのフレーム画像Ｐにおける照射位置が所定範囲ＰＲからずれるように構成することができる。このために、光パターンＬＳのフレーム画像Ｐにおける位置を確認することよって、判定処理用のフレーム画像を取得するのに適切なタイミングであるか否かを判断することができる。
【０１０５】
図１５は、変形例の異常検出装置１Ａによるカメラずれの検出処理の一例を示すフローチャートである。図１５に示すように、まず、サスペンション制御部１２３が、サスペンションの設定の制御を行う（ステップＳ０Ａ）。これにより、サスペンションの減衰力が高く設定され、車体の上下動を抑制することができる。
【０１０６】
次に、点滅表示灯制御部１２４が、点滅表示灯の制御を行う（ステップＳ０Ｂ）。点滅表示灯がオン状態である場合には、点滅表示灯がオフされる。点滅表示灯がオフ状態である場合には、点滅表示灯のオフが継続される。点滅表示灯がオフされることにより、自車両周辺の照明環境の変化を抑制することができる。
【０１０７】
次に、照射位置判断部１２５が、光パターンＬＳがフレーム画像Ｐの所定範囲ＰＲに位置するか否かを確認する（ステップＳ０Ｃ）。光パターンＬＳが所定範囲ＰＲ内である場合（ステップＳ０ＣでＹｅｓ）、図４のステップＳ１以降の処理が行われる。一方、光パターンＬＳが所定範囲ＰＲ外である場合（ステップＳ０ＣでＮｏ）、カメラずれの検出処理を一旦中止する。この中止により、サスペンションの減衰力設定や、点滅表示灯のオンオフ設定は、カメラずれの検出処理が開始される前の状態に戻されてよい。
【０１０８】
なお、光パターンＬＳが所定範囲ＰＲ外となる状況は、カメラ２１ずれが発生している場合にも生じ得る。このために、例えば、光パターンＬＳが所定範囲ＰＲ外となる状況が複数回連続して生じた場合には、カメラずれの発生の可能性があることを自車両の乗員に通知するように構成してもよい。
【０１０９】
また、ステップＳ０Ａ、ステップＳ０Ｂ、および、ステップＳ０Ｃの順番は、図１５に示す順番に限定されない。これらの順番は適宜変更されてよい。例えば、ステップＳ０Ｃが最初に行われる構成等としてよい。
【０１１０】
本変形例の構成では、判定処理を行うに際して、ＡＧＣ回路２２のゲインの更新周期の制御に加えて、サスペンションおよび点滅表示灯の制御を行う。このために、カメラずれの有無の判定処理を行い易い環境を作り出してカメラずれの有無の判定処理を行うことができる。また、本変形例の構成では、光照射装置７を用いた確認処理を行うことによって、判定処理に適していない状況で判定処理が行われることを避けることができる。したがって、本変形例によれば、カメラずれの誤検出を低減することができる。なお、本変形例において、異常検出装置１Ａは、ＡＧＣ制御部１２２を備えない構成としてもよい。この場合でも、カメラずれの有無の判定処理を行い易い環境を作り出してカメラずれの有無の判定処理を行うことができる。
【０１１１】
＜４．留意事項＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。  
【０１１２】
以上においては、カメラ２１の異常検出に用いるデータは、自車両が直進走行している場合に収集される構成とした。ただし、これは例示であり、カメラ２１の異常検出に用いるデータは、自車両が直進走行していない場合に収集されてもよい。
【符号の説明】
【０１１３】
１、１Ａ・・・異常検出装置
５・・・サスペンション装置
６・・・点滅表示灯装置
７・・・光照射装置
２１・・・カメラ
２２・・・ＡＧＣ回路
１２１・・・判定部
１２２・・・ＡＧＣ制御部
１２３・・・サスペンション制御部
１２４・・・点滅表示灯制御部
１２５・・・照射位置判断部
ＦＰ・・・特徴点
ＳＹＳ１、ＳＹＳ１Ａ・・・異常検出システム
【図１】
2020060531.tif 000003
【図２】
2020060531.tif 000004
【図３】
2020060531.tif 000005
【図４】
2020060531.tif 000006
【図５】
2020060531.tif 000007
【図６】
2020060531.tif 000008
【図７】
2020060531.tif 000009
【図８】
2020060531.tif 000010
【図９】
2020060531.tif 000011
【図１０】
2020060531.tif 000012
【図１１】
2020060531.tif 000013
【図１２】
2020060531.tif 000014
【図１３】
2020060531.tif 000015
【図１４】
2020060531.tif 000016
【図１５】
2020060531.tif 000017