(57)【要約】【課題】移動体に搭載されるカメラの異常を効率良く適切に検出することができる技術を提供する。【解決手段】移動体に搭載されるカメラの異常を検出する異常検出装置は、前記カメラの異常の有無を、前記カメラで撮影された撮影画像に基づき判定する判定処理を行う判定部と、前記判定処理の結果に前記撮影画像の撮影条件が関係付けられた過去情報に基づき、前記判定処理に用いる前記撮影画像の撮影場所の候補地を抽出する抽出部と、を備える。前記判定処理は、前記移動体が前記候補地を移動する際に撮影された前記撮影画像を用いて行われる。【選択図】図１
2020061651.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載されるカメラの異常を検出する異常検出装置であって、
前記カメラの異常の有無を、前記カメラで撮影された撮影画像に基づき判定する判定処理を行う判定部と、
前記判定処理の結果に前記撮影画像の撮影条件が関係付けられた過去情報に基づき、前記判定処理に用いる前記撮影画像の撮影場所の候補地を抽出する抽出部と、
を備え、
前記判定処理は、前記移動体が前記候補地を移動する際に撮影された前記撮影画像を用いて行われる、異常検出装置。
【請求項２】
前記抽出部は、前記候補地を、前記カメラの異常の有無を判定できたときの前記過去情報に基づき抽出する、請求項１に記載の異常検出装置。
【請求項３】
前記過去情報には、自装置を搭載する前記移動体で得られた第１情報と、自装置を搭載する前記移動体とは別の移動体で得られた第２情報とのうち少なくともいずれか一方が含まれる、請求項１又は２に記載の異常検出装置。
【請求項４】
前記第１情報の外部への送信と、前記第２情報を含む前記過去情報の外部からの受信とのうちの少なくともいずれか一方を行う通信部を更に備える、請求項３に記載の異常検出装置。
【請求項５】
前記過去情報を記憶する記憶部を更に備える、請求項１から４のいずれか１項に記載の異常検出装置。
【請求項６】
前記判定処理の結果に、自装置を搭載する前記移動体とは別の移動体の前記判定処理の結果を加味して、前記カメラの異常の有無の確認を行う確認部を更に備える、請求項１から５のいずれか１項に記載の異常検出装置。
【請求項７】
前記判定処理では、前記カメラの異常の有無が、前記撮影画像から抽出される特徴点の位置の時間変化に基づき判定される、請求項１から６のいずれか１項に記載の異常検出装置。
【請求項８】
前記候補地を、前記移動体に搭載される通知装置に通知させる処理を行う通知処理部を更に備える、請求項１から７のいずれか１項に記載の異常検出装置。
【請求項９】
前記通知処理部は、前記移動体が前記候補地に到達する経路の候補を、前記通知装置に通知させる処理を行う、請求項８に記載の異常検出装置。
【請求項１０】
前記移動体の自動運転を制御する自動運転装置に、前記移動体の移動経路が前記候補地を移動する経路を含むことを要求する要求部を更に備える、請求項１から８のいずれか１項に記載の異常検出装置。
【請求項１１】
前記要求部は、前記判定処理に用いる前記撮影画像の撮影に適した運転条件で前記移動体が前記候補地を移動することを、前記自動運転装置に要求する、請求項１０に記載の異常検出装置。
【請求項１２】
請求項１０又は１１に記載の異常検出装置と、
前記自動運転装置と、
を備える、移動体制御システム。
【請求項１３】
装置によって、移動体に搭載されるカメラの異常を検出する異常検出方法であって、
前記カメラの異常の有無を、前記カメラで撮影された撮影画像に基づき判定する判定処理を行う判定工程と、
前記判定処理の結果に前記撮影画像の撮影条件が関係付けられた過去情報に基づき、前記判定処理に用いる前記撮影画像の撮影場所の候補地を抽出する抽出工程と、
を備え、
前記判定処理は、前記移動体が前記候補地を移動する際に撮影された前記撮影画像を用いて行われる、異常検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異常検出装置、異常検出方法、および、移動体制御システムに関する。
【背景技術】
【０００２】
従来、自動車等の車両には、駐車支援等に利用されるカメラが搭載されている。例えば車両に搭載される車載カメラは、車両を工場から出荷する前に、車両に固定した状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付け状態からずれを起こすことがある。車載カメラの取付け位置や角度がずれると、カメラ画像を利用して判断されるハンドルの操舵量等に誤差が生じるために、車載カメラの取付けのずれを検出することは重要である。
【０００３】
特許文献１には、車両に取り付けられた映像出力装置から投影されるパターンを使い、車載カメラのキャリブレーションを行うことが開示される。また、パターン投影に必要なスペースを確保するため、車両制御部が、前方障害との距離が一定以上空くようにブレーキ等の車両装置を制御することが開示される。その他、特許文献１には、横断歩道や自車ボディから取得する特徴点を使って車載カメラのキャリブレーションが行われることが開示される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１７１５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば車両の走行状態等によって、車載カメラが置かれる環境は変動し易い。車載カメラが置かれる環境の変動は、車載カメラで撮影される画像を用いて車載カメラの取付けのずれの有無を確認する場合に、間違った判断を誘発する可能性がある。また、特徴点を利用して車載カメラの取付けのずれを検出する構成では、撮影画像から特徴点を抽出することができず、車載カメラの取付けのずれの有無を判断できないことがある。
【０００６】
本発明は、移動体に搭載されるカメラの異常を効率良く適切に検出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明の異常検出装置は、移動体に搭載されるカメラの異常を検出する異常検出装置であって、前記カメラの異常の有無を、前記カメラで撮影された撮影画像に基づき判定する判定処理を行う判定部と、前記判定処理の結果に前記撮影画像の撮影条件が関係付けられた過去情報に基づき、前記判定処理に用いる前記撮影画像の撮影場所の候補地を抽出する抽出部と、を備え、前記判定処理は、前記移動体が前記候補地を移動する際に撮影された前記撮影画像を用いて行われる構成（第１の構成）になっている。
【０００８】
上記第１の構成の異常検出装置において、前記抽出部は、前記候補地を、前記カメラの異常の有無を判定できたときの前記過去情報に基づき抽出する構成（第２の構成）であることが好ましい。
【０００９】
上記第１又は第２の構成の異常検出装置において、前記過去情報には、自装置を搭載する前記移動体で得られた第１情報と、自装置を搭載する前記移動体とは別の移動体で得られた第２情報とのうち少なくともいずれか一方が含まれる構成（第３の構成）であることが好ましい。
【００１０】
上記第３の構成の異常検出装置は、前記第１情報の外部への送信と、前記第２情報を含む前記過去情報の外部からの受信とのうちの少なくともいずれか一方を行う通信部を更に備える構成（第４の構成）であってよい。
【００１１】
上記第１から第４のいずれかの構成の異常検出装置は、前記過去情報を記憶する記憶部を更に備える構成（第５の構成）であってよい。
【００１２】
上記第１から第５のいずれかの構成の異常検出装置は、前記判定処理の結果に、自装置を搭載する前記移動体とは別の移動体の前記判定処理の結果を加味して、前記カメラの異常の有無の確認を行う確認部を更に備える構成（第６の構成）であってよい。
【００１３】
上記第１から第６のいずれかの構成の異常検出装置において、前記判定処理では、前記カメラの異常の有無が、前記撮影画像から抽出される特徴点の位置の時間変化に基づき判定される構成（第７の構成）であることが好ましい。
【００１４】
上記第１から第７のいずれかの構成の異常検出装置は、前記候補地を、前記移動体に搭載される通知装置に通知させる処理を行う通知処理部を更に備える構成（第８の構成）であってよい。
【００１５】
上記第８の構成の異常検出装置において、前記通知処理部は、前記移動体が前記候補地に到達する経路の候補を、前記通知装置に通知させる処理を行う構成（第９の構成）であってよい。
【００１６】
上記第１から第８のいずれかの構成の異常検出装置は、前記移動体の自動運転を制御する自動運転装置に、前記移動体の移動経路が前記候補地を移動する経路を含むことを要求する要求部を更に備える構成（第１０の構成）であってよい。
【００１７】
上記第１０の構成の異常検出装置において、前記要求部は、前記判定処理に用いる前記撮影画像の撮影に適した運転条件で前記移動体が前記候補地を移動することを、前記自動運転装置に要求する構成（第１１の構成）であってよい。
【００１８】
上記目的を達成するために本発明の移動体制御システムは、上記第１０又は第１１に記載の異常検出装置と、前記自動運転装置と、を備える構成（第１２の構成）になっている。
【００１９】
上記目的を達成するために本発明の異常検出方法は、装置によって、移動体に搭載されるカメラの異常を検出する異常検出方法であって、前記カメラの異常の有無を、前記カメラで撮影された撮影画像に基づき判定する判定処理を行う判定工程と、前記判定処理の結果に前記撮影画像の撮影条件が関係付けられた過去情報に基づき、前記判定処理に用いる前記撮影画像の撮影場所の候補地を抽出する抽出工程と、を備え、前記判定処理は、前記移動体が前記候補地を移動する際に撮影された前記撮影画像を用いて行われる構成（第１３の構成）になっている。
【発明の効果】
【００２０】
本発明によると、移動体に搭載されるカメラの異常を効率良く適切に検出することができる。
【図面の簡単な説明】
【００２１】
【図１】移動体制御システムの構成を示すブロック図
【図２】通信部について説明するための図
【図３】カメラずれの検出処理の一例を示すフローチャート
【図４】候補地を通る経路の設定について説明するための図
【図５】判定処理の一例を示すフローチャート
【図６】特徴点を抽出する手法を説明するための図
【図７】オプティカルフローを求める手法を説明するための図
【図８】座標変換処理を説明するための図
【図９】第１ヒストグラムの一例を示す図
【図１０】第２ヒストグラムの一例を示す図
【図１１】ずれ判定の一例を示すフローチャート
【図１２】変形例に係る異常検出システムの構成を示すブロック図
【図１３】変形例の異常検出装置によるカメラずれの検出処理の一例を示すフローチャート
【発明を実施するための形態】
【００２２】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、本発明が適用される移動体が車両である場合を例にとり説明するが、本発明が適用される移動体は車両に限定される趣旨ではない。本発明は、例えばロボット等に適用されてもよい。車両には、例えば自動車、電車、無人搬送車等の車輪を有する乗り物が広く含まれる。
【００２３】
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向」とする。また、車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の右側から左側に向かう方向を「左方向」とする。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転者の左側から右側に向かう方向を「右方向」とする。なお、前後左右の方向は、単に説明のために用いられる名称であって、実際の位置関係及び方向を限定する趣旨ではない。
【００２４】
＜１．移動体制御システム＞
図１は、本発明の実施形態に係る移動体制御システムＳＹＳ１の構成を示すブロック図である。本実施形態において移動体は車両であり、移動体制御システムＳＹＳ１は車両制御システムである。図１に示すように、移動体制御システムＳＹＳ１は、異常検出システムＳＹＳ２と、自動運転装置６とを備える。後述のように、異常検出システムＳＹＳ２は異常検出装置１を備える。換言すると、移動体制御システムＳＹＳ１は、異常検出装置１と自動運転装置６とを備える。
【００２５】
自動運転装置６は、車両の自動運転を制御する。自動運転装置６は各車両に搭載される。自動運転装置６は、車両の駆動部と、制動部と、操舵部とを制御するＥＣＵ（Electronic Control Unit）を含む。駆動部には、例えばエンジンやモータが含まれる。制動部にはブレーキが含まれる。操舵部には、ステアリングホイール（ハンドル）が含まれる。また、自動運転装置６は、自動運転によって車両を走行させる走行経路を生成する経路生成装置を含む。走行経路装置は、例えば、出発地と目的地とが入力されることによって自動的に走行経路を生成する。自動運転装置６は、生成して経路に沿って車両を自動的に走行させる。また、自動運転装置６は、自動運転をするために必要となる車両の周辺情報等を検出する各種のセンサが含まれる。各種のセンサには、例えば、カメラ、レーダー装置、位置センサ等が含まれる。
【００２６】
自動運転装置６による自動運転が開始されると、アクセル、ブレーキ、および、ハンドルが運転者の操作によらず自動で行われる。車両は、自動運転により、予め設定された走行経路に沿って自動的に進行する。本実施形態では、自動運転装置６は、異常検出装置１からの指示によって制御動作を適宜変更することが可能に設けられている。本実施形態では、自動運転を利用して異常検出装置１による異常検出を行うことができるために、精度良く異常検出を行うことができる。
【００２７】
＜２．異常検出システム＞
図１に示すように、異常検出システムＳＹＳ２は、異常検出装置１と、撮影部２と、センサ部３と、通知装置５とを備える。なお、本実施形態において、異常は、車両に搭載するカメラの取付けのずれ（以下、「カメラずれ」と表現する）が生じた状態を含む。すなわち、異常検出システムＳＹＳ２は、車両に搭載されるカメラのカメラずれを検出するシステムである。詳細には、異常検出システムＳＹＳ２は、例えば、工場出荷時における車両へのカメラの取付け状態等の基準となる取付け状態からのカメラずれを検出するシステムである。カメラずれには、軸ずれや、軸周りの回転によるずれ等が広く含まれる。軸ずれには、取付け位置のずれや取付け角度のずれ等が含まれる。
【００２８】
撮影部２は、車両周辺の状況を認識する目的で車両に設けられる。撮影部２はカメラ２１を備える。カメラ２１は車載カメラである。カメラ２１は例えば魚眼レンズを用いて構成される。カメラ２１は、異常検出装置１に有線又は無線により接続され、撮影画像を異常検出装置１に出力する。
【００２９】
なお、本実施形態では、撮影部２は複数のカメラ２１を備える。複数のカメラ２１は、フロントカメラ、バックカメラ、左サイドカメラ、右サイドカメラの４つのカメラである。フロントカメラは車両の前方を撮影するカメラである。バックカメラは車両の後方を撮影するカメラである。左サイドカメラは車両の左方を撮影するカメラである。右サイドカメラは車両の右方を撮影するカメラである。４つのカメラ２１により、車両の水平方向における全周囲を撮影することができる。これにより、例えば、車両の駐車支援を安全に行うことができる。ただし、撮影部２が備えるカメラ２１の数は単数でもよいし、４つ以外の複数であってもよい。また、カメラ２１は自動運転の際に用いられるものであってもよいが、自動運転の際にはカメラ２１とは異なるカメラが用いられてもよい。
【００３０】
異常検出装置１は、車両に搭載されるカメラ２１の異常を検出する装置である。詳細には、異常検出装置１は、車両に搭載されたカメラ２１からの情報に基づき当該カメラ２１自身のカメラずれを検出する。すなわち、異常検出装置１はカメラずれ検出装置である。異常検出装置１を用いることによって、車両を走行させながらカメラずれを迅速に検出することができる。異常検出装置１により、例えば、カメラずれが生じた状態で駐車支援が行われることを防止できる。
【００３１】
本実施形態では、異常検出装置１は、カメラずれの検出対象となるカメラを搭載する車両に搭載される。以下、異常検出装置１を搭載する車両のことを自車両と呼ぶことがある。また、自車両とは別の車両を他車両と呼ぶことがある。なお、異常検出装置１は、カメラずれの検出対象となるカメラを搭載する車両以外の場所に配置されてもよい。例えば、異常検出装置１は、カメラ２１を有する車両と通信可能なデータセンタ等に配置されてもよい。
【００３２】
本実施形態では、撮影部２が複数のカメラ２１を有するために、異常検出装置１は、カメラ２１毎にカメラずれの検出を行う。異常検出装置１は、通知装置５と有線又は無線により接続され、通知装置５を制御する。また、異常検出装置１は、自動運転装置６と有線又は無線により接続され、自動運転装置６と情報のやりとりを行う。異常検出装置１の詳細については後述する。
【００３３】
センサ部３は、カメラ２１が搭載される車両に関する情報を検出する複数のセンサを有する。本実施形態では、センサ部３は、車速センサ３１と舵角センサ３２とを含む。車速センサ３１は、車両の速度を検出し、その検出値に応じた電気信号を出力する。舵角センサ３２は、車両のステアリングホイール（ハンドル）の回転角を検出し、その検出値に応じた電気信号を出力する。車速センサ３１および舵角センサ３２は、通信バス４を介して異常検出装置１に接続される。すなわち、車速センサ３１で取得された車両の速度情報は、通信バス４を介して異常検出装置１に入力される。舵角センサ３２で取得された車両のステアリングホイールの回転角情報は、通信バス４を介して異常検出装置１に入力される。なお、通信バス４は、例えばＣＡＮ（Controller Area Network）バスであってよい。
【００３４】
通知装置５は、各車両に搭載される。詳細には、通知装置５は、車両の室内に配置される。通知装置５は、表示装置であることが好ましい。通知装置５が表示装置である場合には、表示面が運転者等の車両の乗員から見える位置に配置されることが好ましい。表示装置は、例えば液晶表示装置、有機ＥＬ表示装置、プラズマ表示装置等であってよい。通知装置５は、表示装置でなくてもよく、例えば音声案内装置や、表示装置と音声案内装置とを兼ねた装置等であってよい。通知装置５は、車両に固定配置される装置であってもよいが、車両外に持ち出すことが可能な可搬装置であってもよい。
【００３５】
＜３．異常検出装置＞
図１に示すように、異常検出装置１は、画像取得部１１と、制御部１２と、記憶部１３と、通信部１４とを備える。
【００３６】
画像取得部１１は、自車両のカメラ２１からアナログ又はデジタルの撮影画像（フレーム画像）を所定周期（例えば１／３０秒周期）で周期的に取得する。本実施形態では、撮影部２が複数のカメラ２１を有するために、画像取得部１１は各カメラ２１から撮影画像を取得する。取得した撮影画像がアナログの場合には、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部１１は、取得した撮影画像に対して所定の画像処理を行い、処理後の撮影画像を制御部１２に出力する。
【００３７】
制御部１２は、例えばマイクロコンピュータであり、異常検出装置１の全体を統括的に制御する。制御部１２は、ＣＰＵ、ＲＡＭおよびＲＯＭ等を備える。記憶部１３は、例えば、フラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１３は、各種のコンピュータプログラムや各種のデータを記憶する。
【００３８】
詳細には、制御部１２は、判定部１２１と、抽出部１２２と、要求部１２３と、確認部１２４とを備える。制御部１２が備えるこれら各部１２１〜１２４の機能は、例えば記憶部１３に記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される。換言すると、異常検出装置１は、判定部１２１と、抽出部１２２と、要求部１２３と、確認部１２４とを備える。
【００３９】
なお、制御部１２が備える各部１２１〜１２４の少なくともいずれか１つは、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、制御部１２が備える各部１２１〜１２４は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。また、画像取得部１１は、制御部１２のＣＰＵがコンピュータプログラムに従って演算処理を行うことによって実現される構成でもよい。
【００４０】
判定部１２１は、カメラ２１の異常の有無を、カメラ２１で撮影された撮影画像に基づき判定する判定処理を行う。本実施形態の判定処理では、カメラ２１の異常の有無が、撮影画像から抽出される特徴点の位置の時間変化に基づき判定される。特徴点を利用することにより、カメラ２１の異常の有無を判定するために特別の装置を追加する必要がなく、判定処理に要するコストを抑制することができる。
【００４１】
特徴点は、例えば撮影画像中のエッジの交点など、撮影画像において際立って検出できる点である。特徴点は、例えば白線等で描かれる路面標示のコーナー、路面上のひび、路面上のしみ、路面上の砂利等から抽出される。特徴点は、例えば、ハリスオペレータ等の公知の手法を用いて抽出することができる。
【００４２】
本実施形態では、判定部１２１は、カメラ２１より入力されたフレーム画像ごとに特徴点の抽出処理を行う。判定部１２１は、所定の時間間隔をあけて入力される２つのフレーム画像間における特徴点の動きであるオプティカルフローを求め、当該オプティカルフローに基づき車両の移動量を推定する。車速センサ３１から得られる車両の速度に基づき求められる移動量を正解値として、当該正解値に対する移動量の推定値のずれの大きさが判断される。当該ずれの大きさが所定の閾値を超える場合に、カメラずれが発生していると判断される。なお、判定部１２１による判定処理の詳細例については後述する。
【００４３】
抽出部１２２は、判定処理の結果に撮影画像の撮影条件が関係付けられた過去情報に基づき、判定処理に用いる撮影画像の撮影場所の候補地を抽出する。すなわち、抽出部１２２は、判定処理に関する過去の結果に基づき、これから行う判定処理に用いる撮影画像の撮影場所の候補地を抽出する。候補地は、車両が走行可能な走行路から広く抽出されてよい。候補地は、公道に限らず私道から抽出されてもよい。候補地は、例えば自車両の駐車場や公共の駐車場等から抽出されてもよい。候補地は、車両の進行方向に一定以上の長さを有することが好ましい。
【００４４】
過去情報における判定処理の結果は、関連付けられた撮影条件においてどの程度判定処理が行いやすかったか、を示す情報であるとよい。換言すれば、判定部１２１はどの程度設計上の想定に近い情報に基づいて判定処理を行えたかを示す情報である。例えば、カメラ２１の異常の有無を判定できたか否かであってよい。異常の有無が判定できた、ということは、判定部１２１は、設計上の想定に近い情報に基づいて判定処理を行えたということである。逆に異常の有無が判定できなかった、ということは、判定部１２１は、設計上の想定から遠い情報しか取得できなかったために、異常の有無に対して信頼度の高い判定を行えなかったということである。したがって判定の成否だけでなく、特徴点の数、ノイズの強弱、判定の信頼度といった判定処理の内部情報であってもよい。判定処理の結果に関係付けられる撮影条件には、例えば、撮影場所、撮影時間、車両の進行方向、車両の走行車線等が含まれてよい。本実施形態では、判定処理の結果に関係付けられる撮影条件には、好ましい形態として、少なくとも撮影場所が含まれる。判定処理の結果に関係付けられる撮影場所は、判定処理の結果を得た撮影画像の撮影場所である。これにより、過去に判定処理が行われた環境により近い環境での判定処理を行うことが可能になる。抽出部１２２によって抽出される候補地は、単数でも複数でもよい。また、例えば、自車両の周辺に候補地がない場合や、自車両の走行予定経路およびその周辺に候補地がない場合には、候補地なしとしてもよい。
【００４５】
判定部１２１による判定処理は、自車両が候補地を移動する際に撮影された撮影画像を用いて行われる。本実施形態によれば、判定処理に用いる撮影画像を適切に得られる可能性が高い場所（環境）を、過去の判定処理結果に基づき選ぶことができる。そして、当該適切な環境下において撮影された撮影画像を用いて判定処理を行うことができるために、車両に搭載されるカメラの異常を効率良く適切に検出することができる。
【００４６】
本実施形態では、抽出部１２２は、候補地を、カメラ２１の異常の有無を判定できたときの過去情報に基づき抽出する。これによれば、これから行われる判定処理によってカメラの異常の有無を判定することができる可能性が高く、効率良く判定処理を行うことができる。
【００４７】
過去情報には、自装置１を搭載する車両（自車両）で得られた第１情報と、自車両とは別の車両（他車両）で得られた第２情報とのうち少なくともいずれか一方が含まれることが好ましい。なお、他車両にも異常検出装置１は搭載されており、判定処理結果を得ることができる。自車両および他車両のうちの少なくとも一方の過去の結果を利用することによって、効率良く判定処理を行うことができる。本実施形態では、過去情報には、自車両で得られた第１情報と、他車両で得られた第２情報とが含まれる。これにより、過去情報の蓄積量を多くすることができ、判定処理を更に効率良く行うことが可能になる。
【００４８】
異常検出装置１は、自車両の外部に記憶される過去情報を、通信部１４を利用して取得する。図２は、異常検出装置１が備える通信部１４について説明するための図である。図２に示すように、通信部１４は、ネットワーク８を介してデータセンタ９と通信可能に設けられている。データセンタ９は、サーバ装置と記憶装置とを含んで構成される。データセンタ９は、自車両７ａのみならず、他車両７ｂとも通信可能に設けられている。なお、図２には、他車両７ｂが一台しか記載されていないが、他車両７ｂの数は複数であってよい。
【００４９】
自車両７ａの通信部１４は、自装置１で得られた過去情報である第１情報を、データセンタ９へ送信する。他車両の異常検出装置１も、同様に過去情報（第２情報）をデータセンタ９へ送信する。データセンタ９は、受信した第１情報や第２情報に基づき過去情報を随時更新する。例えば、データセンタ９に記憶される過去情報は、カメラ２１の異常の有無を判定できた地点を示すマップ情報の形態を有する。また、自車両７ａの通信部１４は、データセンタ９に記憶される過去情報を、データセンタ９から受信する。この過去情報には、第２情報のみならず、第１情報が含まれてよい。抽出部１２２は、データセンタ９から受信した過去情報を、撮影場所の候補地の抽出に利用する。
【００５０】
本実施形態では、通信部１４は、第１情報の外部への送信と、第２情報を含む過去情報の外部からの受信とを行う。これによれば、過去情報を効率良く蓄積し、蓄積された多くの過去情報に基づいて候補地の抽出を行うことができる。この結果、カメラ２１の異常を効率良く適切に検出することができる。なお、例えば、抽出部１２２が第１情報のみを使用して候補地を抽出する場合には、第２情報を含む過去情報は必要がない。また、例えば、抽出部１２２が第２情報のみを使用して候補地を抽出する場合には、第１情報は必要がない。このために、通信部１４は、第１情報の外部への送信と、第２情報を含む過去情報の外部からの受信とのうち少なくともいずれか一方を行う構成であってよい。
【００５１】
なお、過去情報は、記憶部１３に記憶されてよい。記憶部１３に記憶される過去情報は、第１情報と第２情報とのうち、少なくともいずれか一方であってよい。これによれば、外部との通信を行うことなく過去情報を容易に取得することができる。すなわち、異常検出装置１が通信部１４を備えない構成とすることができる。
【００５２】
要求部１２３は、自動運転装置６に対して要求を行う。詳細には、要求部１２３は、自動運転装置６に、自車両の移動経路が抽出部１２２で抽出された候補地を移動する経路を含むことを要求する。自動運転装置６は、自動運転を開始するにあたって、要求部１２３の要求に応じて経路設定を行う。これにより、自動運転中に判定処理用の撮影画像を撮影して、カメラ２１の異常の有無を判定することが可能になる。
【００５３】
なお、要求部１２３は、自動運転装置６に対して候補地を通る経路の生成を要求してもよい。ただし、要求部１２３は、自身で候補地を通る経路を生成し、生成した経路の走行を自動運転装置６に指示してもよい。
【００５４】
また、要求部１２３は、判定処理に用いる撮影画像の撮影に適した運転条件で自車両が候補地を移動することを、自動運転装置６に要求する。判定処理に用いる撮影画像の撮影に適した運転条件には、例えば、直進走行や所定速度範囲内での走行等が含まれてよい。このような構成によれば、特徴点の位置の時間変化を精度良く追跡することが可能になり、カメラ２１の異常を誤検出する可能性を低減することができる。
【００５５】
確認部１２４は、判定処理の結果に、自装置１を搭載する車両（自車両）とは別の車両（他車両）の判定処理の結果を加味して、カメラ２１の異常の有無の確認を行う。ここで言う判定処理の結果は、カメラ２１の異常の有無を判定できたか否か、といった、判定処理が行いやすかったかの指標に加え、異常の有無を判定できた場合には基準値からのずれ量等の具体的な数値を含むことが好ましい。また、比較対象となる他車両の判定処理の結果は、複数の他車両から得られた結果を統計処理して得られたものであることが好ましい。また、比較対象となる他車両は、自車両と同一タイプの車両であることが好ましい。比較対象となる他車両は、自車両と同一タイプの車両であって、例えば走行距離や年式等が自車両と近いものであることがより好ましい。比較対象となる他車両の判定処理の結果は、データセンタ９において準備されることが好ましい。このような構成によれば、カメラ２１の異常の有無を判断する判断要素が増え、より正確にカメラ２１の異常を検出することができる。
【００５６】
図３は、異常検出装置１によるカメラずれの検出処理の一例を示すフローチャートである。本実施形態では、カメラずれの検出処理は、自動運転装置６を用いた自動運転中に行われる。なお、本実施形態では、撮影部２が４つのカメラ２１を備えるために、各カメラ２１について、図４に示すカメラずれの検出処理が実施される。重複説明を避けるために、カメラ２１がフロントカメラである場合を代表例として、以下、カメラずれの検出処理について説明する。
【００５７】
図３に示すように、自動運転の開始に際して、判定処理に用いる撮影画像を撮影する撮影場所の候補地の抽出が、抽出部１２２により行われる。抽出部１２２は、自動運転の出発地と目的地とを含む所定範囲の中から候補地の抽出を試みる。候補地は、複数抽出されてよい。そして、抽出部１２２によって候補地が抽出されたか否かが確認される（ステップＳ１）。候補地の抽出範囲を所定範囲に限定したのは、カメラずれの検出処理のために、自動運転の走行経路が必要以上に長くなることを防止するためである。
【００５８】
候補地が抽出された場合（ステップＳ１でＹｅｓ）、要求部１２３は、自動運転装置６に対して候補地を通る経路の設定を要求する（ステップＳ２）。自動運転装置６は、要求部１２３からの要求に応じて、候補地を通る経路を設定する。なお、候補地が抽出された場合には、通知装置５によって候補地を通知してもよい。
【００５９】
図４は、候補地１００を通る経路の設定について説明するための図である。図４に示す例では、破線丸印で示す候補地１００が複数抽出されている。図４において、符号２００は出発地を指し、符号３００は目的地を指す。破線で示す経路Ｒ１は、候補地１００がない場合に設定される経路である。候補地１００の検出により、候補地１００を経路上に有する一点鎖線で示す経路Ｒ２が設定される。
【００６０】
複数の候補地１００が抽出された場合に、例えば、複数の候補地１００を通るように経路設定がなされてよい。図４に示す例では、全ての候補地１００を通るように経路設定が行われている。ただし、これは例示であり、例えば、複数の候補地１００のいずれか１つを通るように経路決定がなされてもよい。また、候補地１００が無い場合に設定される経路と、候補地１００が抽出された場合に設定される経路とが同じとなることもある。
【００６１】
また、本実施形態では、要求部１２３は、判定処理に用いる撮影画像の撮影に適した運転条件で候補地１００を移動することを、自動運転装置６に要求する。自動運転装置６は、要求部１２３の要求部に応じて、候補地１００を通る際に、所定の運転条件で自動運転を行う。本例では、所定の運転条件には、直進走行を行うことと、所定速度範囲で走行することが含まれる。
【００６２】
なお、所定速度範囲は、例えば時速３ｋｍ以上５ｋｍ以下とされる。車両の速度範囲が速すぎると、特徴点の追跡が難しくなる。このために、特に限定する趣旨ではないが、車両の速度は時速３０ｋｍ以下であることが好ましい。また、車両の速度が遅すぎると、車速センサ３１による車両の速度の測定が難しくなる。このために、特に限定する趣旨ではないが、車両の速度は時速３ｋｍ以上であることが好ましい。
【００６３】
候補地１００が抽出されなかった場合には（ステップＳ１でＮｏ）、カメラずれの検出処理が終了される。この場合には、カメラずれの有無を判定できなかったことになる。次回の自動運転時にカメラずれの検出処理は持ち越される。なお、カメラずれの検出処理の持越しが複数回以上（或いは所定期間以上）繰り替えされた場合には、候補地１００が抽出されなかった場合でも、適当な場所で判定処理が行われる構成とすることが好ましい。これにより、カメラずれの有無の判定が長期間行われないことを防止できる。また、これにより、撮影場所の候補地を増やしていくことができる。
【００６４】
要求部１２３による２つの要求処理が行われた後、判定部１２１は、自車両の候補地１００への進入を監視する（ステップＳ３）。自車両が候補地１００に進入したか否かは、自車両が備える不図示のＧＰＳ（Global Positioning System）センサ等によって確認することができる。なお、自車両は、自動運転装置６の制御により、候補地１００を所定の運転条件で移動する。
【００６５】
候補地１００への進入が確認されると（ステップＳ３でＹｅｓ）、判定部１２１は判定処理を行う（ステップＳ４）。図５は、判定部１２１による判定処理の一例を示すフローチャートである。図５は、図３に示すステップＳ４の詳細処理例である。図５に示すように、まず、判定処理に用いるフレーム画像が取得される（ステップＳ４１）。判定処理用のフレーム画像は、自車両が候補地１００を通る際にカメラ２１により撮影された撮影画像である。
【００６６】
判定処理用のフレーム画像が取得されると、判定部１２１は、当該フレーム画像から特徴点を抽出する処理を行う（ステップＳ４２）。図６は、特徴点ＦＰを抽出する手法を説明するための図である。図６は、カメラ２１（フロントカメラ）で撮影されたフレーム画像Ｐを模式的に示す。図６に示すように、判定部１２１は、フレーム画像Ｐに所定の抽出領域ＥＲを設定する。判定部１２１は、所定の抽出領域ＥＲから特徴点ＦＰを抽出する。所定の抽出領域ＥＲは、路面ＲＳ部分が映る位置に設定される。所定の抽出領域ＥＲは、フレーム画像Ｐの中心部Ｃを含む広範囲に設定されることが好ましい。これにより、特徴点ＦＰの発生箇所が均一でなく偏った範囲に偏在する場合でも、特徴点ＦＰを抽出することができる。
【００６７】
なお、図６においては、特徴点ＦＰの数は２つとされているが、この数は便宜的なものであり、実際の数を示すものではない。例えばアスファルト路面のように表面に凹凸が多い路面からは多くの特徴点ＦＰが抽出される。候補地１００は、過去にカメラずれの有無の判定を行うことができた場所であり、特徴点ＦＰが抽出されないという事態の発生は通常は起こらない。特徴点ＦＰが抽出されない場合には、カメラずれの有無の判定を不能として、判定処理を終了してよい。
【００６８】
図５に戻って、特徴点ＦＰが抽出されると、判定部１２１は、所定の時間間隔をあけて撮影された２つのフレーム画像間における特徴点ＦＰの動きを示すオプティカルフローを算出する（ステップＳ４３）。所定の時間間隔は、画像取得部１１の撮影画像の取得周期（例えば１／３０秒）と同じであってよい。
【００６９】
図７は、オプティカルフローＯＦを求める手法を説明するための図である。図７は、図６と同様に便宜的に示された模式図である。図７は、図６に示すフレーム画像（前回フレーム画像）Ｐの撮影後、所定の時間間隔が経過した後にカメラ２１で撮影されたフレーム画像（今回フレーム画像）Ｐ´である。前回フレーム画像Ｐと今回フレーム画像Ｐ´とは時間的に連続して得られる画像である。図６に示すフレーム画像Ｐの撮影後、所定時間間隔が経過するまでの間に、自車両は前進している。図７に示す破線の丸印は、図６に示す前回フレーム画像Ｐにおいて抽出された特徴点ＦＰの位置を示す。
【００７０】
図７に示すように、自車両が前進すると、自車両の前方に存在する特徴点ＦＰは自車両に近づく。すなわち、特徴点ＦＰは、今回フレーム画像Ｐ´と前回フレーム画像Ｐとで異なる位置に現れる。判定部１２１は、今回フレーム画像Ｐ´の特徴点ＦＰと前回フレーム画像Ｐの特徴点ＦＰとを、その近傍の画素値も考慮に入れて対応付け、対応付けた特徴点ＦＰのそれぞれの位置に基づいてオプティカルフローＯＦを求める。なお、判定部１２１は、前回フレーム画像がない場合にはオプティカルフローＯＦの算出処理を行わない。この場合、カメラずれの有無は判定されない。また、フレーム画像Ｐから複数の特徴点ＦＰが抽出された場合には、各特徴点ＦＰに対してオプティカルフローＯＦの算出処理が行われる。
【００７１】
図５に戻って、特徴点ＦＰのオプティカルフローＯＦが算出されると、判定部１２１は、カメラ座標系で与えられるオプティカルフローＯＦの座標変換を行って移動ベクトルＶを算出する（ステップＳ４４）。座標変換は、カメラ座標系を路面上の座標系に変換する処理である。なお、判定部１２１は、フレーム画像Ｐから抽出された特徴点ＦＰの座標について先に路面上の座標に変換し、オプティカルフローＯＦを求めることなく移動ベクトルＶを求めてもよい。
【００７２】
図８は、座標変換処理を説明するための図である。図８に示すように、判定部１２１は、カメラ２１の位置（視点ＶＰ１）から見たオプティカルフローＯＦを、自車両が存在する路面ＲＳの上方の視点ＶＰ２から見た移動ベクトルＶに変換する。判定部１２１は、フレーム画像上のオプティカルフローＯＦを、路面に相当する仮想平面ＲＳ_Ｖに投影することで移動ベクトルＶに変換する。移動ベクトルＶの大きさは、自車両の路面ＲＳ上の移動量（移動距離）を示す。なお、本実施形態では、カメラ２１が魚眼レンズであるために座標変換処理には歪補正が含まれることが好ましい。また、複数のオプティカルフローＯＦが求められた場合には、各オプティカルフローＯＦに対して移動ベクトルＶの算出処理が行われる。
【００７３】
図５に戻って、路面ＲＳ上の動きを示す移動ベクトルＶが算出されると、判定部１２１は、移動ベクトルＶに基づき移動量（移動距離）の推定を行う（ステップＳ４５）。本実施形態では、判定部１２１は、移動ベクトルＶを統計処理して移動量の推定値を求める。詳細には、判定部１２１は、移動ベクトルＶに基づいてヒストグラムを生成する。判定部１２１は、各移動ベクトルＶを前後方向と左右方向との２成分に分けて、第１ヒストグラムと第２ヒストグラムとを生成する。
【００７４】
図９は、判定部１２１によって生成された第１ヒストグラムＨＧ１の一例を示す図である。図１０は、判定部１２１によって生成された第２ヒストグラムＨＧ２の一例を示す図である。なお、判定部１２１は、ヒストグラムＨＧ１、ＨＧ２の生成の前後において、先に求められた全ての移動ベクトルＶの中から所定の条件に該当する移動ベクトルＶを処理対象から除外する処理を行ってもよい。例えば、自車両の速度、舵角、シフトレバー位置等から予想される大きさや方向と大きくずれる移動ベクトルＶは除外されてよい。また、例えば、ヒストグラムＨＧ１、ＨＧ２において、度数が極端に低い階級に属する移動ベクトルＶは除外されてよい。
【００７５】
図９に示す第１ヒストグラムＨＧ１は、移動ベクトルＶの前後方向成分に基づいて得られたヒストグラムである。第１ヒストグラムＨＧ１は、移動ベクトルＶの数を度数とし、前後方向への移動量（移動ベクトルの前後方向成分の長さ）を階級とするヒストグラムである。図１０に示す第２ヒストグラムＨＧ２は、移動ベクトルＶの左右方向成分に基づいて得られたヒストグラムである。第２ヒストグラムＨＧ２は、移動ベクトルＶの数を度数とし、左右方向への移動量（移動ベクトルの左右方向成分の長さ）を階級とするヒストグラムである。
【００７６】
図９および図１０は、自車両が前方に直進した場合に得られたヒストグラムである。図９および図１０は、カメラずれが生じていない場合のヒストグラムの一例である。第１ヒストグラムＨＧ１は、前方側の特定の移動量（階級）に偏って度数が多くなる正規分布形状になっている。一方、第２ヒストグラムＨＧ２は、移動量ゼロの近傍の階級に偏って度数が多くなる正規分布形状になっている。カメラずれが生じると、ヒストグラムの形状に変化が見られる。
【００７７】
本実施形態では、判定部１２１は、第１ヒストグラムＨＧ１の中央値（メジアン）を前後方向の移動量の推定値とする。判定部１２１は、第２ヒストグラムＨＧ２の中央値を左右方向の移動量の推定値とする。ただし、判定部１２１による推定値の決定方法は、これに限定されない。判定部１２１は、例えば、各ヒストグラムＨＧ１、ＨＧ２の度数が最大となる階級の移動量（最頻値）を推定値としてもよい。
【００７８】
図５に戻って、移動量の推定値が得られると、判定部１２１は、当該推定値と、センサ部３からの情報によって得られる比較値とを比較してカメラずれの有無を判定する（ステップＳ４６）。本実施形態では、前後方向の移動量について推定値と比較値との比較が行われる。また、左右方向の移動量について推定値と比較値との比較が行われる。比較値を正解値として、当該正解値に対する推定値のずれの大きさを判断する。当該ずれの大きさが所定の閾値を超える場合に、カメラずれが発生していると判断される。
【００７９】
前後方向の比較値（移動量）は、オプティカルフローＯＦを導出するための２つのフレーム画像の撮影時間間隔と、当該時間間隔における車速センサ３１から得られる自車両の速度とによって算出することができる。また、本実施形態では、自車両が前後方向に直進している場合に得られるフレーム画像に基づいてカメラずれの有無が判定される。このために、左右方向の比較値（移動量）はゼロになる。
【００８０】
なお、比較値は、センサ部３以外からの情報に基づいて求められてもよい。例えば、ＧＰＳセンサや、カメラずれの判定対象以外のカメラから得られる情報に基づいて比較値が求められてもよい。また、推定値および比較値は、移動量でなくてもよく、例えば速度であってもよい。
【００８１】
図１１は、判定部１２１によって行われるずれ判定の一例を示すフローチャートである。なお、図１１に示す処理は、図５のステップＳ４６の詳細処理例である。
【００８２】
まず、判定部１２１は、自車両の前後方向の移動量について、推定値と比較値との差の大きさ（前後方向のずれ量）が、第１ずれ閾値より小さいか否かを確認する（ステップＳ４６１）。前後方向のずれ量が第１ずれ閾値以上である場合（ステップＳ４６１でＮｏ）、判定部１２１は、カメラずれ有りと判定する（ステップＳ４６４）。
【００８３】
一方、前後方向のずれ量が第１ずれ閾値より小さい場合（ステップＳ４６１でＹｅｓ）、判定部１２１は、自車両の左右方向の移動量について、推定値と比較値との差の大きさ（左右方向のずれ量）が、第２ずれ閾値より小さいか否かを確認する（ステップＳ４６２）。左右方向のずれ量が第２ずれ閾値以上である場合（ステップＳ４６２でＮｏ）、判定部１２１は、カメラずれ有りと判定する（ステップＳ４６４）。
【００８４】
一方、左右方向のずれ量が第２ずれ閾値より小さい場合（ステップＳ４６２でＹｅｓ）、判定部１２１はカメラずれ無しと判定する（ステップＳ４６３）。
【００８５】
本実施形態では、前後方向の移動量および左右方向の移動量のうち、いずれか１つでも、ずれ量が大きくなると、カメラずれが発生していると判定する。これによれば、カメラずれが発生しているにもかかわらず、カメラずれが発生していないと判定する可能性を低減できる。ただし、これは例示である。例えば、前後方向の移動量および左右方向の移動量の両方においてずれ量が大きくなった場合に限って、カメラずれが発生していると判定する構成としてもよい。また、カメラずれの判定は、前後方向および左右方向の移動量だけでなく、例えばこれらを組み合わせた指標（例えば、前後方向の移動量の二乗値と、左右方向の移動量の二乗値との和）に基づいて判定されてもよい。カメラずれの判定は、前後方向の移動量と、左右方向の移動量とのいずれか一方のみを用いて判定されてもよい。
【００８６】
また、本実施形態では、前後方向の移動量および左右方向の移動量について、順番に比較を行う構成としたが、これらの比較は同じタイミングで行われてもよい。また、前後方向の移動量および左右方向の移動量について順番に比較を行う構成の場合、その順番は特に限定されず、図１１に示す順番とは異なる順番で比較が行われてもよい。
【００８７】
また、本実施形態では、判定部１２１は、１つのフレーム画像を処理して得られたずれ判定の結果に基づきカメラずれの有無の判定を確定する構成となっているが、これは例示にすぎない。判定部１２１は、複数のフレーム画像を処理して得られた結果に基づきカメラずれの有無の判定を確定する構成としてもよい。これにより、カメラずれを誤検出する可能性を低減することができる。
【００８８】
例えば、複数のフレーム画像について、フレーム画像ごとにずれ判定結果を求めて、ずれの有無の判定回数等に応じてカメラずれの有無の判定を確定してもよい。また、別の例として、各フレーム画像において得られる移動ベクトルＶを車両の速度に依存しないように正規化し、当該正規化した移動ベクトルを複数のフレーム画像にわたって蓄積し、当該蓄積結果に応じてカメラずれの有無の判定を確定してもよい。
【００８９】
なお、判定部１２１によってカメラずれの判定処理ができた場合には、判定処理の結果に撮影場所が関係付けられた情報が過去情報としてデータセンタ９に送信される。
【００９０】
図３に戻って、判定処理が終了すると、確認部１２４により、確認処理が行われる（ステップＳ５）。確認部１２４は、データセンタ９から確認用の他車両の判定処理結果を得て、カメラずれの有無の確認を行う。本実施形態において、確認用の他車両の判定処理結果は、自車両と同タイプ・同年式の複数の他車両の平均値である。
【００９１】
判定処理によって得られる、上述の前後方向のずれ量および左右方向のずれ量の少なくともいずれか一方について、他車両の判定処理結果（平均値）との比較が行われる。当該比較により、自車両の判定処理結果と他車両の判定処理結果との差の大きさが所定値以上である場合には、判定処理においてカメラずれなしと判定された場合でも、確認部１２４によってカメラずれ有りと判断される。なお、確認部１２４は、判定処理によってカメラずれ有りと判定された場合にも、カメラずれ有りと判断する。確認部１２４によってカメラずれ有りとの判断が下されると、カメラずれが検出される。
【００９２】
なお、確認用の他車両の判定処理結果が、データセンタ９から得られない場合も有り得る。この場合には、確認処理は行わなくてよい。確認処理が行われない場合には、判定処理の結果のみによってカメラずれの有無を確定してよい。また、カメラずれの検出処理において、確認部１２４による確認処理は設けられなくてもよい。この場合、制御部１２は、確認部１２４を備えなくてもよい。
【００９３】
異常検出装置１は、カメラずれを検出した場合は、車室内に配置される通知装置５を利用してカメラずれの発生を自車両の乗員に知らせることが好ましい。また、異常検出装置１は、カメラ２１からの情報を用いて行う運転支援を行う機能（例えば自動駐車機能等）を停止（オフ）するための処理を行うことが好ましい。この際、運転支援機能を停止したことを通知装置５によって自車両の乗員に知らせることが好ましい。車両に複数のカメラ２１が搭載される場合、複数のカメラ２１のうちの１つでもカメラずれが発生した場合には、上述した自車両の乗員等への通知処理、および、運転支援装機能の停止処理を行うことが好ましい。
【００９４】
異常検出装置１は、カメラずれを検出しなかった場合には、一旦カメラずれの検出処理を終了する。そして、その後、所定のタイミングでカメラずれの検出処理を再度開始する。
【００９５】
本実施形態では、過去にカメラずれの有無の判定を行うことができた場所で、カメラずれの有無の判定処理を行うことができる。このために、カメラずれの有無を判定できないという事態が発生する可能性が低く、カメラずれを効率良く検出することができる。また、本実施形態では、自動運転中にカメラずれの検出処理を行うことができるために、精度良くカメラずれの検出を行うことができる。
【００９６】
＜４．変形例＞
図１２は、本実施形態の変形例に係る異常検出システムＳＹＳ２Ａの構成を示すブロック図である。図１２に示すように、変形例に係る異常検出システムＳＹＳ２Ａは、上述した異常検出システムＳＹＳ２の構成と概ね同様であるが、異常検出装置１Ａの構成が上述した異常検出装置１の構成と異なる。
【００９７】
異常検出装置１Ａは、上述した異常検出装置１と同様に、画像取得部１１と、制御部１２Ａと、記憶部１３と、通信部１４とを備える。画像取得部１１、記憶部１３、および、通信部１４の構成は、上述した実施形態と同様である。制御部１２Ａは、判定部１２１、抽出部１２２、および、確認部１２４を備える点は、上述した実施形態と同様である。ただし、制御部１２Ａは、要求部１２３の替りに通知処理部１２５を備える。各部１２１、１２２、１２４、１２５は、例えば記憶部１３に記憶されるコンピュータプログラムに従ってＣＰＵが演算処理を行うことによって実現される機能部である。換言すると、異常検出装置１Ａは、判定部１２１と、抽出部１２２と、確認部１２４と、通知処理部１２５と、を備える。
【００９８】
なお、通知処理部１２５も、上述した判定部１２１等と同様に、ＡＳＩＣやＦＰＧＡ等のハードウェアで構成されてもよい。通知処理部１２５も、上述した判定部１２１等と同様に、概念的な構成要素であり、複数の構成要素に分散させたり、他の構成要素に統合されたりしてよい。
【００９９】
通知処理部１２５は、抽出部１２２で抽出した候補地１００を、通知装置５に通知させる処理を行う。通知装置５は、通知処理部１２５からの指示に応じて候補地１００を通知する動作を行う。通知装置５は、地図を表示できる装置であることが好ましい。通知装置５は、例えば表示画面およびＧＰＳセンサを備えるナビゲーション装置であってよい。
【０１００】
例えば、通知処理部１２５は、候補地１００の地図上の位置を示すデータを通知装置５に通知する。通知装置５は、当該指示に応じて候補地１００が表示された地図を画面表示する。候補地１００が通知装置５に通知されることにより、自車両の運転者は、カメラずれの有無を判定することができる場所に知ることができる。そして、当該場所に運転者が自車両を移動させることによって、効率良くカメラずれの有無を判定することができる。
【０１０１】
通知処理部１２５は、自車両が候補地１００に到達する経路の候補を、通知装置５に通知させる処理を行うことが好ましい。経路の候補は１つでもよいが、複数であってもよい。経路の算出は、異常検出装置１側で算出される構成でもよいが、通知装置５側で算出される構成でもよい。候補地１００までの経路の候補が通知されることによって、自車両の運転者は、候補地１００に容易に移動することができる。
【０１０２】
図１３は、変形例の異常検出装置１Ａによるカメラずれの検出処理の一例を示すフローチャートである。異常検出装置１Ａによるカメラずれの検出処理は、例えば、所定期間毎（１週間毎等）、所定走行距離毎（１００ｋｍ毎等）、エンジン起動毎（イグニッション（ＩＧ）オン毎）、エンジン起動が所定回数に達した時点毎等に実行されてよい。
【０１０３】
カメラずれの検出処理が開始されると、抽出部１２２により、過去情報に基づく候補地１００の抽出が行われる。抽出部１２２は、自車両の現在地を含む所定範囲の中から候補地の抽出を試みる。候補地は、複数抽出されてよい。そして、抽出部１２２によって候補地が抽出されたか否かが確認される（ステップＳ１１）。候補地の抽出範囲を所定範囲に限定したのは、自車両の現在地からあまりにも遠くに離れた位置に移動してカメラずれの有無の判定処理を行うことは現実的でないからである。
【０１０４】
候補地１００が抽出されなかった場合には（ステップＳ１１でＮｏ）、カメラずれの検出処理が終了される。この場合には、カメラずれの有無を判定できなかったことになる。次回の所定タイミングにカメラずれの検出処理は持ち越される。なお、上述の実施形態と同様に、カメラずれの検出処理の持越しが複数回以上（或いは所定期間以上）繰り替えされた場合には、候補地１００が抽出されなかった場合でも、適当な場所で判定処理が行われる構成とすることが好ましい。
【０１０５】
候補地１００が抽出された場合（ステップＳ１１でＹｅｓ）、通知処理部１２５が、候補地１００までの経路候補を通知装置５の表示画面に表示させる処理を行う（ステップＳ１２）。通知装置５は、通知処理部１２５からの要求に応じて、候補地１００および候補地１００までの経路候補を表示する。例えば、候補地１００が複数ある場合、最短距離で到達できる候補地１００までの経路候補のみが表示される構成等であってもよい。
【０１０６】
候補地１００および経路候補が画面表示されると、自車両が候補地１００に接近したか否かが監視される（ステップＳ１３）。自車両が候補地１００に接近した否かは、不図示のＧＰＳセンサ等によって確認することができる。なお、自車両が候補地１００に移動しない場合もあり得る。このために、所定期間を経過しても自車両が候補地１００に接近しない場合には、カメラずれの検出処理が終了される構成としてもよい。
【０１０７】
自車両が候補地１００に接近すると（ステップＳ１３でＹｅｓ）、通知処理部１２５は、走行条件を通知装置５に通知させる処理を行う（ステップＳ１４）。本実施形態では、通知処理部１２５からの指示により、通知装置５は、走行条件を表示画面に表示する。走行条件として、直進走行を行うことと、所定速度範囲で走行することが表示される。所定速度範囲は、例えば時速３ｋｍ以上５ｋｍ以下とされる。
【０１０８】
この後、判定部１２１は、自車両が表示画面に表示された走行条件を満たして走行しているか否かを確認する（ステップＳ１５）。車両が直進しているか否かは、例えば舵角センサ３２から情報に基づいて判断することができる。車両の速度が所定速度範囲であるか否かは、例えば車速センサ３１からの情報に基づいて判断できる。
【０１０９】
走行条件を満たした場合（ステップＳ１５でＹｅｓ）、判定部１２１は、自車両が候補地１００に進入したか否かを、例えばＧＰＳセンサからの情報等により確認する（ステップＳ１６）。自車両が候補地１００に進入していない場合には（ステップＳ１６でＮｏ）、ステップＳ１５に戻る。自車両が候補地１００に進入した場合には、候補地１００を通る際に撮影された撮影画像に基づき判定処理が行われる（ステップＳ１７）。判定処理、および、その後に行われる確認処理（ステップＳ１８）は、上述した実施形態の内容と同じであるために説明は省略する。
【０１１０】
なお、自車両が走行条件を満たさない場合には（ステップＳ１５でＮｏ）、自車両が候補地１００を通過してしまったか否かが確認される（ステップＳ１９）。自車両が候補地を通過してしまった場合（ステップＳ１９でＹｅｓ）、カメラずれの有無を判定できず、カメラずれの検出処理が終了する。一方、自車両が候補地をまだ通過していない場合には（ステップＳ１９でＮｏ）、ステップＳ１５に戻る。
【０１１１】
本変形例の構成においても、過去にカメラずれの有無の判定を行うことができた場所で、カメラずれの有無の判定処理を行うことができる。このために、カメラずれを効率良く検出することができる。
【０１１２】
なお、以上の例では、自車両が候補地１００に接近した後、運転者自身が所定の走行条件を満たすように運転を行う構成としているが、これは例示にすぎない。自車両が候補地１００に接近した時点で手動運転から自動運転に切り替えられ、自動運転で候補地１００を移動するように構成してもよい。
【０１１３】
＜４．留意事項＞
本明細書における実施形態や変形例の構成は、本発明の例示にすぎない。実施形態や変形例の構成は、本発明の技術的思想を超えない範囲で適宜変更されてもよい。また、複数の実施形態及び変形例は、可能な範囲で組み合わせて実施されてよい。
【０１１４】
例えば、カメラずれの検出処理は、原則として、自動運転が行われている場合に実行される構成（例えば上述の実施形態の構成）とし、カメラずれの有無の判定結果が所定期間以上得られない場合に、手動運転によるカメラずれの検出処理（例えば上述の変形例の構成）が行われることとしてよい。
【０１１５】
また、以上においては、判定処理に用いられる撮影画像は、自車両が直進走行している場合に撮影される構成とした。ただし、これは例示であり、判定処理に用いられる撮影画像は、自車両が直進走行していない場合に撮影される構成としてもよい。
【符号の説明】
【０１１６】
１、１Ａ・・・異常検出装置
５・・・通知装置
６・・・自動運転装置
１３・・・記憶部
１４・・・通信部
１００・・・候補地
１２１・・・判定部
１２２・・・抽出部
１２３・・・要求部
１２４・・・確認部
１２５・・・通知処理部
ＦＰ・・・特徴点
ＳＹＳ１・・・移動体制御システム
【図１】
2020061651.tif 000003
【図２】
2020061651.tif 000004
【図３】
2020061651.tif 000005
【図４】
2020061651.tif 000006
【図５】
2020061651.tif 000007
【図６】
2020061651.tif 000008
【図７】
2020061651.tif 000009
【図８】
2020061651.tif 000010
【図９】
2020061651.tif 000011
【図１０】
2020061651.tif 000012
【図１１】
2020061651.tif 000013
【図１２】
2020061651.tif 000014
【図１３】
2020061651.tif 000015